교대 핵 (nucleus accumbens)에서 도파민 (dopamine)을 넘어 보상 학습에 기반한 학습 : 대뇌 피질 기저핵 네트워크 (2008)

최근 문헌에서 유기체에 유익한 것을 나타내거나 (보통 실험자의 관점에서), 이전의 용어와 상호 교환 적으로 사용되는지 여부에 관계없이, 식욕 적 행동에 균일하게 적용되는 '보상'이라는 모 놀리 식 개념을 찾는 것이 일반적이되었습니다. '강화'또는 '인센티브' 이 상황은 그 자체는 아니지만 핵 축적에 도파민 (DA)의 방출을 포함하는 '보상'에 대한 단일 신경 기질에 초점을 둔 결과에 의해 장려된다.버크와 하이 먼, 2000; 그레이스 (Grace) 등, 2007).

수십 년 전에 인식 된 mesoaccumbens 경로와 보상 사이의 연결은 위상 DA 신호가 보상 학습 오류를 인코딩하여 아마도 연관 학습에서 교시 신호로 작용한다는 더 최근의 증거에 의해 다시 활성화되었습니다g (Schultz 등, 1997). 가장 보편적 인 해석에 따르면 보상에 대한 단일 신호가있는 것처럼 보상에 의한 학습을위한 단일 신호가 있습니다.이 경우 자극과 보상 사이의 연관성을 의미합니다.Montague et al., 2004). 그러나 이런 유형의 학습이 어떻게 적응 행동을 통제하는지에 대한 문제는 무시되었다. 도파민 신호는 예측 학습과 이에 따른 조건부 반응, 그리고 보상과의 연관성에 의해 유도되는 목표 지향적 행동 모두에 충분하다고 가정된다. 결과적으로, 보상 및 중독 분야에서 대부분의 연구의 초점은 mesoaccumbens 경로에서 DA 신호 및 관련 가소성입니다.Berridge and Robinson, 1998; 하이 먼 (Hyman) 등, 2006; 그레이스 (Grace) 등, 2007).

점점 인정되는 보상 과정에 대한 이러한 견해 (Cardinal et al., 2002; 발레 인, 2005; Everitt와 Robbins, 2005; 하이 먼 (Hyman) 등, 2006), 부적절하고 오해의 소지가 있습니다. 자극 지향 학습을 매개하는 연관 과정의 관점에서 목표 지향적 행동의 획득이나 성과를 설명 할 수 없기 때문에 부적절하다. 또한 목표 지향적 행동에 필요하거나 충분하지 않은 mesoaccumbens 경로에서의 활동에 대한 독점적 초점이 목표 지향적 행동이 무엇이며 어떻게 구현되는지에 대한 근본적인 질문에서 주목을 끌기 때문에 오해의 소지가 있습니다. 뇌에 의해. 실제로, 다양한 실험적 접근법에서 나온 수렴 증거에 따르면, 이전에 단일 보상 메커니즘으로 보였던 것은 실제로 뚜렷한 행동 효과와 신경 기질을 가진 여러 프로세스를 포함 할 수 있습니다코 비트 (Corbit) 등, 2001; O'Doherty 외, 2004; Yin et al., 2004; Delgado 등, 2005; Yin et al., 2005b; 하루노와 카와 토, 2006a; 토 블러 (Tobler) 등, 2006; Jedynak 등, 2007; 로빈슨 (Robinson) 등, 2007; 토 블러 (Tobler) 등, 2007).

여기서 우리는 현재의 mesoaccumbens 모델과 관련된 몇 가지 문제를 드러내고 대신 다른 보상 보상 학습 모델을 제안하려고합니다. 우리는 선조체가 최소한 4 개의 기능 영역으로 나눌 수있는 매우 이질적인 구조라고 주장 할 것이며, 각 영역은 다른 대뇌 피질, 시상, 교양 및 중뇌 구성 요소와 구별되는 기능 네트워크에서 허브 역할을합니다.. 보상에 의해 도출 된 무조건적인 반응의 생성에서부터 목표 지향적 행동의 통제에 이르기까지 이러한 네트워크의 통합 기능은 현대 행동 분석을 사용하여 분리되고 연구 될 수 있습니다.

예측과 통제

mesoaccumbens 경로는 보상과 그 보상을 예측하는 환경 자극 사이의 연관성을 얻기 위해 종종 필요하다고 가정합니다. 예를 들어, 보상에 의해 유발 된 DA 세포의 위상 활동을 조사하는 일부 실험에서 원숭이는 자극을 주스의 전달과 연관 시키도록 훈련시켰다 (Waelti 등, 2001)에 이어 조건부 반응 (CR)으로 자극에 반응합니다. 원숭이의 핥는 것은 주스를 얻을 필요가 있다고 생각하기 때문에 목표 지향적 일 수 있습니다. 대안 적으로, 쥬스가 관련된 선행 자극에 의해 핥기가 유도 될 수있다. 원숭이 핥는 행동의 결정 요인 중 어떤 것이 행동을 통제 하는가 특정 상황에서 알려지지 않았다 선험적인피상적 인 관찰에 의해 결정될 수 없다. 이 목적을 위해 특별히 설계된 테스트를 통해서만 결정할 수 있습니다. 수십 년에 걸쳐 개발 된이 시험들은 학습과 행동 연구에서 현대의 주요 발전의 핵심을 이룹니다 (표 1). 아래에서 논의 할 이러한 테스트의 사용을 통해 이제는 행동 적 접근, 방향 또는 레버를 누르는 것과 같은 행동 반응이 실험적으로 분리 할 수있는 여러 영향에서 발생할 수 있음을 알고 있습니다.

  

표 1

보상 학습

실제 행동 결정에있어서 중심 모호성에 대한 무감각은 보상지도 학습의 현재 신경 과학 분석의 주요 문제이다. 티o이 문제의 중요성을 이해하려면 예측 적 (또는 Pavlovian) 학습과 목표 지향적 (또는 도구 적) 학습 제어 식욕의 행동의 차이점을 이해해야합니다. 실제로,이 두 가지 과정이 보상에 관한 문헌에서 얼마나 자주 혼동되었는지에 따라,이 구별에 대한 간단한 검토는 우리의 논의에 유용한 출발점 인 것으로 보인다.

식욕을 돋우는 Pavlovian 조절에서 보상 (즉, 무조건 자극 또는 미국)은 동물의 행동에 관계없이 자극 (조건부 자극 또는 CS)과 짝을 이루지 만, 도구 학습에서는 보상이 동물의 행동에 따라 결정됩니다. 그러나 두 상황 모두에서 중요한 문제는 자극 보상 협회 또는 행동 보상 협회가 행동을 통제하고 있는지 여부입니다.

이 질문은 단순한 것처럼 보이지만 이러한 상황에서 행동 반응이 동일하게 보일 수 있기 때문에 수십 년 동안 조사자들을 크게 끌어 내지 못했습니다.

따라서 파블로프 경기 부양 보상 협회에 의해 통제되는 조건부 응답 (CR)은 종종 그들에 대한 목표 지향의 한척을 가질 수 있습니다. 파블로프의 원래 CR 인 타액 분비조차도 그의 개들에 의해 섭취를 촉진하려는 의도적 인 시도로서 생산되었을 수 있습니다. 이 모호함으로 인해 가장 분명한 설명, 즉 파블로프 컨디셔닝에서 자극-결과 연관성이 학습되는 반면, 악기 컨디셔닝에서 동작-결과 연관성이 학습된다는 가장 명백한 설명은 수십 년 동안 많은지지를 얻지 못했습니다 (스키너, 1938; 애쉬 비, 1960; 볼 스, 1972; Mackintosh, 1974). 그럼에도 불구하고 많은 Pavlovian CR이 자율적이거나 완성 적이지만 보상에 대한 접근 방식과 같은 다른 CR은 그렇게 편리하게 특성화되지 않습니다 (레스 콜라와 솔로몬, 1967); 실제로, 그들은 도구적인 행동으로 착각하기 쉽다.브라운과 젠킨스, 1968; 윌리엄스와 윌리엄스, 1969; 슈왈츠와 Gamzu, 1977). 우리는 피상적 유사성에도 불구하고 Pavlovian CR과 목표 지향적 도구 행동이 대응 성과를 통제하는 표현 구조가 다르다는 것을 알고있다.슈왈츠와 Gamzu, 1977).

응답의 성과가 자극 보상 또는 행동 보상 협회에 의해 중재되는지 여부를 설정하는 가장 직접적인 수단은 특정 우발 상황 제어 성능을 검사하는 것입니다. 타액 분비의 예는 여기서 유익합니다. 셰필드 (1965) Pavlovian 조절에서의 타액 분비는 보상과의 관계 또는 자극 보상 협회에 의해 제어되는지 여부를 테스트했습니다. 그의 실험에서 개들은 소리와 음식 보상 (셰필드, 1965). 그러나, 개가 음조 동안 타액을 분비했다면, 그 시험에서 음식이 전달되지 않았습니다. 이 배열은 어조와 음식 사이의 파블로프 관계를 유지했지만 타액 분비와 음식 배달 사이의 직접적인 연관성을 폐지했습니다. 타액 분비가 음식과의 관계에 의해 통제되는 행동이라면, 개는 타액 분비를 중단해야합니다. 셰필드는 그것이 타액 분비 CR을 통제하는 것이 파블로프의 음조-식품 관계라는 것을 분명히 발견했다. 800 톤 이상의 음식 페어링 과정에서 개는 타액 분비를 통해 얻을 수있는 대부분의 음식을 잃어 버렸음에도 불구하고 톤까지 타액 분비를 획득하고 유지했습니다. 인간 (Pithers, 1985) 및 다른 동물에 대한 연구에서 다른 사람들도 비슷한 결론에 도달했습니다 (브라운과 젠킨스, 1968; 윌리엄 & 윌리엄스, 1969; 홀랜드, 1979); 모든 경우에, 파블로프의 대응은 그들의 다양성에도 불구하고 보상과의 관계, 즉 행동-결과 우발 사태에 의해 통제되지 않는 것으로 보인다.

우발 사태라는 용어는 이벤트 'A'와 다른 이벤트 'B'사이의 조건부 관계를 나타내며, B의 발생은 A에 의존합니다. 이러한 종류의 관계는 A가 없을 때 B를 제시함으로써 쉽게 저하 될 수 있습니다. 우발성 열화라고하는 실험적 조작은 일반적으로 예측 자극 또는 행동과 무관하게 보상을 제공함으로써 수행됩니다. 이 방법은 원래 파블로프 컨디셔닝을 연구하기 위해 개발되었지만 (Rescorla, 1968), 도구 우발성 저하도 일반적인 도구가되었습니다 (해먼드, 1980). 이러한 우발 사태가 직접 조작 될 때, 학습 내용이 드러난다 : 예를 들어, 자동 형성에서, 파블로프 CR은 도구 적 우발성이 아닌 파블로프의 조작에 의해 수단 적 행동으로 '변장'된다 (슈왈츠와 Gamzu, 1977).

목표 지향적 도구 행동은 1) 결과 값의 변화에 ​​대한 민감성과 2) 행동과 결과 사이의 우연의 변화에 ​​대한 민감성의 두 가지 기준으로 특징 지워진다 (디킨슨, 1985; Dickinson and Balleine, 1993). 결과 평가 절하에 대한 민감성 만 강조되어야하며, 일부 파블로프 응답은이 조작에 민감 할 수 있기 때문에 목표 지향으로 응답을 특성화하는 데 충분하지 않습니다 (네덜란드와 레스 콜라, 1975). 그러나, 목표 지향 도구 행동의 수행은 또한 행동-결과 우발 사태의 조작에 민감하지만, 파블로프 응답은 자극-결과 우발 사태의 조작에 민감하다 (Rescorla, 1968; 데이비스와 비터 먼, 1971; 디킨슨과 샤녹, 1985). 그러나 습관적인 경우 (아래 참조)에서 중요한 예외가 발견 될 수 있는데, 이는 습관적 우발성 변화에 대한 상대적 무감각성에 대한 파블로프의 반응과 유사하지만 결과가 부분적이지 않기 때문에 결과 평가 절하에도 영향을 미치지 않는다 성과를 통제하는 표현 적 구조 (참조. 디킨슨, 1985 자세한 내용은 아래를 참조하십시오).

요약하자면, 특정 대응은 대응 양식이나이를 수립하는 데 사용 된 행동 과제보다는 통제 비상 사태의 관점에서 명확하게 정의되는 것이 가장 중요하다. 주어진 상황에서 통제 우연을 조사하지 않으면, 행동과 그 행동을 매개하는 것으로 밝혀진 신경 과정이 잘못 특징 지워질 수 있습니다. 궁극적으로, 우리가 논할 바와 같이, 학습을 통해 획득되고 별개의 신경 시스템에 의해 구현 된 실제 제어 우발 상황은 행동이 제어되지만 동일한 '최종 공통 경로'를 공유 할 수 있습니다. 따라서 핵심 과제는 외형을 뛰어 넘어 근본적인 우발 사태 통제 행동을 밝혀내는 것입니다 (요약은 표 1). 특정 신경 구조가 특정 심리적 능력, 예를 들어 목표 지향성을 매개한다고 주장하기 위해, 행동 상태는 적절한 행동 분석으로 평가되어야합니다. 다른 행동은 그룹이 적절한 신경 결정 요인에 대해 논쟁하면서 그들의 행동 과제가 다른 현상을 측정 할 수 있음을 인식하지 못함에 따라 혼란을 불러 일으키는 것입니다. 궁극적으로 중요한 것은 동물이 실제로 배우는 것이지 실험자가 동물이 배우는 것을 믿는 것이 아니라 실제로 배우는 것은 학습 내용을 직접 조사하는 분석에 의해서만 밝혀 질 수 있습니다.

만약 동물이 실험적 배열이 무엇이든 상관없이 동일한 것을 학습 (자극과 보상 사이의 연관성)한다면 파블로프 악기의 구별은 사소했을 것이다. 오늘날 신경 과학에서 이용할 수있는 가장 일반적인 학습 방법을 사용하면 말할 방법이 없습니다. 따라서 연구원들은 문제의 행동이 실제로 목표를 향하고 있는지 여부를 조사하지 않고 목표 지향적 행동을 연구한다고 주장합니다. 다른 유형의 학습은 일반적으로 다른 '과제'또는 '패러다임'을 사용하여 발생하는 것으로 가정되지만, 연구자들이 자신의 가정에 대한 적절한 근거를 제시하지 못하는 경우가 종종 있습니다.

이 문제의 전형적인 예는 학습을 연구하기 위해 미로를 사용하는 것입니다. 조건부 환경 설정과 같은 미로 실험 및 관련 분석의 한 가지 문제는 파블로프 (자극 보상)와 행동에 대한 도구 (행동 보상)의 영향을 실험적으로 분리하는 것이 어렵다는 점입니다 (디킨슨, 1994; Yin and Knowlton, 2002). 따라서 음식을 얻기 위해 T- 미로를 이동하면 반응 전략 (왼쪽으로 돌림) 또는 단순히 큐 음식 협회 (Cue-food Association)가 통제하는 엑스트라 미로 랜드 마크에 대한 조건부 접근을 반영 할 수 있습니다 (Restle, 1957). 후자가 성능에 중요한 역할을하는지 테스트하는 한 가지 방법은 미로를 뒤집는 것입니다. 이제 응답 학습자는 계속 왼쪽으로 돌리고 여분의 미로 신호를 사용하는 사람들은 오른쪽으로 돌아야합니다. 그러나 실제로 대응 전략을 사용하여 계속 좌회전하는 사람들입니까 아니면 단순히 일부에 접근하고 있습니까? 내음식과 관련된 미로 큐? Pavlovian의 행동 제어를위한 일반적인 제어는 미로 연구에서 쉽게 적용 할 수 없기 때문에 알아내는 것은 간단하지 않습니다. 이 중 하나 인 양방향 제어는 보상을 얻기 위해 동물이 해당 응답의 방향을 바꾸도록 요구함으로써 특정 응답에 대한 제어를 할 수 있다는 것을 확립합니다.허쉬 버거, 1986; Heyes and Dawson, 1990). 불행히도, 미로에서 반응 반전은 목표 지향적 행동을 확립하기에 여전히 충분하지 않을 수 있습니다. 반전은 기존의 자극 보상 관계를 소화하고 다른 자극으로 대체함으로써 달성 될 수 있기 때문입니다. 예를 들어, 특정 미로 내 큐에 접근하는 쥐는 반전 중에 더 이상 보상과 짝을 이루지 못하지만 다른 자극은 새로운 자극에 대한 접근 CR을 얻는다는 것을 배울 수 있습니다. 따라서 응답 보상 우발성을 인코딩하지 않고도 응답을 분명히 되돌릴 수 있습니다. 이 가능성은 실제로 테스트 할 수 없기 때문에, 목표 지향 학습 프로세스를 연구하기 위해 미로, 선호 환경 설정 절차 또는 간단한 운동 작업을 사용하는 것은 특히 위험하며 신경의 특정 역할과 함께 행동을 제어하는 ​​프로세스를 잘못 특성화 할 수 있습니다 관련 프로세스가 발견되었습니다 (스미스 -로와 켈리, 2000; Hernandez 등, 2002; Atallah et al., 2007).

도구 학습에는 핵 축적이 필요하지 않습니다.

현재 행동 분석의 부적합은 핵 축적에 대한 연구에서 특히 명확 해졌다. 많은 연구에 따르면이 구조는 목표 지향적 행동을 얻는 데 중요합니다. (Hernandez 등, 2002; 고토와 그레이스, 2005; Hernandez 등, 2005; Pothuizen 등, 2005; 타 하와 필즈, 2006; Atallah et al., 2007; Cheer 외., 2007; Lerchner et al., 2007). 그러나 이러한 결론은 우발 사태 통제 행동이 모호한 작업을 사용하여 성과 만 변화하는 척도를 바탕으로 이루어졌다. 조작이 일부 행동 반응의 획득을 방해한다는 관찰은 학습 결손을 나타낼 수 있지만, 반응 개시 또는 동기에 대한 영향을 반영 할 수도 있습니다. 예를 들어, 레버 프레싱 획득의 장애는 종종 학습보다는 성과에 영향을 줄 수 있습니다 (스미스 -로와 켈리, 2000). 학습 과정의 불완전한 표현으로서의 수집 곡선 만주의해서 해석해야합니다 (Gallistel et al., 2004). 불행히도, 학습과 성과의 차이, 아마도 학습 연구에서 가장 오래된 교훈은 오늘날 종종 무시됩니다.

더 자세한 분석은 어 큐벤이 도구 학습에 필요하거나 충분하지 않다는 것을 나타냅니다. 어 큐벤 쉘의 병변은 결과 평가 절하에 대한 성능의 민감도를 변경하지 않습니다 (de Borchgrave et al, 2002; Corbit 등, 2001) 또는 도구 적 우발성 저하 (Corbit 등, 2001), accumbens core의 병변은 흰쥐의 도구 우발적 선택 분해에 대한 민감도를 손상시키지 않으면 서 평가 절하에 대한 민감성을 감소시키는 것으로 밝혀졌습니다.코 비트 (Corbit) 등, 2001). 조건부 강화 연구에서 새로운 반응의 획득에 대한 아 쿰벤 조작의 영향을 평가하는 다른 연구는 보상 관련 성능, 특히 암페타민에 의한 성능의 향상에 영향을 미쳤지 만 응답 자체의 획득에는 영향을 미치지 않는 것으로 나타났습니다 (파킨슨). 외, 1999). 마찬가지로, 추기경과 청의 체계적인 연구는 또한 연속 강화 일정 하에서 레버 프레스 반응을 얻는 데있어 아큐 벤 코어 병변의 영향이 없음을 발견했습니다. 획득 장애는 강화 지연으로 만 관찰되었습니다 (추기경과 청, 2005).

accumbens는 도구 적 우발성을 인코딩하지 않지만 (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001 년), 상당한 증거는 그것이 도구에서 근본적인 역할을한다는 것을 시사한다 성능최근 작업에 비추어 더 잘 정의 할 수있는 역할입니다. 여러 연구에서 결론 지은 바와 같이, 어 큐벤은 특정 유형의 식욕을 돋우는 파블로프 컨디셔닝에 중요하며, 보상 관련 단서가 기기 성능에 미칠 수있는 비특이적 흥분 효과와 생성 된 응답 선택에 대한 결과 별 편향을 중재합니다. 그런 신호로. 코어 또는 전방 cingulate의 병변, 코어에 대한 대뇌 피질의 주요 공급원 또는이 두 구조 사이의 단절은 Pavlovian 접근 방식의 획득을 손상시킵니다 (파킨슨 (Parkinson) 등, 2000). 훈련 직후 D1- 유사 도파민 수용체 길항제 또는 NMDA 글루타메이트 수용체 길항제의 국소 주입은 성능에 영향을 미치지 않으면 서 이러한 형태의 학습을 손상시켰다 (Dalley 등, 2005). 이 데이터는 생체내에서 신경 활동. 예를 들어, Carelli와 동료들은 accumbens 핵심의 뉴런이 Pavlovian 자동 성형 작업을 배우는 동안 체계적으로 활동을 변경할 수 있음을 발견했습니다.Day 외., 2006; 데이와 케어 리, 2007).

껍데기 지역의 뉴런은 학습 경험 이전에도 보상과 혐오스러운 자극에 맞춰져있는 것으로 보입니다. 또한 이러한 결과를 예측하는 CS에 대한 응답을 개발할 수 있습니다 (Roitman et al., 2005). Berridge와 동료들의 작업, 핵 축적 쉘 및 하류 배쪽 팔리 두움의 특정 영역이 '혈청 핫스팟'으로 특성화 될 수있는 가능성을 높였습니다. 이 영역은 미각 반응성과 같은 보상에 대한 무조건적인 hedonic 응답을 직접 조정합니다. 예를 들어, 이들 영역에서 오피오이드 수용체의 작용제는 자당에 대한 섭취 맛 반응성을 유의하게 증폭시킬 수있다. 그러나 고도로 지역화 된 지역은 광범위한 식욕을 돋우는 식욕을 자극하는 넓은 네트워크에 내장되어 있습니다 (타 하와 필즈, 2005; Pecina 등, 2006; 타 하와 필즈, 2006).

코어와 쉘의 상대적인 역할의 구별은 각각 준비 및 완성 된 식욕을 돋우는 행동으로 구분되며, 이는 파블로프 컨디셔닝의 독특한 유형을 통해 경험에 의해 쉽게 수정 될 수 있습니다. 접근과 같은 준비 응답은 결과의 일반적인 감정적 특성과 관련이 있고, 결론적 행동은보다 구체적인 감각적 특성과 관련이 있습니다. 그들은 또한 다른 유형의 CS에 차별적으로 민감하다. 예를 들어, 예비 반응은 긴 지속 시간의 자극으로보다 쉽게 ​​조절된다 (코 노르 스키, 1967; 디킨슨과 사랑하는 1979; 발레 인, 2001; Dickinson and Balleine, 2002).

어쨌든 파블로프 컨디셔닝의 일부 측면에서 축적을 암시하는 증거는 압도적입니다. 그러나 그것은 유일하게 관련된 구조는 아니며 다양한 편도체 핵과 관련된 네트워크와 같은 다른 네트워크도 파블로프 조건의 준비 및 구성 요소 모두에서 중심적인 역할을하는 것으로 보입니다. (Balleine and Killcross, 2006).

accumbens에 분명히 기여할 수있는 기능 중 하나는 Pavlovian의 영향을 도구 행동에 통합하는 것입니다. 갈망 및 각성 같은 중심 동기 상태의 활성화를 반영하는 것을 포함하여 파블로프 CR은 도구 행동의 수행에 강한 영향을 미칠 수있다.Trapold and Overmier, 1972; Lovibond, 1983; 네덜란드, 2004). 예를 들어 음식 배달을 독립적으로 예측하는 CS는 동일한 음식에 대한 도구 반응을 증가시킬 수 있습니다. 이 효과는 일반적으로 Pavlovian-instrumental transfer paradigm (PIT)을 사용하여 연구됩니다. PIT에서 동물은 별도의 Pavlovian 및 도구 훈련 단계를 거치며, 여기서 독립적으로 큐를 음식과 연관시키고 동일한 음식에 대한 레버를 누르는 것을 배우게됩니다. 그런 다음 프로브 시험에서 큐에 사용 가능한 레버가 제공되고 CS가있는 경우 응답 속도의 상승이 측정됩니다. 두 가지 형태의 PIT가 확인되었습니다. 하나는 일반적으로 보상 관련 큐의 각성 효과에 관한 것이고 다른 하나는 다른 보상과 달리 하나의 특정 보상에 대한 큐의 예측 상태에 의해 생성 된 선택 성능에 대한 더 선택적 효과입니다. accumbens shell은 PIT의 후자의 결과 특정 형태에 필요하지만, 이전의보다 일반적인 형태 나 결과 평가 절하에 대한 민감성에는 필요하지 않다. 대조적으로, 축적 된 핵심의 병변은 결과 평가 절하와 PIT의 일반적인 형태 모두에 대한 민감성을 감소 시키지만 결과 특정 PIT를 그대로 남긴다 (코 비트 (Corbit) 등, 2001(Balleine and Corbit, 2005).

최근의 연구는 결과 별 PIT에서 accumbens 쉘의 역할에 대한 추가 통찰력을 제공했습니다.Wiltgen 등, 2007). 선조에서 활성 칼슘 / 칼 모둘 린 의존성 단백질 키나제 II (CaMKII)의 조절 된 발현은 도구 또는 파블로프 학습에 영향을 미치지 않았지만, 특정 PIT를 폐지 하였다. PIT의 이러한 결손은 영구적이지 않았으며 독시사이클린으로 트랜스 진 발현을 끄면 그 결손이 성능과 만 관련되어 있음을 입증함으로써 되돌릴 수 있었다. 따라서 선조체에서 CaMKII의 수준을 인위적으로 향상 시키면 Pavlovian에서 기기 시스템으로 인센티브 동기가 결과에 따라 전달되지 않습니다. 흥미롭게도, CaMKII 전이 유전자를 켜는 것도 기저 전달 또는 시냅스 강도에 영향을주지 않으면 서 아 shell 벤 껍질에서 뉴런의 흥분성을 감소시키는 것으로 밝혀졌다.

등쪽 선조

등쪽 선조 (신 생선 또는 꼬리 부위, 소위 신피질로부터 대규모 투영을받습니다. 그것은 설치류에서 복부 선조와 더 중간적이고 연속적인 연관 영역과 더 측면의 감각 운동 영역으로 더 나눌 수 있습니다 (Groenewegen et al., 1990; Joel과 Weiner, 1994). 전체적으로, 등쪽 선조체는 간질 막하 압착기 (SNc)로부터의 DA 세포에 의해 신경 분포되고, VTA DA 뉴런으로부터의 빈약 한 투영만을 수신한다 (Joel과 Weiner, 2000). 등쪽 선조에 대한 이전 연구는 주로 자극-응답 (SR) 습관 학습에서의 역할에 초점을 두었다.밀러, 1981; 화이트, 1989). 이 견해는 환경 적 자극과 그에 따른 대응의 경향이 그 존재하에 증가하는 결과에 따른 환경 적 자극과 그에 대한 대응 사이의 SR 연관성을 강화 또는 강화하기 위해 보상이 작용하는 법칙에 근거한다 자극 (Thorndike, 1911; 선체, 1943; 밀러, 1981). 따라서 corticostriatal 통로는 강화 신호로 작용하는 DA로 SR 학습을 중재하는 것으로 생각됩니다.밀러, 1981; 레이놀즈와 위 켄스, 2002).

SR 모델은 학습을 성능으로 변환하는 데 필요한 규칙을 포함하는 이점이 있습니다. 대조적으로, 행동 관련 기대에 기초한 모델은“조치 A가 결과 O로 이어진다”는 신념이 반드시 행동으로 전환 될 필요는 없기 때문에 더 복잡하다 (거스리, 1935; Mackintosh, 1974); 이런 종류의 정보는 'A'를 수행하고 'A'를 수행하지 않기 위해 사용될 수 있습니다. 이러한 이유로 전통적인 이론은 가장 명백한 설명, 즉 동물이 선택 행동을 안내하는 행동 결과 우연을 얻을 수 있다는 가장 명백한 설명을 회피했다. 그러나 지난 수십 년 동안 효과 법칙이 크게 개정되었습니다 (아담스, 1982; Colwill and Rescorla, 1986; 디킨슨, 1994; 디킨슨 (Dickinson) 등, 1996). 티그는 많은 연구 결과에 따르면 도구 적 행동이 진정한 목표 지향적 일 수 있음을 보여주었습니다. 즉 보상 가치의 변화와 행동의 인과 적 효과에 민감합니다 (Dickinson & Balleine, 1994 참조; 2002; 발레 인, 2001 리뷰 용). 그럼에도 불구하고, 일정한 조건 하에서 광범위한 훈련 과정을 통해, 새로 획득 한 행동조차도 상대적으로 자동적이고 자극에 의한 습관이 될 수 있습니다.아담스와 디킨슨, 1981; 아담스, 1982; Yin et al., 2004). 선행 자극에 의해 자동적으로 도출되는 습관은 결과의 기대 또는 표현에 의해 제어되지 않는다; 결과적으로 결과 값의 변화에 ​​영향을받지 않습니다. 이러한 관점에서, 효과의 법칙은 습관적인 행동에만 적용되는 특별한 경우입니다.

현재의 도구 행동 분류는이를 두 개의 클래스로 나눕니다. 티일등석은 도구 적 우발 사태에 의해 통제되는 목표 지향적 행동으로 구성된다. 결과 가치의 변화에 ​​영향을받지 않는 습관적인 행동 (표 1). Yin 등은 결과 평가 절하 및기구 적 우발성 저하와 같은 행동 분석법을 사용하여 등쪽 선조체의 감각 운동 (dorsolateral striatum, DLS)과 연관 영역 (dorsomedial striatum, DMS) 사이의 기능적 해리를 확립했다.Yin and Knowlton, 2004; Yin et al., 2004, 2005a; Yin et al., 2005b; Yin et al., 2006a). DLS의 병변은 습관의 발달을 손상 시켰으며, 결과적으로보다 목표 지향적 행동 제어 방식을 초래했다. DMS의 병변은 반대의 영향을 미치며 목표 지향에서 습관적 통제로 전환됩니다. Yin 등은 DLS와 DMS가 지원하는 연관 구조의 유형에 따라 기능적으로 분리 될 수 있다고 결론 지었다. DLS는 습관 형성에 중요하지만, DMS는 목표 지향 행동의 획득과 표현에 중요하다. 이 분석은 특정 조건 (예 : 연장 된 훈련) 하에서 행동의 제어가 DMS 의존적 시스템에서 DLS 의존적 시스템으로 전환 될 수 있음을 예측하며, 이는 인간 신경 영상을 포함하여 영장류에 관한 상당한 문헌과 광범위하게 일치하는 결론 (히코 사카 (Hikosaka) 등, 1989; Jueptner et al., 1997a; 미야 치 외 1997; 미야 치 외 2002; Delgado 등, 2004; 하루노 외 2004; Tricomi 등, 2004; Delgado 등, 2005; Samejima et al., 2005; 하루노와 카와 토, 2006a, b; Lohrenz et al., 2007; 토 블러 (Tobler) 등, 2007). 물론 기억해야합니다.모자의 물리적 위치 (예 : 등 또는 복부) 만 설치류 선조와 영장류 선조를 비교할 때 신뢰할 수있는 지침이 될 수 없습니다. 이러한 비교는 해부학 적 연결성을 신중하게 고려한 후에주의해서 수행해야합니다.

등쪽 선조 병변의 영향은 축적 병변의 영향과 비교할 수 있습니다 (스미스 -로와 켈리, 2000; Atallah et al., 2007). 이미 언급 한 바와 같이, 행동을 '목표 지향적'으로 설정하기위한 표준 테스트는 결과 평가 절하 및 조치 결과 우발 상황의 저하입니다 (Dickinson and Balleine, 1993). DMS의 병변은 동작을 두 조작 모두에 둔감하게 만듭니다.Yin et al., 2005b), 어 큐벤 코어 또는 쉘의 병변은 (코 비트 (Corbit) 등, 2001). 더욱이, 이러한 행동 분석의 프로브 테스트는 일반적으로 새로운 학습에 의해 오염없이 동물이 배운 것을 평가하기 위해 보상을 제공하지 않고 멸종으로 수행된다. 따라서 표현 구조 제어 동작을 직접 조사합니다. 추가적인 실험적 통제로서 보상이 실제로 제공되는 별도의 평가 절하 테스트 (소위 '보상 테스트')를 수행하는 것이 종종 유용합니다. DMS의 병변은 보상 된 시험에서 결과 평가 절하에 대한 민감성을 폐지하지 않았다. 행동에 대한 평가 절하 된 결과를 전달하는 것은 행동 결과 인코딩과는 독립적으로 행동을 억제 할 수 있기 때문이다. 반면에 Accumbens 껍질 병변은 소멸 시험 또는 보상 시험에서 결과 평가 절하에 대한 민감도를 손상시키지 않았지만, Accumbens 핵심 병변은 두 시험 모두에서 평가 절하에 대한 민감성을 폐지했습니다 (코 비트 (Corbit) 등, 2001). 그러나 우발성 손상에 대한 민감도는 병변의 영향을받지 않았으며, 이는 병변 병변 후 래트가 행동 결과 표현을 인코딩하고 검색 할 수 있음을 보여 주었다.

도파민의 역할 : 메 소림 빅 대 니그로 스트리 아탈

원숭이에서 DA 뉴런의 위상 활동에 대한 개척 연구 이후,이 분야에서 일반적인 가정은 모든 DA 세포가 본질적으로 동일한 방식으로 행동한다는 것입니다 (슐츠, 1998a; Montague et al., 2004). 그러나 이용 가능한 데이터와 해부학 적 연결성은 그렇지 않다고 제안합니다. 실제로, 선조체에서의 기능적 이질성에 대한 상기 분석은 또한 중뇌의 DA 세포로 확장 될 수있다.

DA 세포는 두 가지 주요 그룹으로 나눌 수 있습니다 : VTA와 substantia nigra pars compacta (SNc). 비록에서 프로젝션 Accumbens에 대한 VTA는 보상 관련 학습 분야에서 관심의 중심이었으며, 훨씬 더 큰 나이지리아 경로가 상대적으로 무시되었습니다., 파킨슨 병에서의 역할에 중점을 두었다. 의 역할에 대한 현재의 생각 학습의 DA는 DA 세포의 위상 활동이 보상 예측 오류를 반영한다는 제안에 크게 영향을 받았습니다.r (Lungberg 등, 1992; 슐츠, 1998b). 나는Schultz와 동료들이 사용하는 가장 일반적인 Pavlovian 조절 작업에서 이러한 뉴런은 보상에 대한 반응으로 발사되지만 (미국) 학습을 통해 미국이 유발 한 활동이 CS로 이동합니다. 학습 후 미국이 생략되면, DA 세포는 예상되는 전달 시간에 활동이 잠시 저하된다 (Waelti 등, 2001; Fiorillo 등, 2003; 토 블러 (Tobler) 등, 2003). 이러한 데이터는 다양한 계산 모델의 기초를 형성합니다 (Schultz 등, 1997; 슐츠, 1998b; Brown 외, 1999; Montague et al., 2004).

합성 및 방출 메카니즘에서 다중 수준의 제어가 주어지면, DA 뉴런의 스파이 킹은 DA 방출과 동일시 될 수는 없지만,이 두 측정치가 서로 밀접하게 관련 될 것으로 기대할 수있다. 실제로 Carelli와 동료들이 고속 스캔 순환 전압 전류 법을 사용한 최근 연구에서 알 수 있듯이, Accumbens 코어의 실제 DA 릴리스는 식욕을 돋우는 Pavlovian 컨디셔닝의 예측 오류와 상관 관계가있는 것으로 보입니다. (Day 외., 2007). 그들은 Pavlovian autoshaping에서 자당 보상을받은 직후에 accumbens 코어에서 phasic DA 신호를 발견했습니다. 그러나 파블로프 컨디셔닝을 연장 한 후에는이 신호가 보상 자체 이후 더 이상 발견되지 않고 대신 CS로 이동했습니다.. 이 결과는 원래의 '예측 오류'가설을 뒷받침합니다. 그것은 또한 Accumbens 코어에서 DA 수용체 길항 또는 DA 고갈 후 Pavlovian CR의 성능 저하를 보여주는 이전 연구와 일치합니다 (디 Ciano 외., 2001; 파킨슨 (Parkinson) 등, 2002). 그러나이 연구에서 얻은 한 가지 관찰은 새롭고 상당한 관심의 대상입니다. 보상을 예측하는 CS +와 보상을 예측하지 않는 CS-로 확장 된 컨디셔닝 후 CS와 비슷한 작은 DA 신호도 관찰되었습니다. 또한 초기 피크 (즉, 큐가 시작된 후 500 ~ 800 밀리 초)가 약간 떨어졌습니다 (Day 외, 2007, 그림 4). 학습의이 단계에서 동물은 거의 CS-에 접근하지 않지만 CS +에 지속적으로 접근합니다. 따라서, 예측 자 직후의 위상 DA 신호는 응답이없는 경우에도 존재하기 때문에 접근 응답을 생성하는 데있어서 인과적인 역할을 수행하지 않을 수있다. 이러한 신호가 여전히 자극 보상 우발 사태를 배우는 데 필요한지 여부는 불분명하지만 CS-에 대한 관측 된 위상 응답은 현재 모델 중 어느 것으로도 예측되지 않습니다.

흥미롭게도 로컬 DA 고갈은이 작업의 성능을 저하시킵니다 (파킨슨 (Parkinson) 등, 2002). CR을 전혀 발생시키지 않는 CS- 이후에 위상 DA 신호가 관찰되는 반면, 국부적 고갈에 의해 위상 및 강장 DA를 폐지하면 CR의 성능이 손상된다. 이러한 패턴은 어 큐벤의 phasic DA 신호가 Pavlovian CR의 성능에 필요하지는 않지만 학습에 중요한 역할을 할 수 있지만 느리고 더 강렬한 DA 신호 (아마도 고갈 연구에서 폐지 됨)가 성능에 더 중요하다는 것을 나타냅니다. 접근 응답의Cagniard 등, 2006; Yin et al., 2006b; Niv 등, 2007). 이 가능성은 여전히 ​​테스트 중입니다.

학습에서 위상 DA 신호의 인과 적 역할에 대한 직접적인 증거는 없지만 '예측 오류'가설은 그럼에도 불구하고 현저한 학습 모델에 사용되는 교시 신호의 유형이기 때문에 많은 관심을 끌었습니다. Rescorla-Wagner 모델 및 실시간 확장과 같은 시간적 차이 강화 학습 알고리즘 (슐츠, 1998b). 이 해석에 따르면, 식욕 학습은 수신 된 보상과 기대 된 보상의 차이 (또는 두 개의 일시적으로 연속적인 보상 예측의 차이)에 의해 결정됩니다. 그러한 교시 신호는 보상의 모든 예측 자로부터의 부정적인 피드백에 의해 규제됩니다.슐츠, 1998b). 보상자가 예측자를 따르지 않는다면, 부정적인 피드백 메커니즘은 DA 뉴런의 활동의 딥으로 가려진다. 따라서 학습에는 예측 오류의 점진적인 감소가 포함됩니다.

이 모델들에서 가르치는 신호의 우아함은 아마도 해부학 적 현실에서 일부 산만했을 것입니다. 에 의해 연구에서 일 외 (2007), accumbens의 DA 신호는 대부분 VTA의 셀에서 발생하지만 완전히 다른 해부학 적 연결성을 가진 다른 DA 셀이 동일한 응답 프로파일을 표시하고 동일한 신호를 제공 할 것 같지 않습니다. DA 셀이 완전히 다른 기능을 가진 다른 선조 영역으로 투사하고, 다른 선조 영역에서 뚜렷한 음성 피드백 신호를 수신하기 때문에 DA 셀 신호의 기울기가 더 커집니다 (Joel과 Weiner, 2000; Wickens et al., 2007). 흡수와 분해의 메커니즘과 도파민의 방출을 조절하는 시냅스 전 수용체는 또한 선조체에 걸쳐 상당한 변화를 보인다 (Cragg et al., 2002; 쌀과 크래그, 2004; Wickens et al., 2007; 쌀과 크래그, 2008).

그러므로 우리는 mesoaccumbens 경로가 상태와 자극의 가치를 얻는 데있어 Pavlovian 학습에서 더욱 제한적인 역할을하는 반면, nigrostriatal 경로는 행동의 가치를 얻는 데있어 도구 학습에 더 중요하다고 제안합니다. T즉, 위상 DA 신호는 현재 추정되는 바와 같이 단일 예측 에러가 아닌 상이한 예측 에러를 인코딩 할 수있다. 이 주장을 뒷받침하는 세 가지 증거가있다. 첫째, nigrostriatal 경로에서 DA의 유전자 고갈은 도구 작용의 획득 및 성능을 손상시키는 반면, mesolimbic 경로에서 DA의 고갈은 (소탁 등, 2005; 로빈슨 (Robinson) 등, 2007). 둘째로, SNc의 DA 세포는 그들의 표적 선조 영역의 세포와 유사한 작용의 값을 암호화 할 수있다 (모리스 (Morris) 등, 2006). 셋째, DLS 로의 Nigrostriatal 투영의 선택적 병변은 습관 형성을 손상시킵니다 (Faure 등, 2005).

Palmiter와 동료들의 최근 연구에 따르면 유전자 조작 된 DA 결핍 생쥐는 도구 학습 및 성능에 심각하게 손상을 입었지만 L-DOPA 주사 또는 바이러스 경로로의 니트 로스트 리아 경로로의 성능 회복이 가능합니다 (소탁 등, 2005; 로빈슨 (Robinson) 등, 2007). 대조적으로, 복부 선조에서의 DA 복원은기구 적 행동을 복원하는 데 필요하지 않았다. DA 신호가 어떻게 기기 학습을 가능하게 하는가는 여전히 의문의 여지가 있지만, 한 가지 확실한 가능성은 자기 주도적 행동의 가치, 즉 특정 행동 과정에서 얼마나 많은 보상이 예측되는지를 인코딩 할 수 있다는 것입니다.

등쪽 선조체는 전체적으로 뇌에서 가장 높은 DA 수용체 발현을 포함하며 가장 큰 도파민 성 투영을받습니다.. DMS에 대한 DA 투영은 DLS에 대한 투영과는 학습에서 다른 역할을 수행 할 수 있는데,이 두 영역은 DA 방출, 흡수 및 분해의 시간적 프로파일에서 현저하게 상이하기 때문에 (Wickens et al., 2007). 측면 SNc에서 DLS 로의 DA 투영은 습관 형성에 중요하지만, 중간 SNc에서 DMS 로의 DA 투영은 행동 결과 학습에 중요하다고 가정한다. 이것이 사실이라면, SNc의 DA 셀이 CS에 기초한 것이 아니라 자체 생성 된 행동 (계측 적 예측 에러)에 기초한 보상 예측에서 에러를 인코딩 할 것으로 예상해야한다. 이 주장을 뒷받침하는 예비 증거는 Morris 등의 최근 연구에서 얻은 것으로, 기기 학습 과제 중 SNc 뉴런에서 기록한모리스 (Morris) 등, 2006). 원숭이들은 차별적 인 자극에 반응하여 팔을 움직 이도록 훈련 받았다 (S^D)는 적절한 움직임과 보상 가능성을 나타냅니다. S^D 특정 행동의 예상 보상 확률에 기초하여 행동 값에 대응하는 DA 뉴런에서의 위상 활동을 유도 하였다. 가장 흥미롭게도 S에 대한 DA 응답^D 행동 값으로 증가하면 보상에 대한 DA 반응의 반대가되었으며, 이러한 뉴런이 그 값과 관련된 예측 오류를 인코딩하고 있다는 생각과 일치합니다. 놀랍게도,이 세포의 주요 선조체 목표 인 핵은 행동 값을 인코딩하는 뉴런을 포함하는 것으로 알려져 있습니다.Samejima et al., 2005). 그러나이 연구는 행동의 가치를 명확하게 평가하는 행동 과제를 사용하지 않았다는 점에 유의해야한다. 우리 모델에 대한 명확한 예측은 명백한 S가없는 경우에도 PHAsic DA 활동이 행동 수행에 동반 될 것이라는 점입니다.^D. 예를 들어, 우리는 보상을 얻기 위해 스스로 시작하는 행동에서 nigral DA 뉴런의 버스트 발사를 예측합니다.

우리의 관점에서, mesoaccumbens DA 신호는 CS의 가치를 반영하지만, 아마도 DMS에 투영되는 뉴런으로부터의 nigrostriatal 신호는 행동 자체의 가치를 반영합니다. 또는 S^D 이 값을 예측합니다. 더욱이, 도구 학습과 파블로프 학습은 효과적인 교수 신호를 제어하기 위해 어떤 형태의 부정적인 피드백을 포함하는 것으로 보인다. 실제로, 선조체에서 중뇌 DA 뉴런으로의 직접 투영 (그림 2)는 이런 유형의 부정적인 피드백을 신경 구현하는 것으로 오랫동안 제안되어왔다.Houk 등, 1995), 억제 입력의 강도와 특성은 지역마다 상당히 다를 수 있습니다.

  

그림 2

코르티코 기본 신경절 네트워크

현재 모델에 따른 예측 에러는 얼마나 많은 학습이 발생 하는지를 결정하는 티칭 신호이다. 그것이 존재하는 한, 학습은 계속됩니다. 그러나 명백히이 주장은 행동 가치에 대한 예측 오류는 파블로프의 예측 오류와 구문 적으로 유사하지만 광범위하게 조사되지 않은 고유 한 특징을 가지고있다. Pavlovian 컨디셔닝을 독점적으로 처리하는 Rescorla-Wagner 모델과 같은 전통적인 모델 (성공은 제한적 임에도 불구하고)의 핵심 기능은 예측 오류를 조절하는 부정적인 피드백입니다. 이 출력은 획득 한 예측,보다 구체적으로 합 차단 실험에 일반적으로 사용되는 복합 자극에 의해 포착 된 모든 현재 예측 변수Rescorla, 1988). 이 모델 클래스의 주요 혁신 인 전역 오류 항을 설정하는 것이 사용 가능한 예측 변수를 요약 한 것입니다. 그러나 도구 작업의 경우 개별 오류 용어가 더 가능성이 높아 보입니다. 한 번에 하나의 작업 만 수행 할 수있는 경우 부정적인 피드백이 여러 작업의 값을 동시에 나타내는 방법을보기 어렵 기 때문입니다. 물론 여러 가지 가능한 솔루션이 존재합니다. 예를 들어, 특정 상태 (특별한 S에 의해 실험적으로 구현 됨)^D)의 가능한 행동 과정은 실제로 획득 된 예측과 동시에 표현 될 수있다. 그러나 도구 예측 오류의 주요 어려움은 작업 자체의 특성과 관련이 있습니다. Pavlovian 예측은 유기체와 무관 한 자극의 제시를 자동으로 따릅니다. 도구 자체 예측 오류는 제어 요소를 다루어야합니다. 예측 자체가 행동에 영향을 미치기 때문에 의도적 인 행동이 선행 자극에 의해 유발되기보다는 행동 결과에 대한 동물의 추구에 기초하여 자발적으로 방출됩니다. 결국, 그것은 신경 과학과 심리학 모두에서 목표 지향적 행동의 자발적인 본질을 정확히 무시한 것으로 파블로프와 도구 학습 과정과 관련된 예측 오류의 본질을 흐리게했다. 따라서 어떤 유형의 네가티브 피드백 신호 (있는 경우)가 조치 값의 획득을 규제하는지는 여전히 확립되어 있어야합니다 (데이 탄과 바레인느, 2002).

마지막으로, 최근의 연구는 특히 습관 형성에서 측면 SNc에서 DLS 로의 니그로 트리아 투영을 암시했다. Faure 등은 6-OHDA를 사용하여 DLS로 투영되는 DA 세포를 선택적으로 손상 시켰으며,이 조작은 결과 평가를 사용하여 측정했을 때 습관 형성이 손상되었지만 레버 누르기 속도에 놀랍게 거의 영향을 미치지 않음을 발견했습니다.Faure 등, 2005). 즉, 병변 동물은 대조군에서 훈련이 결과 평가 절하에 둔감 한 습관적 행동을 생성하더라도 목표 지향적 방식으로 반응했다. 국소 DA 고갈은 DLS의 흥분 독성 병변과 유사하다. 두 조작 모두 습관 형성을 지연시키고 목표 지향적 행동의 획득을 선호한다는 점이다.Yin et al., 2004). 습관 형성에 중요한 phasic DA 신호는 Hull and Spence의 연구에서 영감을 얻은 현대의 시차 강화 학습 알고리즘에서 효과적인 강화 신호로 이미 잘 설명되어 있습니다.선체, 1943; 스펜스, 1947, 1960; 서튼과 바토, 1998).

코르티코 기본 신경절 네트워크

지금까지 우리는 선조 내의 기능적 이질성에 대해 논의했지만, 어떤 선조 영역이라도 행동 결과 우발 사태를 행동 자체로 수행 할 수 있다고 제안하는 것은 오해의 소지가 있습니다. 오히려 대뇌 반구는 코르티코 기저핵 네트워크로 구성된 반복 기능 단위로 구성됩니다.스완 손, 2000; Zahm, 2005). 티그는 기저핵 전체의 진입 국인 피질, 기저핵 및 중뇌 입력을 통합 할 수있는 코르티코-기저 신경절 네트워크 모티프의 독특한 허브 역할을합니다.. 전술 한 바와 같이, 비록 연속적인 구조이지만, 상이한 선조 영역은 별개의 기능 네트워크에 참여하는 것으로 보인다. 예를 들어, 어 큐벤은 변연계 네트워크의 허브 및 감각 운동 네트워크의 DLS로서 작용한다. 그러나 이러한 네트워크의 재진입 성으로 인해이 구조의 어떤 구성 요소도 절대적인 의미에서 상류 또는 하류에 있지 않습니다. 예를 들어 시상 피질 시스템은 선조에 대한 주요 입력 원이자 선조-두개 및 선조-니 ​​그랄 경로 둘 다의 표적이다.

평행 재진입 기저핵 절 루프는 오랫동안 인식되어 왔지만 (Alexander et al., 1986), 우리는 동작 적으로 정의 된 표현 구조와 통합 행동을 생성하는 회로 사이의 상호 작용을 기반으로 이러한 회로의 고유 한 기능적 역할을 강조합니다. 이를 바탕으로, 적어도 4 개의 이러한 네트워크가 식별 될 수있다 : 각각 어 큐벤의 쉘 및 코어를 포함하는 변연계 네트워크, 연관 선조체 (DMS)를 포함하는 연관 네트워크, 및 감각 운동 선조체 (DLS)를 포함하는 감각 운동 네트워크. 그들의 기능은 식욕을 돋우는 Pavlovian UR과 CR의 통제를 매개하는 것에서부터 도구적인 행동에 이르기까지 다양합니다 (그림 1).

  

그림 1

선조체의 주요 기능 영역. 뇌의 절반을 보여주는 관상 섹션에서 선조의 그림 (Paxinos and Franklin, 2003). 이 네 가지 기능 영역은 해부학 적으로 연속적이며 대략적으로 ...

이미 언급했듯이, 복부 선조체는 대부분 핵 축적으로 구성되며, 각각 핵과 핵으로 더 나눌 수 있으며, 각각 별개의 기능 네트워크에 참여합니다. 껍질에 대뇌 피질의 (glutamatergic) 투상은 infralimbic, central and side orbital cortices에서 발생하는 반면, core에 대한 투상은 복부와 배면의 prelimbic과 fronting cingulate cortices와 같은 전두엽 피질의 등쪽 중앙선 부분에서 발생합니다.Groenewegen et al., 1990; Zahm, 2000, 2005). 이들 기능 네트워크 내에서 상기 검토 된 증거는 쉘이 보상 및 획득 CR을 획득하기 위해 UR에 관련되어 있음을 시사한다; 탐색 적 행동의 핵심, 특히 Pavlovian 접근 응답의 획득과 표현. 따라서 적어도 두 개의 주요 네트워크는 더 큰 복부 또는 변연 코르티코 기초 신경절 네트워크에서 식별 될 수 있습니다. 하나는 완성 적 행동을위한 것이고 다른 하나는 준비 행동 및 파블로프 조건을 통한 수정입니다 (그림 1).

등쪽 선조도 마찬가지로 연관된 기능성 네트워크와 관련하여 연관성 및 감각 운동성 둘 이상의 주요 영역으로 분할 될 수있다. 연관성 선조체 (영장류와 영장류의 앞쪽 퍼 타멘의 일부)에는 반응에 따른 보상을 기대하여 발사하고 예상되는 보상의 규모에 따라 발사를 변화시키는 뉴런이 포함됩니다 (히코 사카 (Hikosaka) 등, 1989; Hollerman et al., 1998; 카와 고에 (Kawagoe) 등의 1998). 연관 네트워크에서 전전두엽 및 정수리 관련 피질과 DMS에서의 목표는 일시적인 기억에 관련되어 있으며, 예상되는 결과의 형태로 회귀 적이며 최근의 추론 사본의 기록으로 소급 적입니다.코 노르 스키, 1967). 반면에 감각 운동 수준은 감각 운동 피질과 기저핵에있는 목표로 구성됩니다. 이 회로의 출력은 운동 피질과 뇌간 운동 네트워크를 향합니다. 감각 운동 선조체의 신경 활동은 일반적으로 보상 기대에 의해 조정되지 않으며, 연관 선조체에서 뉴런보다 더 많은 운동 관련 활동을 표시합니다.가나자와 등 1993; Kimura 등 1993; Costa 외, 2004). 마지막으로, 내측 측면 구배에 더하여, 등쪽 선조의 앞뒤 축을 따라 상당한 기능적 이질성이 있지만, 현재 세부적인 분류를하기에는 충분한 데이터가 없다 (Yin et al., 2005b).

연구는 지금까지 이러한 네트워크의 피질 및 선조체 구성 요소에만 중점을 두었습니다. 일반적으로 대뇌 피질 영역의 병변은 선조 대상의 병변과 유사한 영향을 미칩니다 (Balleine과 Dickinson, 1998; 코빗과 배꼽, 2003; Yin et al., 2005b). 그러나 네트워크의 다른 구성 요소는 유사한 기능을 유지할 수 있습니다. 예를 들어, 연관 네트워크의 구성 요소 인 시상의 mediodorsal 핵의 병변은 DMS 및 전두 피질의 병변과 거의 같은 방식으로 결과 평가 절하 및 우발성 저하에 대한 민감성을 폐지하는 것으로 나타났습니다.코 비트 (Corbit) 등, 2003). 따라서 우리의 일반적인 모델은 네트워크의 각 구성 요소에 대한 손상 후 유사한 행동 적자를 예측하지만, 팔리 덤 또는 시상과 같은 주어진 구조에 대해 여러 기능 영역을 제안합니다.

네트워크 간의 상호 작용

대부분의 조건에서 Pavlovian과 도구 학습은 동시에 진행되는 것으로 보입니다. 그러나 PIT와 같은 현상은 이러한 별개의 프로세스가 상호 작용할 수있는 정도를 보여줍니다. 독립적 인 기능 시스템을 묘사 한 다음 단계는 이러한 시스템이 어떻게 동작을 생성하도록 조정되는지 이해하는 것입니다. 최근의 해부 연구에 따른 매력적인 제안 중 하나는 위에서 설명한 네트워크가 계층 적으로 구성되어 있으며 각 계층은 계층에서 불안정하고 기능적인 중개자 역할을하며 정보가 한 수준에서 다음 수준으로 전파 될 수 있다는 것입니다. 특히 최근에 발견 된 선조와 중뇌 사이의 나선형 연결은 네트워크 간 상호 작용을 잠재적으로 구현할 수있는 해부학 적 조직을 제안합니다.그림 2). Haber와 동료들에 의해 관찰 된 바와 같이, 선조 뉴런은 DA 뉴런에 직접 억제 프로젝션을 보냄으로써 상호 DA 프로젝션을 받고 DA 뉴런으로 프로젝션합니다.하버 (Haber) 등, 2000). 이 투영법은 변연계 네트워크에서 연관 및 감각 운동 네트워크까지 한 방향으로 만 정보의 피드 포워드 전파를 허용합니다. 예를 들어, Pavlovian 예측 (CS의 획득 값)은 다음 레벨에서 DA 신호를 동시에 강화하면서 변연계 레벨에서 효과적인 티칭 신호를 줄일 수 있습니다. 효과적인 교시 신호의 소거는 일반적으로 억제 투영, 예를 들어, 선조체에서 DA 뉴런으로의 GABAergic 매체 가시 투영 뉴런으로부터의 음의 피드백 신호에 의해 구현된다. 한편, 해부학 적 조직에 의해 제안 된 바와 같이 (하버 (Haber) 등, 2000; 하버, 2003), 인접 코르티코-기저 신경절 네트워크 (계층 구조의 다음 레벨)에 대한 DA 신호의 강화는 억제 프로젝션 (즉, GABAergic striatal projection 뉴런에서 nigral GABAergic 뉴런에서 DA 뉴런으로)을 통해 구현할 수 있습니다. 따라서, 변연 네트워크의 학습 된 값은 연관 네트워크로 전송 될 수 있으며, 각 반복에 따라 행동 적응이 개선되고 증폭 될 수있다 (애쉬 비, 1960). 따라서이 모델은 다양한 학습 단계에서 다양한 신경망이 점진적으로 관여 함을 예측하며 다양한 데이터에 의해 뒷받침되는 제안 (Jueptner et al., 1997b; 미야 치 외 1997; 미야 치 외 2002; 음, 2004; Everitt와 Robbins, 2005; Yin and Knowlton, 2005; Belin and Everitt, 2008).

PIT와 같은 고유 한 기능 프로세스의 상호 작용이 필요한 현상은 이러한 종류의 모델에 대한 비옥 한 테스트 환경을 제공합니다. 실제로, 계층 적 모델은 PIT에 대한 최근의 실험 결과와 일치합니다. 모델에 따르면, 파블로프-계측 상호 작용은 선조체와 DA 뉴런 사이의 상호 연결에 의해 매개된다. DA는 DA 길항제 및 VTA의 국소 불 활성화에 의해 폐지되는 일반적인 전이에 결정적인 것으로 보인다 (디킨슨 (Dickinson) 등, 2000; Murschall and Hauber, 2006); DA 수준을 증가시키는 암페타민의 국소 주입으로 인해 어 큐벤으로의 주입이 현저히 향상 될 수 있습니다.Wyvell과 Berridge, 2000). 한편, 특정 전이에서 복부 선조체 도파민의 역할은 덜 명확하다. 일부 증거에 따르면 VTA를 비활성화 한 후 VTA가 소진 될 수 있습니다 (코 비트 (Corbit) 등, 2007) 그러나 ~함에 따라 코빗과 자낙 (2007) 최근에보고 된 바와 같이, 특정 전이는 DLS의 불 활성화에 의해 폐지되며, 행동 ​​선택에 대한 자극 제어의 이러한 측면은 nistriatal 투영을 포함 할 수 있음을 시사한다.코빗과 야낙, 2007). 계층 적 관점에 동의하면 코빗과 자낙 (2007) 또한 DLS 불 활성화가 팔로 비안 큐의 선택적 흥분 효과를 폐지 한 반면 (아크 벤 셸의 병변에 의해 관찰 된 바와 같이) Corbit 등, 2001), DMS의 비활성화는 이러한 단서의 일반적인 흥분 효과를 유지하는 것으로 보이는 동안 전이의 결과 선택성만을 폐지했으며, 경향은 또한 연관 코르티코-기저 신경절 네트워크의 일부인 mediodorsal thalamus의 병변 후에 관찰되었다 (Ostlund and Balleine, 2008). 이러한 예비 결과에 기초하여, DMS는 특정 전이만을 매개하는 것으로 보이지만, DLS는 도구 적 행동에 대한 파블로프 단서의 특정 및 일반적인 흥분 효과 모두에 필요할 수있다.

흥미롭게도, 변연계 선조는 등쪽 선조로 투영되는 DA 세포에 광범위하게 투영됩니다 (Nauta et al., 1978; 나우타, 1989); 선조체에 대한 도파민 돌기 투영과 중뇌로의 선조 돌기 투영은 매우 비대칭 적입니다 (하버, 2003). 변연계 선조체는 DA 뉴런으로부터 제한된 입력을 수신하지만 훨씬 더 많은 DA 뉴런 세트로 광범위한 출력을 보내며, 그 반대의 경우 감각 운동 선조체에 해당된다. 따라서 변연계 네트워크는 연관 및 감각 운동 네트워크를 제어하기에 완벽한 위치에있다. 여기서 신경 해부학은기구 적 행동의 파블로프 촉진이 반대보다 훨씬 강하다는 행동 데이터와 일치한다. 실로, 상당한 증거는 파블로프 CR을 자극하기보다는 도구 작용이 억제하는 경향이 있음을 시사한다. 이는 여전히 신경 생물학적 설명을 기다리고있는 발견이다.엘리슨과 코 노르 스키, 1964; 윌리엄스, 1965).

결론

여기서 논의 된 계층 적 모델은 피질 영역 사이의 피질과 장거리 연결에 독점적으로 의존하는 다른 모델과 매우 다릅니다 (푸스터, 1995). 그것은 특정의 미지의 방식으로 광범위한인지 기능을 구현하는 대뇌 피질 모듈의 포푸리 (potpourri)로 보지 않고 알려진 구성 요소와 뇌의 연결성을 통합합니다. 또한 19에서 상속 된 가정을 피합니다.^th 세기 신경학, 일반적으로 대뇌 피질, 특히 전전 두 피질은 어떻게 든 전체 뇌를 제어하는 ​​'더 높은'Homuncular 단위를 형성합니다. (밀러와 코헨, 2001).

더욱이, 본 모델로부터 몇몇 특정 예측이 도출 될 수있다 : (i) 자체 생성 된 행동 및 상이한 신경 기질 및 기능적 역할을 반영하는 특성을 갖는 상태 / 자극에 대한 명확한 예측 오차가 있어야한다. (ii) 각 이산 코르티코-기저 신경절 네트워크의 연골 및 시상 구성 요소는 피질 및 선조 구성 요소뿐만 아니라 각 네트워크에 대해 가정 된 행동 제어 유형에 필요합니다. (iii) 학습 단계마다 다른 신경망이 점진적으로 관여해야합니다. (iv) Accumbens 활동은 DA 뉴런을 직접 제어 할 수 있으며, 차례로 등쪽 선조 활동을 제어 할 수 있습니다. 의 보고서를 기반으로 네덜란드 (2004) 도구 훈련으로 PIT가 증가 할 것을 제안하면서, 연관 및 감각 운동 네트워크의 이러한 '변연 적'제어는 연장 된 훈련으로 강화 될 것으로 예상된다.

자세한 데이터가 없으면 계층 적 모델에 대한 공식적인 설명을 제공하기에는 아직 이르다. 그럼에도 불구하고, 상기 논의는 현재 버전의 메소 아컴 벤 보상 가설이 보상 프로세스의 성격 및 부적절한 행동 측정의 사용에 관한 문제가있는 가정에 있다는 것을 분명히해야한다. 항상 과학적 기업의 목표 인 통일 원칙은 실험 데이터의 현실에만 근거 할 수 있지만, 다루기 힘들 수 있습니다. 뇌의 기능은 궁극적으로 행동의 생성 및 제어이기 때문에 선천적 및 후천성 면역에 대한 철저한 설명이 면역계의 설명을 가능하게하는 것처럼 세부적인 행동 분석이 신경 과정을 이해하는 열쇠가 될 것입니다. 비록 truism으로 보이지만, 우리는 그들의 기능이 정확하게 기술되고 측정되는 정도로 뇌 메커니즘을 이해할 수 있다고 강조 할 수 없다. 신경 기능의 연구가 실험적으로 확립 된 심리적 능력, 예를 들어 행동-결과 및 자극-결과 우발의 표현에 기초 할 때, 알려진 해부학 적 구조 및 생리 학적 메카니즘이 새로운 관점에서 보여지고, 새로운 공식화로 이어진다 가설과 새로운 실험의 설계. 이 방향의 초기 단계로서 여기에서 논의 된 프레임 워크가 향후 조사를위한 유용한 시작점이되기를 바랍니다.

감사의

참고자료