도파민 뉴런의 예측 보상 신호 (1998)

보상의 기능

환경의 특정 사물과 사건은 복지, 생존 및 재생산에 미치는 영향으로 인해 특히 동기 부여가됩니다. 도출 된 행동 반응에 따르면, 환경 대상의 동기 부여 가치는 식욕을 돋우거나 (보상) 혐오 (징벌) 할 수 있습니다. (“보충적”은“보상”과 동의어로 사용되지만“준비”에는 사용되지 않습니다.) 식욕을 돋우는 물건에는 세 가지 분리 가능한 기본 기능이 있습니다. 첫 번째 기능에서 보상은 접근과 결론적 인 행동을 이끌어냅니다. 이것은 타고난 메커니즘 또는 대부분의 경우 학습을 통해 대상이 식욕을 돋우는 값으로 표시되기 때문입니다. 두 번째 기능에서 보상은 그러한 대상 (학습)으로 이어지는 행동의 빈도와 강도를 증가시키고 멸종을 방지함으로써 학습 된 행동을 유지합니다. 보상은 고전 및 도구 컨디셔닝 절차에서 행동의 긍정적 인 강화 역할을합니다. 인센티브 학습에서 환경 자극은 고전적으로 조절 된 자극 보상 협회에 따라 식욕을 돋우고 접근 행동을 유도합니다 (빈 드라 1968). 도구 조절에서 자극과 행동 반응 사이의 연관성을 강화하여“강화”행동에 대한 보상을 제공합니다 (법률 : Thorndike 1911). 이것이“더 많은 것을 위해 돌아 오는 것”의 본질이며, 무언가를 잘함으로써 얻은 보상의 일반적인 개념과 관련이 있습니다. 인센티브 학습의 도구적인 형태에서 보상은“인센티브”이며 행동 반응과 결과 사이의 연관성에 따라 행동의 목표 역할을합니다.디킨슨과 발레 인 1994). 세 번째 기능에서 보상은 주관적인 쾌감 (헤 도니아)과 긍정적 인 감정 상태를 유발합니다. 반대 방향의 혐오 자극 기능. 그들은 반복적 인 표현에서 회피 행동을 증가시키고 유지함으로써 금단 반응을 유도하고 부정적인 강화제 역할을하여, 피해 사건의 영향을 줄입니다. 또한 그들은 내부의 감정적 분노 상태, 두려움 및 공황 상태를 유발합니다.

예측의 기능

예측은 미래의 자극, 이벤트 또는 시스템 상태에 대한 사전 정보를 제공합니다. 그것들은 행동 반응에 대한 시간을 얻는 기본적인 이점을 제공합니다. 어떤 형태의 예측은 특정한 결과와 관련하여 동기 부여 가치를 환경 자극에 귀속시켜 중요한 중요성을 가진 대상을 식별하고 덜 중요한 대상과 구별합니다. 다른 형태는 공간 위치, 속도 및 무게와 같은 예측 된 물체의 물리적 파라미터를 코딩한다. 예측을 통해 유기체는 실제로 발생하기 전에 미래의 사건을 평가하고 행동 반응의 선택 및 준비를 허용하며 동기 부여 값으로 표시된 물체에 접근하거나 피할 가능성을 높일 수 있습니다. 예를 들어, 동일한 순서로 물체의 반복 된 움직임은 앞으로 오는 위치를 예측하고 본 물체를 추구하면서 다음 움직임을 이미 준비 할 수있게한다. 이를 통해 개별 대상 간의 반응 시간이 단축되고 전체 성능이 향상되며 결과가 더 빨라집니다. 예측 가능한 안구 운동은 사전 초점 조정을 통해 행동 성능을 개선합니다 (꽃과 다우닝 1978).

보다 진보 된 수준에서, 예측에 의해 제공된 진보 정보는 대안들 사이에서 특정 시스템 상태를 달성하거나, 자주 발생하지 않는 목표 목표에 접근하거나, 돌이킬 수없는 부작용을 피할 수있는 결정을 내릴 수있게한다. 산업 응용 프로그램은 내부 모델 제어를 사용하여 시스템 상태가 실제로 발생하기 전에 시스템 상태를 예측하고 이에 반응합니다 (Garcia et al. 1989). 예를 들어, 현대 항공의 "와이어 (fly-by-wire)"기술은 예측 가능한 다가오는 비행기 상태를 계산합니다. 비행 조작에 대한 결정은이 정보를 고려하고 평면의 기계적 구성 요소에 과도한 변형을 피하여 무게를 줄이고 작동 범위를 증가시킵니다.

예측 정보의 사용은 표시된 미래 이벤트 또는 시스템 상태의 특성에 따라 다릅니다. 간단한 표현은 다가오는 표적의 위치와 그에 따른 행동 반응과 직접적으로 관련되어 있기 때문에 반응 시간이 다소 자동으로 줄어 듭니다. 더 높은 형태의 예측은 논리적 추론을 허용하는 표현을 기반으로하며, 다양한 정도의 의도와 선택으로 액세스하고 처리 할 수 ​​있습니다. 그들은 종종 인간에서 의식적으로 처리됩니다. 예측 된 사건 또는 시스템 상태가 발생하고 행동 반응이 수행되기 전에, 이러한 예측은 상이한 소스로부터의 지식을 통합하고, 다양한 반응 방식을 설계하고, 각각의 가능한 반응으로부터의 이득 및 손실을 비교함으로써 다양한 전략을 정신적으로 평가할 수있게한다.

행동 컨디셔닝

연관성 식욕 학습은 임의의 자극과 일차 보상 사이에 반복적이고 우발적 인 짝을 이룹니다 (그림. 1). 이것은 현재“조건화 된”자극에 의해 유도되는 접근 빈도가 점점 더 빈번해 지는데, 이는 부분적으로 일차 보상에 의해 도출 된 접근 방식과 유사하며 또한 조건부 자극의 성질에 영향을 받는다. 조건부 자극은 보상의 예측 자 역할을하며, 종종 적절한 추진력에 기초하여 행동 반응으로 이어지는 내부 동기 상태를 설정하는 것으로 보인다. 접근 반응의 유사성은 행동 반응의 일반적이고 준비적인 구성 요소 중 일부가 일차 보상에서 초기 조건부 보상 보상 자극으로 이전됨을 시사합니다. 따라서 조건부 자극은 아마도 파블로프 학습을 통해 일차 자극을 대체하는 동기 부여 역할을한다.디킨슨 1980).

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 1. 

학습 중 식욕 자극의 처리. 임의의 자극은 반복적 인 조건 쌍을 통해 1 차 음식 또는 액체 보상과 관련이 있습니다. 이 조절되고 보상 예측 자극은 종종 해당 기아 또는 갈증에 근거하여 보상에 대한 기대를 불러 일으켜 내부 동기 부여 상태를 유도하고 행동 반응을 이끌어냅니다. 이 체계는 인센티브 동기 부여 이론의 기본 개념을 복제 빈 드라 (1968) 및 볼 (1972). 조건부 자극 후 보상이 자동으로 전달되는 클래식 컨디셔닝 및 보상 전달이 조건부 자극에 대한 대상의 반응을 필요로하는 도구 (오퍼레이터) 조건부에 적용됩니다. 이 계획은 또한 간결한 이유로 더 이상 설명되지 않는 혐오적인 컨디셔닝에도 적용됩니다.

외국 방문객을 모두 확인할 수 있기 때문에 소위“무조건”식품 및 액체 보상은 경험을 통해 배울 수 있습니다. 그러면 일차 보상은 대상이 미각 수용기를 활성화 할 때 경험 한 맛으로 구성 될 수 있지만 다시 배울 수 있습니다. 영양소 개체의 궁극적 인 보상 효과는 아마도 혈장 및 뇌의 전해질, 포도당 또는 아미노산 농도와 같은 기본 생물학적 변수에 대한 특정 영향으로 구성됩니다. 이 변수는 유기체의 식물 적 필요에 의해 정의되며 진화를 통해 발생합니다. 동물은 히스티딘과 같은 필수 아미노산이 부족한 음식과 같이 중요한 영양 변수에 영향을 미치지 않는 영양소를 피합니다 (로저스와 하퍼 1970), 트레오닌 (Hrupka et al. 1997; Wang et al. 1996) 또는 메티오닌 (딜라 니와 겔 페린 1986). 몇 가지 주요 보상은 타고난 본능에 의해 결정될 수 있으며 초기 생활에서 초기 접근 행동과 섭취를 지원하는 반면, 대부분의 보상은 해당 과목의 이후의 삶 경험 동안 배울 수 있습니다. 보상의 물리적 인 외관은 훨씬 느린 영양 효과를 예측하는데 사용될 수 있습니다. 이것은 보상의 감지를 극적으로 가속화하고 생존의 주요 이점을 구성합니다. 보상에 대한 학습은 또한 피험자가 훨씬 더 다양한 영양소를 효과적인 보상으로 사용할 수있게하여 부족한 자원 영역에서 생존 가능성을 높입니다.

일차 식욕 자극에 의한 활성화

도파민 뉴런의 약 75 %는 동물이 움직임 자체에 의해 활성화되지 않고 다른 phasic 자극이없는 상태에서 탐색 적 움직임 동안 숨겨진 음식의 작은 morsel을 만질 때 phasic 활성화를 보여줍니다 (로모와 슐츠 1990). 나머지 도파민 뉴런은 테스트 된 환경 자극에 반응하지 않습니다. 도파민 뉴런은 또한 행동 과제 외부에서 입으로 전달되는 액체 방울에 의해 또는 시각 또는 청각 반응 시간 과제, 공간 지연 반응 또는 교대, 시각적 차별과 같은 다른 패러다임을 배우면서 종종 같은 동물에서 활성화됩니다 (그림 . 2 상단()홀 러먼과 슐츠 1996; 융베리 (Ljungberg) 등. 1991, 1992; 미 레노 비츠와 슐츠 1994; Schultz et al. 1993). 보상 응답은 학습 컨텍스트와 독립적으로 발생합니다. 따라서 도파민 뉴런은 다른 음식 물체와 액체 보상을 구별하지 않는 것으로 보입니다. 그러나 그들의 답변은 보상이 아닌 보상 대상과 구별됩니다.로모와 슐츠 1990). 도파민 뉴런의 14 %만이 손에 공기 퍼프 또는 입에 고조파 식염수와 같은 1 차 혐오 자극이 제시 될 때 위상 활성화를 보여 주며, 활성화 된 뉴런의 대부분은 보상에도 반응합니다 (미 레노 비츠와 슐츠 1996). 유해하지는 않지만 이러한 자극은 행동을 방해하고 적극적인 회피 반응을 유발한다는 점에서 혐오합니다. 그러나, 도파민 뉴런은 마비 된 원숭이에서 통증 핀치 자극 후 느린 우울증 또는 때때로 느린 활성화에 의해 나타나는 바와 같이 혐오 자극에 완전히 둔감하지 않다 (슐츠와 로모 1987) 및 깨어있는 쥐의 감전 및 꼬리 핀치 후 증가 된 선조체 도파민 방출에 의해Abercrombie et al. 1989; 도허티와 그라 튼 1992; Louilot et al. 1986; 영 (Young) 등 1993). 이것은 도파민 뉴런의 위상 반응이 우선적으로 식욕을 돋우는 환경 자극을 우선적으로보고하는 반면, 끔찍한 사건은 상당히 느린 시간 경과로 신호를 보낼 수 있음을 시사합니다.

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 2. 

도파민 뉴런은 보상 예측의 오류에 따라 보상을보고합니다. Top: 현재 보상이 예상되지 않지만 액체 방울이 발생합니다. 따라서 보상의 발생은 보상의 예측에서 긍정적 인 오류를 구성합니다. 도파민 뉴런은 예상치 못한 액체 발생에 의해 활성화됩니다. 중간: 조건부 자극은 보상을 예측하고 예측에 따라 보상이 발생하므로 보상 예측에는 오류가 없습니다. 예측 된 보상에 의해 도파민 뉴런이 활성화되지 않음 (권리). 또한 보상 예측 자극 후의 활성화를 보여줍니다.이 보상은 이후 보상 예측에서 오류에 관계없이 발생합니다. (왼쪽). 바닥: 조건 자극은 보상을 예측하지만 동물의 반응이 없어 보상이 발생하지 않습니다. 도파민 뉴런의 활동은 보상이 발생했을 때 정확히 저하됩니다. 중재 자극없이 조건 자극 후 1 초를 초과하는 우울증이 발생하여 보상 기대의 내부 과정을 보여줍니다. 3 개 그래프의 신경 활동은 다음 방정식을 따릅니다. 도파민 반응 (보상) = 보상 발생-예상 보상. CS, 조건부 자극; R, 기본 보상. 재 인쇄 Schultz et al. (1997) 미국 과학 발전 협회의 허가를 받아

보상의 예측 불가능

도파민 반응의 중요한 특징은 이벤트 예측 불가능성에 대한 의존성이다. 음식과 액체 보상에 앞서 보상을 예측하기 위해 조정 된 위상 자극이있을 때는 보상 후 활성화가 발생하지 않습니다 (그림. 2, 중간()융베리 (Ljungberg) 등. 1992; 미 레노 비츠와 슐츠 1994; 로모와 슐츠 1990). 학습과 완전히 습득 된 행동의 중요한 차이점 중 하나는 보상 예측의 정도입니다. 도파민 뉴런은 학습 단계에서 보상으로 활성화되지만 시각 및 청각 반응 시간 작업을 완전히 획득 한 후 응답을 중지합니다 (융베리 (Ljungberg) 등. 1992; 미 레노 비츠와 슐츠 1994), 공간 지연된 응답 작업 (Schultz et al. 1993) 및 동시 시각적 차별 (홀 러먼과 슐츠 1996). 작업 외부에서 제공되는 보상에 따른 활성화가 몇 개월의 실험 기간 동안 감소하지 않기 때문에 반응 상실은 보상에 대한 일반적인 무감각으로 인한 것이 아닙니다.미 레노 비츠와 슐츠 1994). 예측할 수없는 것의 중요성에는 예측보다 일찍 또는 나중에 갑자기 전달되는 보상에 따른 일시적 활성화로 입증되는 보상 시간이 포함됩니다 (홀 러먼과 슐츠 1996). 종합하면, 도파민 뉴런을 활성화시키기 위해 시간을 포함한 보상의 발생이 예측되지 않아야한다.

예측 보상 누락으로 인한 우울증

도파민 뉴런은 바로 직전의 자극이없는 경우에도 완전히 예측 된 보상이 이루어지지 않을 때 일반적인 보상 발생 시점에 정확히 우울합니다 (그림. 2, 바닥). 이것은 잘못된 행동으로 인해 동물이 보상을 얻지 못하거나, 올바른 행동에도 불구하고 실험자가 액체 흐름을 멈추거나, 액체를 전달하지 않고 밸브가 청각 적으로 열릴 때 관찰됩니다 (홀 러먼과 슐츠 1996; 융베리 (Ljungberg) 등. 1991; Schultz et al. 1993). 0.5 또는 1.0에 대한 보상 전달이 지연되면, 보상의 정규 시간에 뉴런 활동의 우울증이 발생하고 새로운 시간에 활성화가 보상을 따릅니다 (홀 러먼과 슐츠 1996). 두 보상 모두 새로운 보상 제공 시간이 다시 예측 될 때까지 몇 번의 반복 동안 만 발생합니다. 대조적으로, 상습보다 빨리 보상을 제공하면 보상의 새로운 시간에 활성화가되지만 습관적인 시간에 우울증을 유발하지는 않습니다. 이는 비정상적으로 조기 보상 제공이 습관적인 시간에 대한 보상 예측을 취소한다는 것을 의미합니다. 따라서 도파민 뉴런은 보상의 발생 및 시간을 모니터링합니다. 생략 된 보상 바로 앞의 자극이 없으면, 우울증은 단순한 뉴런 반응을 구성하지 않지만 예측 된 보상의 정확한 시간을 추적하는 내부 클록에 기초한 기대 프로세스를 반영합니다.

조건부 보상 보상 자극에 의한 활성화

약 55–70 %의 도파민 뉴런은 앞에서 설명한 다양한 고전적 또는 도구 적으로 조절 된 작업에서 조절 된 시각 및 청각 자극에 의해 활성화됩니다 (그림. 2, 중간 및 바닥()홀 러먼과 슐츠 1996; 융베리 (Ljungberg) 등. 1991, 1992; 미 레노 비츠와 슐츠 1994; 슐츠 1986; 슐츠와 로모 1990; P. Waelti, J. Mirenowicz 및 W. Schultz (미공개 데이터). 조절 된 빛에 대한 최초의 도파민 반응은 Miller et al. (1981) 할로페리돌로 처리 된 래트에서 도파민 뉴런의 발생률 및 자발적인 활성을 증가 시켰지만, 약물을 투여받지 않은 동물보다 더 지속 된 반응을 일으켰다. 반응은 행동 반응에 가깝게 발생하지만 (니시노 (Nishino) 등. 1987), 팔과 눈의 움직임과 무관하며, 팔과 눈의 움직임이없는 시험에서, 팔과 눈의 움직임과도 관련이 없습니다.슐츠와 로모 1990). 조절 된 자극은 활성화 된 뉴런의 반응 크기 및 분율 측면에서 일차 보상보다 다소 덜 효과적이다. 도파민 뉴런은 자극 오프셋이 보상을 예측하더라도 조절 된 자극의 시작에만 반응하고 오프셋에는 반응하지 않습니다 (슐츠와 로모 1990). 도파민 뉴런은 조절 식욕 자극의 시각 및 청각 양식을 구별하지 않습니다. 그러나 그들은 물리적으로 충분히 상이하지 않는 한 식욕과 중립 또는 혐오 자극을 구별합니다.융베리 (Ljungberg) 등. 1992; P. Waelti, J. Mirenowicz 및 W. Schultz (미공개 데이터). 도파민 뉴런의 11 %만이 대부분 식욕을 돋우는 반응을 보이며, 동물이 에어 퍼프 또는 고조파 식염수를 피하기 위해 열쇠를 놓는 능동적 인 회피 작업에서 조절 된 혐오 적 시각 또는 청각 자극에 대한 반응으로 전형적인 위상 활성화를 보여줍니다 (미 레노 비츠와 슐츠 1996), 이러한 회피는 "보상"으로 간주 될 수 있습니다. 이러한 소수의 활성화는 평균 인구 반응을 유도하기에 충분히 강하지 않습니다. 따라서 도파민 뉴런의 위상 반응은 식욕을 자극하는 동기 부여 값을 갖지만 상이한 감각 양식을 구별하지 않고 환경 자극을 우선적으로보고한다.

활성화의 양도

학습 과정에서 도파민 뉴런은 조절 된 보상 보상 자극에 의해 점진적으로 활성화되며 예측되는 일차 식품 또는 액체 보상에 대한 반응을 점진적으로 잃습니다 (홀 러먼과 슐츠 1996; 융베리 (Ljungberg) 등. 1992; 미 레노 비츠와 슐츠 1994) (그림. 2 및 3). 일시적인 학습 기간 동안 보상과 조건부 자극 모두 도파민 활성화를 유발합니다. 1 차 보상에서 조건부 자극으로의이 전이는 예측되지 않은 예측 보상을 각각 사용하여 잘 학습 된 두 가지 작업에서 테스트 된 단일 도파민 뉴런에서 순간적으로 발생합니다.로모와 슐츠 1990).

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 3. 

가장 빠른 예측 자극으로의 도파민 반응 전이. 예측되지 않은 일차 보상에 대한 응답은 점진적으로 초기 보상 예측 자극으로 전달됩니다. 모든 디스플레이는 반응의 존재 또는 부재와 무관하게, 지시 된 행동 상황에서 기록 된 모든 도파민 뉴런의 정규화 된 perievent 시간 히스토그램을 평균화하여 얻은 집단 히스토그램을 보여준다. Top: 어떤 행동 과제 외에는 작은 빛으로 테스트 한 44 뉴런에서 인구 반응이 없습니다. 융베리 (Ljungberg) 등. 1992), 그러나 동물의 입 앞의 주둥이에서 전달되는 액체 방울에 대해 35 개의 뉴런에서 평균 반응이 발생합니다 (미 레노 비츠와 슐츠 1994). 중간: 2 선택 공간 도달 작업에서 보상 예측 트리거 자극에 대한 응답이지만 동일한 23 뉴런에서 설정된 작업 수행 중에 전달 된 보상에 대한 응답이 없습니다 (Schultz et al. 1993). 바닥: 지시 된 공간 도달 작업 (1 뉴런)에서 19의 고정 된 간격만큼 보상 예측 트리거 자극에 앞서 지시 큐에 대한 응답 (Schultz et al. 1993). 조건부 자극과 보상 사이의 간격이 다양하기 때문에 시간축이 분할됩니다. 에서 재 인쇄 Schultz et al. (1995b) MIT Press의 허가를 받았습니다.

조건부 자극의 예측 불가능

조건부 보상 보상 자극 후 활성화는 이러한 자극 그 자체가 완전히 확립 된 행동 상황에서 위상 조절 된 자극에 의해 고정 된 간격으로 선행 될 때 발생하지 않습니다. 따라서 일련의 조건부 자극으로 도파민 뉴런은 가장 빠른 보상 예측 자극에 의해 활성화되는 반면, 예측 가능한 순간에 따르는 모든 자극과 보상은 효과가 없습니다 (그림. 3()Schultz et al. 1993). 무작위 간격의 순차적 자극 만이 개별적인 반응을 이끌어냅니다. 또한, 고도로 고정 관념화 된 작업 성능을 가진 광범위한 오버 트레이닝은 아마도 자극이 이전 시험의 사건에 의해 예측되기 때문에 조건부 자극에 대한 반응을 약화시킵니다.융베리 (Ljungberg) 등. 1992). 이것은 자극 예측 불가가 모든 자극 활성화 도파민 뉴런에 대한 공통 요건이라는 것을 시사한다.

예측 된 조건부 자극의 생략에 의한 우울증

이전 실험의 예비 데이터 (Schultz et al. 1993)는 조건부 보상 보상 예측 자극이 선행 자극에 의해 정해진 시간에 예측되지만 동물의 오류로 인해 발생하지 않는 경우 도파민 뉴런도 우울해 짐을 시사한다. 일차 보상과 마찬가지로, 우울증은 선행 자극에 의해 직접 유발되지 않고 조절 된 자극이 일반적으로 발생할 때 발생합니다. 따라서 누락 유발 우울증은 모든 식욕을 돋우는 이벤트로 일반화 될 수 있습니다.

반응 일반화를 통한 활성화-우울증

도파민 뉴런은 또한 보상을 예측하지 않지만 동일한 맥락에서 발생하는 보상 예측 자극과 매우 유사한 자극에 반응한다. 이러한 반응은 대부분 활성화 후 즉각적인 우울증으로 구성되지만 때로는 순수한 활성화 또는 순수한 우울증으로 구성 될 수도 있습니다. 활성화는 보상 예측 자극을 따르는 것보다 작고 덜 빈번하며, 우울증은 뉴런의 30-60 %에서 관찰됩니다. 도파민 뉴런은 올바른 행동 차별에도 불구하고 보상이 뒤 따르지 않지만 보상 예측 자극과 매우 유사한 시각 자극에 반응합니다.슐츠와 로모 1990). 빈 상자를 열면 도파민 뉴런이 활성화되지 않지만 상자에 때때로 음식이 들어있는 즉시 모든 시험에서 효과적입니다 (융베리 (Ljungberg) 등. 1992; 슐츠 1986; 슐츠와 로모 1990) 또는 항상 음식을 포함하는 인접한 동일한 상자가 무작위 교대 (슐츠와 로모 1990). 빈 상자는 미끼 상자보다 약한 활성화를 유도합니다. 동물은 각 상자에 대해 무차별 한 안구 방향 반응을 수행하지만 손으로 ​​미끼 상자에 접근합니다. 학습 중에 도파민 뉴런은 보상 조건이 변경 될 때 보상 예측을 잃는 이전에 조건화 된 자극에 계속 반응합니다 (Schultz et al. 1993) 또는 이전에 조절 된 자극과 유사한 새로운 자극에 반응홀 러먼과 슐츠 1996). 반응은 동일한 감각 양식의 물리적으로 유사하고 조절 된 식욕 자극으로 무작위 교대로 제시되는 혐오 자극에도 발생하며, 혐오 반응은 식욕보다 약합니다 (미 레노 비츠와 슐츠 1996). 반응은 심지어 식욕을 돋우는 식욕 자극까지 일반화합니다. 명백하게, 신경 반응은 식욕 자극과의 물리적 유사성으로 인해 비 흡수성 자극으로 일반화된다.

참신 응답

새로운 자극은 종종 우울증이 뒤 따르고 행동 지향 반응 (예 : 안구 단속)이 발생하는 한 지속되는 도파민 뉴런의 활성화를 유도합니다. 활성화는 자극의 물리적 영향에 따라 여러 번의 자극을 반복 한 후 방향성 반응과 함께 가라 앉습니다. 작은 발광 다이오드는 참신한 반응을 거의 이끌어 내지 못하지만, 빛이 번쩍이고 작은 상자의 빠른 시각 및 청각 개방은 100 회 미만의 시험 동안 기준선까지 점차적으로 감소하는 활성화를 유도합니다 (융베리 (Ljungberg) 등. 1992). 동물 앞에서 시끄러운 클릭이나 큰 그림은 썩어가는 강력한 참신한 반응을 이끌어 내지 만 1,000 회 이상의 시도로 측정 가능한 활성화를 유도합니다 (홀 러먼과 슐츠 1996; Horvitz et al. 1997; Steinfels et al. 1983). 그림 4 도 1은 상이한 물리적 돌출 성의 새로운 자극으로 상이한 반응 크기를 개략적으로 도시한다. 반복 노출에 따라 반응이 점차 감소하지만 매우 두드러진 자극으로 감소 된 크기로 지속될 수 있습니다. 동일한 자극이 식욕을 돋 우면 반응 크기가 다시 증가합니다. 대조적으로, 자극이 능동적 회피 행동을 조절하는데 사용될 때 소설, 심지어 큰 자극에 대한 반응은 빠르게 가라 앉는다 (미 레노 비츠와 슐츠 1996). 매우 적은 수의 뉴런 (<5 %)이 종이가 무너 지거나 실험자의 심한 손 움직임과 같은 눈에 띄지 만 육체적으로 약한 자극에 대해 몇 번 이상의 실험에 반응합니다.

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 4. 

도파민 뉴런의 새로운 활성화, 경보 및 조절 된 자극에 대한 시간 과정. 새로운 자극 후 활성화는 연속 시험에서 반복 노출로 감소합니다. 강한 자극은 때때로 조건부 자극 후 자극을 초과하는 높은 활성화를 유도하기 때문에 그들의 크기는 자극의 물리적 영향에 달려 있습니다. 특히 두드러진 자극은 일차 보상과 짝을 이루지 않고 참신함을 잃은 후에도 제한된 크기로 도파민 뉴런을 계속 활성화시킵니다. 자극이 일차 보상과 관련 될 때 일관된 활성화가 다시 나타납니다. 이 계획은 Jose Contreras-Vidal이 제공했습니다.

동종의 반응 특성

지금까지 수행 된 실험에 따르면 중뇌 도파민 세포 그룹 A8, A9 및 A10의 대부분의 뉴런은 주어진 행동 상황에서 매우 유사한 활성화 및 우울증을 나타내는 반면, 나머지 도파민 뉴런은 전혀 반응하지 않습니다. 때때로 통계적 유의성에 도달하는 더 많은 측면 영역에 비해, 복측 테그먼트 영역 및 내측 실질 막과 같은 중뇌의 더 많은 중간 영역에서 반응하는 더 높은 비율의 뉴런의 경향이있다 (슐츠 1986; Schultz et al. 1993). 응답 지연 시간 (50–110ms) 및 기간 (<200ms)은 기본 보상, 조건부 자극 및 새로운 자극간에 유사합니다. 따라서 도파민 반응은 상대적으로 균일 한 스칼라 모집단 신호를 구성합니다. 개별 뉴런의 반응성과 인구 내에서 반응하는 뉴런의 비율에 따라 등급이 매겨집니다.

요약 1 : 학습 에피소드 중 적응 형 응답

보상 관련 자극에 대한 도파민 반응의 특성은 보상이 행동 반응을 얻는 데 특히 중요하다는 학습 에피소드에서 가장 잘 설명됩니다. 도파민 보상 신호는 학습이 진행되는 동안 체계적인 변화를 겪으며 가장 초기의 위상 보상 관련 자극 (일차 보상 또는 보상 예측 자극)에서 발생합니다.융베리 (Ljungberg) 등. 1992; 미 레노 비츠와 슐츠 1994). 학습하는 동안 소설적이고 본질적으로 중립적 인 자극은 일시적으로 약화되어 사라지는 반응을 일시적으로 유도합니다 (그림. 4). 1 차 보상은 이러한 자극 및 초기 신경 활성화와의 초기 페어링 동안 예측할 수 없게 발생합니다. 페어링이 반복되면 조건부 자극에 의해 보상이 예측됩니다. 보상 후 활성화는 점차 감소하고 조절 된 보상 예측 자극으로 전달됩니다. 그러나, 동물의 오류로 인해 예측 된 보상이 이루어지지 않으면, 보상이 일어날 당시 도파민 뉴런이 우울해집니다. 과제의 반복 학습 중 (Schultz et al. 1993) 또는 작업 구성 요소 (홀 러먼과 슐츠 1996), 가장 초기의 조건부 자극은 이전 학습 된 유사한 자극으로의 일반화로 인해 모든 학습 단계 동안 도파민 뉴런을 활성화시키는 반면, 후속의 조건부 자극 및 일차 보상은 불확실하고 새로운 우발성이 확립되는 동안 일시적으로 만 도파민 뉴런을 활성화시킨다.

2 요약 : 도파민 뉴런에 대한 효과적인 자극

도파민 반응은 세 가지 범주의 자극에 의해 유발됩니다. 첫 번째 범주는 보상과 반복적이고 우발적 인 짝을 통해 유효한 보상 예측자가 된 주요 보상과 자극으로 구성됩니다. 일차 보상이 식물성 보상 효과의 예측 인자 역할을하기 때문에 이러한 자극은 명백한 보상 예측 자극의 공통 클래스를 형성합니다. 효과적인 자극은 명백한 발병을 가진 자극 만 효과적이기 때문에 경보 성분이있는 것 같습니다. 도파민 뉴런은 명백한 보상 예측 자극에 따라 순수한 활성화를 보이고 예측되지만 생략 된 보상이 발생하지 않으면 우울합니다 (그림. 5, 상단).

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 5. 

2 유형의 조절 된 자극에 대한 도파민 뉴런의 반응의 개략도. Top: 명백한 보상 예측 자극의 제시는 자극 후 활성화, 예측 보상에 대한 반응 없음 및 예측 보상이 발생하지 않을 경우 우울증을 유발합니다. 바닥: 조건부 보상 보상 예측 자극과 매우 유사한 자극을 제시하면 활성화 후 우울증이 발생하고 보상 후 활성화되며 보상이 발생하지 않으면 응답이 없습니다. 자극 후 활성화는 아마도 물리적 유사성 때문에 반응 일반화를 반영합니다. 이 자극은 보상을 명시 적으로 예측하는 것이 아니라 보상을 예측하는 자극과의 유사성을 통해 보상과 관련이 있습니다. 명백한 보상 예측 자극과 비교하여, 활성화는 더 낮아지고 종종 우울증이 뒤 따르므로 보상 (CS +)과 보상되지 않은 (CS-) 조절 된 자극을 구별합니다. 이 체계는 이전 및 현재 실험 결과를 요약합니다 (홀 러먼과 슐츠 1996; 융베리 (Ljungberg) 등. 1992; 미 레노 비츠와 슐츠 1996; 슐츠와 로모 1990; Schultz et al. 1993; P. Waelti 및 W. Schultz, 미공개 결과).

두 번째 범주는 일반화 반응을 이끌어내는 자극을 포함합니다. 이러한 자극은 보상을 명시 적으로 예측하지는 않지만 컨디셔닝을 통해 명백한 보상 예측자가 된 자극과 물리적으로 유사하기 때문에 효과적입니다. 이러한 자극은 명백한 보상 예측 자극과 비교할 때 크기가 더 적고 더 적은 뉴런을 활성화시키는 활성화를 유도합니다 (그림. 5, 바닥). 그들은 종종 즉각적인 우울증을 겪습니다. 초기 활성화가 가능한 보상을 나타내는 일반화 된 식욕 반응을 구성 할 수있는 반면, 후속 우울증은 일반적인 보상 예측 상황에서 보상 없음 예측을 반영하고 잘못된 보상 가정을 취소 할 수있다. 명백한 보상 예측의 부족은 일차 보상 후 활성화의 존재와 보상없이 우울증이없는 것으로 더 제안된다. 보상 예측 자극에 대한 반응과 함께, 도파민 활성화가 보상과 관련된 자극에 부착 된 식욕을 돋우는 "태그"를보고하는 것처럼 보입니다.

세 번째 범주는 특정 보상과 반드시 ​​관련되지 않은 신규 또는 특히 두드러진 자극을 포함합니다. 행동 지향적 반응을 이끌어 냄으로써 이러한 자극은 경계하고주의를 집중시킵니다. 그러나 그들은 또한 동기 부여 기능을 가지고 있으며 보람을 줄 수 있습니다 (후지타 1987). 새로운 자극은 잠재적으로 식욕을 돋 웁니다. 신규 또는 특히 현저한 자극은 자극을 일반화하는 것에 대한 반응과 유사하게, 종종 우울증이 뒤 따르는 활성화를 유도한다.

따라서 도파민 뉴런의 위상 반응은 일차 보상, 보상 예측 자극, 보상 유사 이벤트 및 경보 자극과 같은 긍정적이고 잠재적으로 긍정적 인 동기 부여 효과가있는 사건을보고합니다. 그러나 그들은 혐오 자극과 같은 부정적인 동기 부여 효과가있는 사건을 대부분 감지하지 못합니다.

3 요약 : 도파민 보상 예측 오류 신호

명백한 보상 관련 사건에 대한 도파민 반응은 공식적인 학습 이론 측면에서 가장 개념화되고 이해 될 수있다. 도파민 뉴런은 기본 보상을 무조건적으로 표시하는 대신 예측과 관련하여 보상을보고합니다 (그림. 2). 도파민 반응은 예측하지 않고 일차 보상이 발생할 때 긍정적 (활성화)입니다. 예상대로 보상이 발생하면 응답이 없습니다. 예상 보상이 생략되면 응답은 음 (우울)입니다. 따라서 도파민 뉴런은 보상 발생 예측과 보상 예측 간의 차이에 따라 1 차 보상을보고하는데, 보상 예측에서는 오류라고 할 수있다.Schultz et al. 1995b, 1997)로 잠정적으로 공식화 됨

방정식 1이 제안은 예측과 관련하여 도파민 뉴런에 의해보고되는 조건부 식욕 사건으로 확장 될 수 있습니다. 따라서 도파민 뉴런은 모든 식욕 사건의 예측에 오류를보고 할 수 있습니다. 등식 1 보다 일반적인 형태로 언급 될 수있다

식 2이 일반화는 대부분의 보상이 실제로 조건부 자극이라는 아이디어와 호환됩니다. 여러 개의 연속적이고 잘 확립 된 보상 예측 이벤트와 함께, 첫 번째 이벤트 만 예측할 수 없으며 도파민 활성화를 유발합니다.

도파민 반응의 기원

도파민 반응의 선택 성과 다 감각 특성을 담당 할 수있는 해부학 적 입력은 무엇입니까? 어떤 입력 활동이 예측 오류의 코딩으로 이어질 수 있고, 예상치 못한 가장 빠른 식욕 사건에 대한 적응 형 응답 전송을 유도하고 보상 시간을 추정 할 수 있습니까?

표적 구조에 대한 위상 도파민 영향

도파민 신호의 글로벌 네이처.

다양한 예측. 쥐의 각 실질 nigra에는 ~ 8,000 도파민 뉴런이 있습니다 (우르 쇼트 1996) 및 원숭이 원숭이의 80,000–116,000 (German et al. 1988; Percheron et al. 1989). 각 선조체는 쥐에 약 2.8 백만 개의 뉴런과 짧은 꼬리 원숭이에 31 백만 개의 뉴런을 함유하고있어 300–400의 nistriatal divergence factor가 발생합니다. 각각의 도파민 축삭은 선조체의 제한된 말단 영역에서 풍부하게 부딪치며 도파민이 방출되는 ~ 500,000 선조가있다.Andén et al. 1966). 이것은 거의 모든 선조 뉴런에 도파민 입력을 초래합니다.Groves et al. 1995) 및 적당량의 지형 니그로 스트 리아 투영법 (Lynd-Balta 및 Haber 1994). 원숭이의 피질 도파민 신경 분포는 4 및 6 영역에서 가장 높으며, 여전히 전두엽, 정수리 및 측두엽에서 크기가 있으며 후두엽에서 가장 낮습니다 (Berger et al. 1988; 윌리엄스와 Goldman-Rakic ​​1993). 대뇌 피질의 도파민 시냅스는 주로 층 I과 V-VI에서 발견되며, 그곳에서 많은 부분의 대뇌 피질 뉴런과 접촉합니다. 다소 균일 한 반응 특성과 함께, 이러한 데이터는 도파민 반응이 중뇌에서 선조와 전두엽 피질까지 동시에 평행 한 활동의 ​​파동으로 진행됨을 시사합니다 (그림. 7).

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 7. 

선조체 및 피질로 진행하는 글로벌 도파민 신호. 식욕과 경보 자극에 대한 대부분의 도파민 뉴런의 상대적으로 균질 한 인구 반응과 실질 nigra에서 postsynaptic 구조로의 진행은 1–2 m / s의 속도로 진행하는 동기식, 병렬 활동의 물결로 개략적으로 볼 수 있습니다.슐츠와 로모 1987) 중뇌에서 선조체 (꼬리와 푸 타멘)와 피질로의 발산 돌기를 따라. 반응은 SN (substantia nigra) pars compacta와 ventral tegmental area (VTA)의 뉴런 사이에서 질적으로 구별 할 수 없다. 선조체의 모든 뉴런과 전두엽 피질의 많은 뉴런의 도파민 신경 분포는 도파민 강화 신호가 다소 세계적인 효과를 발휘할 수있게한다. 병렬 특성을 강조하기 위해 웨이브가 압축되었습니다.

도파민 방출. 20–100 ms 간격으로 도파민 뉴런의 충격은 200 ms 간격으로 같은 수의 충격보다 선조에서 도파민 농도가 훨씬 더 높습니다 (개리스와이 트먼 1994; 고논 1988). 이 비선형 성은 주로 도파민 재 흡수 트랜스 포터의 빠른 포화에 기인하며, 이는 시냅스 외 영역에서 방출 된 도파민을 제거합니다.Chergui et al. 1994). 핵 축적에서 동일한 효과가 관찰됩니다.Wightman과 Zimmerman 1990) 및 스파 저 재 흡수 사이트로 인해 임펄스 간격이 긴 경우에도 발생합니다 (Garris et al. 1994b; Marshall et al. 1990; 스탬 포드 (Stamford) 등. 1988). 300ms 미만의 임펄스 버스트 후 도파민 방출은자가 수용체 매개 방출 감소를 활성화하기에는 너무 짧습니다 (Chergui et al. 1994) 또는 훨씬 느린 효소 분해 (Michael et al. 1985). 따라서 파열 도파민 반응은 도파민을 방출하는데 특히 효율적이다.

생체 내 전압 전류 법에 기초한 추정은 단일 임펄스가 선조체 및 핵 축적에 시냅스에서 ~ 1,000 도파민 분자를 방출 함을 시사한다. 이로 인해 0.5–3.0 μM의 즉각적인 시냅스 도파민 농도 (Garris et al. 1994a; Kawagoe et al. 1992). 방출 개시 후 40 μs에서> 90 %의 도파민이 시냅스를 떠났고 나머지 일부는 나중에 시냅스 재 흡수에 의해 제거됩니다 (30-37ms의 절반 발생 시간). 방출 개시 후 3 ~ 9ms에 인접한 모든 정맥류가 동시에 도파민을 방출 할 때 도파민 농도는 ~ 250nM에 도달합니다. 농도는 4μm 직경의 구 내에서 균일합니다 (고논 1997), 이것은 정맥류 사이의 평균 거리 (Doucet et al. 1986; Groves et al. 1995). 최대 확산은 재 흡수 트랜스 포터에 의해 12μm로 제한되며 방출 개시 후 75ms에 도달합니다 (반 트랜스 포터 개시 시간 30-37ms). 농도는 정맥류가 적거나 도파민 뉴런의 100 % 미만이 활성화 된 영역에서 약간 더 낮고 덜 균질 할 수 있지만, 임펄스 버스트에서는 75 ~ 150 배 더 높습니다. 따라서 약 400 %의 도파민 뉴런에서 보상에 의해 유도되고 약간 동기화 된 파열 활성화는 200 ~ 500 nM 정도의 균일 한 농도 피크를 초래할 수 있습니다. 세포 외 도파민의 총 증가는 단일 임펄스 후 600ms, 20 ~ 100ms 동안 100 ~ 200ms 간격의 여러 임펄스가 적용된 후 XNUMX ~ XNUMXms 동안 지속됩니다 (Chergui et al. 1994; Dugast et al. 1994). 시냅스 외 재 흡수 운반기 (Nirenberg et al. 1996)은 이후 도파민 농도를 5–10 nM의 기준선으로 되돌립니다 (Herrera-Marschitz et al. 1996). 따라서, 고전적이고, 엄격하게 시냅스 신경 전달과는 달리, 시냅스로 방출 된 도파민은 즉각적인 점액 시냅스 영역으로 빠르게 확산되고, 국소 적으로 균일 한 세포 외 농도의 짧은 피크에 도달한다.

수용체. 두 가지 주요 유형의 도파민 수용체 중 아데 닐 레이트 시클 라제 활성화 D1 유형 수용체는 선조체에서 도파민 수용체의 ~ 80 %를 구성한다. 이 80 %는 2–4 μM의 선호도가 낮은 상태에 있고 20–9 nM의 선호도가 높은 상태에있는 74 % (Richfield et al. 1989). 선조체 도파민 수용체의 나머지 20 %는 아데 닐라 제 시클 라제 억제 D2 유형에 속하며,이 중 10-0 %는 저 친화도 상태에 있고 80-90 %는 고친 화도 상태에 있으며 D1 수용체와 유사한 친화도를 갖는다. 따라서, D1 수용체는 전체적으로 D100 수용체보다 친화도가 ~ 2 배 낮다. Striatal D1 수용체는 주로 내부 pallidum 및 substantia nigra pars reticulata에 투영되는 뉴런에 위치하고 반면에 striatal D2 수용체는 주로 외부 pallidum에 투영되는 뉴런에 있습니다 (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey et al. 1993). 그러나, 수용체 감도의 차이는 신호 전달 이상의 역할을하지 않을 수 있고, 따라서 두 종류의 선조체 출력 뉴런 사이의 도파민 감도의 차이를 감소시킨다.

도파민은 시냅스에서 30–40 %로, 시냅스 외 혈관에서 60–70 %로 방출됩니다 (Descarries et al. 1996). 시냅스로 방출 된 도파민은 선조에서 해부학 적으로 구별되는 4 개의 부위, 즉 도파민 시냅스 내부, 즉 도파민 시냅스에 바로 인접하여, 코르티코 스트 리아 글루타메이트 시냅스 내부, 및 방출 부위에서 떨어진 시냅스 외 부위에서 시냅스 후 도파민 수용체에 작용한다 (그림. 8()Levey et al. 1993; Sesack et al. 1994; Yung et al. 1995). D1 수용체는 주로 도파민 시냅스 외부에 위치합니다 (Caillé et al. 1996). 위상 임펄스 버스트 후 높은 일시적 농도의 도파민은 활성 방출 부위의 바로 근처에서 D1 수용체를 활성화시키고, D2 수용체를 활성화시키고 심지어 모든 곳에서 포화시킨다. D2 수용체는 상 도파민 농도가 위상이 증가한 후 기준선으로 돌아 오면 부분적으로 활성화 된 상태를 유지합니다.

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 8. 

등쪽 및 배쪽 선조에서 전형적인 중간 가시 뉴런에 대한 도파민 방출의 영향. 시냅스 정맥류로부터의 자극에 의해 방출 된 도파민은 몇몇 시냅스 수용체 (아마도 친화력이 낮은 상태에서 D2 유형)를 활성화시키고 시냅스 밖으로 빠르게 확산되어 코티 코스트 리아 시냅스 내에 근처에 위치한 저 친화도 D1 유형 수용체 (D1?)에 도달합니다. 또는 제한된 거리에 있습니다. 실질적으로 증가 된 도파민은 포화에 가까운 고친 화성 D2 유형 수용체를 활성화시킨다 (D2?). D2 수용체는 단계적으로 증가 된 방출 후에 주변 도파민 농도에 의해 부분적으로 활성화 된 상태로 유지된다. 비 시냅스로 방출 된 도파민은 확산에 의해 희석되어 고친 화성 D2 수용체를 활성화시킬 수 있습니다. 이 회로도에 따라 대부분의 D1 및 D2 수용체는 다른 뉴런에 위치합니다. corticostriatal 터미널에서 릴리스 된 글루타메이트 도파민 varicosities와 같은 수지상쪽에 위치한 postynaptic 수용 체에 도달합니다. 글루타메이트는 또한 도파민 방출을 제어하는 ​​시냅스 전 도파민 정맥에 도달한다. 전두엽 피질의 가시 뉴런에 대한 도파민의 영향은 여러 측면에서 비슷합니다.

요약. 대다수의 도파민 뉴런의 관찰 된, 적당히 파열 된, 단기, 거의 동기적인 반응은 밀접하게 이격 된 대부분의 선 조류에서 대부분의 동시 도파민 방출로 이어진다. 뉴런 반응은 시냅스 외 부위로부터 방출되거나 시냅스로부터 점액 시냅스 영역으로 빠르게 확산되는 짧은 도파민 퍼프를 유도한다. 도파민은 아마도 모든 선조체 및 많은 피질 뉴런의 수상 돌기에 영향을 줄 수있는 지역적으로 균일 한 농도에 빠르게 도달합니다. 이러한 방식으로, 도파민 뉴런의 60-80 %의 보상 메시지는 선조체, 핵 축적 체 및 전두 피질에 대한 발산적인, 오히려 글로벌 강화 신호로서 방송되어, 처리와 관련된 최대 시냅스 수에 대한 위상 적 영향을 보장합니다. 보상으로 이어지는 자극과 행동의 (그림. 7). 보상 및 보상 예측 자극 후 뉴런 활성화에 의해 방출 된 도파민은 내부 pallidum 및 substantia nigra pars reticulata 및 외부 pallidum으로 투영되는 뉴런의 모든 D1 수용체로 투사되는 선조 뉴런의 juxtasynaptic D2 수용체에 영향을 미칩니다. 보상이 생략되고 보상 예측 자극이있는 우울증에 의해 유도 된 도파민 방출의 감소는 주변 도파민에 의한 D2 수용체의 강장 자극을 감소시킬 것이다. 따라서 포지티브 보상 예측 오류는 모든 유형의 선조체 출력 뉴런에 영향을 미치는 반면, 네거티브 예측 오류는 주로 외부 팔 지질에 투사하는 뉴런에 영향을 줄 수 있습니다.

잠재적 코카인 메커니즘. 코카인 또는 암페타민과 같은 약물에 의한 도파민 재 흡수 운반체의 봉쇄는 도파민 농도의 위상 적 증가를 향상시키고 연장시킵니다.Church et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). 피드백 조절이 유효 해지기 전에 도파민 농도의 급격한 버스트-유도 증가가 최고점에 도달 할 때 강화가 특히 두드러 질 것이다. 이 메커니즘은 일차 보상과 보상 예측 자극 후 크게 강화 된 도파민 신호로 이어질 것입니다. 또한 보상, 새로운 자극, 특히 일상 생활에서 자주 나타날 수있는 두드러진 자극과 유사한 자극 후에 다소 약한 도파민 신호를 증가시킵니다. 코카인에 의한 향상은 이러한 비 보상 자극이 코카인이없는 자연 보상보다 강하거나 더 강하게 보일 수있게합니다. 시냅스 후 뉴런은 특히 눈에 띄는 보상 관련 이벤트와 같은 신호를 잘못 해석 할 수 있으며 시냅스 전달의 장기적인 변화를 겪을 수 있습니다.

학습 이론

강화 알고리즘

온도차 학습.

특히 효율적인 강화 알고리즘 클래스 (서튼 1988; 서튼과 바르 토 1981), 시냅스 가중치는 연속 시간 단계에 걸쳐 계산 된 강화 예측의 오류에 따라 수정됩니다.t) 각 시험에서

rˆ(t)=r(t)+P(t)-P(t-l)

방정식 6where r 강화하고 P 강화 예측입니다. 피 (t) 증가하는 원격 보상의 영향 감소를 설명하기 위해 일반적으로 0 ≤ γ <1의 할인 계수 γ를 곱합니다. 단순함을 위해 여기서 γ는 1로 설정됩니다. 단일 강화제를 예측하는 단일 자극의 경우 예측은 P(t − 1)는 시간 전에 존재합니다 t 강화의 시점이지만 강화시 종료 됨 [피 (t) = 0]. 이것은 당시에 효과적인 강화 신호로 이어집니다. (티) 강화의

rˆ (t)=r(t)-P(t-l)

방정식 6aXNUMXD덴탈의 아르 자형(t) 항은 실제 강화와 예측 강화의 차이를 나타냅니다. 학습하는 동안, 강화는 불완전하게 예측되고, 강화가 발생할 때 오차 항은 긍정적이며 시냅스 가중치가 증가합니다. 학습 후, 강화는 선행 자극에 의해 완전히 예측됩니다 [P(t − 1) = r(t)]에서 오류 동작은 올바른 동작에서 0이며 시냅스 가중치는 변경되지 않습니다. 성능이 불충분하거나 우발 상황이 변경되어 보강이 생략되면 오류가 음수이고 시냅스 가중치가 줄어 듭니다. 그만큼 아르 자형(t) 항은 (λ-V) Rescorla-Wagner 모델의 오차항 (등식 4 ). 그러나 개별 시간 단계 (t) 연속 시행에 대한 예측이 아니라 각 시행 내에서 수행됩니다. 이러한 임시 강화 모델은 획득 한 예측에 정확한 강화 시간이 포함된다는 사실을 이용합니다 (Dickinson et al. 1976; Gallistel 1990; 스미스 1968).

시간차 (TD) 알고리즘은 또한 시냅스 가중치 변경을 위해 획득 된 예측을 사용합니다. 단일 강화제를 예측하는 예측되지 않은 단일 조건부 자극의 경우 예측 피 (t) 시간에 시작 (티), 선행 예측이 없습니다 [P(t − 1) = 0]이며, 아직 강화되지 않았습니다 [r(t) = 0]. 에 따르면 등식 6, 모델은 당시 순전히 예측 효과적인 강화 신호를 방출합니다.t)의 예측

rˆ=P(t)

방정식 6b 여러 개의 연속적인 예측 자극의 경우, 예측 시점에 보강이없는 경우, 당시의 유효 강화 신호 (티) 예측의 현재 예측 사이의 차이를 반영 피 (t) 그리고 앞의 예측 P(t − 1)

rˆ=P(t)-P(t-l)

방정식 6c이것은 고차 강화의 오류 기간을 구성합니다. 완전히 예측 된 강화제와 유사하게, 완전히 예측 된 모든 예측 자극은 취소됩니다.P(t − 1) = P(t)], 를 야기하는 아르 자형 = 당시 0 (티) 이러한 자극의. 가장 초기의 예측 자극 만이이 자극으로서 효과적인 강화 신호에 기여합니다 피 (t) 다른 자극에 의해 예측되지 않음 [P(t − 1) = 0]. 이것은 같은 결과 아르 자형 = 피 (t) 당시에 (티) 단일 예측의 경우와 같이 첫 번째 예측의등식 6b).

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 9. 

기본 신경절 연결과 비교하여 시간적 차이 알고리즘을 구현하는 신경망 모델의 기본 아키텍처. A: 원래의 구현에서 효과적인 티칭 신호 y - ȳ 모델 뉴런에서 계산 A 입력의 시냅스 전 터미널로 전송 x 뉴런 B, 따라서 영향을 미치는 x → B 에서 시냅스 가중치 처리 및 변경 x → B 시냅스. 뉴런 B 축삭을 통한 행동 출력에 영향을 미칩니다 y 동시에 뉴런의 적응 특성에 기여 A, 즉, 강화제 예측 자극에 대한 반응. 이 간단한 아키텍처의 최신 구현은 뉴런을 사용합니다. A 뉴런보다는 B 출력을 방출하기위한 것 O 모델의Montague et al. 1996; Schultz et al. 1997). 에서 재 인쇄 서튼과 바르 토 (1981) 미국 심리학 협회의 허가를 받아 B: 최근 구현으로 교육 구성 요소가 분리됨 A, 비평가에게 전화 (권리), 여러 처리 장치로 구성된 출력 구성 요소에서 B, 배우라고 불렀다 (왼쪽). 효과적인 강화 신호 아르 자형(t)은 가중 강화 기 예측 γ의 시간적 차이를 빼서 계산됩니다.P(t) − P(t − 1) 기본 강화 r(t)가 환경으로부터 수신 된 경우 강화 기 예측은 별도의 예측 단위로 계산됩니다. C, 이것은 비평가의 일부이며 교시 요소와 닫힌 루프를 형성합니다. A1 차 강화는 별도의 입력을 통해 비평가에 진입하는 반면 r_t. 효과적인 강화 신호는 액터에서 들어오는 축색 돌기의 시냅스 가중치에 영향을 미치며 출력을 비평가의 적응 예측 단위로 조정합니다. 에서 재 인쇄 바르 토 (1995) MIT Press의 허가를 받았습니다. C: 기저핵의 기본 연결성은 배우 비평가 아키텍처와 눈에 띄는 유사성을 보여줍니다. 도파민 프로젝션은 강화 신호를 선조체로 방출하고 장치와 비교할 수 있습니다 A 부분적으로 A 및 B, 변연계 선조체 (또는 스트 리오 좀 패치)는 예측 단위의 위치를 ​​취합니다. C 비평가에서, 감각 운동 선조체 (또는 매트릭스)는 액터 단위와 유사합니다 B. 원래 모델에서 (에이), 확립 된 기저핵 절 해부학에서 단일 주요 편차는 뉴런의 영향으로 구성 A 도파민 시냅스가 선조 뉴런의 시냅스 후 수상 돌기에 위치하는 반면, 시냅스 전 말단에 지시되는Freund et al. 1984). 에서 재 인쇄 스미스와 볼람 (1990) Elsevier Press의 허가를 받았습니다.

효과적인 보강 신호 (등식 6 )는 1 차 강화로 구성되며, 이는 새로운 예측 (등식 6a)를 획득 한 예측으로 점차 대체합니다 (등식 6b 및 6c). 연속적인 예측 자극으로, 효과적인 강화 신호는 1 차 강화제에서 최초 강화제 예측 자극으로 시간이 흐르면서 뒤로 이동합니다. 역행 이전은 시험 종료시의 강화와 비교할 때 자극과 행동 반응에 더 근접한 예측이 발생하기 때문에 관련 시냅스에보다 구체적으로 신용을 부여합니다.서튼과 바르 토 1981).

강화 학습 알고리즘의 구현은 예측 결과를 두 가지 방식으로 사용합니다. 행동 출력의 시냅스 가중치를 변경하고 예측 자체를 획득하여 예측 오류를 지속적으로 계산합니다 (그림. 9 A()맥라렌 1989; 서튼과 바르 토 1981). 이 두 함수는 최근 구현에서 분리되어 예측 오류가 적응 적 비평가 구성 요소에서 계산되고 행위자 구성 요소가 행동 출력을 매개하는 시냅스 가중치를 변경합니다 (그림. 9 B()바르 토 1995). 양수 오류는 비평가의 강화 예측을 증가시키는 반면, 생략 된 강화에서 음수 오류는 예측을 감소시킵니다. 이것은 효과적인 강화 신호를 매우 적응 적으로 만든다.

시간적 차이 학습의 신경 생물학적 구현

신경 학적 문제에 대한 응용.

원래 Rescorla-Wagner 클래식 컨디셔닝 모델을 기반으로 개발되었지만 TD 알고리즘을 사용하는 모델은 기본적으로 악기 형태의 컨디셔닝을 통해 다양한 행동 과제를 학습합니다. 이러한 작업은 카트 휠의 폴 밸런스에서 도달합니다 (Barto et al. 1983) 세계적 수준의 주사위 놀이 (테 사우로 1994). TD 알고리즘을 사용하는 로봇은 2 차원 공간을 이동하고 장애물을 피하고 도달하고 파악하는 법을 배웁니다 (fagg 1993) 또는 페그를 구멍 (Gullapalli et al. 1994). TD 강화 신호를 사용하여 행동에 직접 영향을 미치고 선택합니다 (그림. 9 A), TD 모델은 꿀벌의 단조 행동을 복제합니다 (Montague et al. 1995) 및 인간 의사 결정 시뮬레이션 (Montague et al. 1996). 명시 적 비평가 행위자 아키텍처를 갖춘 TD 모델은 눈의 움직임을 효율적으로 학습하는 매우 강력한 모델입니다 (Friston et al. 1994; Montague et al. 1993), 순차적 움직임 (그림. 10) 및 반응 방향 (Contreras-Vidal 및 슐츠 1996). 최근의 모델은 티칭 신호를 개선하고 비평가와 행위자에게 자극과 행동 흔적을 사용하고, 티칭 신호를 개선하고 가장 큰 활성화를 가진 행위자 뉴런을 선택하기 위해 승자 모든 규칙을 사용하기 위해 활성화 신호를 억제하는 참신 신호를 추가했습니다. 이것은 지연된 반응 과제에서 도파민 뉴런의 반응과 동물의 학습 행동 모두를 매우 상세하게 재현했습니다.수리와 슐츠 1996). 예측 오류를 사용하는 교시 신호가 무조건 강화 신호와 비교할 때 더 빠르고 더 완전한 학습을한다는 점이 특히 흥미 롭습니다 (그림. 10()Friston et al. 1994).

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 10. 

학습을위한 예측 강화 신호의 장점. 비평가 행위자 아키텍처 및 배우의 적격성 추적이 포함 된 시간적 차이 모델이 순차적 인 2 step-3 선택 작업에서 학습되었습니다 (삽입 왼쪽 상단). 예측 강화 신호가 티칭 신호 (적응 적 비평가, 상단) 시험 종료시 무조건 강화 신호를 사용하는 것과 비교바닥). 이 효과는 시퀀스가 ​​길수록 점점 더 두드러집니다. 무조건 강화 신호와 비교할 수있는 성능은 훨씬 더 긴 적격성 추적이 필요합니다. 10 시뮬레이션 (R. Suri 및 W. Schultz, 미공개 관찰)으로부터 데이터를 얻었다. oculomotor 행동 모델에서 예측 강화를 통한 학습의 유사한 개선이 발견되었습니다.Friston et al. 1994).

도파민 신호를 이용한 가능한 학습 메커니즘

이전 섹션은 도파민 응답에 의해 방출 된 공식적인 예측 에러 신호가 모델 학습에 특히 적합한 교시 신호를 구성 할 수 있음을 보여 주었다. 다음 섹션은 생물학적 도파민 반응이 기저핵 절 구조에 의해 학습에 잠재적으로 사용될 수있는 방법을 설명하고 검증 가능한 가설을 제안합니다.

보상 예측 신호에 의해 중재 된 시냅스 후성 소성.

학습은 두 단계로 진행됩니다. 첫 번째 단계는 도파민 보상 예측 응답을 얻는 것입니다. 후속 시험에서, 예측 도파민 신호는 보상-예측 자극 시점에 활성 인 Hebbian- 타입 corticostriatal 시냅스의 시냅스 가중치 (ω)를 구체적으로 강화시키는 반면, 비활성 corticostriatal 시냅스는 변경되지 않은 채로 남는다. 이 세 가지 요소 학습 규칙

Δω=ɛ rˆ i o

방정식 8where 아르 자형 도파민 강화 신호입니다 i 입력 활동입니다. o 출력 활동이고 ɛ는 학습 속도입니다.

단순화 된 모델에서, 4 개의 피질 입력 (i1–i4)은 3 개의 중간 크기 가시가있는 선조 뉴런 (o1-o3)의 수지상 가시와 접촉합니다. 11). 대뇌 피질의 입력은 선조 뉴런에 수렴되며, 각 입력은 다른 척추에 접촉합니다. 동일한 스파인은 공통 도파민 입력 R에 의해 선택적으로 접촉된다. 도파민 입력 R의 활성화는 예측하지 못한 보상 예측 자극이 추가 세부 사항 (양호 신호)을 제공하지 않고 환경에서 발생했음을 나타낸다. 대뇌 피질의 입력 i2가 도파민 뉴런과 동시에 활성화되고 감각 보상, 신체 측면, 색상, 질감 및 위치 또는 운동의 특정 매개 변수와 같은 동일한 보상 예측 자극의 여러 특정 매개 변수 중 하나를 코딩한다고 가정합시다. 자극에 의해 트리거됩니다. 이 이벤트의 매개 변수 세트는 피질 입력 i2 세트로 코딩됩니다. 현재 자극 및 움직임과 관련이없는 대뇌 피질의 입력 i1, i3 및 i4가 비활성화됩니다. 도파민 반응은 모든 정맥류에서 비 선택적 도파민 방출을 야기하지만, 피질 입력이 선조 뉴런 o2 및 o1를 활성화시키기에 충분히 강한 경우에, 활성 피 질소 시냅스 i2-o2 및 i1-o2만을 선택적으로 강화할 것이다.

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 11. 

선택적 corticostriatal 활동에 글로벌 도파민 강화 신호의 차등 영향. 3 중형 가시 가시 신경 세포의 수지상 척추 ). 각 선조 뉴런은 ~ 1 피질 및 2 도파민 입력을받습니다. 단일 수지상 척추에서, 다른 피질 입력은 도파민 입력과 수렴합니다. 3 버전의 모델에서, 도파민 신호는 비 활동적 전송에 비해 동시에 능동적 인 코티코 스트리 탈 전송을 향상시킨다. 예를 들어, 도파민 입력 R은 피질 입력 i4와 동시에 활성화되는 반면, i1, i2, i3는 비활성화됩니다. 그러면 i4 → o10,000 및 i1,000 → o1 전송이 수정되지만 i2 → o1, i3 → o4, i2 → o1 및 i2 → o2 전송은 변경되지 않습니다. 소성을 사용하는 모델의 버전에서, 코르티코 스테 리아 시냅스의 시냅스 무게는 동일한 규칙에 따라 도파민 신호에 의해 장기적으로 변형된다. 이는 조건부 자극에 대한 도파민 반응이이 자극에 의해 활성화되는 코르티코 스테 리아 시냅스에 작용할 때 발생할 수 있습니다. 가소성을 사용하는 다른 버전에서, 일차 보상에 대한 도파민 반응은 이전에 활성화 된 코르티코 스트리 탈 시냅스에 대해 시간적으로 거꾸로 작용할 수있다. 이러한 시냅스는 그 활동에서 남겨진 가상의 시냅스 후 신경 뉴런 흔적에 의해 수정 될 수있게 될 것입니다. 기저핵 절 구조와 최근의 TD 모델을 비교 한 결과. 9 B, 도파민 입력 R은 뉴런으로 비평가를 복제 A, 뉴런이있는 선조체 o1–o3는 뉴런으로 액터를 복제합니다 B, 대뇌 피질의 입력 i1–i4는 액터 입력을 복제하고 여러 선조 뉴런의 여러 스파인에서 도파민 뉴런 R의 발산 투영 o1-o3는 액터에 대한 비평가의 글로벌 영향을 복제합니다. 비슷한 비교했다 Houk et al. (1995). 이 그림은 다음과 같은 해부학 적 데이터를 기반으로합니다. Freund et al. (1984), 스미스와 볼람 (1990), Flaherty와 Graybiel (1993)및 Smith 등. (1994).

이 학습 메커니즘은 보상 예측 자극시 획득 된 도파민 반응을 오래 지속되는 시냅스 변화를 유도하기위한 교시 신호로 사용합니다 (그림. 12 A). 예측 자극 또는 유발 된 움직임의 학습은 선조에서의 도파민 의존적 소성과 함께 보상 예측 자극에 대한 도파민 반응의 입증 된 획득에 기초한다. 소성 변화는 대안 적으로 선조체에서 시냅스 전달의 도파민-매개 단기간 강화 후 선조체로부터 하류의 피질 또는 피질 하 구조에서 일어날 수있다. 보상 및 보상 이전의 움직임에 대한 보상의 소급 효과는 가장 빠른 보상 예측 자극으로의 응답 이전에 의해 중재됩니다. 예측되거나 생략 된 1 차 보상에 대한 도파민 반응은 조절 될 이벤트와 동시에 발생하지 않기 때문에 선조체의 소성 변화에 사용되지 않지만, 이는 보상에 대한 보상 예측 자극에 대한 도파민 반응을 계산하는 것과 관련 될 수 있지만 TD 모델의 아키텍처와 메커니즘.

• 그림 다운로드
• 새 탭에서 열기
• 파워 포인트 다운로드

그림. 12. 

선조체에서 가능한 학습 메커니즘에 대한 도파민 강화 신호의 영향. A: 조건부 자극 (CS)에 대한 예측 도파민 보상 반응은 그 자극과 관련된 선조 신경 전달에 직접적인 향상 또는 가소성 효과를 갖는다. B: 1 차 보상에 대한 도파민 반응은 상기 조건화 된 자극과 관련된 선조 신경 전달에 역행 가소성 효과를 갖는다. 이 메커니즘은 적격 추적 수명이 지난 striatal 활동에 의해 조정됩니다. 실선 화살표는 선조 신경 전달에 대한 도파민 신호의 직접적인 영향을 나타냅니다. (A) 또는 자격 추적 (비), 작은 화살표 B 는 적격성 추적을 통한 선조 신경 전달에 간접적 인 영향을 나타냅니다.

무조건 자극으로 도파민 뉴런의 전기적 자극

외접 뇌 영역의 전기적 자극은 접근 행동을 획득하고 유지하기위한 강화 역할을합니다.노인과 Milner 1954). 매우 효과적인 일부 자기 자극 부위는 중뇌의 도파민 세포체 및 축색 다발과 일치합니다 (코벳과 현명한 1980), 핵 축적 (Phillips et al. 1975), 선조체 (Phillips et al. 1976) 및 전전두엽 피질 (모라와 마이어스 1977; Phillips et al. 1979)뿐만 아니라 도파민 시스템과 관련이없는 구조에서도 발견됩니다 (화이트와 밀너 1992). 전기적 자기 자극은 도파민 뉴런의 활성화를 포함합니다 (더 크고 필립스 1986; Wise and Rompré 1989) 및 도파민 축삭의 6- 하이드 록시 도파민 유발 병변에 의해 감소됨 (Fibiger et al. 1987; 필립스와 Fibiger 1978), 도파민 합성 억제 (에드먼드와 Gallistel 1977), 도파민 뉴런의 탈분극 불 활성화 (Rompré and Wise 1989) 및 전신 투여되는 도파민 수용체 길항제 (Furiezos와 현명한 1976) 또는 핵 축적 (Mogenson et al. 1979). 세포 외 도파민의 코카인 또는 암페타민 유발 증가로자가 자극이 촉진됩니다.콜과 현명한 1980; 스타 인 1964; 워커 1976). 자가 자극은 핵 축적, 선조체 및 전두엽 피질에서 도파민 이용률을 직접 증가시킵니다 (Fibiger et al. 1987; 모라와 마이어스 1977).

전기적으로 유발 된 도파민 자극과 방출이 연상 학습을 배우는 꿀벌의 옥토 파민 뉴런의 자극과 유사하게, 연관 학습에서 무조건 자극으로 작용할 수 있다고 상상하는 것은 흥미 롭습니다.망치 1993). 그러나, 도파민 관련자가 자극은 도파민 뉴런의 자연적 활성화와 적어도 3 가지 중요한 측면에서 상이하다. 자연적인 보상은 일반적으로 도파민 뉴런을 활성화시키는 것이 아니라 여러 뉴런 시스템을 병렬로 활성화하고 다른 보상 성분의 분산 코딩을 허용합니다 (추가 텍스트 참조). 둘째, 전기 자극은 보상 예측에 오류를 반영하지 않고 무조건 강화로 적용됩니다. 셋째, 전기 자극은 보상 예측 자극이 아닌 행동 반응 후 보상처럼 전달됩니다. 도파민 뉴런이 신호를 방출하는 것과 정확히 동일한 방식으로 전기적 자기 자극을 적용하는 것이 흥미로울 것입니다.

도파민 신경 전달 장애가있는 학습 결손

많은 연구에서 도파민 수용체 길항제의 국소 또는 전신 적용 또는 복부 중뇌, 핵 축적 또는 선조에서의 도파민 축삭 파괴 후 도파민 신경 전달 장애가있는 동물의 행동을 조사했습니다. 파킨슨증을 연상시키는 운동 및인지 결핍을 관찰하는 것 외에도, 이러한 연구는 보상 정보 처리에 장애를 나타냈다. 가장 초기의 연구는 주관적이고, 정신적이며 보상에 대한 인식에 결함이 있다고 주장했다 (현명한 1982; 와이즈 (Wise) 등. 1978). 추가 실험 결과 접근 및 결론적 행동에 대한 1 차 보상의 사용 장애 및 조절 된 식욕 자극 (Beninger et al. 1987; 에텐 베르크 1989; Miller et al. 1990; 살라몬 1987; 어거 스텟 트 1971; 현명하고 Colle 1984; 현명하고 롬프 1989). 많은 연구에서 식욕을 돋우는 학습의 기본이되는 동기 및주의 과정의 장애에 대해 설명했습니다 (베닝거 1983, 1989; 베닝거와 한 1983; 더 크고 필립스 1986; LeMoal과 Simon 1991; 로빈스와 에버릿 1992, 1996; 화이트와 밀너 1992; 현명한 1982). 대부분의 학습 결손은 핵 accumbens에서 손상된 도파민 신경 전달과 관련이있는 반면, 등쪽 선조 손상은 감각 운동 결손으로 이어진다 (아 말릭과 Koob 1987; 로빈스와 에버릿 1992; 화이트 1989). 그러나 일반적으로 도구 적 작업과 특히 차별적 자극 특성에 대한 학습은 자주 절약되는 것으로 보이며, 겉보기 학습 결손 중 일부가 운동 성능 결손에 의해 혼동 될 수 있는지 여부는 완전히 해결되지는 않습니다 (살라몬 1992).

파킨슨 병에서 도파민 뉴런의 퇴화는 또한 연관 학습을 포함한 많은 선언적 및 절차 적 학습 결손으로 이어집니다.린덴 (Linden) 등. 1990; Sprengelmeyer et al. 1995). 결함은 시행 착오를 통해 시행 착오 학습에 존재합니다 (Vriezen 및 Moscovitch 1990) 및 명시 적 자극을 다른 결과와 연관시킬 때 (Knowlton et al. 1996), 피질 위축이없는 파킨슨 병 초기 단계에서도 (Canavan et al. 1989). 파킨슨 병 환자들도 시간 지각 장애를 보입니다 (목사 등. 1992). 이러한 모든 결손은 L-Dopa 치료의 존재에서 발생하며, 이는 위상 도파민 신호를 회복시키지 않으면 서 강 장성 도파민 수준을 회복시킨다.

이러한 연구는 도파민 신경 전달이 접근 행동에 대한 보상을 처리하고 자극과 보상 사이의 연관을 포함하는 학습 형태에서 중요한 역할을하는 반면,보다 도구적인 형태의 학습에 대한 참여는 의문을 제기 할 수 있음을 시사한다. 이러한 결손이 위상 적 도파민 보상 신호의 부재보다는 톤적으로 감소 된 도파민 수용체 자극으로 인해보다 일반적인 행동 불 활성화를 반영하는지 여부는 불분명하다. 이 질문을 해결하고 다른 학습 형태에서 도파민의 역할을보다 구체적으로 설명하기 위해서는 식욕 자극에 대한 위상 도파민 반응이 실제로 발생하는 상황에서 학습을 연구하는 것이 도움이 될 것입니다.

도파민 신호에 의해 중재 될 수있는 학습 형태

도파민 반응의 특징 및 선조 뉴런에 대한 도파민의 잠재적 영향은 도파민 뉴런이 관여 할 수있는 학습 형태 중 일부를 묘사하는 데 도움이 될 수 있습니다. 혐오스러운 사건과 달리 식욕에 대한 우선 반응은 철회와 처벌보다는 접근 행동 학습과 긍정적 강화 효과 중재에 관여하는 것을 선호합니다. 과제와 학습 환경 이외의 주요 보상에 대한 반응은 도파민 뉴런이 고전적 및 도구 적 조절 모두에서 주요 보상과 관련된 비교적 광범위한 학습에서 역할을 수행 할 수있게한다. 보상 예측 자극에 대한 반응은 자극 보상 협회를 반영하며 일반적인 인센티브 학습의 기본 보상 보상에 참여할 수 있습니다 (빈 드라 1968). 반대로, 도파민 반응은 보상을 목표 예측으로 명시 적으로 코딩하지 않습니다. 보상 보상에서는 오류 만보고하기 때문입니다. 그들은 또한 동기 부여 상태에 둔감 한 것처럼 보이며, 따라서 목표 지향적 행위에 대한 국가 의존적 인센티브 학습에서 특정 역할을 싫어한다.디킨슨과 발레 인 1994). 팔과 눈의 움직임에 대한 명확한 관계가 부족하면 인센티브 자극에 따른 행동 반응을 직접 중재하는 역할이 바람직하지 않습니다. 그러나 개별 뉴런의 배출과 전체 유기체의 학습 간의 비교는 본질적으로 어렵다. 시냅스 수준에서, 위상 적으로 방출 된 도파민은 아마도 모든 선조 뉴런에서 많은 수상 돌기에 도달하므로 선조와 관련된 다양한 행동 구성 요소에 가소성 영향을 미칠 수 있으며, 이는 운동 학습을 포함 할 수 있습니다.

위상 도파민 신호가 학습에 중요한 역할을 할 수있는 특정 조건은 도파민 반응을 효과적으로 유도하는 자극의 종류에 따라 결정됩니다. 동물 실험실에서, 도파민 반응은 일차 영양소 보상 및 보상 예측 자극을 포함하여 식욕, 소설 또는 특히 현저한 자극의 위상 발생을 요구하지만, 혐오 자극은 큰 역할을하지 않습니다. 높은 수준의 조절 된 자극 및 2 차 강화제는 아직 테스트되지 않았지만, 도파민 반응은 위상 및 명시 적 결과에 의해 제어되는 모든 행동 상황에서 발생할 수있다. 위상 적 도파민 반응은 아마도 위상 적으로 발생하는 결과에 의해 매개되지 않는 학습 형태에서 역할을하지 않을 것이며, 예측 적 반응은 상황의 상대적으로 느린 변화와 같이 위상 예측 자극이 발생하지 않는 상황에서 학습에 기여할 수 없을 것입니다. . 이것은 도파민 병변 또는 신경 이완제에 의한 일부 학습 형태의 절약이 phasic dopamine 반응의 부재를 처음에 단순히 반영 할 수 있는지에 대한 흥미로운 질문을 유도합니다.

학습에서 도파민 신호의 관여는 이론적 인 예에 의해 설명 될 수있다. 올바른 반응이 갑자기 영양소 보상으로 이어질 때 일련의 반응 시간 작업을 획득하는 동안 도파민 반응을 상상해보십시오. 그 후 보상 응답은 점진적으로 초기 보상 예측 자극으로 전달됩니다. 표적의 공간적 위치가 점점 예측 가능 해짐에 따라 장기간의 연습으로 반응 시간이 더욱 향상됩니다. 도파민 뉴런이 보상 예측 자극에 계속 반응하지만, 추가적인 행동 개선은 주로 다른 뉴런 시스템에 의한 공간 위치의 예측 프로세싱의 획득에 기인 할 수있다. 따라서 도파민 반응은 피험자가 대상에 접근하여 명백한 일차적, 아마도 조건부 보상을 얻는 학습의 초기 인센티브 부분에서 발생합니다. 학습의 진행이 접근 행동의 유도를 넘어서는 상황에는 덜 관여 할 것이다. 많은 상황들이 처음부터 예를 통해 배우고 나중에는 명백한 결과에 의한 학습을 ​​포함하기 때문에 이것은 도파민 역할을 초기 학습 단계로 제한하지 않습니다.

예측 오류

도파민 뉴런의 예측 오차 신호는 예측과 관련하여 환경 사건의 식욕을 나타내는 훌륭한 지표이지만 식품, 액체 및 보상 예측 자극과 시각, 청각 및 체 감각 양식을 구별하지는 못한다. 이 신호는 시냅스 후 뉴런들에게 그 신원을 더 이상 나타내지 않고 보상 또는 잠재적 보상 이벤트의 놀라운 외관 또는 누락에 대해 통보하는 보상 경보 메시지를 구성 할 수있다. 그것은 학습을위한 강력한 강화 신호의 모든 공식적인 특성을 가지고 있습니다. 그러나 보상의 특정 특성에 대한 정보는 어떤 대상에 접근해야하고 어떤 방식으로 접근해야 하는지를 결정하는 데 중요합니다. 예를 들어, 배고픈 동물은 주로 음식에 접근하지만 액체는 접근하지 않아야합니다. 관련없는 보상과 관련성을 식별하려면 추가 정보로 도파민 신호를 보충해야합니다. 최근 생체 내 투석 실험은 배고픈 쥐가 만족 한 쥐보다 음식에 의한 도파민 방출이 더 높음을 보여 주었다 (윌슨 등. 1995). 도파민 방출의 이러한 드라이브 의존성은 동물이 유동적으로 만족되는 개별 실험 세션의 초기 및 후기 기간 (JL Contreras-Vidal 및 W. 슐츠, 미공개 데이터).

보상 세부 사항

액체 및 식품 보상에 관한 정보는 또한 등쪽 및 복부 선조, 시상 하핵, 편도체, 배측 전두엽 피질, 궤도 전두엽 피질 및 앞쪽 피질 피질과 같은 도파민 뉴런 이외의 뇌 구조에서 처리됩니다. 그러나, 이들 구조는 도파민 뉴런과 유사한 글로벌 보상 예측 에러 신호를 방출하지 않는 것으로 보인다. 영장류에서 이러한 구조는 다음과 같이 보상을 처리합니다. 1보상 제공 후 일시적 응답아피 셀라 (Apicella) 등. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; 니키와 와타나베 1979; Nishijo et al. 1988; 트레블 레이와 슐츠 1995; 와타나베 1989), 2) 보상 예측 신호에 대한 일시적 응답아오 사키 등 1994; 아피 셀라 (Apicella) 등. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; 트레블 레이와 슐츠 1995; Williams et al. 1993), 3) 곧 다가오는 보상을 기대하는 동안 지속적인 활성화 (아피 셀라 (Apicella) 등. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; 트레블 레이와 슐츠 1995), 그리고 4예측 보상에 의한 행동 관련 활성화의 변조Hollerman et al. 1994; 와타나베 1990, 1996). 이러한 뉴런 중 다수는 다른 음식 보상과 다른 액체 보상 사이를 잘 구분합니다. 따라서 그들은 보상 이벤트의 특정 특성을 처리하고 보상의 인식을 제공 할 수 있습니다. 보상 응답 중 일부는 예측 불가능한 보상에 의존하며, 조건부 자극에 의해 보상이 예측 될 때 감소되거나 부재합니다 (아피 셀라 (Apicella) 등. 1997; Matsumoto et al. 1995; L. Tremblay 및 W. Schultz, 미공개 데이터). 생략 된 보상에 대한 응답을 알 수 없기 때문에 예측 오류를 신호하는지 여부는 확실하지 않지만 특정 보상에 대한 예측을 처리 할 수 ​​있습니다.

확립 된 성능 유지

세 가지 뉴런 메커니즘은 기존의 행동 성능, 즉 생략 된 보상의 감지, 보상 예측 자극의 감지 및 예측 된 보상의 감지를 유지하는 데 중요한 것으로 보입니다. 예측 된 보상이 생략되면 도파민 뉴런이 우울해진다. 이 신호는 잘못된 행동 반응과 관련된 시냅스 효과를 줄이고 반복을 방지 할 수 있습니다. 보상 예측 자극에 대한 도파민 반응은 확립 된 행동 동안 유지되므로 계속 진보 정보로서 작용한다. 완전히 예측 된 보상은 도파민 뉴런에 의해 검출되지 않지만, 상기 언급 된 비 도파민 성 피질 및 아 피질 시스템에 의해 처리된다. 이것은 학습 된 행동의 멸종을 피하는 데 중요합니다.

종합 해보면, 접근 행동을 학습하고 유지하기위한 특정 보상의 처리는 다른 구조에서 예측하지 못한 보상의 발생 또는 누락을 나타내는 도파민 뉴런과 동시에 다른 구조의 뉴런 간의 협력에 의해 큰 이익을 얻는 것으로 보이며, 이는 보상의 특정 특성을 나타낸다.

노르 아드레날린 뉴런

쥐, 고양이 및 원숭이의 유전자 좌근에있는 노르 아드레날린 뉴런의 거의 전체 집단이 방향 반응을 유발하는 시각, 청각 및 체성 감각 자극에 대해 동질의 2 상 활성화-우울제 반응을 보여줍니다.애스턴 존스와 블룸 1981; Foote et al. 1980; Rasmussen et al. 1986). 홀리 볼 차별 작업에서 시각적 자극과 같이 동물이주의를 기울이는 드문 이벤트가 특히 효과적입니다 (Aston-Jones et al. 1994). 노르 아드레날린 뉴런은 각성 또는 동기 유발 및 중성 사건을 매우 잘 구별합니다. 그들은 반전하는 동안 새로운 목표 자극에 대한 반응을 신속하게 획득하고 행동 반전이 완료되기 전에 이전 목표에 대한 반응을 잃습니다 (Aston-Jones et al. 1997). 어떤 작업 밖에서도 액체를 제거하고 작업 내 보상 예측 대상 자극뿐만 아니라 일차적이고 조절 된 혐오 자극에 대한 반응이 발생합니다 (Aston-Jones et al. 1994; Foote et al. 1980; 라스무센과 제이콥스 1986; 사라와 시걸 1991). 반응은 종종 일시적이며 자극 발생 또는 의미의 변화를 반영하는 것으로 보입니다. 음식물을 반복해서 제시하는 몇 번의 시험에서만 활성화가 일어날 수 있습니다.Vankov et al. 1995) 또는 액체 보상, 혐오스러운 에어 퍼프 또는 전기 발 충격과 관련된 조절 된 청각 자극라스무센과 제이콥스 1986; 사라와 시걸 1991). 컨디셔닝 동안, 반응은 소설 자극의 처음 몇 가지 프리젠 테이션에 발생하고 획득, 반전 및 멸종 중 강화 우발성이 변할 때마다 일시적으로 다시 나타납니다 (사라와 시걸 1991).

종합하면, 노르 아드레날린 뉴런의 반응은 몇 가지 측면에서 도파민 뉴런의 반응과 유사하며, 1 차 보상, 보상 예측 자극 및 신규 한 자극에 의해 활성화되고 1 차에서 조건부 식욕에 반응을 전달한다. 그러나, 노르 아드레날린 뉴런은 훨씬 더 다양한 자극 자극에 반응하고, 1 차 및 조절 된 혐오 자극에 잘 반응하고, 중성 자극에 대해 잘 식별하고, 행동 반전을 빠르게 따르며, 반복되는 자극으로 감소하는 반응을 보여줌으로써 도파민 뉴런과 다릅니다. 확실한 식욕 반응을 위해 100 시험이 필요할 수있는 프레젠테이션 (Aston-Jones et al. 1994). 노르 아드레날린 반응은 대부분의 도파민 뉴런과 같은 식욕 자극 특성에 훨씬 덜 집중하면서 배향 반응을 유발하는 자극의 각성 또는주의를 끄는 특성과 밀접한 관련이있다. 그들은 아마도 식욕을 돋우는 이벤트의 구성 요소를 동기 부여하는 것보다주의를 끌기 때문에 더 많은 것을 주도 할 것입니다.

세로토닌 뉴런

다른 raphe 핵의 활동은 근육 톤과 고정 관념 운동 활동을 설정하여 운동 출력을 촉진합니다.제이콥스와 포널 1993). 고양이의 등쪽 강간 뉴런은 특별한 행동 적 의미가없는 시각 및 청각 자극에 대한 phasic, nonhabituating 응답을 보여줍니다.Heym et al. 1982; LeMoal과 Olds 1979). 이들 반응은 신규하고 특히 현저한 자극에 대한 도파민 뉴런의 반응과 유사하다. 더 많은 비교를 위해서는 더 자세한 실험이 필요합니다.

핵 바살리스 마이 너트

영장류 기초 전뇌 뉴런은 조절 된, 보상 예측 자극 및 일차 보상을 포함한 다양한 행동 이벤트에 의해 위상 적으로 활성화됩니다. 많은 활성화는 메모리 및 차별 및 지연된 응답 작업의 강화와의 연관성에 의존합니다. 활성화는 자극의 친숙 함을 반영합니다 (윌슨 앤 롤스 1990a) 보상 시간에 가까워지는 자극과 움직임으로 더 중요해집니다 (리차드슨과 델롱 1990), 식욕과 혐오 적 연관성을 바탕으로 시각적 자극을 잘 구분윌슨과 롤 1990b) 및 반전 중 몇 번의 시험 내 변경 (윌슨과 롤 1990c). 뉴런은 또한 혐오 자극, 예측 된 시각 및 청각 자극 및 움직임에 의해 활성화됩니다. 그들은 잘 확립 된 행동 과제에서 완전히 예측 된 보상에 자주 반응합니다 (Mitchell et al. 1987; 리차드슨과 델롱 1986, 1990), 일부 연구에서는 예측하지 못한 보상에 대한 반응이 더 풍부하지만 (리차드슨과 델롱 1990)이지만 다른 사람에게는 해당되지 않습니다 (윌슨 앤 롤스 1990a-c). 도파민 뉴런과 비교하여, 그들은 광범위한 사건을 포함하여 훨씬 더 많은 범위의 자극 및 사건에 의해 활성화되며, 예측되지 않은 보상에 대한 다소 균질 한 인구 반응 및 보상 예측 자극으로의 전달을 나타내지 않습니다.

소뇌 등반 섬유

아마도 뇌의 첫 번째 오류 중심의 교시 신호는 소뇌 피질의 열등한 올리브에서 Purkinje 뉴런으로 섬유를 투영하는 것을 포함한다고 가정했습니다.Marr 1969) 및 많은 소뇌 학습 연구는이 개념 (Houk et al. 1996; 이토 1989; 가와 토와 고미 1992; 릴리 나와 웨일스 어 1993). Purkinje 뉴런으로 올라가는 섬유질 입력은 움직임과 움직임 사이의 하중 또는 시각적 피드백이 변경되고 원숭이가 새로운 상황에 적응할 때 일시적으로 활동을 변화시킵니다 (길버트와 타흐 1977; 오자 캉 가스와에 브너 1992). 이러한 변화의 대부분은 도파민 뉴런의 반대 방향에서 오류로 보이는 활성화 대 우울증 반응보다는 증가 된 활동으로 구성됩니다. 상승 섬유 활성화가 교시 신호로서 작용하는 경우, 공동 상승 섬유-병렬 섬유 활성화는 Purkinje 뉴런에 대한 평행 섬유 입력의 변화를 야기해야한다. 이것은 실제로 시험관 내 준비에서 평행 섬유 입력의 장기간 우울증으로 발생합니다.이토 1989). 그러나 행동 학습 상황에서 비슷한 병렬 광섬유 변화를 찾기가 더 어렵다 (오자 캉 가스와에 브너 1992), 잠재적 인 등반 섬유 티칭 신호의 결과는 현재 열려 있습니다.

학습에서 섬유를 등반하는 역할에 대한 두 번째 주장은 혐오스러운 고전적 컨디셔닝과 관련이 있습니다. 등반 섬유의 일부는 각막으로 퍼지는 공기 퍼프에 의해 활성화됩니다. 이 반응은 청각 자극을 사용하는 Pavlovian 눈꺼풀 조절 후 사라집니다 (시어스와 Steinmetz 1991), 주요 혐오스러운 사건의 예측 불가능 성과의 관계를 제안합니다. 조절 후, 소뇌 interpositus 핵의 뉴런은 조절 된 자극에 반응합니다 (베르 티에와 무어 1990; 맥코믹과 톰슨 1984). 이 핵의 병변 또는 GABA 길항제 bicuculline을 열등한 올리브에 주입하면 컨디셔닝 후 열등한 올리브 에어 퍼프 반응의 손실을 막을 수 있습니다. 이는 중간 시냅스에서 열등한 올리브까지 단일 시냅스 또는 다 시냅스 억제가 컨디셔닝 후 반응을 억제한다는 것을 나타냅니다.톰슨과 글럭 1991). 이것은 예측 된 혐오 자극이 없을 때 열등한 올리브 뉴런이 눌려 지도록하여 도파민 뉴런과 유사한 혐오 현상의 예측에서 부정적인 오류를보고 할 수 있습니다.

따라서, 등반 섬유는 도파민 뉴런과 같이 양방향 변화를 항상 포함 할 수는 없지만 운동 성능 및 혐오 사건 예측 오류를보고 할 수있다. 상승 섬유는 조절 된 혐오 자극에 대한 반응을 얻지 못하는 것으로 보이지만, 그러한 반응은 핵 중간에서 발견됩니다. 혐오스러운 예측 오차의 계산은 도파민 뉴런에 대한 선조 적 투영과 유사하게, 열등한 올리브 뉴런에 대한 억제 입력의 하강을 포함 할 수있다. 따라서 소뇌 회로는 도파민 뉴런 및 TD 모델과는 다르지만 오류 신호를 처리하며 Rescorla-Wagner 규칙과 같은 오류 학습 규칙을 구현할 수 있습니다.톰슨과 글럭 1991) 또는 공식적으로 동등한 Widrow-Hoff 규칙 (가와 토와 고미 1992).