문맥 상 참신 변화는 스트 리엄 (2010)에서 표현을 보상한다.

 전체 연구 : 맥락 적 참신은 상면의 보상 표현을 바꾼다


J Neurosci. 저자 원고; PMC 2010 8 월 3에서 사용 가능합니다.
최종 편집 양식으로 다음과 같이 게시됩니다.

마크 기타 렛-마십,*,1,2 니코 번 제크,*,1 클라스 전자 스테판,2,3 레이몬드 J 돌란,2엠라 뒤젤1,4

이 기사의 발행인의 최종 편집 버전은 J 신경 과학

PMC의 다른 기사보기 인용 출판 된 기사.

이동 :

추상

복부 선조에서의 보상 표현은 지각 적 참신성에 의해 강화되지만,이 효과의 메커니즘은 여전히 ​​애매 모호합니다. 동물 연구에 따르면 기능 루프 (Lisman and Grace, 2005)는 소설 자극의 맥락 내에서 염분 속성을 조절하는 데 중요한 해마, 복부 선조 및 중뇌를 포함합니다. 이 모델에 따르면, 보상과 참신이 무관하고 독립적 인 사건을 구성하더라도 복부 선조 또는 중뇌의 보상 반응은 참신의 맥락에서 향상되어야합니다. fMRI를 사용하여 보상 예측 단서 및 후속 결과가있는 시험에서 보상 표현이 참신의 맥락에서 향상됨을 나타내는 관련없는 소설 그림이 선행 될 경우 선조에서 더 높은 반응을 유도함을 알 수 있습니다. 특히,이 효과는 보상 발생, 따라서 보상 관련 심각도가 낮은 경우에만 관찰되었다. 이러한 연구 결과 맥락 참신은 striatum에 보상 표현의 기본 신경 반응을 향상시키고의 모델에 의해 예측 된 참신 처리의 효과와 일치 리스 만과 은총 (2005).

키워드 : 참신, 보상, 선조, 해마, 중뇌, fMRI

개요

기저핵은 그들의 도파민 성 구심과 함께 다양한 행동 옵션의 보상 가치에 대해 배울 수있는 메커니즘을 제공합니다 (Berridge and Robinson, 2003; Frank 외., 2004; Pessiglione et al., 2006). 이러한 관점에 따라 fMRI 연구에 따르면 보상과 예측 단서에 대한 보상은 선조체의 뇌 활동을 이끌어냅니다 (예 :Delgado 등, 2000; Knutson et al., 2000; O'Doherty 외, 2003; O'Doherty 외, 2004) 및 중뇌 (Aron 외, 2004; Wittmann et al., 2005). 그러나 midbrain dopaminergic 시스템은 또한 원숭이의 보상이 아닌 새로운 자극에 반응합니다.Lungberg 등, 1992)과 인간 (Bunzeck and Duzel, 2006; Wittmann et al., 2007). 계산적 관점에서 볼 때, 참신 자체가 보상 표현을 향상시키고 알려지지 않은 참신한 선택 옵션의 탐색을 유도하는 동기 신호로 작용할 수 있다고 제안되었습니다.Kakade와 Dayan, 2002).

참신과 보상의 처리는 일반적인 신경 메커니즘을 공유하지만, 참신과 보상의 상호 작용을 지원하는 신경 기질은 여전히 ​​잘 이해되지 않고있다. 동물 연구에 따르면 해마 진기 신호는 도파민 뉴런이 버스트 발사 활동을 나타내는 능력을 조절한다는 것이 밝혀졌습니다. 버스트 발사가 보상을위한 주요 도파민 반응 패턴 및 기타 두드러진 사건을 고려할 때 해마 진기 신호가 보상 처리 및 심각도 속성을 조절할 가능성이 있다고 의심 할만한 이유가있다.Lisman and Grace, 2005). 해마 진기 신호는 음핵 도파민 뉴런의 억제를 유발하여 강장제 활동의 모드를 유도하는 소핵, 복부 선조 및 복부 pallidum을 통해 VTA로 전달됩니다.Lisman and Grace, 2005; 그레이스 앤드 버니, 1983). 중요한 것은, 소리가 활발하지는 않지만 침묵하는 도파민 뉴런 만이 버스트 발사 모드로 전환하고 위상 반응을 보여줍니다 (Floresco 등, 2003). 이러한 방식으로, 해마 신규성 신호는 위상 도파민 신호를 증가시키고 새로운 정보를 장기 기억으로 인코딩하는 것을 용이하게 할 가능성이있다.

최근의 연구에 따르면 자극 신규가 선조 적 보상 예측 오류를 향상시키는 것으로 나타났습니다.Wittmann et al., 2008),이 발견은 맥락 적 참 신성이 후속 보상 신호에 강화 효과를 미치는 생리 학적 가설을 다루지 않는다 (Lisman and Grace, 2005). 이를 테스트하려면 참신 (및 친숙도)이 보상에 앞서 일시적으로 확장 된 맥락으로 작용하도록 참신 및 보상 수준을 독립적으로 조작해야합니다. 우리는 보상을 예측하는 단서를 제시하기 전에 소설 자극을 제시 하여 참신의 맥락에서 보상 처리의 striatal 변조 표현 조사. 또한 두 가지 요소 (참신과 보상)를 독립적으로 조작했습니다. 이를 통해 해당 신경 표현을 구별 할 수있었습니다. 우리는 주어진 확률 (보상 없음 (p = 0), 낮음 (p = 0.4) 및 높은 보상 확률 (p = 0.8))으로 보상 전달을 큐에 넣은 세 가지 다른 프랙탈 이미지 중 하나를 대상으로 발표했습니다. 이러한 방식으로, 우리의 디자인은 보상 반응에 대한 문맥 적 참신이 보상 발생 가능성에 의해 영향을 받는지 여부를 조사 할 수있게 해주었다. 보상 처리에 대한 신규성의 확률 의존 효과는 신규 성과 보상 처리가 기능적으로 상호 작용한다는 예측에 대한 강력한 지원을 제공 할 것이다. 대조적으로, 보상 확률 및 크기와 무관 한 보상 관련 뇌 활동에 대한 신규성의 효과는 신규성 및 보상이 뇌 영역을 공유하고 기능적 상호 작용없이 부가적인 신경 활동을 생성한다는 것을 나타낸다.

재료 및 방법

주제

16 성인이 실험에 참여했습니다 (9 여성 및 7 남성; 연령 범위 19-32 년; 평균 23.8, SD = 3.84 년). 모든 피험자들은 건강하고, 오른 손잡이였으며, 정상 또는 수정 된 시력을 가졌습니다. 어떤 참가자도 신경 학적, 정신적 또는 의학적 장애 또는 현재의 의료 문제의 병력을보고하지 않았습니다. 모든 실험은 각 과목의 사전 서면 동의와 현지 윤리 허가 (영국 런던 런던)에 따라 진행되었습니다.

실험 설계 및 작업

작업은 3 단계로 나누어졌습니다. 1 단계에서 피험자들은 일련의 10 이미지 (5 실내, 5 실외)에 익숙해졌습니다. 각 이미지는 10 ± 1000ms의 자극 간 간격 (ISI)을 갖는 1750ms에 대해 500 배로 제시되었다. 피험자들은 오른쪽 집게와 가운데 손가락을 사용하여 실내 / 실외 상태를 표시했습니다. 2 단계에서 3 프랙탈 이미지는 컨디셔닝 세션에서 0 펜스의 금전적 보상과 함께 다른 확률 (0.4, 0.8 및 10)로 페어링되었습니다. 각각의 프랙탈 이미지는 40 번 제시되었다. 각각의 시도에서, 3 프랙탈 이미지 중 하나가 750ms에 대한 스크린 상에 제시되었고, 대상체는 버튼 누름으로 자극 제시의 검출을 나타냈다. 확률 적 결과 (10 또는 0 펜스)는 나중에 다른 750ms에 대해 750ms 화면에 숫자로 표시되었으며 피험자는 자신의 검지와 가운데 손가락을 사용하여 돈을 얻었는지 아닌지를 나타 냈습니다. 시험 시도 간격 (ITI)은 1750 ± 500ms입니다. 마지막으로, 테스트 단계 (단계 3)에서 보상 관련 응답에 대한 문맥 적 참신의 영향은 4 분의 11 분 동안 결정되었습니다 (그림 1). 여기, 1000ms에 대한 이미지가 제시되었고 피험자들은 오른쪽 집게와 가운데 손가락을 사용하여 실내 / 실외 상태를 표시했습니다. 장면 그림 및 후속 프랙탈 이미지가 화면에 표시되는 동안 응답 할 수 있습니다 (총 1750ms). 이미지는 1 단계의 익숙한 그림 세트 ( '친숙한 이미지'라고 함) 또는 제시되지 않은 다른 그림 세트 ( '새로운 이미지'라고 함)에서 얻은 것입니다. 총 240의 새로운 이미지가 각 주제에 제시되었습니다. 그 후, 3ms에 대해 위상 2 (보상 예측 큐라고 함)의 750 프랙탈 이미지 중 하나가 제시되었습니다 (여기서 대상은 응답하지 않도록 지시했습니다). 두 번째 단계에서와 같이 확률 론적 결과 (10 또는 0 펜스)는 나중에 다른 750ms에 대해 750ms를 제시했으며 피험자들은 집게 손가락과 가운데 손가락을 사용하여 돈을 얻었는지 아닌지를 나타 냈습니다. 결과가 화면에 표시되는 동안 및 후속 시험 간격 동안 (총 2500 ± 500 ms) 응답 할 수 있습니다. ITI는 1750 ± 500ms입니다. 각 세션 동안, 각각의 프랙탈 이미지는 새로운 그림 다음에 20 번, 그리고 친숙한 그림 뒤에 20 번이 제시되어 세션 당 120 시험이 발생 하였다. 6 가지 시험 유형의 프리젠 테이션 순서는 완전히 무작위 화되었습니다. 세 가지 실험 단계 모두 MRI 스캐너 내부에서 수행되었지만 BOLD 데이터는 테스트 단계 (단계 3) 중에 만 수집되었습니다. 피험자들은 최대한 신속하고 정확하게 답변하도록 지시 받았으며 최대 £ 20까지 수입을 지급 받도록 지시했습니다. 참가자들은 각각의 잘못된 반응에 대해 10 펜스가 차감 될 것이라고 들었습니다. 이러한 시험은 분석에서 제외되었습니다. 총 수입은 4th 블록 끝에서만 화면에 표시되었습니다.

그림 1 

실험적 설계

모든 이미지는 그레이 스케일로 평균 그레이-값 127 및 표준 편차 75로 정규화되었습니다. 어떤 장면도 전경에 사람이나 인체 부분 (얼굴 포함)을 묘사하지 않았습니다. 자극을 스크린 중앙에 투사하고 피험자들은 fMRI 스캐너의 헤드 코일에 장착 된 거울 시스템을 통해 그들을 보았습니다.

fMRI 데이터 수집

fMRI는 에코 평면 이미징 (EPI)을 사용하여 3-Tesla Siemens Allegra 자기 공명 스캐너 (Siemens, Erlangen, Germany)에서 수행되었습니다. 기능 세션에서 혈액 산소화 수준 의존적 (BOLD) 대비로 체 적당 전체 이미지 (48 T2 * -weighted images)가 획득되었습니다 (매트릭스 : 64 × 64; 전후방에서 -48 °로 ​​기울어 진 체 적당 30 경사 축 슬라이스) 축; 공간 해상도 : 3 × 3 × 3 mm; TR = 2880 ms; TE = 30 ms). fMRI 획득 프로토콜은 열등한 전두엽 및 측두엽 영역에서 감수성 유발 BOLD 감도 손실을 줄 이도록 최적화되었습니다 (Weiskopf et al., 2006). 각 주제에 대해 세션 당 224 볼륨을 포함하는 4 개의 스캐닝 세션에서 기능 데이터를 획득했습니다. 꾸준한 상태의 자화를 허용하기 위해 각 시리즈의 시작 부분에 6 개의 추가 부피가 얻어 져 버렸다. 3mm에서 양성자 밀도 (PD), T1 및 자화 전달 (MT) 매핑을 위해 다중 에코 1D FLASH를 사용하여 각 피험자의 뇌의 해부학 적 이미지를 수집했습니다.3 해상도 (바이 스코프와 투구, 2008) 및 T1 가중 반전 복구에 의해 준비된 EPI (IR-EPI) 시퀀스 (공간 해상도 : 1 × 1 × 1 mm). 또한 개별 필드 맵은 이중 에코 FLASH 시퀀스 (매트릭스 크기 = 64 × 64; 64 슬라이스; 공간 해상도 = 3 × 3 × 3 mm; 간격 = 1 mm; 짧은 TE = 10 ms; 긴 TE = 12.46 ms)를 사용하여 기록되었습니다. 획득 한 EPI 이미지의 왜곡 보정 (TR = 1020 ms)Weiskopf et al., 2006). 'FieldMap toolbox'사용 (허튼 등, 2002) 필드 맵은 단거리 및 장거리 TE에서 획득 된 이미지 사이의 위상차로부터 추정되었다.

fMRI 데이터 분석

사전 처리에는 재 배열, 개별 필드 맵을 사용한 뒤틀림 제거, MNI (Montreal Neurology Institute) 공간에 대한 공간 정규화 및 4mm Gaussian 커널로의 평활화가 포함되었습니다. fMRI 시계열 데이터를 고역 통과 필터링하고 (컷오프 = 128 s) AR (1) 모델을 사용하여 미백했습니다. 각 대상에 대해 시간 및 분산 도함수와 결합 된 표준 혈역학 적 반응 함수 (HRF)를 적용하여 통계 모델을 계산했습니다 (Friston 등, 1998).

2 × 3 계승 설계에는 별도의 회귀 변수로 모델링 된 6 관심 조건이 포함되어 있습니다 : 보상 확률 0로 친숙한 이미지, 보상 확률 0.4로 친숙한 이미지, 보상 확률 0.8로 친숙한 이미지, 보상으로 소설 이미지로 가능성 0, 보상 가능성 0.4가있는 소설 이미지, 보상 확률 0.8가있는 소설 이미지. 보상 예측 단서 (즉, 프랙탈 이미지)와 보상 결과 자체의 시간적 근접성은이 두 사건에서 발생하는 BOLD 신호의 분리에 문제를 일으킨다. 따라서 우리는 단서와 결과의 표현을 포함하는 미니 박스 카를 사용하여 각 시험을 복합 이벤트로 모델링했습니다. 이러한 기술적 한계는 참신과 보상 처리 사이의 상호 작용과 보상과 참신 효과의 동시 발생에 초점을 둔 요인 분석에는 문제가되지 않았습니다. 오류 시험은 관심없는 회귀 자로 모델링되었습니다. 잔류 운동 관련 인공물을 포착하기 위해 6 개의 공변량 (3 개의 강체 변환 및 재배치로 인한 3 개의 회전)이 관심없는 회귀로 포함되었습니다. 각 대상과 각 조건에 대해 선형 대비를 사용하여 지역별 조건 효과를 테스트했습니다 (1 단계 분석). 결과 대비 이미지를 2 차 임의 효과 분석에 입력했습니다. 여기서, 각 조건의 혈역학 적 효과는 '참신'(소설, 익숙한) 및 보상 확률 (2, 3, 0)과 함께 0.4 × 0.8 분산 분석 (ANOVA)을 사용하여 평가되었습니다.

우리는 3 해부학 적으로 정의 된 관심 영역 (중층, 중뇌 및 해마)에 대한 분석에 초점을 두 었으며, 여기서는 신규 연구와 보상 처리 사이의 상호 작용이 이전 연구를 기반으로 가정되었습니다 (Lisman and Grace, 2005; Wittmann et al., 2005; Bunzeck and Duzel, 2006). 완전성을 위해 보충 자료에 전체 뇌 결과를보고합니다. 선조체 및 해마 관심 영역 (ROI)은 모두 At Atlas 툴박스 (Maldjian 등, 2003; Maldjian 등, 2004). 선조 ROI는 꼬리, 꼬리 몸, 푸 타멘의 머리를 포함하지만, 해마 ROI는 편도선과 주변의 코뿔소 피질을 배제했습니다. 마지막으로 소프트웨어 MRIcro와 그룹의 평균 MT 이미지를 사용하여 SN / VTA ROI를 수동으로 정의했습니다. MT 이미지에서 SN / VTA는 주변 구조와 밝은 줄무늬로 구분할 수 있습니다 (Bunzeck and Duzel, 2006). 영장류에서는 보상 반응성 도파민 신경 세포가 SN / VTA 복합체에 분포되어 있으므로 하위 구획에 초점을 맞추기보다 전체 SN / VTA 복합체의 활성화를 고려하는 것이 적절하다는 점에 유의해야합니다.듀젤 (Duzel) 등, 2009). 이를 위해 3mm의 해상도3본 실험에 사용 된 바와 같이, 20 내지 25 mm의 부피를 갖는 SN / VTA 복합체의 350-400 복셀을 샘플링 할 수있다3.

결과

행동 적으로, 피험자들은 실내 / 실외 식별 작업 중 작업 성능에서 높은 정확도를 보여주었습니다 (친숙한 사진의 경우 평균 적중률 97.1 %, SD = 2.8 %; 소설 사진의 경우 평균 적중률 96.8 %, SD = 2.1 %; t15= 0.38, ns 및 결과 시간의 승 / 승리 차별 (승인 이벤트의 평균 적중률 97.8 %, SD = 2.3 %; 승 이벤트가없는 경우의 평균 적중률 97.7 %, SD = 2.2 %); 티15= 0.03, ns). 피험자들은 새로운 이미지와 비교하여 익숙한 실내 및 실외 상태를 더 빨리 식별했습니다 (RT (RT) X = 628.2 ms, 친숙한 사진의 경우 SD = 77.3ms; 새로운 사진의 경우 평균 RT = 673.8 ms, SD = 111 ms).15= 4.43, P = 0.0005). 결과 시간에 승 / 승리 미분에 대한 RT 차이는 없었습니다 (승리 시도에 대한 평균 RT = 542ms, SD = 82.2 ms; 승리 시도가없는 경우 평균 RT = 551 ms, SD = 69 ms).15= 0.82, ns). 마찬가지로 컨디셔닝 동안 3의 다른 프랙탈 이미지에 대한 RT 차이는 없었습니다 (0.8 확률 : RT = 370.1 ms, SD = 79 ms; 0.4 확률 : RT = 354.4, SD = 73.8ms; 0 확률 : RT = 372.2ms, SD = 79.3ms; F (1,12) = 0.045, ns)입니다. 후자의 RT 분석은 데이터 수집 중 기술적 문제로 인해 세 가지 주제를 제외했습니다.

fMRI 데이터의 분석에서, '참신'(소설, 익숙한) 및 보상 확률 (p = 2, p = 3, p = 0)을 가진 0.4 × 0.8 분산 분석은 해마에서 양측 적으로 참신의 주요 효과를 보여주었습니다.그림 2A) 및 오른쪽 선조체, ROI의 검색 량에 대해 FDR 보정. 보상의 단순한 주 효과 ( 'p = 0.8> p = 0')가 왼쪽 SN / VTA 복합체 (그림 2B) 및 양측 선조 내 (그림 2C). 만나다 표 1 모든 활성화 된 뇌 영역.

그림 2 

fMRI 결과
표 1 

fMRI 결과

ROI의 전체 검색 량에 대해 여러 테스트를 수정할 때 참신함 × 보상 확률 상호 작용을 관찰하지 못했습니다. 그러나, 선조에서 보상의 주요 효과를 보여주는 3 개의 피크 복셀에 대한 사후 분석 (t-test)을 수행 할 때, 우리는 참신의 효과와 보상과의 상호 작용의 효과를 발견했습니다. 참신과 참신 × 보상 상호 작용, 다른 복셀도 참신의 주요 효과를 보여 주었다.

도시 된 바와 같이 2C 숫자 (중간), 첫 번째 복셀에서 ([8 10 0]; 보상의 주 효과 F (2,30) = 8.12, P = 0.002; 참신함의 주 효과 F (1,15) = 7.03, P = 0.02; 참신함 × 보상 상호 작용 F (2,30) = 3.29, P = 0.05)이 효과는 보상 확률이 0.4 인 시행에 대한 BOLD 응답이 더 높고 새로운 그림 (post-hoc t-test : t (15) = 3.48 , P = 0.003). 두 번째 복셀 (2C 오른쪽)에서 ([−10 14 2] 보상의 주 효과 F (2,30) = 13.13, P <0.001; 참신함의 주 효과 F (1,15) = 9.19, P = 0.008; 아니오 유의미한 상호 작용 F (2,30) = 1.85, ns) 사후 t-tests는 보상 전달의 두 가지 낮은 확률에서 새로운 이미지와 익숙한 이미지 간의 차이가 참신함의 주된 효과를 주도한다는 것을 다시 보여주었습니다 (t (15) = 2.79, P = 0.014; 및 t (15) = 2.19, P = 0.045, 확률 p = 0 및 p = 0.4 각각) 2C 숫자). 대조적으로, 세 번째 복셀 (2C 왼쪽 [-22 4 0] 보상의 주 효과, F (2,30) = 9.1, P = 0.001)은 참신 (F (1,15) = 2.33, ns)의 주 효과 또는 상호 작용 (F (2,30) = 1.54, ns).

중뇌에서 최대 보상 관련 반응 ([−8 −14 −8], F (2,30) = 12.19, P <0.001)을 가진 복셀도 참신함의 주요 효과 (F (1,15 , 4.18) = 0.059, P = 2,30) 유의 한 상호 작용이없는 경우 (F (0.048) = XNUMX, ns).

토론

장면의 새로운 이미지는 후속 및 관련이없는 보람 이벤트 (추상적 인 단서 및 보상 전달 예측)에 의해 유발되는 선조 적 보상 반응을 향상 시켰습니다. 예상대로, 새로운 이미지가 해마를 활성화했습니다. 이러한 연구 결과 참신 관련 해마 활성화 복 부 선조에서 보상 처리에 상황에 따라 강화 효과를 발휘해야 생리적 예측에 대 한 우리의 지식에 첫 번째 증거를 제공 (Lisman and Grace, 2005; Bunzeck and Duzel, 2006).

BOLD 신호의 특성으로 인해 보상 예측 단서 및 결과 전달의 시간적 근접성은 이러한 이벤트에 대한 참신의 영향을 개별적으로 추정하지 못했습니다. 오히려 우리는 큐 결과 시퀀스를 복합 이벤트로 간주하고 보상 처리에 대한 참신의 효과가 보상 발생 확률의 함수로 다양하다는 것을 발견했습니다. 예측 보상의 확률이 낮고 (0 또는 0.4) 높은 보상 확률 (0.8)이없는 경우에만 향상이 관찰되었습니다 (그림 2C). 이 결과 패턴은 같은 지역에서 참신과 보상의 독립적 인 영향으로 설명 할 수 없다는 점에 유의해야합니다. 기능적으로 구별되지만 공간적으로 겹치는 두 개의 신경 모집단에 의해 야기되는 BOLD 효과는 보상 확률에 관계없이 부가 적이므로 0.8 확률 조건에서도 참신 효과를 초래합니다. 따라서, 보상 처리에 대한 신규성의 이러한 확률 의존 효과는 이들이 신규 한 자극 자체에 의해 유발 된 BOLD 응답에 의한 오염을 반영 할 가능성과 반대된다. 오히려, 결과는 낮은 확률 조건에서만 상황 적 참 신성이 보상 처리 자체를 증가 시켰음을 나타낸다.

위에서 설명한 것처럼 보상 기대 (큐)와 보상 전달 (결과) 사이에 BOLD 응답을 명확하게 할 수 없었습니다. 참신은 비 보상 결과의 처리를 선택적으로 증가시킬 수 있습니다 (승리 시도 없음). 이는 이러한 시도의 80 %가 보상이 전달 되었기 때문에 보상 가능성이 높은 시험에 대해 유의미한 신규 효과가 관찰되지 않았다는 사실과 일치합니다. 대안 적으로, 신규성은 낮은 확률로 보상 전달을 예측하는 단서 (즉, 0 및 0.4)에 대한 보상 기대에 영향을 줄 수있다. 어느 경우이든, 맥락 적 참신 성은 객관적으로 덜 보람있는 사건에 대한 뇌 표현을 향상시켰다. 더욱이, 높은 확률 조건에서 보상 신호의 신규 변조의 부족은 보상 프로세싱에서의 상한 효과로 인한 것 같지 않다. 이전 연구는 인간의 선조체에서의 보상 관련 반응이 다른 상황에서 적응 적으로 스케일링되어 결과가 특정 환경에서 유리한지 또는 불리한지를 나타내는 신호를 초래한다는 것을 보여 주었다 (Nieuwenhuis et al 2004). 따라서 보상 응답은 또한 보상 가능성이 높은 조건 하에서 신규 보너스를 수용 할 수있을 것으로 예상 될 수있다.

영장류의 뇌는 결과에 대한 기대 증가 (예 : 핥기 증가)에 의해 측정 된 고전적 조건화 실험에서 보상과 쌍을 이루는 다양한 자극의 가치에 대해 학습한다는 것은 잘 알려져 있습니다. 현재 실험에서 우리는 컨디셔닝 단계 동안 반응 시간을 측정했지만 예측 단서 강도의 다른 수준에서 차이를 찾지 못했습니다. 작업의 단순성과 피험자가 응답하는 속도 (모든 조건에 대해 <375ms)를 고려할 때 이러한 차이 응답의 부족은 천장 효과 때문일 수 있습니다. 컨디셔닝을위한 객관적인 행동 측정이 없음에도 불구하고, 이전 연구에서이 단서 유형의 성공적인 사용 (예 : O'Doherty 외, 2003)는 피험자들이 여전히 단서와 다른 보상 전달 가능성 사이에 연관성을 형성했음을 제안합니다.

이전 연구에서, 선조체의 보상 신호는 확률을 포함하여 인간과 비인간 영장류의 다양한 보상 관련 속성과 연결되었습니다.Preuschoff et al., 2006; 토 블러 (Tobler) 등, 2008), 크기 (Knutson et al., 2005), 불확실성 (Preuschoff et al., 2006) 및 액션 값 (Samejima et al., 2005). 선조체로 표현 된 이러한 보상 관련 변수의 다양성은 목표 지향적 행동의 조직에서 중요한 역할을하는 변연계 / 감각 운동 인터페이스로서의 역할에 잘 맞습니다 (Wickens et al., 2007). 중뇌 도파민 시스템의 주요 프로젝션 사이트 중 하나 인 SN / VTA와 striatum은 전통적인 컨디셔닝 패러다임의 보상 신호 및 보상 신호에 반응합니다 (예 :Delgado 등, 2000; Knutson et al., 2000; Fiorillo 등, 2003; Knutson et al., 2005; 토 블러 (Tobler) 등, 2005; Wittmann et al., 2005; D' Ardenne et al., 2008). 여러 계산 관점에 따르면, SN / VTA에서 발생하는 도파민 전송은 예측 오류 신호를 통해 조절 된 자극의 값에 대해 선조를 가르칩니다 (Schultz 등, 1997).

고전적인 컨디셔닝 연구에서 선조로 표현 된 보상과 비 보상 표현이 항상 명백한 행동 결과를 갖는 것은 아닙니다 (O'Doherty 외, 2003; den Ouden et al., 2009), fMRI 연구에 따르면 선조 BOLD 활동의 변화가 행동 데이터에 적합한 계산 모델에 의해 특징 지어지는 선택 옵션의 값과 관련된 예측 오류와 관련이 있음을 체계적으로 보여주었습니다.O'Doherty 외, 2004; Pessiglione et al., 2006). 행동과 관련이없는 선조 상태-값 표현은 예를 들어 파블로프-계측 전달 (PIT)에서 볼 수있는 접근 또는 상쾌한 효과와 같은 예비 응답으로 변환되는 보상 가용성 신호와 관련 될 수 있습니다.Cardinal et al., 2002; Talmi 등, 2008). 우리의 데이터는 참신이 보상의 기대 또는 보상이 아닌 결과에 대한 응답을 증가 시켜서 그러한 상태-값 표현을 조절할 것을 제안합니다. 참신과 보상 사이의 이러한 상호 작용의 결과는 무조건적인 예비 응답의 생성 일 수 있습니다. 현실에서, 그러한 반응은 참신이 단서로 식별 될 때 강화 된 접근으로 이어질 것입니다.Wittmann et al., 2008) 또는 참신이 감지되었지만 동물 문헌에서 관찰 된 특정 신호와 관련이없는 환경의 무작위 탐색 (갈고리와 칼리 바스, 1994). 이 견해는 또한 영향력있는 계산 모델과도 일치합니다 (Kakade와 Dayan, 2002).

선조에서 상황 적으로 개선 된 보상 반응에 관여 할 수있는 중요한 구조 중 하나는 해마입니다. 이전 연구 에서처럼Tulving et al., 1996; Strange 등, 1999; Bunzeck and Duzel, 2006; Wittmann et al., 2007) 우리는 맥락 적 참신함이 친숙 함보다 해마를 더 강력하게 활성화 시켰음을 보여준다. SN / VTA에 대한 강력한 (간접적) 예측을 고려할 때, 우리는이 구조가 중뇌 도파민 작용 계에 새로운 신호를 제공 할 가능성이 있다고 제안한다.Lisman and Grace, 2005; Bunzeck and Duzel, 2006). 도파민 성 중뇌는 또한 전두엽 피질과 같은 다른 뇌 영역으로부터도 새로운 신호를 전달할 수있는 입력을 받는다 (Fields 외, 2007). 그러나, 현재까지의 증거를 고려할 때, 해마는 참신의 맥락에서 선조 적 보상 신호의 증폭을 설명 할 수있는 중뇌 도파민 뉴런의 참신 관련 해소를 추진할 가능성이 가장 높은 후보로 간주한다. 다른 한편으로, 문맥 적 참신 효과의 확률 의존적 조절은 전전두엽 피질 (prefrontal cortex, PFC)에서 시작되었을 수있다. 생리 학적 연구에 따르면 SN / VTA 뉴런으로의 PFC 구동 증가는 PFC 영역의 도파민 조절을 향상 시키지만 복부 선조에는 도파민 입력을 향상시키지 않습니다.Margolis 등, 2006). 이러한 메커니즘을 통해, PFC는 SN / VTA 및 복부 선조체 보상 표현에 대한 신규성의 확률 의존적 맥락 효과를 조절할 수있다.

결론적으로, 본 결과는 맥락 적 참 신성이 관련없는 단서 및 결과에 응답하여 선조에서의 보상 처리를 증가 시킨다는 것을 입증한다. 이러한 연구 결과는 polysynaptic 경로 모델의 예측과 호환됩니다.Lisman and Grace, 2005)에서 해마 참신 신호는 관련없는 사건에 대한 경의 속성의 맥락 적 규제를위한 메커니즘을 제공한다.

감사의 글

이 작업은 Wellcome Trust Project Grant (ED 및 RJD 81259; www.wellcome.ac.uk; RD는 Wellcome trust Program Grant에서 지원합니다. MG는 Marie Curie Fellowship을 보유하고 있습니다 (www.mariecurie.org.uk). KES는 SystemsX.chh 프로젝트 NEUROCHOICE의 지원을 인정합니다.

참조 목록

  • Aron AR, Shohamy D, Clark J, Myers C, Gluck MA, Poldrack RA. 분류 학습 중인지 피드백 및 불확실성에 대한 인간 중뇌 민감도. J 신경 생리. 2004; 92 : 1144–1152. [PubMed]
  • Berridge KC, Robinson TE. 보상 파싱. Trends Neurosci. 2003, 26 : 507-513. [PubMed]
  • Bunzeck N, Duzel E. 인간 substantia nigra / VTA에있는 자극 참신의 절대 코딩. 뉴런. 2006, 51 : 369-379. [PubMed]
  • 추기경 RN, Parkinson JA, Hall J, Everitt BJ. 감정과 동기 부여 : 편도선, 복부 striatum, 그리고 전두엽 피질의 역할. Neurosci Biobehav Rev. 2002; 26 : 321-352. [PubMed]
  • D' Ardenne K, McClure SM, Nystrom LE, Cohen JD. 인간 복부 동맥 영역에서 도파민 신호를 반영하는 BOLD 반응. 과학. 2008; 319 : 1264–1267. [PubMed]
  • Delgado MR, Nystrom LE, Fissell C, Noll DC, Fiez JA. 선조체의 보상 및 처벌에 대한 혈역학 적 반응을 추적합니다. J Neurophysiol. 2000, 84 : 3072-3077. [PubMed]
  • den Ouden HE, Friston KJ, Daw ND, McIntosh AR, Stephan KE. 연관 학습의 예측 오류에 대한 이중 역할. 대뇌 피질. 2009; 19 : 1175–1185. [PMC 무료 기사] [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. 인간 도파민 성 중뇌의 기능적 영상화. 트렌드 신경. 2009 [PubMed]
  • HL, Hjelmstad GO, Margolis EB, Nicola SM. 배운 식욕을 돋우는 행동과 긍정적 인 강화에있는 복부 Tegmental Area 뉴런. Annu Rev Neurosci. 2007; 30 : 289–316. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. 도파민 뉴런에 의한 보상 확률 및 불확실성의 개별 코딩. 과학. 2003, 299 : 1898-1902. [PubMed]
  • Floresco SB, West AR, Ash B, Moore H, Grace AA. 도파민 뉴런 발사의 구심 조절은 강장제 및 위상 도파민 전달을 차별적으로 조절한다. Nat Neurosci. 2003; 6 : 968–973. [PubMed]
  • Frank MJ, Seeberger LC, O'Reilly RC. 당근 또는 막대기로 : 파킨슨증에서인지 강화 학습. 과학. 2004; 306 : 1940–1943. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. 이벤트 관련 fMRI : 미분 반응 특성화. 신경 이미지. 1998; 7 : 30–40. [PubMed]
  • 그레이스 AA, 버니 BS. 흑색 도파민 성 뉴런의 세포 내 및 세포 외 전기 생리학 -1. 식별 및 특성화. 신경 과학. 1983; 10 : 301–315. [PubMed]
  • MS, Kalivas PW 연결 참신 유도 운동 활동에서 도파민 및 흥분성 아미노산 전염의 관련. J Pharmacol Exp Ther. 1994; 269 : 976–988. [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. fMRI에서의 이미지 왜곡 보정 : 정량적 평가. 신경 이미지. 2002; 16 : 217–240. [PubMed]
  • Kakade S, Dayan P. Dopamine : 일반화 및 보너스. 신경망. 2002; 15 : 549–559. [PubMed]
  • Knutson B, Westdorp A, Kaiser E, Hommer D. 통화 인센티브 지연 작업 중 뇌 활동의 FMRI 시각화. 신경 이미지. 2000; 12 : 20–27. [PubMed]
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. 예상 값의 분산 신경 표현. J Neurosci. 2005; 25 : 4806–4812. [PubMed]
  • Lisman JE, Grace AA. hippocampal-VTA loop : 장기 기억으로의 정보 입력 제어. 뉴런. 2005, 46 : 703-713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. 행동 반응을 학습하는 동안 원숭이 도파민 뉴런의 반응. J Neurophysiol. 1992, 67 : 145-163. [PubMed]
  • Maldjian JA, Laurienti PJ, Burdette JH. 탈라 이라크 아틀라스의 전자 버전에서 중앙 집중 이랑 불일치. 신경 이미지. 2004; 21 : 450–455. [PubMed]
  • Maldjian JA, Laurienti PJ, Kraft RA, Burdette JH. fMRI 데이터 세트의 신경 해부학 및 cytoarchitectonic atlas 기반 심문을위한 자동화 된 방법. Neuroimage. 2003, 19 : 1233-1239. [PubMed]
  • Margolis EB, Lock H, Chefer VI, Shippenberg TS, Hjelmstad GO, Fields HL. 카파 오피오이드는 전전두엽 피질에 투영되는 도파민 뉴런을 선택적으로 제어한다. Proc Natl Acad Sci US A. 2006; 103 : 2938–2942. [PMC 무료 기사] [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. 도구 조절에서 복부와 등쪽 선조의 분리 가능한 역할. 과학. 2004; 304 : 452–454. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. 인간 두뇌의 시간적 차이 모델과 보상 관련 학습. 뉴런. 2003; 38 : 329–337. [PubMed]
  • Pessiglione M, Seymour B, Flandin G, Dolan RJ, Frith CD. 도파민 의존성 예측 오류는 인간의 보상 추구 행동을 뒷받침합니다. 자연. 2006; 442 : 1042–1045. [PMC 무료 기사] [PubMed]
  • Preuschoff K, Bossaerts P, Quartz SR. 인간 subcortical 구조에서 기대되는 보상과 위험의 신경 차별화. 뉴런. 2006; 51 : 381–390. [PubMed]
  • Samejima K, Ueda Y, Doya K, Kimura M. 선조의 행동 별 보상 가치를 나타냅니다. 과학. 2005; 310 : 1337–1340. [PubMed]
  • Schultz W, Dayan P, Montague PR. 예측과 보상의 신경 기질. 과학. 1997, 275 : 1593-1599. [PubMed]
  • 이상한 BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. 인간 해마의 기능 분리. Proc Natl Acad Sci US A. 1999; 96 : 4034–4039. [PMC 무료 기사] [PubMed]
  • Talmi D, Seymour B, Dayan P, Dolan RJ. 인간 파블로프 악기 전이. J Neurosci. 2008; 28 : 360–368. [PMC 무료 기사] [PubMed]
  • Tobler PN, Fiorillo CD, Schultz W. 도파민 뉴런에 의한 보상 가치의 적응 코딩. 과학. 2005, 307 : 1642-1645. [PubMed]
  • Tobler PN, Christopoulos GI, O'Doherty JP, Dolan RJ, Schultz W. 선택하지 않고 보상 확률의 신경 왜곡. J Neurosci. 2008; 28 : 11703–11711. [PMC 무료 기사] [PubMed]
  • Tulving E, Markowitsch HJ, Craik FE, Habib R, Houle S. 메모리 인코딩 및 검색에 대한 PET 연구에서 참신 성과 친숙 함 활성화. 대뇌 피질. 1996; 6 : 71–79. [PubMed]
  • Weiskopf N, Helms G. 1 분 미만의 20mm 해상도에서 인간 뇌의 다중 파라미터 맵핑; ISMRM 16; 토론토, 캐나다. 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. 감수성 유발 BOLD 감도 손실 감소를위한 최적의 EPI 매개 변수 : 3 T 및 1.5 T. Neuroimage에서의 전체 뇌 분석. 2006; 33 : 493–504. [PubMed]
  • Wickens JR, Horvitz JC, Costa RM, 행동 및 습관에서의 Killcross S. Dopaminergic 메커니즘. J Neurosci. 2007; 27 : 8181–8183. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. 참신의 기대는 추억을 장려하면서 보상 시스템과 해마를 모집합니다. 신경 이미지. 2007; 38 : 194–202. [PMC 무료 기사] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Striatal 활동은 인간의 참신 기반 선택의 기초입니다. 뉴런. 2008; 58 : 967–973. [PMC 무료 기사] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. dopaminergic midbrain의 보상 관련 FMRI 활성화는 향상된 해마 의존성 장기 기억 형성과 관련이 있습니다. 뉴런. 2005; 45 : 459–467. [PubMed]