보상 기대에 대한 위반에 대한 원자로의 민감도 (2007)

행동 양식

실험 과제

참가자는 앞에서 설명한 지연된 응답 2 선택 작업의 수정 된 버전을 사용하여 테스트했습니다 (Galvan 등, 2005) 이벤트 관련 fMRI 연구 (그림 1). 이 작업에서 3 개의 큐는 각각 일정한 양의 보상을 얻을 수있는 별개의 확률 (33 %, 66 % 및 100 %)과 관련이 있습니다. 피험자들은 지시를받을 때 큐가 나타나는 쪽을 표시하고 실수없이 가능한 한 빨리 반응하도록 검지 또는 가운데 손가락을 누르라는 지시를 받았습니다. 3 개의 해적 만화 이미지 중 하나가 1000 msec에 대한 중앙 고정의 왼쪽 또는 오른쪽에 임의 순서로 표시되었습니다 (참조 그림 1). 2000 msec 지연 후 대상에게 고정 양쪽에 두 개의 보물 상자 (2000 msec)의 응답 프롬프트가 표시되고 해적이 고정의 왼쪽에 있거나 오른쪽 검지로 버튼을 누르도록 지시했습니다. 해적이 고정의 오른쪽에 있다면 오른쪽 가운데 손가락. 다른 2000 msec 지연 후, 보상 유형 (만화 코인) 또는 빈 보물 상자가 해당 시험 유형의 보상 확률에 따라 화면 중앙 (1000 msec)에 표시되었습니다. 다음 시험이 시작되기 전에 12 초의 시험 간격 (ITI)이있었습니다.

  

그림 1

작업 디자인

보상 확률 조건에는 33 %, 66 % 및 100 % 보상 확률의 세 가지가 있습니다. 33 % 조건에서, 대상은 시험의 33 %에 대해 보상을 받았으며, 그 조건에서 시험의 다른 66 %에 대해서는 보상 (빈 보물 상자)이 발생하지 않았다. 66 % 조건에서, 대상체는 시험의 66 %에 대해 보상을 받았으며, 시험의 다른 33 %에 대해서는 보상이 발생하지 않았다. 100 % 조건에서 대상은 모든 올바른 시험에 대해 보상을 받았습니다.

피험자들은 연구 참여에 대해 $ 50를 보장 받았으며, 과제의 성과 (반응 시간 및 정확도에 의해 색인화 됨)에 따라 최대 $ 25를 더 많이 벌 수 있다고 들었습니다. 자극은 MR 스캐너의 보어 내에서 LCD 비디오 디스플레이 및 광섬유 응답 수집 장치를 사용하여 통합 기능 이미징 시스템 (IFIS) (PST, 피츠버그)으로 제시되었다.

실험은 5 회의 18 시행 (6 각 33 %, 66 % 및 100 % 보상 가능성 시험 유형)으로 구성되었으며, 각각 6 min 및 8가 지속되었습니다. 각 실행에는 각 보상 확률에 대한 6 시행이 무작위 순서로 표시되었습니다. 각 경기가 끝날 무렵, 주제는 그 달리기 동안 벌어 들인 돈에 대해 업데이트되었습니다. 실험을 시작하기 전에, 대상체는 사용 된 자극에 대한 친숙 함을 포함하고 작업 이해를 보장하기 위해 실습을 수행하는 상세한 지시를 받았다. 그들은 단서와 금전적 결과 사이에 관계가 있다고 들었지만 그 관계의 정확한 성격은 밝혀지지 않았습니다.

결과

행동 데이터

작업에 대한 보상 확률 및 시간의 효과는 평균 반응 시간 (RT)의 종속 변수에 대한 3 (33 %, 66 %, 100 %) x 5 (1–5 실행) 반복 측정 분산 분석 (ANOVA)으로 테스트되었습니다. ) 및 평균 정확도.

작업에 대한 보상 확률 (F [2,22] =. 12, p <.85) 시간 (F [4,44] = 2.02, p <.14) 또는 보상 확률 X 시간의 주 효과 또는 상호 작용이 없었습니다. 평균 정확도에 대한 작업 (F [8, 88] = 1.02, p <.41). 이는 참가자의 정확도가 실험의 모든 확률에 대해 상한 수준에 근접함에 따라 예상되었습니다 (33 % 조건 = 97.2 %; 66 % 조건 = 97.5 %; 100 % 조건 = 97.7 %).

평균 RT에 대한 보상 확률과 작업 시간 (F [8,88] = 3.5, p <.01) 사이에는 유의 한 상호 작용이 있었지만 작업 시간의 주 효과는 없었습니다 (F [4,44] = .611 , p <0.59) 또는 보상 확률 (F [2,22] = 2.84, p <0.08). 유의 한 상호 작용에 대한 사후 t 테스트는 실험의 후기 시도 (실행 33) 동안 100 % 및 5 % 보상 확률 조건간에 유의 한 차이가 있음을 보여주었습니다 (t (11) = 3.712, p <.003), 100 % 조건 (평균 = 498.30, sd = 206.23)에 비해 33 % 보상 확률 조건 (평균 = 583.74, sd = 270.23)에 대한 평균 RT가 더 빠릅니다.

100 %와 33 % 조건 사이의 평균 반응 시간 차이는 초기 시험에서 늦은 시험으로 두 배 증가했습니다 (참조) 그림 2a). 학습을 더 보여주기 위해 실험 종료시 33 % 및 100 % 조건에 대한 보상 확률을 전환하여 반전을 도입했습니다. 후기 시험에 대한 2 (확률) X 2 (반전 및 비 반전) 분산 분석은 RT에서 1,11 % 확률 조건으로 RT가 감소하면서 유의 한 상호 작용 (F (18.97) = 0.001, p = 33)을 나타 냈습니다. 반전에서 비 반전 (평균 = 583.74, sd = 270.24) 및 100 % (평균 = 519.89, sd = 180.46) (그림 2b).

  

그림 2

행동 결과 (RT)

이미징 결과

1 차 예측 인자로서 보상 확률을 사용하는 올바른 시험을위한 GLM은 대상이 보상의 피드백을 받거나받지 않는 지점에서 모델링되었다 (즉, 결과). 이 분석은 NAcc의 영역 (x = 9, y = 6, z = -1 및 x = −9, y = 9, z = −1) 및 OFC (x = 28, y = 39, z = −)를 식별했습니다. 6) (참조 그림 3a, b). 보상 형 시험과 비보 상형 시험의 베타 가중치 사이의 사후 t- 테스트는 보상을 위해이 두 지역 모두에서 더 큰 활성화를 보여주었습니다 (NAcc : t (11) = 3.48, p <0.01; OFC x = 28, y = 39, z = −6, t (11) = 3.30, p <0.02)¹.

  

그림 3

a) 핵 축적 (x = 9, y = 6, z = −1; x = −9, y = 9, z = −1) 및 b) 궤도 전두 피질 (x = 28, y = 39, z = −6).

두 가지 간헐적 보상 일정 (33 % 및 66 % 확률)에 대해 두 가지 가능한 결과 (보상 또는 무 보상)가 있었고, 비교 조건으로 사용 된 연속 보상 일정 (100 % 보상 확률)에 대해 하나의 결과 만있었습니다. 위에서 설명한 OFC에서 보상의 주요 효과 (보상 대 보상 시도 없음)가있는 반면, OFC 활동은 현재 연구에서 보상 확률의 함수로 변하지 않았습니다 [F (2,10) = 0.84, p = 0.46). . 대조적으로, NAcc는 보상 확률 조작 [F (2,10) = 9.32, p <0.005]의 함수로서 결과에 대한 활동에서 뚜렷한 변화를 보였다. 특히, NAcc 활동은 예상 (33 % 기준 조건)에 비해 예상치 못한 (100 % 보상 확률 조건) 보상 결과로 증가했습니다 [t (11) = 2.54, p <.03 참조 그림 4a]. 둘째, 예상하지 않았거나받지 못한 보상 (66 % 보상 확률 조건; t (33) = 59, p <.2.08; 참조 그림 4b). 33 % 및 66 % 보상 확률 조건 [t (11) =. 510, p = .62] 또는 66 % 및 100 % 보상 확률 조건 [t (11) = 사이에는 활성화에 큰 차이가 없었습니다. 보상 결과에서 1.20, p = .26]. 보상 결과 및 확률의 함수로서 MR 신호는 그림 4.

  

그림 4

MR 신호 백분율은 보상 결과 및 핵 축적의 확률에 따라 a) 보상 및 b) 보상되지 않은 결과로 변경됩니다.

토론

이 연구는 이전에 보상 결과를 예상하는 데 관여 한 것으로 보이는 accumbens 및 궤도 전두 피질 (OFC)의 행동 및 신경 활동에 대한 예상 보상 결과 위반의 영향을 조사했습니다 (McClure 외 2004; Knutson 등, 2005). 우리는 보상되지 않은 시험과 비교하여 보상 된 시험 중에 핵 축적과 OFC가 모두 모집되었다는 것을 보여 주었지만, 본 연구에서 예측 된 보상 결과에서 핵 축적은 위반에 민감성을 나타냈다. OFC에 상대적인 가치 (예 : 규모)에 대한 보상에 대한 축적의 민감도는 이전 연구에서 보여졌다 (Galvan et al 2005), 이러한 결과를 통해이 영역이 보상 규모와 확률의 계산에 관여 할 수 있음을 알 수 있습니다. 이러한 조작에 대한 OFC의 민감도 부족은 결과의 보상 또는 모호성을보다 절대적으로 표현할 수 있습니다 (Hsu 등, 2005). 대안 적으로,이 지역에서 MR 신호가 더 다양하기 때문에, 이러한 효과는 현재 연구에서 약화되었을 수 있습니다.

동물의 전기 생리 학적 연구에서, 중뇌 (핵핵에 투영되는)의 도파민 뉴런은 예측 된 보상 결과 (확률 = 1.0)에 거의 반응하지 않는 것으로 나타 났지만, 보상이 100 미만으로 전달 될 때 위상 발화를 보여줍니다 광범위한 훈련 후에도 확률 % (Fiorillo 등, 2003). 현재의 연구에서, 우리는 보상이 예상치 (33 % 조건)와 일치했을 때 (100 % 조건) 이러한 결과와 일치했을 때 보상하기 위해 더 많은 누적 활동을 보여 주었다. 또한, 동물에서 도파민 뉴런의 전기 생리 학적 연구 (예 : Fiorillo 등, 2003)는 보상이 예측되었지만 발생하지 않은 시험에서는 뉴런 활동이 감소한 것으로 나타났습니다. 현재의 연구는 66 % 조건과 비교하여 33 % 보상 확률 조건에 대한 보상되지 않은 시험에서이 영역에서의 활동이 감소한 것과 같이 아큐 벤에서 유사한 패턴을 보여주었습니다.²

도파민 뉴런은 두 가지 방식으로 학습에 연루되어있다. 먼저, 그들은 예상 (위반)의 위반을 감지하는 예측 오류 신호를 통해 자극 (또는 응답)과 결과 사이의 우연성을 인코딩합니다 (슐츠 등, 1997; Mirencowicz 및 Schultz, 1998; Fiorillo 등, 2003). 따라서, 예측 오차는 처음에 기술 된 학습 원리에 대응하는 교시 신호를 제공하는 것으로 보인다 레스 콜라와 바그너 (1972). 둘째, 그들은 행동 반응을 변경하는 역할을합니다 (슐츠 등, 1997; McClure 등, 2004) 행동이 가장 예측 가능한 단서쪽으로 편향되도록합니다. 현재의 연구에서, 우리는 실험의 후기 시험에 의해 가장 최적의 성능이 가장 높은 보상 확률 (100 % 보상 확률)을 갖는 조건에서 가장 낮고 가장 낮은 확률 조건 (33 % 보상 확률)으로 가장 최적의 성능을 보여줍니다. 이 행동 결과는 보상 결과의 확률이 가장 낮은 최적의 성능을 보여주는 이전 확률 연구와 일치하여 보상 우발성이 시간이 지남에 따라 배웠다는 것을 암시합니다 (Delgado 등, 2005). 학습을 더 보여주기 위해 실험 종료시 33 % 및 100 % 조건에 대한 보상 확률을 전환하여 반전을 도입했습니다. 이러한 조작은 이러한 조건들 사이의 차이를 약화시켜 학습 효과를 더욱 확증시켰다.

보상 관련 연구의 주요 목표는 보상이 어떻게 영향을 미치고 행동에 치우치는지를 결정하는 것입니다 (예 : 로빈스와 에버릿, 1996; 슐츠, 2004) 기본 신경 처리를 특징 짓는 것 외에도. 강화 일정을 포함하여 행동에 영향을 미치는 빠르고 강력한 보상에 많은 요소가 기여합니다.스키너, 1958), 보상 가치 (Galvan 등, 2005) 및 보상 예측 성 (Fiorillo 등, 2003; Delgado 등, 2005). 보상의 규모와 확률의 곱인 기대 값 (Pascal, ca 1600)은 행동 선택에 영향을 미칩니다 (폰 프리쉬, 1967; Montague 등, 1995; 몬 태규 (Montague)와 번스 (Berns), 2002). 결과 (확률 대신 크기) 만 현재 연구와 다른 매우 유사한 작업을 사용하여 핵 축적은 이산 보상 값에 민감하다는 것을 보여주었습니다.Galvan 등, 2005). 여기와 다른 곳에서 제시된 증거와 함께 (Tobler et al., 2005), 복부 선조가 보상 확률과 크기에 대한 민감도를 고려하여 예상 보상 값의 계산에 기여할 가능성이 있다고 제안합니다.

보상 예측에서 궤도 전두 피질의 역할은이 영역의 기능적 세분과 일치합니다. 크 링겔 바흐 앤 롤 (2004). 그들은 OFC의 더 많은 앞 부분과 중간 부분이 추상 보상 조작에 민감하다고 제안합니다. 이 연구에서 OFC 활성화는이 일반적인 위치에서 관찰되었다. 전기 생리 학적 연구는 OFC가 보상 자극의 주관적 가치를 코딩하는데 연루되어 있음 오 도허티, 2004). 예를 들어, OFC 뉴런은 동물이 배가 고프면 특정 맛으로 발사되지만, 동물이 만족하고 음식의 보상 가치가 떨어지면 발사 속도를 줄입니다 (크리 탈리 앤 롤스, 1996). 따라서 다른 사람들은 OFC가 상대 보상에 가장 민감하다고 제안했습니다.Tremblay와 Schultz, 1999) 및 보상 선호도 (슐츠 등, 2000). Neuroimaging 연구는 맛을 포함하여 다양한 자극을 가진 인간의 유사한 패턴을 보여주었습니다.오 도허티 등, 2001; 크 링겔 바흐 (Kringelbach) 등, 2003), 후각 (앤더슨 등, 2003; 롤스 외, 2003) 및 돈 (엘리엇 외, 2003; Galvan 등, 2005), 각 활성화는 전방에서 후방으로 그리고 중간에서 측면으로 OFC의 활동 위치가 다양하다. OFC는 보상에 대한 기대와 관련이 있습니다 (O'Doherty 외 2002)이지만 반응의 예측 값이 특정 값과 연결되어있는 경우에만 가치 해당 보상이 발생할 확률이 아니라 관련 보상의오 도허티, 2004 ). 현재의 연구에서는 OFC의 보상 예측 위반에 대한 민감도를 보지 못했습니다. Knutson 및 동료 (2005) 근심 전전두엽 피질에서의 보상을 예상하여 확률 추정치와 뇌 활성화 사이의 상관 관계를보고 함Knutson et al 2005)이지만 궤도 전두엽 피질에서는 구체적으로 나타나지 않습니다. 대조적으로 Ramnani 등 (2004 ) 수동적 인 관찰 작업을 사용하여 내측 궤도 전두 피질에서 긍정적 예측 오류에 대한 OFC 민감도를보고 Dreher et al. (2005) 예측 단서의 확률과 크기를 모두 조작하는 작업에서 OFC 오류 예측을보고했지만 이러한 우발성을 스캔하기 전에 배웠습니다. 따라서 OFC가 예측 된 보상을 계산할 수는 있지만 여전히 이러한 계산은 NAcc에서 발생하는 것으로 보이는 정확한 계산에 비해 더 조잡하거나 (즉, 확률 범위에 대해 합산) 느리게 형성 될 수 있습니다. 대안 적으로,이 영역은 다음에 의해 제안 된 바와 같이 불확실하고 /하거나 모호한 값의 자극을 검출하는데 더 민감 할 수있다. Hsu et al (2005)보상 예측에서 위반을 감지 할 때보 다 Hsu et al (2005) 선택의 모호성 수준 (정보 누락으로 인한 불확실한 선택)은 OFC의 활성화와 긍정적 인 상관 관계가 있음을 보여줍니다. 마지막으로,이 지역에서 MR 신호의 변동성이 클수록 이러한 영향을 감지하는 능력이 저하 될 수 있습니다.

현재 연구의 근본적인 문제는 accumbens와 OFC가 어떻게 예측하지 않은 결과 (예상 한 기대치)와 비교하여 보상 결과를 차등 적으로 예측했는지에 관한 것이었다. 보상 확률을 파라 메트릭 방식으로 조작하고 각 확률 보상 조건에 대한 보상 및 비 보상 시험에 대한 신경 반응을 조사했습니다. 우리의 데이터는 이전의 인간 이미징 및 비인간 전기 생리 학적 연구와 일치합니다 (Fiorillo 등, 2003; 슐츠, 2002) 및 accumbens 및 OFC는 보상 결과 (보상 여부)에 민감 함을 제안합니다. 그러나 이러한 영역, 특히 어 큐벤 (accumben)에서의 활동은 시간이 지남에 따라 학습으로 형성되는 보상 결과의 가능성에 대한 예측에 의해 조정되는 것으로 보입니다. 이 동적 인 활성화 패턴은 예측 된 보상에 대한 정보가 학습되고 업데이트 될 때 이들 영역 내에서 또는 이들 영역으로 투영되는 도파민 활성의 변형을 나타낼 수있다.

각주

참고자료