학습과 동기 부여를위한 해리 성 도파민 동역학 (2019)

복부 피막 영역 (VTA)에서 축핵 (NAc)으로의 도파민 투영은 보상 및 보상 중심 학습을위한 동기 부여에 중요합니다. 도파민이 두 기능을 어떻게 지원하는지는 명확하지 않습니다. 도파민 세포 스파이 킹은 적응 행동의 계산 이론에서 중요한 학습 신호 인 예측 오류를 인코딩 할 수 있습니다. 대조적으로, 동물이 보상에 접근함에 따라 도파민 방출이 증가하여 보상 기대치를 반영합니다. 이러한 불일치는 행동 작업의 차이, 도파민 세포 스파이 킹의 느린 변화 또는 스파이크 독립적 인 도파민 방출 조절을 반영 할 수 있습니다. 여기에서 우리는 확인 된 VTA 도파민 세포의 스파이크를 동일한 의사 결정 작업에서 NAc 도파민 방출과 비교합니다. 다가오는 보상을 나타내는 단서가 급증과 해제를 모두 증가 시켰습니다. 그러나 NAc 코어 도파민 방출은 VTA 도파민 세포 스파이 킹에 상응하는 변화없이 동적으로 진화하는 보상 기대치와 공변했습니다. 우리의 결과는 도파민 방출이 뚜렷한 기능을 달성하기 위해 어떻게 조절되는지에 대한 근본적인 차이를 시사합니다. 방송 버스트 신호는 학습을 촉진하는 반면 로컬 제어는 동기를 유발합니다.

도파민은 유명하게 '보상'과 관련이 있습니다. 그러나 얼마나 정확합니까? 하나의 기능은 예기치 않은 보상으로부터 배우는 것입니다. 도파민 세포 발사의 짧은 증가 인코딩 보상 예측 오류 (RPE)^1,2,3— 미래의 동기 행동을 최적화하기위한 학습 신호. 도파민 조작은 마치 RPE를 변경하는 것처럼 학습에 영향을 줄 수 있습니다^4,5,6도파민 신호가 기대 (가치)를 보상하는 것처럼 동기 부여 된 행동에도 즉시 영향을 미칩니다.⁵. 또한, NAc 도파민은 도파민 인코딩 값과 일치하는 동기 부여 접근법 동안 증가합니다.^7,8,9,10,11.

몇 가지 예외가 있습니다^2,12,13, 중뇌 도파민 발사는 머리 고정 동물에서 고전적인 컨디셔닝 동안 검사되었습니다^3,14전뇌 도파민 방출과 달리. 따라서 동일한 조건에서 발사와 방출을 비교했습니다. 우리는 optogenetic 태그를 사용 하여 VTA 도파민 뉴런을 식별^3,13. NAc 도파민 방출을 측정하기 위해, 우리는 3 가지 독립적 인 방법, 즉 미세 투석, 전압 전류 법 및 광학 센서 dLight를 사용했습니다¹⁵집중적 인 결과. 우리의 주요 결론은 RPE- 규모 VTA 도파민 스파이크 버스트가 학습에 적합한 도파민 방출의 급격한 변화를 제공하지만, 동기 부여와 관련된 별도의 NAc 도파민 변동은 VTA 도파민 세포 발사와 독립적으로 발생한다는 것이다.

우리는 쥐를 '산적'작업으로 훈련시켰다⁵ (무화과. 1a, b). 각 시험에서 코를 찌르는 포트 ( 'Light-on')의 조명은 접근과 진입 ( '센터 인')을 촉발했습니다. 가변 유지 기간 (0.5–1.5 초) 후, 백색 소음 ( 'Go cue')으로 인해 쥐가 물러나고 ( 'Centre-out') 인접한 포트를 찌릅니다 ( 'Side-in'). 보상 시험에서이 사이드 인 이벤트에는 쥐가 설탕 펠릿을 수집하기 위해 음식 포트 ( 'Food-port-in')에 접근하도록 유도하는 음식 호퍼 클릭이 수반되었습니다. 왼쪽 및 오른쪽 선택은 각각 독립적 인 확률로 보상을 받았으며 때때로 경고없이 변경되었습니다. 쥐가 보상을받을 가능성이 높을수록 작업을 수행하려는 동기가 더 높아졌습니다. 이것은 Light-on과 Centre-in 사이의 시간 인 '대기 시간'에서 분명했습니다.-이는 이전의 몇 번의 시도 결과에 민감했습니다 (확장 데이터 그림. 1)에 따라 보상률에 반비례합니다 (그림. 1b).

a산적 작업 이벤트. b, 예제 세션. 맨 위 행, 각 블록의 보상 확률 (왼쪽 : 오른쪽); 행 1, 틱은 각 시도의 결과를 나타냅니다 (키가 높음, 보상 됨, 짧음, 보상 없음). 행 XNUMX, 누수 적분기의 보상률 추정치 (검은 색) 및 실행 평균 지연 시간 (청록색, 역 로그 스케일); 맨 아래 줄, 동일한 세션에서 NAc 코어 도파민 (XNUMX 분 샘플). DA, 도파민. c, 전두엽 피질 및 선조체의 상부 미세 투석 위치 (확장 데이터 그림 참조). 1). n = 51 마리 쥐의 12 개의 프로브 위치, 각 세션 사이에 2 개의 미세 투석 프로브가 있습니다. 막대 색상은 도파민과 보상률 간의 상관 관계를 나타냅니다. ACC, 전방 대상 피질; dPL, 등쪽 전연 피질; vPL, 복부 전연 피질; IL, 적외선 피질; DMS, 등쪽 중간 선조체. 도파민과 보상률 사이의 중간 평균 교차 상관도. 빨간색 막대는 셔플 된 시계열의 99 % 신뢰 구간을 나타냅니다. 하단, 신경 화학 물질과 보상률 (다중 회귀) 간의 관계. NA, 노르 아드레날린; 5-HT, 세로토닌; ACh, 아세틸 콜린; GABA, γ- 아미노 부티르산; Glu, 글루타메이트; NM, 노르 메타 드레 날린; DOPAC, 3,4- 디 히드 록시 페닐 아세트산; 3-MT, 3- 메 톡시 티라민; HVA, 호모 바 닐산; 5-HIAA, 5- 히드 록시 인돌 아세트산. d보상 비율 (왼쪽), 대기 시간 (중간) 및 NAc 코어 도파민 (오른쪽)에 대한 블록 전환 효과. 전환은 숙련 된 보상률이 증가했는지 여부에 따라 분류되었습니다 (n = 25) 또는 감소 (n = 33). 데이터는 NAc 코어 도파민이 측정 된 14 개 세션 모두에서 가져온 것입니다 (쥐당 XNUMX 개, 새로운 데이터와 이전에보고 된 데이터를 결합).⁵ 동물), 평균 ± sem으로 플롯 e, 도파민과 보상률 사이의 상관 관계에 대한 합성지도 (n = 19 쥐, 33 세션, 58 프로브 배치). 이 그림의 뇌지도 개요는 2005 년 Paxinos와 Watson의 허가를 받아 재현되었습니다.⁵¹.

전체 크기 이미지

우리는 이전에보고⁵ mesolimbic dopamine의 동기 부여 역할과 일치하는 NAc 도파민 방출과 보상률 사이의 상관 관계¹⁶. 여기, 우리는 먼저 '전역 적으로 방송 된'도파민 신호와 일치하는이 목표가 뇌의 목표를 통해 관찰되는지를 결정하는 것을 목표로했다.¹⁷또는 특정 하위 지역으로 제한됩니다. 우리는 이러한 구조가 뚜렷한 도파민 흡수-분해 동역학을 가지고 있기 때문에 이러한 도파민 역학은 선조체와 피질 사이에서 다를 것이라고 가설을 세웠다¹⁸ 독특한 기능을 위해 도파민을 사용할 수 있습니다^19,20.

고성능 액체 크로마토 그래피-질량 분석법 (HPLC-MS)으로 미세 투석을 사용하여 내측 전두엽 피질과 선조를 조사했습니다 (그림. 1c확장 데이터 1). 우리는 동시에 21- 분 시간 분해능으로 1 신경 전달 물질과 대사 산물을 분석하고, 회귀를 사용하여 화학 시계열을 행동 변수와 비교했습니다 (확장 데이터 그림. 2).

우리는 다른 신경 전달 물질과는 대조적으로 보상율과 NAc 도파민 간의 상관 관계를 복제했다 (그림. 1c, d). 그러나,이 관계는 NAc 코어에 국한되었으며 NAc 쉘 또는 등쪽 선조에는 없었다. 우리의 가설과는 반대로, 우리는 정면 피질에서 비슷한 공간 패턴을 관찰했다 : 도파민 방출은 복부 전두 피질에서의 보상율과 상관 관계가 있지만, 더 많은 등쪽 또는 복부 소구역에서는 그렇지 않다 (그림. 1c, e). 예기치 않은, 가치 관련 도파민 방출 의이 쌍둥이 '핫스팟'은 인간의 신경 이미징에 흥미로운 평행을 가지고 있습니다 : 혈액 산소 수준에 의존하는 신호는 주관적 가치, 특히 NAc 및 복부-중앙 전두엽 피질에서 상관 관계가 있습니다²¹.

우리는 다음이 동기 관련 forebrain 도파민 midbrain 도파민 세포의 가변 발사에서 발생 여부를 해결했다. NAc 코어는 VTA의 측면 부분으로부터 도파민 입력을 받는다 (VTA-1)^6,22,23. 헤드-고정 마우스에서, VTA-1 도파민 뉴런은 조절 된 자극에 대해 균일 한 RPE- 유사 반응을 갖는 것으로보고되었다³. VTA-1 도파민 세포를 기록하기 위해, 본 발명자들은 티로신 하이드 록 실라 제 (TH) 프로모터 하에서 Cre 재조합 효소를 발현하는 랫트에서 채널 로돕신 (AAV-DIO-ChR2)의 Cre- 의존적 발현을 위해 아데노-관련 바이러스 (AAV)로 VTA를 감염시켰다 (참조) 행동 양식). 대충 (그림. 2a, b)는 간단한 청색 레이저 펄스에 대한 단일 장치 반응을 기록했습니다 (그림. 2c확장 된 데이터 3, 4, 보충 그림 1). 우리는 안정적인 짧은 대기 시간 스파이크와 27 잘 격리 된 VTA-1 세포를 발견 하 고 도파민 뉴런으로 식별.

a, 왼쪽, 약 16-µm 직경의 광섬유가있는 200 개의 테트로드가있는 optrode 회로도. 오른쪽, 측면 VTA 내의 옵트로드 배치의 예입니다. 스케일 바, 1mm. 적색, 도파민 세포 마커 티로신 하이드 록 실라 제; 녹색, ChR2–EYFP; 노란색, 겹침. 모든 배치는 확장 데이터를 참조하십시오. 3. bVTA 도파민 세포 스파이크. 빨간색 막대는 각 버스트에서 감지 된 버스트와 스파이크 수를 나타냅니다 (참조 행동 양식). 스케일, 0.5 초, 0.5mV. c, 지속 시간이 증가하는 레이저 펄스에 대한 예시적인 뉴런 반응. d, 각 VTA 셀에 대한 세션 전체의 발사 속도 대 스파이크 폭 (최대 절반). 청색 태그가 붙은 도파민 세포; 자주색, 추정되는 비 도파민 뉴런의 별개의 군집. 삽입, 평균 파형의 예 (음의 전압 상승). e, 산적 작업 중 VTA 도파민 뉴런의 발사 속도 (파란색, 1 분 빈). 지연 시간 (청록색)은 보상 비율과 공변하지만 실행 비율은 그렇지 않습니다. f, 낮은 보상 대 높은 보상 속도 블록에서 모든 VTA 뉴런 (파란색, 도파민; 자주색, 비 도파민; 회색, 분류되지 않음)에 대한 발사 속도. 큰 차이는 없었 음 (1-min bin을 사용한 Wilcoxon 부호있는 순위 테스트, 모두 P > 0.05 다중 비교 수정 후). g도파민 세포 발사와 보상률 사이의 평균 상호 상관은 유의 한 관계가 없음을 보여준다. h, 블록 전이에서 도파민 소성 속도 분석 (그림. 1d). n = 보상이 95 개 증가하고 76 개가 감소합니다. i. 보상주기 간격 (ISI, 왼쪽)과 스파이크 버스트 (오른쪽)의 분포는 높은 보상률 블록과 낮은 보상 속도 블록간에 변경되지 않습니다 (Kolmogorov–Smirnov 통계 : ISI, 0.138, P = 0.92; 버스트, 0.165, P = 0.63).

전체 크기 이미지

모든 도파민 뉴런은 상대적으로 낮은 발화율 (평균 7.7Hz, 범위 3.7-12.9Hz로 긴장감이 활성화되었습니다. 도파민 세포와 함께 기록 된 모든 VTA-XNUMX 뉴런에 비해, P <0.001 단측 Mann–Whitney 테스트). 또한 더 긴 기간의 스파이크 파형 (P <5 × 10^{- 6}예외는 있었지만, 꼬리가 달린 Mann-Whitney 테스트). 2d), 이는 파형 지속 시간이 생체 내 도파민 세포의 불충분 한 마커임을 확인합니다.^3,24. VTA-1 뉴런의 별개의 군집 (n = 38, 동일한 세션에서) 짧은 파형과 더 높은 발사 속도 (> 20Hz, 평균 41.3Hz, 범위 20.1–97.1Hz)에는 태그가 지정된 도파민 세포가 포함되지 않았습니다. 우리는 이러한 더 빨리 발사되는 세포가 GABA 성 및 / 또는 글루타메이트 성이라고 가정합니다.^3,25아래의 '비 도파민'이라고합니다.

여러 행동 과제에 걸쳐 동일한 도파민 세포를 기록했습니다. VTA-1 도파민 세포는 무작위로 시간을 정한 음식 호퍼 클릭에 강하게 반응하였고, 이러한 클릭이 선행 단서에 의해 더 예측 가능할 때 점차 강하게 감소하지 않았다 (Extended Data Fig. 5). 이것은 Pavlovian 작업에서 도파민 세포에 의한 정식 RPE 유사 코딩과 일치합니다^2,3,26.

마취 된 동물의 증거를 바탕으로 미세 투석으로 측정 한 도파민 수치의 변화는 도파민 세포의 강 장성 발화 속도의 변화로 인해 발생한다고 이전에 주장 된 바 있습니다.²⁷ 및 / 또는 활성 대 비활성 도파민 뉴런의 비율²⁸. 그러나 적기 임무에서 각 시도 블록에서 강장제 도파민 세포는 보상률에 무관심했다 (그림. 2e, g). 상위 및 하위 블록 사이에서 개별 도파민 세포 또는 다른 VTA-1 뉴런의 발사 속도에는 유의 한 변화가 없었습니다 (그림. 2f, h; 참조를 참고하십시오. ²⁹ 머리 고정 마우스에서 일치하는 결과를 위해). 도파민 세포가 스파이크의 파열을 일으키는 속도의 전반적인 변화도 없었다 (그림. 2i). 또한, 도파민 세포가 활성 상태와 비활성 상태 사이에서 전환되는 것을 관찰하지 못했다. 비활성 (긴 스파이크 간격)에 사용 된 도파민 세포의 시간 비율은 매우 낮았으며, 더 높은 보상 블록과 낮은 보상 블록 사이에는 변화가 없었습니다 (그림. 2i).

VTA-NAc 도파민 투영의 해부 구조가 집중적으로 조사되었다^6,22,23그러나 발사와 출시 사이에 이러한 기능적 불일치가 발생 했으므로 VTA의 올바른 부분에서 기록하고 있음을 다시 확인했습니다. 역 행성 추적자 콜레라 독소 B (CTb)를 NAc 코어에 소량 주사하면 TH의 조밀 한 표지가 발생했습니다⁺ 우리의 광학 기록과 동일한 VTA-1 영역 내 뉴런 (확장 데이터 그림. 3). 근사 기록 영역 내에서 TH의 21 %⁺ 세포는 또한 CTb였다⁺트레이서 주사가 NAc 코어를 완전히 채우지 않았기 때문에 이것은 NAc 코어-투영 VTA-1 도파민 세포의 분율을 과소 평가하는 것으로 보인다. 따라서 우리의 샘플 n = 27 개의 태그가있는 VTA 도파민 세포 (및 더 많은 태그가 지정되지 않은 세포)는 거의 확실히 NAc 코어-투영 뉴런을 포함합니다. 마지막으로, 추가 쥐에서 우리는 AAV를 선택적으로 NAc 코어에 주입 한 후 두 개의 태그가 지정된 VTA-XNUMX 도파민 세포를 기록했습니다 (확장 데이터 그림. 3). 역행 감염된 두 세포 모두 다양한 보상률로 강장제 발사 변화의 부족을 포함하여 모든 측면에서 태그가 지정된 다른 도파민 세포와 매우 유사한 발사 패턴을 가졌습니다.보충 그림 1). 우리는 강장제 VTA-1 도파민 세포 발사의 변화가 뇌 도파민 방출의 동기 부여 관련 변화에 대해 책임이 없다는 결론을 내린다.

NAc 도파민 방출이 일부 이론에서 제안 된 것처럼 보상율 자체를 추적합니까?³⁰, 또는이 상관 관계는 미세 투석으로 해결하기에는 너무 빠른 도파민 방출의 동적 변동에 의해 유발됩니까? 우리는 전압 전류 데이터를 기반으로 후자의 가능성을 주장했습니다.⁵그러나, 다른 시간 척도에 걸쳐있을 수있는 독립적 인 도파민 방출 측정을 사용하여 확인을 찾았다. 유전자 인코딩 된 광학 도파민 지표의 dLight1 스위트는 원형 순열 된 GFP를 도파민 D1 수용체에 삽입함으로써 조작되었다¹⁵. 도파민의 결합은 형광의 매우 특이적인 증가를 일으킨다 (그림. 3a). AAV를 NAc에 주입하여 dLight1.1 (3 마리의 쥐로부터 4 개의 검증 된 NAc 배치) 또는보다 밝은 변형 dLight1.3b (4 마리의 쥐로부터 6 개의 검증 된 NAc 배치)를 발현시키고 섬유 광도법에 의해 형광을 모니터링 하였다. VTA 도파민 세포 소성과 유사하게 Pavlovian 보상 예측 단서에 대한 명확한 NAc 도파민 반응을 관찰 하였다 (확장 데이터 그림. 5).

adLight1.3b의 형광 반응. 삽입, 도파민의 적정 (n = 15 개의 관심 영역 (ROI)) 및 노르 아드레날린 (n = 9). 주요 인물, 목욕시 적용되는 신경 전달 물질 (모두 n = 12 개의 ROI). 그의, 히스타민. b, 표준화 된 NAc dLight1.3b 신호 (1- 분 빈)를 포함한 샘플 적기 세션. c, dLight 신호는 블록 전환으로 변경됩니다. n = 35 개 보상률 증가, 45 개 감소. d, dLight와 보상률의 상호 상관. e, 음영 부분의 가까이보기 b. 화살표 : 검정색, 중앙 코 안쪽; 연한 빨간색, Side-in (보상); 하늘색, 사이드 인 (보상 없음); 진한 빨간색, Food-port-in (보상); 진한 파란색, Food-port-in (보상 없음). 다음 행 : 보상률의 누수 적분기 추정; 저해상도 dLight (1 분) 고해상도의 dLight (50Hz, 녹색, XNUMX 포인트 중앙값 필터링, 검은 색); 모델 상태 값 (청록색); 및 RPE (마젠타). 여러 번의 보상되지 않은 시험 후, 시험 초기의 상태 값이 낮고 보상 전달은 긍정적 인 RPE를 불러 일으키고 도파민의 급격한 증가를 수반합니다. 연속적인 보상 시험은 RPE를 감소 시키지만 도파민의 증가와 함께 상태 가치를 증가시킵니다. f짧은 타임 스케일 상호 상관은 dLight와 값 사이의 밀접한 관계 및 RPE와의 더 작은 관계를 보여줍니다. g, 모델 변수와 서로 다른 지연을 가진 dLight 간의 시험 내 상관 관계; 값과 RPE에 대한 상관 관계는 약 0.3 초 ​​후에 dLight에 가장 강합니다. h, 모든 세션에서 최대 상관 관계는 RPE 또는 보상률보다 가치에 대해 더 컸습니다.

전체 크기 이미지

적기 임무를 위해, 우리는 먼저 1-min bin에서 dLight 신호를 검사했다 (그림. 3b미세 투석과 비교. 우리는 교차 상관과 블록 전이 분석에서 NAc 도파민 방출과 보상률 사이의 명확한 관계를 다시 보았다. 3c, d). 다음으로이 관계가 어떻게 발생하는지 더 자세히 조사했습니다. dLight 신호는 몇 분의 시간 단위로 천천히 변하지 않고 각 시험 내에서 그리고 각 시험 사이에서 매우 역동적 인 변동을 나타 냈습니다 (그림. 3e). 이러한 변동을 순간 학습 상태 모델 및 강화 학습 모델 (Semi-Markov 의사 결정 프로세스)에서 추정 한 RPE와 비교했습니다.⁵). 전압 전류 법을 사용하여 이전에보고 된 바와 같이⁵순간 순간 NAc 도파민은 상태 값과 강한 상관 관계를 보였다 (도. 3f), 보상이 예상 될 때 시험 내에서 증가한 것으로 보입니다 (그림. 3e). 또한 RPE (아래 설명)와 일치하는 보상 제공이 줄어든 일시적인 증가를 보았습니다. 모든 dLight 세션에서 도파민은 RPE 또는 보상률보다 값과 더 강한 상관 관계를 나타 냈습니다 (그림. 3h확장 데이터 6). 상태 값 및 RPE와의 상관 관계는 신호 및 센서 응답 시간의 신경 처리로 인한 짧은 지연과 일치하여 ~ 0.3 초 ​​후 dLight 신호와 관련하여 최대였습니다 (그림 XNUMXb). 3g; 전압 전류 법으로 0.4–0.5 초의 지연을보고했습니다.)⁵.

다음으로 도파민 세포 발사를 비교하고 산적 작업 이벤트를 중심으로 릴리스합니다. Light-on, Go cu 및 외부 사이드 인 (음식 호퍼 클릭)에서의 외부 자극은 각각 빠른 발사 증가를 일으켰습니다 (그림. 4a). 이러한 반응은 대다수의 도파민 세포에서 관찰되었다 (도. 4c), 다른 큐에 대한 반응의 상대적인 크기는 셀마다 다릅니다 (보충 그림 1). NAc dLight 신호는 또한 각각의 두드러진 신호에 빠르고 안정적으로 반응했습니다 (그림. 4b, c), 도파민 방출을 유도하는 도파민 세포의 버스트 연소와 일치한다.

a, VTA-1 도파민 세포의 이벤트-정렬 된 활성. 하나의 대표적인 셀을위한 스파이크 래스터; 하단, 평균 스파이크 속도 (n = 29). 모든 패널에서 오차 대역은 ± sem을 나타냅니다. b, 이벤트 정렬 NAc dLight. 정상 대표 세션; 하단, 평균 (n = 10), 최고 보상 사이드 인 응답으로 정규화되었습니다. 이 그림 전체에서 dLight 신호는 센터 인 2 초 전에 끝나는 1 초 '기준'에포크를 기준으로 표시됩니다. Center-in 및 Food-port-in 직전에 증가 (화살표)를 참고하십시오. c도파민 세포 (고체; n = 29), dLight (점선; n = 10), 큐 발생 이후 증가 (기준선 대비 셔플 테스트, 10,000 회 셔플, P <0.01, 다중 비교 수정). Light-on의 경우 1 초 미만의 대기 시간 만 포함됩니다. Side-in 전용 보상 평가판. 중간 지연 시간 (시그 모이 드 맞춤에서) : Light-on, 발사 152 ms, dLight 266 ms; Go cue, 발사 67 ms, dLight 212 ms; 사이드 인, 발사 85 ms, dLight 129 ms. 비 도파민 세포는 일반적으로 신호 발생에 무관심했습니다 (Extended Data Fig. 8). d, 뚜렷한 큐 유발, 접근 관련 도파민 방출. 상단, 평균 도파민 셀 소성 (n = 29); 중간, 평균 dLight (n = 10); 하단, 전압 전류 법 (n = 6), 최대 짧은 대기 시간 Light-on 응답으로 정규화되었습니다. 왼쪽 패널, 대기 시간 <1 초, 오른쪽, 대기 시간> 2 초. 데이터는 Light-on (실선) 또는 Center-in (점선)에 정렬됩니다. 빨간색 점선, 중간 지연 시간. 더 긴 대기 시간의 경우 Centre-in 근처에서 발사가 증가하지 않지만 dLight 및 voltammetry는 현저한 증가를 보여줍니다. e, Light-on에 정렬 된 피크 신호를 비교하는 산점도 (y 축) 또는 센터 인 (x 중심선). 각 셀에 대해 세션 연결 선은 고유 한 지연 시간 범위 (<1 초,> 2 초)에 대한 데이터를 나타냅니다. 도파민 발사 (위)는 짧은 지연 시간 시험 (양방향 분산 분석 (ANOVA), 정렬 × 지연 상호 작용, F = 7.47, P = 0.0008). dLight (중간), voltammetry (하단) 신호는 지속적으로 Center-in (dLight에 대한 양방향 ANOVA : 정렬 × 지연 상호 작용, F = 9.28, P = 0.0043). f, 접근 중에 도파민이 증가하고 램프 각도로 정량화 됨 (참조 행동 양식). 원은 개별 도파민 세포 (n = 29), dLight 세션 (n = 10).

전체 크기 이미지

또한 쥐가 시작 포트 (센터-인 직전) 및 음식 포트 (푸드-포트-인 직전에)에 접근함에 따라 NAc 도파민 방출이 명백히 증가하는 것을 보았다. 이것은 동기식 접근 거동이 NAc 코어 도파민의 급격한 증가를 동반한다는 것을 보여주는 광범위한 전압 전류 법 문헌과 잘 맞습니다.^{5,7,8,9,10,11}. 그러나, VTA-1 도파민 세포 집단은이 시점에서 상응하는 발사 증가를 나타내지 않았다 (도. 4a; 확장 데이터 참조 7 비 도파민 세포를 포함한 추가 비교).

단서 유발 및 접근과 관련된 도파민 활동을 더 잘 분리하기 위해 짧은 지연 시간 (<1 초)과 긴 지연 시간 (> 2 초)으로 임상 시험을 분리했습니다 (그림. 4d, e). 짧은 대기 시간 시험을 위해 우선적으로 도파민 세포 발사의 증가가 Light-on에서 큐 시작에 일관되게 고정되었다. Light-on 이후에 현저한 소성 속도 증가를 가진 모든 25 도파민 셀은 Centre-in보다 Light-on에 더 잘 정렬되었습니다 (그림. 4e). 대조적으로, 센터-인 이전에 NAc 도파민 방출의 증가는 신호 유발 도파민 방출과 구별되었다 (도. 4d, e). dLight 신호는 도파민 발사의 증가없이 긴 대기 시간 시험 (10 회 세션 중 10 회) 및 푸드 포트 인 (10 회 세션 중 9 회)에서 센터 인 이전에 지속적으로 증가했다 (그림. 4f).

마지막으로, 이벤트 관련 도파민 신호가 최근 보상 내역에 어떻게 영향을 미치는지 고려했습니다. 각 시험의 초기 단계에서 도파민 세포 소성은 보상률에 의존하지 않았다 (그림. 5a), 보상률이 동기에 미치는 영향에도 불구하고 (그림. 5b). 결과적으로 Side-in의 보상 신호에 대한 위상 적 반응은 보상률이 낮을 때 안정적으로 더 강해졌습니다 (그림. 5a), 긍정적 인 RPE 인코딩과 일치합니다. 이 보상 신호가 생략되면, 도파민 세포는 집단 수준에서 검사 여부에 상관없이 음성 RPE의 인코딩이 훨씬 약하거나 부재하더라도 발사를 멈추었다. 5a, b) 또는 개별 셀 (Extended Data Fig. 8). 이전에 음성 RPE가 도파민 일시 중지 기간에 인코딩된다는 제안이있었습니다.³¹그러나 이것은 2 개의 개별 뉴런 중 29 개에서만 관찰되었습니다. 시험 기반 강화 학습 모델 (actor-critic 및 Q-learning)을 포함하여 보상 기대치를 다른 방법으로 추정하거나 단순히 최근 보상을 계산하여 (Extended Data Fig. 8).

a, 탑, 도파민 세포의 평균 발사 속도 (n = 29) Side-in에 정렬, 보상 비율 (terciles, 각 셀에 대해 별도로 계산 됨)별로 분류. Side-in 이전에는 활동이 보상 기대치에 의존하지 않습니다. 사이드 인 후 보상 (빨간색) 및 보상되지 않은 (파란색) 평가판은 별도로 표시됩니다. 보상률이 낮을 때 음식 클릭 반응이 더 강하고 긍정적 인 RPE 인코딩과 일치합니다. 하단, 매 순간 보상률에 따라 크게 달라지는 발사 속도를 가진 개별 도파민 세포의 일부 (셔플 테스트, P <0.01, 다중 비교 수정). 상단의 눈금 표시는이 분수가 우연보다 훨씬 높았던 시간을 나타냅니다 (이항, P <0.01). Side-in 후에는 음의 상관 관계, 즉 잠재적 RPE 코딩 만 테스트됩니다. b, 회귀 도표는 기록 된 도파민 세포와의 세션에 대한 플롯을 나타내며, (로그) 대기 시간 (최상위) 및 도파민 스파이 킹에 대한 최근 보상 이력의 영향을 보여줍니다. 별표는 상당한 회귀 가중치를 나타냅니다 (t-테스트, P <0.05). Go cue 전 0.5 초 동안 (쥐가 시험을 진행하기 위해 꾸준한 코 찌르기를 유지해야하는 동안) 도파민 스파이 킹은 보상 내역 (중간)의 영향을받지 않습니다. 결과가 공개되면 (하단, 사이드 인 후 0.5 초 동안 활동의 최고 또는 최저 평가), 보상 된 시험에 대해서만 변경됩니다. c, d, dLight (피크 사이드 인 응답으로 정규화 됨)를 제외하고 위와 동일합니다. 도파민 릴리스는 Side-in 이전에도 보상 속도로 안정적으로 확장됩니다.

전체 크기 이미지

Side-in에서 도파민 방출은 양성 RPE의 명백하고 일시적인 암호화를 보여 주었지만 음성 RPE는 그렇지 않았다 (도. 5c, d). 이 dLight 응답은 발사 및 재 흡수에 걸리는 시간과 일치하여 발사와 비교하여 약간 지연되고 연장되었습니다.³²그러나 1 초 미만의 현상이 남아있었습니다. 그러나 발사와 달리, 각 시도의 초기에 dLight 신호는 최근의 시도가 보상되었을 때 더 컸습니다 (그림. 5c), 가치 코딩과 일치합니다. 우리는 쥐가 활발히 움직이지 않았지만 Go 큐를 기다리는 동안 중앙 포트에서 코를 찌르는 동안에도 보상 내역에 대한 의존성을 관찰했습니다. 5d). 전반적으로, 본 발명자들은 NAc 도파민 방출이 큐 유발 반응 및 보상 기대 둘 모두를 반영하고, 전자 만이 VTA-1 도파민 세포 발사에 의해 잘 설명 될 수 있다고 결론 지었다.

VTA-1은 NAc 코어에 우세한 도파민 공급원을 제공한다^6,23,24. NAc 코어로 돌출하는 세포를 포함하여 VTA-1 도파민 세포는 일관되게 RPE- 인코딩 버스트를 표시한다^3,12. VTA 파열은 NAc 도파민을 운전하는데 특히 중요하다고 생각된다³²실제로 큐에서 유발 된 VTA 버스트가 NAc 릴리스와 일치 함을 발견했습니다. 그러나, 본 발명자들은 또한 긴 (토닉) 또는 짧은 (페이즈) 타임 스케일에서 VTA-1 도파민 세포의 소성에 의해 생성되지 않은 NAc 도파민 방출의 값-관련 패턴을 추가로 발견 하였다. 다른 도파민 하위 집단은 뚜렷한 신호를 전달할 수 있습니다^13,33,34, 그리고 우리는 여기에서 기록되지 않은 도파민 세포 하위 집단의 발사가 NAc 코어에서 가치 관련 도파민을 생성 할 가능성을 배제 할 수 없습니다. 그러나 가치 관련 소성은 광범위한 연구에서 도파민 세포에 대해보고 된 적이 없습니다. 우리의 결과는 NAc 도파민 역학이 서로 다른 시간에 서로 다른 기능에 대해 서로 다른 방식으로 제어되고 도파민 세포를 기록하는 것이 중요하지만 도파민 신호를 이해하는 데 충분하지 않음을 시사합니다.³⁵.

도파민 터미널로부터의 방출은 로컬의 스파이 킹이 아닌 메커니즘에 의해 강력한 영향을받습니다^{36,37,38,39,40}. 예를 들어, VTA 스파이 킹이 약리학 적으로 억제되는 경우에도 NAc 도파민 방출은 기저 측 편도에 의해 조절된다^41,42. 수십 년 동안 도파민 방출의 국소 적 제어는 도파민 세포 스파이 킹의 기능과는 다른 기능을 달성 할 수 있다는 것이 알려져왔다^36,43그러나 이것은 도파민의 이론적 견해에 포함되지 않았다. 뚜렷한 선조 소구역은 다양한 유형의 결정에 기여하며 필요에 따라 자체 도파민 방출에 영향을 줄 수 있습니다⁴⁴. 도파민 방출의 이러한 제어가 어떻게 국부 화 될 수 있는지는 아직 결정되지 않았습니다. 우리가 도파민 방출을 측정 한 세 가지 방법이 공유하는 한 가지 제한은 모든 샘플이 최소 3 µm의 공간적 규모로 샘플링된다는 점입니다. 반면 생체 내 현미경은 도파민 방출이 상당히 작은 규모에서 이질적 일 수 있음을 시사합니다.¹⁵.

우리의 결과 도파민의 동기 부여 효과 중재 할 수있는 별도의 강장제 도파민 신호의 존재를 지원하지 않습니다. 대신, 천천히 측정하면 (미세 투석으로) 느리게 나타나는 도파민 이동이 빠르게 측정되면 (볼타 메 트리 또는 dLight로) 급격한 변동으로 해결됩니다. 또한, 자신과 다른 사람에 의해 식별 된 VTA 도파민 세포의 기록³⁰ 아이디어에 대한 강력한 증거를 제공²⁹ 강장 도파민 세포 발사의 변화는 도파민 방출의 강장제 변화를 유발합니다. 병변이나 약물 조작으로 강장제 발화를 변경할 수 있지만²⁸, 우리는 행동 과제에서 해고율의 지속적인 변화를 인식하지 못합니다. 발사는 동기 부여와 관련된 이벤트가 예상되는 동안 약 1 초의 시간 척도로 아래로 감소 할 수 있습니다.^45,46. 그러나, 이러한 감소는 보상 기대로 도파민 방출을 높이는 데 필요한 것과 반대이며, 일시적인 일시적인 부정적 예측 오류와 더 유사합니다.⁴⁷. 지속적인 보상률을 인코딩하는 지속 신호가 계산적으로 유용 할 수 있지만³⁰대신, 도파민은 빠르게 변동하는 에러 및 값 신호를 제공한다. 지속적인 신호가 후속 단계에서 도파민 수용체의 하류 세포 내 신호 전달 경로에 의해 계산 될 수있다.

쥐가 보상에 접근함에 따라 많은 그룹이 도파민 방출을 증가시키는 것을 관찰했습니다^{5,7,8,9,10,11}, 증가하는 보상 기대치를 인코딩하는 것과 일치합니다. 일부는 이러한 도파민 램프가 쥐가 빠르게 가치를 잊어 버린다고 가정하여 단순히 RPE를 반영한다고 주장했습니다.⁴⁸ 또는 뒤틀린 상태 표현 세트가 있음⁴⁹. 이 후자의 아이디어는 업데이트 된 보상 기대치에 기초하여 시험에서 시험으로 램핑이 신속하게 조정되고, 연속적인 보상의 짧은 시퀀스 내에서 강해지고 큐에 대한 RPE와 같은 반응은 약해진다는 우리의 관찰에 의해 뒷받침되지 않습니다 (그림. 3e). 보다 일반적으로, 도파민이 RPE (학습 신호)만을 전적으로 전달하는 이론은 진행중인 mesolimbic dopamine과 동기 간의 매우 잘 확립 된 연관성을 설명 할 수 없다¹⁶. NAc 코어는 조건부 자극에 대한 고도로 훈련 된 반응에 필요하지 않지만, 보상을 얻기 위해 시간이 많이 걸리는 작업을 수행하기로 결정할 때 특히 중요합니다⁵⁰. NAc 코어 도파민은 시간과 노력을 할당하는 것이 얼마나 가치가 있는지에 대한 필수적인 동적 신호를 제공하는 것으로 보입니다.^5,44이 신호는 VTA 도파민 세포 소성에 존재하지 않지만.

동물

모든 동물 절차는 University of Michigan 또는 University of California San Francisco Institutional Committees on Use and Care of Animals의 승인을 받았습니다. 수컷 쥐 (300–500g, 야생형 Long-Evans 또는 TH-Cre⁺ 오랜 경험을 바탕으로⁵²)를 역 12 : 12 라이트 : 다크 사이클에서 유지하고 다크 단계 동안 테스트 하였다. 래트는 약간의 음식이 박탈되었고, 작업 수행 동안 얻은 음식 보상 이외에 매일 15 g의 표준 실험실 래트 차우를 받았다. 샘플 크기 사전 계산은 수행되지 않았습니다. 실험자들은 실험 및 결과 평가 동안 할당에 대해 눈을 멀게하지 않았다.

행동

사전 훈련 및 테스트는 이전에 설명한대로 각각 25 홀 노즈-포크 벽이있는 컴퓨터 제어 Med Associates 작동 챔버 (가장 넓은 지점에서 30cm × XNUMXcm)에서 수행되었습니다.⁵. 산적 작업 세션은 다음과 같은 매개 변수를 사용했습니다. 블록 길이는 35-45 시험이며 각 블록에 대해 임의로 선택되었습니다. Go 큐가 500-1,500 ms (균일 분포) 이전의 유지 기간; 왼쪽-오른쪽 보상 확률은 10, 50 및 90 % (전기 생리학, 광도법, 전압 전류 법 및 이전에보고 된 미세 투석 쥐의 경우)⁵) 또는 20, 50 및 80 % (새로보고 된 미세 투석 쥐).

현재 보상률은 시간 기반 누설 통합기를 사용하여 추정되었습니다.⁵³. 보상을받을 때마다 보상률이 증가하고 매개 변수에 의해 설정된 비율로 지수 적으로 감소합니다. τ (보상 비율이 ~ 63 % 감소하는 시간, 즉 1−1 / e). 모든 분석에 대해 τ 쥐의 행동에 기초하여 선택되었으며, 각 세션에서 보상률과 로그 (대기 시간) 사이의 (음수) 상관 관계를 최대화합니다. 전뇌 도파민과 보상률의 상관 관계는 이러한 선택에 크게 민감하지 않았다. τ (확장 데이터 그림. 1).

블록 전환을 보상률에서 '증가'또는 '감소'로 분류하기 위해 블록의 마지막 5 분의 평균 누수 적분기 보상률을 후속 블록의 첫 번째 8 분의 평균 보상율과 비교했습니다.

전기 생리학 및 광도 측정에 사용 된 쥐는 세션 내내 집안 조명이 켜진 동일한 작동 챔버에서 Pavlovian 접근 작업을 수행했습니다. 2 개의 청각 신호 (5kHz, 9kHz 및 100kHz)는 서로 다른 음식 전달 확률과 관련이있었습니다 (쥐에 걸쳐 균형 잡힌). 큐는 총 50 초 동안 톤 핍 (2.6ms 켜짐, 500ms 꺼짐)의 기차로 재생 된 후 15ms의 지연 기간이 이어졌습니다. 단서 및 예측되지 않은 보상 전달은 다양한 시험 간 간격 (30-XNUMX 초, 균일 한 분포)을 사용하여 의사 랜덤 순서로 전달되었습니다.

미세 투석

수술실

래트는 피질 및 선조에서 안내 캐뉼라 (CMA, 830 9024)로 양측으로 이식되었다. 한 그룹 (n = 8) 예비 및 적외선 피질을 표적으로하는 하나의 가이드 캐뉼라 (전후 (AP) +3.2 mm, 중측 (ML) 브레 그마에 대해 0.6 mm; 및 배쪽 (DV) 뇌 표면 아래 1.4 mm) 및 또 다른 표적화 등쪽 선조체 및 축핵 반대쪽 반구 (AP +1.3, ML 1.9 및 DV 3.4)에서. 두 임플란트는 주둥이-꼬리면을 따라 서로 5도 각도로 기울어졌습니다. 두 번째 그룹 (n = 4) 전방 대상 피질 (AP +1.6, ML 0.8 및 DV 0.8)을 표적으로하는 하나의 가이드 캐뉼라와 다른 목표로하는 축척 (AP +1.6, ML 1.4 및 DV 5.5에서 반대쪽 반구의 코어 / 쉘)을 받았습니다 (n = 2) 또는 AP +1.6, ML 1.9 및 DV 5.7 (n = 2). 임플란트 측면은 쥐 전체에서 균형을 이루었습니다. 재 훈련 전에 동물을 XNUMX 주일 동안 회복시켰다.

화학

이동상을위한 물, 메탄올 및 아세토 니트릴은 VWR (Radnor)에서 구입 한 Burdick & Jackson HPLC 등급이었습니다. 다른 모든 화학 물질은 달리 명시되지 않는 한 Sigma Aldrich에서 구입했습니다. 145 mM NaCl, 2.68 mM KCl, 1.40 mM CaCl로 구성된 인공 뇌척수액 (aCSF)₂, 1.01 mM MgSO₄, 1.55 mM Na₂HPO₄ 및 0.45 mM NaH₂PO₄NaOH로 pH를 7.4로 조정 하였다. 아스코르브 산 (250 nM 최종 농도)을 첨가하여 분석 물의 산화를 감소시켰다.

시료 수집 및 HPLC-MS

실험 당일, 집안 조명이 켜진 상태로 동물을 수술실에 두었다. 맞춤형 동심 폴리 아크릴로 니트릴 막 미세 투석 프로브 (1-mm 투석 AN69 막; Hospal)를 가이드 캐뉼라에 양측으로 삽입하고 400 분 동안 2 µl / min 동안 aCSF로 연속적으로 관류 (Chemyx, Fusion 90)하여 평형을 허용했습니다. 5-min 기준선 수집 후 하우스 라이트가 꺼지고 동물에게 적기 작업 가용성을 알립니다. 1- 분 간격으로 샘플 수집을 계속하고 샘플을 즉시 유도체 화했습니다.⁵⁴ 1.5 µl 탄산나트륨, 100 mM; 1.5 µl 벤조일 클로라이드 (아세토 니트릴 중 2 % (v / v) 벤조일 클로라이드); 및 1.5 % (v / v) 황산을 함유하는 50 % (v / v) 아세토 니트릴에 희석하고 중수 소화 ACh 및 콜린 (C / D / N 동위 원소)을 첨가하여 최종 농도 1이되도록 20 µl 동위 원소 표지 된 내부 표준 혼합물 nM. 샘플 시리즈 수집은 30 개 세션 각각에서 26 초 간격으로 두 프로브 사이를 번갈아 가며, 단 하나의 세션에서 파손 된 멤브레인으로 인해 시리즈가 51 개 (총 2.1 개 샘플 시리즈)되는 경우를 제외합니다. 샘플은 Thermo Scientific UHPLC 시스템 (HESI II ESI 프로브가 장착 된 Quantum Ultra 삼중 사중 극자 질량 분석기에 인터페이스 된 Accela 또는 Vanquish Horizon)을 사용하여 분석되었으며, 다중 반응 모니터링에서 작동했습니다. 100 마이크로 리터 샘플을 Phenomenex core-shell biphenyl Kinetex HPLC 컬럼 (10mm x 0.15mm)에 주입했습니다. 이동상 A는 450 % 포름산을 함유 한 0mM 포름산 암모늄이었고 이동상 B는 아세토 니트릴이었다. 이동상은 다음과 같이 0.01 µl / min에서 용출 구배를 전달했습니다 : 초기, 19 % B; 1 분, 26 % B; 1.5 분, 75 % B; 2.5 분, 100 % B; 3 분, 100 % B; 3.1 분, 5 % B; 3.5 분, 5 % B; 100,000 분, XNUMX % B. Thermo Xcalibur QuanBrowser (Thermo Fisher Scientific)를 사용하여 피크를 자동으로 처리하고 통합했습니다. > XNUMX 개 피크 각각을 개별적으로 시각적으로 검사하여 적절한 통합을 확인했습니다.

Analysis

모든 신경 화학 농도 데이터는 3 점 이동 평균으로 평활화되었습니다 (y′ = [0.25 × (y−1) + 0.5y + 0.25 × (y+ 1)]) 및 z-세션 간 비교를 용이하게하기 위해 각 세션 내에서 정규화 된 점수. 각 대상 지역에 대해 각 세션에 대해 교차 상관도를 생성하고 세션의 평균을 플로팅했습니다. 하나의 시계열을 100,000 번 섞고 각 세션에 대한 상관 계수 분포를 생성하여 각 서브 플롯에 대해 0.05 % 신뢰 경계를 생성했습니다. MATLAB의 회귀 함수를 사용하여 여러 회귀 모델을 생성했으며, 신경 화학을 결과 변수로 사용하고 행동 메트릭을 예측 자로 사용했습니다. 회귀 계수는 다중 비교를위한 Bonferroni 보정 후 0.0005 개의 알파 수준 (0.000005, 21 및 7)에서 유의 한 것으로 결정되었습니다 (알파 / (화학 물질 9 개 x 영역 3 개 x 행동 회귀 변수 XNUMX 개)). 블록 전환 분석을 위해 데이터는 XNUMX 분 epoch로 비닝되어 전환 시간이 포함 된 샘플을 버렸습니다.

전기 생리학

쥐n = 25)는 16μm 광섬유의 측면에 접착되고 광섬유 팁 아래로 최대 12.5μm까지 확장되는 200 개의 테트로 데 (500μm 니크롬 와이어, Sandvik으로 구성)로 구성된 맞춤형 설계 구동 가능한 옵트로드로 이식되었습니다. 같은 수술 동안, 우리는 1 µl AAV2 / 5-EF1a-DIO-ChR2 (H134R) -EYFP를 측면 VTA (AP 5.6, ML 0.8, DV 7.5) 또는 NAc 코어 (AP 1.6, ML 1.6, DV 6.4)에 주입했습니다. . Intan 디지털 헤드 스테이지를 사용하여 광대역 (1–9,000Hz) 뇌 신호를 샘플링했습니다 (초당 30,000 개 샘플). Optrodes는 각 기록 세션이 끝날 때 최소 80 µm 낮추었습니다. 개별 단위는 MountainSort의 MATLAB 구현을 사용하여 오프라인으로 격리되었습니다.⁵⁵ 신중한 수동 검사가 뒤따 랐습니다.

분류

분리 된 VTA-1 유닛이 도파민 성인지를 식별하기 위해 (TH⁺), 우리는 자극 관련 대기 시간 테스트를 사용했습니다⁵⁶. 간단히 말해서, 각 실험 세션이 끝날 때, 우리는 광학 다이오드를 레이저 다이오드에 연결하고 다른 폭과 주파수의 광 펄스 트레인을 전달했습니다. 장치가 빛에 반응하는 것으로 식별 되려면 장치의 중요도에 도달해야합니다. P 0.001ms 및 5ms 펄스 트레인의 경우 <10. 또한 빛을 유발하는 파형 (레이저 펄스 발생 10ms 이내)을 세션 전체 평균과 비교했습니다. 모든 빛 유발 단위는> 0.9의 피어슨 상관 계수를 가졌습니다. 도파민 뉴런은 VTA-657 AAV 주입 (IM1, 1002 유닛; IM3, 1003 유닛; IM15, 1037 유닛; IM9, 1078 유닛)과 NAc 코어 AAV (IM-2, 20 유닛)가있는 200 마리의 쥐로부터 성공적으로 기록되었습니다. . 피크 폭은 정렬 된 평균 스파이크 파형에서 가장 눈에 띄는 네거티브 구성 요소의 최대 폭에서 절반으로 정의되었습니다. 세션 전체 발사 속도가> XNUMXHz이고 피크 폭이 XNUMXμs 미만인 태그가 지정되지 않은 VTA 뉴런은 비 도파민 세포로 분류되었습니다. 동일한 하위 영역 내에서 도파민과 비 도파민 세포를 비교했는지 확인하기 위해 적어도 하나의 광학적으로 태그가 지정된 도파민 세포를 사용하여 세션 중에 기록 된 비 도파민 세포 만 분석했습니다.

Analysis

스파이크 버스트는 기존의 '80 / 160 템플릿'접근 방식으로 감지되었습니다.⁵⁷: 80ms 이하의 스파이크 간 간격이 발생할 때마다 이러한 스파이크와 후속 스파이크는 160ms 이상의 간격이 될 때까지 버스트의 일부로 간주됩니다. '토닉'발사와 보상률을 비교하기 위해 도파민 스파이크는 1 분 빈으로 계산되었습니다. 더 빠른 변화를 조사하기 위해 스파이크 밀도 함수는 분산이 20ms 인 가우스 커널을 사용하여 스파이크 트레인을 컨 볼빙하여 구성했습니다. 뉴런이 주어진 큐에 얼마나 빨리 반응하는지 확인하기 위해, 우리는 40ms 빈 (20ms 단위로 슬라이딩)을 사용하고 각 시간 빈에 대해 셔플 테스트 (10,000 셔플)를 사용하여 큐 시작 후 발사 속도와 발사 속도를 비교했습니다. 큐 직전의 250ms. 큐 후 발사 속도가 상당히 높은 첫 번째 빈 (P <0.01, 다중 비교에 대한 수정) 기준선 발사보다 더 큰 반응을 큐 응답 시간으로 간주했습니다.

최대 발사 속도는 보상 된 시험을 위해 나란히 놓인 후 250-ms 창에서 각 시도의 최대 (가우스 평활) 발사 속도로 계산되었으며, 밸리는 2-s 창에서 최소 발사 속도로 계산되었습니다. 보상받지 않은 재판을 위해 옆으로 한 후 1 초.

접근 방식 중 램프 각도를 계산하기 위해 50-ms Gaussian 커널로 평균 발사 속도를 완화하고 각 이벤트 (중심 또는 식품 포트 입력) 전에 0.5-s 창에서 결과 신호의 최대 / 최소를 감지했습니다. )와 두 극단을 연결하는 부호있는 각도를 측정했습니다. '높은'보상과 '낮은'보상 블록의 발사 속도를 비교하기 위해 각 세션에 대해 각 블록에서 평균 누설 통합 보상 보상의 중간 분할을 수행했습니다.

전압 전류 법 및 계산 모델

여기에 표시된 고속 스캔 순환 전압 전류 결과는 이전에 자세하게 제시된 데이터를 재분석합니다⁵. 상태 값 및 보상 예측 오류에 대한 평가판 내부 평가는 반 마코프 의사 결정 프로세스 강화 학습 모델을 사용하여 이전에 설명한대로 정확하게 계산되었습니다.⁵.

광도계

우리는 유전자 암호화 광학 도파민 센서 dLight를 표현하기 위해 바이러스 접근을 사용¹⁵. 이소 플루 란 마취하에 AAV1-CAG-dLight 9μl (1 × 10¹² ml 당 바이러스 게놈; UC Davis 벡터 코어)는 복부 선조체의 100μm 유리 마이크로 피펫을 통해 양측 (AP : 30mm, ML : 1.7mm, DV : -1.7mm)을 통해 천천히 (7.0nl / min) 주입되었습니다 (Nanoject III, Drummond). 동일한 수술 중에 금속 페룰 (Doric)에 부착 된 광섬유 (400μm 코어, 총 직경 430μm)를 삽입하고 (목표 깊이는 AAV보다 200μm 높음) 제자리에 접합했습니다. dLight 발현을 허용하기 위해> XNUMX 주 후에 데이터를 수집했습니다.

dLight 여기의 경우 파란색 (470nm) 및 보라색 (405nm, 제어) LED는 서로 다른 주파수 (각각 211Hz 및 531Hz)에서 정현파 변조되었습니다.⁵⁸). 미니 큐브 필터 (Doric) 및 벌크 형광을 통과 한 여기 및 방출 신호는 모두 2151kHz에서 펨토 와트 검출기 (Newport, 모델 10) 샘플링으로 측정되었습니다. 복조는 별도의 470nm (도파민) 및 405nm (제어) 신호를 생성 한 다음 최소 제곱 맞춤을 통해 서로 재조정되었습니다.⁵⁸. 분수 형광 신호 (dF/F)는 (470–405_fit) / 405_fit로 정의되었습니다. 모든 분석에서이 신호는 50Hz로 다운 샘플링되고 470 포인트 중앙값 필터로 평활화되었습니다. 405nm 및 XNUMXnm 신호를 개별적으로 표시하려면 확장 데이터를 참조하십시오. 7.

광섬유 팁이 NAc에 있는지, 광섬유 팁 배치에 대한 데이터가 분석에 포함되었으며, 적어도 하나의 작업 큐에 대한 형광 반응은 z-점수> 1. 이러한 기준은 1065 마리의 쥐를 제외하고 dLight1066에 대해 1089 마리의 쥐 / 1.1 개의 배치 (IM1088- 왼쪽, IM1105- 양측, IM1106- 오른쪽) 및 1107 개의 쥐 / 1.3 개의 배치 (IM1.1- 양측, IM1.3- 오른쪽, IMXNUMX- 양측, IMXNUMX- 오른쪽) dLightXNUMXb 용. dLightXNUMX 및 dLightXNUMX에 대해서도 유사한 결과가 얻어졌습니다 (Extended Data Fig. 7)이므로 데이터가 결합되었습니다.

접근 동작 중 램프 각도를 계산하기 위해 각 이벤트 (중앙 입력 또는 음식 포트 입력) 전에 0.5-s 창에서 결과 신호의 최대 / 최소를 감지하고 두 극단을 연결하는 부호있는 각도를 측정했습니다.

dLight1.3b의 친화도 및 분자 특이성

상기 한 바와 같이 시험 관내 측정을 수행 하였다¹⁵. 요약하면, HEK293T (ATCC CRL # 1573) 세포를 배양하고 CMV 프로모터에 의해 구동 된 dlight1.3b를 코딩하는 플라스미드로 형질 감염시키고 Ca가 보충 된 HBSS (Life Technologies)로 세척 하였다²⁺ (4mM) 및 Mg²⁺ (2mM) 이미징 전에. 40 nm / 710 nm (여기 / 방출) 파장을 갖는 반전 된 Zeiss Observer LSN488 공 초점 현미경에서 513x 유성 대물 렌즈를 사용하여 이미징을 수행했습니다. 센서의 형광 반응을 테스트하기 위해 신경 전달 물질을 최소 두 번의 독립적 인 실험에서 타임 랩스 이미징 중에 욕조에 직접 적용했습니다. 도파민과 노르 아드레날린의 적정은 100 가지 다른 농도를 달성하기 위해 1 배 연속 희석을 수행하여 얻었습니다. 다른 모든 신경 전달 물질은 세 가지 순차적 인 농도 (10 nM, 1 µM 및 XNUMX µM)에서 테스트되었습니다. 모든 신경 전달 물질 농도는 신선하게 준비된 HBSS의 XNUMXmM 스톡 농도에서 희석하여 얻었습니다. 저속 촬영 영상에서 얻은 원시 형광 강도는 피지에서 정량화되었습니다. 각 ROI는 개별 세포의 막에 수동으로 그려졌습니다. 형광 배 변화 (ΔF/F)는 다음과 같이 계산되었습니다. F 피크 (XNUMX 개 프레임의 평균 형광 강도)- F 기본 (리간드를 첨가하기 전에 4 개의 프레임의 평균 형광 강도) /F 기초. GraphPad Prism 6를 사용하여 그래프 및 통계 분석을 수행 하였다. 데이터 포인트를 얻기 위해 1- 사이트 특이 적 결합 곡선 적합으로 분석 하였다 K_d 가치. 상자와 수염 그림에서 상자는 25 % ~ 75 % 범위를 포함하며 수염은 최소값에서 최대 값으로 확장됩니다.

보고 요약

연구 설계에 대한 추가 정보는 자연 연구보고 요약 이 논문에 링크되어 있습니다.

이 연구에 사용 된 AAV.Synapsin.dLight1.3b 바이러스는 Addgene (No. 125560; http://www.addgene.org). 모든 데이터는 Colaborative Research in Computational Neuroscience 데이터 공유 웹 사이트 (https://doi.org/110.6080/K0VQ30V9).

커스텀 MATLAB 코드는 요청시 JDB에서 구할 수 있습니다

발행자 참고 사항 : Springer Nature는 게시 된지도 및 기관 제휴에서 관할권 주장과 관련하여 중립적입니다.

우리는 P. Dayan, H. Fields, L. Frank, C. Donaghue 및 T. Faust에게 원고의 초기 버전에 대한 의견에 대해 감사의 말을 전하고 V. Hetrick, R. Hashim 및 T. Davidson에 기술 지원 및 조언을 제공했습니다. 이 연구는 미국 약물 남용 연구소, 정신 건강 연구소, 신경 장애 및 뇌졸중 연구소, 앤아버 미시간 대학교 및 샌프란시스코 캘리포니아 대학교의 지원을 받았습니다.

검토 자 정보

자연 이 연구에 대한 동료 평가에 기여한 Margaret Rice와 다른 익명의 검토 자에게 감사합니다.

저자 노트

1. 이 저자들은 동등하게 기고했습니다 : Ali Mohebi, Jeffrey R. Pettibone

제휴

1. 캘리포니아 대학교 신경과, 샌프란시스코, 샌프란시스코, 캘리포니아

   • 알리 모 헤비
   • , Jeffrey R. Pettibone
   •  & Joshua D. Berke

2. 미국 RI RI 프로비던스 브라운 대학교 신경 과학과

   • 아리프 A. 하미드

3. 미국 미시건 앤아버 미시간 대학교 화학과

   • 제니 마리 Wong
   •  & 로버트 T. 케네디

4. 캘리포니아 대학교, 신경 과학 대학원 프로그램, 샌프란시스코, 샌프란시스코, 캘리포니아

   • 리아 티 빈슨
   •  & Joshua D. Berke

5. 캘리포니아 대학교 의과 대학 생화학 및 분자 의학과, 미국 캘리포니아 주 데이비스

   • 톰 마소 Patriarchi
   •  & Lin Tian

6. Weill Institute of Neurosciences 및 Kavli Fundamental 신경 과학 연구소, 캘리포니아 대학교, 샌프란시스코, 샌프란시스코, 미국

   • 조슈아 디 버크

포스트

AM은 전기 생리학 및 광도법을 수행하고 분석하고 계산 모델을 적용했습니다. JRP는 J.-MTW의 도움과 RTKAAH의 감독으로 미세 투석을 수행하고 분석하여 행동 과제와 초기 광도 측정 설정을 개발하고 전압 전류 측정을 수행했습니다. LTV는 역행 추적 및 분석을 수행했습니다. TP와 LT는 dLight 센서를 개발하고 전문 지식을 공유했습니다. JDB는 연구를 설계하고 감독했으며 원고를 썼습니다.

경쟁 관심

저자는 경쟁적 이익을 선언하지 않습니다.

교신 저자

에 대한 서신 조슈아 디 버크.