Dianica disociabilă a dopaminei pentru învățare și motivație (2019)

https://www.nature.com/articles/s41586-019-1235-y

Abstract

Proiecția dopaminei din zona tegmentală ventrală (VTA) până la nucleul accumbens (NAc) este esențială pentru motivația de a lucra pentru recompense și învățare bazată pe recompense. Nu este clar modul în care dopamina susține ambele funcții. Spikarea celulelor dopaminice poate codifica erori de predicție, care sunt semnale vitale de învățare în teoriile computaționale ale comportamentului adaptativ. În schimb, eliberarea de dopamină crește pe măsură ce animalele se apropie de recompense, reflectând așteptările recompensei. Această nepotrivire ar putea reflecta diferențele în sarcinile comportamentale, schimbările mai lente în creșterea celulelor dopaminei sau modularea independentă a vârfului de eliberare a dopaminei. Aici comparăm depășirea celulelor de dopamină VTA identificate cu eliberarea de dopamină NAc în aceeași sarcină de luare a deciziilor. Indiciile care indică o recompensă viitoare au crescut atât în ​​creșterea cât și în eliberare. Cu toate acestea, eliberarea dopaminei de bază a NAc a acoperit, de asemenea, cu așteptări de recompensă în evoluție dinamică, fără modificări corespunzătoare în creșterea celulelor dopaminei VTA. Rezultatele noastre sugerează o diferență fundamentală în modul în care este reglementată eliberarea de dopamină pentru a realiza funcții distincte: semnalele de emisie în rafală promovează învățarea, în timp ce controlul local stimulează motivația.

Principal

Dopamina este legată de "recompensă" - dar cum exact? O funcție implică învățarea din recompense neașteptate. Creșterea rapidă a erorilor de predicție a recompensării cu celule dopamice (RPE)1,2,3- semnale de informare pentru optimizarea comportamentului motivat viitor. Operațiile cu dopamină pot afecta învățarea ca și cum ar modifica RPE4,5,6, dar ele afectează, de asemenea, comportamentele motivați imediat, ca și cum semnalele de dopamină așteaptă recompensa (valoare)5. În plus, dopamina NAc crește în timpul abordării motivaționale, în concordanță cu valoarea codificării dopaminei7,8,9,10,11.

Cu câteva excepții2,12,13, arderea dopaminei la miezul miezului a fost examinată în timpul condiționării clasice la animalele fixate la cap3,14, spre deosebire de eliberarea dopaminei din creierul anterior. Prin urmare, am comparat arderea cu eliberare în aceleași condiții. Am identificat neuronii dopaminei VTA folosind etichetarea optogenetică3,13. Pentru a măsura eliberarea dopaminei NAc, am utilizat trei metode independente - microdializa, voltammetria și senzorul optic dLight15- cu rezultate convergente. Concluzia noastră primordială este că, deși exploziile de vârf ale dopaminei cu scală RPE asigură schimbări abrupte în eliberarea dopaminei adecvate pentru învățare, fluctuațiile NAc separate ale dopaminei asociate cu motivația apar independent de arderea celulelor dopa VTA.

Motivația de urmărire a dopaminei în loci-cheie

Am instruit șobolanii într-o sarcină de "bandit" operant5 (Fig. 1a, b). La fiecare probă, iluminarea unui port de tip nas-poke („Light-on”) a determinat apropierea și intrarea („Center-in”). După o perioadă de reținere variabilă (0.5-1.5 s), zgomotul alb („Go cue”) a determinat șobolanul să se retragă („Center-out”) și să arunce un port adiacent („Side-in”). În cadrul unor teste recompensate, acest eveniment Side-in a fost însoțit de un clic de tip food-hopper care a determinat șobolanul să se apropie de un port alimentar („Food-port-in”) pentru a colecta o peletă de zahăr. Opțiunile spre stânga și spre dreapta au fost fiecare recompensate cu probabilități independente, care s-au schimbat ocazional fără avertisment. Când șobolanii aveau mai multe șanse să primească recompense, erau mai motivați să îndeplinească sarcina. Acest lucru a fost evident în „latența” lor - timpul dintre Light-on și Center-in-care a fost sensibilă la rezultatul studiilor anterioare (datele extinse Fig. 1) și astfel scalată invers cu rata de recompensă (Fig. 1b).

Fig. 1: Covari cu eliberare de dopamină cu rată de recompensă specifică în nucleul NAc și în cortexul prelimbic ventral.
figure1

a, Evenimente Bandit-task. b, Exemplu de sesiune. Rândul superior, recompensați probabilitățile în fiecare bloc (stânga: dreapta); rândul doi, căpușele indică rezultatul fiecărui proces (înalt, recompensat; scurt, neremunerat); rândul trei, estimarea integratorului de scurgere a ratei de recompensă (neagră) și media de funcționare a latenței (cian; scara jurnalului inversat); rândul de jos, dopamina nucleului NAc în aceeași sesiune (probe de 1 min). DA, dopamină. c, Top, locații de microdializă în cortexul frontal median și striatum (vezi și Date extinse Fig. 1). n = 51 de locații de sondă de la 12 șobolani, fiecare cu 2 sonde de microdializă care au fost reduse între sesiuni. Culoarea barei indică corelația dintre dopamină și rata recompensei. ACC, cortex cingulat anterior; dPL, cortexul prelimbic dorsal; vPL, cortexul prelimbic ventral; IL, cortex infralimbic; DMS, striatum dorsal-medial. Corelogramele încrucișate medii între dopamină și rata recompensei. Barele roșii indică un interval de încredere de 99% din seriile temporale amestecate. Partea de jos, relațiile dintre neurochimice și rata de recompensă (regresie multiplă). NA, noradrenalină; 5-HT, serotonină; ACh, acetilcolină; GABA, acid γ-aminobutiric; Glu, glutamat; NM, normetadrenalină; DOPAC, acid 3,4-dihidroxifenilacetic; 3-MT, 3-metoxitiramină; HVA, acid homovanilic; 5-HIAA, acid 5-hidroxiindoleacetic. d, Efectul tranzițiilor de bloc pe rata de recompensă (stânga), latența (mijlocul) și dopamina nucleară NAc (dreapta). Tranzițiile au fost clasificate în funcție de creșterea ratei de recompensă cu experiență (n = 25) sau scăzut (n = 33). Datele provin din toate cele 14 sesiuni în care a fost măsurată dopamina nucleică NAc (una pe șobolan, combinând date din cele noi și raportate anterior5 animale), și reprezentat grafic ca medie ± sem e, Hărți compuse ale corelațiilor dintre dopamină și rata de recompensă (n = 19 șobolani, 33 de sesiuni, 58 de plasări de sondă). Schițele atlasului cerebral din această figură au fost reproduse cu permisiunea lui Paxinos și Watson, 200551.

Am raportat anterior5 o corelație între eliberarea de dopamină NAc și rata de recompensă, în concordanță cu rolul motivator al dopaminei mezolimbice16. Aici, am încercat mai întâi să determinăm dacă această relație este observată pe tot parcursul țintelor creierului, în concordanță cu semnalarea dopaminei "transmise global"17, sau este limitat la subregiuni specifice. Am mai emis ipoteza că aceste dinamici ale dopaminei ar diferi între striat și cortex, deoarece aceste structuri au o cinetică distinctă de absorbție a dopaminei și de degradare18 și poate utiliza dopamina pentru funcții distincte19,20.

Utilizând microdializa cu cromatografie lichidă de înaltă performanță-spectrometrie de masă (HPLC-MS), am analizat cortexul frontal medial și striatum (Fig. 1c, Date extinse Fig. 1). Am analizat simultan neurotransmițătorii și metabolitii 21 cu rezoluție de timp 1-min și am folosit regresia pentru a compara serii de timp chimice cu variabile de comportament (date extinse Fig. 2).

Am replicat corelația dintre rata de recompensă și NAc dopamină - în contrast cu alți neurotransmițători (Fig. 1c, d). Cu toate acestea, această relație a fost localizată la nucleul NAc și nu a avut loc în cochilie NAc sau striatum medial dorsal. Contrar ipotezei noastre, am observat un model spațial similar în cortexul frontal: eliberarea dopaminei corelată cu rata de recompensă în cortexul prelimbic ventral, dar nu în subregiuni mai dorsale sau ventrale (Fig. 1c, e). Deși neașteptate, aceste "hotspot-uri" ale valorilor legate de eliberarea dopaminei au o paralelă intrigantă în neuroimagierea umană: semnalul dependent de nivelul oxigenului din sânge se corelează cu valoarea subiectivă, în mod specific în NAc și în cortexul prefrontal ventral-medial21.

VTA nu are legătură cu motivația

Apoi am discutat dacă această motivație a dopaminei provine din arderea variabilă a celulelor dopaminei midbrain. Miezul NAc primește intrarea dopaminei din porțiuni laterale ale VTA (VTA-l)6,22,23. La șoarecii fixați la cap, neuronii dopaminei VTA-l au raportat răspunsuri uniforme, asemănătoare RPE, stimulilor condiționați3. Pentru a înregistra celulele dopaminei VTA-1, am infectat VTA cu virus adeno-asociat (AAV) pentru exprimarea dependentă de Cre de canadochidină (AAV-DIO-ChR2) la șobolani care exprimă Cre recombinază sub un promotor de hidroxilază tirozină Metode). Optodele (Fig. 2a, b) a înregistrat răspunsuri unice la un scurt-albastru impulsuri laser (Fig. 2c, Date extinse Fig. 3, 4, Imagine suplimentară 1). Am găsit celule XTAX-izolate bine izolate 27 cu spirale fiabile latente de scurtă durată și le-am identificat ca neuroni ai dopaminei.

Fig. 2: Activitatea neuronilor dopaminergici VTA identificați nu se modifică cu rata de recompensă.
figure2

a, Stânga, schemă optrode cu 16 tetrode în jurul fibrei optice cu diametrul de aproximativ 200 µm. Dreapta, exemplu de plasare a optrodului în VTA lateral. Bara de scală, 1 mm. Tirozin hidroxilază cu marker celular dopaminic; verde, ChR2 – EYFP; galben, suprapus. Pentru toate destinațiile de plasare, consultați Datele extinse Fig. 3. b, Vârfuri de celule dopamice VTA. Barele roșii indică exploziile detectate și numărul de vârfuri în fiecare explozie (a se vedea Metode). Scală, 0.5 s, 0.5 mV. c, Exemplu răspuns neuron la impulsuri laser cu durată în creștere. d, Rata de declanșare la nivel de sesiune față de lățimea spike (la jumătate maximă) pentru fiecare celulă VTA. Celulele dopamine, marcate cu albastru; purpuriu, un cluster distinct de neuroni prezumați de non-dopamină. Inserții, exemple de forme de undă medii (tensiune negativă în sus). e, Rata de tragere (albastru; coșuri de 1 minut) a unui neuron dopamină VTA în timpul unei sarcini de bandit. Latența (cian) acoperă cu rată de recompensă, dar rata de tragere nu. f, Rata de ardere pentru toate neuronii VTA (albastru, dopamină, purpuriu, non-dopamină, gri, neclasificată) în blocuri cu rată scăzută comparativ cu rata mare de recompensă. Niciunul nu a prezentat diferențe semnificative (testul Wilcoxon semnat cu 1-min, toate P > 0.05 după corectare pentru comparații multiple). gCorelația medie între arderea celulelor dopamină și rata de recompensă nu prezintă o relație semnificativă. h, Analiza vitezei de ardere a dopaminei la tranziții de bloc (același format ca în Fig. 1d). n = 95 crește recompensa, 76 scade. i. Distribuțiile între intervalele de intersecție (ISI, stânga) și exploziile spike (dreapta) rămân neschimbate între blocurile de rată superioară și inferioară (statisticile Kolmogorov-Smirnov: ISI, 0.138, P = 0.92; rafale, 0.165, P = 0.63).

Toți neuronii dopaminerici au fost activi din punct de vedere tonic, cu rate de ardere relativ mici (medie 7.7 Hz, interval 3.7-12.9 Hz; comparativ cu toți neuronii VTA-l înregistrate împreună cu celulele dopaminei, P <0.001 test Mann – Whitney cu o coadă). Au avut, de asemenea, forme de undă cu durată mai lungă (P <5 × 10-6, test Mann-Whitney), deși au existat excepții (Fig. 2d), care confirmă faptul că durata formei de undă este un marker insuficient al celulelor dopaminei in vivo3,24. Un cluster distinct de neuroni VTA-l (n = 38, din aceleași sesiuni) cu forme de undă scurte și rate de tragere mai mari (> 20 Hz; medie 41.3 Hz, interval 20.1-97.1 Hz) nu au inclus celule dopaminare marcate. Presupunem că aceste celule cu foc mai rapid sunt GABAergice și / sau glutamatergice3,25, și se referă la acestea ca la "non-dopamină" de mai jos.

Am înregistrat aceleași celule dopamină pe mai multe sarcini comportamentale. Celulele dopamine din celulele VTA-1 au răspuns puternic la clicurile aleatorii la alimentație aleatorie și progresiv mai puțin puternic atunci când aceste clicuri au fost mai previzibile prin indicii precedente (date extinse Fig. 5). Acest lucru este în concordanță cu codificarea canonică a RPE de către celulele dopaminei în sarcinile Pavlovian2,3,26.

Pe baza dovezilor provenite de la animale anesteziate, s-a susținut anterior că nivelurile modificate de dopamină măsurate cu microdializă apar din modificări ale ratei de tragere tonică a celulelor dopaminei27 și / sau proporția de neuroni dopaminergici activi față de inactivi28. Cu toate acestea, în sarcina banditului, arderea celulelor dopamice tonice în fiecare bloc de studii a fost indiferentă la rata de recompensă (Fig. 2e, g). Nu s-au înregistrat modificări semnificative ale ratelor de ardere ale celulelor individuale de dopamină sau ale altor neuroni VTA-l, între blocurile cu randament superior și inferior (Fig. 2f, h; a se vedea și ref. 29 pentru rezultate concordante la șoarecii fixați la cap). Nu a existat nici o schimbare generală a ratei la care celulele dopamice declanșează explozii de spițe (Fig. 2i). Mai mult, nu am observat nici o schimbare a celulelor dopaminice între stările active și inactive. Proporția timpului de celule dopamina petrecute inactive (intervale lungi de inter-spike) a fost foarte scăzută și nu sa schimbat între blocurile cu randament superior și inferior (fig. 2i).

Anatomia proiecției dopaminei VTA-NAc a fost investigată intens6,22,23, dar, dat fiind această nepotrivire funcțională aparentă între ardere și eliberare, am reconfirmat că am înregistrat din partea corectă a VTA. Injecțiile mici ale toxinei B de coletrare a markerului retrograd (CTb) în nucleul NAc au dus la etichetarea densă a TH+ neuronii din aceeași zonă VTA-l ca și înregistrările noastre optrode (date extinse Fig. 3). În zona aproximativă de înregistrare, 21% din TH+ celulele au fost de asemenea CTb+, și acest lucru este probabil să fie o subestimare a fracțiunii celulelor dopaminei VTA-l care se proiectează în NAc, deoarece injectările noastre de marker nu au umple complet nucleul NAc. Astfel, eșantionul nostru de n = 27 de celule de dopamină VTA etichetate (plus multe celule mai neetichetate) includ aproape sigur neuroni care proiectează nucleul NAc. În cele din urmă, la un șobolan suplimentar am înregistrat două celule de dopamină VTA-l etichetate după infuzarea selectivă a AAV în nucleul NAc (Extended Data Fig. 3). Ambele celule infectate retrograd au avut modele de tragere care seamănă mult cu celelalte celule de dopamină marcate din toate punctele de vedere, inclusiv lipsa modificărilor de tragere tonică cu o rată de recompensă variabilă (Fig. Suplimentară 1). Concluzionăm că modificările în arderea celulelor tonice VTA-l de dopamină nu sunt responsabile de schimbările legate de motivație în eliberarea dopaminei din creierul din față.

Urmăriți lansarea pe mai multe intervale de timp

Are rata de recompensă a pistei de eliberare a dopaminei în sine, așa cum se sugerează în unele teorii30, sau este această corelație determinată de fluctuațiile dinamice ale eliberării dopaminei care sunt prea rapide pentru a se rezolva cu microdializa? Am susținut această posibilitate pe baza datelor de voltammetrie5, dar a căutat confirmarea folosind o măsură independentă de eliberare a dopaminei care poate să acopere perioade diferite de timp. Suita dLight1 a indicatorilor optici de cod optic codificați genetic a fost creată prin introducerea GFP permutată circular în receptorii dopaminergici D115. Legarea dopaminei determină o creștere foarte specifică a fluorescenței (Fig. 3a). Am infuzat AAV în NAc pentru a exprima fie dLight1.1 (patru plasări NAc verificate de la trei șobolani), fie varianta mai luminată dLight1.3b (șase poziții NAc verificate de la patru șobolani) și fluorescența monitorizată prin fotometrie cu fibre. Am observat răspunsuri clare la dopamina NAc la indiciile de predicție recompensă Pavlovian, la fel ca la arderea celulelor dopaminergice VTA (Date Extended Fig. 5).

Fig. 3: Timpii de corelare a măsurării dopaminei.
figure3

a, Răspunsul fluorescenței dLight1.3b. Inserția, titrarea dopaminei (n = 15 regiuni de interes (ROI)) și noradrenalină (n = 9). Figura principală, neurotransmițători aplicați la baie (toate n = 12 ROI). Al său, histamina. b, Sesiune de bandit de probă incluzând semnal normalizat NAc dLight1.3b (cutii 1-min). c, modificările semnalului dLight cu tranziții de bloc. n = 35 crește rata de recompensă, 45 scade. d, Corelația dintre dLight și rata de recompensă. eVedere mai apropiată a porțiunii umbrită din b. Săgeți: negre, în centru; roșu deschis, lateral (recompensat); albastru deschis, Side-in (nerecompensat); roșu închis, Food-port-in (recompensat); albastru închis, Food-port-in (nerecompensat). Următoarele rânduri: estimarea ratei de recompensă a integratorului de scurgeri; dLumină la rezoluție mică (1 min); dLumină la rezoluție înaltă (50 Hz, verde; filtru median în cinci puncte, negru); valorile stării modelului (cian); și RPE (magenta). După mai multe studii nerecompensate, valorile statului la începutul procesului sunt scăzute, apoi livrarea recompensei evocă un RPE pozitiv și o creștere bruscă a dopaminei. Studiile recompensate succesiv diminuează RPE-urile, dar cresc valorile stării, însoțite de dopamină. f, Crosscorrelations de scurtă durată arată o relație strânsă între dLight și valoare și o relație mai mică cu RPE. g, Corelații în cadrul procesului între variabilele modelului și dLight cu diferențe diferite; corelația atât cu valoarea cât și cu RPE este cea mai puternică până la dLight cu aproximativ 0.3 s mai târziu. h, În toate sesiunile, corelația maximă a fost mai mare pentru valoare decât pentru RPE sau rata de recompensă.

Pentru sarcina banditului, am examinat mai întâi semnalul dLight în cutiile 1-min (Fig. 3b) pentru comparație cu microdializa. Am văzut din nou o relație clară între eliberarea de dopamină NAc și rata de recompensă, atât în ​​corelație încrucișată, cât și în analiza tranzițiilor blocului (Fig. 3c, d). Apoi am examinat mai atent modul în care această relație apare. Mai degrabă decât variază lent într-un interval de timp de minute, semnalul dLight a arătat fluctuații foarte dinamice în cadrul și între fiecare încercare (Fig. 3e). Am comparat aceste fluctuații cu valori de stare instantanee și RPE estimate de la un model de învățare la întărire (un proces decizional semi-Markov5). Așa cum a fost raportat anterior folosind voltammetria5, dopamina NAc cronică a prezentat o corelație puternică cu valorile de stare (Fig. 3f), vizibil ca ramping în cadrul studiilor atunci când s-au așteptat recompense (Fig. 3e). De asemenea, am înregistrat creșteri tranzitorii cu livrări de recompense mai puțin preconizate, conforme cu RPE (examinată mai jos). În fiecare sesiune dLight, dopamina a prezentat o corelație mai puternică cu valorile decât RPE sau rata de recompensă (Fig. 3h, Date extinse Fig. 6). Corelațiile cu ambele valori de stare și RPE au fost maxime în ceea ce privește semnalul dLight ~ 0.3 s mai târziu, în concordanță cu un scurt decalaj cauzat de procesarea neuronală a indicilor și timpul de răspuns al senzorului (Fig. 3g; cu voltametrie, am raportat un decalaj de 0.4-0.5 s)5.

Tratarea dopaminei nu explică eliberarea

Apoi am comparat arderea și eliberarea celulelor dopamice în jurul evenimentelor de bandit-sarcină. Stimulările externe la tactilul Light-on, Go și Side-in (click-hopper) au provocat o creștere rapidă a arderii (Fig. 4a). Aceste răspunsuri au fost observate în marea majoritate a celulelor dopaminei (Fig. 4c), deși mărimea relativă a răspunsurilor la diferite indicii a variat de la celulă la celulă (Imagine suplimentară 1). Semnalul NAc dLight a răspuns, de asemenea, rapid și fiabil fiecăruia dintre aceste indicații speciale (Fig. 4b, c), în conformitate cu arderea exploziilor de celule dopamine care conduc la eliberarea de dopamină.

Fig. 4: Faza VTA de ardere a dopaminei nu ține cont de dinamica NAc a dopaminei.
figure4

a, Activitatea de aliniere a evenimentelor din celulele dopaminei VTA-1. Top, raze de vârf pentru o celulă reprezentativă; fund, rata medie a vârfului (n = 29). În toate panourile, benzile de eroare indică ± sem b, NAc dLight aliniat la evenimente. Sus, sesiune reprezentativă; fund, mediu (n = 10), normalizat până la vârf, recompensat Side-in răspuns. De-a lungul acestei figuri, semnalele dLight sunt afișate în raport cu o epocă „de bază” de 2 s care se termină cu 1 s înainte de centrare. Notă crește (săgeți) cu puțin înainte de centrare și alimentare de port. c, Distribuțiile cumulate ale timpului necesar pentru celulele dopaminei (solid; n = 29), dLight (punctat; n = 10), pentru a crește după declanșările tac (test de amestecare comparativ cu valoarea inițială, 10,000 de amestecuri, P <0.01, comparații multiple corectate). Pentru Light-on, sunt incluse doar latențe <1 s; pentru Side-in doar recompense recompense. Latențe mediane (de la potrivirea sigmoidă): aprins, declanșând 152 ms, dLight 266 ms; Go cue, trăgând 67 ms, dLight 212 ms; Side-in, declanșând 85 ms, dLight 129 ms. Celulele non-dopaminice au fost, de obicei, indiferente la declanșarea instrucțiunilor (date extinse Fig. 8). d, Distinct cue-evocat, abordare legate de eliberarea de dopamină. Sus, medie de ardere de celule dopamină (n = 29); dLight mediu, mediu (n = 10); jos, voltametrie (n = 6), normalizat la vârf de latență scurtă Răspuns la lumină. Panouri din stânga, latențe <1 s, dreapta, latențe> 2 s. Datele sunt aliniate la Light-on (solid) sau Center-in (punctat); linie întreruptă roșie, latență mediană. Pentru latențe mai lungi nu există o creștere a tragerii în apropierea centrului, dar dLight și voltametria arată o creștere semnificativă. e, Scatter plot comparând semnalele de vârf aliniate pe Light-on (y axă) sau centralizată (x axă). Pentru fiecare celulă, liniile conectate la sesiune indică date pentru intervale de latență distincte (<1 s,> 2 s). Tragerea cu dopamină (sus) arată în mod constant răspunsul la lumină pentru studiile cu latență scurtă (analiza bidirecțională a varianței (ANOVA), aliniere × interacțiune de latență, F = 7.47, P = 0.0008). Semnalele dLight (mijloc), voltametrie (de jos) sunt constant mai bine aliniate la Center-in (ANOVA cu două căi pentru dLight: aliniere × interacțiune de latență, F = 9.28, P = 0.0043). f, Dopamina crește în timpul abordării, cuantificată ca unghi de rampă (a se vedea Metode). Cercurile indică celule individuale de dopamină (n = 29), sesiuni dLight (n = 10).

De asemenea, am văzut o creștere clară a eliberării de dopamină a NAc, în timp ce șobolanii s-au apropiat de portul de pornire (chiar înaintea Centrului) și portul alimentar (chiar înainte de alimentarea portului). Acest lucru se potrivește bine cu literatura de voltammetrie extinsă care arată că comportamentele abordate motivate sunt însoțite de creșteri rapide ale dopaminei de bază NAc5,7,8,9,10,11. Cu toate acestea, populația de celule dopamină VTA-1 nu a prezentat o creștere corespunzătoare a arderii în aceste vremuri (Fig. 4a; vezi datele extinse Fig. 7 pentru comparații suplimentare, inclusiv la celulele non-dopamine).

Pentru a disocia mai bine activitatea dopaminică evocată de indicii și legată de abordare, am separat studiile prin latențe scurte (<1 s) și lungi (> 2 s) (fig. 4d, e). Creșterile de ardere a celulelor dopamine au fost blocate în mod consecvent la declanșarea taciei la Light-on, preferabil pentru testele cu latență scurtă. Toate celulele dopaminergice 25 cu rate de ardere semnificative cresc după ce Light-on au fost mai bine aliniate la Light-on decât Center-in (Fig. 4e). Dimpotrivă, creșterea eliberării de dopamină a NAc înainte de inocularea Centrului a fost diferită de eliberarea de dopamină evocată de tac (fig. 4d, e). Semnalele dLight au crescut în mod constant înaintea studiilor de latență cu durată lungă (zece din zece sesiuni) și înainte de alimentarea portului (nouă din zece sesiuni), fără creșterea corespunzătoare a arderii dopaminei (Fig. 4f).

În cele din urmă, am analizat modul în care semnalele de dopamină legate de evenimente depind de istoricul recompenselor recente. În prima parte a fiecărui studiu, arderea celulelor dopaminergice nu a fost dependentă de rata de recompensă (Fig. 5a), în ciuda influenței ratei de recompensă asupra motivației (Fig. 5b). Ulterior, răspunsul fazic la indicele de recompensă la Side-in a fost mai puternic în mod fiabil atunci când rata recompensei a fost mai mică (Fig. 5a), în concordanță cu codificarea RPE pozitivă. Când acest tablou de recompensă a fost omis, celulele dopamine au întrerupt procesul de ardere, deși codificarea RPE negativă a fost mult mai slabă sau absentă, fie examinată la nivelul populației (Fig. 5a, b) sau ca celule individuale (Date extinse Fig. 8). S-a propus anterior că RPE-urile negative sunt codificate pe durata pauzelor de dopamină31, dar acest lucru a fost observat la doar 2 din 29 de neuroni individuali. Rezultate similare au fost obținute dacă așteptarea recompensei a fost estimată în alte moduri, inclusiv modele de învățare bazată pe încercări (actor-critic și Q-learning) sau pur și simplu prin numărarea recompenselor recente (Fig. 8).

Figura 5: Istoricul recompenselor afectează arderea celulelor dopamine VTA și eliberarea de dopamină NAc diferit.
figure5

a, Top, rata medie de ardere a celulelor dopaminei (n = 29) aliniat la Side-in, defalcat după rata de recompensă (tercile, calculate separat pentru fiecare celulă). Înainte de Side-in, activitatea nu depinde de așteptarea recompensei. După încercările Side-in recompensate (roșu) și nerecompensate (albastre) sunt afișate separat. Răspunsul la clic pe alimente este mai puternic atunci când rata de recompensă este scăzută, în concordanță cu codificarea RPE pozitive. Partea de jos, fracțiunea celulelor individuale de dopamină cu o rată de ardere care variază semnificativ în funcție de rata de recompensă în fiecare moment (test de amestecare, P <0.01, comparații multiple corectate). Bifele în partea de sus indică momentele în care această fracție a fost semnificativ mai mare decât șansa (binom, P <0.01). După Side-in, sunt testate doar corelațiile negative - adică codificarea potențială RPE. b, Parcele de regresie pentru sesiunile cu celule dopamice înregistrate, care arată efectul istoricului recompenselor recente asupra latenței (log-) (vârf) și asupra dopaminei. Asteriscurile indică greutăți semnificative de regresie (t-Test, P <0.05). În timpul celor 0.5 s înainte de Go cue (în timp ce șobolanul trebuie să mențină o lovitură constantă a nasului pentru ca încercarea să poată continua), creșterea dopaminei nu este afectată de istoricul recompensei (mijloc). Acest lucru se schimbă odată ce rezultatul este dezvăluit (de jos; evaluarea vârfului sau a activității în 0.5 s după Side-in), dar numai pentru testele recompensate. c, d, La fel ca mai sus, cu excepția dLight (normalizat la răspunsul de vârf în partea laterală). Eliberarea de dopamină scade în mod fiabil cu rata de recompensă chiar înainte de Side-in.

Eliberarea dopaminei la Side-in a arătat, de asemenea, o codificare clară, tranzitorie a RPE pozitive, dar nu a RPE negativ (Fig. 5c, d). Acest răspuns dLight a fost ușor întârziat și prelungit în comparație cu arderea, în concordanță cu timpul necesar eliberării și recuperării32, dar a rămas un fenomen secundar. Spre deosebire de ardere, totuși, semnalele dLight la începutul fiecărui proces au fost mai mari atunci când studiile recente au fost recompensate (Fig. 5c), în concordanță cu codificarea valorii. Am observat această dependență de istoricul recompenselor chiar și atunci când șobolanul nu se mișca în mod activ, ci menținea o lovitură de nas în portul central în timp ce așteptam tacul Go (Fig. 5d). În ansamblu, concluzionăm că eliberarea de dopamină NAc reflectă atât răspunsurile sugerate de tac, cât și așteptările de recompensă, și că doar prima dintre acestea poate fi bine constatată de arderea celulelor dopaminergice VTA-l.

Discuție

VTA-l furnizează sursa predominantă de dopamină la nucleul NAc6,23,24. Celulele de dopamină VTA-1, inclusiv cele care proiectează nucleul NAc, afișează în mod constant erupțiile de codare RPE3,12. Exploziile VTA sunt considerate a fi deosebit de importante pentru administrarea dopaminei NAc32, și într-adevăr, am constatat că exploziile VTA provocate de tac au fost compensate de eliberarea NAc. Cu toate acestea, am descoperit în plus modele legate de valoare ale eliberării de dopamină NAc care nu au fost generate prin arderea celulelor dopaminei VTA-l, fie pe perioade lungi (tonice) sau scurte (fazice). Alte subpopulații ale dopaminei pot purta semnale distincte13,33,34și nu putem exclude posibilitatea ca arderea subpopulațiilor de celule dopaminerice care nu sunt înregistrate de aici să producă dopamină legată de valoare în nucleul NAc. Cu toate acestea, declanșarea în funcție de valoare nu a fost raportată niciodată pentru celulele dopaminei, pe o gamă largă de studii. Rezultatele noastre sugerează că dinamica dopaminei NAc este controlată în moduri diferite, la momente diferite și pentru funcții diferite și că înregistrarea celulelor dopaminei este importantă, dar nu suficientă pentru înțelegerea semnalelor dopaminei35.

Eliberarea de la terminalele de dopamină este puternic influențată de mecanismele locale, care nu sunt de tip spiking36,37,38,39,40. De exemplu, eliberarea de dopamină NAc este modulată de amigdala bazolaterală, chiar și atunci când impulsul de VTA este suprimat farmacologic41,42. S-a constatat de zeci de ani că controlul local al eliberării dopaminei ar putea avea funcții distincte de cele ale spikingului celulelor dopaminice36,43, dar acest lucru nu a fost încorporat în viziunea teoretică a dopaminei. Subregiunile striatale distincte contribuie la diferite tipuri de decizii și pot influența eliberarea propriilor dopamine în funcție de necesități44. Rămâne de stabilit cât de localizat poate fi acest control al eliberării de dopamină. O limitare împărtășită de cele 3 moduri în care am măsurat eliberarea dopaminei este că toate probează pe o scară spațială de cel puțin 100 µm, în timp ce microscopia in vivo sugerează că eliberarea dopaminei poate fi eterogenă la scări considerabil mai mici.15.

Rezultatele noastre nu susțin existența vreunui semnal separat de dopamină tonic care ar putea media efectele motivaționale ale dopaminei. În schimb, schimbările de dopamină care apar încet, măsurate lent (cu microdializă), se rezolvă în fluctuații rapide dacă se măsoară rapid (cu voltammetrie sau dLight). În plus, înregistrări ale celulelor dopamine VTA identificate de noi înșine și de alții30 oferă dovezi puternice împotriva acestei idei29 că schimbările în tonicul celulelor de dopamină declanșează modificări tonice în eliberarea dopaminei. Deși arderea tonică poate fi modificată prin leziuni sau manipulări de droguri28, nu suntem conștienți de modificări susținute în rata de tragere în orice sarcină comportamentală. Tragerile pot crește în jos pe o perioadă de timp de aproximativ 1 s în timpul anticipării evenimentelor relevante motivațional45,46. Cu toate acestea, acest declin este opusul a ceea ce ar fi necesar pentru a stimula eliberarea dopaminei cu așteptări de recompensă și, în schimb, se aseamănă mai mult cu o secvență de erori predictive negative tranzitorii47. Deși semnalele susținute care codifică rata de recompensă continuă ar putea fi utile în mod computațional30, dopamina furnizează în schimb semnale de eroare și valori fluctuante rapid. Este posibil ca semnalele susținute să fie calculate la o etapă ulterioară, prin căi de semnalizare intracelulare în aval de receptorii dopaminergici.

Multe grupuri au observat o creștere a eliberării dopaminei, deoarece șobolanii abordează recompense5,7,8,9,10,11, în concordanță cu codificarea așteptărilor de recompensă escaladate. Unii au argumentat că aceste rampe de dopamină reflectă pur și simplu RPE, presupunând că șobolanii uită rapid valorile48 sau că au un set de reprezentări de stat deformate49. Această din urmă idee nu este susținută de observația noastră conform căreia rampingul este modulat rapid de la proces la încercare pe baza așteptărilor de recompensă actualizate, devenind mai puternic într-o succesiune scurtă de recompense succesive, în timp ce răspunsurile de tip RPE la indicii devin mai slabe (Fig. 3e). În general, orice teorie în care dopamina transmite doar RPE (semnale de învățare) nu poate explica legătura foarte bine stabilită dintre dopamina mesolimbică în curs de desfășurare și motivația16. Miezul NAc nu este necesar pentru răspunsuri foarte bine instruite la stimulii condiționați, dar este deosebit de important atunci când se decide să se efectueze o muncă care necesită mult timp pentru a obține recompense50. NAc dopamina nucleară pare să furnizeze un semnal dinamic esențial cu privire la modul în care merită să alocăm timp și efort pentru a lucra5,44, chiar dacă acest semnal nu este prezent în arderea celulelor dopaminergice VTA.

Metode

animale

Toate procedurile pentru animale au fost aprobate de către Comitetele instituționale pentru utilizarea și îngrijirea animalelor de la Universitatea din Michigan sau Universitatea din California din San Francisco. Șobolani masculi (300-500 g, fie Long-Evans de tip sălbatic, fie TH-Cre+ cu un fundal Long-Evans52) au fost menținute pe un ciclu invers 12: 12 lumină: întuneric și testate în timpul fazei întunecate. Șobolanii au fost ușor atenți la alimentație, primind zilnic 15 g de șobolan standard de șobolani de laborator, în plus față de recompensele alimentare câștigate în timpul performanței sarcinii. Nu a fost efectuată nicio prealorificare a mărimii eșantionului. Anchetatorii nu au fost orbiți la alocare în timpul experimentelor și evaluării rezultatelor.


comportament

Pretrainarea și testarea au fost efectuate în camere operante controlate de computer Med Associates (25 cm × 30 cm în cel mai larg punct), fiecare cu un perete cu cinci găuri, așa cum a fost descris anterior5. Sesiunile de bandit-task au folosit următorii parametri: lungimile blocurilor au fost 35-45, selectate aleator pentru fiecare bloc; dețineți perioada înainte de a fi cue a fost 500-1,500 ms (distribuție uniformă); probabilitățile de recompensă stânga-dreapta au fost 10, 50 și 90% (pentru electrofiziologie, fotometrie, voltammetrie și șobolani de microdializă raportate anterior5) sau 20, 50 și 80% (șobolani de microdializă nou raportați).

Rata de recompensă curentă a fost estimată utilizând un integrator de scurgere bazat pe timp53. Rata de recompensă a fost sporită de fiecare dată când a fost primit o recompensă și a fost degradată exponențial la o rată stabilită de parametru τ (timpul în s pentru rata de recompensă să scadă cu ~ 63%, adică 1-1 / e). Pentru toate analizele, τ a fost selectat pe baza comportamentului șobolanului, maximizând corelația (negativă) dintre rata de recompensă și jurnalul (latența) din fiecare sesiune. Corelațiile dintre dopamina din față și rata de recompensă nu au fost foarte sensibile la această alegere τ (Date extinse Fig. 1).

Pentru a clasifica tranzițiile de bloc ca "creștere" sau "scădere" în rata de recompensă, am comparat rata medie a rata de recompensă a integratorului de scurgere în ultimul 5 min de bloc față de rata medie de recompensă în primul 8 min al blocului ulterior.

Șobolanii utilizați pentru electrofiziologie și fotometrie au efectuat, de asemenea, o sarcină de abordare pavloviană, în aceeași cameră operantă cu lumina casei pe tot parcursul sesiunii. Trei indicii auditive (2 kHz, 5 kHz și 9 kHz) au fost asociate cu probabilități diferite de livrare de alimente (contrabalansate la șobolani). Indicatorii au fost redați ca un tren de sunete (100 ms activat, 50 ms oprit) pentru o durată totală de 2.6 s, urmată de o perioadă de întârziere de 500 ms. Indicatorii și livrările de recompense neprevăzute au fost livrate în ordine pseudorandom cu un interval variabil între procese (15-30 s, distribuție uniformă).


microdializă

Intervenție Chirurgicală

Șobolanii au fost implantați bilateral cu canule de ghidare (CMA, 830 9024) în cortex și striatum. Un grup (n = 8) a primit o canulă de ghidare care vizează cortexul prelimbic și infralimbic (anteroposterior (AP) +3.2 mm, mediolateral (ML) 0.6 mm față de bregma; și dorsoventral (DV) 1.4 mm sub suprafața creierului) și o altă țintire a striatului dorsomedial și a nucleului accumbens în emisfera opusă (AP +1.3, ML 1.9 și DV 3.4). Ambele implanturi au fost înclinate la 5 grade unul de altul de-a lungul planului rostral-caudal. Un al doilea grup (n = 4) a primit o canulă de ghidare care vizează cortexul cingulat anterior (AP +1.6, ML 0.8 și DV 0.8) și o altă țintă accumbens (miez / înveliș în emisfera opusă la AP + 1.6, ML 1.4 și DV 5.5 (n = 2) sau AP +1.6, ML 1.9 și DV 5.7 (n = 2). Laturile implantului au fost contrabalansate între șobolani. Animalelor li s-a permis recuperarea timp de o săptămână înainte de recalificare.

chimicale

Apa, metanolul și acetonitrilul pentru fazele mobile au fost de tip HPLC Burdick & Jackson, achiziționate de la VWR (Radnor). Toate celelalte substanțe chimice au fost achiziționate de la Sigma Aldrich, cu excepția cazului în care se menționează altfel. Lichidul cefalorahidian artificial (aCSF) conținea 145 mM NaCI, 2.68 mM KCl, 1.40 mM CaCl2, 1.01 mM MgS044, 1.55 mM Na2HPO4 și 0.45 mM NaH2PO4, pH-ul ajustat la 7.4 cu NaOH. S-a adăugat acid ascorbic (concentrația finală 250 nM) pentru a reduce oxidarea analiților.

Colectarea probelor și HPLC-MS

În ziua testării, animalele au fost plasate în camera operantului cu lumina de pornire. Sondele de microdializă cu membrană concentrică din poliacrilonitril concentric (membrană AN1 69-mm, Hospal) au fost inserate bilateral în canula de ghidare și perfuzate continuu (Chemyx, Fusion 400) cu aCSF la 2 μl / min pentru 90 min pentru a permite echilibrarea. După colectarea de bază 5-min, lumina reflectoarelor a fost stinsă, apropiindu-l de disponibilitatea animalelor în bandit. Colectarea de probe a continuat la intervale 1-min și probele au fost derivate imediat54 cu 1.5 pl carbonat de sodiu, 100 mM; 1.5 pl clorură de benzoil (2% (v / v) clorură de benzoil în acetonitril); și 1.5 µl amestec standard intern marcat izotopic, diluat în 50% (v / v) acetonitril care conține 1% (v / v) acid sulfuric și cu țeavă cu ACh deuterizat și colină (izotopi C / D / N) la o concentrație finală de 20 nM. Colecția de serii de probe a alternat între cele două sonde la intervale de 30 s în fiecare din cele 26 de sesiuni, cu excepția unei sesiuni în care o membrană ruptă a rezultat într-o singură serie (51 de serii de probe în total). Probele au fost analizate folosind sistemele Thermo Scientific UHPLC (Accela sau Vanquish Horizon interfațate la un spectrometru de masă cu cuplu triplu Quantum Ultra echipat cu o sondă HESI II ESI), operând în monitorizarea reacțiilor multiple. Probele de cinci microlitri au fost injectate pe o coloană Phenomenex core-shell bifenil Kinetex HPLC (2.1 mm × 100 mm). Faza mobilă A a fost 10 mM formiat de amoniu cu 0.15% acid formic, iar faza mobilă B a fost acetonitril. Faza mobilă a primit un gradient de eluare la 450 pl / min după cum urmează: inițial, 0% B; 0.01 min, 19% B; 1 min, 26% B; 1.5 min, 75% B; 2.5 min, 100% B; 3 min, 100% B; 3.1 min, 5% B; și 3.5 min, 5% B. Thermo Xcalibur QuanBrowser (Thermo Fisher Scientific) a fost utilizat pentru procesarea și integrarea automată a vârfurilor. Fiecare dintre cele 100,000 de vârfuri au fost inspectate vizual individual pentru a asigura o integrare adecvată.

Analiză

Toate datele privind concentrația neurochimică au fost netezite cu o medie mobilă în trei puncte (y′ = [0.25 × (y−1) + 0.5y + 0.25 × (y+ 1)]) și z- scor normalizat în cadrul fiecărei sesiuni pentru a facilita comparațiile între sesiuni. Pentru fiecare regiune țintă, a fost generată o corelogramă încrucișată pentru fiecare sesiune și a fost reprezentată media sesiunilor. Limitele de încredere de un procent au fost generate pentru fiecare subplot prin amestecarea unei serii temporale de 100,000 de ori și generarea unei distribuții a coeficienților de corelație pentru fiecare sesiune. Au fost generate modele de regresie multiple folosind funcția de regres în MATLAB, cu neurochimica ca variabilă de rezultat și metrici comportamentale ca predictori. Coeficienții de regresie au fost determinați semnificativ la trei niveluri alfa (0.05, 0.0005 și 0.000005), după corecția Bonferroni pentru comparații multiple (alfa / (21 substanțe chimice × 7 regiuni × 9 regresori comportamentali)). Pentru analiza tranzițiilor bloc, datele au fost blocate în epoci de 3 minute, aruncând eșantionul care a inclus timpul de tranziție.


Electrofiziologie

Șobolani (n = 25) au fost implantate cu optrode acționabile personalizate, fiecare alcătuit din 16 tetrode (construite din sârmă de nicrom de 12.5 µm, Sandvik) lipite pe partea unei fibre optice de 200 µm și care se extind până la 500 µm sub vârful fibrei. În timpul aceleiași intervenții chirurgicale, am injectat 1 µl AAV2 / 5-EF1a-DIO-ChR2 (H134R) -EYFP în VTA lateral (AP 5.6, ML 0.8, DV 7.5) sau nucleul NAc (AP 1.6, ML 1.6, DV 6.4) . Semnalele cerebrale pe bandă largă (1-9,000 Hz) au fost eșantionate (30,000 de probe pe s) folosind scenele digitale Intan. Optrodele au fost reduse cu cel puțin 80 µm la sfârșitul fiecărei sesiuni de înregistrare. Unitățile individuale au fost izolate offline folosind o implementare MATLAB a MountainSort55 urmată de o inspecție manuală atentă.

Clasificare

Pentru a identifica dacă o unitate izolată de VTA-l a fost dopaminergic (TH+), am folosit testul de latență asociat stimulului56. Pe scurt, la sfârșitul fiecărei sesiuni experimentale, am conectat optroda la o diodă laser și am livrat trenuri puls luminoase cu diferite lățimi și frecvențe. Pentru ca o unitate să fie identificată ca fiind receptivă la lumină, ea trebuie să atingă nivelul de semnificație al P <0.001 pentru trenurile cu impulsuri de 5 ms și 10 ms. De asemenea, am comparat formele de undă evocate de lumină (în termen de 10 ms de la apariția impulsului laser) cu mediile la nivel de sesiune; toate unitățile evocate de lumină au avut un coeficient de corelație Pearson> 0.9. Neuronii dopaminici au fost înregistrați cu succes de la patru șobolani cu perfuzii VTA-l AAV (IM657, 1 unitate; IM1002, 3 unități; IM1003, 15 unități; IM1037, 9 unități) și un șobolan cu nucleu NAc AAV (IM-1078, 2 unități) . Lățimea de vârf a fost definită ca lățimea maximă la jumătate-maximă a celei mai proeminente componente negative a formei de undă medii aliniate. Neuronii VTA ne-etichetați cu o rată de declanșare la nivel de sesiune> 20 Hz și lățimea maximă <200 µs au fost clasificați drept celule non-dopaminice. Pentru a ne asigura că am comparat celulele dopaminare și non-dopaminice din aceleași subregiuni, am analizat doar celulele non-dopaminice înregistrate în timpul sesiunilor cu cel puțin o celulă de dopamină marcată optic.

Analiză

Spike-urile au fost detectate de abordarea convențională "80 / 160 template"57: de fiecare dată când apare un interval inter-spike de 80 ms sau mai puțin, acestea și spike-urile ulterioare sunt considerate parte a unei rafale până când există un interval de 160 ms sau mai mult. Pentru compararea tragerii „tonice” cu rata de recompensare, vârfurile de dopamină au fost numărate în coșurile de 1 minut. Pentru a examina modificările mai rapide, funcțiile de densitate a vârfurilor au fost construite prin antrenarea trenurilor de vârf cu un nucleu Gaussian cu varianță de 20 ms. Pentru a determina cât de repede a reacționat un neuron la un anumit tac, am folosit cutii de 40 ms (alunecând în pași de 20 ms) și am folosit un test de amestecare (10,000 de amestecuri) pentru fiecare cutie de timp, comparând rata de tragere după debutul tacului cu rata de tragere în cei 250 ms imediat premergători tacului. Primul coș la care rata de tragere post-tac a fost semnificativ (P <0.01, corectarea comparațiilor multiple) mai mare decât declanșarea inițială a fost considerată momentul pentru a răspunde.

Viteza de ardere a vârfului a fost calculată ca rata de ardere maximă (fără gaussiană) a fiecărei încercări într-o fereastră 250-ms după intrarea laterală pentru încercări recompensate, iar valea a fost calculată ca rată minimă de declanșare într-o fereastră 2, o secundă după intrarea în partea laterală pentru studii neremediate.

Pentru a calcula un unghi de rampă în timpul comportamentelor de apropiere, am redus rata medie de ardere cu un kernel 50-ms Gaussian, detectând semnalul maxim / minim al semnalului rezultat într-o fereastră 0.5 înaintea fiecărui eveniment (port centralizat sau alimentat ) și a măsurat unghiul semnului care leagă cele două extreme. Pentru a compara ratele de ardere în blocurile de recompensă "înaltă" și "scăzută", pentru fiecare sesiune am realizat o împărțire medie a ratei medii de răsplată a integratorului de scurgeri în fiecare bloc.


Voltammetrie și model de calcul

Rezultatele de voltammetrie ciclică de scanare rapidă arată aici datele de reanaliză prezentate anterior în detaliu5. Estimările în cadrul procesului privind valorile de stat și erorile de predicție a recompenselor au fost calculate folosind un model de învățare a procesului decizional semimar Markov, exact așa cum a fost descris anterior5.


Fotometrie

Am folosit o abordare virală pentru a exprima senzorul optic de dopamină codificat genetic dLight15. Sub anestezie cu izofluran, 1 μl de AAV9-CAG-dLight (1 × 1012 genomi virali pe ml; Miezul vectorial UC Davis) a fost injectat lent (100 nl / min) (Nanoject III, Drummond) printr-o micropipetă de sticlă de 30 µm în striatul ventral bilateral (AP: 1.7 mm, ML: 1.7 mm, DV: -7.0 mm). În timpul aceleiași intervenții chirurgicale au fost introduse fibre optice (miez de 400 µm, diametru total de 430 µm) atașate la o virulă metalică (dorică) (adâncimea țintă cu 200 µm mai mare decât AAV) și cimentate în loc. Datele au fost colectate> trei săptămâni mai târziu, pentru a permite expresia dLight.

Pentru excitația dLight albastru (470 nm) și violet (405 nm; control) LED-urile au fost modulate sinusoidal la frecvențe distincte (211 Hz și respectiv 531 Hz58). Atât semnalele de excitație, cât și cele de emisie trecute prin filtrele de minicub (dorice) și fluorescența în vrac au fost măsurate cu un eșantion de detector femtowatt (Newport, Model 2151) la 10 kHz. Demodularea a produs semnale separate de 470 nm (dopamină) și 405 nm (control), care au fost apoi redimensionate între ele printr-o potrivire cel puțin pătrată58. Semnal fluorescent semnal fracțional (dF/F) a fost apoi definit ca (470–405_fit) / 405_fit. Pentru toate analizele, acest semnal a fost redus de eșantionat la 50 Hz și netezit cu un filtru median în cinci puncte. Pentru prezentarea separată a semnalelor de 470 nm și 405 nm, consultați datele extinse Fig. 7.

Datele dintr-o plasare cu fibre optice au fost incluse în analize dacă vârful fibrei era în NAc și răspunsul la fluorescență la cel puțin un tactic de sarcină a avut o z-scor de> 1. Aceste criterii au exclus un șobolan și au obținut trei șobolani / patru plasamente (IM1065-stânga, IM1066-bilaterală, IM1089-dreapta) pentru dLight1.1 și patru șobolani / șase plasamente (IM1088-bilaterale, IM1105-dreapta, IM1106-bilaterale, IM1107-dreapta) pentru dLight1.3b. Rezultate similare s-au obținut pentru dLight1.1 și dLight1.3 (Date extinse Fig. 7), astfel încât datele au fost combinate.

Pentru a calcula un unghi de rampă în timpul comportamentelor de apropiere, am detectat semnalul maxim / minim al semnalului rezultat într-o fereastră 0.5 înaintea fiecărui eveniment (în centru sau în port-alimentare) și am măsurat unghiul semnalizat care leagă cele două extremități.


Afinitatea și specificitatea moleculară a dLight1.3b

Măsurătorile in vitro au fost efectuate așa cum s-a descris mai înainte15. Pe scurt, celulele HEK293T (ATCC CRL # 1573) au fost cultivate și transfectate cu plasmide care codifică dlight1.3b conduse de un promotor CMV și spălate cu HBSS (Life Technologies) suplimentat cu Ca2+ (4mM) și Mg2+ (2 mM) înainte de imagistică. Imagistica a fost realizată folosind un obiectiv pe bază de ulei de 40 × pe un microscop confocal Zeiss Observer LSN710 cu lungimi de undă de 488 nm / 513 nm (excitație / emisie). Pentru testarea răspunsurilor de fluorescență ale senzorului, neurotransmițătorii au fost aplicați direct pe baie în timpul imagisticii în interval de timp, în cel puțin două experimente independente. Titrările de dopamină și noradrenalină au fost obținute prin efectuarea de diluții seriale de zece ori pentru a obține opt concentrații diferite. Toți ceilalți neurotransmițători au fost testați la trei concentrații secvențiale (100 nM, 1 uM și 10 uM). Toate concentrațiile neurotransmițătorului au fost obținute prin diluare dintr-o concentrație stoc de 1 mM în HBSS, preparată proaspătă. Intensitățile brute de fluorescență din imagistica cu lapse de timp au fost cuantificate pe Fiji; fiecare ROI a fost desenat manual pe membrana celulelor individuale. Schimbare fluorescentă a pliului (ΔF/F) a fost calculată ca F vârf (intensitatea medie a fluorescenței de patru cadre) - F (intensitatea medie a fluorescenței a patru cadre înainte de adăugarea de liganzi) /F bazale. Graficele și analizele statistice au fost efectuate utilizând GraphPad Prism 6. Punctele de date au fost analizate cu o curbă de legare specifică la un loc pentru a se obține Kd valori. În câmpurile de box-whisker, cutia acoperă intervalul 25% până la 75%, iar whisker-urile variază de la valori minime la maxime.


Sinteza de raportare

Informații suplimentare privind designul de cercetare sunt disponibile în Rezumatul rapoartelor de cercetare pe natură legate de această lucrare.

Disponibilitatea datelor

Virusul AAV.Synapsin.dLight1.3b utilizat în acest studiu a fost depus cu Addgene (nr 125560; http://www.addgene.org). Toate datele vor fi disponibile prin intermediul site-ului web de partajare a datelor de cercetare colaborativă în neuroștiințe computaționale (https://doi.org/110.6080/K0VQ30V9).

Disponibilitatea codului

Codul MATLAB personalizat este disponibil la cerere de la JDB

Informații suplimentare

Nota editorului: Springer Nature rămâne neutră în ceea ce privește pretențiile jurisdicționale în hărțile publicate și afilierile instituționale.

Referinte

  1. 1.

    Schultz, W., Dayan, P. & Montague, PR Un substrat neuronal de predicție și recompensă. Ştiinţă 275, 1593-1599 (1997).

  2. 2.

    Pan, WX, Schmidt, R., Wickens, JR & Hyland, celulele dopaminei BI răspund la evenimentele prezise în timpul condiționării clasice: dovezi pentru urmele de eligibilitate în rețeaua de învățare a recompenselor. J. Neurosci. 25, 6235-6242 (2005).

  3. 3.

    Cohen, JY, Haesler, S., Vong, L., Lowell, BB & Uchida, N. Semnalele specifice tipului de neuron pentru recompensă și pedeapsă în zona tegmentală ventrală. Natură 482, 85-88 (2012).

  4. 4.

    Steinberg, EE și colab. O legătură cauzală între erorile de predicție, neuronii dopaminergici și învățarea. Nat. Neurosci. 16, 966-973 (2013).

  5. 5.

    Hamid, AA și colab. Mesolimbicul de dopamină semnalează valoarea muncii. Nat. Neurosci. 19, 117-126 (2016).

  6. 6.

    Saunders, BT, Richard, JM, Margolis, EB și Janak, neuronii dopaminici PH creează stimuli condiționați pavlovieni cu proprietăți motivaționale definite de circuit. Nat. Neurosci. 21, 1072-1083 (2018).

  7. 7.

    Phillips, PE, Stuber, GD, Heien, ML, Wightman, RM & Carelli, RM Eliberarea de dopamină subsecundă promovează căutarea de cocaină. Natură 422, 614-618 (2003).

  8. 8.

    Roitman, MF, Stuber, GD, Phillips, PE, Wightman, RM & Carelli, Dopamina RM funcționează ca un modulator subsecund al căutării de alimente. J. Neurosci. 24, 1265-1271 (2004).

  9. 9.

    Wassum, KM, Ostlund, SB & Maidment, NT Semnalizarea dopaminică mezolimbică fazică precede și prezice efectuarea unei sarcini de acțiune auto-inițiată. Biol. Psihiatrie 71, 846-854 (2012).

  10. 10.

    Howe, MW, Tierney, PL, Sandberg, SG, Phillips, PE și Graybiel, AM Semnalizarea prelungită a dopaminei în striat semnalează proximitatea și valoarea recompenselor la distanță. Natură 500, 575-579 (2013).

  11. 11.

    Syed, EC și colab. Acțiunea de inițiere formează codificarea mezolimbică a dopaminei a recompenselor viitoare. Nat. Neurosci. 19, 34-36 (2016).

  12. 12.

    Morris, G., Nevet, A., Arkadir, D., Vaadia, E. și Bergman, H. Neuronii dopaminei Midbrain codifică deciziile pentru acțiuni viitoare. Nat. Neurosci. 9, 1057-1063 (2006).

  13. 13.

    da Silva, JA, Tecuapetla, F., Paixão, V. & Costa, RM Activitatea neuronului dopaminic înainte de porțile de inițiere a acțiunii și revigorează mișcările viitoare. Natură 554, 244-248 (2018).

  14. 14.

    Fiorillo, CD, Tobler, PN și Schultz, W. Codificare discretă a probabilității și incertitudinii recompensei de către neuronii dopaminergici. Ştiinţă 299, 1898-1902 (2003).

  15. 15.

    Patriarchi, T., Cho, JR, Merten, K., Howe, MW și colab. Imagistica neuronală ultra-rapidă a dinamicii dopaminei cu senzori codificați genetic codificați. Ştiinţă 360, eaat4422 (2018).

  16. 16.

    Salamone, JD & Correa, M. Funcțiile motivaționale misterioase ale dopaminei mezolimbice. Neuron 76, 470-485 (2012).

  17. 17.

    Schultz, W. Semnal de recompensă predictivă a neuronilor dopaminergici. J. Neurophysiol. 80, 1-27 (1998).

  18. 18.

    Garris, PA & Wightman, RM Diferite cinetice guvernează transmisia dopaminergică în amigdală, cortexul prefrontal și striat: un studiu voltammetric in vivo. J. Neurosci. 14, 442-450 (1994).

  19. 19.

    Frank, MJ, Doll, BB, Oas-Terpstra, J. & Moreno, F. Genele dopaminergice pre-frontale și striatale prezic diferențe individuale în explorare și exploatare. Nat. Neurosci. 12, 1062-1068 (2009).

  20. 20.

    St Onge, JR, Ahn, S., Phillips, AG și Floresco, SB Fluctuații dinamice ale efluxului de dopamină în cortexul prefrontal și nucleul accumbens în timpul luării deciziilor bazate pe risc. J. Neurosci. 32, 16880-16891 (2012).

  21. 21.

    Bartra, O., McGuire, JT & Kable, JW Sistemul de evaluare: o meta-analiză bazată pe coordonate a experimentelor BOLD fMRI care examinează corelații neuronali de valoare subiectivă. Neuroimage 76, 412-427 (2013).

  22. 22.

    Ikemoto, S. Circuitele de recompensare a dopaminei: două sisteme de proiecție de la midbrainul ventral la nucleul accumbens-olfactiv complex de tuberculi. Brain Res. Brain Res. Rev. 56, 27-78 (2007).

  23. 23.

    Breton, JM și colab. Contribuții relative și cartografiere a dopaminei și a neuronilor GABA din zona tegmentală ventrală prin țintă de proiecție la șobolan. J. Comp. Neural. (2018).

  24. 24.

    Ungless, MA, Magill, PJ și Bolam, JP Inhibarea uniformă a neuronilor dopaminergici din zona tegmentală ventrală de către stimuli aversivi. Ştiinţă 303, 2040-2042 (2004).

  25. 25.

    Morales, M. & Margolis, EB Zona tegmentală ventrală: eterogenitate celulară, conectivitate și comportament. Nat. Rev. Neurosci. 18, 73-85 (2017).

  26. 26.

    Morris, G., Arkadir, D., Nevet, A., Vaadia, E. și Bergman, H. Mesaje coincidente dar distincte ale dopaminei din creierul mediu și ale neuronilor activi din punct de vedere striatal. Neuron 43, 133-143 (2004).

  27. 27.

    Floresco, SB, West, AR, Ash, B., Moore, H. & Grace, AA Modulația aferentă a arderii neuronului dopaminic reglementează diferențiat transmiterea dopaminică tonică și fazică. Nat. Neurosci. 6, 968-973 (2003).

  28. 28.

    Grace, AA Disreglementarea sistemului dopaminei în patofiziologia schizofreniei și depresiei. Nat. Rev. Neurosci. 17, 524-532 (2016).

  29. 29.

    Cohen, JY, Amoroso, MW și Uchida, N. Neuronii serotoninergici semnalează recompensă și pedeapsă pe scări multiple. eLife 4, e06346 (2015).

  30. 30.

    Niv, Y., Daw, N. & Dayan, P. Cât de repede se lucrează: vigoarea răspunsului, motivația și dopamina tonică. Adv. Neural Inf. Proces. Syst. 18, 1019 (2006).

  31. 31.

    Bayer, HM, Lau, B. & Glimcher, PW Statistici ale trenurilor cu vârf de neuron dopamină din creierul mediu în primatul treaz. J. Neurophysiol. 98, 1428-1439 (2007).

  32. 32.

    Chergui, K., Suaud-Chagny, MF & Gonon, F. Relația neliniară între fluxul de impuls, eliberarea de dopamină și eliminarea dopaminei în creierul șobolanului in vivo. Neuroştiinţe 62, 641-645 (1994).

  33. 33.

    Parker, NF și colab. Recompensarea și codificarea alegerii în terminalele neuronilor dopaminei midbrain depinde de țintă striatală. Nat. Neurosci. 19, 845-854 (2016).

  34. 34.

    Menegas, W., Babayan, BM, Uchida, N. și Watabe-Uchida, M. Inițializarea opusă noilor indicii în semnalizarea dopaminei în striatul ventral și posterior la șoareci. eLife 6, e21886 (2017).

  35. 35.

    Trulson, ME Înregistrarea simultană a neuronilor substantia nigra și eliberarea voltammetrică a dopaminei în caudatul comportamentului pisicilor. Brain Res. Taur. 15, 221-223 (1985).

  36. 36.

    Glowinski, J., Chéramy, A., Romo, R. & Barbeito, L. Reglarea presinaptică a transmisiei dopaminergice în striat. Cell. Mol. Neurobial. 8, 7-17 (1988).

  37. 37.

    Zhou, FM, Liang, Y. și Dani, JA Activitatea colinergică nicotinică endogenă reglează eliberarea de dopamină în striat. Nat. Neurosci. 4, 1224-1229 (2001).

  38. 38.

    Threlfell, S. și colab. Eliberarea striatală a dopaminei este declanșată de activitatea sincronizată în interneuronii colinergici. Neuron 75, 58-64 (2012).

  39. 39.

    Cachope, R. și colab. Activarea selectivă a interneuronilor colinergici îmbunătățește eliberarea dopaminei fiziologice acumulate: setarea tonului pentru procesarea recompenselor. Rapoarte Cell 2, 33-41 (2012).

  40. 40.

    Sulzer, D., Cragg, SJ & Rice, ME Neurotransmisia dopaminei striatale: reglarea eliberării și absorbției. Ganglia bazală 6, 123-148 (2016).

  41. 41.

    Floresco, SB, Yang, CR, Phillips, AG & Blaha, CD Stimularea amigdalei basolaterale evocă efluxul de dopamină dependent de receptorul glutamatului în nucleul accumbens al șobolanului anesteziat. Euro. J. Neurosci. 10, 1241-1251 (1998).

  42. 42.

    Jones, JL și colab. Amigdala bazilaterală modulează eliberarea terminală a dopaminei în nucleul accumbens și răspunsul condiționat. Biol. Psihiatrie 67, 737-744 (2010).

  43. 43.

    Schultz, W. Răspunsurile neuronilor dopaminei midbrain la stimulii comportamentali de declanșare la maimuță. J. Neurophysiol. 56, 1439-1461 (1986).

  44. 44.

    Berke, JD Ce înseamnă dopamina? Nat. Neurosci. 21, 787-793 (2018).

  45. 45.

    Bromberg-Martin, ES, Matsumoto, M. și Hikosaka, O. Activitate tonică și anticipativă fazică distinctă în neuronii de habenula laterală și dopamină. Neuron 67, 144-155 (2010).

  46. 46.

    Pasquereau, B. & Turner, neuronii Dopamine RS codifică erorile în prezicerea apariției declanșării mișcării. J. Neurophysiol. 113, 1110-1123 (2015).

  47. 47.

    Fiorillo, CD, Newsome, WT și Schultz, W. Precizia temporală a predicției recompensei în neuronii dopaminergici. Nat. Neurosci. 11, 966-973 (2008).

  48. 48.

    Morita, K. și Kato, A. Ramparea dopaminei striatale poate indica o învățare flexibilă a întăririi cu uitarea în circuitele ganglionilor cortico-bazali. Față. Circuite neuronale 8, 36 (2014).

  49. 49.

    Rampele de dopamină Gershman, SJ sunt o consecință a erorilor de predicție a recompensei. Neural Comput. 26, 467-471 (2014).

  50. 50.

    Nicola, SM Ipoteza abordării flexibile: unificarea efortului și a ipotezelor de răspuns pentru rolul nucleului accumbens dopamina în activarea comportamentului care caută recompensa. J. Neurosci. 30, 16585-16600 (2010).

  51. 51.

    Paxinos, G. și Watson, C. Brainul de șobolan în coordonatele stereotaxice 5th edn (Elsevier Academic, 2005).

  52. 52.

    Witten, IB și colab. Linii de șobolani cu șobolani recombinază: instrumente, tehnici și aplicații optogenetice la armarea mediată de dopamină. Neuron 72, 721-733 (2011).

  53. 53.

    Sugrue, LP, Corrado, GS & Newsome, WT Potrivirea comportamentului și reprezentarea valorii în cortexul parietal. Ştiinţă 304, 1782-1787 (2004).

  54. 54.

    Wong, JM și colab. Derivatizarea clorurii de benzoil cu spectrometrie de masă cromatografică lichidă pentru metabolomica direcționată a neurochimicilor în probele biologice. J. Chromatogr. A 1446, 78-90 (2016).

  55. 55.

    Chung, JE și colab. O abordare complet automatizată pentru sortarea spike. Neuron 95, 1381-1394 (2017).

  56. 56.

    Kvitsiani, D. și colab. Structurile distinctive de comportament și de rețea se corelează cu două tipuri interneuron în cortexul prefrontal. Natură 498, 363-366 (2013).

  57. 57.

    Grace, AA & Bunney, BS Controlul tiparului de tragere în neuronii dopaminali nigral: focul de foc. J. Neurosci. 4, 2877-2890 (1984).

  58. 58.

    Lerner, TN și colab. Analizele intacte-creier dezvăluie informații distincte purtate de subcircuitele SNc de dopamină. Celulă 162, 635-647 (2015).

Descărcați referințe

Mulţumiri

Îi mulțumim lui P. Dayan, lui H. Fields, lui L. Frank, lui C. Donaghue și lui T. Faust pentru comentariile lor despre versiunea timpurie a manuscrisului și V. Hetrick, R. Hashim și T. Davidson pentru asistență tehnică și consultanță. Această lucrare a fost susținută de Institutul Național pentru Abuzul de Droguri, Institutul Național de Sănătate Mintală, Institutul Național de Tulburări neurologice și Stroke, Universitatea din Michigan, Ann Arbor și Universitatea din California, San Francisco.

Referent de informații

Natură mulțumim Margaret Rice și celorlalți comentatori anonimi pentru contribuția lor la revizuirea de la egal la egal a acestei lucrări.

informaţii autor

AM a efectuat și a analizat electrofiziologia și fotometria și a aplicat modelul computational. JRP a efectuat și a analizat microdializa cu ajutorul J.-MTW și supravegherea de către RTKAAH a dezvoltat sarcina comportamentală și configurarea inițială a fotometriei și a efectuat voltammetria. LTV a urmărit și analizat retrograda. TP și LT au dezvoltat senzorul dLight și expertiza partajată. JDB a proiectat și a supravegheat studiul și a scris manuscrisul.

Interese concurente

Autorii nu declară interese concurente.

Corespondența cu Joshua D. Berke.