Dissocierbar dopamin-dynamik för lärande och motivation (2019)

https://www.nature.com/articles/s41586-019-1235-y

Abstrakt

Dopaminprojektionen från ventralt tegmentalt område (VTA) till nucleus accumbens (NAc) är avgörande för motivation att arbeta för belöningar och belöningsdrivet lärande. Hur dopamin stöder båda funktionerna är oklart. Dopamincellspikning kan koda förutsägelsefel, som är viktiga inlärningssignaler i beräkningsteorier om adaptivt beteende. Däremot ramper dopaminfrisättning upp när djur närmar sig belöningar, vilket speglar belöningsförväntningen. Denna felaktighet kan återspegla skillnader i beteendeuppgifter, långsammare förändringar i dopamincellspikning eller spikoberoende modulering av dopaminfrisättning. Här jämför vi spikning av identifierade VTA-dopaminceller med NAc-dopaminfrisättning i samma beslutsuppgift. Ledtrådar som indikerar en kommande belöning ökade både spiking och release. Emellertid släpptes NAc-kärnans dopaminfrisättning också med dynamiskt utvecklande belöningsförväntningar, utan motsvarande förändringar i VTA-dopamincellspikning. Våra resultat tyder på en grundläggande skillnad i hur dopaminfrisättning regleras för att uppnå distinkta funktioner: sändningssurnsignaler främjar inlärning, medan lokal kontroll driver motivation.

Huvudsida

Dopamin är känt relaterat till "belöning" - men hur exakt? En funktion innebär att man lär sig från oväntade belöningar. Korta ökningar av dopamincellbränning kodar belöningsförutsägningsfel (RPE)1,2,3-Läsningssignaler för att optimera framtida motiverat beteende. Dopaminmanipulationer kan påverka inlärning som om de förändrar RPE4,5,6, men de påverkar också motiverade beteenden omedelbart, som om dopamin-signaler belönar förväntan (värde)5. Vidare eskalerar NAc dopamin under motiverad tillvägagångssätt, vilket överensstämmer med dopaminkodningsvärdet7,8,9,10,11.

Med få undantag2,12,13, dopaminbränning i mitten har undersökts under klassisk konditionering i huvudfasta djur3,14, till skillnad från förekomstdopaminfrisättning. Vi jämförde därför avfyrning med frigöring under samma förhållanden. Vi identifierade VTA dopaminneuroner genom att använda optogenetisk märkning3,13. För att mäta NAc-dopaminfrisättning använde vi tre oberoende metoder-mikrodialys, voltammetri och den optiska sensorn dLight15-Med konvergerande resultat. Vår primära slutsats är att även om RPE-skalade VTA-dopaminspetsbyxor ger abrupta förändringar i dopaminfrisättning som är lämpliga för inlärning uppstår separata NAc-dopaminfluktuationer i samband med motivation oberoende av VTA-dopamincellsändning.

Dopamin spår motivation i nyckelposi

Vi utbildade råttor i en operant "bandit" uppgift5 (Fikon. 1a, b). Vid varje försök uppmanade belysning av en näspoke-port ('Light-on') att närma sig och komma in ('Center-in'). Efter en variabel hållperiod (0.5-1.5 s) ledde vitt brus ('Go cue') råttan att dra sig tillbaka ('Center-out') och peta en angränsande port ('Side-in'). Vid belönade försök åtföljdes denna Side-in-händelse av ett mathopparklick som fick råttan att närma sig en mathamn ('Food-port-in') för att samla en sockerkulla. Val åt vänster och höger belönades var och en med oberoende sannolikheter, som ibland förändrades utan varning. När råttor var mer benägna att få belöningar var de mer motiverade att utföra uppgiften. Detta var uppenbart i deras 'latens' - tiden mellan Light-on och Center-in-vilket var känsligt för resultatet av de föregående fåproverserna (Extended Data Fig. 1) och därmed skalas omvänt med belöningshastighet (Fig. 1b).

Fig. 1: Dopaminfrigörande covaries med belöningsgrad specifikt i NAc-kärn och ventral prelimbisk cortex.
figure1

a, Bandit-uppgift händelser. b, Exempelsession. Översta raden, belöningssannolikheter i varje block (vänster: höger); rad två, fästingar anger resultatet av varje försök (lång, belönad; kort, obetald); rad tre, läckande integratoruppskattning av belöningsfrekvens (svart) och löpande genomsnitt för latens (cyan; inverterad log-skala); nedre raden, NAc-kärndopamin i samma session (1-min prover). DA, dopamin. c, Top, mikrodialysplatser i medial frontal cortex och striatum (se även Extended Data Fig. 1). n = 51 sondplatser från 12 råttor, vardera med 2 mikrodialysprober som sänktes mellan sessionerna. Stapelfärg indikerar korrelation mellan dopamin och belöningsgrad. ACC, främre cingulär cortex; dPL, dorsal prelimbisk cortex; vPL, ventral prelimbisk cortex; IL, infralimbisk cortex; DMS, dorsal-medial striatum. Medelvärden, tvärkorrelogram i genomsnitt mellan dopamin och belöningsgrad. Röda staplar indikerar 99% konfidensintervall från blandad tidsserie. Nederst, relationer mellan neurokemikalier och belöningsgrad (multipel regression). NA, noradrenalin; 5-HT, serotonin; ACh, acetylkolin; GABA, y-aminosmörsyra; Glu, glutamat; NM, normetadrenalin; DOPAC, 3,4-dihydroxifenylättiksyra; 3-MT, 3-metoxytyramin; HVA, homovanillinsyra; 5-HIAA, 5-hydroxiindolättiksyra. d, Effekt av blockövergångar på belöningsgrad (vänster), latens (mitten) och NAc-kärndopamin (höger). Övergångar klassificerades av huruvida den erfarna belöningsgraden ökade (n = 25) eller minskat (n = 33). Data är från alla 14 sessioner där NAc-kärnan dopamin mättes (en per råtta, kombinerad data från nya och tidigare rapporterade5 djur) och ritas som medelvärde ± sem e, Sammansatta kartor över korrelationer mellan dopamin och belöningsgrad (n = 19 råttor, 33 sessioner, 58 sondplaceringar). Hjärnatlasskisserna i denna figur har reproducerats med tillstånd från Paxinos och Watson, 200551.

Vi rapporterade tidigare5 en korrelation mellan NAc-dopaminfrisättning och belöningsfrekvens, i överensstämmelse med den motivativa rollen av mesolimbisk dopamin16. Här syftade vi först till att bestämma om detta förhållande observerades i före detta mål, i överensstämmelse med "globalt sända" dopamin-signalering17, eller är begränsad till specifika delregioner. Vi förutspådde vidare att dessa dopamindynamik skulle skilja sig mellan striatum och cortex, eftersom dessa strukturer har en distinkt upptagningsnedbrytningskinetik för dopamin18 och kan använda dopamin för olika funktioner19,20.

Med hjälp av mikrodialys med högprestanda vätskekromatografi-masspektrometri (HPLC-MS) undersökte vi medial frontal cortex och striatum (Fig. 1c, Utökad data fig. 1). Vi analyserade samtidigt 21-neurotransmittorer och metaboliter med 1-min tidsupplösning och använde regression för att jämföra kemiska tidsserier med beteendevariabler (Extended Data Fig. 2).

Vi replikerade korrelationen mellan belöningsgraden och NAc dopamin-i motsats till andra neurotransmittorer (Fig. 1c, d). Emellertid var detta förhållande lokaliserat till NAc-kärnan och fanns inte i NAc-skalet eller dorsal-medialstriatumet. I motsats till vår hypotes ansåg vi ett liknande rumsligt mönster i frontalkortex: dopaminfrisättning korrelerat med belöningsfrekvens i ventral prelimbisk cortex, men inte i mer dorsala eller ventrala subregioner (Fig. 1c, e). Även oväntat har dessa dubbla "hotspots" av värderelaterad dopaminfrisättning en intressant parallell vid human neuroimaging: blodsyranivåberoende signal korrelerar med subjektivt värde, speciellt i NAc och ventral-medial prefrontal cortex21.

VTA-bränning är inte relaterad till motivation

Därefter tog vi upp om huruvida denna motivationsrelaterade förekomstdopamin uppstår genom variabel avfyring av dopaminceller från midhjärnan. NAc-kärnan mottar dopamininmatning från laterala delar av VTA (VTA-1)6,22,23. I huvudfasta möss har VTA-1 dopaminneuroner rapporterade enhetliga, RPE-liknande svar på konditionerade stimuli3. För att registrera VTA-1 dopaminceller infekterade vi VTA med adenoassocierat virus (AAV) för Cre-beroende uttryck av channelrhodopsin (AAV-DIO-ChR2) hos råttor som uttrycker Cre rekombinas under en tyrosinhydroxylas (TH) promotor (se Metoder). Optrodes (Fig. 2a, b) inspelade enhetssvar på korta blå-laserpulser (Fig. 2c, Utökad data fig. 3, 4, Kompletterande Fig. 1). Vi hittade 27 väl isolerade VTA-l-celler med tillförlitliga korta latensspikar och identifierade dem som dopaminneuroner.

Fig. 2: Aktiviteten hos identifierade DTA-dopaminneuroner förändras inte med belöningsfrekvens.
figure2

a, Vänster, schematisk optrode med 16 tetroder runt optisk fiber med en diameter på 200 µm. Höger, exempel på placering av optroden inom lateral VTA. Skalstång, 1 mm. Röd dopamincellmarkör tyrosinhydroxylas; grön, ChR2 – EYFP; gul, överlappning. För alla placeringar, se Utökad data Fig. 3. b, VTA dopamincellspikar. Röda stavar indikerar detekterade brister och antal spikar i varje brist (se Metoder). Skala, 0.5 s, 0.5 mV. c, Exempel neuronrespons på laserpulser med ökande varaktighet. d, Session-wide avfyrningsgrad mot spikbredd (vid halv-max) för varje VTA-cell. Blå, märkta dopaminceller; lila, ett distinkt kluster av antagna icke-dopaminneuroner. Insatser, exempel på genomsnittliga vågformer (negativ spänning uppåt). e, Avfyrningshastighet (blå; 1-min-soptunnor) för en VTA-dopaminneuron under en bandituppgift. Latency (cyan) covaries med belöningsgrad, men skjuthastighet inte. f, Firningshastighet för alla VTA-neuroner (blå, dopamin, lila, icke-dopamin, grå, oklassificerad) i låga versus höga belöningsgrader. Ingen visade signifikanta skillnader (Wilcoxon signerat rank test med 1-min-flaskor, alla P > 0.05 efter korrigering för flera jämförelser). gGenomsnittlig korrelation mellan dopamincellsbränning och belöningsfrekvens visar ingen signifikant relation. h, Analys av dopaminbränningshastighet vid blockövergångar (samma format som Fig. 1d). n = 95 belöningar ökar, 76 minskar. i. Fördelningar mellan interspikintervaller (ISI, vänster) och spikbyte (höger) är oförändrade mellan högre och lägre belöningsfrekvensblock (Kolmogorov-Smirnov-statistik: ISI, 0.138, P = 0.92; skurar, 0.165, P = 0.63).

Alla dopaminneuroner var toniskt aktiva, med relativt låga avfyrningshastigheter (medelvärde 7.7 Hz, intervall 3.7–12.9 Hz; jämfört med alla VTA-l-neuroner registrerade tillsammans med dopaminceller, P <0.001 Mann-Whitney-test med enstjärtad). De hade också spikvågformer med längre varaktighet (P <5 × 10-6, one-tailed Mann-Whitney test), även om det fanns undantag (Fig. 2d), vilket bekräftar att vågformens varaktighet är en otillräcklig markör för dopaminceller in vivo3,24. Ett distinkt kluster av VTA-l-neuroner (n = 38, från samma sessioner) med korta vågformer och högre avfyrningshastigheter (> 20 Hz; medelvärde 41.3 Hz, intervall 20.1–97.1 Hz) inkluderade inga märkta dopaminceller. Vi antar att dessa snabbare avfyrande celler är GABAergiska och / eller glutamatergiska3,25, och hänvisa till dem som "icke-dopamin" nedan.

Vi registrerade samma dopaminceller över flera beteendeuppgifter. VTA-1-dopaminceller svarade starkt på slumpmässigt tidsbegränsade mat-hopper-klick och gradvis mindre starkt när dessa klick gjordes mer förutsägbara genom föregående signaler (Extended Data Fig. 5). Detta överensstämmer med kanonisk RPE-liknande kodning av dopaminceller i Pavlovian-uppgifter2,3,26.

På grundval av bevis från bedövade djur har det tidigare hävdats att förändrade dopaminnivåer uppmätta med mikrodialys härrör från förändringar i tonic-avfyrningshastigheten för dopaminceller27 och / eller andelen aktiva versus inaktiva dopaminneuroner28. I bandituppgiften var dock tonisk dopamincellsändning i varje försöksblock likgiltig mot belöningsgraden (Fig. 2e, g). Det fanns ingen signifikant förändring i bränningsgraden för individuella dopaminceller, eller de hos någon annan VTA-1-neuron, mellan högre och lägre belöningsblock (Fig. 2f, h; se även ref. 29 för överensstämmande resultat i huvudfasta möss). Det var inte heller någon övergripande förändring i den hastighet vid vilken dopaminceller bränner spikar (fig. 2i). Vidare observerade vi inte några dopaminceller som växlar mellan aktiva och inaktiva tillstånd. Andelen tidsdopaminceller som spenderades inaktiva (långa interspikintervaller) var mycket låga och ändrade inte mellan högre och lägre belöningsblock (Fig. 2i).

Anatomin för VTA-NAc-dopaminprojektionen har undersökts intensivt6,22,23, men med tanke på denna uppenbara funktionella otillbörlig matchning mellan avfyring och släpp-vi bekräftade att vi spelade in från den korrekta delen av VTA. Små injektioner av retrogradspårarkoleratoxin B (CTb) i NAc-kärna resulterade i tät märkning av TH+ neuroner inom samma VTA-l-område som våra optrode-inspelningar (Extended Data Fig. 3). Inom den ungefärliga inspelningszonen är 21% av TH+ cellerna var också CTb+, och detta är sannolikt en underskattning av bråkdelen av NAc-kärnprojektiva VTA-1 dopaminceller, eftersom våra spårinsprutningar inte fullständigt fyllde NAc-kärnan. Således vårt prov av n = 27 märkta VTA-dopaminceller (plus många fler omärkta celler) inkluderar nästan säkert NAc-kärnprojektionsceller. Slutligen, i en ytterligare råtta registrerade vi två taggade VTA-l-dopaminceller efter infusion av AAV selektivt i NAc-kärnan (Extended Data Fig. 3). Båda retrograd infekterade cellerna hade avfyringsmönster som liknade de andra märkta dopamincellerna i alla avseenden, inklusive brist på toniska avfyringsförändringar med varierande belöningsgrad (Kompletterande bild 1). Vi drar slutsatsen att förändringar i tonisk VTA-l-dopamincellbränning inte är ansvariga för motivationsrelaterade förändringar i förekomsten av dopaminfrisättning.

Spårningsfrisättning på flera tidsskala

Ger NAc dopamin frisättning spår belöning i sig, som föreslagits i vissa teorier30, eller är denna korrelation driven av dynamiska fluktuationer i dopaminfrisättning som är för snabba för att lösa med mikrodialys? Vi argumenterade för den senare möjligheten på basis av voltammetrydata5, men sökte bekräftelse med hjälp av en oberoende mätning av dopaminfrisättning som kan spänna över olika tidsplaner. DLight1-satsen av genetiskt kodade optiska dopaminindikatorer konstruerades genom att införa cirkulärt permuterad GFP i dopamin D1-receptorer15. Bindning av dopamin orsakar en mycket specifik ökning av fluorescens (Fig. 3a). Vi infunderade AAV i NAc för att uttrycka antingen dLight1.1 (fyra verifierade NAc-placeringar från tre råttor) eller den ljusare varianten dLight1.3b (sex verifierade NAc-placeringar från fyra råttor) och övervakad fluorescens genom fiberfotometri. Vi observerade tydliga NAc-dopaminreaktioner på Pavlovian-belönings-prediktiva signaler, på samma sätt som VTA-dopamincellbränning (Extended Data Fig. 5).

Fig. 3: Övervakningstider för dopaminmätning.
figure3

a, Fluorescensrespons av dLight1.3b. Inset, titreringar av dopamin (n = 15 intressanta regioner (ROI)) och noradrenalin (n = 9). Huvudfigur, neurotransmittorer som används på badet (alla n = 12 ROI). Hans, histamin. b, Provbandit-session inklusive normaliserad NAc dLight1.3b-signal (1-min-rutor). c, dLight-signal ändras med blockövergångar. n = 35 belöningsgraden ökar, 45 minskar. d, Korskorrelation mellan dLight och belöningsfrekvens. e, Närmare bild av den skuggade delen av b. Pilar: svart, mitt-näsa-in; ljusröd, Side-in (belönad); ljusblå, Side-in (obetalad); mörkröd, Food-port-in (belönad); mörkblå, Food-port-in (obetalad). Nästa rader: läckande integrator uppskattning av belöningsgrad; dLjus vid låg upplösning (1 min); dLjus vid hög upplösning (50 Hz, grön; fempunkts medianfiltrerad, svart); modelltillståndsvärden (cyan); och RPE (magenta). Efter flera omvärderade försök är tillståndsvärdena tidigt i försöket låga, sedan ger belöningsleverans en positiv RPE och åtföljande kraftig ökning av dopamin. Efterföljande belönade försök minskar RPE, men ökar tillståndsvärdena, åtföljd av rampning av dopamin. fKorta tidsskala korskorrelationer visar nära relation mellan dLight och värde, och mindre relation till RPE. g, Korrelationer inom rättegång mellan modellvariabler och dLight med olika fördröjningar; korrelation till både värde och RPE är starkast till dLight cirka 0.3 s senare. hI alla sessioner var maximal korrelation större för värde än för RPE eller belöningsränta.

För bandituppgiften undersökte vi först dLight-signalen i 1-min-flaskor (Fig. 3b) för jämförelse med mikrodialys. Vi såg återigen en tydlig relation mellan NAc-dopaminfrisättning och belöningsfrekvens, både i korrelation och analys av blockövergångar (Fig. 3c, d). Vi undersökte närmare närmare hur det här förhållandet uppstår. I stället för långsamt varierande på en tidsperiod av minuter visade dLight-signalen hög dynamiska fluktuationer inom och mellan varje försök (fig. 3e). Vi jämförde dessa fluktuationer med momentana tillståndsvärden och RPEs beräknas från en förstärkningslärande modell (en semi-Markov beslutsprocess5). Som tidigare rapporterats med användning av voltammetri5, moment-för-moment NAc-dopamin visade en stark korrelation med tillståndsvärdena (fig. 3f), synlig som rampa upp inom försök när belöningar förväntades (Fig. 3e). Vi såg också övergående ökningar med mindre förväntade belöningsleveranser, i överensstämmelse med RPE (undersökt nedan). I varje dLight-session visade dopamin en starkare korrelation med värden än antingen RPE eller belöningsgrad (Fig. 3h, Utökad data fig. 6). Korrelationer med både tillståndsvärden och RPE var maximala med avseende på dLight-signalen ~ 0.3 s senare, i överensstämmelse med en kort fördröjning orsakad av neural bearbetning av signaler och sensorns responstid (Fig. 3g; med voltammetri rapporterade vi en fördröjning på 0.4–0.5 s)5.

Dopaminbränning förklarar inte frisättning

Vi jämförde därefter dopamincellsbränning och släppte runt bandit-uppgiftshändelser. Externa stimuli vid Light-on, Go cue och belönad Side-in (mat-hopper-klick) vart och ett framkallade en snabb skjutningsökning (Fig. 4a). Dessa svar observerades i den stora majoriteten av dopaminceller (Fig. 4c), även om den relativa storleken av svaren på olika signaler varierade från cell till cell (Kompletterande Fig. 1). NAc dLight-signalen svarade också snabbt och tillförlitligt på var och en av dessa framträdande signaler (fig. 4b, c), som överensstämmer med bristning av dopaminceller som driver dopaminfrisättning.

Fig. 4: Phasic VTA dopaminavfyrning tar inte hänsyn till NAc-dopamin-dynamiken.
figure4

a, Event-aligned aktivitet av VTA-1 dopamin celler. Top, spike rasters för en representativ cell; botten, genomsnittlig stigningshastighet (n = 29). I alla paneler anger felband ± sem b, Event-aligned NAc dLight. Topprepresentation botten, medelvärde (n = 10), normaliserat till toppbelönat Side-in-svar. Under hela denna siffra visas dLight-signaler i förhållande till en 2-s 'baslinje' epok som slutar 1 s före Center-in. Anteckningar ökar (pilar) strax före Center-in och Food-port-in. c, Kumulativa fördelningar av tid som tagits för dopaminceller (fast; n = 29), dLight (streckad; n = 10), för att öka efter cue debut (shuffle test jämfört med baslinjen, 10,000 shuffles, P <0.01, flera jämförelser korrigerade). För Light-on ingår endast latenser <1 s; för Side-in endast belönade försök. Median latenser (från sigmoidpassning): Tänds, avfyrar 152 ms, dLight 266 ms; Vänta, skjut 67 ms, dLight 212 ms; Side-in, avfyrar 85 ms, dLight 129 ms. Icke-dopaminceller var typiskt likgiltiga med avseende på start (Utökad data Fig. 8). d, Distinct cue-framkallade, näringsrelaterad dopaminfrisättning. Topp, genomsnittlig dopamincellbränning (n = 29); mitten, genomsnittlig dLight (n = 10); botten, voltammetri (n = 6), normaliserat till topp-kort-latens Light-on-svar. Vänster paneler, latenser <1 s, höger, latenser> 2 s. Data är inriktade på Light-on (fast) eller Center-in (prickat); röd streckad linje, median latens. För längre latenser ökar inte skjutningen nära Center-in, men dLight och voltammetry visar en markant ökning. e, Scatterplot som jämför toppsignaler som är inriktade på Light-on (y axel) eller center-in (x axel). För varje cell anger sessionsanslutna rader data för distinkta latensintervaller (<1 s,> 2 s). Dopamin-avfyrning (högst upp) visar konsekvent Light-on-svar för kort latensförsök (tvåvägs variansanalys (ANOVA), justering × latensinteraktion, F = 7.47, P = 0.0008). dLight (mitten), voltammetri (botten) signaler är konsekvent bättre anpassade till Center-in (tvåvägs ANOVA för dLight: justering × latensinteraktion, F = 9.28, P = 0.0043). f, Dopamin ökar under tillvägagångssätt, kvantifierad som rampvinkel (se Metoder). Cirklar indikerar individuella dopaminceller (n = 29), dLight-sessioner (n = 10).

Vi såg också tydliga ökningar av NAc-dopaminfrigöringen när råttor närmade sig startporten (strax före centrum) och matporten (precis före matporten). Detta passar bra med den omfattande voltammetri litteraturen som visar att motiverade beteendebeteenden åtföljs av snabba ökningar av NAc-kärndopamin5,7,8,9,10,11. Emellertid visade VTA-1-dopamincellpopulationen inte en motsvarande ökning av avfyring vid dessa tider (Fig. 4a; se Utökade data Fig. 7 för ytterligare jämförelser, även för icke-dopaminceller).

För att bättre distansera cue-framkallad och tillvägagångssrelaterad dopaminaktivitet separerade vi försök med korta (<1 s) och långa (> 2 s) latenser (Fig. 4d, e). Ökningar av dopamincellbränning var konsekvent låsta till cue start vid Light-on, företrädesvis för korta latensförsök. Alla 25 dopaminceller med signifikant avfyringshastighet ökar efter att Light-on var bättre inriktad på Light-on än Centre-in (Fig. 4e). Däremot var ökningen av NAc-dopaminfrisättning före Center-in skild från cue-framkallad dopaminfrisättning (Fig. 4d, e). dLight-signaler ökade konsekvent före inloggning på långa latentprov (tio av tio sessioner) och före matport (i nio av tio sessioner) utan motsvarande ökning av dopaminbränning (Fig. 4f).

Slutligen ansåg vi hur händelsesrelaterade dopaminsignaler beror på den senaste belöningshistoriken. Under den tidiga delen av varje försök var inte dopamincellbränning beroende av belöningsgraden (Fig. 5a), trots påverkan av belöningsfrekvensen på motivation (Fig. 5b). Därefter var det fasiska svaret på belöningskön vid Side-in tillförlitligt starkare när belöningsgraden var lägre (Fig. 5a), i överensstämmelse med positiv RPE-kodning. När denna belöningskur blev utelämnad dämpade dopaminceller bränning, men kodning av negativa RPE var mycket svagare eller frånvarande, oavsett om den undersöktes på befolkningsnivå (Fig. 5a, b) eller som enskilda celler (Extended Data Fig. 8). Det har tidigare föreslagits att negativa RPE kodas under dopaminpausernas varaktighet31, men detta observerades i bara 2 av 29 individuella neuroner. Liknande resultat erhölls om belöningsförväntningarna uppskattades på andra sätt, inklusive testbaserade förstärkningsinlärningsmodeller (skådespelarkritiker och Q-lärande) eller helt enkelt genom att räkna de senaste belöningarna (Extended Data Fig. 8).

Fig. 5: Belöningshistorik påverkar VTA-dopamincellsändning och NAc-dopaminfrisättning på olika sätt.
figure5

a, Topp, genomsnittlig avfyrningshastighet för dopaminceller (n = 29) anpassad till Side-in, uppdelad efter belöningsgrad (terciles, beräknas separat för varje cell). Före Side-in beror inte aktivitet på belöningsförväntningar. Efter Side-in belönade (röda) och obetalade (blå) försök visas separat. Mat-klick-svaret är starkare när belöningsgraden är låg, överensstämmer med kodning av positiva RPE. Nedre delen av enskilda dopaminceller med en avfyrningshastighet som signifikant varierar med belöningsgraden vid varje ögonblick (shuffle test, P <0.01, flera jämförelser korrigerade). Bockmarkeringar överst visar tider när denna bråkdel var betydligt högre än slumpen (binomial, P <0.01). Efter Side-in testas endast negativa korrelationer - det vill säga potentiell RPE-kodning. b, Regression plots för sessioner med inspelade dopaminceller, som visar effekten av den senaste belöningshistoriken på (log-) latens (topp) och dopaminspiking. Asterisker indikerar signifikanta regressionsvikter (t-testa, P <0.05). Under 0.5 s före Go cue (medan råtta måste upprätthålla en stadig näsa för att rättegången ska fortsätta) påverkas dopaminspikning inte av belöningshistoriken (mitten). Detta ändras när resultatet avslöjas (botten; bedömer topp eller tråg av aktivitet i 0.5 s efter Side-in), men endast för belönade försök. c, d, Samma som ovan, med undantag för dLight (normaliserat för att maximera sidoproblem). Dopaminfrisättning väger på ett tillförlitligt sätt med belöningsgraden redan före Insidan.

Dopaminfrisättning vid Side-in visade också en tydlig, övergående kodning av positiva RPE, men inte av negativa RPE (Fig. 5c, d). Detta dLight-svar var något fördröjt och förlängt jämfört med avfyring, i överensstämmelse med tiden som tagits för frisättning och återupptagning32, men förblev ett underliggande fenomen. I motsats till avfyring var dock dLight-signaler tidigt i varje försök större när nya prövningar hade belönats (Fig. 5c), överensstämmer med värdekodning. Vi observerade detta beroende av belöningshistorik även när råttan inte rörde sig aktivt, men behöll en näspoke i mittporten medan vi väntade på Go-köen (Fig. 5d). Sammanfattningsvis drar vi slutsatsen att NAc-dopaminfrisättning återspeglar både cue-framkallade svar och belöningsförväntningar, och att endast den förstnämnda kan vara väl redovisad för VTA-l-dopamincellsändning.

Diskussion

VTA-1 ger den övervägande källan till dopamin till NAc-kärnan6,23,24. VTA-1-dopaminceller, inklusive de som projicerar till NAc-kärnan, visar konsekvent RPE-kodningsutbrott3,12. VTA-utbrott anses vara särskilt viktiga för att driva NAc-dopamin32, och vi fann faktiskt att cue-framkallad VTA-burst matchades av NAc-utgåva. Vi fann emellertid dessutom värderelaterade mönster av NAc-dopaminfrisättning som inte genererades genom avfyrning av VTA-1-dopaminceller, antingen på långa (toniska) eller korta (fasiska) tidsplaner. Andra dopaminpopulationer kan ha olika signaler13,33,34, och vi kan inte utesluta möjligheten att avfyring av dopamincellsundpopulationer som inte registrerats härifrån ger värdebaserad dopamin i NAc-kärnan. Värderelaterad avfyrning har dock aldrig rapporterats för några dopaminceller, inom ett brett spektrum av studier. Våra resultat tyder på att NAc-dopamindynamiken kontrolleras på olika sätt, vid olika tidpunkter och för olika funktioner, och att inspelning av dopaminceller är viktigt men inte tillräckligt för att förstå dopaminsignaler35.

Utsläpp från dopaminterminaler påverkas kraftigt av lokala, icke-spikande mekanismer36,37,38,39,40. Exempelvis moduleras NAc-dopaminfrisättning genom den basolaterala amygdala även när VTA-spikning är farmakologiskt undertryckt41,42. Det har noterats i årtionden att lokal kontroll av dopaminfrisättning kan uppnå funktioner som skiljer sig från dopamincellspikning36,43, men detta har inte inkorporerats i teoretiska synpunkter på dopamin. Distinkta striatala subregioner bidrar till olika typer av beslut och kan påverka deras egna dopaminfrisättning enligt behov44. Det återstår att bestämma hur lokaliserad denna kontroll av dopaminfrisättning kan vara. En begränsning som delas av de 3 sätten som vi mätte dopaminfrisättningen är att de alla provar i en rumslig skala på minst 100 µm, medan mikroskopi in vivo antyder att dopaminfrisättning kan vara heterogen vid betydligt mindre skalor15.

Våra resultat stöder inte förekomsten av någon separat tonisk dopamin-signal som kan medföra motivativa effekter av dopamin. I stället löser dopaminskift som uppträder långsamt om de mätt långsamt (med mikrodialys) i snabba fluktuationer om de mäts snabbt (med voltammetri eller dLight). Dessutom inspelningar av identifierade VTA dopaminceller av oss själva och andra30 ge starka bevis mot ideen29 som förändras i tonisk dopamincellbränning driver toniska förändringar i dopaminfrisättning. Även om tonisk bränning kan förändras av skador eller narkotikamissbruk28, vi är inte medvetna om ihållande förändringar i skjuthastigheten i någon beteendeuppgift. Avfyrning kan rampas nedåt i en tidsskala på cirka 1 s under förväntan på motiverande relevanta händelser45,46. Denna nedgång är emellertid motsatsen till vad som krävs för att öka dopaminutsläppet med belöningsförväntning och i stället har mer likhet med en följd av övergående negativa prediktionsfel47. Även om fördröjda signaler som kodar för löpande belöningsfrekvens kan vara beräkningsmässigt användbara30, dopamin ger i stället snabbt fluktuerade fel- och värdesignaler. Det är fortfarande möjligt att vidhållna signaler beräknas vid ett efterföljande steg, genom intracellulära signaleringsvägar nedströms om dopaminreceptorer.

Många grupper har observerat rampande dopaminfrisättning, eftersom råttor närmar sig belöningar5,7,8,9,10,11, i överensstämmelse med kodning av eskalerande belöning förväntningar. Vissa har argumenterat för att dessa dopaminrampar helt enkelt återspeglar RPE, genom att föreställa sig att råttorna antingen snabbt glömmer värden48 eller att de har en förvrängd uppsättning statliga representationer49. Den senare tanken stöds inte av vår observation att ramping snabbt moduleras från försök till rättegång på grundval av uppdaterade belöningsförväntningar, blir starkare inom en kort följd av successiva belöningar medan RPE-liknande svar på signaler blir svagare (Fig. 3e). Mer allmänt sett kan alla teorier där dopamin endast förmedlar RPE (inlärningssignaler) inte stå för den väletablerade sambandet mellan pågående mesolimbisk dopamin och motivation16. NAc-kärnan är inte nödvändig för högt utbildade svar på konditionerade stimuli, men är särskilt viktigt när man bestämmer sig för att utföra tidskrävande arbete för att erhålla belöningar50. NAc-kärndopamin verkar ge en väsentlig dynamisk signal om hur värt det är att fördela tid och ansträngning att arbeta5,44, även om denna signal inte är närvarande vid VTA-dopamincellsändning.

Metoder

djur

Alla djurförfaranden godkändes av University of Michigan eller University of California San Francisco Institutional Committees on Use and Care of Animals. Hanråttor (300–500 g, antingen vildtyp Long-Evans eller TH-Cre+ med en Long Evans bakgrund52) bibehölls på en omvänd 12: 12 ljus: mörkcykel och testades under mörkfasen. Råttor var mildt matberövade och fick 15 g av standardlaboratorie råtta dagligen utöver de matfördelar som uppnåddes under uppgiftens prestanda. Ingen förberedelse för provstorlek utfördes. Utredarna var inte blinda för fördelning under experiment och resultatbedömning.


Beteende

Förträning och testning utfördes i datorstyrda Med Associates operantkammare (25 cm × 30 cm vid bredaste punkten) vardera med en fem-håls näsvinkelvägg, såsom tidigare beskrivits5. Bandit-uppgift sessioner använde följande parametrar: block längder var 35-45 försök, slumpmässigt vald för varje block; hålla perioden innan Go cue var 500-1,500 ms (enhetlig fördelning); sannolikheter för vänster-högerbelöning var 10, 50 och 90% (för elektrofysiologi, fotometri, voltammetri och tidigare rapporterade mikrodialysrotter5) eller 20, 50 och 80% (nyligen rapporterade mikrodialysråttor).

Nuvarande belöningsgraden uppskattades med hjälp av en tidsbaserad läckande integrator53. Belöningsgraden ökades varje gång en belöning mottogs och förfallit exponentiellt med en hastighet som bestämdes av parametern τ (tiden i s för att belöningsgraden minskar med ~ 63%, det vill säga 1-1 / e). För alla analyser, τ valdes utifrån råttans beteende, maximering av (negativ) korrelation mellan belöningsfrekvens och logg (latens) i varje session. Korrelationerna mellan förekomstdopamin och belöningsfrekvens var inte mycket känsliga för detta val av τ (Utökad data Fig. 1).

För att klassificera blockövergångar som "ökar" eller "sänker" i belöningsränta jämförde vi den genomsnittliga läckande integrationsbelöningsgraden i det sista 5-blocket i ett block till den genomsnittliga belöningsgraden i den första 8-minen i det efterföljande blocket.

Råttor som användes för elektrofysiologi och fotometri utförde också en pavlovisk inflygningsuppgift, i samma operatörskammare med husljuset på under sessionen. Tre auditiva signaler (2 kHz, 5 kHz och 9 kHz) var associerade med olika sannolikheter för matleverans (motvikt mellan råttor). Cues spelades som ett tåg av tonpips (100 ms på, 50 ms av) under en total varaktighet på 2.6 s följt av en fördröjningsperiod på 500 ms. Ledtrådar och oförutsedda belöningsleveranser levererades i pseudorandom-ordning med ett variabelt intervallintervall (15-30 s, enhetlig fördelning).


Mikrodialys

Kirurgi

Råttor implanterades bilateralt med styrkanyler (CMA, 830 9024) i cortex och striatum. En grupp (n = 8) fick en styrkanyl riktad mot prelimbisk och infralimbisk cortex (anteroposterior (AP) +3.2 mm, mediolateral (ML) 0.6 mm i förhållande till bregma; och dorsoventral (DV) 1.4 mm under hjärnytan) och en annan inriktad på dorsomedial striatum och nucleus accumbens på motsatt halvklot (AP +1.3, ML 1.9 och DV 3.4). Båda implantaten var vinklade 5 grader från varandra längs rostral – kaudalplanet. En andra grupp (n = 4) fick en styrkanyl riktad mot främre cingulatbarken (AP +1.6, ML 0.8 och DV 0.8) och en annan riktad accumbens (kärna / skal i motsatt halvklot vid AP +1.6, ML 1.4 och DV 5.5 (n = 2) eller AP +1.6, ML 1.9 och DV 5.7 (n = 2). Implantatets sidor motverkades över råttor. Djur fick återhämta sig under en vecka innan de omskolades.

Elkostnad

Vatten, metanol och acetonitril för mobila faser var av Burdick & Jackson HPLC-kvalitet, köpt från VWR (Radnor). Alla andra kemikalier köptes från Sigma Aldrich om inte annat anges. Artificiell cerebrospinalvätska (aCSF) omfattade 145 mM NaCl, 2.68 mM KCl, 1.40 mM CaCl2, 1.01 mM MgSO4, 1.55 mM Na2HPO4 och 0.45 mM NaH2PO4, justerat pH till 7.4 med NaOH. Ascorbinsyra (250 nM slutkoncentration) tillsattes för att minska oxidation av analyter.

Provuppsamling och HPLC-MS

På testdagen placerades djur i operantkammaren med hushållsljuset på. Custom-made koncentriska polyakrylonitrilmembranmikrodialysprober (1-mm dialyserande AN69-membran; Hospal) infördes bilateralt i styrkanylen och perfunderades kontinuerligt (Chemyx, Fusion 400) med aCSF vid 2 μl / min för 90 min för att möjliggöra jämvikt. Efter 5-min baslinjeinsamling släcktes hushållsljuset och cueing djuret till bandit-uppgiftens tillgänglighet. Provuppsamling fortsatte med 1-min-intervaller och prover omedelbart derivatiserades54 med 1.5 | il natriumkarbonat, 100 mM; 1.5 | il bensoylklorid (2% (volym / volym) bensoylklorid i acetonitril); och 1.5 | il isotopmärkt inre standardblandning utspädd i 50% (volym / volym) acetonitril innehållande 1% (volym / volym) svavelsyra och spetsad med deutererad ACh och kolin (C / D / N-isotoper) till en slutlig koncentration av 20 nM. Samlingen av provserier växlade mellan de två sonderna med 30-sekunders intervall i var och en av 26 sessioner, förutom en session där ett trasigt membran resulterade i bara en serie (totalt 51 provserier). Prover analyserades med hjälp av Thermo Scientific UHPLC-system (Accela eller Vanquish Horizon gränssnitt till en Quantum Ultra triple kvadrupol-masspektrometer utrustad med en HESI II ESI-sond), som fungerade i multipel reaktionsövervakning. Fem mikroliterprover injicerades på en Phenomenex-kärnskal bifenyl Kinetex HPLC-kolonn (2.1 mm x 100 mm). Mobil fas A var 10 mM ammoniumformiat med 0.15% myrsyra och mobil fas B var acetonitril. Den mobila fasen tillfördes en elueringsgradient vid 450 | il / min enligt följande: initial, 0% B; 0.01 min, 19% B; 1 min, 26% B; 1.5 min, 75% B; 2.5 min, 100% B; 3 min, 100% B; 3.1 min, 5% B; och 3.5 min, 5% B. Thermo Xcalibur QuanBrowser (Thermo Fisher Scientific) användes för att automatiskt bearbeta och integrera toppar. Var och en av de 100,000 XNUMX topparna inspekterades visuellt individuellt för att säkerställa korrekt integration.

Analys

Alla neurokemiska koncentrationsdata slätades med ett trepunkts glidande medelvärde (y′ = [0.25 × (y−1) + 0.5y + 0.25 × (y+ 1)]) och z-poäng normaliserat inom varje session för att underlätta jämförelser mellan sessioner. För varje målregion genererades ett korskorrogram för varje session och genomsnittet av sessionerna ritades in. En procent konfidensgränser genererades för varje delplot genom att blanda en tidsserie 100,000 0.05 gånger och generera en fördelning av korrelationskoefficienter för varje session. Flera regressionsmodeller genererades med användning av regressionsfunktionen i MATLAB, med neurokemiska som utfallsvariabler och beteendemått som prediktorer. Regressionskoefficienter bestämdes signifikanta vid tre alfa-nivåer (0.0005, 0.000005 och 21), efter Bonferroni-korrigering för flera jämförelser (alfa / (7 kemikalier × 9 regioner × 3 beteendemässiga regressorer)). För analys av blockövergångar binds data in i XNUMX-min-epoker och kastade provet som inkluderade övergångstiden.


elektro~~POS=TRUNC

Råttor (n = 25) implanterades med specialdesignade drivbara optroder, var och en bestående av 16 tetroder (konstruerade av 12.5 µm nikromtråd, Sandvik) limmade på sidan av en 200 µm optisk fiber och sträckte sig upp till 500 µm under fiberspetsen. Under samma operation injicerade vi 1 µl AAV2 / 5-EF1a-DIO-ChR2 (H134R) -EYFP i den laterala VTA (AP 5.6, ML 0.8, DV 7.5) eller NAc-kärna (AP 1.6, ML 1.6, DV 6.4) . Bredband (1–9,000 30,000 Hz) hjärnsignaler samplades (80 XNUMX prover per s) med hjälp av Intan digitala headstages. Optroder sänktes åtminstone XNUMX um vid slutet av varje inspelningssession. Enskilda enheter isolerades offline med hjälp av en MATLAB-implementering av MountainSort55 följt av noggrann manuell inspektion.

Klassificering

För att identifiera huruvida en isolerad VTA-1-enhet var dopaminerg (TH+), använde vi det stimulansrelaterade latensprovet56. Kort sagt, i slutet av varje försöksperiod kopplade vi optroden till en laserdiod och levererade ljuspulståg med olika bredder och frekvenser. För att en enhet ska identifieras som lättlätt, behövde den nå signifikansnivån för P <0.001 för 5-ms och 10-ms pulståg. Vi jämförde också de ljusframkallade vågformerna (inom 10 ms från laserpulsdebut) med genomsnitt för hela sessionen; alla ljusframkallade enheter hade en Pearson-korrelationskoefficient på> 0.9. Dopaminneuroner registrerades framgångsrikt från fyra råttor med VTA-l AAV-infusioner (IM657, 1 enhet; IM1002, 3 enheter; IM1003, 15 enheter; IM1037, 9 enheter) och en råtta med NAc-kärna AAV (IM-1078, 2 enheter) . Toppbredd definierades som fullbredd-till-halv-maximalt för den mest framträdande negativa komponenten i den inriktade, genomsnittliga spikvågformen. Icke-märkta VTA-nervceller med sessionsomfattande avfyrningshastighet> 20 Hz och toppbredd <200 mikr klassificerades som icke-dopaminceller. För att säkerställa att vi jämförde dopamin- och icke-dopaminceller inom samma underregioner analyserade vi bara icke-dopaminceller inspelade under sessioner med minst en optiskt märkt dopamincell.

Analys

Spikesprickor detekterades med den konventionella "80 / 160-mallen" -metoden57: varje gång ett inter-spike-intervall på 80 ms eller mindre inträffar, betraktas dessa och efterföljande spikes som en del av en burst tills det finns ett intervall på 160 ms eller mer. För jämförelse av "tonic" -avfyring till belöningsfrekvens räknades dopaminspikar i 1-min-soptunnor. För att undersöka snabbare förändringar konstruerades spikdensitetsfunktioner genom att konvolvera spiktåg med en Gaussisk kärna med varians 20 ms. För att avgöra hur snabbt en neuron svarade på en given kö, använde vi 40-ms soptunnor (glidande i steg om 20 ms) och använde ett shuffle-test (10,000 shuffles) för varje tidsfack där vi jämförde tändhastigheten efter köns början med avfyrningshastigheten i 250 ms omedelbart före köet. Den första soptunnan där avfyringsfrekvensen efter signaleringen var signifikant (P <0.01, korrigering för flera jämförelser) som var större än baslinjefyrning ansågs vara dags att köra svaret.

Peak-bränningshastigheten beräknades som den maximala (Gaussian-jämnade) avfyrningsgraden för varje försök i ett 250-ms-fönster efter inlämning för belönade försök, och dalen beräknades som minsta bränningshastighet i ett 2-fönster, med start en sekund efter inlämning för obestämda försök.

För att beräkna en rampvinkel under angreppsbeteenden släpade vi medelvärdena med en 50-ms Gaussisk kärna, detekterade maximalt / minimalt av den resulterande signalen i ett 0.5-fönster före varje händelse (center-in eller mat-port-in ) och mätt den signerade vinkel som förbinder de två extrema. För att jämföra avfyrningsräntor i "höga" och "låga" belöningsblock, utförde vi för varje session en medianuppdelning av genomsnittlig läckande integratörbelöning i varje block.


Voltammetry och beräkningsmodell

Snabbscanning cykliska voltammetriska resultat visas här om analysdata som tidigare presenterats i detalj5. Inom prognosuppskattningar av statligt värde och belöning beräknades prediktionsfel med hjälp av en semi-Markov beslutsprocess förstärkningslärande modell, exakt som tidigare beskrivits5.


Fotometri

Vi använde en viral metod för att uttrycka den genetiskt kodade optiska dopamin-sensorn dLight15. Under isofluranbedövning, 1 pl AAV9-CAG-dLight (1 × 1012 virala genomer per ml; UC Davis-vektorkärna) injicerades långsamt (100 nl / min) (Nanoject III, Drummond) genom en 30 µm glasmikropipett i ventral striatum bilateralt (AP: 1.7 mm, ML: 1.7 mm, DV: -7.0 mm). Under samma operation infördes optiska fibrer (kärna 400 µm, total diameter 430 µm) fästa vid en metallhylsa (Doric) (måldjup 200 µm högre än AAV) och cementerades på plats. Data samlades in> tre veckor senare för att möjliggöra dLight-uttryck.

För dLight-excitering modulerades blå (470 nm) och violett (405 nm; kontroll) lysdioder sinusformigt vid distinkta frekvenser (211 Hz respektive 531 Hz58). Både exciterings- och emissionssignaler som passerade genom minikubfilter (Doric) och bulkfluorescens mättes med en femtowatt-detektor (Newport, modell 2151) provtagning vid 10 kHz. Demodulering producerade separata 470 nm (dopamin) och 405 nm (kontroll) signaler, som sedan omskalades till varandra via en minst kvadratisk passning58. Fraktionell fluorescenssignal (dF/F) definierades sedan som (470–405_fit) / 405_fit. För alla analyser downsamplades denna signal till 50 Hz och utjämnades med ett fempunkts medianfilter. För presentation av 470 nm och 405 nm signaler separat, se Utökad data Fig. 7.

Data från en optisk fiberplacering ingick i analyser om fiberspetsen var i NAc och fluorescensresponsen åtminstone en uppgiftskod hade en z-poäng av> 1. Dessa kriterier utesluter en råtta och gav tre råttor / fyra placeringar (IM1065-vänster, IM1066-bilateral, IM1089-höger) för dLight1.1 och fyra råttor / sex placeringar (IM1088-bilateral, IM1105-höger, IM1106-bilateral, IM1107-höger) för dLight1.3b. Liknande resultat erhölls för dLight1.1 och dLight1.3 (Extended Data Fig. 7), så data kombinerades.

För att beräkna en rampvinkel under angreppsbeteenden, upptäckte vi det maximala / minimala resultatet av den resulterande signalen i ett 0.5-fönster före varje händelse (mitt in eller matport) och mätt den signerade vinkeln som förbinder de två extrema.


Affinitet och molekylär specificitet av dLight1.3b

In vitro-mätningar utfördes som tidigare beskrivits15. I korthet odlades HEK293T (ATCC CRL # 1573) celler och transfekterades med plasmider som kodar för dlight1.3b driven av en CMV-promotor och tvättades med HBSS (Life Technologies) kompletterad med Ca2+ (4mM) och Mg2+ (2 mM) före avbildning. Avbildning utfördes med användning av ett 40 × oljebaserat mål på ett inverterat Zeiss Observer LSN710 konfokalmikroskop med 488 nm / 513 nm (excitation / emission) våglängder. För att testa sensorns fluorescenssvar applicerades neurotransmittorer direkt på badet under tidsfördröjning, i minst två oberoende experiment. Titreringar av dopamin och noradrenalin erhölls genom att utföra tiofaldiga seriespädningar för att uppnå åtta olika koncentrationer. Alla andra neurotransmittorer testades vid tre sekventiella koncentrationer (100 nM, 1 pM och 10 pM). Alla neurotransmittorkoncentrationer erhölls genom utspädning från en 1 mM stamkoncentration i HBSS, beredd färsk. Rå fluorescensintensiteter från tidsfördröjningsavbildning kvantifierades på Fiji; varje ROI ritades manuellt på membranet hos enskilda celler. Fluorescerande vikbyte (ΔF/F) beräknades som F topp (genomsnittlig fluorescensintensitet för fyra ramar) - F basal (medelvärdes fluorescensintensitet av fyra ramar före tillsats av ligander) /F basala. Grafer och statistisk analys utfördes med GraphPad Prism 6. Datapunkter analyserades med en enkeltspecifik bindningskurva passform för att erhålla Kd värden. I box-and-whisker-plottar täcker lådan området 25% till 75% och whiskers sträcker sig från minsta till maximala värden.


Rapporteringsöversikt

Ytterligare information om forskningsdesign finns i Sammanfattningsrapport för naturforskning kopplade till detta dokument.

Data tillgänglighet

Det AAV.Synapsin.dLight1.3b-virus som användes i denna studie har deponerats med Addgene (nr 125560; http://www.addgene.org). All data kommer att finnas tillgänglig via webbplatsen för datadelning för samarbetsforskning inom beräkningsneurovetenskap (https://doi.org/110.6080/K0VQ30V9).

Kod tillgänglighet

Anpassad MATLAB-kod är tillgänglig på begäran från JDB

Ytterligare information

Utgivarens anteckning: Springer Nature är fortsatt neutral när det gäller jurisdiktionsanspråk i publicerade kartor och institutionella anslutningar.

Referensprojekt

  1. 1.

    Schultz, W., Dayan, P. & Montague, PR Ett neuralt substrat av förutsägelse och belöning. Vetenskap 275, 1593-1599 (1997).

  2. 2.

    Pan, WX, Schmidt, R., Wickens, JR & Hyland, BI Dopaminceller svarar på förutsagda händelser under klassisk konditionering: bevis för kvalificeringsspår i belöningsinlärningsnätverket. J. Neurosci. 25, 6235-6242 (2005).

  3. 3.

    Cohen, JY, Haesler, S., Vong, L., Lowell, BB & Uchida, N. Neurontypsspecifika signaler för belöning och bestraffning i det ventrala tegmentala området. Natur 482, 85-88 (2012).

  4. 4.

    Steinberg, EE et al. Ett orsakssamband mellan prediktionsfel, dopaminneuroner och lärande. Nat. Neurosci. 16, 966-973 (2013).

  5. 5.

    Hamid, AA et al. Mesolimbic dopamin signalerar värdet av arbetet. Nat. Neurosci. 19, 117-126 (2016).

  6. 6.

    Saunders, BT, Richard, JM, Margolis, EB & Janak, PH Dopaminneuroner skapar pavloviska konditionerade stimuli med kretsdefinierade motivationsegenskaper. Nat. Neurosci. 21, 1072-1083 (2018).

  7. 7.

    Phillips, PE, Stuber, GD, Heien, ML, Wightman, RM & Carelli, RM Subsecond release dopamine främjar kokainsökning. Natur 422, 614-618 (2003).

  8. 8.

    Roitman, MF, Stuber, GD, Phillips, PE, Wightman, RM & Carelli, RM Dopamine fungerar som en sekundärmodulator för matsökning. J. Neurosci. 24, 1265-1271 (2004).

  9. 9.

    Wassum, KM, Ostlund, SB & Maidment, NT Fasisk mesolimbisk dopaminsignalering föregår och förutsäger utförandet av en självinitierad åtgärdssekvensuppgift. Biol. Psykiatri 71, 846-854 (2012).

  10. 10.

    Howe, MW, Tierney, PL, Sandberg, SG, Phillips, PE & Graybiel, AM Långvarig dopaminsignalering i striatum signalerar närhet och värde av avlägsna belöningar. Natur 500, 575-579 (2013).

  11. 11.

    Syed, EC et al. Åtgärdsinitiativ bildar mesolimbisk dopamin som kodar för framtida belöningar. Nat. Neurosci. 19, 34-36 (2016).

  12. 12.

    Morris, G., Nevet, A., Arkadir, D., Vaadia, E. & Bergman, H. Midbrain dopaminneuroner kodar beslut för framtida åtgärder. Nat. Neurosci. 9, 1057-1063 (2006).

  13. 13.

    da Silva, JA, Tecuapetla, F., Paixão, V. & Costa, RM Dopamin neuronaktivitet innan åtgärdsinitieringsportar och stimulerar framtida rörelser. Natur 554, 244-248 (2018).

  14. 14.

    Fiorillo, CD, Tobler, PN & Schultz, W. Diskret kodning av belöningssannolikhet och osäkerhet av dopaminneuroner. Vetenskap 299, 1898-1902 (2003).

  15. 15.

    Patriarchi, T., Cho, JR, Merten, K., Howe, MW, et al. Ultrafast neuronal avbildning av dopamindynamik med designade genetiskt kodade sensorer. Vetenskap 360, eaat4422 (2018).

  16. 16.

    Salamone, JD & Correa, M. De mystiska motivationsfunktionerna hos mesolimbisk dopamin. Neuron 76, 470-485 (2012).

  17. 17.

    Schultz, W. Prediktiv belöningssignal för dopaminneuroner. J. Neurophysiol. 80, 1-27 (1998).

  18. 18.

    Garris, PA & Wightman, RM Olika kinetik styr dopaminerg överföring i amygdala, prefrontal cortex och striatum: en in vivo voltammetrisk studie. J. Neurosci. 14, 442-450 (1994).

  19. 19.

    Frank, MJ, Doll, BB, Oas-Terpstra, J. & Moreno, F. Prefrontal och striatal dopaminerga gener förutsäger individuella skillnader i prospektering och exploatering. Nat. Neurosci. 12, 1062-1068 (2009).

  20. 20.

    St Onge, JR, Ahn, S., Phillips, AG & Floresco, SB Dynamiska fluktuationer i dopaminutflödet i prefrontal cortex och nucleus accumbens under riskbaserat beslutsfattande. J. Neurosci. 32, 16880-16891 (2012).

  21. 21.

    Bartra, O., McGuire, JT & Kable, JW Värderingssystemet: en koordinatbaserad metaanalys av BOLD fMRI-experiment som undersöker neurala korrelater av subjektivt värde. NeuroImage 76, 412-427 (2013).

  22. 22.

    Ikemoto, S. Dopamine-belöningskretsar: två projektionssystem från ventral midbrain till kärnan accumbens-olfactory tubercle komplex. Brain Res. Brain Res. Varv. 56, 27-78 (2007).

  23. 23.

    Breton, JM et al. Relativa bidrag och kartläggning av ventral tegmental area dopamin och GABA neuroner genom projektionsmål i råttan. J. Comp. Neurol. (2018).

  24. 24.

    Ungless, MA, Magill, PJ & Bolam, JP Uniform hämning av dopaminneuroner i det ventrala tegmentala området av aversiva stimuli. Vetenskap 303, 2040-2042 (2004).

  25. 25.

    Morales, M. & Margolis, EB Ventral tegmental area: cellulär heterogenitet, anslutning och beteende. Nat. Rev. Neurosci. 18, 73-85 (2017).

  26. 26.

    Morris, G., Arkadir, D., Nevet, A., Vaadia, E. & Bergman, H. Sammanträffande men distinkta meddelanden av dopamin i hjärnan och striatalt toniskt aktiva nervceller. Neuron 43, 133-143 (2004).

  27. 27.

    Floresco, SB, West, AR, Ash, B., Moore, H. & Grace, AA Afferent modulering av dopaminneuronavfyring reglerar differentiellt tonisk och fasisk dopaminöverföring. Nat. Neurosci. 6, 968-973 (2003).

  28. 28.

    Grace, AA Dysregulation av dopaminsystemet i patofysiologin av schizofreni och depression. Nat. Rev. Neurosci. 17, 524-532 (2016).

  29. 29.

    Cohen, JY, Amoroso, MW & Uchida, N. Serotonerga neuroner signalerar belöning och straff på flera tidsskalor. Elife 4, e06346 (2015).

  30. 30.

    Niv, Y., Daw, N. & Dayan, P. Hur snabbt att arbeta: svarskraft, motivation och tonic dopamin. Adv. Neural Inf. Bearbeta. Syst. 18, 1019 (2006).

  31. 31.

    Bayer, HM, Lau, B. & Glimcher, PW Statistik över hjärnan dopamin neuron spik tåg i vaken primat. J. Neurophysiol. 98, 1428-1439 (2007).

  32. 32.

    Chergui, K., Suaud-Chagny, MF & Gonon, F. Olinjärt förhållande mellan impulsflöde, dopaminfrisättning och dopamineliminering i råtthjärnan in vivo. Neuroscience 62, 641-645 (1994).

  33. 33.

    Parker, NF et al. Belöning och valkodning i terminaler av dopaminneuron i mitten beror på striatalmål. Nat. Neurosci. 19, 845-854 (2016).

  34. 34.

    Menegas, W., Babayan, BM, Uchida, N. & Watabe-Uchida, M. Motsatt initialisering till nya signaler i dopaminsignalering i ventrala och bakre striatum hos möss. Elife 6, e21886 (2017).

  35. 35.

    Trulson, ME Samtidig inspelning av substantia nigra neuroner och voltammetrisk frisättning av dopamin i kadaverna av uppförande av katter. Brain Res. Tjur. 15, 221-223 (1985).

  36. 36.

    Glowinski, J., Chéramy, A., Romo, R. & Barbeito, L. Presynaptisk reglering av dopaminerg överföring i striatum. Cell. Mol. Neurobiol. 8, 7-17 (1988).

  37. 37.

    Zhou, FM, Liang, Y. & Dani, JA Endogen nikotin kolinerg aktivitet reglerar dopaminfrisättning i striatum. Nat. Neurosci. 4, 1224-1229 (2001).

  38. 38.

    Threlfell, S. et al. Striatal dopaminfrigöring utlöses av synkroniserad aktivitet i kolinerga internuroner. Neuron 75, 58-64 (2012).

  39. 39.

    Cachope, R. et al. Selektiv aktivering av kolinerga internuroner ökar ackumbal fasisk dopaminfrigöring: inställning av tonen för belöningsprocessering. Rapporter Cell 2, 33-41 (2012).

  40. 40.

    Sulzer, D., Cragg, SJ & Rice, ME Striatal dopamin neurotransmission: reglering av frisättning och upptag. Basala ganglierna 6, 123-148 (2016).

  41. 41.

    Floresco, SB, Yang, CR, Phillips, AG & Blaha, CD Basolateral amygdalastimulering framkallar glutamatreceptorberoende dopaminutflöde i kärnan i den bedövade råttan. Eur. J. Neurosci. 10, 1241-1251 (1998).

  42. 42.

    Jones, JL et al. Basolateral amygdala modulerar terminal dopaminfrisättning i kärnans accumbens och konditionerad respons. Biol. Psykiatri 67, 737-744 (2010).

  43. 43.

    Schultz, W. Svar från dopaminneuron i mitten av hjärnan till beteendeutlösande stimuli i apan. J. Neurophysiol. 56, 1439-1461 (1986).

  44. 44.

    Berke, JD Vad betyder dopamin? Nat. Neurosci. 21, 787-793 (2018).

  45. 45.

    Bromberg-Martin, ES, Matsumoto, M. & Hikosaka, O. Distinct tonic and phasic anticipatory activity in lateral habenula and dopamine neurons. Neuron 67, 144-155 (2010).

  46. 46.

    Pasquereau, B. & Turner, RS Dopamin-neuroner kodar för fel för att förutsäga rörelseutlösare. J. Neurophysiol. 113, 1110-1123 (2015).

  47. 47.

    Fiorillo, CD, Newsome, WT & Schultz, W. Den tidsmässiga precisionen i belöningsförutsägelse i dopaminneuroner. Nat. Neurosci. 11, 966-973 (2008).

  48. 48.

    Morita, K. & Kato, A. Striatal dopamin ramping kan indikera flexibel förstärkning inlärning med glömma i kortikobasala ganglierna kretsar. Främre. Neurala kretsar 8, 36 (2014).

  49. 49.

    Gershman, SJ Dopamin ramper är en konsekvens av belöning förutsägelse fel. Neural Comput. 26, 467-471 (2014).

  50. 50.

    Nicola, SM Den flexibla tillvägagångssituationen: sammanslagning av ansträngningar och cue-responding hypotheses för kärnans roll accumbens dopamin i aktiveringen av belöningssökande beteende. J. Neurosci. 30, 16585-16600 (2010).

  51. 51.

    Paxinos, G. & Watson, C. Råttahjärnan i stereotaxiska koordinater 5th EDN (Elsevier Academic, 2005).

  52. 52.

    Witten, IB et al. Rombindningar av Recombinas-drivrutiner: verktyg, tekniker och optogenetisk applicering på dopaminförmedlad förstärkning. Neuron 72, 721-733 (2011).

  53. 53.

    Sugrue, LP, Corrado, GS & Newsome, WT Matchande beteende och representation av värde i parietal cortex. Vetenskap 304, 1782-1787 (2004).

  54. 54.

    Wong, JM et al. Benzoylkloridderivatisering med vätskekromatografi-masspektrometri för riktade metabolomics av ​​neurokemikalier i biologiska prover. J. Chromatogr. en 1446, 78-90 (2016).

  55. 55.

    Chung, JE et al. Ett helt automatiserat tillvägagångssätt för spik sortering. Neuron 95, 1381-1394 (2017).

  56. 56.

    Kvitsiani, D. et al. Distinkt beteende och nätverk korrelerar mellan två internurontyper i prefrontal cortex. Natur 498, 363-366 (2013).

  57. 57.

    Grace, AA & Bunney, BS Kontrollen av avfyringsmönster i nigrala dopaminneuroner: burst-avfyring. J. Neurosci. 4, 2877-2890 (1984).

  58. 58.

    Lerner, TN et al. Analyser av intakt hjärna avslöjar särskild information som bärs av SNc-dopamin-subkretsar. Cell 162, 635-647 (2015).

Hämta referenser

Tack

Vi tackar P. Dayan, H. Fields, L. Frank, C. Donaghue och T. Faust för deras kommentarer på en tidig version av manuskriptet, och V. Hetrick, R. Hashim och T. Davidson för tekniskt bistånd och råd. Detta arbete stöddes av National Institute on Drug Abuse, National Institute of Mental Health, National Institute of Neurological Disorders and Stroke, University of Michigan, Ann Arbor och University of California, San Francisco.

Anmälningsinformation

Natur tack Margaret Rice och den andra anonyma granskaren för deras bidrag till granskningen av detta arbete.

upphovsmän

AM utförde och analyserade elektrofysiologin och fotometrin och tillämpade beräkningsmodellen. JRP utförde och analyserade mikrodialysen med hjälp av J.-MTW och övervakning av RTKAAH utvecklade beteendomsuppgiften och inledande fotometri setup och utförde voltammetri. LTV utförde retrograd spårning och analys. TP och LT utvecklade dLight-sensorn och delad kompetens. JDB utformade och övervakade studien och skrev manuskriptet.

Konkurrerande intressen

Författarna förklarar inga konkurrerande intressen.

Korrespondens till Joshua D. Berke.