Vad betyder dopamin? (2018)

. Författarmanuskript; tillgängligt i PMC 2019 Feb 1.
Publicerad i slutredigerad form som:
PMCID: PMC6358212
NIHMSID: NIHMS987662
PMID: 29760524

Abstrakt

Dopamin är en kritisk modulator för både inlärning och motivation. Detta utgör ett problem: hur kan målceller veta om ökad dopamin är en signal att lära sig eller flytta? Det antas ofta att motivation innebär långsamma ("tonic") dopaminförändringar, medan snabba ("fasiska") dopaminfluktuationer förmedlar belöningsförutsägelsefel för inlärning. Ändå har nyligen genomförda studier visat att dopamin förmedlar motivationsvärde och främjar rörelse, även på tidsskalor under sekund. Här beskriver jag en alternativ redogörelse för hur dopamin reglerar pågående beteende. Dopaminfrisättning relaterad till motivation skapas snabbt och lokalt av receptorer på dopaminterminaler, oberoende av dopamincellsbränning. Målneuroner växlar plötsligt mellan inlärnings- och prestationslägen, med striatal kolinergiska internuroner som ger en kandidatomkopplingsmekanism. Dopamins beteendemässiga effekter varierar beroende på subregion, men i varje fall ger dopamin en dynamisk uppskattning av om det är värt att spendera en begränsad intern resurs, som energi, uppmärksamhet eller tid.

Är dopamin en signal för lärande, för motivation eller båda?

Vår förståelse för dopamin har förändrats tidigare och förändras ännu en gång. En kritisk skillnad är mellan dopamineffekter på ström beteende (prestanda) och dopamineffekter på framtida beteende (lärande). Båda är verkliga och viktiga, men vid olika tidpunkter har en varit för och den andra inte.

När (i 70) det blev möjligt att utföra selektiva, fullständiga skador på dopaminvägar, var den uppenbara beteendekonsekvensen en allvarlig minskning av rörelsen. Detta passar de akinetiska effekterna av dopaminförlust hos människor, producerade av avancerad Parkinsons sjukdom, giftiga läkemedel eller encefalit. Men varken råtta eller mänskliga fall visar en grundläggande oförmåga att röra sig. Dopamin-lesionerade råttor simmar i kallt vattenoch akinetiska patienter kan komma upp och springa om ett brandlarm låter (“paradoxal” kinesia). Det finns inte heller ett grundläggande underskott i att uppskatta belöningar: dopamin-lesionerade råttor kommer att konsumera mat som placeras i munnen och visar tecken på att njuta av det. Snarare kommer de inte att välja att anstränga sig för att aktivt få belöningar. Dessa och många andra resultat etablerade en grundläggande koppling mellan dopamin och motivation. Till och med den rörelse som avtar i mindre allvarliga fall av Parkinsons sjukdom kan betraktas som ett motivationsunderskott, vilket återspeglar implicita beslut att det inte är värt att spendera den energi som krävs för snabbare rörelser.

Sedan (i '80s') kom banbrytande inspelningar av dopaminneuroner i beteende apor (i mellanhårsområden som projicerar till förhjärnan: ventral tegmental area, VTA / substantia nigra pars compacta, SNc). Bland observerade avfyrningsmönster var korta skador av aktivitet för stimuli som utlöste omedelbara rörelser. Denna "fasiska" dopaminbränning tolkades ursprungligen som stöd för "beteendeaktivering" och "motiverande upphetsning" - med andra ord som uppfriskande djurets nuvarande beteende.

En radikal förändring inträffade i 90, med omtolkningen av fasiska dopamin-skurar som kodning belöna förutsägelsefel (RPEs). Detta baserades på en nyckelobservation: dopaminceller svarar på oväntade stimuli förknippade med framtida belöning, men slutar ofta att svara om dessa stimuli förväntas. RPE-idén har sitt ursprung i tidigare inlärningsteorier, och särskilt i det då utvecklande datavetenskapliga området för förstärkningslärande. Poängen med en RPE-signal är att uppdatera värden(uppskattningar av framtida belöningar). Dessa värden används senare för att göra val som maximerar belöningen. Eftersom avfyrning av dopaminceller liknade RPE och RPE används för att lära sig, blev det naturligt att betona dopaminens roll i inlärningen. Senare optogenetiska manipulationer bekräftade den dopaminerge identiteten hos RPE-kodande celler, och visade att de faktiskt modulerar inlärning,.

Tanken på att dopamin ger en inlärningssignal passar vackert med litteraturen som dopamin modulerar synaptisk plasticitet i striatum, dopamins primära förhjärnmål. Den tredubbla sammanfallen av glutamatstimulering av en striatal dendritrygg, postsynaptisk depolarisering och frisättning av dopamin får till exempel ryggraden att växa. Dopaminerg modulering av långvariga inlärningsmekanismer hjälper till att förklara de ihållande beteendevirkningarna av beroendeframkallande läkemedel, som delar egenskapen att förbättra frisättningen av striatal dopamin. Till och med den djupa akinesien med dopaminförlust kan delvis redovisas av sådana inlärningsmekanismer. Brist på dopamin kan behandlas som en ständigt negativ RPE, som gradvis uppdaterar värden på åtgärder mot noll. Liknande progressiva, utrotningsliknande effekter på beteende kan produceras av dopaminantagonister,.

Ändå har tanken att dopamin är kritiskt inblandad i pågående motivation aldrig försvunnit - tvärtom är det allmänt ansett för givet av beteendevetenskapsmän. Detta är lämpligt med tanke på de starka bevisen för att dopaminfunktioner i motivation / rörelse / uppfriskning är dissocierbara från lärande,-. Mindre allmänt uppskattat är utmaningen med att förena denna motivationsroll med teorin om att DA ger en RPE-lärningssignal.

Motivation “ser fram emot”: den använder förutsägelser om framtida belöningar (värden) för att på lämpligt sätt aktivera aktuellt beteende. Däremot, lärande "tittar bakåt" på tillstånd och handlingar i det senaste förflutet och uppdaterar deras värden. Dessa är komplementära faser i en cykel: de uppdaterade värdena kan användas i efterföljande beslut om dessa stater återupptas, sedan uppdateras igen, och så vidare. Men vilken fas i cykeln är dopamin involverad i - att använda värden för att fatta beslut (prestanda) eller uppdatera värden (lärande)?

Under vissa omständigheter är det enkelt att föreställa sig att dopamin spelar båda roller samtidigt.Oväntade belöningsförutsägbara ledtrådar är de arketypiska händelserna för att framkalla dopamincells avfyrning och frigöring, och sådana ledtrådar typiskt både stärker beteende och framkallar inlärning (Fig 1). I denna speciella situation ökar både belöningsförutsägelse och belöningsförutsägningsfel samtidigt - men så är inte alltid fallet. Som bara ett exempel är människor och andra djur ofta motiverade att arbeta för belöningar även när lite eller inget överraskande inträffar. De kan arbeta hårdare och hårdare när de kommer närmare och närmare belöningen (värdet ökar när belöningen närmar sig). Poängen är att lärande och motivation är begreppsmässigt, beräkningsmässigt och beteendemässigt distinkta - och ändå verkar dopamin göra båda.

En extern fil som innehåller en bild, illustration etc. Objektnamnet är nihms-987662-f0001.jpg

Dopamin: uppdatera det förflutna, stärker nuet.

Topp, Cirklar med pilar representerar tillstånd och de potentiella åtgärderna från dessa stater. Pilbredder indikerar inlärda värden för att utföra varje åtgärd. När stater / åtgärder försvinner i det förflutna är de successivt mindre berättigade till förstärkning. Mitten, inträffar en sprängning av dopamin. Resultatet är utredning av tillgängliga handlingar från det aktuella tillståndet (rött) och plasticiteten hos värdesrepresentationerna för nyligen utförda åtgärder (lila). Botten, som ett resultat av plasticitet, nästa gång dessa tillstånd möter deras tillhörande värden har ökat (pilbredd). Genom upprepad erfarenhet kan förstärkningslärande "snida ett spår" genom tillståndets rymd, vilket gör vissa banor allt mer troliga. Förutom denna inlärningsroll verkar dopamins förnyande och framträdande roll påskynda flödet längs tidigare lärda banor.

Nedan utvärderar jag kritiskt aktuella idéer om hur dopamin kan uppnå både inlärnings- och motivationsfunktioner. Jag föreslår en uppdaterad modell, baserad på tre viktiga fakta: 1) frisläppande av dopamin från terminaler uppstår inte bara av dopamincellbränning, utan kan också kontrolleras lokalt; 2) dopamin påverkar både synaptisk plasticitet och målbarhets excitabilitet, med tydliga konsekvenser för inlärning respektive prestanda; 3) dopamineffekter på plasticiteten kan slås på eller av av närliggande kretselement. Tillsammans kan dessa funktioner tillåta hjärnkretsar att växla mellan två distinkta dopaminmeddelanden, för lärande respektive motivation.

Finns det separata "fasiska" och "toniska" dopaminsignaler med olika betydelser?

Det hävdas ofta att inlärnings- och motivationsrollerna för dopamin uppträder på olika tidsskalor. Dopaminceller avfyrar kontinuerligt ("toniskt") med några få spikar per sekund, med enstaka korta ("fasiska") brister eller pauser. Utbrott, särskilt om konstgjorda synkroniseras över dopaminceller, driver motsvarande snabba ökningar av dopamin i förhjärnan som är mycket övergående (varaktighet under sekund). Det separata bidraget av tonic dopamincellskydd till dopaminkoncentrationer i förgränsen är mindre tydligt. Vissa bevis tyder på att detta bidrag är mycket litet. Det kan vara tillräckligt för att producera nästan kontinuerlig stimulering av D2-receptorer med högre affinitet, vilket gör att systemet kan märka korta pauser vid avfyrning av dopaminceller och använd dessa pauser som negativa förutsägelsefel.

Mikrodialys har använts i stor utsträckning för att direkt mäta dopaminnivåer för hjärnan, om än med låg temporär upplösning (vanligtvis i genomsnitt i många minuter). Sådana långsamma mätningar av dopamin kan vara utmanande att exakt relatera till beteende. Icke desto mindre visar mikrodialys av dopamin i nucleus accumbens (NAc; ventral / medial striatum) positiva korrelationer till lokomotorisk aktivitet och andra motivindex. Detta har vidtagits allmänt för att det finns långsamma ("tonic") förändringar i dopaminkoncentrationen, och att dessa långsamma förändringar förmedlar en motiverande signal. Mer specifikt har beräkningsmodeller föreslagit att toniska dopaminnivåer följer den långsiktiga genomsnittliga belöningsgraden - en användbar motiveringsvariabel för tidsallokering och foderbeslut. Det är värt att betona att väldigt få artiklar tydligt definierar "toniska" dopaminnivåer - de antar vanligtvis bara att dopaminkoncentrationen långsamt förändras över flera minuters tidsskala för mikrodialys.

Ändå står denna "fasiska dopamin = RPE / lärande, tonic dopamin = motivation" inför många problem. För det första finns det inga direkta belägg för att tonic dopamincellskydd normalt varierar över långsamma skalor. Tonic avfyrningshastigheter förändras inte med förändrad motivation,. Det har hävdats att tonicdopaminnivåerna förändras på grund av en förändrad andel aktiva dopaminceller,. Men i många studier på odrivna, opåverkade djur har dopaminceller aldrig rapporterats växla mellan tysta och aktiva tillstånd.

Det faktum att mikrodialys mäter dopaminnivåer långsamt betyder inte att dopaminnivåer faktiskt förändras långsamt. Vi har nyligen undersökte rått NAc-dopamin i en sannolik belöningsuppgift, med användning av både mikrodialys och snabbskannad cyklisk voltammetri. Vi bekräftade att mesolimbisk dopamin, mätt med mikrodialys, korrelerar med belöningsgraden (belöningar / min). Men även med en förbättrad mikrodialys temporal upplösning (1min) fluktuerade dopamin lika snabbt som vi provade det: vi såg inga bevis för en iboende långsam dopaminsignal.

Med hjälp av den finare temporära upplösningen fortfarande av voltammetri observerade vi en nära relation mellan dopaminfluktuationer under sekund och motivation. När råttor utförde sekvensen av åtgärder som behövdes för att uppnå belöningar steg dopamin högre och högre och nådde en topp precis som de fick belöningen (och sjönk snabbt när de konsumerade den). Vi visade att dopamin korrelerade starkt med omedelbart tillståndsvärde - definierat som den förväntade framtida belöningen, diskonterad med den förväntade tiden som behövs för att ta emot den. Denna snabba dopamindynamik kan också förklara mikrodialysresultaten utan att åberopa separata dopaminsignaler på olika tidsskalor. När djur upplever mer belöningar ökar de sina förväntningar på framtida belöningar vid varje steg i försökssekvensen. I stället för en långsamt utvecklande genomsnittlig belöningsfrekvenssignal förklaras korrelationen mellan dopamin och belöningsgrad bäst som ett medelvärde över den förlängda insamlingstiden för mikrodialysprov för dessa snabbt utvecklande tillståndsvärden.

Denna värdetolkning av mesolimbisk dopaminfrisättning överensstämmer med voltammetriresultat från andra forskningsgrupper, som upprepade gånger har funnit att dopaminfrisättning ramper upp med ökande närhet till belöning-(Fig 2). Denna motivationssignal är inte i sig ”långsam” utan kan snarare observeras i ett kontinuerligt intervall av tidsskalor. Även om dopaminramper kan pågå i flera sekunder när ett tillvägagångssätt också varar flera sekunder, detta återspeglar beteendes tidsförlopp snarare än inneboende dopamindynamik. Förhållandet mellan mesolimbisk dopaminfrisättning och fluktuerande värde syns så snabbt som inspelningstekniken tillåter, dvs på en ~ 100ms tidsskala med akuta voltammetrielektroder.

En extern fil som innehåller en bild, illustration etc. Objektnamnet är nihms-987662-f0002.jpg

Snabba dopaminfluktuationer signalerar dynamiskt utvecklande belöningsförväntningar.

ac) Mesolimbisk dopaminfrisättning ökar snabbt när råttor kommer närmare förväntade belöningar. d) Värde, definierat som tillfälligt diskonterade uppskattningar av framtida belöning, ökar när belöningen närmar sig. Ledtrådar som indikerar att belöningen är större, närmare eller säkrare än tidigare förväntat orsakar hopp i värde. Dessa hopp från en stund till nästa är temporära skillnader RPE. e) Att dra bort ”baslinjer” kan förväxla värden och RPE-signaler. Vänster, dopamin i linje med belöningsprediktiv signal (vid tidpunkten noll), med konventionell baslinjesubtraktion, verkar visa att dopamin hoppar till högre nivåer när belöning är mindre förväntat (brunt), som liknar en RPE-signal. Rätt, en alternativ presentation av samma data, vilket motsvarar dopaminnivåer efter cue, skulle i stället visa att föregående dopaminnivåer beror på belöningsförväntning (värde). Ytterligare analyser bestämde att höger sida presenteras närmare sanningen (se detaljer i ref. ). Panelera en reproducerad, med tillstånd, från ref , Macmillan Publishers Limited… .; panel b återges, med tillstånd, från ref. , Elsevier; paneler ce återges, med tillstånd, från ref , Macmillan Publishers Limited

Snabba dopaminsvängningar speglar inte bara motivation, de driver också omedelbart motiverat beteende. Större fasresponser av dopaminceller för att utlösa ledtrådar förutsäger kortare reaktionstider på samma prövning. Optogenetisk stimulering av VTA-dopaminceller gör råttor mer benägna att börja arbeta i vår probabilistiska belöningsuppgift, precis som om de hade en högre förväntning på belöning. Optogenetisk stimulering av SNc-dopaminneuroner, eller deras axoner i ryggstratum, ökar sannolikheten för rörelse,. Kritiskt är dessa beteendeeffekter uppenbara inom ett par hundra millisekunder från början av optogenetisk stimulering. Förmågan hos belöningsförutsägbara ledtrådar att öka motivation verkar förmedlas av mycket snabb dopaminerg modulering av excitabiliteten hos NAc-spiny neuroner. Eftersom dopamin förändras snabbt, och dessa dopaminförändringar påverkar motivation snabbt, beskrivs motivationen för dopamin bättre som snabb ("fasisk"), inte långsam ("tonic").

Vidare löser inte i sig åberopande av separata snabba och långsamma tidsskalor det avkodningsproblem som neuroner med dopaminreceptorer står inför. Om dopamin signalerar inlärning verkar modulering av synaptisk plasticitet vara ett lämpligt cellulärt svar. Men omedelbara effekter på motiverat beteende innebär omedelbara effekter på spikning - t.ex. genom snabba förändringar i upphetsning. Dopamin kan ha båda dessa postsynaptiska effekter (och mer), så har en given dopaminkoncentration en specifik betydelse? Eller behöver denna betydelse konstrueras - t.ex. genom att jämföra dopaminnivåer över tiden eller genom att använda andra sammanfallande signaler för att bestämma vilket cellulärt maskineri som ska ingå? Denna möjlighet diskuteras vidare nedan.

Frigör dopamin samma information som avfyrning av dopaminceller?

Förhållandet mellan snabba dopaminfluktuationer och motivationsvärde verkar konstigt, med tanke på att dopamincellskydd i stället liknar RPE. Dessutom har vissa studier rapporterat RPE-signaler i mesolimbisk dopaminfrisättning. Det är viktigt att notera en utmaning vid tolkningen av vissa former av neurala data. Värdesignaler och RPE är korrelerade med varandra - inte överraskande eftersom RPE vanligtvis definieras som värdeförändringen från ett ögonblick till ett annat ("temporär skillnad" RPE). På grund av denna korrelation är det viktigt att använda experimentella mönster och analyser som skiljer värde från RPE-konton. Problemet förvärras när man använder ett neuralt mått som är beroende av relativa, snarare än absoluta, signaländringar. Voltammetry-analyser jämför vanligtvis dopamin vid någon tidpunkt av intresse med en "baslinje" -epok tidigare i varje försök (för att ta bort signalkomponenter som är icke-dopaminberoende, inklusive elektrodladdning vid varje spänningssvep och drift över en tidsskala av minuter). Men att subtrahera en baslinje kan göra att en värdesignal liknar en RPE-signal. Detta är vad vi observerade i våra egna voltammetri-data (Fig. 2e). Förändringar i belöningsförväntningen återspeglades i förändringar i dopaminkoncentrationen tidigt i varje försök, och dessa förändringar missas om man bara antar en konstant baslinje över studier. Slutsatser om dopaminfrisättning och RPE-kodning måste därför ses med försiktighet. Denna datatolkningsfara gäller inte bara voltammetri, utan alla analyser som bygger på relativa förändringar - eventuellt inklusive vissa fMRI och fotometri.

Ändå måste vi fortfarande förena värderelaterad frisättning av dopamin i NAc-kärnan med den konsekventa frånvaron av värderelaterad spikning av dopaminneuroner.även inom det laterala VTA-området som tillhandahåller dopamin till NAc-kärnan. En potentiell faktor är att dopaminceller vanligtvis registreras i huvudbegränsade djur som utför klassiska konditioneringsuppgifter, medan dopaminfrisättning vanligtvis mäts i obegränsade djur som aktivt rör sig genom sin miljö. Vi föreslog att mesolimbisk dopamin specifikt skulle kunna indikera värdet av "arbete" - att det återspeglar ett krav på att ägna tid och ansträngning för att få belöningen. I enlighet med detta ökar dopamin med signaler som instruerar rörelse, men inte med signaler som instruerar stillhet, även om de indikerar liknande framtida belöning. Om - som i många klassiska konditioneringsuppgifter - det inte finns någon fördel med aktivt "arbete", kan dopaminerga förändringar som indikerar arbetets värde vara mindre uppenbara.

Ännu viktigare kan vara det faktum att frisättning av dopamin kan kontrolleras lokalt vid själva terminalerna och därmed visa spatio-temporala mönster oberoende av cellkroppsspikning. Till exempel kan den basolaterala amygdala (BLA) påverka frisättningen av NAc-dopamin även när VTA inaktiveras. Omvänt reducerar inaktivering av BLA frisättning av dopamin av NAc och motsvarande motiverat beteende utan att uppenbarligen påverka VTA-skjutningen. Dopaminterminaler har receptorer för en rad neurotransmittorer, inklusive glutamat, opioider och acetylkolin. Nikotiniska acetylkolinreceptorer tillåter striatal kolinerga internuroner (CIN) att snabbt kontrollera dopaminfrisättning,. Även om det länge har noterats att lokal kontroll av frisättning av dopamin är potentiellt viktigt,, det har inte inkluderats i beräkningar av dopaminfunktion. Jag föreslår att dopaminfrisättningsdynamik relaterad till värdekodning till stor del uppstår genom lokal kontroll även om avfyrning av dopaminceller ger viktiga RPE-liknande signaler för inlärning.

Hur kan dopamin betyda både inlärning och motivation utan förvirring?

I princip är en värdesignal tillräcklig för att överföra RPE också, eftersom temporära skillnader RPE helt enkelt är snabba värdeförändringar (Fig. 2B). Exempelvis kan distinkta intracellulära vägar i målneuroner vara annorlunda känsliga för den absoluta koncentrationen av dopamin (representerande värde) kontra snabba relativa förändringar i koncentration (som representerar RPE). Detta schema verkar troligt, med tanke på den komplexa dopaminmoduleringen av spiny neuronfysiologi och deras känslighet för temporära mönster av kalciumkoncentration. Ändå verkar detta också något överflödigt. Om det redan finns en RPE-liknande signal i dopamincellspikning, borde det vara möjligt att använda den snarare än att härleda RPE från en värdesignal.

För att på lämpligt sätt använda distinkta RPE- och värdesignaler kan dopaminmottagande kretsar aktivt växla hur de tolkar dopamin. Det finns spännande bevis på att acetylkolin också kan tjäna denna växlingsroll. Samtidigt som dopaminceller bränder spikar till oväntade signaler visar CIN: er korta (~ 150ms) raster i skjutning, som inte skalas med RPE. Dessa CIN-pauser kan drivas av VTA GABAergiska neuroner såväl som "överraskning" -relaterade celler i den intralaminära thalamus, och har föreslagits att fungera som en associerbar signal som främjar lärande. Morris och Bergman föreslog att kolinergiska pauser definierar temporära fönster för striatal plasticitet, under vilka dopamin kan användas som en inlärningssignal. Dopaminberoende plastisitet undertrycks kontinuerligt av mekanismer inklusive muskariniska m4-receptorer på direktvägs-striatal neuroner. Modeller av intracellulär signalering tyder på att frånvaron av m4-bindning under CIN-pauser kan fungera synergistiskt med fasisk dopaminbrist för att öka PKA-aktiveringenoch därigenom främjar synaptisk förändring.

Striatal kolinergiska celler är således väl positionerade för att dynamiskt byta innebörden av ett multiplexerat dopaminergt meddelande. Under CIN-pauser skulle lättnad av ett muskarinblock över synaptisk plasticitet möjliggöra att dopamin kan användas för att lära sig. Vid andra tillfällen skulle frisläppande från dopaminterminaler skulpteras lokalt för att påverka pågående beteendeprestanda. För närvarande är detta förslag både spekulativt och ofullständigt. Det har föreslagits att CIN: er integrerar information från många omgivande spiny neuroner för att extrahera användbara nätverkssignaler såsom entropi,. Men det är inte alls klart att CIN-aktivitetsdynamik kan användas för att generera dopaminvärdesignaleroch även för att granska dopamininlärningssignaler.

Betyder dopamin samma sak i hela förhjärnan?

När RPE-idén tog grepp, föreställdes man att dopamin var en global signal, som sänder ett felmeddelande genom hela streatala och frontala kortikala mål. Schultz betonade att apa-dopaminceller i hela VTA och SNc har mycket liknande svar. Studier av identifierade dopaminceller har också hittat ganska homogena RPE-liknande svar i gnagare, åtminstone för laterala VTA-neuroner inom klassiska konditioneringssituationer.. Ändå är dopaminceller molekylärt och fysiologiskt olika- och det finns nu många rapporter om att de visar olika skottmönster i beteende djur. Dessa inkluderar fasiska ökningar av avfyrning till aversiva händelser och utlösa ledtrådar som passar dåligt med RPE-kontot. Många dopaminceller visar ett initialt kort-latensrespons på sensoriska händelser som återspeglar överraskning eller "varning" mer än specifik RPE-kodning,. Denna varningsaspekt är mer framträdande i SNc, där dopaminceller projicerar mer till “sensorimotorisk” dorsal / lateral striatum (DLS,). Underpopulationer av SNc-dopaminceller har också rapporterats öka eller minska avfyrning i samband med spontana rörelser, även utan externa ledtrådar.

Flera grupper använde fiberfotometri och kalciumindikatorn GCaMP för att undersöka bulkaktivitet av subpopulationer av dopaminneuroner,. Dopaminceller som projicerar till dorsal / medial striatum (DMS) visade kortvarig deprimerad aktivitet till oväntade korta chocker, medan de som projicerade till DLS visade ökad aktivitet- mer konsekvent med ett varningssvar. Distinkta dopaminergiska reaktioner i olika underregioner i framhjärnan har också observerats med GCaMP för att undersöka aktiviteten hos dopaminaxoner och terminaler,,. Använda två-fotonavbildning i huvudsäkra möss, Howe och Dombeck rapporterade fasisk dopaminaktivitet relaterad till spontana rörelser. Detta sågs främst i enskilda dopaminaxoner från SNc som avslutades i ryggstriatum, medan VTA-dopaminaxoner i NAc svarade mer för att belöna leverans. Andra fann också belöningsrelaterad dopaminergisk aktivitet i NAc, med DMS istället mer kopplad till kontralaterala åtgärder och den bakre svansen av striatum som svarar på aversiv och ny stimuli.

Direkta åtgärder för frisättning av dopamin avslöjar också heterogenitet mellan subregioner,. Med mikrodialys fann vi att dopamin var korrelerat med värde specifikt i NAc-kärnan och ventralmedialt frontalt cortex, inte i andra mediala delar av striatum (NAc-skal, DMS) eller frontal cortex. Detta är spännande eftersom det verkar kartlägga väl två "hotspots" av värdekodning som konsekvent ses i mänskliga fMRI-studier,. Speciellt NAc BOLD-signalen, som har en nära relation till dopamin-signaleringökar med belöningsförväntan (värde) - mer än med RPE.

Oavsett om dessa rumsliga mönster för frisättning av dopamin uppstår från avfyrning av distinkta dopamincellspopulationer, lokal kontroll av dopaminfrisättning eller båda, utmanar de idén om ett globalt dopaminmeddelande. Man kan dra slutsatsen att det finns många olika dopaminfunktioner, med (till exempel) dopamin i ryggstriatum som signalerar "rörelse" och dopamin i ventral striatum som signalerar "belöning".. Jag föredrar dock en annan konceptuell metod. Olika striatal subregioner får input från olika kortikala regioner, och så kommer att bearbeta olika typer av information. Ändå delar varje striatal subregion en gemensam mikrokretsarkitektur, inklusive separata D1-kontra D2-receptor som bär spiny neuroner, CIN och så vidare. Även om det är vanligt att hänvisa till olika striatala subregioner (t.ex. DLS, DMS, NAc-kärna) som om de är diskreta områden, finns det inga skarpa anatomiska gränser mellan dem (NAc-skalet är lite mer neurokemiskt distinkt). Istället finns det bara milda gradienter i receptortäthet, internuron-proportioner etc., som verkar mer som justeringar av parametrarna för en delad beräkningsalgoritm. Med tanke på denna vanliga arkitektur, kan vi beskriva en vanlig dopaminfunktion, abstrakt från den specifika information som hanteras av varje subregion?

Striatal dopamin och fördelning av begränsade resurser.

Jag föreslår att en mängd olika dopamineffekter på pågående beteende kan förstås som modulering av beslut om resursallokering. Specifikt ger dopamin uppskattningar av hur värt det är att spendera en begränsad intern resurs, varvid den specifika resursen skiljer sig mellan striatal subregioner. För "motor" striatum (~ DLS) är resursen rörelse, vilket är begränsat eftersom rörelse kostar energi, och eftersom många åtgärder är oförenliga med varandra. Ökning av dopamin gör det mer troligt att ett djur kommer att bestämma att det är värt att spendera energi för att röra sig eller flytta snabbare,,. Observera att en dopaminsignal som kodar för "rörelse är värt" kommer att ge korrelationer mellan dopamin och rörelse, även utan dopamin som kodar för "rörelse" per se.

För "kognitiv" striatum (~ DMS) är resurserna kognitiva processer inklusive uppmärksamhet (som per definition är begränsad kapacitet) och arbetsminne. Utan dopamin, försummas yttre ledtrådar som normalt provocerar orienterande rörelser, som om de anses vara mindre uppmärksamma. Dessutom är det medvetet att marschera kognitiva kontrollprocesser (kostsamt)). Dopamin - särskilt i DMS - spelar en nyckelroll för att avgöra om det är värt att anstränga sig,. Detta kan inkludera om man ska använda mer kognitivt krävande, övervägande (”modellbaserade”) beslutsstrategier.

För "motiverande" striatum (~ NAc) kan en viktig begränsad resurs vara djurets tid. Mesolimbisk dopamin krävs inte när djur utför en enkel, fast åtgärd för att snabbt få belöningar. Men många former av belöning kan endast erhållas genom långvarigt arbete: utökade sekvenser av icke-belönade handlingar, som vid foder. Att välja att arbeta innebär att andra fördelaktiga sätt att spendera tid måste förutses. Hög mesolimbisk dopamin indikerar att det är värt att engagera sig i tillfälligt utsträckt, ansträngande arbete, men eftersom dopamin sänks djur gör det inte bry, och kan istället bara förbereda sig för att sova.

Inom varje cortico-striatal loop krets är dopamins bidrag till pågående beteende såväl ekonomiskt (som rör resursallokering) och motiverande (oavsett om det är värt att spendera resurser). Dessa kretsar är inte helt oberoende utan har snarare en hierarkisk, spiralformande organisation: mer ventrale delar av striatum påverkar dopaminceller som projicerar till mer ryggpartier,. På detta sätt kan beslut om att delta i arbete också hjälpa till att stärka nödvändiga specifika, kortare rörelser. Men totalt sett ger dopamin "aktiveringssignaler" - vilket ökar sannolikheten för att något beslut fattas - snarare än "riktade" signaler som anger hur resurser bör användas.

Vilken är beräkningsrollen för dopamin när beslut fattas?

Ett sätt att tänka på den aktiva rollen är när det gäller beslut "trösklar". I vissa matematiska modeller ökar beslutsprocesserna tills de når en tröskelnivå när systemet blir engagerat i en handling. Högre dopamin skulle motsvara ett lägre tröskelvärde, så att besluten fattas snabbare. Denna idé är enkel, men gör ändå kvantitativa förutsägelser som har bekräftats. Att sänka tröskelvärdena för rörelse skulle orsaka en specifik förändring i formen av reaktionstidsfördelningen, precis vad man ser när amfetamin infunderas i sensorimotor striatum.

I stället för fasta tröskelvärden kan beteendemässiga och neurala data passa bättre om trösklarna minskar med tiden, som om beslut blir allt mer brådskande. Basal ganglia-utgång har föreslagits att tillhandahålla en dynamiskt utvecklande hastighetssignal, som stärker selektionsmekanismer i cortex. Brådskan var också större när framtida belöningar var närmare i tiden, vilket gjorde att detta koncept liknade dopamins värdekodande, aktiverande roll.

Är en sådan aktiveringsroll tillräcklig för att beskriva de prestandamodulerande effekterna av striatal dopamin? Detta är relaterat till den långvariga frågan om basala ganglia-kretsar direkt väljer bland lärda handlingar eller bara stärka val som görs någon annanstans,. Det finns åtminstone två sätt på vilka dopamin kan verka ha en mer "riktad" effekt. Den första är när dopamin verkar inom en hjärnsubregion som behandlar i sig riktad information. Basal ganglia-kretsar har en viktig, delvis lateraliserad roll som orienterar sig mot och närmar sig potentiella belöningar. Primatkudatet (~ DMS) är involverat i att driva ögonrörelser mot kontralaterala rumsfält. En dopaminerg signal om att något i kontralateralt utrymme är värt att orientera sig mot kan redovisa den observerade korrelationen mellan dopaminerg aktivitet i DMS och kontralaterala rörelser, såväl som det rotationsbeteende som produceras av dopaminmanipulationer. En andra "riktad" påverkan av dopamin är uppenbar när (bilaterala) dopaminlesioner förspänner råttor mot alternativ med låg ansträngning / låg belöning, snarare än alternativ med hög ansträngning / hög belöning. Detta kan återspegla det faktum att vissa beslut är mer seriella än parallella, där råttor (och människor) utvärderar alternativen en gång i taget. I dessa beslutssammanhang kan dopamin fortfarande betala en grundläggande aktiverande roll genom att förmedla värdet av det för närvarande övervägda alternativet, som sedan kan accepteras eller inte.

Aktiva djur fattar beslut på flera nivåer, ofta till höga priser. Utöver att tänka på enskilda beslut kan det vara bra att överväga en övergripande bana genom en sekvens av tillstånd (Fig 1). Genom att underlätta övergångar från ett tillstånd till nästa kan dopamin påskynda flödet längs inlärda banor. Detta kan relatera till dopamins viktiga inflytande över beteendets tidpunkt,. En nyckelgräns för framtida arbete är att få en djupare förståelse för hur sådana dopamineffekter på pågående beteende uppstår mekanistiskt, genom att förändra informationsbearbetning inom enstaka celler, mikrokretsar och storskaliga cortikal-basala ganglier. Jag har också betonat gemensamma beräkningsroller för dopamin i en rad striatalmål, men till stor del försummat kortikala mål, och det återstår att se om dopaminfunktioner i båda strukturerna kan beskrivas inom samma ram.

Sammanfattningsvis, en adekvat beskrivning av dopamin skulle förklara hur dopamin kan signalera både inlärning och motivation på samma snabba tidsskalor utan förvirring. Det skulle förklara varför dopamin frisläppas i viktiga mål covaries med belöningsförväntning även om dopamincellskydd inte gör det. Och det skulle ge en enhetlig beräkning av dopaminåtgärder i hela striatum och på annat håll, vilket förklarar olika beteendeeffekter på rörelse, kognition och timing. Vissa specifika idéer som presenteras här är spekulativa, men är avsedda att stärka förnyad diskussion, modellering och antydande nya experiment.

Tack.

Jag tackar de många kollegorna som gav insiktsfulla kommentarer om tidigare textutkast, inklusive Kent Berridge, Peter Dayan, Brian Knutson, Jeff Beeler, Peter Redgrave, John Lisman, Jesse Goldberg och de anonyma domarna. Jag beklagar att rymdbegränsningarna uteslutit diskussion om många viktiga tidigare studier. Väsentligt stöd gavs av National Institute on Neurological Disorders and Stroke, National Institute of Mental Health och National Institute on Drug Abuse.

Referenser:

1. Ungerstedt U Adipsia och afagi efter 6-hydroxydopamin inducerade degeneration av det nigro-striatala dopaminsystemet. Acta Physiol Scand Suppl 367, 95 – 122 (1971). [PubMed] []
2. Säckar O Uppvaknanden. uppvaknanden (1973).
3. Marshall JF, Levitan D och Stricker EM Aktiveringsinducerad återställande av sensorimotoriska funktioner hos råttor med dopaminutarmande hjärnskador. J Comp Physiol Psychol 90, 536 – 46 (1976). [PubMed] []
4. Berridge KC, Venier IL och Robinson TE Smakreaktivitetsanalys av 6-hydroxydopamininducerad aphagia: konsekvenser för upphetsning och anedonitetshypoteser av dopaminfunktion. Behav Neurosci 103, 36 – 45 (1989). [PubMed] []
5. Salamone J och Correa M De mystiska motivativa funktionerna av mesolimbisk dopamin. Neuron 76, 470–485 (2012).doi:10.1016/j.neuron.2012.10.021 [PMC gratis artikel] [PubMed] [CrossRef] []
6. Mazzoni P, Hristova A och Krakauer JW Varför rör vi oss inte snabbare? Parkinsons sjukdom, rörelsekraft och implicit motivation. J Neurosci 27, 7105 – 16 (2007) .doi: 10.1523 / JNEUROSCI.0264-07.2007 [PubMed] [CrossRef] []
7. Schultz W Svar från dopamin neuroner i mitten av hjärnan på beteendeaktiverande stimuli i apan. Journal of neurophysiology 56, 1439 – 1461 (1986). [PubMed] []
8. Schultz W och Romo R Dopaminsneuroner i apans midtränga: händelser av svar på stimuli som framkallar omedelbara beteendeaktioner. J Neurophysiol 63, 607 – 24 (1990). [PubMed] []
9. Montague PR, Dayan P och Sejnowski TJ En ram för mesencefaliska dopaminsystem baserade på förutsägbar hebreisk inlärning. J Neurosci 16, 1936 – 47 (1996). [PubMed] []
10. Schultz W, Apicella P och Ljungberg T Svar från apa-dopaminneuroner på belöning och konditionerade stimuli under på varandra följande steg för att lära sig en försenad responsuppgift. J Neurosci 13, 900 – 13 (1993). [PubMed] []
11. Sutton RS och Barto AG Förstärkningslärande: en introduktion. Förstärkningslärande: en introduktion (MIT Press: Cambridge, Massachusetts, 1998). []
12. Cohen JY, Haesler S, Vong L, Lowell BB och Uchida N Neuron-typspecifika signaler för belöning och straff i det ventrale tegmentområdet. Natur 482, 85–8 (2012).doi:10.1038/nature10754 [PMC gratis artikel] [PubMed] [CrossRef] []
13. Eshel N, Tian J, Bukwich M och Uchida N Dopaminneuroner delar gemensam responsfunktion för belöningsförutsägelsefel. Nat Neurosci 19, 479–86 (2016).doi:10.1038/nn.4239 [PMC gratis artikel] [PubMed] [CrossRef] []
14. Steinberg EE, Keiflin R, Boivin JR, Witten IB, Deisseroth K och Janak PH En orsakssamband mellan förutsägelsefel, dopaminneuroner och inlärning. Nat Neurosci (2013) .doi: 10.1038 / nn.3413 [PMC gratis artikel] [PubMed] [CrossRef] []
15. Hamid AA, Pettibone JR, Mabrouk OS, Hetrick VL, Schmidt R, Vander Weele CM, Kennedy RT, Aragona BJ och Berke JD Mesolimbisk dopamin signalerar värdet av arbete. Nat Neurosci 19, 117–26 (2016).doi:10.1038/nn.4173 [PMC gratis artikel] [PubMed] [CrossRef] []
16. Yagishita S, Hayashi-Takagi A, Ellis-Davies GC, Urakubo H, Ishii S och Kasai H Ett kritiskt tidsfönster för dopamininsatser på strukturella plasticitet hos dendritiska ryggar. Vetenskap 345, 1616–20 (2014).doi:10.1126/science.1255514 [PMC gratis artikel] [PubMed] [CrossRef] []
17. Berke JD och Hyman SE Addiction, dopamin och de molekylära mekanismerna i minnet. Neuron 25, 515 – 32 (2000). [PubMed] []
18. Beeler JA, Frank MJ, McDaid J, Alexander E, Turkson S, Bernandez MS, McGehee DS och Zhuang X En roll för dopaminmedierad inlärning i patofysiologi och behandling av Parkinsons sjukdom. Cell Rep 2, 1747–61 (2012).doi:10.1016/j.celrep.2012.11.014 [PMC gratis artikel] [PubMed] [CrossRef] []
19. Wise RA Dopamin, lärande och motivation. Nat Rev Neurosci 5, 483 – 94 (2004) .doi: 10.1038 / nrn1406 [PubMed] [CrossRef] []
20. Leventhal DK, Stoetzner C, Abraham R, Pettibone J, DeMarco K och Berke JD Oskiljbara effekter av dopamin på inlärning och prestanda inom sensorimotor striatum. Basala ganglierna 4, 43–54 (2014).doi:10.1016/j.baga.2013.11.001 [PMC gratis artikel] [PubMed] [CrossRef] []
21. Wyvell CL och Berridge KC Intrakompenserade amfetamin ökar den konditionerade incitamenten för sackarosbelöning: förbättring av belöningen "vill" utan förbättrad "gilla" eller responsförstärkning. J Neurosci 20, 8122 – 30. (2000). [PubMed] []
22. Cagniard B, Beeler JA, Britt JP, McGehee DS, Marinelli M och Zhuang X Dopamin skalar prestanda i avsaknad av nytt lärande. Neuron 51, 541 – 7 (2006) .doi: 10.1016 / j.neuron.2006.07.026 [PubMed] [CrossRef] []
23. Shiner T, Seymour B, Wunderlich K, Hill C, Bhatia KP, Dayan P och Dolan RJ Dopamin och prestanda i en förstärkningsinlärningsuppgift: bevis från Parkinsons sjukdom. Hjärna 135, 1871-1883 (2012). [PMC gratis artikel] [PubMed] []
24. McClure SM, Daw ND och Montague PR Ett beräkningssubstrat för stimulansförmåga. Trender Neurosci 26, 423 – 8 (2003). [PubMed] []
25. Schultz W Flera dopaminfunktioner vid olika tidskurser. Annu Rev Neurosci 30, 259 – 88 (2007) .doi: 10.1146 / annurev.neuro.28.061604.135722 [PubMed] [CrossRef] []
26. Gonon F, Burie JB, Jaber M, Benoit-Marand M, Dumartin B och Bloch B Geometri och kinetik för dopaminerg överföring i råttstriatum och hos möss som saknar dopamintransportör. Prog Brain Res 125, 291 – 302 (2000). [PubMed] []
27. Aragona BJ, Cleaveland NA, Stuber GD, Day JJ, Carelli RM och Wightman RM Företrädesvis förbättring av dopaminöverföring i kärnans accumbens-skal med kokain beror på en direkt ökning av fasiska dopaminfrisättningshändelser. J Neurosci 28, 8821–31 (2008).doi:10.1523/JNEUROSCI.2225-08.2008 [PMC gratis artikel] [PubMed] [CrossRef] []
28. Owesson-White CA, Roitman MF, Sombers LA, Belle AM, Keithley RB, Peele JL, Carelli RM och Wightman RM Källor som bidrar till den genomsnittliga extracellulära koncentrationen av dopamin i nucleus accumbens. J Neurochem 121, 252–62 (2012).doi:10.1111/j.1471-4159.2012.07677.x [PMC gratis artikel] [PubMed] [CrossRef] []
29. Yapo C, Nair AG, Clement L, Castro LR, Hellgren Kotaleski J och Vincent P Upptäckt av fasisk dopamin av D1 och D2 striatala medelstänkta nervceller. J Physiol (2017) .doi: 10.1113 / JP274475 [PMC gratis artikel] [PubMed] [CrossRef] []
30. Freed CR och Yamamoto BK Regional dopaminmetabolism i hjärnan: en markör för hastighet, riktning och hållning hos rörliga djur. Vetenskap 229, 62 – 65 (1985). [PubMed] []
31. Niv Y, Daw ND, Joel D och Dayan P Tonic dopamin: möjlighetskostnader och kontroll av svarskraft. Psykofarmakologi (Berl) 191, 507–20 (2007).doi:10.1007/s00213-006-0502-4 [PubMed] [CrossRef] []
32. Strecker RE, Steinfels GF och Jacobs BL Dopaminergisk enhetsaktivitet hos katter som rör sig fritt: brist på relation till utfodring, mättnad och glukosinjektioner. Brain Res 260, 317 – 21 (1983). [PubMed] []
33. Cohen JY, Amoroso MW och Uchida N Serotonergiska nervceller signalerar belöning och straff på flera gånger. Elife 4, (2015) .doi: 10.7554 / eLife.06346 [PMC gratis artikel] [PubMed] [CrossRef] []
34. Floresco SB, West AR, Ash B, Moore H och Grace AA Avhängig modulering av dopaminneuronbränning reglerar differentiellt tonisk och fasisk dopaminöverföring. Nat Neurosci 6, 968 – 73 (2003) .doi: 10.1038 / nn1103 [PubMed] [CrossRef] []
35. Grace AA Dysregulering av dopaminsystemet vid patofysiologi för schizofreni och depression. Naturrecensioner Neurovetenskap 17, 524 (2016) .doi: 10.1038 / nrn.2016.57 [PMC gratis artikel] [PubMed] [CrossRef] []
36. Phillips PE, Stuber GD, Heien ML, Wightman RM och Carelli RM Subsecond dopaminfrisättning främjar kokainsökande. Natur 422, 614 – 8 (2003) .doi: 10.1038 / nature01476 [PubMed] [CrossRef] []
37. Wassum KM, Ostlund SB och Maidment NT Fasisk mesolimbisk dopamin-signalering föregår och förutsäger utförandet av en självinitierad åtgärdssekvensuppgift. Biolpsykiatri 71, 846–54 (2012).doi:10.1016/j.biopsych.2011.12.019 [PMC gratis artikel] [PubMed] [CrossRef] []
38. Howe MW, Tierney PL, Sandberg SG, Phillips PE och Graybiel AM Lång dopamin signalering i striatum signalerar närhet och värde av avlägsna belöningar. Natur 500, 575–9 (2013).doi:10.1038/nature12475 [PMC gratis artikel] [PubMed] [CrossRef] []
39. Satoh T, Nakai S, Sato T och Kimura M Korrelerad kodning av motivation och resultat av beslut av dopaminneuroner. J Neurosci 23, 9913 – 23 (2003). [PubMed] []
40. Howe MW och Dombeck DA Snabb signalering i distinkta dopaminergiska axoner under rörelse och belöning. Natur 535, 505–10 (2016).doi:10.1038/nature18942 [PMC gratis artikel] [PubMed] [CrossRef] []
41. Silva JAD, Tecuapetla F, Paixão V och Costa RM Dopaminneuronaktivitet före initieringsportar och stimulerar framtida rörelser. Natur 554, 244 (2018) .doi: 10.1038 / nature25457 [PubMed] [CrossRef] []
42. du Hoffmann J och Nicola SM Dopamin stärker belöning som söker genom att främja cue-framkallade excitation i nucleus accumbens. J Neurosci 34, 14349–64 (2014).doi:10.1523/JNEUROSCI.3492-14.2014 [PMC gratis artikel] [PubMed] [CrossRef] []
43. Hart AS, Rutledge RB, Glimcher PW och Phillips PE Fasisk frisättning av dopamin i råttkärnan ackumulatorer kodar symmetriskt en term för belöningsförutsägelse. J Neurosci 34, 698–704 (2014).doi:10.1523/JNEUROSCI.2489-13.2014 [PMC gratis artikel] [PubMed] [CrossRef] []
44. Soares S, Atallah BV och Paton JJ Mid-hjärnan dopamin neuroner styr tidens bedömning. Vetenskap 354, 1273 – 1277 (2016) .doi: 10.1126 / science.aah5234 [PubMed] [CrossRef] []
45. Ikemoto S Dopaminbelöningskretsar: två projektionssystem från den ventrala midjen till kärnan accumbens-olfactory tubercle complex. Brain Res Rev 56, 27–78 (2007).doi:10.1016/j.brainresrev.2007.05.004 [PMC gratis artikel] [PubMed] [CrossRef] []
46. Syed EC, Grima LL, Magill PJ, Bogacz R, Brown P och Walton ME Handlingsinitiering formar mesolimbisk dopaminkodning av framtida belöningar. Nat Neurosci (2015) .doi: 10.1038 / nn.4187 [PMC gratis artikel] [PubMed] [CrossRef] []
47. Floresco SB, Yang CR, Phillips AG och Blaha CD Basolateral amygdala-stimulering framkallar glutamatreceptorberoende dopaminutflöde i kärnan i de anestetiserade råtta. Eur J Neurosci 10, 1241 – 51 (1998). [PubMed] []
48. Jones JL, Day JJ, Aragona BJ, Wheeler RA, Wightman RM och Carelli RM Basolaterala amygdala modulerar terminal frisättning av dopamin i nucleus accumbens och konditionerade svar. Biolpsykiatri 67, 737–44 (2010).doi:S0006–3223(09)01327–4 [pii] 10.1016/j.biopsych.2009.11.006 [PMC gratis artikel] [PubMed] [CrossRef] []
49. Cachope R, Mateo Y, Mathur BN, Irving J, Wang HL, Morales M, Lovinger DM och Cheer JF Selektiv aktivering av kolinerga internuroner förbättrar ackumulerad fasisk dopaminfrisättning: ställer in tonen för belöningsbearbetning. Cell Rep 2, 33–41 (2012).doi:10.1016/j.celrep.2012.05.011 [PMC gratis artikel] [PubMed] [CrossRef] []
50. Threlfell S, Lalic T, Platt NJ, Jennings KA, Deisseroth K och Cragg SJ Striatal frisättning av dopamin utlöses av synkroniserad aktivitet i kolinerge internuroner. Neuron 75, 58 – 64 (2012) .doi: 10.1016 / j.neuron.2012.04.038 [PubMed] [CrossRef] []
51. Grace AA Fasisk kontra tonic dopamin frisättning och modulering av dopaminsystemansvar: en hypotes för etiologi för schizofreni. Neuroscience 41, 1 – 24 (1991). [PubMed] []
52. Moyer JT, Wolf JA och Finkel LH Effekter av dopaminerg modulering på de integrativa egenskaperna hos det ventrala striatala mediumstänkta neuronet. J Neurophysiol 98, 3731 – 48 (2007). [PubMed] []
53. Jędrzejewska-Szmek J, Damodaran S, Dorman DB och Blackwell KT Kalciumdynamik förutspår riktningen av synaptisk plasticitet i striatala, spiny projektionsneuroner. Eur J Neurosci 45, 1044–1056 (2017).doi:10.1111/ejn.13287 [PMC gratis artikel] [PubMed] [CrossRef] []
54. Morris G, Arkadir D, Nevet A, Vaadia E och Bergman H Sammangående men distinkta meddelanden om dopamin i mellanhjärnan och striatal toniskt aktiva nervceller. Neuron 43, 133 – 43 (2004). [PubMed] []
55. Brown MT, Tan KR, O'Connor EC, Nikonenko I, Muller D och Lüscher C GABA-projektioner i Ventral tegmental område pausar ackumulerade kolinergiska internuroner för att förbättra associerande lärande. Natur (2012) .doi: 10.1038 / nature11657 [PubMed] [CrossRef] []
56. Yamanaka K, Hori Y, Minamimoto T, Yamada H, Matsumoto N, Enomoto K, Aosaki T, Graybiel AM och Kimura M Roller av centromedian parafascikulära kärnor i thalamus och kolinergiska internuroner i ryggstratum i associativ inlärning av miljöhändelser. J Neural Transm (Wien) (2017).doi:10.1007/s00702-017-1713-z [PMC gratis artikel] [PubMed] [CrossRef] []
57. Shen W, Plotkin JL, Francardo V, Ko WK, Xie Z, Li Q, Fieblinger T, Wess J, Neubig RR, Lindsley CW, Conn PJ, Greengard P, Bezard E, Cenci MA och Surmeier DJ M4 muskarinreceptor signalering förbättrar Striatal plasticitet brister i modeller av L-DOPA-inducerad Dyskinesia. Neuron 88, 762–73 (2015).doi:10.1016/j.neuron.2015.10.039 [PMC gratis artikel] [PubMed] [CrossRef] []
58. Nair AG, Gutierrez-Arenas O, Eriksson O, Vincent P och Hellgren Kotaleski J Avkänna positiva kontra negativa belöningssignaler genom Adenylyl cyklaskopplade GPCR: er i direkta och indirekta vägbanor Striatal medium spiny neuroner. J Neurosci 35, 14017–30 (2015).doi:10.1523/JNEUROSCI.0730-15.2015 [PMC gratis artikel] [PubMed] [CrossRef] []
59. Stocco A Acetylkolinbaserad entropi som svarval: en modell av hur striatal internuroner modulerar utforskning, exploatering och svarsvariabilitet i beslutsfattande. Gränser inom neurovetenskap 6(2012). [PMC gratis artikel] [PubMed] []
60. Franklin NT och Frank MJ En kolinergisk återkopplingskrets för att reglera osäkerhet för striatal befolkning och optimera förstärkningslärande. Elife 4, (2015) .doi: 10.7554 / eLife.12029 [PMC gratis artikel] [PubMed] [CrossRef] []
61. Nougaret S och Ravel S Modulation av Tonically Active Neurons of the Monkey Striatum av händelser som bär annan kraft och belöningsinformation. J Neurosci 35, 15214 – 26 (2015) .doi: 10.1523 / JNEUROSCI.0039-15.2015 [PubMed] [CrossRef] []
62. Schultz W Prediktiv belöningssignal för dopaminneuroner. J Neurophysiol 80, 1 – 27 (1998). [PubMed] []
63. Lammel S, Hetzel A, Häckel O, Jones I, Liss B och Roeper J Unika egenskaper hos mesoprefrontala neuroner inom ett dubbel mesokortikolimbiskt dopaminsystem. Neuron 57, 760 – 73 (2008) .doi: 10.1016 / j.neuron.2008.01.022 [PubMed] [CrossRef] []
64. Poulin JF, Zou J, Drouin-Ouellet J, Kim KY, Cicchetti F och Awatramani RB Definiera dopaminerge neuron-mångfald i mellanhjärnan genom profilering av encelliga genuttryck. Cell Rep 9, 930–43 (2014).doi:10.1016/j.celrep.2014.10.008 [PMC gratis artikel] [PubMed] [CrossRef] []
65. Morales M och Margolis EB Ventral tegmental område: cellulär heterogenitet, anslutning och beteende. Nat Rev Neurosci 18, 73 – 85 (2017) .doi: 10.1038 / nrn.2016.165 [PubMed] [CrossRef] []
66. Matsumoto M och Hikosaka O Två typer av dopaminneuron överför tydligt positiva och negativa motivationssignaler. Natur 459, 837 – 41 (2009) .doi: nature08028 [pii] 10.1038 / nature08028 [PMC gratis artikel] [PubMed] [CrossRef] []
67. Pasquereau B och Turner RS Dopaminneuroner kodar fel när det gäller att förutsäga rörelseutlöser. Journal of Neurophysiology 113, 1110–1123 (2014).doi:10.1152/jn.00401.2014 [PMC gratis artikel] [PubMed] [CrossRef] []
68. Redgrave P, Prescott TJ och Gurney K Är dopaminsvaret med kort latens för kort för att signalera belöningsfel? Trender Neurosci 22, 146 – 51 (1999). [PubMed] []
69. Bromberg-Martin ES, Matsumoto M och Hikosaka O Dopamin i motiverande kontroll: givande, aversiv och varning. Neuron 68, 815–34 (2010).doi:10.1016/j.neuron.2010.11.022 [PMC gratis artikel] [PubMed] [CrossRef] []
70. Dodson PD, Dreyer JK, Jennings KA, Syed EC, Wade-Martins R, Cragg SJ, Bolam JP och Magill PJ Representation av spontan rörelse av dopaminerga nervceller är selektivt av celltyp och störs i parkinsonism. Proc Natl Acad Sci USA 113, E2180–8 (2016).doi:10.1073/pnas.1515941113 [PMC gratis artikel] [PubMed] [CrossRef] []
71. Lerner TN, Shilyansky C, Davidson TJ, Evans KE, Beier KT, Zalocusky KA, Crow AK, Malenka RC, Luo L, Tomer R och Deisseroth K Intakt-hjärnanalyser avslöjar tydlig information som bärs av SNc-dopaminunderkretsar. Cell 162, 635–47 (2015).doi:10.1016/j.cell.2015.07.014 [PMC gratis artikel] [PubMed] [CrossRef] []
72. Parker NF, Cameron CM, Taliaferro JP, Lee J, Choi JY, Davidson TJ, Daw ND och Witten IB Belöning och valkodning i terminaler för dopamin neuroner i mellanhjärnan beror på striatal mål. Nat Neurosci (2016) .doi: 10.1038 / nn.4287 [PMC gratis artikel] [PubMed] [CrossRef] []
73. Kim CK, Yang SJ, Pichamoorthy N, Young NP, Kauvar I, Jennings JH, Lerner TN, Berndt A, Lee SY, Ramakrishnan C, Davidson TJ, Inoue M, Bito H och Deisseroth K Samtidig snabbmätning av kretsdynamiken på flera platser över däggdjurshjärnan. Naturmetoder 13, 325–328 (2016).doi:10.1038/nmeth.3770 [PMC gratis artikel] [PubMed] [CrossRef] []
74. Menegas W, Babayan BM, Uchida N och Watabe-Uchida M Motsatt initialisering till nya ledtrådar i dopamin-signalering i ventral och bakre striatum hos möss. Elife 6, (2017) .doi: 10.7554 / eLife.21886 [PMC gratis artikel] [PubMed] [CrossRef] []
75. Brown HD, McCutcheon JE, Cone JJ, Ragozzino ME och Roitman MF Primär matbelöning och belöningsprediktiv stimuli framkallar olika mönster av fasisk dopamin-signalering genom hela striatum. European Journal of neuroscience 34, 1997–2006 (2011).doi:10.1111/j.1460-9568.2011.07914.x [PMC gratis artikel] [PubMed] [CrossRef] []
76. Knutson B och Greer SM Förväntande påverkan: neurala korrelationer och konsekvenser för valet. Philos Trans R Soc Lond B Biol Sci 363, 3771–86 (2008).doi:10.1098/rstb.2008.0155 [PMC gratis artikel] [PubMed] [CrossRef] []
77. Bartra O, McGuire JT och Kable JW Värderingssystemet: en koordinatbaserad metaanalys av BOLD fMRI-experiment som undersöker neuralkorrelater av subjektivt värde. NeuroImage 76, 412–27 (2013).doi:10.1016/j.neuroimage.2013.02.063 [PMC gratis artikel] [PubMed] [CrossRef] []
78. Ferenczi EA, Zalocusky KA, Liston C, Grosenick L, Warden MR, Amatya D, Katovich K, Mehta H, Patenaude B, Ramakrishnan C, Kalanithi P, Etkin A, Knutson B, Glover GH och Deisseroth K Prefrontal kortikalreglering av hjärnomfattande kretsdynamik och belöningsrelaterat beteende. Vetenskap 351, aac9698 (2016) .doi: 10.1126 / science.aac9698 [PMC gratis artikel] [PubMed] [CrossRef] []
79. Bertran-Gonzalez J, Bosch C, Maroteaux M, Matamales M, Hervé D, Valjent E och Girault JA Motsatta mönster för signalering av aktivering i dopamin D1 och D2 receptoruttryckande striatal neuroner som svar på kokain och haloperidol. J Neurosci 28, 5671 – 85 (2008) .doi: 10.1523 / JNEUROSCI.1039-08.2008 [PubMed] [CrossRef] []
80. Redgrave P, Prescott TJ och Gurney K De basala ganglierna: en ryggradslösning på selektionsproblemet? Neuroscience 89, 1009 – 23 (1999). [PubMed] []
81. Beeler JA, Frazier CR och Zhuang X Låta på en budget: dopamin och energiförbrukning, förena belöning och resurser. Front Integr Neurosci 6, 49 (2012) .doi: 10.3389 / fnint.2012.00049 [PMC gratis artikel] [PubMed] [CrossRef] []
82. Anderson BA, Kuwabara H, Wong DF, Gean EG, Rahmim A, Brašić JR, George N, Frolov B, Courtney SM och Yantis S Dopaminens roll i värdesbaserad uppmärksam orientering. Curr Biol 26, 550–5 (2016).doi:10.1016/j.cub.2015.12.062 [PMC gratis artikel] [PubMed] [CrossRef] []
83. Chatham CH, Frank MJ och Badre D Corticostriatal utgångsport vid val från arbetsminne. Neuron 81, 930–42 (2014).doi:10.1016/j.neuron.2014.01.002 [PMC gratis artikel] [PubMed] [CrossRef] []
84. Shenhav A, Botvinick MM och Cohen JD Det förväntade kontrollvärdet: en integrerad teori om anterior cingulate cortex-funktion. Neuron 79, 217–40 (2013).doi:10.1016/j.neuron.2013.07.007 [PMC gratis artikel] [PubMed] [CrossRef] []
85. Aarts E, Roelofs A, Franke B, Rijpkema M, Fernández G, Helmich RC och Cools R Striatal dopamin förmedlar gränssnittet mellan motiverande och kognitiv kontroll hos människor: bevis från genetisk avbildning. Neuropsychopharmacology 35, 1943–51 (2010).doi:10.1038/npp.2010.68 [PMC gratis artikel] [PubMed] [CrossRef] []
86. Westbrook A och Braver TS Dopamin har dubbla skyldigheter när det gäller att motivera kognitivt arbete. Neuron 89, 695–710 (2016).doi:10.1016/j.neuron.2015.12.029 [PMC gratis artikel] [PubMed] [CrossRef] []
87. Manohar SG, Chong TT, Apps MA, Batla A, Stamelou M, Jarman PR, Bhatia KP och Husain M Belöning betalar kostnaden för brusreducering i motorisk och kognitiv kontroll. Curr Biol 25, 1707–16 (2015).doi:10.1016/j.cub.2015.05.038 [PMC gratis artikel] [PubMed] [CrossRef] []
88. Wunderlich K, Smittenaar P och Dolan RJ Dopamin förbättrar modellbaserat över modellfritt valbeteende. Neuron 75, 418–24 (2012).doi:10.1016/j.neuron.2012.03.042 [PMC gratis artikel] [PubMed] [CrossRef] []
89. Nicola SM Den flexibla tillvägagångsshypotesen: enhetlighet av ansträngning och cue-svarande hypoteser för rollen som nucleus accumbens dopamin i aktiveringen av belöningssökande beteende. J Neurosci 30, 16585–600 (2010).doi:10.1523/JNEUROSCI.3958-10.2010 [PMC gratis artikel] [PubMed] [CrossRef] []
90. Eban-Rothschild A, Rothschild G, Giardino WJ, Jones JR och de Lecea L VTA-dopaminerge nervceller reglerar etologiskt relevant sömn-vaknande beteende. Nat Neurosci (2016) .doi: 10.1038 / nn.4377 [PMC gratis artikel] [PubMed] [CrossRef] []
91. Haber SN, Fudge JL och McFarland NR Striatonigrostriatala vägar i primater bildar en stigande spiral från skalet till det dorsolaterala striatum. J Neurosci 20, 2369 – 82 (2000). [PubMed] []
92. Reddi BAJ och Carpenter RHS Påverkan av brådska på beslutstid. Naturens neurovetenskap 3, 827 (2000). [PubMed] []
93. Thura D och Cisek P Basal Ganglia väljer inte räckvidd utan kontrollerar brådskandet av engagemang. Neuron (2017) .doi: 10.1016 / j.neuron.2017.07.039 [PubMed] [CrossRef] []
94. Turner RS ​​och Desmurget M Basala ganglia-bidrag till motorstyrning: en kraftig handledare. Curr Opin Neurobiol 20, 704–16 (2010).doi:10.1016/j.conb.2010.08.022 [PMC gratis artikel] [PubMed] [CrossRef] []
95. Hikosaka O, Nakamura K och Nakahara H Basal ganglia orienterar ögonen för att belöna. J Neurophysiol 95, 567 – 84 (2006) .doi: 10.1152 / jn.00458.2005 [PubMed] [CrossRef] []
96. Kelly PH och Moore KE Mesolimbiska dopaminerge neuroner i rotationsmodellen för nigrostriatal funktion. Natur 263, 695 – 6 (1976). [PubMed] []
97. Kusiner MS, Atherton A, Turner L och Salamone JD Nucleus accumbens dopaminutarmning förändrar relativ responsallokering i en T-labyrint kostnad / nytta uppgift. Behav Brain Res 74, 189 – 97. (1996). [PubMed] []
98. Redish AD Vicarious rättegång och misstag. Nat Rev Neurosci 17, 147–59 (2016).doi:10.1038/nrn.2015.30 [PMC gratis artikel] [PubMed] [CrossRef] []
99. Rabinovich MI, Huerta R, Varona P och Afraimovich VS Övergående kognitiv dynamik, metastabilitet och beslutsfattande. PLoS Comput Biol 4, e1000072 (2008) .doi: 10.1371 / journal.pcbi.1000072 [PMC gratis artikel] [PubMed] [CrossRef] []
100. Merchant H, Harrington DL och Meck WH Neural grund för tidens uppfattning och uppskattning. Annu Rev Neurosci 36, 313 – 36 (2013) .doi: 10.1146 / annurev-neuro-062012-170349 [PubMed] [CrossRef] []