Wolfram Schultz 1
Behav Brain Funct. 2010; 6: 24.
Publicerad online 2010 april 23. doi: 10.1186 / 1744-9081-6-24.
FULL STUDIE: Dopaminsignaler för belöningsvärde och riskbaserade och senaste data
1 Institutionen för fysiologi, utveckling och neurovetenskap, University of Cambridge, Downing Street, Cambridge CB2 3DY, UK
Motsvarande författare.
Wolfram Schultz: [e-postskyddad]
Abstrakt
Bakgrund
Tidigare skador, elektrisk självstimulering och läkemedelsberoende undersökningar tyder på att dopaminsystemen i mitten av hjärnan är delar av hjärnans belöningssystem. Denna översyn ger en uppdaterad översikt om de grundläggande signalerna från dopaminsneuroner till miljöstimuleringar
Metoder
De beskrivna experimenten använde vanliga beteendemässiga och neurofysiologiska metoder för att registrera aktiviteten hos enstaka dopaminneuroner i vakna apor under specifika beteendemässiga uppgifter.
Resultat
Dopaminneuroner visar fasaktivering av yttre stimuli. Signalen återspeglar belöning, fysisk framställning, risk och straff, i fallande ordning för fraktioner av svarande neuroner. Förväntat belöningsvärde är en viktig variabel för beslut för ekonomiska val. Belöningssvarskoderna belöner värde, sannolikhet och deras summerade produkt, förväntat värde. Neuronerna kodar belöningsvärdet eftersom det skiljer sig från förutsägelse, och därmed uppfyller det grundläggande kravet för en dubbelriktad prediktionsfelundervisningssignal postulerad av lärande teori. Detta svar skalas i enheter av standardavvikelse. Däremot visar relativt få dopaminneuroner den fasaktiveringen efter straffare och konditionerade aversiva stimuli, vilket antyder en brist på förhållande mellan belöningssvaret till allmän uppmärksamhet och upphetsning. Stora andelar av dopaminneuroner aktiveras också av intensiva, fysiskt framträdande stimuli. Detta svar förbättras när stimuli är nya; det verkar skilja sig från belöningsvärdesignalen. Dopaminneuroner visar också ospecifika aktiveringar av icke-givande stimuli som möjligen beror på generalisering genom liknande stimuli och pseudokonditionering genom primära belöningar. Dessa aktiveringar är kortare än belöningssvar och följs ofta av depression av aktivitet. En separat, långsammare dopaminsignal informerar om risk, en annan viktig beslutsvariabel. Förutsägelsefelsvaret uppträder endast med belöning; det skalas av risken för förutspådd belöning.
Slutsatser
Neurofysiologiska studier avslöjar phasic dopamin signaler som överför information relaterad övervägande men inte uteslutande för att belöna. Även om det inte är helt homogent, är dopaminsignalen mer begränsad och stereotyp än neuronaktivitet i de flesta andra hjärnstrukturer som är inblandade i målriktat beteende.
Bakgrund
Resultat från lesion och psykofarmakologiska studier tyder på ett brett spektrum av beteendefunktioner för dopaminsystem i mellanhjärnan. Nyckelfrågan är, vilka av dessa många funktioner kodas aktivt av en fasisk dopaminsignal som är kompatibel med snabba neuronala mekanismer? Bra tips kommer från narkotikamissbruk och elektrisk självstimulering, vilket tyder på att dopaminaktivitet har givande och tillvägagångseffektiva effekter [1,2].
Vi kan definiera belöningar som objekt eller händelser som genererar tillvägagångssätt och fullbordande beteende, producerar inlärning av sådant beteende, representerar positiva resultat av ekonomiska beslut och engagerar positiva känslor och hedoniska känslor. Belöningar är avgörande för individöverlevnad och genöverlevnad och stöder elementära processer som dricka, äta och reproduktion. Denna beteendedefinition tillskriver belöningsfunktion också till vissa icke-spädande och icke-sexuella enheter, inklusive pengar, tekniska artefakter, estetiska stimulansattribut och mentala händelser. Belöningar engagerar agenter i så olika beteenden som foder och handel på aktiemarknader.
Grundläggande koncept
Belöningar har en viss storlek och uppträder med specifika sannolikheter. Agenter syftar till att optimera val mellan alternativ vars värden bestäms av typen av valobjekt och dess storlek och sannolikhet [3]. Därför kan belöningar beskrivas på lämpligt sätt genom sannolikhetsfördelningar av belöningsvärden. I en idealisk värld följer dessa distributioner en Gaussisk funktion, med extrema belöningar som förekommer mindre ofta än mellanliggande resultat. Experimentella tester använder ofta binära sannolikhetsfördelningar med ekiprobabla värden (varje belöningsvärde förekommer vid p = 0.5). Gaussiska och binära sannolikhetsfördelningar beskrivs fullständigt av det matematiska förväntade värdet (första ögonblicket av sannolikhetsfördelning) och dispersioner eller avvikelser av värden från medelvärdet, nämligen (förväntad) varians (andra ögonblick) eller (förväntad) standardavvikelse (kvadratrot varians). Avvikelse och standardavvikelse betraktas ofta som riskmått. I beteendekonomi hänvisar termen "risk" till en form av osäkerhet där sannolikhetsfördelningen är känd, medan "tvetydighet" indikerar ofullständig kunskap om sannolikheter och ofta kallas "osäkerhet". Risk avser chansen att vinna eller förlora, snarare än den mer snäva, sunt förnuft som är förknippad med förlust.
Förutsägelser är av grundläggande betydelse för att fatta informerat beslut genom att tillhandahålla förhandsinformation om tillgängliga valalternativ, i motsats till gissningar som uppstår när resultat är okända. Eftersom belöning kan kvantifieras genom sannolikhetsfördelningar av värde, anger belöningsförutsägelser det förväntade värdet och (förväntade) variansen eller standardavvikelsen för distributionen.
Evolutionärt tryck gynnar energieffektiv bearbetning av information. En potentiell lösning är att lagra förutsägelser om framtida händelser i högre hjärncentrum och beräkna i lägre hjärncentra skillnaden mellan ny miljöinformation och den lagrade förutsägelsen. Skillnaden mellan den faktiska händelsen och dess förutsägelse kallas ett händelseförutsägelsefel. Att hålla jämna steg med den förändrade miljösituationen av högre hjärncentraler skulle helt enkelt innebära att uppdatera förutsägelserna med mindre information som innehåller, och mindre energikrävande, förutsägelsefel snarare än att bearbeta hela perifera information varje gång en liten sak har förändrats [4] På detta sätt har högre hjärncentraler tillgång till fullständig information om den yttre världen för uppfattningar, beslut och beteendemässiga reaktioner till en mycket lägre energikostnad. Denna grundläggande egenskap av förutsägelser leder till det observerbara fenomenet lärande, som definieras av förändringar i beteende baserat på uppdaterade förutsägelser.
Djurens inlärningsteori och effektiva tidsmässiga skillnadsförstärkningsmodeller postulerar att utfallsprognosfel är avgörande för Pavlovian och operant konditionering [5,6]. Nuvarande åsikter konceptualiserar Pavlovian lärande som någon form av förvärv av förutsägelse som leder till förändrade vegetativa reaktioner eller strimmiga muskelsammandragningar, så länge resultatet inte är villkorat av beteendemässiga reaktioner. Således förmedlar Pavlovian-belöningsprognoser inte bara om belöningsvärdet (förväntat värde) utan också om risken (variansen) av framtida belöningar, vilket utgör en viktig förlängning av konceptet som Pavlov föreslog för hundra år sedan. Betydelsen av förutsägelsefel baseras på Kamins blockerande effekt [7] som visar att inlärning och utrotning endast går framåt i den utsträckning som en förstärkare är bättre eller sämre än förutsagt; inlärning saktar gradvis när förutsägelsen asymptotiskt närmar sig förstärkarens värde.
Dopamin svar på belöning mottagning
Majoriteten av hjärnans dopaminneuroner (75-80%) visar ganska stereotypa, fasiska aktiveringar med latenser på <100 ms och varaktigheter på <200 ms efter temporärt oförutsedda mat- och vätskebelöningar (figur (figur 1A). 1A). Detta burst-svar beror på aktivering och plasticitet av glutamatergiska NMDA- och AMPA-receptorer belägna på dopaminneuroner [8-12]. Utbrottet är kritiskt för beteendemässigt lärande av aptitliga uppgifter, såsom villkorad platspreferens och val av T-labyrint för mat- eller kokainbelöning och för konditionerade rädselsvar [9].
Figur 1
Fasiska aktiveringar av neurofysiologisk impulsaktivitet hos dopaminneuroner. S: Fasiska aktiveringar efter primära belöningar. B: Fasiska aktiveringar efter konditionerade, belöningsförutsägande stimuli. C: Topp: Brist på fasaktivering efter primär (mer ...)
Felkodning för förutsägelsesprognos
Dopaminsvaret för belöningstillförsel verkar koda ett förutsägelsefel; en belöning som är bättre än förutspådd framkallar en aktivering (positivt förutsägelsefel), en fullt förutsagd belöning får inget svar, och en belöning som är sämre än förutsagt inducerar en depression (negativt fel) [13-24]. Således implementerar dopaminsvaret till fullo den avgörande termen i Rescorla-Wagner-inlärningsmodellen och liknar nära undervisningssignalen för effektiva temporära skillnadsförstärkande inlärningsmodeller [6,23].
Felsvaret varierar kvantitativt med skillnaden mellan det mottagna belöningsvärdet och det förväntade belöningsvärdet [18-23]. Förutsägelsefelsvaret är känsligt för tidpunkten för belöningen; en försenad belöning inducerar en depression vid dess ursprungliga tid och en aktivering vid dess nya tid [24,25]. Den kvantitativa felkodningen är uppenbar för aktiveringar som reflekterar positiva förutsägelsefel. Däremot visar depressionen som inträffar med negativa förutsägelsefel naturligtvis ett smalare dynamiskt intervall, eftersom neuronal aktivitet inte kan falla under noll, och lämplig kvantitativ bedömning kräver att hänsyn tas till hela depressionsperioden [26].
Således svarar dopaminneuroner på belöning endast i den utsträckning den skiljer sig från förutsägelse. Eftersom förutsägelse härrör från tidigare upplevd belöning aktiveras dopaminneuroner endast när den aktuella belöningen är bättre än den tidigare belöningen. Samma belöning igen aktiverar inte dopaminneuroner. Om aktiveringen av dopaminneuroner har en positivt förstärkande effekt på beteende, kommer endast ökande belöningar att ge fortsatt förstärkning via dopaminergiska mekanismer. Detta kan vara en anledning till att konstant, oföränderlig belöning verkar förlora sitt stimulerande inflytande, och varför vi alltid behöver mer belöning.
Stränga test för felkodning av belöningsförutsägelse
Djurens inlärningsteori har utvecklat formella paradigmer för att testa belöningsförutsägelsefel. I blockeringstestet [7] kan en stimulans som är parad med en fullt förutsagd belöning inte läras och blir därför inte en giltig belöningsprediktor. Avsaknaden av en belöning efter den blockerade stimulansen utgör inte ett förutsägelsefel och leder inte till ett svar i dopaminneuroner, även efter omfattande stimulans-belöningsparring [27]. Däremot utgör en belöning efter en blockerad stimulans ett positivt förutsägelsefel och framkallar följaktligen en dopaminaktivering.
Det konditionerade hämningsparadigmet [28] erbjuder ett ytterligare test för prediktionsfel. I den uppgift som används i våra experiment presenteras ett teststimulus samtidigt med en etablerad belöning som förutsäger stimulans men ingen belöning ges efter föreningen, vilket gör teststimulus till en förutsägare för frånvaro av belöning. Belöningsundersökning efter en sådan konditionerad hämmare utgör inte ett negativt förutsägelsefel och följaktligen misslyckas det med att inducera en depression i dopaminneuroner [29]. Däremot ger en belöning efter hämmaren ett starkt positivt förutsägelsefel och följaktligen en stark dopaminaktivering.
Resultaten från dessa två formella test bekräftar att dopaminneuroner visar dubbelriktad kodning av belöningsförutsägelsefel.
Felkodning för adaptiv belöningsförutsägelse
I allmän mening anger en belöning som förutsäger stimulans värdet på framtida belöningar genom att informera om sannolikhetsfördelningen av belöningsvärden. Således indikerar stimulansen det förväntade värdet (första ögonblicket) och (förväntat) variansen (andra ögonblicket) eller standardavvikelsen för distributionen.
Dopaminvärdesförutsägelsfelsvaret är känsligt för både de första och andra momenten av den förutsagda belöningsfördelningen två sekunder efter stimulansen. I ett experiment kan olika visuella stimuli förutsäga specifika binära sannolikhetsfördelningar av utrustningsbara belöningsstorlekar med olika förväntade värden och variationer. Eftersom prediktionsfelsvaret återspeglar skillnaden mellan det erhållna och förväntade belöningsvärdet producerar den identiska storleken på den mottagna belöningen antingen en ökning eller minskning av dopaminaktivitet beroende på om belöningen är större eller mindre än dess förutsägelse [23]. Detta resultat antyder att kodning av värdeförutsägelsefel tillhandahåller information relativt ett referens- eller förankringsvärde.
Dopaminkodningen för förutsägelsefel för belöningsvärde anpassar sig till variationen eller standardavvikelsen för distributionen. I en binär distribution av utrustningsbara belöningar framkallar belöningstillförseln med den större storleken inom varje distribution samma dopaminaktivering med varje distribution, trots 10-vikningsskillnader mellan de erhållna belöningsstorheterna (och de resulterande värdeförutsägelsefelen) [23]. Numeriska beräkningar avslöjar att dopaminsvaret koder värdet förutsägelsefel dividerat med standardavvikelsen för den förutsagda distributionen. Detta utgjorde en effektiv normalisering eller skalning av värdespredikationsfelsvaret i termer av standardavvikelse, vilket indikerar hur mycket det erhållna belöningsvärdet skiljer sig från det förväntade värdet i enheter av standardavvikelse. Teoretiska överväganden antyder att felundervisningssignaler som skalas av varians eller standardavvikelse snarare än medel kan förmedla stabilt lärande som är motståndskraftigt mot den förutsagda risken för utfall [30].
Dopaminsvar för att belöna förutsägande stimuli
Dopaminneuroner visar aktiveringar ("excitationer") efter belöning som förutsäger visuella, hörsel- och somatosensoriska stimuli (Figur (Figur 1B) 1B) [31-33]. Svaren förekommer oberoende av sensoriska modaliteter och rumsliga positioner för stimuli, och oberoende av att effektorerna är arm-, mun- eller ögonrörelser.
Aktiveringarna ökar monotoniskt med belöningssannolikhet [18] och belöningsstorlek, såsom vätskevolym [23]. Dopaminsvaren skiljer emellertid inte mellan belöningssannolikhet och storlek så länge det förväntade värdet är identiskt [23]. Således verkar aktiveringarna koda det förväntade värdet för förutsagda belöningssannolikhetsfördelningar. Det förväntade värdet är den mer misslyckade förklaringen, och bruset i neuronsvaren förhindrar en karaktärisering i termer av förväntad (subjektiv) användbarhet. Observera att den temporära diskonteringen som beskrivs nedan avslöjar subjektiv kodning och kan ge lite ljus i frågan.
Svarsstorleken ökar med minskande beteendetereaktionstid, vilket indikerar att dopaminresponsen är känslig för djurets motivation [19]. I val mellan olika belöningsvärden eller förseningar återspeglar dopaminsvaren på presentationen av valalternativ djurets framtida valda belöning [34] eller högsta möjliga belöning av två tillgängliga valalternativ [35].
Under lärandet minskar dopaminaktiveringen till belöningen gradvis genom successiva inlärningsförsök, och en aktivering av belöningen som förutsäger stimulans utvecklas samtidigt [36,37]. Förvärvet av konditionerat svar är känsligt för blockering, vilket indikerar att prediktionsfel spelar en roll i förvärvet av dopaminsvar på konditionerade stimuli [27]. Svaröverföringen för att belöna förutsäga stimuli överensstämmer med de viktigaste egenskaperna för undervisningssignaler för effektiva temporära skillnadsförstärkningsmodeller [38]. Svarskiftet involverar inte backpropagering av förutsägelsefel över stimulans-belöningsintervallet för tidigare temporära skillnadsmodeller [27,38] utan reproduceras i den ursprungliga temporära skillnadsmodellen och i de ursprungliga och nyare implementeringarna av temporär skillnad [6,37,39].
Subjektiv belöningsvärdeskodning visad genom temporär diskontering
Den objektiva mätningen av subjektivt belöningsvärde genom valpreferenser avslöjar att belöningar förlorar en del av sitt värde när de försenas. Faktum är att råttor, duvor, apor och människor föredrar ofta tidigare mindre belöningar jämfört med senare större belöningar [40-42]. Således verkar det subjektiva värdet av belöning försvinna med ökande tidsförseningar, även om den fysiska belöningen, och därmed det objektiva belöningsvärdet, är densamma.
Psykometriska mått på intertemporalt beteendeval mellan förr och senare belöningar justerar storleken på den tidiga belöningen tills förekomsten av valindifferensen, definierad som sannolikheten att välja varje alternativ med p = 0.5. Således indikerar en lägre tidig belöning vid val av likgiltighet ett lägre subjektivt värde för den senare belöningen. I vårt senaste experiment på apor minskade valet likgiltighetsvärden för belöningar försenade med 4, 8 och 16 s monotoniskt med cirka 25%, 50% respektive 75%, jämfört med en belöning efter 2 s [43]. Minskningen passar en hyperbolisk diskonteringsfunktion.
Dopaminsvaret på belöning som förutsäger stimuli minskar monotoniskt över belöningsförseningar av 2 till 16 s [25,43], trots att samma fysiska belöning levereras efter varje försening. Dessa data antyder att temporära förseningar påverkar dopaminsvar för att belöna förutsägande stimuli på liknande sätt som de påverkar subjektiva belöningsvärden bedömda genom intertemporala val. Intressant nog är minskningen av dopaminrespons med belöningsfördröjning otvetydlig från svarsminskningen med lägre belöningsstorlek. Denna likhet antyder att temporära förseningar påverkar dopaminsvar via förändringar i belöningsvärde. För dopaminneuroner verkar således försenade belöningar som om de var mindre.
Således verkar dopaminneuroner koda det subjektiva snarare än det fysiska, objektiva värdet av försenade belöningar. Med tanke på att användbarhet är ett mått på belöningens subjektiva snarare än objektiva värde, kan responsminskningen med temporär diskontering antyda att dopaminneuroner kodar belöning som (subjektivt) nyttjande snarare än som (objektivt) värde. Ytterligare experiment kan hjälpa till att testa verktygskodning mer direkt.
Dopaminsvar på aversiv stimuli
Aversiva stimuli som luftpustar, hyperton saltlösning och elektrisk chock inducerar aktiverande ('excitatoriska') svar i en liten andel dopaminneuroner hos vakna djur (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), och majoriteten av dopaminneuroner är antingen deprimerade i sin aktivitet eller påverkas inte av aversiva händelser (Figur (Figur 1C1C överst). I motsats till belöningar misslyckas luftpustar att inducera dubbelriktade förutsägelsefelsvar typiska för belöning ; förutsägelse modulerar bara aversiva aktiveringar [45,46].
Avvikande stimulering hos bedövade djur ger varierande men ofta låga grader av mestadels långsammare, aktiverande svar (50% [47]; 18% [48]; 17% [49]; 14% [50]) och ofta aktivitetsdepressioner. Neurofysiologiska återundersökningar med bättre identifiering av dopaminneuroner bekräftade den övergripande låga förekomsten av aversiv dopaminaktivering i anestesierade djur [51] och lokaliserade aversivt svarande dopaminneuroner i det ventromediala tegmentala området i mellanhjärnan [52].
Konditionerade, luftpuff som förutsäger stimuli hos vakna apor framkallar aktiveringar i minoriteten av dopaminneuroner, och depressioner i en större del av dopaminneuroner (11% [33]; 13% [45]; 37% [46]). De depressiva responserna avbryter de få aktiveringarna i genomsnittliga populationsresponser av dopaminneuroner mot aversiva stimuli [33] (se figur Figur 1C1C botten, svart). I en studie aktiverade den konditionerade aversiva stimulansen fler nervceller än själva luftpusten (37% mot 11% [46]), även om en konditionerad stimulans är mindre aversiv än den primära aversiva händelsen den förutsäger, till exempel ett luftsuff. Det högre antalet aktiveringar för den konditionerade stimulansen jämfört med luftsuddet antyder ett omvänt samband mellan aversivitet och aktivering (desto mer aversiv stimulans desto mindre frekvent aktivering) eller en ytterligare, icke-aversiv stimulanskomponent ansvarig för att öka andelen aktiverade neuroner från 11% till 37%. Även om stimuleringsaktiveringarna korrelerade positivt med luftmassans sannolikhet i befolkningen bedömdes de inte i enskilda neuroner [46]. En populationskorrelation kan uppstå från ett relativt litet antal positivt korrelerade neuroner inom den populationen, och de verkligt aversiva stimulansaktiveringarna kan vara närmare 11% än 37%. I en annan studie visade stora andelar av dopaminneuroner fasaktiveringar till konditionerade aversiva stimuli när dessa presenterades i slumpmässig växling med belöning som förutspådde stimuli av samma sensoriska modalitet (figur (figur1C1C botten, grå) (65% [33]); var mycket mindre frekvent när de två typerna av konditionerade stimuli hade olika sensoriska modaliteter (figur (figur1C1C botten, svart) (11%). I nästa kapitel diskuteras faktorerna som möjligen ligger bakom dessa oförklarade aktiveringar för aversiva och andra, oöverträffade stimuli).
Även om vissa dopaminneuroner aktiveras av aversiva händelser, är den största dopaminaktiveringen relaterad till belöning. Uppgifter som erhållits med andra metoder leder till liknande slutsatser. Snabbskanning voltammetri hos uppträdande råttor visar frisättning av dopamin från inducerad genom belöning och en förskjutning för att belöna förutsägande stimuli efter konditionering [53], vilket antyder att impulsresponser från dopaminsneuroner leder till motsvarande frisättning av dopamin från striatala varicositeter. Ökningen av dopamin varar bara några sekunder och har således den kortaste tidsförloppet för alla neurokemiska metoder, närmast elektrofysiologisk aktivering. Dopaminfrisättningen är differentiell för belöning (sackaros) och inträffar inte med straff (kinin) [54]. Eftersom voltammetri utvärderar lokala genomsnitt av dopaminkoncentration, kan avsaknaden av mätbar frisättning med kinin dölja några aktiveringar som avbrutits av depressioner i dopaminpopulationens svar [33]. Studier som använder mycket känslig mikrodialys in vivo upptäcker dopaminfrisättning efter aversiva stimuli [55].
Detta svar kan återspegla en dopaminförändring inducerad av de få neuronerna som aktiveras av aversiva stimuli, även om tiden för mikrodialysmätningar är ungefär 300-500 gånger långsammare än impulsresponsen och kan vara tillräcklig för att låta presynaptiska interaktioner påverka dopaminfrisättning [56] . Störning av bränning av dopaminneuroner stör störande lärandeuppgifter men rädsla också [9]. Resultatet kan föreslå en inlärningsfunktion av aversiva dopaminsvar om den ospecifika, generellt inaktiverande effekten av lägre dopaminkoncentration utesluts, som återstår att visa. Den specifika stimuleringen av dopaminneuroner med optogenetiska metoder via genetiskt insatt kanalhodopsin inducerar pavloviska ställningskonditionering hos möss [57]. Däremot skulle en netto aversiv effekt av dopaminstimulering tänkbart ha skapat undvikande inlärning på plats. Dessa resultat bekräftar idén om en global positiv förstärkande funktion av dopaminsystem härrörande från tidigare skada, elektrisk självstimulering och drogberoende arbete [1,2]. Dessa argument hävdar emellertid varken att belöning är den enda funktionen i dopaminsystem eller att alla belöningsfunktioner involverar dopaminneuroner.
Fasiska dopaminaktiveringar som inte kodar belöning
Stimuli kan framkalla varnings- och uppmärksamhetsreaktioner när de är fysiskt viktiga (fysisk uppmärksamhet) eller när de är relaterade till förstärkare ('motiverande' eller 'affektiv' uppmärksamhet). Beteendemässiga reaktioner på framträdande stimuli graderas av den fysiska intensiteten av stimuli respektive värdet av förstärkaren. Fysisk uppmärksamhet beror inte alls på förstärkning, och motiverande uppmärksamhet beror inte på förstärkarens valens (belöning och straff).
Svar på fysiskt framträdande stimuli
Fysiskt intensiva visuella och hörselstimulanser inducerar aktiveringar i dopaminneuroner (figur (figur1D) .1D). Dessa svar förbättras genom stimulansnyhet [58-60] men kvarstår på en lägre nivå under flera månader förutsatt att stimuli är tillräckligt fysiskt intensiva. Svaren klassificeras enligt storleken på stimuli (figur 4 i [15]). Fysisk förmåga kan också delvis förklara svar till primära straffare med betydande fysisk intensitet [45]. Dessa svar kan utgöra en separat typ av dopaminrespons relaterad till den fysiska uppmärksamheten hos uppmärksamhetsinducerande miljöstimuler, eller de kan vara relaterade till de positivt motiverande och förstärkande egenskaperna hos intensiva och nya stimuli.
Aktiveringarna för fysiskt framträdande stimuli tycks inte återspegla en allmän tendens hos dopaminneuroner att aktiveras av någon uppmärksamhetsgenererande händelse. I synnerhet orsakar andra starka uppmärksamhetsgenererande händelser såsom belöningsundersökning, konditionerade hämmare och aversiva stimuli främst depressioner och sällan äkta dopaminaktiveringar [14,29]. Dopaminaktivering genom fysiskt framträdande stimuli kan således inte utgöra ett generellt varningsrespons. Belöningssvaret utgör sannolikt ett separat svar som kanske inte återspeglar den uppmärksamhet som genereras av belöningens motivationsförmåga.
Andra icke-belöningskodningsaktiveringar
Andra stimuli inducerar aktiveringar i dopaminneuroner utan uppenbar kodning av belöningsvärde. Dessa aktiveringar är mindre och kortare än svaren på att belöna förutsägande stimuli och följs ofta av depression när stimuli är oöverlåtna (figur (figur1E1E).
Dopaminneuroner visar aktiveringar efter kontrollstimuli som presenteras i pseudorandomväxling med belönade stimuli [27,29,32]. Förekomsten av aktiveringar beror på antalet alternativa, belönade stimuli i beteendeuppgiften; aktiveringar är ofta när tre av fyra uppgiftsstimulier belönas (25% -63% [27]) och blir sällsynta när bara en av fyra uppgiftsstimulier lämnas ut (1% [29]). Detta beroende argumenterar mot en rent sensorisk karaktär av svaret.
Dopaminneuroner visar en ganska stereotyp typisk aktiveringskomponent för att stimulera förutsägelser som uppstår efter olika förseningar [43]. Den initiala aktiveringen varierar väldigt lite med belöningsfördröjning och verkar därför inte koda belöningsvärde. Däremot minskar den efterföljande svarskomponenten med ökande förseningar och koder således (subjektivt) belöningsvärde (se ovan).
Dopaminneuroner visar ofta aktiveringar efter konditionerade aversiva stimuli presenterade i slumpmässig växling med belöning som förutsäger stimuli; aktiveringarna försvinner till stor del när olika sensoriska modaliteter används (65% kontra 11% av neuroner [33]), vilket antyder kodning av icke-aversiva stimulanskomponenter. Även när aversiva och aptitretande stimuli separeras i olika försöksblock aktiveras dopaminneuroner avsevärt av konditionerade aversiva stimuli. De mer frekventa aktiveringarna av de konditionerade stimuli jämfört med den mer aversiva primärluftspusten (37% mot 11% [46]) tyder emellertid på ett omvändt förhållande till motviljan hos stimuli och eventuellt icke-aversiv responskomponenter.
Orsakerna till dessa olika dopaminaktiveringar kan ligga i generalisering, pseudokonditionering eller motiverande stimulansförmåga. Generalisering uppstår genom likheter mellan stimuli. Det kan förklara dopaminaktiveringar i ett antal situationer, nämligen aktiveringarna till obehandlade visuella stimuli när dessa alternerar med belöning som förutsäger visuella stimuli (figur (figur1E1E till vänster) [27,29,32] och den initiala, dåligt graderade aktiveringskomponenten för att belöna försenande förutsägande stimuli (figur) (Figur1E1E höger) [43]. Generalisering kan spela en roll när stimuli med olika sensoriska modaliteter ger mindre dopaminaktiveringar till outbetalda stimuli än stimuli med samma modaliteter, sett med visuella aversiva och hörsel aptitret stimuli (figur (figur1C1C botten) [33] .
Pseudokonditionering kan uppstå när en primär förstärkare sätter en kontextuell bakgrund och framkallar ospecifika beteendeansvar på eventuella händelser inom detta sammanhang [61]. Eftersom dopaminneuroner är mycket känsliga för belöning, kan ett givande sammanhang inducera pseudokonditionering till stimuli som ställs i detta sammanhang och därmed en neuronal aktivering. Denna mekanism kan ligga till grund för neuronala aktiveringar av icke-belönande stimuli som inträffar i ett givande sammanhang, till exempel laboratoriet där ett djur får dagliga belöningar, oavsett stimuli som presenteras i slumpmässig växling med belönade stimuli eller i separata försöksblock [46]. Pseudokonditionering kan förklara aktiveringar till outbetalade kontrollstimuli [27,29,32], de flesta aktiveringar efter aversiv stimuli [33,45,46] och den initiala, dåligt graderade aktiveringskomponenten för att belöna försening av förutsägelse av stimuli [43]. Således kan pseudokonditionering uppstå från den primära belöningen snarare än en konditionerad stimulans och påverka dopaminaktiveringar till både konditionerade stimuli och primära förstärkare som uppträder i ett givande sammanhang.
Även om stimuli med betydande fysisk framställning verkar driva dopaminneuroner [15,58-60] (se ovan), är stimuli som inducerar dopaminaktiveringar utan belöning ofta små och inte fysiskt mycket framträdande. Motivationsförmåga är per definition vanligt för belöningar och straffare och på egen hand kan förklara aktiveringarna för både belöning och straff i 10-20% av dopaminneuroner. Icke-förstärkande stimuli kan bli motiverande framträdande genom deras närhet till belöning och straff genom pseudokonditionering. Dopaminaktiveringar verkar dock vara mycket mer känsliga för belöning än straff. Eftersom motiverande förmåga involverar känslighet för båda förstärkare kan motivationsförmåga som erhållits genom pseudokonditionering kanske inte förklara de dopaminaktiveringar som inte är belöna.
Sammantaget kan många av de icke-belöningskodande dopaminaktiveringarna bero på stimulansgeneralisering eller i synnerhet pseudokonditionering. Ändå verkar det förbli sanna aktiveringar för outbetalda kontrollstimuli och till primära och konditionerade aversiva stimuli i en begränsad andel dopaminneuroner när dessa faktorer utesluts. Ytterligare experiment som utvärderar sådana svar bör använda bättre kontroller och helt eliminera alla kontextuella belöningsföreningar med stimuli i laboratoriet.
Med tanke på förekomsten av icke-belöningskodningsaktiveringar är det rimligt att fråga hur ett djur skulle kunna skilja belöning från icke belönade stimuli baserat på ett dopaminsvar. Den mycket snabba, initiala, pseudokonditionerade och dåligt diskriminerande svarskomponenten kan ge en temporär bonus för att underlätta snabba, standardiska beteendeaktioner som hjälper djuret att snabbt upptäcka en potentiell belöning [62]. Däremot upptäcker den omedelbart följande svarskomponenten händelsens natur genom dess graderade aktivering med belöningsvärde [43] och dess frekventa depression med obetydliga och aversiva stimuli [27,29,32,33] (figur (figur1E) .1E). Vidare är dopaminsystemet inte den enda hjärnstrukturen som kodar belöning, och andra neuronala system såsom orbitofrontal cortex, striatum och amygdala kan ge ytterligare diskriminerande information.
Dopamin belöningsrisk signal
Om en belöningssignal återspeglar det genomsnittliga belöningsförutsägelsefelet som skalas av standardavvikelsen för belöningssannolikhetsfördelningar, och om vi ser standardavvikelse som ett mått på risk, kan det finnas en direkt neuronal signal för risk? När belöningssannolikheter varierar från 0 till 1 och belöningsstorleken förblir konstant, ökar det genomsnittliga belöningsvärdet monotoniskt med sannolikhet, medan riskmängden följer en inverterad U-funktion som toppar vid p = 0.5 (figur (figur 2,2, insättning). Vid p = 0.5, det finns exakt lika stor chans att få en belöning som det är att missa en belöning, medan högre och lägre sannolikheter än p = 0.5 gör vinster och förluster säkrare respektive och därmed förknippas med lägre risk.
Figur 2
Ihållande aktiveringar relaterade till risk. Riskresponsen inträffar under stimulusbelöningsintervallet (pilen) efter den fasvärderingsrelaterade aktiveringen av stimulusen (triangeln). Insatsen, uppe till höger, visar att risken (ordinat) varierar beroende på (mer ...)
Cirka en tredjedel av dopaminneuronerna visar en relativt långsam, måttlig, statistiskt signifikant aktivering som ökar gradvis under intervallet mellan belöningen som förutsäger stimulans och belöningen; detta svar varierar monotoniskt med risk (figur (figur2) 2) [18]. Aktiveringen sker i enskilda försök och verkar inte utgöra ett förutsägelsefelsvar som sprider sig tillbaka från belöning till belöning som förutsäger stimulans. Aktiveringen ökar monotoniskt också med standardavvikelse eller varians när binära fördelningar med olika utrustningsbara belöningsstorlekar utan noll används. Således verkar standardavvikelse eller varians vara livskraftiga mått på risk som kodas av dopaminneuroner. Riskrelaterade aktiveringar har längre latenser (ungefär 1 s), långsammare tidskurser och lägre toppar jämfört med belöningsvärdesvar på stimuli och belöning.
På grund av dess lägre storlek kan risksignalen sannolikt inducera lägre frisättning av dopamin vid dopaminvaricositeter jämfört med de mer fasiska aktiveringarna som kodar belöningsvärdet. Den relativt låga dopaminkoncentrationen som eventuellt induceras av risksignalen kan aktivera D2-receptorerna som oftast befinner sig i hög affinitetstillstånd men inte D1-receptorerna med låg affinitet [63]. Däremot kan det högre fasiska belöningsvärdesvaret leda till fler dopaminkoncentrationer som är tillräckliga för att kort aktivera D1-receptorerna i deras mestadels låga affinitetstillstånd. Således kan de två signalerna differentieras av postsynaptiska neuroner på basis av de olika aktiverade dopaminreceptorerna. Dessutom skulle dopaminvärdet och risksignalerna tillsammans leda till nästan samtidig aktivering av både D1- och D2-receptorer, som i många normala och kliniska situationer är nödvändigt för adekvata dopaminberoende funktioner.
En dopaminrisksignal kan ha flera funktioner. Först kan det påverka skalningen av omedelbart efter prediktionsfelsvar genom standardavvikelse omedelbart efter belöningen [23]. För det andra kan det förbättra dopaminfrisättningen inducerad av omedelbart efter förutsägelsefelrespons. Eftersom risk inducerar uppmärksamhet, skulle förbättringen av en potentiell undervisningssignal genom risk vara kompatibel med uppmärksamhetens roll i inlärning enligt associeringslärande teorierna [64,65]. För det tredje kan det ge en input till hjärnstrukturer som är involverade i bedömningen av belöningsrisk i sig. För det fjärde kan det kombineras med en ekonomisk förväntad värdesignal för att representera betydande information om den förväntade användbarheten hos riskkänsliga individer i enlighet med medelvariansmetoden i finansiellt beslutsteori [66] Emellertid är latensen på cirka 1s för lång för att signalen ska spela en omedelbar roll i val under osäkerhet.
Konkurrerande intressen
Författaren förklarar att han inte har några konkurrerande intressen.
Författarnas bidrag
WS skrev tidningen.
Tack
Denna recension skriven i anledning av symposiet om uppmärksamhetshinder Hyperactivity Disorder (ADHD) i Oslo, Norge, 2010, februari. Vårt arbete stöds av Wellcome Trust, Swiss National Science Foundation, Human Frontiers Science Program och andra bidrags- och stipendiorganisationer.
Referensprojekt
1. Wise RA, Rompre PP. Hjärndopamin och belöning. Ann Rev Psychol. 1989; 40: 191-225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Neurala system för förstärkning för narkotikamissbruk: från handlingar till vanor till tvång. Nat Neurosci. 2005; 8: 1481-1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]
3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Papers Imp. Acad. Sci. St. Petersburg) 1738; 5: 175 – 192. Översatt som: Exposition av en ny teori om mätning av risk. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Förutsägbar kodning i den visuella cortex: en funktionell tolkning av vissa extra-klassiska receptiva fälteffekter. Nat Neurosci. 1999; 2: 79-87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]
5. Rescorla RA, Wagner AR. I: Klassisk konditionering II: Aktuell forskning och teori. Black AH, Prokasy WF, redaktör. New York: Appleton Century Crofts; 1972. En teori om pavlovsk konditionering: Variationer i effektiviteten av förstärkning och icke-förstärkning; sid. 64 – 99.
6. Sutton RS, Barto AG. Mot en modern teori om adaptiva nätverk: förväntan och förutsägelse. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]
7. Kamin LJ. I: Grundläggande problem i instrumentlärande. Mackintosh NJ, Honig WK, redaktör. Halifax: Dalhousie University Press; 1969. Selektiv förening och konditionering; sid. 42 – 64.
8. Blythe SN, Atherton JF, Bevan MD. Synaptisk aktivering av dendritiska AMPA- och NMDA-receptorer genererar övergående högfrekvensbränning i substantia nigra dopaminneuroner in vitro. J Neurophysiol. 2007; 97: 2837-2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]
9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Störning av NMDAR-beroende brännskador av dopaminneuroner ger selektiv bedömning av fasiskt dopaminberoende beteende. Proc Natl Acad Sci. 2009; 106: 7281-7288. doi: 10.1073 / pnas.0813415106. [PMC gratis artikel] [PubMed] [Cross Ref]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Burst-Timing-Dependent Plasticity of NMDA Receptor-Mediated Transmission in Midbrain Dopamine Neurons. Nervcell. 2009; 62: 826-838. doi: 10.1016 / j.neuron.2009.05.011. [PMC gratis artikel] [PubMed] [Cross Ref]
11. Jones S, Bonci A. Synaptisk plasticitet och narkotikamissbruk. Curr Opin Pharmacol. 2005; 5: 20-25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]
12. Kauer JA, Malenka RC. Synaptisk plasticitet och beroende. Nat Rev Neurosci. 2007; 8: 844-858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]
13. Ljungberg T, Apicella P, Schultz W. Svar från dopamins neuroner i apa under försenad växlingsprestanda. Brain Res. 1991; 586: 337-341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz W, Apicella P, Ljungberg T. Svar från apa-dopamin neuroner för att belöna och konditionerade stimuli under på varandra följande steg för att lära sig en försenad responsuppgift. J Neurosci. 1993; 13:. 900-913 [PubMed]
15. Schultz W. Förutsägbar belöningssignal för dopaminneuroner. J Neurophysiol. 1998; 80:. 1-27 [PubMed]
16. Schultz W, Dayan P, Montague RR. Ett neuralt underlag av förutsägelse och belöning. Vetenskap. 1997; 275: 1593-1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]
17. Hollerman JR, Schultz W. Dopamine-neuroner rapporterar ett fel i den temporära förutsägelsen av belöning under inlärning. Natur Neurosci. 1998; 1: 304-309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]
18. Fiorillo CD, Tobler PN, Schultz W. Diskret kodning av belöningssannolikhet och osäkerhet av dopaminneuroner. Vetenskap. 2003; 299: 1898-1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]
19. Satoh T, Nakai S, Sato T, Kimura M. Korrelerat kodning av motivation och resultat av beslut av dopaminneuroner. J Neurosci. 2003; 23:. 9913-9923 [PubMed]
20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Coincident men distinkta meddelanden om dopamin i mellanhjärnan och striatal toniskt aktiva nervceller. Nervcell. 2004; 43: 133-143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamine-neuroner kan representera kontextberoende prediktionsfel. Nervcell. 2004; 41: 269-280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]
22. Bayer HM, Glimcher PW. Mid-hjärnan dopaminneuroner kodar en kvantitativ belöningsförutsägelsfelsignal. Nervcell. 2005; 47: 129-141. doi: 10.1016 / j.neuron.2005.05.020. [PMC gratis artikel] [PubMed] [Cross Ref]
23. Tobler PN, Fiorillo CD, Schultz W. Adaptiv kodning av belöningsvärde med dopaminneuroner. Vetenskap. 2005; 307: 1642-1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Mänskliga substantia nigra neuroner kodar för oväntade ekonomiska belöningar. Vetenskap. 2009; 323: 1496-1499. doi: 10.1126 / science.1167342. [PMC gratis artikel] [PubMed] [Cross Ref]
25. Fiorillo CD, Newsome WT, Schultz W. Den temporära precisionen av belöningsförutsägelse i dopaminneuroner. Nat Neurosci. 2008; 11: 966-973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Statistik över dopaminneuronspikståg i den vakna primaten. J Neurophysiol. 2007; 98: 1428-1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]
27. Waelti P, Dickinson A, Schultz W. Dopamine-svar följer grundläggande antaganden om formell inlärningsteori. Natur. 2001; 412: 43-48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]
28. Rescorla RA. Pavlovsk konditionerad hämning. Psychol Bull. 1969; 72: 77-94. doi: 10.1037 / h0027760.
29. Tobler PN, Dickinson A, Schultz W. Kodning av förutsagd belöningsundersökning av dopaminneuroner i ett konditionerat hämningsparadigm. J Neurosci. 2003; 23:. 10402-10410 [PubMed]
30. Preuschoff, Bossaerts P. Lägga till prediktionsrisk till teorin om belöningsinlärning. Ann NY Acad Sci. 2007; 1104: 135-146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]
31. Romo R, Schultz W. Dopamin-nervceller från apaens mitthjärna: Beredskap av svar på aktiv beröring under självinitierade armrörelser. J Neurophysiol. 1990; 63:. 592-606 [PubMed]
32. Schultz W, Romo R. Dopaminneuroner i apaens mitthjärna: Beredskap av svar på stimuli som framkallar omedelbara beteendemässiga reaktioner. J Neurophysiol. 1990; 63:. 607-624 [PubMed]
33. Mirenowicz J, Schultz W. Företrädesvis aktivering av dopaminneuroner i mitten av hjärnan genom aptitliga snarare än aversiva stimuli. Natur. 1996; 379: 449-451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain dopaminneuroner kodar beslut för framtida åtgärder. Nat Neurosci. 2006; 9: 1057-1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]
35. Roesch MR, Calu DJ, Schoenbaum G. Dopaminneuroner kodar det bättre alternativet hos råttor som bestämmer mellan olika försenade eller stora belöningar. Nat Neurosci. 2007; 10: 1615-1624. doi: 10.1038 / nn2013. [PMC gratis artikel] [PubMed] [Cross Ref]
36. Takikawa Y, Kawagoe R, Hikosaka O. En möjlig roll för dopamin neuroner i mitten av hjärnan i kort- och långsiktig anpassning av saccader till kartläggning av belöning av position. J Neurophysiol. 2004; 92: 2520-2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]
37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopaminceller svarar på förutsagda händelser under klassisk konditionering: Bevis för behörighetsspår i belöningsinlärningsnätverket. J Neurosci. 2005; 25: 6235-6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]
38. Montague PR, Dayan P, Sejnowski TJ. En ram för mesencefaliska dopaminsystem baserade på förutsägbar hebreisk inlärning. J Neurosci. 1996; 16:. 1936-1947 [PubMed]
39. Suri R, Schultz W. Ett neuralt nätverk med dopaminliknande förstärkningssignal som lär sig en rumslig försenad responsuppgift. Neuroscience. 1999; 91: 871-890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]
40. Ainslie G. Specious belöningar: en beteendeteori om impulsivitet och impulskontroll. Psych Bull. 1975; 82: 463-496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Justera fördröjning till förstärkning: jämföra val i duvor och människor. J Exp Psychol Anim Behav Process. 1988; 14: 105-117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]
42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Bestämning av rabattfunktioner hos råttor med en justeringsmängdprocedur. J Exp Anal Behav. 1997; 67: 353-366. doi: 10.1901 / jeab.1997.67-353. [PMC gratis artikel] [PubMed] [Cross Ref]
43. Kobayashi S, Schultz W. Påverkan av belöningsförseningar på svar från dopaminneuroner. J Neurosci. 2008; 28: 7837-7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]
44. Guarraci FA, Kapp BS. En elektrofysiologisk karaktärisering av dopaminerge nervcentraler i det ventrale tegmentära området under differentiell pavlovisk rädsla i de vakna kaninerna. Behav Brain Res. 1999; 99: 169-179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]
45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Dopaminerge neuroner i mitten av hjärnan och striatal kolinergiska internuroner kodar för skillnaden mellan belöning och aversiva händelser vid olika epoker av sannolikhets klassiska konditioneringsstudier. J Neurosci. 2008; 28: 1673-11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. Två typer av dopaminneuron förmedlar tydligt positiva och negativa motiverande signaler. Natur. 2009; 459: 837-841. doi: 10.1038 / nature08028. [PMC gratis artikel] [PubMed] [Cross Ref]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensoriska stimuli förändrar urladdningshastigheten för dopamin (DA) neuroner: Bevis för två funktionella typer av DA-celler i substantia nigra. Brain Res. 1980; 189: 544-549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]
48. Mantz J, Thierry AM, Glowinski J. Effekt av skadliga svansen i utsvängningen på urladdningshastigheten för mesokortikala och mesolimbiska dopaminuroner: selektiv aktivering av det mesokortiska systemet. Brain Res. 1989; 476: 377-381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]
49. Schultz W, Romo R. Svar från nigrostriatal dopaminneuroner på somatosensorisk stimulans med hög intensitet i den bedövade apan. J Neurophysiol. 1987; 57:. 201-217 [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptiva svar från dopaminerge neuroner i mitten av hjärnan moduleras av den överlägsna colliculus hos råtta. Neuroscience. 2006; 139: 1479-1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]
51. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktivitet av neurokemiskt heterogena dopaminerga nervceller i substantia nigra under spontana och drivna förändringar i hjärnstillstånd. J Neurosci. 2009; 29: 2915-2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]
52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fasisk excitation av dopaminneuroner i ventral VTA genom skadliga stimuli. Proc Natl Acad Sci USA. 2009; 106: 4894-4899. doi: 10.1073 / pnas.0811507106. [PMC gratis artikel] [PubMed] [Cross Ref]
53. Day JJ, Roitman MF, Wightman RM, Carelli RM. Associerande lärande förmedlar dynamiska förändringar i dopamin-signalering i nucleus accumbens. Nat Neurosci. 2007; 10: 1020-1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Kemiska reaktioner i realtid i nucleus accumbens skiljer givande och aversiva stimuli. Nat Neurosci. 2008; 11: 1376-1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]
55. Unga AMJ. Ökad extracellulär dopamin i nucleus accumbens som svar på okonditionerade och konditionerade aversiva stimuli: studier med 1 min mikrodialys hos råttor. J Neurosci Meth. 2004; 138: 57-63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Schultz W. Flera dopaminfunktioner vid olika tidskurser. Ann Rev Neurosci. 2007; 30: 259-288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]
57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fasisk avfyrning i dopaminerga nervceller är tillräcklig för beteendekonditionering. Vetenskap. 2009; 324: 1080-1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]
58. Strecker RE, Jacobs BL. Substantia nigra dopaminergisk enhetsaktivitet hos uppförande av katter: Effekt av upphetsning på spontan urladdning och sensorisk väckt aktivitet. Brain Res. 1985; 361: 339-350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]
59. Ljungberg T, Apicella P, Schultz W. Svar från apa-dopaminneuroner under inlärning av beteendemässiga reaktioner. J Neurophysiol. 1992; 67:. 145-163 [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. Burstaktivitet hos ventrale tegmentala dopaminneuroner framkallas av sensoriska stimuli i den vakna katten. Brain Res. 1997; 759: 251-258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]
61. Sheafor PJ. Pseudokonditionerade käkrörelser hos kanin återspeglar föreningar som är betingade av kontextuella bakgrundssignaler. J Exp Psychol: Anim Behav Proc. 1975; 104: 245-260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamine: generalisering och bonusar. Neural Netw. 2002; 15: 549-559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]
63. Richfield EK, Pennney JB, Young AB. Anatomiska och affinitetstillståndsjämförelser mellan dopamin D1 och D2-receptorer i råttens centrala nervsystem. Neuroscience. 1989; 30: 767-777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]
64. Mackintosh NJ. En uppmärksamhetsteori: Variationer i kopplingsförmåga mellan stimulans och förstärkning. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65. Pearce JM, Hall G. En modell för pavlovsk konditionering: variationer i effektiviteten hos konditionerade men inte av okonditionerade stimuli. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]
66. Levy H, Markowitz HM. Ungefärlig förväntad nytta genom en funktion av medel och varians. Am Econ Rev. 1979; 69: 308 – 317.
;