Wolfram Schultz 1
Gedrag Brain Funct. 2010; 6: 24.
Gepubliceerd online 2010 april 23. doi: 10.1186 / 1744-9081-6-24.
VOLLEDIGE STUDIE: Dopamine-signalen voor waarde en risico van beloningen Basis- en recente gegevens
1Department of Physiology, Development and Neuroscience, University of Cambridge, Downing Street, Cambridge CB2 3DY, Verenigd Koninkrijk
Corresponderende auteur.
Wolfram Schultz: [e-mail beveiligd]
Abstract
Achtergrond
Eerdere laesie, elektrische zelfstimulatie en onderzoeken naar drugsverslaving suggereren dat de dopaminesystemen van de middenhersenen deel uitmaken van het beloningssysteem van de hersenen. Deze beoordeling biedt een bijgewerkt overzicht van de basissignalen van dopamine-neuronen tot omgevingsstimuli.
Methoden
De beschreven experimenten gebruikten standaard gedrags- en neurofysiologische methoden om de activiteit van enkele dopamine-neuronen bij ontwaakte apen tijdens specifieke gedragstaken te registreren.
Resultaten
Dopamine-neuronen vertonen fasische activeringen voor externe stimuli. Het signaal weerspiegelt beloning, fysieke opvallendheid, risico en straf, in afnemende volgorde van de fracties van reagerende neuronen. De verwachte beloningswaarde is een belangrijke beslissingsvariabele voor economische keuzes. De beloningsresponscodes belonen de waarde, de waarschijnlijkheid en het gesommeerde product, de verwachte waarde. De neuronen coderen de beloningswaarde omdat deze verschilt van de voorspelling, waardoor wordt voldaan aan de basisvereiste voor een bidirectioneel voorspellingsfoutsignaal dat wordt gepostuleerd door leertheorie. Dit antwoord wordt geschaald in eenheden met standaarddeviatie. Daarentegen vertonen relatief weinig dopamine-neuronen de fasische activering na punishers en geconditioneerde aversieve stimuli, hetgeen een gebrek aan relatie van de beloningsrespons op algemene aandacht en opwinding suggereert. Grote hoeveelheden dopamine-neuronen worden ook geactiveerd door intense, fysiek opvallende stimuli. Deze respons wordt versterkt wanneer de stimuli nieuw zijn; het lijkt anders te zijn dan het signaal van de beloningswaarde. Dopamine-neuronen vertonen ook niet-specifieke activeringen voor niet-belonende stimuli die mogelijk het gevolg zijn van generalisatie door soortgelijke stimuli en pseudoconditioning door primaire beloningen. Deze activeringen zijn korter dan respons van beloning en worden vaak gevolgd door een daling van de activiteit. Een apart, langzamer dopamine-signaal informeert over risico, een andere belangrijke beslissingsvariabele. De voorspellingsfoutreactie vindt alleen met beloning plaats; het wordt geschaald door het risico van voorspelde beloning.
Conclusies
Neurofysiologische studies onthullen fasische dopaminesignalen die informatie doorgeven die voornamelijk maar niet uitsluitend te belonen is. Hoewel het niet volledig homogeen is, is het dopaminesignaal beperkter en stereotiep dan neuronale activiteit in de meeste andere hersenstructuren die betrokken zijn bij doelgericht gedrag.
Achtergrond
Resultaten van laesie en psychofarmacologische studies suggereren een breed scala aan gedragsfuncties voor dopamine-systemen in de hersenen. De hamvraag is, welke van deze vele functies worden actief gecodeerd door een fasisch dopamine-signaal dat compatibel is met snelle neuronale mechanismen? Goede aanwijzingen komen van drugsverslaving en elektrische zelfstimulatie, wat suggereert dat dopamine-activiteit lonende en naderende effecten [1,2] oplevert.
We kunnen beloningen definiëren als objecten of gebeurtenissen die benadering en consumerend gedrag genereren, het leren van dergelijk gedrag produceren, positieve uitkomsten van economische beslissingen vertegenwoordigen en positieve emoties en hedonistische gevoelens in werking stellen. Beloningen zijn cruciaal voor individuele en genoverleving en ondersteunen elementaire processen zoals drinken, eten en voortplanting. Deze gedragsdefinitie kent de beloningsfunctie ook toe aan bepaalde niet-lichamelijke en niet-seksuele entiteiten, waaronder geld, technische artefacten, esthetische stimulusattributen en mentale gebeurtenissen. Beloningen nemen makelaars aan met zo uiteenlopende gedragingen als het foerageren en handelen op beurzen.
Basisbegrippen
Beloningen hebben een specifieke omvang en treden op met specifieke waarschijnlijkheden. Agenten streven ernaar keuzes te optimaliseren tussen opties waarvan de waarden worden bepaald door het soort keuzeobject en de omvang en waarschijnlijkheid ervan [3]. Daarom kunnen beloningen adequaat worden beschreven door kansverdelingen van beloningswaarden. In een ideale wereld volgen deze verdelingen een Gaussiaanse functie, waarbij extreme beloningen minder vaak voorkomen dan tussenliggende uitkomsten. Experimentele tests gebruiken vaak binaire kansverdelingen met equiprobabele waarden (elke beloningswaarde komt voor bij p = 0.5). Gaussische en binaire kansverdelingen worden volledig beschreven door de wiskundige verwachtingswaarde (eerste moment van kansverdeling) en de spreidingen of afwijkingen van waarden van het gemiddelde, namelijk de (verwachte) variantie (tweede moment) of (verwachte) standaarddeviatie (vierkantswortel van variantie). Variantie en standaarddeviatie worden vaak beschouwd als risicomaatstaven. In de gedragseconomie verwijst de term 'risico' naar een vorm van onzekerheid waarin de kansverdeling bekend is, terwijl 'ambiguïteit' onvolledige kennis van kansen aangeeft en vaak simpelweg 'onzekerheid' wordt genoemd. Risico verwijst naar de kans om te winnen of te verliezen, in plaats van de nauwere associatie met verlies met gezond verstand.
Voorspellingen zijn van fundamenteel belang voor een weloverwogen beslissing door vooraf informatie te verstrekken over de beschikbare keuzemogelijkheden, in tegenstelling tot schattingen die optreden wanneer de uitkomsten onbekend zijn. Omdat beloning kan worden gekwantificeerd door kansverdelingen van waarde, specificeren beloningsvoorspellingen de verwachte waarde en (verwachte) variantie of standaardafwijking van de verdeling.
Evolutionaire druk bevordert de energie-efficiënte verwerking van informatie. Een mogelijke oplossing is om voorspellingen over toekomstige gebeurtenissen in hogere hersencentra op te slaan en in lagere hersencentra het verschil te berekenen tussen nieuwe milieu-informatie en de opgeslagen voorspelling. De discrepantie tussen de werkelijke gebeurtenis en de voorspelling ervan wordt een gebeurtenisvoorspellingsfout genoemd. Het bijhouden van de veranderende milieusituatie door hogere hersencentra houdt simpelweg in dat de voorspellingen worden bijgewerkt met de minder informatie die voorspellende fouten bevat en minder energie verbruikt in plaats van dat de volledige perifere informatie wordt verwerkt elke keer dat een klein ding [4] is veranderd. Op deze manier hebben hogere hersencentra toegang tot de volledige informatie over de externe wereld voor percepties, beslissingen en gedragsreacties tegen veel lagere energiekosten. Deze fundamentele eigenschap van voorspellingen leidt tot het waarneembare fenomeen van leren, zoals gedefinieerd door gedragsveranderingen op basis van bijgewerkte voorspellingen.
Dierlijke leertheorie en efficiënte temporele verschilversterkingsmodellen stellen dat uitkomstvoorspellingsfouten cruciaal zijn voor Pavloviaanse en operante conditionering [5,6]. De huidige opvattingen zien Pavloviaans leren als elke vorm van verwerving van voorspelling die leidt tot veranderde vegetatieve reacties of dwarsgestreepte spiercontracties, zolang de uitkomst niet afhankelijk is van de gedragsreactie. Pavloviaanse beloningsvoorspellingen geven dus niet alleen informatie over de beloningswaarde (verwachte waarde), maar ook over het risico (variantie) van toekomstige beloningen, wat een belangrijke uitbreiding vormt van het concept dat Pavlov honderd jaar geleden voorstelde. Het belang van voorspellingsfouten is gebaseerd op het blokkerende effect van Kamin [7], dat aantoont dat leren en uitsterven alleen vooruitgaan in de mate waarin een bekrachtiger beter of slechter is dan voorspeld; het leren vertraagt geleidelijk naarmate de voorspelling asymptotisch de waarde van de bekrachtiger nadert.
Dopamine reactie op beloning ontvangst
De meerderheid van de dopamine-neuronen van de middenhersenen (75-80%) vertonen nogal stereotiepe, fasische activeringen met latenties van <100 ms en een duur van <200 ms na tijdelijk onvoorspelde voedsel- en vloeistofbeloningen (figuur (figuur1A) .1A). Deze burst-respons hangt af van de activering en plasticiteit van glutamaterge NMDA- en AMPA-receptoren op dopamine-neuronen [8-12]. De burst is van cruciaal belang voor het gedragsmatig leren van appetitieve taken zoals geconditioneerde plaatsvoorkeur en T-doolhofkeuzes voor voedsel- of cocaïnebeloningen en voor geconditioneerde angstreacties [9].
Figuur 1
Fasische activaties van neurofysiologische impulsactiviteit van dopamine-neuronen. A: Fasische activeringen na primaire beloningen. B: Fasische activeringen na geconditioneerde, beloningsvoorspellende stimuli. C: Top: Gebrek aan fasische activering na primair (meer ...)
Beloning voorspelling foutcodering
Het dopamine-antwoord op beloning lijkt een voorspellingsfout te coderen; een beloning die beter is dan voorspeld, activeert een activering (positieve voorspellingsfout), een volledig voorspelde beloning trekt geen respons en een beloning die slechter is dan voorspeld, veroorzaakt een depressie (negatieve fout) [13-24]. De dopamine-respons implementeert dus volledig de cruciale termijn van het Rescorla-Wagner-leermodel en lijkt sterk op het onderwijssignaal van efficiënte temporele verschilversterkende leermodellen [6,23].
De foutreactie varieert kwantitatief met het verschil tussen de ontvangen beloningswaarde en de verwachte beloningswaarde [18-23]. De voorspellingsfoutreactie is gevoelig voor het tijdstip van de beloning; een uitgestelde beloning veroorzaakt een depressie op het oorspronkelijke tijdstip en een activering op zijn nieuwe tijd [24,25]. De kwantitatieve foutcodering is duidelijk voor activeringen die positieve voorspellingsfouten weerspiegelen. Daarentegen vertoont de depressie die optreedt met negatieve voorspellingsfouten van nature een smaller dynamisch bereik, omdat neuronale activiteit niet onder nul kan komen, en een geschikte kwantitatieve beoordeling vereist om rekening te houden met de volledige periode van depressie [26].
Dus, dopamine-neuronen reageren alleen op beloning in de mate waarin het verschilt van de voorspelling. Omdat voorspelling afkomstig is van eerder ervaren beloning, worden dopamine-neuronen alleen geactiveerd wanneer de huidige beloning beter is dan de vorige beloning. Dezelfde beloning zal opnieuw dopamine-neuronen niet activeren. Als de activering van dopamine-neuronen een positief versterkend effect heeft op het gedrag, zullen alleen de toenemende beloningen zorgen voor voortdurende versterking via dopaminerge mechanismen. Dit kan een reden zijn waarom constante, onveranderlijke beloningen hun stimulerende invloed lijken te verliezen, en waarom we altijd meer beloning nodig hebben.
Strenge tests voor foutcodering van beloningsvoorspelling
Dierlijke leertheorie heeft formele paradigma's ontwikkeld voor het testen van voorspellingsfouten. In de blokkeringstest [7] kan een stimulus die gepaard is met een volledig voorspelde beloning niet worden geleerd en wordt deze dus geen geldige beloningsspeller. De afwezigheid van een beloning na de geblokkeerde stimulus vormt geen voorspellingsfout en leidt niet tot een reactie in dopamineneuronen, zelfs niet na uitgebreide stimulus / beloning-koppeling [27]. Daarentegen vormt de afgifte van een beloning na een geblokkeerde stimulus een positieve voorspellingsfout en roept dienovereenkomstig een dopamine-activering op.
Het geconditioneerde inhibitie-paradigma [28] biedt een extra test voor voorspellingsfouten. In de taak die wordt gebruikt in onze experimenten, wordt een teststimulus gelijktijdig met een vastgestelde beloningsvoorspellende stimulus gepresenteerd, maar na de verbinding wordt geen beloning gegeven, waardoor de teststimulus een voorspeller voor de afwezigheid van beloning is. Beloningsverwijzing na een dergelijke geconditioneerde remmer vormt geen negatieve voorspellingsfout en slaagt dienovereenkomstig er niet in een depressie in dopamineneuronen [29] te induceren. Daarentegen levert afgifte van een beloning na de remmer een sterke positieve voorspellingsfout en dienovereenkomstig een sterke dopamine-activering.
De resultaten van deze twee formele tests bevestigen dat dopamine-neuronen bidirectionele codering van beloningsvoorspellingsfouten vertonen.
Adaptieve foutcode voor beloningsvoorspelling
In algemene zin specificeert een beloningsvoorspellingsstimulus de waarde van toekomstige beloningen door te informeren over de kansverdeling van beloningswaarden. De stimulus geeft dus de verwachte waarde (eerste moment) en (verwachte) variantie (tweede moment) of standaardafwijking van de verdeling aan.
De dopaminewaardevoorspelling-foutrespons is gevoelig voor zowel de eerste als de tweede momenten van de voorspelde beloningsverdeling op twee seconden na de stimulus. In een experiment kunnen verschillende visuele stimuli specifieke binaire waarschijnlijkheidsverdelingen van uit te zetten beloningsgrootheden met verschillende verwachte waarden en varianties voorspellen. Aangezien de voorspellingsfoutreactie het verschil weerspiegelt tussen de verkregen en verwachte beloningswaarde, produceert de identieke grootte van de ontvangen beloning een toename of afname van de dopamineactiviteit, afhankelijk van het feit of die beloning groter of kleiner is dan de voorspelling, respectievelijk [23]. Dit resultaat suggereert dat waardevoorspellingsfoutcodering informatie verschaft met betrekking tot een referentie- of ankerwaarde.
De dopamine-codering van de voorspellingsfout voor beloningswaarde past zich aan aan de variantie of standaardafwijking van de verdeling. In een binaire verdeling van uitrekenbare beloningen roept de beloning met de grotere omvang binnen elke distributie dezelfde dopamine-activering op bij elke verdeling, ondanks 10-vouwverschillen tussen de verkregen beloningsgrootten (en de resulterende waardevoorspellingsfouten) [23]. Numerieke berekeningen laten zien dat de dopamine-respons de waardevoorspellingsfout codeert gedeeld door de standaardafwijking van de voorspelde verdeling. Dit kwam neer op een effectieve normalisatie of schaling van de waarde-voorspellingsfoutreactie in termen van standaarddeviatie, hetgeen aangeeft hoeveel de verkregen beloningswaarde verschilt van de verwachte waarde in eenheden van standaardafwijking. Theoretische overwegingen suggereren dat foutleer signalen die worden geschaald door variantie of standaarddeviatie in plaats van gemiddeld, stabiel leren kunnen mediëren dat resistent is voor het voorspelde risico van uitkomsten [30].
Dopamine-respons op beloning die stimuli voorspelt
Dopamine-neuronen vertonen activaties ('excitaties') na beloning die visuele, auditieve en somatosensorische stimuli voorspelt (Figuur (Figuur1B) 1B) [31-33]. De reacties vinden plaats ongeacht de sensorische modaliteiten en ruimtelijke posities van de stimuli, en ongeacht of de effectoren arm-, mond- of oogbewegingen zijn.
De activeringen nemen monotoon toe met de kans op beloning [18] en beloningsgrootheden, zoals het vloeistofvolume [23]. De dopamine-respons maakt echter geen onderscheid tussen beloningskans en grootte zolang de verwachte waarde identiek is [23]. De activeringen lijken dus de verwachte waarde van voorspelde beloningskansverdelingen te coderen. Verwachte waarde is de meer spaarzame verklaring, en de ruis in de neuronale responsen voorkomt een karakterisering in termen van verwachte (subjectieve) bruikbaarheid. Merk op dat de temporele verdiscontering hieronder beschreven subjectieve codering onthult en mogelijk enig licht op het probleem kan werpen.
De omvang van de respons neemt toe met afnemende gedragsreactietijd, wat aangeeft dat de dopamine-respons gevoelig is voor de motivatie van het dier [19]. Bij keuzes tussen verschillende beloningswaarden of vertragingen weerspiegelen de dopamine-reacties op de presentatie van keuze-opties de toekomstige gekozen beloning van het dier [34] of de hoogst mogelijke beloning van twee beschikbare keuze-opties [35].
Tijdens het leerproces neemt de dopamine-activering van de beloning geleidelijk af in opeenvolgende leertrajecten en ontwikkelt zich tegelijkertijd een activatie van de beloningsprikkel [xNUMX]. De verwerving van geconditioneerde antwoorden is gevoelig voor blokkering, wat aangeeft dat voorspelfouten een rol spelen bij de verwerving van dopaminereacties op geconditioneerde stimuli [36,37]. De response-naar-beloning voorspellende stimuli voldoet aan de belangrijkste kenmerken van onderwijssignalen van efficiënte temporele verschilversterkingsmodellen [27]. De responsverschuiving betreft niet de terugpropagatie van voorspellingsfouten over het stimulusbeloningsinterval van eerdere temporale verschilmodellen [38] maar wordt gereproduceerd in het oorspronkelijke temporele verschilmodel en in de originele en recentere tijdelijke verschilimplementaties [27,38].
Subjectieve beloningswaardecodering weergegeven door temporele verdiscontering
De objectieve meting van subjectieve beloningswaarde door keuzevoorkeuren onthult dat beloningen een deel van hun waarde verliezen wanneer ze worden vertraagd. In feite geven ratten, duiven, apen en mensen vaak de voorkeur aan eerder kleinere beloningen dan later aan grotere beloningen [40-42]. De subjectieve waarde van beloning lijkt dus te vervallen met toenemende vertragingen, ook al is de fysieke beloning, en dus de objectieve beloningswaarde, hetzelfde.
Psychometrische metingen van intertemporele gedragskeuzes tussen vroege en latere beloningen passen de omvang van de vroege beloning aan tot het optreden van keuzeloosheid, gedefinieerd als de waarschijnlijkheid van het kiezen van elke optie met p = 0.5. Een lagere vroege beloning bij keuzeloosheid geeft dus een lagere subjectieve waarde van de latere beloning aan. In ons recente experiment met apen zijn de onverschilligheidswaarden voor beloningen vertraagd door 4, 8 en 16 s monotoon verlaagd met respectievelijk ongeveer 25%, 50% en 75%, vergeleken met een beloning na 2 s [43]. De afname past een hyperbolische verdisconteringsfunctie.
De dopaminereacties op beloningsvoorspellende stimuli nemen monotoon af over beloningsvertragingen van 2 naar 16 s [25,43], ondanks dezelfde fysieke hoeveelheid beloning die na elke vertraging wordt afgeleverd. Deze gegevens suggereren dat temporele vertragingen van invloed zijn op dopamine-responsen op beloningsvoorspellende prikkels op een vergelijkbare manier als die van invloed zijn op de subjectieve beloningswaarde, beoordeeld door intertemporele keuzes. Interessant is dat de afname van dopamine-respons met beloningsvertraging onweerlegbaar is van de responsverlaging bij een lagere beloningsgrootheid. Deze gelijkenis suggereert dat temporele vertragingen de dopamine-respons beïnvloeden via veranderingen in de beloningswaarde. Dus, voor dopamine-neuronen, verschijnen vertraagde beloningen alsof ze kleiner zijn.
Dus lijken dopamine-neuronen de subjectieve in plaats van de fysieke, objectieve waarde van vertraagde beloningen te coderen. Gegeven dat nut een maat is voor de subjectieve in plaats van objectieve waarde van beloning, kan de responsdaling met temporele verdiscontering suggereren dat dopamine-neuronen beloning als (subjectieve) bruikbaarheid coderen in plaats van als (objectieve) waarde. Verdere experimenten kunnen helpen om utilitycodering directer te testen.
Dopamine-reactie op aversieve stimuli
Aversieve stimuli zoals luchtwolken, hypertone zoutoplossing en elektrische schokken veroorzaken activerende ('prikkelende') reacties in een klein deel van de dopamine-neuronen bij wakkere dieren (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), en de meeste dopamine-neuronen zijn ofwel depressief in hun activiteit of worden niet beïnvloed door aversieve gebeurtenissen (Figuur (Figuur1C1C bovenaan). In tegenstelling tot beloningen, kunnen luchtwolken niet leiden tot bidirectionele voorspellingsfouten die typisch zijn voor beloningen voorspelling moduleert alleen aversieve activeringen [45,46].
Aversieve stimulatie bij geanesthetiseerde dieren produceert verschillende, maar vaak lage, meestal langzamere, activerende reacties (50% [47]; 18% [48]; 17% [49]; 14% [50]) en vaak depressies van activiteit. Neurofysiologisch heronderzoek met een betere identificatie van dopamine-neuronen bevestigde de algehele lage incidentie van aversieve dopamine-activeringen bij geanesthetiseerde dieren [51] en situeerde aversief reagerende dopamine-neuronen in het ventromediale tegmentale gebied van de middenhersenen [52].
Geconditioneerde voorspellers van luchtrookimpulsen bij wakkere apen lokken activaties uit in de minderheid van dopamine-neuronen en depressies in een grotere fractie van dopamine-neuronen (11% [33]; 13% [45]; 37% [46]). De depressieve responsen heffen de paar activeringen in de gemiddelde populatie-respons van dopamine-neuronen op aversieve stimuli [33] op (zie figuur Figure1C1C onderaan, zwart). In één onderzoek activeerde de geconditioneerde aversieve stimulus meer neuronen dan de luchtrook zelf (37% versus 11% [46]), hoewel een geconditioneerde stimulus minder aversief is dan de primaire aversieve gebeurtenis die het voorspelt, zoals een luchtdruk. Het hogere aantal activeringen voor de geconditioneerde stimulus in vergelijking met de luchtrookwolk suggereert een omgekeerde relatie tussen aversiviteit en activering (hoe aversiever de stimulus, hoe minder frequent de activering) of een extra, niet-aversieve stimuluscomponent die verantwoordelijk is voor het verhogen van het aandeel geactiveerd neuronen van 11% tot 37%. Hoewel de stimulusactivaties positief correleerden met de kans op luchtrookwolk in de populatie, werden ze niet beoordeeld in individuele neuronen [46]. Een populatiecorrelatie kan voortkomen uit een relatief klein aantal positief gecorreleerde neuronen binnen die populatie, en de werkelijk aversieve stimulusactiveringen zouden dichter bij 11% kunnen liggen dan 37%. In een ander onderzoek toonden grote hoeveelheden dopamine-neuronen fasische activeringen aan geconditioneerde aversieve stimuli wanneer deze werden gepresenteerd in willekeurige afwisseling met beloningsvoorspellende stimuli van dezelfde sensorische modaliteit (Figuur (Figuur X NUMXC1C onderaan, grijs) (1% [65]); waren veel minder frequent wanneer de twee soorten geconditioneerde stimuli verschillende sensorische modaliteiten hadden (Figuur (NUMIXXC33C onderaan, zwart) (1%). In het volgende hoofdstuk worden de factoren besproken die mogelijk aan deze onverklaarbare activeringen ten grondslag liggen aan aversieve en andere, niet-beloonde stimuli.
Hoewel sommige dopamine-neuronen worden geactiveerd door aversieve gebeurtenissen, is de grootste dopamineactivering gerelateerd aan beloning. Gegevens verkregen met andere methoden leiden tot vergelijkbare conclusies. Fast scan voltammetrie bij gedragende ratten vertoont striatale dopamine-afgifte geïnduceerd door beloning en een verschuiving naar beloningsprikkels na conditionering [53], wat suggereert dat impulsresponsies van dopamine-neuronen tot overeenkomstige dopamine-afgifte uit striatale varicositeiten leiden. De dopaminetoename duurt slechts enkele seconden en heeft dus de kortste tijdsverloop van alle neurochemische methoden, het dichtst bij elektrofysiologische activering. De dopamine-afgifte is differentieel voor beloning (sucrose) en treedt niet op bij straf (kinine) [54]. Aangezien voltammetrie lokale gemiddelden van de dopamineconcentratie beoordeelt, kan de afwezigheid van meetbare afgifte met kinine een aantal activeringen verbergen die worden geannuleerd door depressies in de respons van de dopaminepopulatie [33]. Studies met zeer gevoelige in vivo microdialyse detecteren dopamine-afgifte na aversieve stimuli [55].
Deze reactie kan een weerspiegeling zijn van een dopamineverandering die wordt veroorzaakt door de paar neuronen die worden geactiveerd door aversieve stimuli, hoewel het tijdsverloop van microdialysemetingen ongeveer 300-500 keer langzamer is dan de impulsrespons en mogelijk voldoende is om presynaptische interacties de dopaminevrijgave te beïnvloeden [56] . Verstoring van burst-firing van dopamine-neuronen verstoort verschillende aanlokkelijke leertaken, maar ook angst voor conditionering [9]. Het resultaat zou een leerfunctie van aversieve dopaminereacties kunnen suggereren als het niet-specifieke, in het algemeen invaliderende effect van lagere dopamineconcentratie wordt uitgesloten, hetgeen nog moet worden aangetoond. De specifieke stimulatie van dopamine-neuronen door optogenetische methoden via genetisch ingebrachte kanaalrhodopsine induceert Pavloviaanse place-voorkeurconditionering bij muizen [57]. Daarentegen zou een netto-aversief effect van dopamine-stimulatie mogelijk plaatselijk vermijdingsleren hebben geproduceerd. Deze resultaten bevestigen het idee van een globale positieve versterkende functie van dopamine-systemen die zijn afgeleid van eerdere laesies, elektrische zelfstimulatie en drugsverslavingswerk [1,2]. Deze argumenten veronderstellen echter niet dat beloning de enige functie is van dopaminesystemen en ook niet dat alle beloningsfuncties dopamine-neuronen omvatten.
Fasische dopamine-activeringen coderen geen beloning
Stimuli kunnen alarmerende en aandachtsreacties opwekken wanneer ze fysiek belangrijk zijn (fysieke saillantie) of wanneer ze verband houden met bekrachtigers ('motiverende' of 'affectieve' saillantie). Gedragsreacties op opvallende stimuli worden beoordeeld door respectievelijk de fysieke intensiteit van de stimuli en de waarde van de bekrachtiger. Fysieke opvallendheid hangt helemaal niet af van bekrachtiging, en motiverende opvallendheid hangt niet af van de valentie van de bekrachtigers (beloning en straf).
Antwoorden op fysiek opvallende stimuli
Fysisch intense visuele en auditieve stimuli induceren activeringen in dopamine-neuronen (Figuur (Figure1D) .1D). Deze responsen worden versterkt door stimulusnieuwigheid [58-60] maar blijven op een lager niveau gedurende enkele maanden, op voorwaarde dat de stimuli voldoende fysiek intens zijn. De antwoorden worden gerangschikt op basis van de grootte van de stimuli (Figuur 4 in [15]). Fysieke opvallendheid kan ook deels de antwoorden op primaire straffen verklaren met een substantiële fysieke intensiteit [45]. Deze responsen kunnen een afzonderlijk type dopamine-respons vormen, gerelateerd aan de fysieke aandacht van aandacht die milieu-stimuli induceert, of ze kunnen gerelateerd zijn aan de positief motiverende en versterkende eigenschappen van intense en nieuwe stimuli.
De activeringen naar fysiek opvallende stimuli lijken geen weerspiegeling te zijn van de algemene neiging van dopamine-neuronen om geactiveerd te worden door een aandacht genererende gebeurtenis. In het bijzonder, andere sterke aandacht genererende gebeurtenissen zoals beloning weglating, geconditioneerde remmers en aversieve stimuli induceren voornamelijk depressies en zelden echte dopamine-activeringen [14,29]. Aldus kan de dopamineactivering door fysiek opvallende stimuli geen algemene waarschuwingsrespons vormen. De respons op de beloning vormt waarschijnlijk een afzonderlijke reactie die mogelijk niet de aandacht weerspiegelt die wordt gegenereerd door de motivationele saillantie van de beloning.
Andere niet-beloningscoderingsactivaties
Andere stimuli induceren activaties in dopamineneuronen zonder duidelijke codering van de beloningswaarde. Deze activeringen zijn kleiner en korter dan de responsen op beloning die stimuli voorspellen en worden vaak gevolgd door depressie wanneer de stimuli niet worden beloond (Figuur (Figure1E1E).
Dopamine-neuronen vertonen activaties na controle-stimuli die worden gepresenteerd in pseudowillekeurige afwisseling met beloonde stimuli [27,29,32]. De incidentie van activeringen hangt af van het aantal alternatieve, beloonde stimuli in de gedragstaak; activaties komen vaak voor wanneer drie of vier taakstimuli worden beloond (25% -63% [27]) en zeldzaam worden wanneer slechts één van de vier taakstimuli niet wordt beloond (1% [29]). Deze afhankelijkheid pleit tegen een puur zintuiglijk karakter van de reactie.
Dopamine-neuronen vertonen een nogal stereotype initiële activeringscomponent voor stimuli die beloningen voorspellen die optreden na verschillende vertragingen [43]. De initiële activering varieert erg weinig met beloningsvertraging en lijkt dus geen beloningswaarde te coderen. Daarentegen neemt de daaropvolgende responscomponent af met toenemende vertragingen en dus codes (subjectieve) beloningswaarde (zie hierboven).
Dopamine-neuronen vertonen frequente activeringen na geconditioneerde aversieve stimuli gepresenteerd in willekeurige afwisseling met beloningsvoorspellende stimuli; de activaties verdwijnen grotendeels wanneer verschillende sensorische modaliteiten worden gebruikt (65% versus 11% van neuronen [33]), wat codering van niet-aversieve stimuluscomponenten suggereert. Zelfs wanneer aversieve en appetitieve stimuli worden gescheiden in verschillende testblokken, worden dopamineneuronen aanzienlijk geactiveerd door geconditioneerde aversieve stimuli. De meer frequente activeringen van de geconditioneerde stimuli in vergelijking met de meer aversieve primaire luchtrookwolk (37% versus 11% [46]) suggereert echter een omgekeerde relatie tot de aversiviteit van de stimuli en mogelijk niet-aversieve responscomponenten.
De redenen voor deze verschillende dopamine-activeringen kunnen liggen in generalisatie, pseudoconditioning of motiverende stimulus. Generalisatie komt voort uit overeenkomsten tussen stimuli. Het zou dopamine-activeringen in een aantal situaties kunnen verklaren, namelijk de activeringen voor niet-beloonde visuele stimuli wanneer deze worden afgewisseld met beloningsvoorspellende visuele stimuli (Figuur (Figuur 1E1E links) [27,29,32] en de initiële, slecht gesorteerde activeringscomponent om vertragingsvoorspellende stimuli te belonen (Figuur (Figuur 1E1E rechts) [43]. Generalisatie kan een rol spelen wanneer stimuli met verschillende sensorische modaliteiten minder dopamine-activeringen produceren voor niet-beloonde stimuli dan stimuli met dezelfde modaliteiten, zoals te zien is bij visuele aversieve en auditieve appetijtstimuli (Figuur (Figuur1C1C onder) [33] .
Pseudoconditioning kan optreden wanneer een primaire bekrachtiger een contextuele achtergrond plaatst en niet-specifieke gedragsreacties uitlokt op alle gebeurtenissen in deze context [61]. Omdat dopamine-neuronen zeer gevoelig zijn voor beloning, kan een lonende context pseudoconditioning veroorzaken voor stimuli die in deze context worden ingesteld en dus voor een neuronale activering. Dit mechanisme kan ten grondslag liggen aan neuronale activeringen voor niet-belonende stimuli die plaatsvinden in een belonende context, zoals het laboratorium waarin een dier dagelijkse beloningen ontvangt, ongeacht de stimuli die worden gepresenteerd in willekeurige afwisseling met beloonde stimuli of in afzonderlijke proefblokken [46]. Pseudoconditioning kan de activering van niet-belichte controle-stimuli [27,29,32] verklaren, de meeste activeringen na aversieve stimuli [33,45,46] en de initiële, slecht gesorteerde activeringscomponent om delay-voorspellingsstimuli [43] te belonen. Aldus kan pseudoconditioning ontstaan uit de primaire beloning in plaats van een geconditioneerde stimulus en de dopamine-activeringen beïnvloeden voor zowel geconditioneerde stimuli als primaire versterkers die optreden in een lonende context.
Hoewel stimuli met substantiële fysieke opvallendheid dopamine-neuronen lijken te sturen [15,58-60] (zie hierboven), zijn de stimuli die niet-beloningscoderende dopamine-activeringen induceren vaak klein en niet fysiek erg opvallend. Motiverende opvallendheid is per definitie gebruikelijk voor beloningen en straffen en kan op zichzelf de activeringen verklaren voor beloning en bestraffing in 10-20% dopamine-neuronen. Niet-versterkende stimuli kunnen motiverend saillant worden door hun nabijheid tot beloning en straf via pseudoconditioning. Echter, dopamine-activeringen lijken veel gevoeliger voor beloning dan straf. Omdat motiverende saillantie een gevoeligheid voor beide versterkers inhoudt, zou motiverende opvallendheid die via pseudoconditioning is verkregen, de dopamine-activeringen zonder beloning niet goed verklaren.
Tezamen genomen kunnen veel van de niet-beloningscoderende dopamine-activeringen het gevolg zijn van stimulus-generalisatie of, in het bijzonder, pseudoconditioning. Desalniettemin lijken er echte activeringen te blijven voor niet-beloonde controleproducten en voor primaire en geconditioneerde aversieve stimuli in een beperkt aantal dopamine-neuronen wanneer deze factoren worden uitgesloten. Verdere experimenten die dergelijke reacties beoordelen, zouden betere controles moeten gebruiken en alle contextuele beloningsassociaties met stimuli in het laboratorium volledig moeten elimineren.
Gezien het voorkomen van niet-beloningscoderingsactivaties, is het redelijk om te vragen hoe een dier beloning onderscheidt van niet-beloonde stimuli op basis van een dopamine-respons. De zeer snelle, initiële, pseudoconditioned en slecht onderscheidende responscomponent kan een temporele bonus bieden voor het vergemakkelijken van snelle, standaard gedragsreacties die het dier helpen zeer snel een potentiële beloning [62] te detecteren. Daarentegen detecteert de onmiddellijk volgende responscomponent de ware aard van de gebeurtenis door de gesorteerde activering met beloningswaarde [43] en de frequente depressie met niet-beloonde en aversieve stimuli [27,29,32,33] (Figuur (Figure1E) .1E). Bovendien is het dopamine-systeem niet de enige beloning voor codering van de hersenenstructuur, en andere neuronale systemen zoals de orbitofrontale cortex, striatum en amygdala kunnen aanvullende discriminerende informatie opleveren.
Dopamine beloningsrisicosignaal
Als een beloningssignaal de gemiddelde beloningsvoorspellingsfout weergeeft, geschaald door de standaardafwijking van beloningswaarschijnlijkheidsverdelingen, en als we standaarddeviatie als een risicomaatstaf beschouwen, kan er dan een direct neuraal signaal voor risico zijn? Wanneer beloningskansen variëren van 0 tot 1 en de beloningsgrootheid constant blijft, neemt de gemiddelde beloningswaarde monotoon toe met de waarschijnlijkheid, terwijl de risicograad volgt op een omgekeerde U-functie met een piek bij p = 0.5 (Figuur (Figure2,2, inzet). 0.5, er is net zoveel kans om een beloning te krijgen als er een beloning moet missen, terwijl hogere en lagere kansen dan p = 0.5 winsten en verliezen zekerder maken, respectievelijk, en dus geassocieerd zijn met een lager risico.
Figuur 2
Aanhoudende activeringen gerelateerd aan risico. De risicoreactie vindt plaats tijdens het stimulus-beloningsinterval (pijl) volgend op de fasische, waardegerelateerde activering op de stimulus (driehoek). De inzet, rechtsboven, laat zien dat het risico (ordinaat) varieert naargelang (meer ...)
Ongeveer een derde van de dopamineneuronen vertoont een relatief langzame, matige, statistisch significante activering die geleidelijk toeneemt tijdens het interval tussen de beloningsvoorspellende stimulus en de beloning; deze respons varieert monotoon met het risico (Figure (Figure2) 2) [18]. De activering vindt plaats in individuele onderzoeken en lijkt geen voorspellingsfoutreactie te vormen die zich voortplant van de beloning naar de stimulus die de beloning voorspelt. De activering neemt monotoon toe, ook met standaarddeviatie of variantie wanneer binaire distributies van verschillende equiprobbare, niet-nulbeloningsgrootheden worden gebruikt. Standaardafwijking of variantie lijkt dus levensvatbare risicomaatstaven te zijn zoals gecodeerd door dopamineneuronen. Risicogerelateerde activeringen hebben langere latenties (ongeveer 1 s), langzamere tijdvakken en lagere pieken in vergelijking met de respons van de beloningswaarde op stimuli en beloning.
Vanwege zijn lagere magnitude, is het waarschijnlijk dat het risicosignaal lagere dopamine-afgifte induceert bij dopaminevariaties in vergelijking met de meer fasische activaties die de beloningswaarde coderen. De relatief lage dopamine concentratie die mogelijk wordt geïnduceerd door het risicosignaal kan de D2-receptoren activeren die meestal in een hoge affiniteitstoestand zitten, maar niet in de D1-receptoren met lage affiniteit [63]. Daarentegen zou de hogere fasische beloningswaarde-respons kunnen leiden tot meer dopamineconcentraties die voldoende zijn om de D1-receptoren kortstondig te activeren in hun toestand van meestal lage affiniteit. Aldus kunnen de twee signalen worden gedifferentieerd door postsynaptische neuronen op basis van de verschillende geactiveerde dopamine-receptoren. Bovendien zouden de dopaminewaarde en de risicosignalen samen leiden tot bijna gelijktijdige activering van zowel D1- als D2-receptoren die in veel normale en klinische situaties essentieel zijn voor adequate dopamine-afhankelijke functies.
Een dopamine-risicosignaal kan verschillende functies hebben. Ten eerste kan dit de schaalbaarheid van de direct daaropvolgende voorspellingsfoutrespons beïnvloeden door standaardafwijking onmiddellijk na de beloning [23]. Ten tweede zou het de dopamine-afgifte kunnen verbeteren die wordt geïnduceerd door de onmiddellijk volgende voorspellingsfoutreactie. Aangezien risico de aandacht induceert, zou de versterking van een mogelijk onderwijssignaal door risico verenigbaar zijn met de rol van aandacht bij het leren volgens de theorieën rond associatie [64,65]. Ten derde zou het een input kunnen zijn voor hersenstructuren die betrokken zijn bij de beoordeling van beloningsrisico's per se. Ten vierde zou het kunnen combineren met een economisch verwacht waardesignaal om aanzienlijke informatie te geven over de verwachte bruikbaarheid in risicogevoelige individuen volgens de mean-variance benadering in de financiële besliskunde [66]. De latentie van ongeveer 1 s is echter te lang om het signaal een momentane rol te laten spelen in keuzes onder onzekerheid.
Tegenstrijdige belangen
De auteur verklaart dat hij geen concurrerende belangen heeft.
Bijdragen van auteurs
WS schreef de krant.
Danksagung
Deze recensie is geschreven naar aanleiding van het Symposium over Attention Deficit Hyperactivity Disorder (ADHD) in Oslo, Noorwegen, februari 2010. Ons werk werd gesteund door de Wellcome Trust, de Zwitserse National Science Foundation, het Human Frontiers Science Program en andere beurzen- en beurzenbureaus.
Referenties
1. Wise RA, Rompre PP. Hersenen dopamine en beloning. Ann Rev Psychol. 1989, 40: 191-225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Neurale versterkingssysteem voor drugsverslaving: van acties tot gewoonten tot dwang. Nat Neurosci. 2005, 8: 1481-1489. doi: 10.1038 / nn1579. [PubMed] [Kruisverwijzing]
3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (papers Imp. Acad. St. Petersburg) 1738; 5: 175-192. Vertaald als: Expositie van een nieuwe theorie over het meten van risico's. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Voorspellende codering in de visuele cortex: een functionele interpretatie van enkele extra-klassieke receptieve-veldeffecten. Nat Neurosci. 1999, 2: 79-87. doi: 10.1038 / 4580. [PubMed] [Kruisverwijzing]
5. Rescorla RA, Wagner AR. In: Classical Conditioning II: Current Research and Theory. Black AH, Prokasy WF, redacteur. New York: Appleton Century Crofts; 1972. Een theorie van pavloviaanse conditionering: variaties in de effectiviteit van wapening en niet-versteviging; pp. 64-99.
6. Sutton RS, Barto AG. Op weg naar een moderne theorie van adaptieve netwerken: verwachting en voorspelling. Psychol Rev. 1981; 88: 135-170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Kruisverwijzing]
7. Kamin LJ. In: Fundamentele problemen in instrumentaal leren. Mackintosh NJ, Honig WK, redacteur. Halifax: Dalhousie University Press; 1969. Selectieve associatie en conditionering; pp. 42-64.
8. Blythe SN, Atherton JF, Bevan MD. Synaptische activering van dendritische AMPA- en NMDA-receptoren genereert in vitro transiënte hoogfrequente activering in substantia nigra dopamine neuronen. J Neurophysiol. 2007, 97: 2837-2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Kruisverwijzing]
9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Verstoring van NMDAR-afhankelijk barsten door dopamine-neuronen verschaft selectieve beoordeling van fasisch dopamine-afhankelijk gedrag. Proc Natl Acad Sci. 2009, 106: 7281-7288. doi: 10.1073 / pnas.0813415106. [PMC gratis artikel] [PubMed] [Cross Ref]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Burst-timing-afhankelijke plasticiteit van NMDA-receptor gemedieerde transmissie in Midbrain dopamine neuronen. Neuron. 2009, 62: 826-838. doi: 10.1016 / j.neuron.2009.05.011. [PMC gratis artikel] [PubMed] [Cross Ref]
11. Jones S, Bonci A. Synaptische plasticiteit en drugsverslaving. Curr Opin Pharmacol. 2005, 5: 20-25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Kruisverwijzing]
12. Kauer JA, Malenka RC. Synaptische plasticiteit en verslaving. Nat Rev Neurosci. 2007, 8: 844-858. doi: 10.1038 / nrn2234. [PubMed] [Kruisverwijzing]
13. Ljungberg T, Apicella P, Schultz W. Antwoorden van dopamine-neuronen bij aap-middenbreinen tijdens vertraagde afwisselingsprestaties. Brain Res. 1991, 586: 337-341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz W, Apicella P, Ljungberg T. Antwoorden van aap-dopaminneuronen om beloning en geconditioneerde stimuli te belonen tijdens opeenvolgende stappen van het leren van een vertraagde responstaak. J Neurosci. 1993, 13:. 900-913 [PubMed]
15. Schultz W. Voorspellend beloningssignaal van dopamine-neuronen. J Neurophysiol. 1998, 80:. 1-27 [PubMed]
16. Schultz W, Dayan P, Montague RR. Een neuraal substraat van voorspelling en beloning. Wetenschap. 1997, 275: 1593-1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Kruisverwijzing]
17. Hollerman JR, Schultz W. Dopamine neuronen melden een fout in de temporele voorspelling van beloning tijdens het leren. Nature Neurosci. 1998, 1: 304-309. doi: 10.1038 / 1124. [PubMed] [Kruisverwijzing]
18. Fiorillo CD, Tobler PN, Schultz W. Discrete codering van beloningskans en onzekerheid door dopamineneuronen. Wetenschap. 2003, 299: 1898-1902. doi: 10.1126 / science.1077349. [PubMed] [Kruisverwijzing]
19. Satoh T, Nakai S, Sato T, Kimura M. Gecorreleerde codering van motivatie en uitkomst van beslissing door dopamineneuronen. J Neurosci. 2003, 23:. 9913-9923 [PubMed]
20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Gelijktijdige maar verschillende boodschappen van dopamine en striatale tonisch actieve neuronen van de middenhersenen. Neuron. 2004, 43: 133-143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Kruisverwijzing]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamine-neuronen kunnen een contextafhankelijke voorspellingsfout vertegenwoordigen. Neuron. 2004, 41: 269-280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Kruisverwijzing]
22. Bayer HM, Glimcher PW. Mid-brein dopamine neuronen coderen voor een kwantitatief beloningsvoorspellingsfoutsignaal. Neuron. 2005, 47: 129-141. doi: 10.1016 / j.neuron.2005.05.020. [PMC gratis artikel] [PubMed] [Cross Ref]
23. Tobler PN, Fiorillo CD, Schultz W. Adaptieve codering van beloningswaarde door dopamineneuronen. Wetenschap. 2005, 307: 1642-1645. doi: 10.1126 / science.1105370. [PubMed] [Kruisverwijzing]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Menselijke substantia nigra-neuronen coderen voor onverwachte financiële beloningen. Wetenschap. 2009, 323: 1496-1499. doi: 10.1126 / science.1167342. [PMC gratis artikel] [PubMed] [Cross Ref]
25. Fiorillo CD, Newsome WT, Schultz W. De temporele precisie van beloningsvoorspelling in dopamineneuronen. Nat Neurosci. 2008, 11: 966-973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Statistieken van dopamine neuron spike traint in de wakkere primaat. J Neurophysiol. 2007, 98: 1428-1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Kruisverwijzing]
27. Waelti P, Dickinson A, Schultz W. Dopamine-responsen voldoen aan de basisaannames van formele leertheorie. Natuur. 2001, 412: 43-48. doi: 10.1038 / 35083500. [PubMed] [Kruisverwijzing]
28. Rescorla RA. Pavlovian geconditioneerde remming. Psychol Bull. 1969, 72: 77-94. doi: 10.1037 / h0027760.
29. Tobler PN, Dickinson A, Schultz W. Codering van voorspelde beloningsmislating door dopamine-neuronen in een geconditioneerd inhibitie-paradigma. J Neurosci. 2003, 23:. 10402-10410 [PubMed]
30. Preuschoff, Bossaerts P. Toevoegen van voorspellingsrisico's aan de theorie van beloningsleren. Ann NY Acad Sci. 2007, 1104: 135-146. doi: 10.1196 / annals.1390.005. [PubMed] [Kruisverwijzing]
31. Romo R, Schultz W. Dopamine neuronen van de aap-middenhersenen: contingenties van reacties op actieve aanraking tijdens zelfgestuurde armbewegingen. J Neurophysiol. 1990, 63:. 592-606 [PubMed]
32. Schultz W, Romo R. Dopamine neuronen van de aap-middenhersenen: contingenties van reacties op stimuli die onmiddellijke gedragsreacties opwekken. J Neurophysiol. 1990, 63:. 607-624 [PubMed]
33. Mirenowicz J, Schultz W. Preferentiële activatie van dopamineneuronen van de middenhersenen door eerder dan door aversieve stimuli. Natuur. 1996, 379: 449-451. doi: 10.1038 / 379449a0. [PubMed] [Kruisverwijzing]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midnight dopamine-neuronen coderen beslissingen voor toekomstige actie. Nat Neurosci. 2006, 9: 1057-1063. doi: 10.1038 / nn1743. [PubMed] [Kruisverwijzing]
35. Roesch MR, Calu DJ, Schoenbaum G. Dopamine-neuronen coderen voor de betere optie bij ratten die tussen verschillende vertraagde of gedimensioneerde beloningen kiezen. Nat Neurosci. 2007, 10: 1615-1624. doi: 10.1038 / nn2013. [PMC gratis artikel] [PubMed] [Cross Ref]
36. Takikawa Y, Kawagoe R, Hikosaka O. Een mogelijke rol van dopamineneuronen in de hersenen bij de korte- en langetermijnaanpassing van saccades naar positie-beloning maping. J Neurophysiol. 2004, 92: 2520-2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Kruisverwijzing]
37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopaminecellen reageren op voorspelde gebeurtenissen tijdens klassieke conditionering: aanwijzingen voor geschiktheidssporen in het beloningslerende netwerk. J Neurosci. 2005, 25: 6235-6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Kruisverwijzing]
38. Montague PR, Dayan P, Sejnowski TJ. Een raamwerk voor mesencefale dopamine-systemen op basis van voorspellend Hebbian-leren. J Neurosci. 1996, 16:. 1936-1947 [PubMed]
39. Suri R, Schultz W. Een neuraal netwerk met een dopamine-achtig versterkingssignaal dat een ruimtelijke vertraagde responstaak leert. Neuroscience. 1999, 91: 871-890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Kruisverwijzing]
40. Ainslie G. Specious rewards: een gedragstheorie van impulsiviteit en impulsbeheersing. Psych Bull. 1975, 82: 463-496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Aanpassen vertraging tot wapening: vergelijking van de keuze bij duiven en mensen. J Exp Psychol Anim Behav-proces. 1988, 14: 105-117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Kruisverwijzing]
42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Bepaling van kortingsfuncties bij ratten met een procedure voor het aanpassen van de hoeveelheid. J Exp Anal Behav. 1997, 67: 353-366. doi: 10.1901 / jeab.1997.67-353. [PMC gratis artikel] [PubMed] [Cross Ref]
43. Kobayashi S, Schultz W. Invloed van beloningsvertragingen op reacties van dopamine-neuronen. J Neurosci. 2008, 28: 7837-7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Kruisverwijzing]
44. Guarraci FA, Kapp BS. Een elektrofysiologische karakterisering van de dopaminerge neuronen van het ventrale tegmentale gebied tijdens de differentiële pavloviaire vreesconditionering bij het wakkere konijn. Gedrag Brain Res. 1999, 99: 169-179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Kruisverwijzing]
45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminerge neuronen en striatale cholinerge interneuronen coderen het verschil tussen beloning en aversieve gebeurtenissen in verschillende tijdperken van probabilistische klassieke conditioneringsonderzoeken. J Neurosci. 2008, 28: 1673-11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. Twee soorten dopamine-neuronen brengen kenmerkend positieve en negatieve motivatiesignalen over. Natuur. 2009, 459: 837-841. doi: 10.1038 / nature08028. [PMC gratis artikel] [PubMed] [Cross Ref]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensorische stimuli veranderen de ontlading van dopamine (DA) -neuronen: bewijs voor twee functionele typen DA-cellen in de substantia nigra. Brain Res. 1980, 189: 544-549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Kruisverwijzing]
48. Mantz J, Thierry AM, Glowinski J. Effect van schadelijk staartknijpen op de ontladingssnelheid van mesocorticale en mesolimbische dopamine-neuronen: selectieve activering van het mesocorticale systeem. Brain Res. 1989, 476: 377-381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Kruisverwijzing]
49. Schultz W, Romo R. Antwoorden van nigrostriatale dopamine-neuronen op somatosensorische stimulatie met hoge intensiteit bij de geanesthetiseerde aap. J Neurophysiol. 1987, 57:. 201-217 [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptieve responsen van dopaminerge neuronen van de middenhersenen worden gemoduleerd door de superieure colliculus in de rat. Neuroscience. 2006, 139: 1479-1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Kruisverwijzing]
51. Brown MTC, Henny P, Bolam JP, Magill PJ. Activiteit van neurochemisch heterogene dopaminerge neuronen in de substantia nigra tijdens spontane en aangedreven veranderingen in de hersentoestand. J Neurosci. 2009, 29: 2915-2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Kruisverwijzing]
52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fasische excitatie van dopamine-neuronen in ventrale VTA door schadelijke prikkels. Proc Natl Acad Sci USA. 2009, 106: 4894-4899. doi: 10.1073 / pnas.0811507106. [PMC gratis artikel] [PubMed] [Cross Ref]
53. Dag JJ, Roitman MF, Wightman RM, Carelli RM. Associatief leren zorgt voor dynamische verschuivingen in dopamine-signalering in de nucleus accumbens. Nat Neurosci. 2007, 10: 1020-1028. doi: 10.1038 / nn1923. [PubMed] [Kruisverwijzing]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Realtime chemische reacties in de nucleus accumbens differentiëren belonende en aversieve stimuli. Nat Neurosci. 2008, 11: 1376-1377. doi: 10.1038 / nn.2219. [PubMed] [Kruisverwijzing]
55. Young AMJ. Verhoogd extracellulair dopamine in nucleus accumbens als reactie op onvoorwaardelijke en geconditioneerde aversieve stimuli: onderzoeken met behulp van 1 min-microdialyse bij ratten. J Neurosci Meth. 2004, 138: 57-63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Schultz W. Meerdere dopaminefuncties op verschillende tijdvakken. Ann Rev Neurosci. 2007, 30: 259-288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Kruisverwijzing]
57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Phasic-vuren in dopaminerge neuronen is voldoende voor gedragsconditionering. Wetenschap. 2009, 324: 1080-1084. doi: 10.1126 / science.1168878. [PubMed] [Kruisverwijzing]
58. Strecker RE, Jacobs BL. Substantie nigra dopaminerge eenheid activiteit bij gedragende katten: effect van opwinding op spontane ontlading en sensorische opgewekte activiteit. Brain Res. 1985, 361: 339-350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Kruisverwijzing]
59. Ljungberg T, Apicella P, Schultz W. Antwoorden van dopamine-neuronen bij het leren van gedragsreacties. J Neurophysiol. 1992, 67:. 145-163 [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. Burst-activiteit van ventrale tegmentale dopamine-neuronen wordt opgewekt door sensorische stimuli bij de wakkere kat. Brain Res. 1997, 759: 251-258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Kruisverwijzing]
61. Sheafor PJ. Pseudo-geconditioneerde kaakbewegingen van het konijn weerspiegelen associaties die zijn geconditioneerd aan contextuele achtergrondaanwijzingen. J Exp Psychol: Anim Behav Proc. 1975, 104: 245-260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamine: generalisatie en bonussen. Neural Netw. 2002, 15: 549-559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Kruisverwijzing]
63. Richfield EK, Pennney JB, Young AB. Anatomische en affiniteitstoestandvergelijkingen tussen dopamine D1- en D2-receptoren in het centrale zenuwstelsel van de rat. Neuroscience. 1989, 30: 767-777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Kruisverwijzing]
64. Mackintosh NJ. Een theorie van aandacht: variaties in de associeerbaarheid van stimulus met versterking. Psychol Rev. 1975; 82: 276-298. doi: 10.1037 / h0076778.
65. Pearce JM, Hall G. Een model voor pavloviaanse conditionering: variaties in de effectiviteit van geconditioneerde maar niet van ongeconditioneerde stimuli. Psychol Rev. 1980; 87: 532-552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Kruisverwijzing]
66. Levy H, Markowitz HM. Benadering van verwacht nut door een functie van gemiddelde en variantie. Am Econ Rev. 1979; 69: 308-317.
;
