Dopamien Seine vir Beloningswaarde en Risiko Basiese en Onlangse Data (2010)

Wolfram Schultz 1

Behav Brain Funct. 2010; 6: 24.

Gepubliseer aanlyn 2010 April 23. doi: 10.1186 / 1744-9081-6-24.

VOLLEDIGE STUDIE: Dopamien Seine vir Beloningswaarde en Risiko Basiese en Onlangse Data

1Departement van Fisiologie, Ontwikkeling en Neurowetenskap, Universiteit van Cambridge, Downingstraat, Cambridge CB2 3DY, UK

Ooreenstemmende skrywer.

Wolfram Schultz: [e-pos beskerm]

Abstract

agtergrond

Vorige letsels, elektriese selfstimulasie en dwelmverslawingstudies dui daarop dat die midbrain dopamien stelsels deel van die beloningstelsel van die brein is. Hierdie resensie bied 'n opgedateerde oorsig oor die basiese seine van dopamienneurone tot omgewingstimuli.

Metodes

Die beskryf eksperimente gebruik standaard gedrags- en neurofisiologiese metodes om die aktiwiteit van enkel dopamienneurone in wakker ape tydens spesifieke gedragstake op te teken.

Results

Dopamienneurone toon fasiese aktiverings aan eksterne stimuli. Die sein reflekteer beloning, fisiese versadiging, risiko en straf, in dalende volgorde van breuke van reageer neurone. Verwagte beloningswaarde is 'n belangrike besluitveranderlike vir ekonomiese keuses. Die beloning reaksie kodes beloon waarde, waarskynlikheid en hul opgesomde produk, verwagte waarde. Die neurone kode beloon waarde aangesien dit verskil van voorspelling, en sodoende die basiese vereiste vir 'n tweerigtingvoorspellingsfout-onderrigsein gepostuleer deur leerteorie vervul. Hierdie reaksie word afgeskaal in eenhede van standaardafwyking. In teenstelling hiermee toon relatief min dopamienneurone die fasiese aktivering wat volgers en gekondisioneerde aversive stimuli het, wat daarop dui dat 'n gebrek aan verhoudings van die beloning reaksie op algemene aandag en opwinding is. Groot verhoudings dopamienneurone word ook geaktiveer deur intense, fisies belangrike stimuli. Hierdie reaksie word versterk wanneer die stimuli roman is; Dit blyk duidelik uit die beloningswaarde sein te wees. Dopamienneurone toon ook onspesifieke aktiverings aan nie-belonende stimuli wat moontlik te danke is aan veralgemening deur soortgelyke stimuli en pseudokondisionering deur primêre belonings. Hierdie aktiverings is korter as beloningsreaksies en word dikwels gevolg deur depressie van aktiwiteit. 'N Aparte, stadiger dopamien sein informeer oor risiko, 'n ander belangrike besluitveranderlike. Die voorspellingsfout reaksie vind slegs plaas met beloning; dit word afgeskaal deur die risiko van voorspelde beloning.

Gevolgtrekkings

Neurofisiologiese studies onthul fasiese dopamien seine wat inligting verwant aan oorwegend maar nie uitsluitlik beloon nie. Alhoewel dit nie heeltemal homogeen is nie, is die dopamien sein meer beperk en stereotipeer as neuronale aktiwiteit in die meeste ander breinstrukture wat betrokke is by doelgerigte gedrag.

agtergrond

Resultate van letsels en psigofarmakologiese studies dui op 'n wye verskeidenheid gedragsfunksies vir mid-brain dopamien stelsels. Die sleutelvraag is, watter van hierdie baie funksies word aktief geïnkripteer deur 'n fasiese dopamien sein wat verenigbaar is met vinnige neuronale meganismes? Goeie wenke kom van dwelmverslawing en elektriese selfstimulasie, wat daarop dui dat dopamienaktiwiteit beloon en benaderende opwekkingseffekte [1,2] het.

Ons kan belonings definieer as voorwerpe of gebeurtenisse wat benadering en verbruiksgedrag oplewer, leer van sulke gedrag produseer, positiewe uitkomste van ekonomiese besluite verteenwoordig en positiewe emosies en hedoniese gevoelens betrek. Belonings is noodsaaklik vir individuele en geen oorlewing en ondersteun elementêre prosesse soos drink, eet en voortplanting. Hierdie gedrags definisie kenmerke beloning funksioneer ook vir sekere nie-ewige en nie-seksuele entiteite, insluitend geld, tegniese artefakte, estetiese stimulus eienskappe en geestelike gebeure. Belonings betrek agente in so uiteenlopende gedrag as veroudering en verhandeling op aandelemarkte.

Basiese begrippe

Belonings het spesifieke groottes en kom met spesifieke waarskynlikhede voor. Agente is daarop gemik om keuses tussen opsies te optimaliseer waarvan die waardes bepaal word deur die soort keuse-objek en die grootte en waarskynlikheid daarvan [3]. Belonings kan dus voldoende beskryf word deur waarskynlikheidsverdeling van beloningswaardes. In 'n ideale wêreld volg hierdie verspreidings 'n Gaussiese funksie, met uiterste belonings wat minder gereeld voorkom as tussenresultate. Eksperimentele toetse gebruik dikwels binêre waarskynlikheidsverspreidings met toerusbare waardes (elke beloningswaarde kom voor by p = 0.5). Gaussiese en binêre waarskynlikheidsverdelings word volledig beskryf deur die wiskundige verwagte waarde (eerste oomblik van waarskynlikheidsverdeling) en die dispersies of afwykings van waardes van die gemiddelde, naamlik die (verwagte) variansie (tweede oomblik) of (verwagte) standaardafwyking (vierkantswortel) van variansie). Afwyking en standaardafwyking word dikwels as maatstawwe vir risiko beskou. In gedragsekonomie verwys die term 'risiko' na 'n vorm van onsekerheid waarin die waarskynlikheidsverspreiding bekend is, terwyl 'dubbelsinnigheid' dui op onvolledige kennis van waarskynlikhede en dikwels bloot 'onsekerheid' genoem word. Risiko verwys na die kans om te wen of verloor, eerder as die nouer, gesonde verstandsverband met verlies.

Voorspellings is van fund amen teel belang om ingeligte besluite te neem deur vooraf inligting oor die beskikbare keuse-opsies te verskaf, in teenstelling met raai wat plaasvind wanneer uitkomste onbekend is. Aangesien beloning gekwantifiseer kan word deur waarskynlikheidsverdelings van waarde, gee beloningsvoorspellings die verwagte waarde en (verwagte) afwyking of standaardafwyking van die verspreiding.

Evolusionêre druk bevoordeel die energie-effektiewe verwerking van inligting. Een moontlike oplossing is om voorspellings oor toekomstige gebeure in hoër breinsentrums te stoor en in laer breinsentrums die verskil tussen nuwe omgewingsinligting en die gestoorde voorspelling te bereken. Die verskil tussen die werklike gebeurtenis en die voorspelling daarvan word 'n gebeurtenisvoorspellingsfout genoem. Om die veranderende omgewingsituasie deur hoër breinsentrums by te hou, behels eenvoudig die voorspellings op te dateer, met die minder inligting wat minder energieverbruik bevat, voorspellingsfoute, eerder as om die volledige perifere inligting te verwerk elke keer dat een ding verander het [4]. Op hierdie manier het hoër breinsentrums toegang tot die volledige inligting oor die eksterne wêreld vir persepsies, besluite en gedragsreaksies teen 'n baie laer energiekoste. Hierdie fundamentele eienskap van voorspellings lei tot die waarneembare verskynsel van leer, soos gedefinieer deur veranderinge in gedrag gebaseer op opgedateerde voorspellings.

Diereleer-teorie en doeltreffende tydelike verskilversterkingsmodelle postuleer dat uitkomsvoorspellingsfoute van kardinale belang is vir Pavloviese en operante kondisionering [5,6]. Huidige sienings konseptualiseer Pavloviese leer as enige vorm van verkryging van voorspelling wat lei tot veranderde vegetatiewe reaksies of gestreepte spiersametrekkings, solank die uitslag nie voorwaardelik is aan die gedragsreaksie nie. Pavloviaanse beloningsvoorspellings dra dus nie net inligting oor die beloningswaarde (verwagte waarde) oor nie, maar ook oor die risiko (variansie) van toekomstige belonings, wat 'n belangrike uitbreiding is van die konsep wat Pavlov honderd jaar gelede voorgestel het. Die belangrikheid van voorspellingsfoute is gebaseer op Kamin se blokkerende effek [7] wat aantoon dat leer en uitwissing slegs vorder tot die mate waarin 'n versterking beter of slegter is as wat voorspel is; leer vertraag geleidelik namate die voorspelling die waarde van die versterker asimpties benader.

Dopamienreaksie om ontvangs te beloon

Die meerderheid dopamienneurone in die middelbrein (75-80%) toon nogal stereotipiese, fasiese aktivasies met latensies van <100 ms en tydsduur van <200 ms na tydelik onvoorspelbare voedsel- en vloeistofbelonings (Figuur (Figuur 1A). 1A). Hierdie burst-reaksie hang af van die aktivering en plastisiteit van glutamatergiese NMDA- en AMPA-reseptore wat op dopamienneurone geleë is [8-12]. Die uitbarsting is van kritieke belang vir die gedrag van eetlustige take soos gekondisioneerde plekvoorkeur en T-doolhofkeuses vir voedsel- of kokaïenbeloning en vir gekondisioneerde vreesreaksies [9].

Figuur 1

Fasiese aktivering van neurofisiologiese impulsaktiwiteit van dopamienneurone. A: Fasiese aktivering na primêre beloning. B: Fasiese aktivasies na gekondisioneerde, beloningsvoorspellende stimuli. C: Bo: Gebrek aan fasiese aktivering na primêre (meer ...)

Beloning voorspellings fout kodering

Die dopamienreaksie om beloning te lewer, blyk 'n voorspellingsfout te kodeer. 'n Beloning wat beter is as wat voorspel word, veroorsaak 'n aktivering (positiewe voorspellingsfout), 'n ten volle voorspelbare beloning trek geen reaksie nie, en 'n beloning wat erger is as wat voorspel word, veroorsaak 'n depressie (negatiewe fout) [13-24]. So implementeer die dopamienreaksie die kernterm van die Rescorla-Wagner-leermodel ten volle en lyk dit nou die onderrigsein van doeltreffende temporele verskil versterkingsleermodelle [6,23].

Die foutrespons wissel kwantitatief met die verskil tussen die ontvangde beloningswaarde en die verwagte beloningswaarde [18-23]. Die voorspellingsfoutrespons is sensitief vir die tyd van die beloning; 'n vertraagde beloning veroorsaak 'n depressie op sy oorspronklike tyd en 'n aktivering op sy nuwe tyd [24,25]. Die kwantitatiewe foutkodering is duidelik vir aktiverings wat positiewe voorspellingsfoute weerspieël. In teenstelling hiermee toon die depressie wat plaasvind met negatiewe voorspellingsfoute natuurlik 'n smaller dinamiese omvang, aangesien neuronale aktiwiteit nie onder nul kan val nie en toepaslike kwantitatiewe assessering vereis om die volle tydperk van depressie in ag te neem [26].

Dus, reageer dopamienneurone slegs op die mate waartoe dit verskil van voorspelling. Aangesien voorspelling van voorheen ervare beloning kom, word dopamienneurone slegs geaktiveer wanneer die huidige beloning beter is as die vorige beloning. Dieselfde beloning weer sal nie dopamienneurone aktiveer nie. As die aktivering van dopamienneurone 'n positiewe versterkende effek op gedrag het, sal slegs toenemende belonings voortgesette versterking deur dopaminerge meganismes verskaf. Dit kan een rede wees waarom konstante, onveranderlike belonings hul stimulerende invloed laat verloor en waarom ons altyd meer beloning nodig het.

Strengende toetse vir die voorspelling van foute vir die voorspelling van beloning

Diere-leerteorie het formele paradigmas ontwikkel vir die toets van voorspellingsfoute. In die blokkeringstoets [7] kan 'n stimulus wat gepaard gaan met 'n ten volle voorspelde beloning nie geleer word nie en word dus nie 'n geldige beloningsvoorspeller nie. Die afwesigheid van 'n beloning wat die geblokkeerde stimulus volg, vorm nie 'n voorspellingsfout nie en lei nie tot 'n reaksie in dopamienneurone nie, selfs na uitgebreide stimulus-beloning [27]. In teenstelling hiermee, lewer die lewering van 'n beloning na 'n geblokkeerde stimulus 'n positiewe voorspellingsfout en dien gevolglik 'n dopamienaktivering.

Die gekondisioneerde inhibisie paradigma [28] bied 'n addisionele toets vir voorspellingsfoute. In die taak wat in ons eksperimente gebruik word, word 'n toetsstimulasie gelyktydig aangebied met 'n gevestigde beloning wat die stimulus voorspel, maar geen beloning word gegee na die verbinding nie, en maak die toetsstimulus 'n voorspeller vir die afwesigheid van beloning. Beloningsverlies na so 'n gekondisioneerde inhibeerder vorm nie 'n negatiewe voorspellingsfout nie en gevolglik versuim om 'n depressie in dopamienneurone [29] te veroorsaak. Daarenteen lewer die lewering van 'n beloning na die inhibeerder 'n sterk positiewe voorspellingsfout en gevolglik 'n sterk dopamienaktivering.

Die resultate van hierdie twee formele toetse bevestig dat dopamienneurone tweerigtingkodering van beloningsvoorspellingsfoute toon.

Aanpasbare beloningvoorspellingsfoutkodering

In 'n algemene sin spesifiseer 'n beloning wat die stimulus voorspel, die waarde van toekomstige belonings deur die waarskynlikheidsverspreiding van beloningswaardes in te lig. Die stimulus dui dus op die verwagte waarde (eerste oomblik) en (verwagte) variansie (tweede oomblik) of standaardafwyking van die verspreiding.

Die dopamien waarde voorspellings fout reaksie is sensitief vir beide die eerste en tweede oomblikke van die voorspelde beloning verdeling na twee sekondes na die stimulus. In 'n eksperiment kan verskillende visuele stimuli spesifieke binêre waarskynlikheidsverdelings van equiprobabele beloningsgroottes voorspel met verskillende verwagte waardes en afwykings. Aangesien die voorspellingsfoutrespons die verskil tussen die verkryde en verwagte beloningswaarde weerspieël, lewer die identiese grootte van die ontvangde beloning óf 'n toename of afname van dopamienaktiwiteit, afhangende van of daardie beloning groter of kleiner is as die voorspelling daarvan, onderskeidelik [23]. Hierdie resultaat dui daarop dat waardevoorspellingsfoutkodering inligting verskaf ten opsigte van 'n verwysings- of ankerwaarde.

Die dopamienkodering van beloningswaardevoorspellingsfout pas by die afwyking of standaardafwyking van die verspreiding. In 'n binêre verspreiding van equiprobable belonings, gee die lewering van beloning met die groter omvang binne elke verspreiding dieselfde dopamienaktivering met elke verspreiding, ondanks 10-vouverskille tussen die verkryde beloningsgroottes (en die gevolglike voorspellingsfoute) [23]. Numeriese berekeninge toon dat die dopamienreaksie die waardevoorspellingsfout kodes gedeel deur die standaardafwyking van die voorspelde verspreiding. Dit was 'n effektiewe normalisering of skaal van die waardevoorspellingsfoutrespons in terme van standaardafwyking, wat aandui hoeveel die verkryde beloningswaarde verskil van die verwagte waarde in eenhede van standaardafwyking. Teoretiese oorwegings suggereer dat foutonderrigseine wat deur variansie of standaardafwyking afgeskaal word eerder as gemeen, stabiele leer kan bemiddel wat weerstand bied teen die voorspelde risiko van uitkomste [30].

Dopamienreaksie om beloning te voorspel

Dopamienneurone toon aktivasies ('opwinding') na beloning wat visuele, ouditiewe en somatosensoriese stimuli voorspel (Figuur (Figuur1B) 1B) [31-33]. Die reaksies kom ongeag die sensoriese modaliteite en ruimtelike posisies van die stimuli voor, en ongeag die effekte van arm-, mond- of oogbewegings.

Die aktiverings verhoog monotonies met beloningswaarskynlikheid [18] en beloningsgrootte, soos vloeibare volume [23]. Die dopamienreaksies onderskei egter nie tussen beloningswaarskynlikheid en grootte nie, solank die verwagte waarde identies is [23]. Dus lyk die aktiverings om die verwagte waarde van voorspelde beloningswaarskynlikheidsverdelings te kodeer. Verwagte waarde is die meer parsimoniese verduideliking, en die geraas in die neuronale reaksies verhoed 'n karakterisering in terme van verwagte (subjektiewe) nut. Let daarop dat die tydelike verdiskontering hieronder beskryf subjektiewe kodering en kan 'n bietjie lig oor die probleem.

Die responsgrootte neem toe met afnemende gedragsreaksietyd, wat daarop dui dat die dopamienrespons sensitief is vir die motivering van die dier [19]. In keuses tussen verskillende beloningswaardes of vertragings weerspieël die dopamienreaksies op die aanbieding van keuses die dier se toekomstige gekose beloning [34] of die hoogste moontlike beloning van twee beskikbare keuse-opsies [35].

Gedurende die verloop van leer verminder die dopamienaktivering tot die beloning geleidelik oor opeenvolgende leerproewe, en 'n aktivering van die beloning wat die stimulus voorspel, ontwikkel terselfdertyd [36,37]. Die verkryging van gekondisioneerde reageer is sensitief vir blokkering, wat aandui dat voorspellingsfoute 'n rol speel in die verkryging van dopamienreaksies op gekondisioneerde stimuli [27]. Die reaksie-oordrag om die voorspelde stimuli te beloon, voldoen aan die hoofkenmerke van onderrigseine van effektiewe tydelike verskil versterkingsmodelle [38]. Die respons verskuiwing behels nie die terugvoering van voorspellingsfoute oor die stimulus-beloningsinterval van vroeëre temporale verskilmodelle [27,38] nie, maar word in die oorspronklike temporale verskilmodel en in die oorspronklike en meer onlangse temporale verskil-implementasies [6,37,39] gereproduseer.

Subjektiewe beloning waarde kodering getoon deur tydelike verdiskontering

Die objektiewe meting van subjektiewe beloningswaarde volgens keuse voorkeure toon dat belonings sommige van hul waarde verloor wanneer hulle vertraag word. Trouens, rotte, duiwe, ape en mense verkies dikwels vroeër kleiner belonings oor later groter belonings [40-42]. Dus, die subjektiewe waarde van beloning blyk te verval met toenemende tydvertragings, alhoewel die fisiese beloning, en dus die objektiewe beloningswaarde, dieselfde is.

Psigometriese maatstawwe van intertemporale gedragskeuses tussen vroeëre en latere belonings pas die grootte van die vroeë beloning aan tot die voorkoms van keuse onverskilligheid, gedefinieer as die waarskynlikheid om elke opsie met p = 0.5 te kies. Dus, 'n laer vroeë beloning na keuse, onverskilligheid dui op 'n laer subjektiewe waarde van die latere beloning. In ons onlangse eksperiment op ape, het keuse-onverskillingswaardes vir belonings wat deur 4, 8 en 16 s vertraag is, monotonaal afgeneem met onderskeidelik 25%, 50% en 75% in vergelyking met 'n beloning na 2 s [43]. Die afname pas by 'n hiperboliese afslagfunksie.

Die dopamienreaksies om belonings te voorspel, verlaag monotonies oor vergoedingvertragings van 2 tot 16 s [25,43], ten spyte van dieselfde fisiese hoeveelheid beloning wat na elke vertraging gelewer word. Hierdie data dui daarop dat temporale vertragings dopamienreaksies beïnvloed om stimuli op 'n soortgelyke wyse te voorspel, aangesien dit subjektiewe beloningswaarde beïnvloed wat deur intertemporale keuses beoordeel word. Interessant genoeg is die afname van dopamienreaksie met beloningsvertraging onduidelike van die reaksie afname met laer beloningsgrootte. Hierdie ooreenkoms dui daarop dat temporale vertragings dopamienreaksies beïnvloed deur veranderinge in beloningswaarde. Dus, vir dopamienneurone, word vertraagde belonings asof hulle kleiner was.

Dus, dopamienneurone lyk die subjektiewe eerder as die fisiese, objektiewe waarde van vertraagde belonings. Gegewe dat die nut 'n maatstaf is vir die subjektiewe eerder as objektiewe waarde van beloning, kan die reaksie afneem met die temporale diskontering dui daarop dat dopamienneurone kode beloon as (subjektiewe) nut eerder as as (objektiewe) waarde. Verdere eksperimente kan help om nutkodes meer direk te toets.

Dopamien reaksie op aversive stimuli

Aversiewe stimuli soos lugpoffers, hipertoniese soutoplossing en elektriese skok veroorsaak aktiveerende ('opwindende') reaksies in 'n klein hoeveelheid dopamienneurone by wakker diere (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), en die meerderheid van dopamienneurone is depressief in hul aktiwiteit of word nie beïnvloed deur afskuwende gebeure nie (Figuur (Figuur1C1C bo). In teenstelling met belonings, veroorsaak lugbui nie tweerigtingvoorspellingsfoutreaksies wat tipies is vir beloning nie) ; voorspelling moduleer slegs aversiewe aktivasies [45,46].

Aversive stimulation in anesthetized animals produseer wisselende maar dikwels lae grade van meestal stadiger, aktiverende response (50% [47]; 18% [48]; 17% [49]; 14% [50]) en dikwels depressie van aktiwiteit. Neurofisiologiese herinvestigasies met 'n beter identifikasie van dopamienneurone het die algehele lae voorkoms van aversiewe dopamienaktiwiteite in verdovende diere [51] bevestig en het dopamienneurone in die ventromediale tegmentale area van die middelbrein [52] afgekeur.

Voorbeelde, lugpluim wat stimuli voorspel in wakker ape, aktiveer aktiverings in die minderheid van dopamienneurone, en depressies in 'n groter fraksie dopamienneurone (11% [33]; 13% [45]; 37% [46]). Die depressiewe reaksies kanselleer die paar aktiverings in gemiddelde bevolkingsreaksies van dopamienneurone tot aversive stimuli [33] (sien Figuur Figuur1C1C onderkant, swart). In 'n studie het die gekondisioneerde aversive stimulus meer neurone geaktiveer as die lugpluim self (37% vs. 11% [46]), hoewel 'n gekondisioneerde stimulus minder afleidend is as die primêre aversive gebeurtenis wat dit voorspel, soos 'n lugpyl. Die hoër aantal aktiverings aan die gekondisioneerde stimulus in vergelyking met die lugpoging dui op 'n omgekeerde verhouding tussen aversiwiteit en aktivering (hoe meer stimulans die minder dikwels die aktivering) of 'n addisionele, nie-aversive stimulus komponent wat verantwoordelik is vir die verhoging van die proporsie van geaktiveerde neurone van 11% tot 37%. Alhoewel die stimulusaktiwiteite positief gekorreleer is met lugvlugwaarskynlikheid in die bevolking, is hulle nie in individuele neurone [46] geassesseer nie. 'N Bevolkingskorrelasie kan voortspruit uit 'n relatief klein aantal positief gekorreleerde neurone binne daardie populasie, en die werklik afkeerbare stimulusaktiwiteite kan nader aan 11% as 37% wees. In 'n ander studie het groot proporsies dopamienneurone fasiese aktiverings aan gekondisioneerde aversive stimuli gewys wanneer dit in willekeurige alternasie aangebied word met beloning wat stimuli van dieselfde sensoriese modaliteit voorspel (Figuur (Figuur 1C1C onderkant, grys) (65% [33]); was baie minder gereeld toe die twee tipes gekondisioneerde stimuli verskillende sensoriese modaliteite gehad het (Figuur (Figuur 1C1C onderkant, swart) (11%). Die volgende hoofstuk bespreek die faktore wat moontlik onderliggend is aan hierdie onverklaarbare aktiverings tot aversive en ander onbeloonde stimuli.

Alhoewel sommige dopamienneurone deur aversive gebeure geaktiveer word, is die grootste dopamienaktivering verband met beloning. Data verkry met ander metodes lei tot soortgelyke gevolgtrekkings. Vinnige scan voltammetrie in gedragende rotte toon striatale dopamien vrystelling wat deur beloning en 'n verskuiwing geïmponeer word om beloning te voorspel vir stimuli na kondisionering [53], wat daarop dui dat impulresponsies van dopamienneurone tot ooreenstemmende dopamien vrystelling van striatale varicosities lei. Die dopamienverhoging duur slegs 'n paar sekondes en het dus die kortste tydsverloop van alle neurochemiese metodes, die naaste aan elektrofisiologiese aktivering. Die vrystelling van dopamien is differensiaal vir beloning (sukrose) en versuim om met straf te plaas (kinien) [54]. Aangesien voltammetrie plaaslike gemiddeldes van dopamien konsentrasie beoordeel, kan die afwesigheid van meetbare vrystelling met kinien 'n paar aktiverings verberg wat deur depressies in die dopamienpopulasie reaksie [33] gekanselleer word. Studies wat baie sensitiewe in vivo mikrodialise gebruik, bepaal dopamien vrystelling na aversive stimuli [55].

Hierdie reaksie kan 'n dopamienverandering weerspieël wat veroorsaak word deur die paar neurone wat deur aversiewe stimuli geaktiveer word, alhoewel die tydsduur van mikrodialise-metings ongeveer 300-500 keer stadiger as die impulsrespons is en moontlik sal wees om presynaptiese interaksies dopamien vrystelling te laat [56] . Ontwrigting van die ontploffing van dopamienneurone ontwrig verskeie appetitiewe leertake, maar ook vrees kondisionering [9]. Die resultaat kan 'n leerfunksie van afkeerbare dopamienreaksies voorstel, indien die onspesifieke, algemeen afwykende effek van laer dopamien konsentrasie uitgesluit word, wat nog getoon moet word. Die spesifieke stimulering van dopamienneurone deur optogenetiese metodes via geneties ingevoegde channelrhodopsin veroorsaak Pavlovian-voorkeure-kondisionering in muise [57]. Daarteenoor sou 'n netto aversiewe effek van dopamienstimulasie denkbare geproduseer word. Hierdie resultate bevestig die idee van 'n globale positiewe versterkingsfunksie van dopamienstelsels wat afgelei is van vroeë letsels, elektriese selfstimulasie en dwelmverslawing [1,2]. Hierdie argumente postuleer egter nie dat beloning die enigste funksie van dopamienstelsels is nie, of dat alle beloningsfunksies dopamienneurone insluit.

Phasic dopamine activations nie kodering beloning

Stimuli kan waarskuwings- en aandagreaksies teweegbring wanneer dit fisies belangrik is (fisiese opvallendheid) of as dit verband hou met versterkers ('motiverende' of 'affektiewe' opvallendheid). Gedragsreaksies op opvallende stimuli word onderskeidelik beoordeel deur die fisiese intensiteit van die stimuli en die waarde van die versterker. Fisiese opvallendheid hang glad nie van versterking af nie, en motiverende opvallendheid hang nie af van die versterking se valensie nie (beloning en straf).

Reaksies op fisiese opvallende stimuli

Fisies intensiewe visuele en ouditiewe stimuli veroorsaak aktiverings in dopamienneurone (Figuur (Figuur 1D). 1D). Hierdie antwoorde word versterk deur stimulus nuwigheid [58-60] maar bly vir 'n paar maande op 'n laer vlak, mits die stimuli voldoende fisies intens is. Die antwoorde word gegradeer volgens die grootte van die stimuli (Figuur 4 in [15]). Fisiese saligheid kan ook deels die antwoorde op primêre strafbeamptes met aansienlike fisiese intensiteit [45] verduidelik. Hierdie response kan 'n afsonderlike tipe dopamienreaksie uitmaak wat verband hou met die fisiese versadiging van aandag wat omgewingsprikkel veroorsaak, of hulle kan verband hou met die positief-motiverende en versterkende eienskappe van intense en nuwe stimuli.

Die aktiverings na fisies belangrike stimulasies blyk nie 'n algemene neiging van dopamienneurone te weerspieël om geaktiveer te word deur enige opwekkende gebeurtenis nie. In die besonder, ander sterk aandag genereer gebeure soos beloning weglating, gekondisioneerde inhibeerders en aversive stimuli veroorsaak oorwegend depressies en selde egte dopamienaktiwiteite [14,29]. Dus kan die dopamienaktivering deur fisies opvallende stimuli nie 'n algemene waarskuwingsreaksie uitmaak nie. Die beloningsreaksie sal waarskynlik 'n afsonderlike reaksie vorm wat nie die aandag weerspieël van die motivering van die beloning.

Ander nie-beloning kodering aktiverings

Ander stimuli veroorsaak aktiverings in dopamienneurone sonder duidelike kodering van beloningswaarde. Hierdie aktiverings is kleiner en korter as die antwoorde om belonings te voorspel en word dikwels gevolg deur depressie wanneer die stimuli onbeloond is. (Figuur (Figure1E1E).

Dopamienneurone toon aktiverings na beheersingstimulasies wat in pseudorandom alternasie aangebied word met beloonde stimuli [27,29,32]. Die voorkoms van aktiverings hang af van die aantal alternatiewe, beloonde stimuli in die gedragstaak; Aktiwiteite is gereeld wanneer drie van vier taakstimuli beloon word (25% -63% [27]) en word skaars wanneer slegs een van vier taakstimuli onbeloond is (1% [29]). Hierdie afhanklikheid argumenteer teen 'n suiwer sensoriese aard van die reaksie.

Dopamienneurone toon 'n eerder stereotipe aanvanklike aktiveringskomponent om stimuli te voorspel wat belonings voorspel wat na verskillende vertragings voorkom [43]. Die aanvanklike aktivering wissel baie min met beloning vertraging, en dus lyk nie die waarde van die kode te beloon nie. In teenstelling hiermee verminder die daaropvolgende reaksie komponent met toenemende vertragings en dus kodes (subjektiewe) beloningswaarde (sien hierbo).

Dopamienneurone toon gereelde aktiverings volgens gekondisioneerde aversive stimuli wat in willekeurige afwisseling aangebied word, met beloning wat stimuli voorspel; die aktiverings verdwyn grootliks wanneer verskillende sensoriese modaliteite gebruik word (65% vs. 11% neurone [33]), wat die kodering van nie-aversive stimulus-komponente voorstel. Selfs wanneer aversive en stimulerende stimuli in verskillende proefblokke geskei word, word dopamienneurone aansienlik geaktiveer deur gekondisioneerde aversive stimuli. Die meer gereelde aktiverings van die gekondisioneerde stimuli in vergelyking met die meer afgryslike primêre lugpluis (37% vs. 11% [46]) dui egter op 'n omgekeerde verhouding tot die aversiwiteit van die stimuli en moontlik nie-aversive response komponente.

Die redes vir hierdie verskillende dopamienaktiwiteite kan in veralgemening, pseudokondisionering of motiverende stimulusversadiging lê. Genasionalisering ontstaan ​​uit ooreenkomste tussen stimuli. Dit kan dopamienaktasies in 'n aantal situasies verduidelik, naamlik die aktiverings vir onbeloonde visuele stimuli wanneer dit alternatief is met beloning wat visuele stimuli voorspel (Figuur 1E1E links) [27,29,32] en die aanvanklike, swak gegradeerde aktiveringskomponent om vertraging te voorspel wat stimuli voorspel (Figuur (Figuur 1E1E regs) [43]. Genasionalisering kan 'n rol speel wanneer stimuli met verskillende sensoriese modaliteite minder dopamienaktiwiteite tot onbelaste stimuli lewer as stimuli met dieselfde modaliteite, soos gesien met visuele aversive en ouditiewe aptitiewe stimuli (Figuur (Figuur 1C1C onder) [33] .

Pseudokondisionering kan ontstaan ​​wanneer 'n primêre versterker 'n kontekstuele agtergrond stel en onpesifieke gedragsreaksies op enige gebeurtenisse binne hierdie konteks [61] veroorsaak. Aangesien dopamienneurone baie sensitief is vir beloning, kan 'n lonende konteks pseudokondisionering tot stimuli in hierdie konteks veroorsaak en dus 'n neuronale aktivering. Hierdie meganisme kan onderliggend wees aan neuronale aktiverings aan niebeloonende stimuli wat in 'n belonende konteks voorkom, soos die laboratorium waarin 'n dier daaglikse belonings ontvang, ongeag of die stimuli in willekeurige afwisseling met beloonde stimuli of in aparte proefblokke [46] aangebied word. Pseudoconditionering kan aktiveer aan onbeheerde kontrole stimuli [27,29,32], die meeste aktiverings na aversive stimuli [33,45,46] en die aanvanklike, swak gegradeerde aktiveringskomponent verduidelik om vertraging te voorspel wat stimuli [43] beloon. Pseudokondisionering kan dus ontstaan ​​uit die primêre beloning eerder as 'n gekondisioneerde stimulus en beïnvloed dopamienaktiwiteite aan beide gekondisioneerde stimuli en primêre versterkers wat in 'n lonende konteks voorkom.

Alhoewel stimuli met aansienlike fisiese versadiging dopamienneurone [15,58-60] (sien hierbo) lyk, is die stimuli wat nie-beloning koördineer dopamienaktiwiteite veroorsaak, dikwels klein en nie fisies baie duidelik nie. Motiverende saligheid is per definisie algemeen vir belonings en strawwe en kan op sy eie die aktiverings vir beide beloning en straf in 10-20% van dopamienneurone verduidelik. Nie-versterkende stimuli kan motiveer word deur hul nabyheid van beloning en straf deur middel van pseudokondisionering. Dopamienaktiwiteite lyk egter veel meer sensitief vir beloning as straf. Aangesien motiveringsvermoë sensitiwiteit vir albei versterkers behels, kan motiveringsvermoë wat deur pseudoconditionering verkry word, nie die nie-beloning-kodende dopamienaktiwiteite goed verklaar nie.

Tesame, baie van die nie-beloning kodering dopamien aktiverings kan wees as gevolg van stimulus veralgemening of, in die besonder, pseudoconditionering. Nietemin blyk dit dat die aktiewe aktiverings aan onbeheerde kontrole stimuli en primêre en gekondisioneerde aversive stimuli bly in 'n beperkte deel van dopamienneurone wanneer hierdie faktore uitgesluit word. Verdere eksperimente wat sulke antwoorde beoordeel, moet beter beheermaatreëls gebruik en alle kontekstuele beloningsverenigings met stimuli in die laboratorium elimineer.

Gegewe die voorkoms van nie-beloning kodering aktiverings, is dit redelik om te vra hoe 'n dier sal onderskei beloon van onbetaalde stimuli gebaseer op 'n dopamien reaksie. Die baie vinnige, aanvanklike, pseudoconditioned en swak diskriminerende reaksie komponent kan 'n tydelike bonus bied vir die fasilitering van vinnige, standaard gedragsreaksies wat die dier help om 'n moontlike beloning [62] vinnig op te spoor. In teenstelling hiermee word die ware aard van die gebeurtenis deur die gegradeerde aktivering met beloningswaarde [43] en sy gereelde depressie met onbeloonde en aversive stimuli [27,29,32,33] (Figuur (Figure1E) .1E) opgespoor. Verder is die dopamienstelsel nie die enigste breinstruktuur kodering beloning, en ander neuronale stelsels soos die orbitofrontale korteks, striatum en amygdala kan addisionele diskriminerende inligting verskaf.

Dopamien beloning risiko sein

As 'n beloningssignaal die gemiddelde beloningsvoorspellingsfout weerspieël word deur die standaardafwyking van beloningswaarskynlikheidsverdelings, en as ons standaardafwyking as 'n mate van risiko beskou, kan daar 'n direkte neuronale sein vir risiko wees? Wanneer die waarskynlikheid van belonings wissel van 0 tot 1 en die beloningsgrootte konstant bly, verhoog die gemiddelde beloningswaarde ewewydig met waarskynlikheid, terwyl die hoeveelheid risiko 'n omgekeerde U-funksie volg wat by p = 0.5 styg (Figuur (Figure2,2, inset). By p = 0.5, daar is presies soveel kans om 'n beloning te kry aangesien daar 'n beloning is, terwyl hoër en laer waarskynlikhede as p = 0.5 wins en verliese meer seker maak en dus met laer risiko geassosieer word.

Figuur 2

Volgehoue ​​aktivering wat verband hou met risiko. Die risiko-reaksie vind plaas tydens die stimulus-beloning interval (pyl) na die fasiese, waarde-verwante aktivering van die stimulus (driehoek). Die inlas regs bo wys dat die risiko (ordinaat) wissel (meer ...)

Ongeveer 'n derde van dopamienneurone toon 'n relatiewe stadige, matige, statisties beduidende aktivering wat geleidelik toeneem gedurende die interval tussen die beloning wat die stimulus en die beloning voorspel. hierdie reaksie wissel monotonies met risiko (Figuur (Figuur 2) 2) [18]. Die aktivering vind plaas in individuele proewe en lyk nie as 'n voorspellingsfoutrespons wat terugpresteer van beloning tot die beloning wat die stimulus voorspel nie. Die aktivering eweneens ewewydig ook met standaardafwyking of afwyking wanneer binêre verdelings van verskillende equiprobable, nie-nulbeloningsgroottes gebruik word. Dus, standaardafwyking of afwyking blyk lewensvatbare maatreëls vir risiko te wees, soos deur dopamienneurone gekodeer. Risikoverwante aktiverings het langer latensies (ongeveer 1 s), stadiger tydskursusse en laer pieke in vergelyking met die beloningswaarde-reaksies op stimuli en beloning.

As gevolg van sy laer grootte, sal die risiko sein waarskynlik laer dopamien vrystelling by dopamien-varicosities veroorsaak in vergelyking met die meer fasiese aktiverings koderende beloningswaarde. Die relatief lae dopamienkonsentrasie wat moontlik deur die risikosensoon veroorsaak word, kan die D2-reseptore wat meestal in 'n hoë affiniteits toestand is, maar nie die lae affiniteit D1 reseptore [63] aktiveer. In teenstelling hiermee kan die hoër fasiese beloningswaarde reaksie lei tot meer dopamien konsentrasies wat voldoende is om die D1 reseptore kortliks te aktiveer in hul meestal lae affiniteits toestand. Die twee seine kan dus deur postsynaptiese neurone gedifferensieer word op grond van die verskillende dopamienreseptore wat geaktiveer word. Daarbenewens sal die dopamienwaarde en risikosignale saam lei tot byna gelyktydige aktivering van beide D1- en D2-reseptore wat in baie normale en kliniese situasies noodsaaklik is vir voldoende dopamienafhanklike funksies.

'N Dopamien risiko sein kan verskeie funksies hê. Eerstens kan dit die skaal van die onmiddellik volgende voorspellingsfoutreaksie beïnvloed deur standaardafwyking onmiddellik na die beloning [23]. Tweedens, kan dit die dopamien vrylating verhoog wat veroorsaak word deur die onmiddellike volgende voorspellingsfoutrespons. Aangesien risiko aandag oplewer, sal die verbetering van 'n potensiële onderrigsein volgens risiko verenigbaar wees met die rol van aandag in leer volgens die assosieerbaarheidsleerteorieë [64,65]. Derdens kan dit 'n inset lewer aan breinstrukture wat betrokke is by die beoordeling van beloningsrisiko per se. Vierde kan dit kombineer met 'n ekonomiese verwagte waarde sein om aansienlike inligting oor die verwagte nut in risikosensitiewe individue te verteenwoordig volgens die gemiddelde afwykingsbenadering in finansiële besluitteorie [66]. Die latensie van ongeveer 1 s is egter te lank vir die sein om 'n oombliklike rol in keuses onder onsekerheid te speel.

Mededingende belange

Die skrywer verklaar dat hy geen mededingende belange het nie.

Skrywers se bydraes

WS het die koerant geskryf.

Bedankings

Hierdie hersiening is geskryf ter geleentheid van die Simposium oor Aandagsgebrekhiperaktiwiteitsversteuring (ADHD) in Oslo, Noorweë, Februarie 2010. Ons werk is ondersteun deur die Wellcome Trust, die Switserse Nasionale Wetenskapstigting, die Human Frontiers Science Program en ander subsidie- en gemeenskapsagentskappe.

Verwysings

1. Wise RA, Rompre PP. Brein dopamien en beloning. Ann Rev Psychol. 1989; 40: 191-225. doi: 10.1146 / annurev.ps.40.020189.001203.

2. Everitt BJ, Robbins TW. Neurale stelsels van versterking vir dwelmverslawing: van aksies tot gewoontes tot dwang. Nat Neurosci. 2005; 8: 1481-1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]

3. Bernoulli D. Specimen theoriae novae die mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Referate Imp. Acad. Sci. St Petersburg) 1738; 5: 175-192. Vertaal as: Uitleg van 'n nuwe teorie oor die meting van risiko. Econometrica 1954, 22: 23-36.

4. Rao RPN, Ballard DH. Voorspellende kodering in die visuele korteks: 'n funksionele interpretasie van 'n paar ekstra-klassieke ontvanger-veld-effekte. Nat Neurosci. 1999; 2: 79-87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]

5. Rescorla RA, Wagner AR. In: Klassieke kondisionering II: Huidige navorsing en teorie. Swart AH, Prokasy WF, redakteur. New York: Appleton Century Crofts; 1972. 'N Teorie van Pavlovian kondisionering: Variasies in die doeltreffendheid van versterking en nie-handhawing; pp. 64-99.

6. Sutton RS, Barto AG. Na 'n moderne teorie van adaptiewe netwerke: verwagting en voorspelling. Psychol Eerw. 1981; 88: 135-170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]

7. Kamin LJ. In: Fundamentele vraagstukke in instrumentele leer. Mackintosh NJ, Honig WK, redakteur. Halifax: Dalhousie Universiteit Pers; 1969. Selektiewe assosiasie en kondisionering; pp. 42-64.

8. Blythe SN, Atherton JF, Bevan MD. Sinaptiese aktivering van dendritiese AMPA en NMDA reseptore genereer transient hoë frekwensievuur in substantia nigra dopamienneurone in vitro. J Neurofisiolo. 2007; 97: 2837-2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]

9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Ontwrigting van NMDAR-afhanklike uitbarsting deur dopamienneurone bied selektiewe assessering van fasiese dopamien-afhanklike gedrag. Proc Natl Acad Sci. 2009; 106: 7281-7288. doi: 10.1073 / pnas.0813415106. [PMC gratis artikel] [PubMed] [Cross Ref]

10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Burst-Timing-afhanklike plastisiteit van NMDA reseptor-gemedieerde transmissie in Midbrain Dopamine Neurons. Neuron. 2009; 62: 826-838. doi: 10.1016 / j.neuron.2009.05.011. [PMC gratis artikel] [PubMed] [Cross Ref]

11. Jones S, Bonci A. Synaptiese plastisiteit en dwelmverslawing. Curr Opin Pharmacol. 2005; 5: 20-25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]

12. Kauer JA, Malenka RC. Sinaptiese plastisiteit en verslawing. Nat Rev Neurosci. 2007; 8: 844-858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]

13. Ljungberg T, Apicella P, Schultz W. Responses van monkey midbrain dopamine neurons tydens vertraagde alternatiewe prestasie. Brein Res. 1991; 586: 337-341. doi: 10.1016 / 0006-8993 (91) 90816-E.

14. Schultz W, Apicella P, Ljungberg T. Antwoorde van aapdopamienneurone om beloning en gekondisioneerde stimuli te gee tydens opeenvolgende stappe om 'n vertraagde respons taak te leer. J Neurosci. 1993; 13:. 900-913 [PubMed]

15. Schultz W. Voorspellende beloning sein van dopamienneurone. J Neurofisiolo. 1998; 80:. 1-27 [PubMed]

16. Schultz W, Dayan P, Montague RR. 'N Neurale substraat van voorspelling en beloning. Wetenskap. 1997; 275: 1593-1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]

17. Hollerman JR, Schultz W. Dopamiene neurone rapporteer 'n fout in die tydelike voorspelling van beloning tydens leer. Natuur Neurosci. 1998; 1: 304-309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]

18. Fiorillo CD, Tobler PN, Schultz W. Diskrete kodering van beloningswaarskynlikheid en onsekerheid deur dopamienneurone. Wetenskap. 2003; 299: 1898-1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]

19. Satoh T, Nakai S, Sato T, Kimura M. Gekorreleerde kodering van motivering en uitkoms van besluitneming deur dopamienneurone. J Neurosci. 2003; 23:. 9913-9923 [PubMed]

20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Toevallig maar duidelike boodskappe van midbrain dopamien en striatale tonies aktiewe neurone. Neuron. 2004; 43: 133-143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]

21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamiene neurone kan konteksafhanklike voorspellingsfoute voorstel. Neuron. 2004; 41: 269-280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]

22. Bayer HM, Glimcher PW. Midbrain dopamienneurone kodeer 'n kwantitatiewe beloningsvoorspellingsfout sein. Neuron. 2005; 47: 129-141. doi: 10.1016 / j.neuron.2005.05.020. [PMC gratis artikel] [PubMed] [Cross Ref]

23. Tobler PN, Fiorillo CD, Schultz W. Adaptiewe kodering van beloningswaarde deur dopamienneurone. Wetenskap. 2005; 307: 1642-1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]

24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Menslike substantia nigra neurone codeer onverwagte finansiële belonings. Wetenskap. 2009; 323: 1496-1499. doi: 10.1126 / science.1167342. [PMC gratis artikel] [PubMed] [Cross Ref]

25. Fiorillo CD, Newsome WT, Schultz W. Die temporale presisie van voorspelling vir beloning in dopamienneurone. Nat Neurosci. 2008; 11: 966-973. doi: 10.1038 / nn.2159.

26. Bayer HM, Lau B, Glimcher PW. Statistieke van dopamienneuron spyk treine in die wakker primaat. J Neurofisiolo. 2007; 98: 1428-1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]

27. Waelti P, Dickinson A, Schultz W. Dopamienreaksies voldoen aan basiese aannames van formele leerteorie. Aard. 2001; 412: 43-48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]

28. Rescorla RA. Pavlovian-gekondisioneerde inhibisie. Psychol Bull. 1969; 72: 77-94. doi: 10.1037 / h0027760.

29. Tobler PN, Dickinson A, Schultz W. Kodering van voorspelde beloningverlies deur dopamienneurone in 'n gekondisioneerde inhibisie paradigma. J Neurosci. 2003; 23:. 10402-10410 [PubMed]

30. Preuschoff, Bossaerts P. Toevoeging van voorspellingsrisiko aan die teorie van beloningstudie. Ann NY Acad Sci. 2007; 1104: 135-146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]

31. Romo R, Schultz W. Dopamiene neurone van die monkey midbrain: Gebeurlikheids van reaksies op aktiewe aanraking tydens self-geïnisieerde armbewegings. J Neurofisiolo. 1990; 63:. 592-606 [PubMed]

32. Schultz W, Romo R. Dopamienneurone van die aap-middelbrein: Gebeurlikheidsreëlings vir stimuli wat onmiddellike gedragsreaksies uitlok. J Neurofisiolo. 1990; 63:. 607-624 [PubMed]

33. Mirenowicz J, Schultz W. Voorkeuraktivering van middelbrein dopamienneurone deur middel van aptyt eerder as aversive stimuli. Aard. 1996; 379: 449-451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]

34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain dopamiene neurone codeer besluite vir toekomstige aksie. Nat Neurosci. 2006; 9: 1057-1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]

35. Roesch MR, Calu DJ, Schoenbaum G. Dopamiene neurone codeer die beter opsie by rotte wat tussen verskillende vertraagde of groot belonings besluit. Nat Neurosci. 2007; 10: 1615-1624. doi: 10.1038 / nn2013. [PMC gratis artikel] [PubMed] [Cross Ref]

36. Takikawa Y, Kawagoe R, Hikosaka O. 'n Moontlike rol van midbrain dopamienneurone in kort- en langtermyn-aanpassing van saccades tot pos-beloning maping. J Neurofisiolo. 2004; 92: 2520-2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]

37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopamien selle reageer op voorspelde gebeurtenisse tydens klassieke kondisionering: Bewys vir die toelaatbare spore in die beloning-leer netwerk. J Neurosci. 2005; 25: 6235-6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]

38. Montague PR, Dayan P, Sejnowski TJ. 'N Raamwerk vir mesensfaliese dopamienstelsels gebaseer op voorspellende Hebreeuse leer. J Neurosci. 1996; 16:. 1936-1947 [PubMed]

39. Suri R, Schultz W. 'n Neurale netwerk met dopamienagtige versterkings sein wat 'n ruimtelike vertraagde respons taak leer. Neuroscience. 1999; 91: 871-890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]

40. Ainslie G. Spesifieke belonings: 'n gedragsteorie van impulsiwiteit en impulsbeheer. Psych Bull. 1975; 82: 463-496. doi: 10.1037 / h0076860.

41. Rodriguez ML, Logue AW. Aanpassing van vertraging tot versterking: vergelyking van keuse in duiwe en mense. J Exp Psychol Anim Behav Proses. 1988; 14: 105-117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]

42. Richards JB, Mitchell SH, die Wit H, Seiden LS. Bepaling van afslagfunksies by rotte met 'n aanpassingsbedragprosedure. J Exp Anal Behav. 1997; 67: 353-366. doi: 10.1901 / jeab.1997.67-353. [PMC gratis artikel] [PubMed] [Cross Ref]

43. Kobayashi S, Schultz W. Invloed van beloning vertragings op reaksies van dopamienneurone. J Neurosci. 2008; 28: 7837-7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]

44. Guarraci FA, Kapp BS. 'N Elektrofisiologiese karakterisering van ventrale tegmentale area dopaminerge neurone tydens differensiële pavlovian vrees kondisionering in die wakker konyn. Behav Brain Res. 1999; 99: 169-179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]

45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminerge neurone en striatale cholinergiese interneurone codeer die verskil tussen beloning en aversive gebeure by verskillende tydperke van probabilistiese klassieke kondisioneringstoetse. J Neurosci. 2008; 28: 1673-11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.

46. Matsumoto M, Hikosaka O. Twee tipes dopamienneuron onderskei positief en negatiewe motiverings seine. Aard. 2009; 459: 837-841. doi: 10.1038 / nature08028. [PMC gratis artikel] [PubMed] [Cross Ref]

47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensoriese stimuli verander die ontladingskoers van dopamien (DA) neurone: Bewys vir twee funksionele tipes DA selle in die substantia nigra. Brein Res. 1980; 189: 544-549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]

48. Mantz J, Thierry AM, Glowinski J. Effek van skadelike stertknyp op die ontladingskoers van mesokortiese en mesolimbiese dopamienneurone: selektiewe aktivering van die mesokortiese stelsel. Brein Res. 1989; 476: 377-381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]

49. Schultz W, Romo R. Responses van nigrostriatale dopamienneurone tot hoë intensiteit somatosensoriese stimulasie in die verdovende aap. J Neurofisiolo. 1987; 57:. 201-217 [PubMed]

50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptive response van midbrain dopaminerge neurone word gemoduleer deur die superior colliculus in die rat. Neuroscience. 2006; 139: 1479-1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]

51. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktiwiteit van neurochemies heterogene dopaminerge neurone in die substantia nigra tydens spontane en gedrewe veranderinge in breinstatus. J Neurosci. 2009; 29: 2915-2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]

52. Brischoux F, Chakraborty S, Brierley DI, Ongeslote MA. Fasiese opwekking van dopamienneurone in ventrale VTA deur skadelike stimuli. Proc Natl Acad Sci VSA. 2009; 106: 4894-4899. doi: 10.1073 / pnas.0811507106. [PMC gratis artikel] [PubMed] [Cross Ref]

53. Dag JJ, Roitman MF, Wightman RM, Carelli RM. Assosiatiewe leer bemiddel dinamiese verskuiwings in dopamien sein in die kern accumbens. Nat Neurosci. 2007; 10: 1020-1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]

54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Realtydse chemiese reaksies in die nukleus accumbens onderskei lonende en aversive stimuli. Nat Neurosci. 2008; 11: 1376-1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]

55. Jong AMJ. Verhoogde ekstrasellulêre dopamien in kernklemme in reaksie op ongekondisioneerde en gekondisioneerde aversive stimuli: studies met behulp van 1 min mikrodialise by rotte. J Neurosci Meth. 2004; 138: 57-63. doi: 10.1016 / j.jneumeth.2004.03.003.

56. Schultz W. Veelvoudige dopamienfunksies by verskillende tydskursusse. Ann Rev Neurosci. 2007; 30: 259-288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]

57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, die Lecea L, Deisseroth K. Phasic vuur in dopaminerge neurone is voldoende vir gedragskondisionering. Wetenskap. 2009; 324: 1080-1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]

58. Strecker RE, Jacobs BL. Substantia nigra dopaminerge eenheid aktiwiteit in gedrag van katte: Effek van opwekking op spontane ontslag en sensoriese opgewekte aktiwiteit. Brein Res. 1985; 361: 339-350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]

59. Ljungberg T, Apicella P, Schultz W. Reaksies van aapdopamienneurone tydens die leer van gedragsreaksies. J Neurofisiolo. 1992; 67:. 145-163 [PubMed]

60. Horvitz JC, Stewart T, Jacobs BL. Uitbarstingsaktiwiteit van ventrale tegmentale dopamienneurone word veroorsaak deur sensoriese stimuli in die wakker kat. Brein Res. 1997; 759: 251-258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]

61. Sheafor PJ. Pseudoconditioned kaakbewegings van die haas weerspieël verenigings wat gekonfronteer word met kontekstuele agtergrondwyses. J Exp Psychol: Anim Behav Proc. 1975; 104: 245-260. doi: 10.1037 / 0097-7403.1.3.245.

62. Kakade S, Dayan P. Dopamien: veralgemening en bonusse. Neurale Netw. 2002; 15: 549-559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]

63. Richfield EK, Pennney JB, Young AB. Anatomiese en affiniteitsstaat vergelykings tussen dopamien D1 en D2 reseptore in die sentrale senuweestelsel van die rat. Neuroscience. 1989; 30: 767-777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]

64. Mackintosh NJ. 'N Teorie van aandag: Variasies in die assosieerbaarheid van stimulus met versterking. Psychol Eerw. 1975; 82: 276-298. doi: 10.1037 / h0076778.

65. Pearce JM, Hall G. 'n Model vir Pavlovian kondisionering: variasies in die effektiwiteit van gekondisioneerde maar nie van onvoorsiene stimuli nie. Psychol Eerw. 1980; 87: 532-552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]

66. Heffing H, Markowitz HM. Om die verwagte nut te benader deur 'n funksie van gemiddelde en afwyking. Am Econ Ds. 1979; 69: 308-317.