Wolfram Schultz 1
Behav Brain Funct. 2010; 6: 24.
Online publizéiert 2010 Abrëll 23. doi: 10.1186 / 1744-9081-6-24.
VOLLZE STUDIE: Dopamin Signaler fir Belounungswäert a Risiko Basis a rezent Donnéeën
1Departement vu Physiologie, Entwécklung a Neurowëssenschaften, Universitéit vu Cambridge, Downing Street, Cambridge CB2 3DY, UK
Korrespondéiert Autor.
Wolfram Schultz: [Email geschützt]
mythologesch
Hannergrond
Vireg Läsioun, elektresch Selbstimulatioun an Drogenofhängeger Studie suggeréieren datt d'Mëttelmëttel Dopaminsystemer Deeler vum Belounungssystem vum Gehir sinn. Dës Iwwerpréiwung gëtt eng aktualiséiert Iwwersiicht iwwer d'Basissignaler vun Dopamin Neuronen op Ëmweltsstimulie.
Methoden
Déi beschriwwe Experimenter hunn Standard Verhalens- a Neurophysiologesch Methoden benotzt fir d'Aktivitéit vun eenzel Dopamin Neuronen an erwächt Ape wärend spezifesch Verhalensaufgaben opzehuelen.
Resultater
Dopamin Neuronen weisen phasesch Aktivatiounen zu externen Reizen. D'Signal reflektéiert d'Belounung, kierperlech Geescht, Risiko a Bestrofung, an erofgaangender Uerdnung vu Fraktiounen vun de beäntwerte Neuronen. Erwaart Belounungswäert ass eng Schlësselentscheedung Variabel fir wirtschaftlech Wiel. D'Belounung Äntwert Coden belount Wäert, Probabilitéit an hire gesammelte Produkt, erwaart Wäert. Den Neuronen Code belount Wäert wéi et vun der Predictioun ënnerscheet, sou datt d'Basisfuerderung fir e bidirektionalen Prognosen Feeler Léier Signal erfëllt gouf vu Léieren Theorie. Dës Äntwert gëtt an Unitéiten vun Standarddeviatioun skala. Am Géigesaz, relativ wéineg Dopamin Neuronen weisen d'phasesch Aktivéierung no punishers a bedingtem aversive Stimuli, suggeréiert e Mangel u Relatioun vun der Belounungsreaktioun op allgemeng Opmierksamkeet an Opreegung. Grouss Proportiounen vun Dopamin Neuronen ginn och duerch intensiv, kierperlech bemierkenswäerte Reizen aktivéiert. Dës Äntwert gëtt verbessert wann d'Stimulatioune novollzéibar sinn; et schéngt aus dem Belounungswäertesignal ze ënnerscheeden. Dopamin Neuronen weisen och onspezifesch Aktivatiounen zu net-belountende Reizen, déi méiglecherweis duerch Generaliséierung duerch ähnlech Reizen a Pseudokonditionéierung duerch primär Belounungen entstinn. Dës Aktivatiounen si méi kuerz wéi Belounungsreaktiounen a ginn dacks duerch Depressioun vun der Aktivitéit gefollegt. En separaten, méi luesen Dopamin Signal informéiert iwwer Risiko, eng aner wichteg Entscheedungsvariabel. De Prognosen Feeler Äntwert gëtt nëmme mat Belounung geschitt; et gëtt duerch de Risiko vu virgeschriwwene Belounung scaléiert.
Conclusiounen
Neurophysiologesch Studien hunn phasesch Dopamin Signaler verroden, déi Informatioun iwwerdroen awer haaptsächlech awer net exklusiv fir ze belounen. Och wann et net ganz homogen ass, ass d'Dopamin Signal méi ageschränkt a stereotyp wéi neuronal Aktivitéit an de meeschte aner Gehirstrukturen, déi am Goalgeriicht Verhalen involvéiert sinn.
Hannergrond
Resultater vu Läsion a psychopharmakologescher Studien hunn eng breet Palette vu Verhalensfunktiounen fir Midbrain-Dopamin Systemer proposéiert. Déi Schlëssel Fro ass, wéi eng vun dëse ville Funktiounen gi aktiv kodéiert vun engem phasesche Dopamin Signal kompatibel mat schnelle neuronalen Mechanismen? Gutt Hiweiser kommen aus Medikament Sucht an elektresch Selbstimulatioun, wat suggeréiert datt Dopamin Aktivitéit belount an Approche generéiert Effekter [1,2].
Mir kënne Beloununge definéieren als Objeten oder Veranstaltungen, déi Approche a consummatory Verhalen generéieren, Léieren vun esou engem Verhalen produzéieren, positiv Resultater vu wirtschaftlechen Entscheedunge vertrieden an positiv Emotiounen an hedonic Gefiller engagéieren. Belounungen si wichteg fir individuell a Gen Iwwerliewe an ënnerstëtzen elementar Prozesser wéi Drénken, Iessen a Reproduktioun. Dës Verhalensdefinitioun attribuéiert Belounungsfunktioun och a bestëmmten netalimentäre an netsexuellen Entitéiten, dorënner Suen, techneschen Artefakter, ästheteschen Reizattributer a mental Eventer. Belounungen engagéieren Agenten an esou ënnerschiddlech Behuelen wéi Foraging an Handel op Aktienmäert.
Basis Konzepter
Belounungen hu spezifesch Magnituden a komme mat spezifesche Wahrscheinlechkeeten op. Agenten ziele fir d'Wahlen tëscht Optiounen ze optimiséieren, deenen hir Wäerter vun der Aart vum Wielobjekt a senger Gréisst a Wahrscheinlechkeet [3] bestëmmt ginn. Dofir kënne Belounungen duerch Wahrscheinlechkeetsverdeelunge vu Belounungswäerter adequat beschriwwe ginn. An enger idealer Welt verfollegen dës Verdeelungen enger Gaussescher Funktioun, mat extremen Belounungen déi manner dacks optriede wéi Zwëscheresultater. Experimentell Tester benotzen dacks binär Wahrscheinlechkeetsverdeelunge mat equiprobéierbare Wäerter (all Belounungswäert geschitt bei p = 0.5). Gaussesch a binär Wahrscheinlechkeetsverdeelunge gi voll beschriwwen duerch de mathemateschen erwaartene Wäert (éischte Moment vun der Wahrscheinlechkeetsverdeelung) an den Dispersiounen oder Ofwäichunge vu Wäerter vum Mëttel, nämlech der (erwaarter) Varianz (zweete Moment) oder (erwaart) Standardabweichung vun der Varianz). Varianz an Standardabweichung ginn dacks als Moossnamen vum Risiko ugesinn. An der Verhalenswirtschaft bezeechent de Begrëff "Risiko" eng Form vun Onsécherheet an där d'Wahrscheinlechkeetsverdeelung bekannt ass, wärend "Onkloerheet" onkomplett Wësse vu Wahrscheinlechkeeten ugëtt an dacks einfach "Onsécherheet" bezeechent gëtt. Risiko bezitt sech op d'Chance ze gewannen oder ze verléieren, anstatt déi méi enk, gesonde Mënscheverstand mat Verloscht.
Prognosen si vu wesentleche Wichtegkeet fir informéiert Entscheedung ze treffen andeems Dir Informatioune kritt iwwer déi verfügbar Wieloptiounen, am Géigesaz zu Rotschléi, déi optrieden wann d'Resultater onbekannt sinn. Als Belounung ka mat Probabilitéitsverdeelunge vu Wäert quantifizéiert ginn, belounen Prognosen de erwaartene Wäert an (erwaart) Varianz oder Standarddeviatioun vun der Verdeelung.
Evolutiounsdrock favoriséiert d'effizient effizient Veraarbechtung vun Informatioun. Eng potenziell Léisung ass Prognosen iwwer zukünfteg Evenementer a méi héije Gehirenzentren ze späicheren an an engem nidderegen Gehirenzentren den Ënnerscheed tëscht nei Ëmweltinformatiounen an der gespäichert Prognose ze berechnen. D'Differenz tëscht dem aktuellen Event a senger Viraussetzung gëtt en Eventprévisiounsfeeler genannt. Erhalen mat der verännerender Ëmwelt Situatioun duerch méi héije Gehirenzentren géif einfach d'Aktualiséierung vun de Prognosen mat der manner Informatioun enthalen, a manner Energieverbrauchend, Prognosenfeeler anstatt déi voll Peripheri Informatioun veraarbecht all Kéier wann eng kleng Saach geännert huet [4] Op dës Manéier hunn méi héich Gehirenzentren Zougang zu der voller Informatioun iwwer d'aussewelt fir Perceptiounen, Entscheedungen a Verhalensreaktiounen zu engem vill méi nidderegen Energiekäschte. Dëst fundamental Eegeschafte vu Prognosen féiert zum observabele Phänomen vum Léieren, wéi definéiert duerch Verännerunge vum Verhalen baséiert op aktualiséierten Prognosen.
Animal Learning Theorie an effizient temporär Differenz Verstärkungsmodeller postuléieren datt d'Resultater Viraussiichtfeeler entscheedend si fir Pavlovesch an operant Konditioun [5,6]. Aktuell Meenungen konzeptualiséiere Pavlovescht Léiere wéi all Form vun der Acquisitioun vun der Prognosioun déi zu verännert vegetative Reaktiounen oder gestreete Muskelkontraktioune féiert, soulaang d'Resultat net op d'Verhalensreaktioun bedingt ass. Dofir vermëttele Pavlovian Belounungsprognosen net nëmmen iwwer de Belounungswäert (erwaart Wäert) awer och iwwer de Risiko (Varianz) vun zukünftege Belounungen, wat eng wichteg Ausdehnung vum Konzept ass, dee vum Pavlov viru honnert Joer proposéiert gouf. D'Wichtegkeet vu Prediction Feeler baséiert op dem Kamin säi Blockeffekt [7] wat beweist datt Léieren an Ausstierwen nëmme virukommen an deem Mooss wéi e Verstärker besser oder méi schlecht ass wéi virausgesot; Léiere verlangsamt progressiv wéi d'Prognose asymptotesch de Wäert vum Verstärker zougitt.
Dopamin Äntwert op Belounung Empfang
D'Majoritéit vun den Midbrain Dopamin Neuronen (75-80%) weisen éischter stereotypéiert, phasesch Aktivatiounen mat Latenzen vun <100 ms an Dauer vun <200 ms no temporär onberechenbarem Iessen a flëssege Belounungen (Figure (Figure1A) .1A). Dës Burst-Äntwert hänkt vun der Aktivatioun an der Plastizitéit vu glutamatergeschen NMDA- an AMPA-Rezeptoren of, déi op Dopamin-Neuronen [8-12] sinn. De Burst ass kritesch fir Verhalensléiere vun appetitiven Aufgaben wéi bedingte Plazpräferenz an T-Labyrinth Wiel fir Iessen oder Kokainbelounung a fir bedingt Angschtreaktiounen [9].
Figure 1
Phasesch Aktivatiounen vun neurophysiologeschen Impulsaktivitéit vun Dopamin Neuronen. A: Phasesch Aktivatiounen no primäre Belounungen. B: Phasesch Aktivatiounen no bedingter, Belounung virausgesot Reizen. C: Top: Mangel u phasesch Aktivatioun no der Primärschoul (méi ...)
Belounung Prognosen Feeler Coding
D'Dopamine Äntwert op d'Belounungsliwwerung schéngt e Prognosenfehler ze codéieren; eng Belounung déi besser ass wéi virausgesot ervirhëlt eng Aktivéierung (positiven Prognosenfehler), eng voll virausgesot Belounung zitt keng Äntwert an eng Belounung déi méi schlecht ass wéi virausgesot induzéiert eng Depressioun (negativ Feeler) [13-24]. Sou implementéiert d'Dopamin-Äntwert voll de entscheedende Begrëff vum Rescorla-Wagner Léiermodell a gläicht ganz mam Léierssignal vun effizienten temporalen Ënnerscheed Verstäerkung Léiermodeller [6,23].
D'Feeler Äntwert variéiert quantitativ mam Ënnerscheed tëscht dem empfangen Belounungswäert an dem erwaarten Belounungswäert [18-23]. De Prognosen Feeler Äntwert ass empfindlech op d'Zäit vun der Belounung; eng verspéit Belounung induzéiert eng Depressioun zu hirer ursprénglecher Zäit an eng Aktivatioun zu senger neier Zäit [24,25]. De kwantitativen Feeler Kodéierung ass evident fir Aktivatiounen, déi positiv Prognosenfehler reflektéieren. Am Géigesaz, weist d'Depressioun mat negativ Prognosenfehler natierlech eng méi schmuel dynamesch Palette, well neuronal Aktivitéit net ënner Null falen kann, an entspriechend quantitativ Bewäertung erfuerdert d'voll Period vun der Depressioun ze berücksichtegen [26].
Also äntweren Dopamin Neuronen op Belounung nëmmen an der Mooss wéi se vun der Predictioun ënnerscheet. Wéi d'Prognose aus enger fréier erfuerter Belounung entsteet, ginn Dopaminneuronen just ageschalt wann déi aktuell Belounung besser ass wéi déi virdru Belounung. Déiselwecht Belounung erëm aktivéiert Dopamin Neuronen net. Wann d'Aktivatioun vun Dopamin Neuronen e positiven verstärkende Effekt op de Verhalen huet, nëmmen erhéijen Erléisungen dauernd Verstäerkung iwwer dopaminerg Mechanismen. Dëst kann ee Grond sinn, firwat konstant, onverännerlech Beloununge schéngen hiren stimuléierende Afloss ze verléieren a firwat mir ëmmer méi Belounung brauchen.
Streng Tester fir Belounungsprognose Fehlerkodéierung
Déieren Léiertheorie huet formell Paradigme fir Testprognosen Prognosenfehler entwéckelt. Am Blockéierungstest [7], e Stimulus dee gepaart ass mat enger ganz virgeschriwwener Belounung kann net geléiert ginn an doduerch net e gültege Belounungsprediktor ginn. D'Feele vu Belounung nom blockéierte Stimulus enthält kee Prognosenfehler a féiert net zu enger Äntwert bei Dopamin Neuronen, och no extensivem Stimulus-Belounungspaar [27]. Am Géigesaz ass d'Liwwerung vun enger Belounung no engem blockéierte Stimulus e positiven Prévisiounsfeeler an entspriechend eng Dopaminaktivéierung.
De bedingtem Inhibitiounsparadigma [28] bitt en zousätzleche Test fir Prognosenfehler. An der Aufgab, déi an eisen Experimenter benotzt gëtt, gëtt en Teststimulus gläichzäiteg mat enger etabléierter Belounung préviséierend Stimulus presentéiert, awer keng Belounung gëtt nom Verbindung gegeben, wouduerch den Teststimulum e Virgänger fir d'Feele vu Belounung ass. Belounung Ofdreiwung no sou engem bedingten Inhibitor enthält keen negativen Predictiounsfehler an entsprécht deemno eng Depressioun bei Dopaminneuronen [29]. Am Géigesaz, d'Liwwerung vun enger Belounung nom Inhibitor produzéiert e staarken positiven Prognostiksfehler an deementspriechend eng staark Dopamin Aktivéierung.
D'Resultater vun dësen zwee formellen Tester bestätegen datt Dopamin Neuronen bidirektional Kodéierung vu Belounungsprognosfehler weisen.
Adaptiven Belounung Prognosen Feeler Coding
An engem allgemenge Sënn, e Belounungsprognosen stimulus spezifizéiert de Wäert vun der zukünfteger Belounung andeems hien iwwer d'Wahrscheinlechkeet Verdeelung vun de Belounungswerter informéiert. Sou gëtt de Stimulus den erwaarten Wäert (éischten Moment) an (erwaart) Varianz (zweete Moment) oder Standarddeviatioun vun der Verdeelung ugewisen.
D'Dopaminwäertung Prognosen Feeler Äntwert ass empfindlech fir béid éischten wéi och zweete Moment vun der virausgesater Belounungsverdeelung op zwou Sekonnen nom Stimulus. An engem Experiment kënne verschidde visuell Stimulatioune spezifesch binär Wahrscheinlechkeetsverdeelunge vun equipéierbare Belounungsgréissten mat verschiddene erwaart Wäerter a Varianzen virauszesoen. Wéi de Predictiounsfehlerreaktioun den Ënnerscheed tëscht dem gewonnenen an erwaartene Belounungswäert reflektéiert, entsteet déi identesch Gréisst vun der opgeholl Belounung entweder eng Erhéijung oder Ofsenkung vun der Dopaminaktivitéit ofhängeg ob dës Belounung méi grouss oder méi kleng ass wéi seng Prognose, respektiv [23]. Dëst Resultat hindeit datt Wäertprévisiounsfeeler Kodéierung Informatioun relativ zu enger Referenz oder Ankerwäert bitt.
D'Dopamin Kodéierung vum Belounungswäerten Prognosen Feeler passt sech un d'Variatioun oder Standarddeviatioun vun der Verdeelung un. An enger binärer Verdeelung vun equipéierbaren Belounungen, huet d'Liwwerung vun der Belounung mat der méi grousser Magnitude bannent all Verdeelung déiselwecht Dopamin Aktivéierung mat all Verdeelung zougelooss, trotz 10 Fold Differenzen tëscht der krittter Belounungsgréissten (an déi resultéierend Wäertpredictiounsfehler) [23]. Numeresch Berechnunge weisen datt d'Dopamin-Äntwert de Wäertprediktiounsfehler gedeelt duerch de Standarddeviatioun vun der virausgesater Verdeelung huet. Dëst koum zu enger effektiver Normaliséierung oder Skala vum Wäertprévisiounsfeeler Äntwert am Sënn vu Standarddeviatioun, wat beweist wéi vill den erzielte Belounungswäert vun der erwaarten Wäert an Eenheeten der Standarddeviatioun ënnerscheet. Theoretesch Iwwerleeungen suggeréieren datt Fehler Léier Signaler, déi duerch Varianz oder Standarddeviatioun scaléiert ginn anstatt mëttler, kënne stabil Léiere vermëttelen, déi resistent géint de virausgesotene Risiko vu Resultater [30].
Dopamin Äntwert op Belounung vun Viraussetzungen
Dopamine Neuronen weisen Aktivéierungen ('Excitatiounen') no Belounung virauszegesi visuell, auditiv an somatosensoresch Reizen (Figure (Figure1B) 1B) [31-33]. D'Äntwerte geschéien onofhängeg vun de sensoresche Modalitéiten a raimleche Positioune vun de Reizen, an onofhängeg vun den Effekter déi Aarm-, Mond- oder Aenbewegunge sinn.
D'Aktivatiounen erhéijen monoton mat Belounungswahrscheinlechkeet [18] a Belounungsgréisst, sou wéi Flëssegkeet [23]. Wéi och ëmmer, d'Dopaminreaktiounen z'ënnerscheeden net tëscht Belounungswahrscheinlechkeet a Magnitude soulaang de erwaartene Wäert identesch ass [23]. Also schéngen d'Aktivatiounen de erwaartene Wäert vu virausgesatenen Belounungsschwieregkeeten Verdeelunge ze codéieren. Erwaart Wäert ass déi méi parsimonesch Erklärung, an de Geräischer an den neuronalen Äntwerte verhënnert eng Karakteriséierung a punkto erwaart (subjektiv) Nëtzlechkeet. Notéiert datt de temporäre Discounting hei ënnen beschriwwen subjektiv Kodéierung weist a vläicht e bësse Liicht op d'Thema gëtt.
D'Reaktiounsgréisst klëmmt mat der Verloschter vun der Verhalensreaktiounszäit, wat beweist datt d'Dopamin Äntwert empfindlech ass fir d'Motivatioun vum Déier [19]. A Choixen tëscht verschiddene Belounungswäerter oder Verspéidunge reflektéieren d'Dopamine Äntwerten op d'Presentatioun vu Choixoptiounen d'Déier zukünfteg gewielte Belounung [34] oder déi héchst méiglech Belounung vun zwou verfügbare Wieloptiounen [35].
Am Laf vum Léieren fällt d'Dopamin Aktivéierung zur Belounung lues a lues erof wéinst successive Léierstudien, an eng Aktivatioun fir d'Belounung déi Prévisiounsstimulatioun gläichzäiteg entwéckelt [36,37]. D'Acquisitioun vu bedingt z'äntwerten ass empfindlech fir ze blockéieren, wat beweist datt Prädiktonfehler eng Roll bei der Acquisitioun vun Dopaminreaktiounen op bedingte Stimuli [27] spillen. D'Äntwerttransfer fir Belounung vun der Prévisiounsstimulatioun entsprécht den Haaptcharakteristike vu Léierssignaler vun effizienten temporalen Ënnerscheed Verstäerkungsmodeller [38]. D'Äntwert Shift involvéiert net déi Réckpropagatioun vu Prognosenfehler iwwer dem Stimulus-Belounungsintervall vu fréiere temporalen Differenzmodeller [27,38], awer ass am originelle temporalen Differenzmodell reproduzéiert an an den originelle a méi rezenten temporalen Differenzimplementatiounen [6,37,39].
Subjektiv Belounungswäertekodéierung gëtt mat der temporärer Remise gewisen
Déi objektiv Miessung vu subjektivem Belounungswäert duerch Wielepräferenze weist datt Belounungen e puer vun hirem Wäert verléieren wa se verspéit sinn. Iwwerhaapt, Ratten, Dauwen, Affen a Mënschen léiwer dacks méi kleng Belounungen iwwer méi spéit méi grouss Belounungen [40-42]. Also schéngt de subjektiven Wäert vun der Belounung mat erhöhenden Zäitverzögerungen ze verschwannen, och wann déi kierperlech Belounung, an domat den objektiven Belounungswäert, d'selwecht ass.
Psychometresch Moossnamen vu intertemporal Verhalenswahlen tëscht méi fréi a spéider Belounungen upassen d'Gréisst vun der fréier Belounung bis op d'Optriede vu Wieler Indifferenz, definéiert wéi d'Wahrscheinlechkeet fir all Optioun ze wielen mat p = 0.5. Also, eng méi niddereg fréi Belounung bei der Auswiel indifferenz weist e méi niddrege subjektiven Wäert vun der spéiderer Belounung. An eisem kierzlechen Experiment op Affen, wielt Indifferenzwäerter fir Belounungen, déi vu 4, 8 an 16 s verspéit sinn monotonesch ëm ongeféier 25%, 50% a 75%, respektiv am Verglach mat enger Belounung nom 2 s [43]. De Réckgang passt eng hyperbolesch Rabattfunktioun.
D'Dopamine-Äntwerte fir d'Belounung vun der Prévisiounsstimulatioun reduzéiert monotonesch iwwer Belounungsverzögerunge vun 2 op 16 s [25,43], trotz der selwechter kierperlecher Quantitéit vun der Belounung, déi no all Verspéidung geliwwert gouf. Dës Donnéeën hindeit datt temporär Verzögerungen d'Dopaminreaktiounen beaflossen fir Prévisiounsstimulatiounen op eng ähnlech Manéier ze belounen wéi se de subjektiven Belounungswäert beurteelen, deen duerch intertemporal Wiel entscheet gëtt. Interessant ass d'Reduktioun vun der Dopamin-Äntwert mat Belounungsverzögerung indistiguishéierbar vun der Äntwert-Ofsenkung mat enger méi niddereger Belounungsgréisst. Dës Ähnlechkeet hindeit datt temporär Verzögerungen Dopaminreaktiounen iwwer Ännerungen am Belounungswäert beaflossen. Also, fir Dopamin Neuronen, verschécke Beloununge schéngen wéi wann se méi kleng wieren.
Also schéngt d'Dopaminneuronen de subjektiven anstatt de kierperlechen, objektiven Wäert vu verspéiten Belounungen ze codéieren. Well dat Utility eng Moossnam ass fir den subjektiven an net objektiven Wäert vun der Belounung, kann d'Äntwert erofgaang mat der temporärer Diskonzéierung datt den Dopamin-Neuronen Code belount als (subjektiv) Notzen anstatt als (objektiven) Wäert. Weider Experimenter kënnen hëllefen d'Utilitéitskodéierung méi direkt ze testen.
Dopamin Äntwert op aversive Reizen
Aversive Reizen wéi Loftpuffer, hypertonesch Salzlage an Elektroschock induzéieren aktivéierend ('excitatoresch') Äntwerten an engem klengen Deel vun Dopamin Neuronen an waakreg Déieren (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), an d'Majoritéit vun den Dopamin Neuronen sinn entweder an hirer Aktivitéit depriméiert oder net vun aversiven Eventer beaflosst (Figure (Figure1C1C uewen). Am Géigesaz zu Belounungen indirekt Loftpuffen net bidirektional Prediction Feeler Äntwerte typesch fir Belounung ; Prediction moduléiert nëmmen aversiv Aktivatiounen [45,46].
Aversiv Stimulatioun bei anästheséierte Déieren produzéiert variéiert awer dacks niddreg Grad vu meeschtens méi lues, aktivéiert Äntwerte (50% [47]; 18% [48]; 17% [49]; 14% [50]) an dacks Depressiounen vun der Aktivitéit. Neurophysiologesch nei Ënnersichunge mat besserer Identifikatioun vun dopamin Neuronen bestätegt d'allgemeng niddreg Inzidenz vun aversiven Dopamin Aktivatiounen bei anästheséierten Déieren [51] a lokaliséiert aversiv z'äntwerten Dopamin Neuronen an der ventromedialer tegmentaler Regioun vum Midbrain [52].
Kondéiert, Loftpuff, déi Reizungen stimuléieren an erwächtlech Aaffen, brénge Aktivatiounen an der Minoritéit vun Dopamin Neuronen, an Depressiounen an enger méi grousser Fraktioun vun Dopamin Neuronen (11% [33]; 13% [45]; 37% [46]). D'Depressant Äntwerte annuléieren déi puer Aktivatiounen an averaged Populatiounsreaktiounen vun Dopamin Neuronen op aversive Stimuli [33] (kuck Fig. Figure1C1C ënnen, schwaarz). An enger Etude huet de konditionéierten aversive Stimulus méi Neuronen aktivéiert wéi d'Loftpuff selwer (37% vs. 11% [46]), och wann e bedingte Stimulus manner aversiv ass wéi déi primär aversive Eventer déi se virauszegesinn, sou wéi eng Loftpuff. Déi méi héijer Zuel vun Aktivatiounen zum bedingte Stimulatioun am Verglach zum Loftpuff proposéiert eng inverse Relatioun tëscht Aversitéit an Aktivéierung (wat méi aversiv de Stimulus, desto manner dacks d'Aktivatioun) oder en zousätzlechen, net aversive Stimulatiounskomponent verantwortlech fir den Undeel vun der Aktivéiert ze erhéijen Neuronen vun 11% bis 37%. Och wann d'Simulatiounsaktivatiounen sech positiv mat der Loftschlaufschwieregkeet an der Bevëlkerung korreléiert hunn, goufen se net an eenzel Neuronen [46] bewäert. Eng Populatiounskorrelatioun kann aus enger relativ klenger Zuel vu positivt korreléierte Neuronen bannent där Populatioun entstoen, an déi wierklech aversive Stimuléierungsaktivatiounen kéinten méi no un 11% wéi 37% sinn. An enger anerer Studie hu grouss Proportiounen vun Dopamin Neuronen phasesch Aktivatiounen u bedingte aversive Reizen gewisen, wann dës an enger zoufälleger Ofwiesslung mat Belounung virgestallt ginn, déi d'Simulatioune vun der selwechter sensorescher Modalitéit virstellen (Fig .1C1C ënnen, gro) (65% [33]); ware vill manner dacks wann déi zwou Zorte vu bedingte Stimulioune verschidde sensoresch Modalitéite haten (Fig .1C1C ënnen, schwaarz) (11%). Am nächste Kapitel diskutéiere mir iwwer d'Faktoren déi méiglecherweis ënnert dësen onerklärten Aktivatiounen zu aversiven an aneren, onerklärten Reizen stimuléieren.
Och wann e puer Dopamin Neuronen duerch aversive Eventer aktivéiert ginn, ass déi gréissten Dopamin Aktivatioun am Zesummenhang mat Belounung. Daten, déi mat anere Methoden kritt goufen, féieren zu ähnleche Konklusiounen. Fast Scan Voltammetrie bei behuelen vun Ratten weist striatal Dopamin Verëffentlechung induzéiert duerch Belounung an e Verréckelung fir Prévisiounsstimulatiounen no der Bedingung [53] ze belounen, wat suggeréiert datt Impulsreaktiounen vun Dopamin Neuronen féieren zur entspriechender Dopamin Verëffentlechung vu striatal Varicositéiten. D'Dopamine Erhéijung dauert nëmmen e puer Sekonnen an huet domat de kürzeste Zäitverlaf vun all neurochemesche Methode, am nootste mat der elektrophysiologescher Aktivéierung. D'Dopamin Verëffentlechung ass differentiell fir d'Belounung (Succose) a scheitert mat Strof (Kinin) [54]. Wéi d'Voltammetrie lokal Duerchschnëtter vun der Dopamin Konzentratioun beurteelt, kéint d'Feele vu moossbarer Verëffentlechung mat Kinin e puer Aktivatiounen verstoppen, déi duerch Depressiounen an der Dopamin Bevëlkerungsreaktioun annuléiert goufen [33]. Studien déi ganz empfindlech in vivo Mikrodialyse benotzen, entdecken Dopamin Verëffentlechung no aversive Stimuli [55].
Dës Äntwert kann eng Dopaminverännerung reflektéieren induzéiert vun e puer Neuronen aktivéiert duerch aversive Stimuli, obwuel d'Zäitkurs vu Mikrodialysemiessungen ongeféier 300-500 Mol méi lues ass wéi d'Impulsreaktioun a ka genuch sinn fir presynaptesch Interaktiounen ze erlaben fir d'Dopamin Fräiloossung ze beaflossen [56] An. Stéierung vun Burstfeier vun Dopamin Neuronen stéiert verschidde appetitlech Léieraufgaben awer fäert och Konditioun [9]. D'Resultat kéint eng Léierfunktioun vu aversive Dopaminreaktiounen proposéieren, wann den onspezifeschen, allgemenge desaktivéierende Effekt vun enger niddereger Dopamin Konzentratioun ausgeschloss gëtt, wat bleift ze weisen. Déi spezifesch Stimulatioun vun Dopamin Neuronen duerch optogenetesch Methoden iwwer genetesch agebonne Channelrhodopsin induzéiert Pavlovian Plazpräferenzkonditionéierung bei Mais [57]. Am Géigesaz, hätt en netto aversive Effekt vun Dopamin Stimulatioun denkbar Plazvermeidungsléiere produzéiert. Dës Resultater bestätegen d'Notioun vun enger globaler positiver Verstäerkung Funktioun vun Dopamin Systemer ofgeleet vu fréiere lesioning, elektresch Selbstimulatioun an Drogenofhängeger Aarbecht [1,2]. Wéi och ëmmer, dës Argumenter postuléieren weder datt d'Belounung déi eenzeg Funktioun vun Dopamin Systemer ass oder datt all Belounungsfunktiounen Dopamin Neuronen involvéieren.
Phasesch Dopamin Aktivatiounen net belount codéieren
Stimuli kënne alarméierend an opmierksam Reaktiounen induzéieren wann se kierperlech wichteg sinn (kierperlech Gewëssheet) oder wa se mat Verstärker bezunn sinn ('motivational' oder 'affektiv' Salience). Verhalensreaktiounen op markant Reizen ginn duerch d'kierperlech Intensitéit vun de Reizen an de Wäert vum Verstärker gradéiert. Kierperlech Gewëssheet hänkt guer net vu Verstäerkung of, a motivéierend Gewëssheet hänkt net vun der Valence vun de Verstärker of (Belounung a Bestrofung).
Äntwerten op kierperlech bemierkenswäerte Reizen
Kierperlech intensiv visuell an auditiv Reizen stimuléieren Aktivatiounen an Dopamin Neuronen (Figure (Figure1D) .1D). Dës Äntwerte ginn duerch Stimulatioun Neiheet [58-60] verbessert awer bestänneg op engem nidderegen Niveau fir e puer Méint virausgesat datt d'Strimis genuch kierperlech intensiv sinn. D'Äntwerten ginn no der Gréisst vun de Reizen gesuergt (Fig. 4 a [15]). Physesch Salience kéint och deelweis Äntwerte fir primär Strofe mat wesentlecher kierperlecher Intensitéit erklären [45]. Dës Äntwerte kënnen eng separat Zort vun Dopaminrespons eng Relatioun mat der kierperlecher Salzegkeet vun der Opmierksamkeet induzéiere Ëmweltstimuli ausmaachen, oder se kënne mat de positiven motivéierenden a Verstäerkende Attributer vun intensiven an neie Reizen verbonne sinn.
D'Aktivatiounen zu kierperlech bemierkenswäerte Reizen schéngen net eng allgemeng Tendenz vun Dopamin Neuronen ze reflektéieren duerch all Opmierksamkeet generéierend Event aktivéiert ze ginn. Besonnesch aner staark Opmierksamkeet generéierend Eventer wéi Belounungsëmlaf, bedingt Inhibitoren an aversive Reizen stimuléieren haaptsächlech Depressiounen a selten echt Dopamin Aktivatiounen [14,29]. Also dopamin Aktivéierung duerch kierperlech bemierkenswäerte Reizen kann net eng allgemeng alarméierend Äntwert ausmaachen. D'Belounungsreaktioun besteet méiglecherweis eng separat Äntwert déi vläicht net d'Opmierksamkeet reflektéiert duerch d'Motivatiounsgehalt vun der Belounung.
Aner net-belount Kodéierungsaktivatiounen
Aner Reizen stimuléieren Aktivatiounen an Dopamin Neuronen ouni offensichtlech Kodéierung vum Belounungswäert. Dës Aktivatiounen si méi kleng a méi kuerz wéi d'Äntwerten op d'Virbezuelung vun stimuli a ginn dacks vun Depressioun gefollegt wann d'Simulien net ausgezeechent ginn (Figure (Figure1E1E).
Dopamin Neuronen weisen Aktivatiounen no Kontrollstimuli déi an der Pseudorandom Alternatioun mat belount Reimi présentéiert ginn [27,29,32]. D’Inzidenz vun Aktivatiounen hänkt vun der Unzuel vun alternativen, belountene Reizen an der Verhalensaufgab of; Aktivatiounen sinn heefeg wann dräi vu véier Aufgabestimulatioune belount ginn (25% -63% [27]) a ginn seelen wann nëmmen ee vu véier Aufgabestimulatioune weiderginn (1% [29]). Dës Ofhängegkeet argumentéiert géint eng reng sensoresch Natur vun der Äntwert.
Dopamin Neuronen weisen eng zimlech stereotyp typesch Aktivéierungskomponent fir Stimuli ze prediéieren Belounungen, déi no verschiddene Verspéidungen optrieden [43]. Déi initial Aktivatioun variéiert ganz wéineg mat Belounungsverzögerung, an domat schéngt de Belounungswäert net ze codéieren. Am Géigesaz ass d'spéider Äntwertskomponent ofgeholl mat ëmmer méi Verspéidungen an doduerch Coden (subjektiv) Belounungswäert (kuckt hei uewen).
Dopamin Neuronen weisen heefeg Aktivatiounen no bedingtem aversive Reizen stimuléiert an zoufälleger Ofwiesslung mat Belounung, déi d'Simulatioun préviséiert; d'Aktivatiounen verschwannen haaptsächlech wann verschidde sensoresch Modalitéite benotzt ginn (65% vs. 11% vun Neuronen [33]), wat suggeréiert datt Kodéierung vun net aversiven Stimulatiounskomponenten ass. Och wann aversiv an appetitlech Reizen un verschidden Testblocks getrennt sinn, ginn dopamin Neuronen bedeitend aktivéiert duerch bedingt aversive Reizen. Wéi och ëmmer, déi méi heefeg Aktivatiounen zu de bedingten Reizen am Verglach zum méi aversive primäre Loftpuff (37% vs. 11% [46]) proposéiert eng inverse Relatioun zu der aversivitéit vun de Reizen a méiglecherweis net aversive Äntwertskomponenten.
D'Grënn fir dës verschidden Dopamin Aktivatiounen kéinten am Generaliséierung, der Pseudokonditionéierung oder der Motivatiounsstimulanzitéit leien. Generaliséierung entstinn duerch Ähnlechkeeten tëscht Reizen. Et kann dopamin Aktivatiounen an enger Rei vu Situatiounen erklären, nämlech d'Aktivatiounen zu onbezuelten visuellen Reizen wann dës alternéiere mat Belounung déi visuell Stimuli virausgesot (Figure (Figure1E1E lénks) [27,29,32] an den initialen, schlecht graded Aktivéierungskomponent fir Belounung ze verspriechen déi d'Spriiung vu Viraussoen (Fig. (Figure1E1E richteg) [43]. Generaliséierung kéint eng Roll spillen wann Stimulatioune mat verschiddene sensoresche Modalitéite manner Dopamin Aktivatioune produzéieren zu onverbezuelten Reizen wéi Stimuli mat déiselwechte Modalitéite, wéi gesi mat visueller aversiver an auditive Appetitivstimuli (Fig. (Figure1C1C ënnen) [33] An.
Pseudokonditionéiere kann entstoen wann e primäre Verstärker e kontextuellen Hannergrond setzt an onspezifesch Verhalensreaktiounen op Eventer an dësem Kontext provozéiert [61]. Als Dopamin Neuronen si ganz empfindlech op d'Belounung, e belountende Kontext kéint pseudokonditionéiere fir Stimuli an dësem Kontext ze induzéieren an dofir eng neuronal Aktivatioun. Dëse Mechanismus kann neuronal Aktivatiounen ënnersträichen zu net-belountende Reizen, déi an engem belounende Kontext stattfannen, sou zum Beispill de Laboratoire an deem en Déier deeglech Beloununge kritt, onofhängeg vun de Reizen, déi an zoufälleger Ofwiesslung mat belountem Stimuli presentéiert ginn oder an eenzelen Testblocken [46]. Pseudoconditioning kann Aktivatiounen erkläre fir unrewarded Kontrollstimuli [27,29,32], déi meescht Aktivatiounen no aversive Stimuli [33,45,46] an den initialen, schlecht graded Aktivéierungskomponent fir Belounung ze verspriechen, stimuli [43]. Also Pseudokonditionéierung kann aus der primärer Belounung stattfannen anstatt e bedingte Stimulus a betreffen dopamin Aktivatiounen op béid bedingte Reizen a primäre Verstärker, déi an engem belountende Kontext optrieden.
Obwuel Stimuli mat wesentleche kierperlecht Geescht schénge fir Dopamin Neuronen ze féieren [15,58-60] (kuckt hei uewen), sinn d'Simuli, déi net belounend kodéierend Dopamin Aktivatiounen induzéieren, dacks kleng a net kierperlech ganz salient. Motivational Salience ass per Definitioun gemeinsam fir Belounungen a Punishers an eleng kéint d'Aktivatiounen erklären fir souwuel d'Belounung wéi d'Strof an 10-20% vun Dopamin Neuronen. Net-stärkende Reizen kann motivéierend duerch hir Proximitéit zu Belounung a Bestrofung duerch Pseudokonditionéierung ginn. Wéi och ëmmer, schéngt Dopamin Aktivatiounen wäit méi empfindlech op d'Belounung wéi Strof. Wéi motivational Salience Empfindlechkeet fir béid Verstäerker involvéiert ass, motivational Salience, déi duerch Pseudokonditionéierung erzielt goufen, erkläert vläicht net déi net-belount kodéierend Dopamin Aktivatiounen.
Zesummegefaasst, vill vun den net-belounende kodéierende Dopamin Aktivatiounen kéinte wéinst Stimulatioun generaliséierung oder besonnesch Pseudokonditionéierung. Trotzdem schéngt et richteg Aktivatiounen ze bleiwen un onvermëttelt Kontrollstimuli an zu primären a bedingten aversive Reizen an engem limitéierten Undeel vun Dopamin Neuronen wann dës Faktoren ausgeschloss sinn. Weider Experimenter, déi esou Äntwerte beurteelen, sollten besser Kontrollen benotzen an all kontextuell Belounungsassociatioune mat Reizen am Labo komplett eliminéieren.
Wéinst der Optriede vun net-Belounungskodéierungsaktivatiounen ass et raisonnabel ze froen wéi en Déier d'Belounung vun onbezuelten Reizen op Basis vun enger Dopamin-Äntwert ënnerscheet. Déi ganz séier, initial, pseudokonditionéiert a schlecht diskriminéierend Äntwertskomponent kéint e temporalen Bonus bidden fir séier, Standard Verhalensreaktiounen ze facilitéieren, déi d'Déier hëllefen, ganz séier eng potenziell Belounung [62] z'entdecken. Par contre entdeckt déi direkt folgend Äntwertskomponent déi richteg Natur vum Event duerch seng graded Aktivéierung mam Belounungswäert [43] a seng dacks Depressioun mat onbezuelten an aversiven Reizen [27,29,32,33] (Figure (Figure1E) .1E). Ausserdeem ass den Dopaminsystem net déi eenzeg Gehirerstruktur, déi d'Belounung kodéiert, an aner neuronal Systemer wéi den orbitofrontale Cortex, striatum an amygdala kënnen zousätzlech diskriminéierend Informatioune liwweren.
Dopamin Belounung Risiko Signal
Wann e Belounungssignal de mëttlere Belounungsprediktiounsfehler reflektéiert, dee scaléiert gëtt vun der Standarddeviatioun vun der Belounungsprobabilitéitsverdeelung, a wa mir Standarddeviatioun als eng Moossnam vu Risiko ugesinn, da kann et en direkten neuronale Signal fir Risiko sinn? Wann d'Belounungsschwieregkeeten tëscht 0 an 1 variéieren an d'Belounungsgréisst konstant bleift, hëlt de mëttlere Belounungswäert monotonesch mat Probabilitéit erop, woubäi de Betrag vum Risiko eng ëmgedréit U-Funktioun follegt bei engem p = 0.5 (Fig. (Fig .2,2, Inset)). 0.5, do ass genau sou vill Chance fir eng Belounung ze kréien wéi et ass eng Belounung ze verpassen, wärend méi héich a méi niddereg Probabilitéite wéi p = 0.5 d'Gewënn an d'Verloschter méi gewëssen maachen, respektiv, an dofir mat engem nidderegen Risiko verbonne sinn.
Figure 2
Nohalteg Aktivatiounen am Zesummenhang mam Risiko. D'Risikoreaktioun trëtt wärend dem Reiz-Belounungsintervall (Pfeil) duerno op der phasescher, wärterelaterter Aktivatioun zum Reiz (Dräieck) op. Den Inset, uewe riets, weist datt de Risiko (ordinéieren) variéiert jee no (méi ...)
Ongeféier een Drëttel vun Dopamin Neuronen weisen eng relativ lues, moderéiert, statistesch bedeitend Aktivatioun déi lues eropgeet während dem Intervall tëscht der Belounung, déi de Reiz préviséiert an d'Belounung; Dës Äntwert variéiert monoton mat Risiko (Figure (Figure2) 2) [18]. D'Aktivéierung geschitt an eenzelne Studien a schénge keng Prediktiounsfehlerrespons z'erreechen, déi zréck aus der Belounung op d'Belounung viraussiichtlech Stimulatioun propagéiert. D'Aktivatioun erhéicht monotonesch och mat Standarddeviatioun oder Varianz, wann binär Distributioune vu verschiddenen equiprobabele, net-Null Belounungsgréissten benotzt ginn. Also, Standarddeviatioun oder Varianz schénge liewensfäeg Moossname fir Risiko wéi kodéiert vun Dopamin Neuronen. Risiko-verwandte Aktivatiounen hu méi laang latencies (ongeféier 1 s), méi lues Zäitcoursen a méi niddreg Peaks am Verglach mat de Belounungswäerter Äntwerten op Reizen a Belounung.
Wéinst senger niddereger Hellegkeet ass de Risikosignal méiglecherweis eng niddereg Dopamin Verëffentlechung bei Dopamin Varikositéiten ze induzéieren am Verglach zu de méi phasic Aktivatiounen, déi de Belounungswert codéieren. Déi relativ niddreg Dopamin Konzentratioun méiglecherweis duerch den Risikosignal induzéiert kéint d'D2 Rezeptoren aktivéieren déi meeschtens an engem héigen Affinitéitstat sinn awer net déi niddreg Affinitéit D1 Rezeptoren [63]. Am Géigesaz, kéint déi méi héicht phasesch Belounungswert Äntwert zu méi Dopamin Konzentratioune féieren genuch fir kuerz d'D1 Rezeptoren an hirem meeschtens nidderegen Affinitéit Staat ze aktivéieren. Sou kënnen déi zwee Signaler vun postsynapteschen Neuronen op Basis vun den verschiddenen Dopamin Rezeptoren ënnerscheet ginn. Zousätzlech géif d'Dopaminwäert a Risikosignaler zesummen zu bal simultan Aktivatioun vu béiden D1 an D2 Rezeptoren féieren, déi a ville normalen a klineschen Situatiounen wesentlech fir adäquat Dopamin ofhängeg Funktiounen sinn.
En Dopamin Risikosignal kann e puer Funktiounen hunn. Als éischt konnt et d'Skaléierung vun der direkt folgender Prognosenfehlerreaktioun duerch Standarddeviatioun direkt no der Belounung [23] beaflossen. Zweetens, et kann d'Dopamin Verëffentlechung verbesseren, déi duerch déi direkt folgend Predictiounsfehler-Äntwert induzéiert gëtt. Zënter Risiko induzéiert Opmierksamkeet, d'Vergréisserung vun engem potenziellen Unterrechtssignal duerch Risiko wier kompatibel mat der Roll vun der Opmierksamkeet am Léieren no den Associatiounsléiere Theorien [64,65]. Drëttens, et kéint en Input fir Gehirstrukturen ubidden, déi an der Bewäertung vum Belounungsrisiko per se involvéiert sinn. Véiert, et kann et mat engem wirtschaftlechen erwaartene Wäertsignal kombinéiere fir bedeitend Informatioun iwwer d'erwaart Nëtzegkeet bei risikosensitive Persounen no der mëttlerer Varianz Approche an der Finanzentscheedungstheorie [66] ze vertrieden. Wéi och ëmmer, d'Latenszäit vun ongeféier 1 s ass ze laang fir d'Signal eng direkt Roll bei de Wieler ënner Onsécherheet ze spillen.
Interessant Gespréicher
Den Autor erkläert datt hien keng konkurrenz Interessen huet.
Authairen
WS huet de Pabeier geschriwwen.
Dankbarkeet
Dës Iwwerpréiwung gouf geschriwwen an der Geleeënheet vum Symposium iwwer Attention Deficit Hyperactivity Disorder (ADHD) zu Oslo, Norwegen, Februar 2010. Eis Aarbecht gouf ënnerstëtzt vum Wellcome Trust, Swiss National Science Foundation, Human Frontiers Science Program an aner Subventiounen a Gemeinschaftsagenturen.
Referenze
1. Wise RA, Rompre PP. Gehir Dopamin a Belounung. Ann Rev Psychol. 1989; 40: 191 – 225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Neurale Systemer vu Verstäerkung fir Drogenofhängegkeet: vun Aktiounen zu Gewunnechten bis zur Zwang. Nat Neurosci. 2005; 8: 1481 – 1489. doi: 10.1038 / nn1579. [PubMed] [Kräiz Ref]
3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Papers Imp. Acad. Sci. St. Petersburg) 1738; 5: 175 – 192. Iwwersat als: Expositioun vun enger neier Theorie iwwer d'Miessung vum Risiko. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Prognostesch Kodéierung an der visueller Cortex: eng funktionell Interpretatioun vun e puer extra-klassesche receptive Feld Effekter. Nat Neurosci. 1999; 2: 79 – 87. doi: 10.1038 / 4580. [PubMed] [Kräiz Ref]
5. Rescorla RA, Wagner AR. In: Klassesch Bedéngungen II: Aktuell Fuerschung an Theorie. Black AH, Prokasy WF, Editeur. New York: Appleton Century Crofts; 1972. Eng Theorie vun der Pavlovescher Konditioun: Variatiounen an der Effektivitéit vun der Verstäerkung an der Net-Verstäerkung; pp. 64 – 99.
6. De Sutton RS, Barto AG. Richtung enger moderner Theorie vun adaptiven Netzwierker: Erwaardung a Prognose. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]
7. Kamin LJ. In: Fundamental Themen am Instrumental Léieren. Mackintosh NJ, Honig WK, Editeur. Halifax: Dalhousie University Press; 1969. Selektiv Associatioun a Konditioun; pp. 42 – 64.
8. Blythe SN, Atherton JF, Bevan MD. Synaptesch Aktivatioun vun dendriteschen AMPA an NMDA Rezeptoren generéiert transient Héichfrequenzstierwen an substantia nigra Dopamin Neuronen in vitro. J Neurophysiol. 2007; 97: 2837 – 2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]
9. Zweifel LS, Parker JG, Lobb CJ, Reewaasser A, Wand VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Stéierung vun NMDAR-ofhängeg Burstbrennung duerch Dopamin Neuronen bitt eng selektiv Bewäertung vu phasesch Dopamin-ofhängeg Verhalen. Proc Natl Acad Sci. 2009; 106: 7281 – 7288. doi: 10.1073 / pnas.0813415106. [PMC gratis Artikel] [PubMed] [Cross Ref]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Burst-Timing-Dependent Plasticity of NMDA Receptor-Mediated Transmission in Midbrain Dopamine Neurons. Neuron. 2009; 62: 826 – 838. doi: 10.1016 / j.neuron.2009.05.011. [PMC gratis Artikel] [PubMed] [Cross Ref]
11. Jones S, Bonci A. Synaptesch Plastizitéit an Drogenofhängegkeet. Curr Opin Pharmacol. 2005; 5: 20 – 25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]
12. Kauer JA, Malenka RC. Synaptesch Plastizitéit an Sucht. Nat Rev Neurosci. 2007; 8: 844 – 858. doi: 10.1038 / nrn2234. [PubMed] [Kräiz Ref]
13. Ljungberg T, Apicella P, Schultz W. Äntwerte vun de Monkey Midbrain Dopamin Neuronen wärend verspéiten Alternéierungsperformance. Gehir Res. 1991; 586: 337 – 341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz W, Apicella P, Ljungberg T. Äntwerte vun de Monkey Dopamin Neuronen fir Belounung a bedingt Reizen während successive Schrëtt fir eng verspéitent Äntwert Aufgab ze léieren. J Neurosci. 1993; 13: 900 – 913. [PubMed]
15. Schultz W. Prognostescht Belounungssignal vun Dopamin Neuronen. J Neurophysiol. 1998; 80: 1 – 27. [PubMed]
16. Schultz W, Dayan P, Montague RR. En neurale Substrat vu Prognosen a Belounung. Wëssenschaft. 1997; 275: 1593 – 1599. doi: 10.1126 / Wëssenschaft.275.5306.1593. [PubMed] [Cross Ref]
17. Hollerman JR, Schultz W. Dopamine Neuronen berichten e Feeler an der temporärer Prognose vun der Belounung wärend dem Léieren. Natur Neurosci. 1998; 1: 304 – 309. doi: 10.1038 / 1124. [PubMed] [Kräiz Ref]
18. Fiorillo CD, Tobler PN, Schultz W. Diskret Kodéierung vun der Belounungssécherheet an Onsécherheet duerch Dopamin Neuronen. Wëssenschaft. 2003; 299: 1898 – 1902. doi: 10.1126 / Wëssenschaft.1077349. [PubMed] [Cross Ref]
19. Satoh T, Nakai S, Sato T, Kimura M. Korreléiert Kodéierung vu Motivatioun an d'Resultat vun der Entscheedung vun Dopamin Neuronen. J Neurosci. 2003; 23: 9913 – 9923. [PubMed]
20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Zoufälleg awer ënnerschiddlech Messagen vu Mëttbrain Dopamin a striatal tonesch aktiv Neuronen. Neuron. 2004; 43: 133 – 143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamine Neuronen kënnen kontext-ofhängeg Predictiounsfehler duerstellen. Neuron. 2004; 41: 269 – 280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]
22. Bayer HM, Glimcher PW. Midbrain Dopamin Neuronen kodéieren e quantitativen Belounungsprognosfehlsignal. Neuron. 2005; 47: 129 – 141. doi: 10.1016 / j.neuron.2005.05.020. [PMC gratis Artikel] [PubMed] [Cross Ref]
23. Tobler PN, Fiorillo CD, Schultz W. Adaptiv Kodéierung vum Belounungswäert duerch Dopamin Neuronen. Wëssenschaft. 2005; 307: 1642 – 1645. doi: 10.1126 / Wëssenschaft.1105370. [PubMed] [Cross Ref]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Mënschlech substantia nigra Neuronen kodéieren onerwaart finanziell Belounungen. Wëssenschaft. 2009; 323: 1496 – 1499. doi: 10.1126 / Wëssenschaft.1167342. [PMC gratis Artikel] [PubMed] [Cross Ref]
25. Fiorillo CD, Newsome WT, Schultz W. Déi temporär Präzisioun vu Belounungsprognose bei Dopamin Neuronen. Nat Neurosci. 2008; 11: 966 – 973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Statistike vun Dopamin Neuron Spike trainéieren an der erwächt Primat. J Neurophysiol. 2007; 98: 1428 – 1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]
27. Waelti P, Dickinson A, Schultz W. Dopamine Äntwerte entspriechen Basisviraussetzungen vun der formeller Léiertheorie. Natur. 2001; 412: 43 – 48. doi: 10.1038 / 35083500. [PubMed] [Kräiz Ref]
28. Rescorla RA. Pavlovian bedingt Hemmung. Psychol Bull. 1969; 72: 77 – 94. doi: 10.1037 / h0027760.
29. Tobler PN, Dickinson A, Schultz W. Kodéierung vun viraussiichtlecher Belounungsëmdreiwung duerch Dopaminneuronen an engem bedingten Inhibitiounsparadigma. J Neurosci. 2003; 23: 10402 – 10410. [PubMed]
30. Preuschoff, Bossaerts P. Eng Predikatiounsrisiko addéiere fir d'Theorie vum Belounungsléieren. Ann NY Acad Sci. 2007; 1104: 135 – 146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]
31. Romo R, Schultz W. Dopamine Neuronen vun der Monkey Midbrain: Verhältnisser vun Äntwerte zum aktive Touch während selbstinitéiert Aarmbewegungen. J Neurophysiol. 1990; 63: 592 – 606. [PubMed]
32. Schultz W, Romo R. Dopamine Neuronen vun der Monkey Midbrain: Verhältnisser vun Äntwerte fir Stimulatioun z'erreechen direkt Verhalensreaktiounen. J Neurophysiol. 1990; 63: 607 – 624. [PubMed]
33. Mirenowicz J, Schultz W. Präferenziell Aktivéierung vun der Midbrain Dopamin Neuronen duerch appetitlech anstatt aversive Reizen. Natur. 1996; 379: 449 – 451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain Dopamin Neuronen kodéieren Entscheedunge fir zukünfteg Handlung. Nat Neurosci. 2006; 9: 1057 – 1063. doi: 10.1038 / nn1743. [PubMed] [Kräiz Ref]
35. Roesch MR, Calu DJ, Schoenbaum G. Dopamine Neuronen kodéieren déi besser Optioun bei Ratten, déi entscheeden tëscht ënnerschiddleche verspéiten oder mëttel Belounungen. Nat Neurosci. 2007; 10: 1615 – 1624. doi: 10.1038 / nn2013. [PMC gratis Artikel] [PubMed] [Cross Ref]
36. Takikawa Y, Kawagoe R, Hikosaka O. Eng méiglech Roll vu Mëttbrain-Dopamin-Neuronen an der kuerzer- a laangfristeger Upassung vun de Sakkaden zu der Positioun-Belounung Kaartung. J Neurophysiol. 2004; 92: 2520 – 2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]
37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopaminzellen reagéieren op virausgesot Eventer während der klassescher Bedingung: Beweiser fir Berechtegungspuren am Belounungs-Léiernetz. J Neurosci. 2005; 25: 6235 – 6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]
38. Montague PR, Dayan P, Sejnowski TJ. E Kader fir mesencephalesch Dopaminsystemer baséiert op prévisistesche Hebbian Léieren. J Neurosci. 1996; 16: 1936 – 1947. [PubMed]
39. Suri R, Schultz W. E neuralt Netzwierk mat dopaminähnleche Verstäerkungssignal dat eng raimlech verspéitent Äntwertaufgab léiert. Neurowëssenschaft. 1999; 91: 871 – 890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]
40. Ainslie G. Besonnesch Belounungen: eng Verhalensstheorie vun Impulsivitéit an Impulskontroll. Psych Bull. 1975; 82: 463 – 496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Upassung Upassung un Verstäerkung: Wiel vun Tauwen a Mënschen vergläichen. J Exp Psychol Anim Behav Prozess. 1988; 14: 105 – 117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]
42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Bestëmmung vu Rabattfunktiounen bei Ratten mat enger Upassungsmëttel Prozedur. J Exp Anal Behav. 1997; 67: 353 – 366. doi: 10.1901 / jeab.1997.67-353. [PMC gratis Artikel] [PubMed] [Cross Ref]
43. Kobayashi S, Schultz W. Afloss vun Belounungsverzögerungen op Äntwerte vun Dopamin Neuronen. J Neurosci. 2008; 28: 7837 – 7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]
44. Guarraci FA, Kapp BS. Eng elektrophysiologesch Charakteriséierung vu ventrale tegmentalem Gebitt dopaminergesche Neuronen wärend differenziell pavlovian Angschtbedéngungen an der erwächter Kanéngchen. Behav Brain Res. 1999; 99: 169 – 179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]
45. De Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminergesch Neuronen a striatal cholinergic interneurons kodéieren den Ënnerscheed tëscht Belounung an aversive Eventer op verschidden Epochen vu probabilistesche klassesche Konditiounsstudien. J Neurosci. 2008; 28: 1673 – 11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. Zwou Zorten vun Dopamin Neuron vermëttelen ënnerscheede positiv an negativ motivational Signaler. Natur. 2009; 459: 837 – 841. doi: 10.1038 / Natur08028. [PMC gratis Artikel] [PubMed] [Cross Ref]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensoresch Reizen stimuléiert den Ausladungsquote vun Dopamin (DA) Neuronen: Beweiser fir zwou funktionell Aarte vun DA Zellen an der substantia nigra. Gehir Res. 1980; 189: 544 – 549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]
48. Mantz J, Thierry AM, Glowinski J. Effekt vu schaarfe Schwanzknäppchen op der Entladungsquote vu mesokortikalen a mesolimbesche Dopaminneuronen: selektiv Aktivéierung vum mesokortikalsystem. Gehir Res. 1989; 476: 377 – 381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]
49. Schultz W, Romo R. Äntwerte vun nigrostriatal Dopamin Neuronen op héijer Intensitéit somatosensoresch Stimulatioun am anästheséierte Monkey. J Neurophysiol. 1987; 57: 201 – 217. [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptive Äntwerte vu midbrain dopaminergesche Neuronen ginn moduléiert vum Superior Colliculus an der Rat. Neurowëssenschaft. 2006; 139: 1479 – 1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]
51. Braune MTC, Henny P, Bolam JP, Magill PJ. Aktivitéit vun neurochemesch heterogene dopaminergesche Neuronen an der substantia nigra wärend spontan a bedriwwen Ännerungen am Gehir Zoustand. J Neurosci. 2009; 29: 2915 – 2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]
52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Phasesch Excitation vun Dopamin Neuronen an der ventrale VTA duerch schiedlech Reizen. Proc Natl Acad Sci USA. 2009; 106: 4894 – 4899. doi: 10.1073 / pnas.0811507106. [PMC gratis Artikel] [PubMed] [Cross Ref]
53. Dag JJ, Roitman MF, Wightman RM, Carelli RM. Associativ Léiere vermittelt dynamesch Verréckelungen vun der Dopamin Signaliséierung am Kär accumbens. Nat Neurosci. 2007; 10: 1020 – 1028. doi: 10.1038 / nn1923. [PubMed] [Kräiz Ref]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Echtzäit chemesch Äntwerte am Kär accumbens differenzéieren belount an aversive Reizen. Nat Neurosci. 2008; 11: 1376 – 1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]
55. Jonk AMJ. Vergréissert extrazellulär Dopamin am Käre accumbens an Äntwert op onkonditionéiert a bedingt aversive Reizen: Studien déi 1 min Mikrodialyse bei Ratten benotzen. J Neurosci Meth. 2004; 138: 57 – 63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Schultz W. Multiple Dopamin Funktiounen a verschiddene Zäit Coursen. Ann Rev Neurosci. 2007; 30: 259 – 288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]
57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Phasic Ausbrénge bei dopaminergesche Neuronen ass genuch fir Verhalensbedéngungen. Wëssenschaft. 2009; 324: 1080 – 1084. doi: 10.1126 / Wëssenschaft.1168878. [PubMed] [Cross Ref]
58. Strecker RE, Jacobs BL. Substantia nigra dopaminergic Eenheet Aktivitéit bei behuelen vun Kazen: Effekt vun Arousal op spontaner Entladung an sensoresch opgeruff Aktivitéit. Gehir Res. 1985; 361: 339 – 350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]
59. Ljungberg T, Apicella P, Schultz W. Äntwerte vun de Monkey Dopamin Neuronen beim Léiere vu Verhalensreaktiounen. J Neurophysiol. 1992; 67: 145 – 163. [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. Burst Aktivitéit vu ventrale tegmental Dopamin Neuronen gëtt vun sensoresche Reizen stimuléiert an der erwächter Kaz. Gehir Res. 1997; 759: 251 – 258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]
61. Sheafor PJ. Pseudokonditionéiert Kieferbeweegunge vum Hues reflektéieren Associatiounen bedingt zu kontextuellen Hannergrondssäiten. J Exp Psychol: Anim Behav Proc. 1975; 104: 245 – 260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamine: Generaliséierung a Bonus. Neural Netw. 2002; 15: 549 – 559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]
63. Richfield EK, Pennney JB, Young AB. Anatomesch an Affinitéit Zoustand Vergläicher tëscht Dopamin D1 an D2 Rezeptoren am Ratten Zentralnervensystem. Neurowëssenschaft. 1989; 30: 767 – 777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]
64. Mackintosh NJ. Eng Theorie vun der Opmierksamkeet: Variatiounen an der Associatioun vum Stimulus mat Verstäerkung. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65. Pearce JM, Hall G. E Modell fir Pavlovesch Konditioun: Variatiounen an der Effektivitéit vu bedingten awer net vun onkonditionéierte Reizen. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]
66. Levy H, Markowitz HM. Approximéiert erwaart Utility duerch eng Funktioun vu mëttlerer a Varianz. Am Econ Rev. 1979; 69: 308 – 317.
;