Wolfram Schultz 1
Behav-Cerbo-Funkcio. 2010; 6: 24.
Eldonita enreta 2010 Aprilo 23. doi: 10.1186 / 1744-9081-6-24.
Plena Studo: Dopamina-Signaloj por Rekompeta Valoro kaj Riskaj Bazaj kaj Lastatempaj Datumoj
1-Sekcio pri Fiziologio, Disvolviĝo kaj Neŭroscienco, Universitato de Kembriĝo, Downing Street, Kembriĝo CB2 3DY, UK
Koresponda aŭtoro.
Wolfram Schultz: [retpoŝte protektita]
abstrakta
fono
Antaŭa lezo, elektra auto-stimulo kaj drogmaniozo sugestas, ke la dubonaj dopaminaj sistemoj estas partoj de la rekompenca sistemo de la cerbo. Ĉi tiu revizio donas ĝisdatigitan superrigardon pri la bazaj signaloj de dopaminaj neŭronoj al mediaj stimuloj.
metodoj
La priskribitaj eksperimentoj uzis normajn kondutajn kaj neurofisiologiajn metodojn por registri la agadon de unuopaj dopaminaj neŭronoj en vekaj simioj dum specifaj kondutaj taskoj.
rezultoj
Dopamaj neŭronoj montras fazajn aktivigojn al eksteraj stimuloj. La signalo reflektas rekompencon, korpan saĝon, riskon kaj punon, en descenda ordo de frakcioj de respondantaj neŭronoj. Atendita rekompenca valoro estas ŝlosila decida variablo por ekonomiaj elektoj. La rekompenc-respondaj kodoj rekompencas valoron, probablecon kaj ilian sumitan produkton, atendatan valoron. La valoro de neŭronoj rekompencas valoron ĉar ĝi diferencas de antaŭdiro, plenumante tiel la bazan postulon por bidirekcia prognoza eraro instruanta signalon postulatan de lernanta teorio. Ĉi tiu respondo estas skala en unuoj de norma devio. Kontraŭe, relative malmultaj dopaminaj neŭronoj montras la fazan aktivadon post punantoj kaj kondiĉitaj aversaj stimuloj, sugestante mankon de rilato de la rekompenca respondo al ĝenerala atento kaj ekscitiĝo. Grandaj proporcioj de dopaminaj neŭronoj ankaŭ estas aktivigitaj de intensaj, fizike elstaraj stimuloj. Ĉi tiu respondo estas plibonigita kiam la stimuloj estas novaj; ĝi ŝajnas esti diferenca de la rekompenca valoro-signalo. Dopamaj neŭronoj montras ankaŭ nespecifajn aktivadojn al ne-rekompencaj stimuloj, kiuj eventuale ŝuldiĝas al ĝeneraligo per similaj stimuloj kaj pseŭdokondiĉado per primaraj rekompencoj. Ĉi tiuj aktivadoj estas pli mallongaj ol rekompencaj respondoj kaj ofte estas sekvataj de depresio de aktiveco. Aparta, pli malrapida dopamina signalo informas pri risko, alia grava decida variablo. La prognoza erara respondo okazas nur kun rekompenco; ĝi grimpas pro la risko de antaŭdirita rekompenco.
konkludoj
La studoj neurofisiológicos malkaŝas signalojn de fazo de dopamina kiu transdonas informojn rilatigitaj ĉefe sed ne ekskluzive por rekompenci. Kvankam ne esti tute homogena, la dopamina signalo estas pli restriktita kaj stereotipata ol neŭtrala aktiveco en la plej multaj aliaj cerbaj strukturoj okupitaj de golo direktita konduto.
fono
Rezultoj de lezo kaj psikofarmakologiaj studoj sugestas larĝan gamon de kondutaj funkcioj por dubonaj dopaminaj sistemoj. La kerna demando estas, kiu el ĉi tiuj multaj funkcioj estas aktive kodita per fasa dopamina signalo kongrua kun rapidaj neuronaj mekanismoj? Bonaj aludoj devenas de drogmanio kaj elektra mem-stimulado, sugestante, ke dopamina agado havas rekompencajn kaj alproksimiĝantajn generajn efikojn [1,2].
Ni povas difini rekompencojn kiel objektojn aŭ eventojn, kiuj generas alproksimiĝon kaj konsumantan konduton, produktas lernadon de tia konduto, reprezentas pozitivajn rezultojn de ekonomiaj decidoj kaj partoprenas pozitivajn emociojn kaj hedonajn sentojn. Rekompencoj estas kernaj por individua kaj gena supervivo kaj subtenas elementajn procezojn kiel trinkado, manĝado kaj reproduktado. Ĉi tiu kondutisma difino atribuas rekompencan funkcion ankaŭ al iuj nealimentaj kaj seksaj entoj, inkluzive de mono, teknikaj artaĵoj, atributoj de estetika stimulo kaj mensaj eventoj. Rekompencoj engaĝas agantojn en tiaj diversaj kondutoj kiel furaĝado kaj komercado sur borsmerkatoj.
Bazaj konceptoj
Rekompencoj havas specifajn grandojn kaj okazas kun specifaj probabloj. Agentoj celas optimumigi elektojn inter elektoj, kies valoroj estas determinitaj de la speco de la elektita objekto kaj ties grando kaj probablo [3]. Tial rekompencoj povas esti taŭge priskribitaj per probablaj distribuoj de rekompencaj valoroj. En ideala mondo ĉi tiuj distribuoj sekvas gaŭzan funkcion, kun ekstremaj rekompencoj malpli ofte ol mezaj rezultoj. Eksperimentaj testoj ofte uzas duumajn probablajn distribuojn kun ekipeblaj valoroj (ĉiu rekompenca valoro okazas ĉe p = 0.5). Gaŭsaj kaj binaraj probablaj distribuoj estas plene priskribitaj per la matematika atendata valoro (unua momento de probabla distribuo) kaj la dispersoj aŭ devioj de valoroj de la meznombro, nome la (atendata) varianco (dua momento) aŭ (atendata) norma devio (kvadrata radiko de varianco). Vario kaj norma devio estas ofte konsiderataj kiel mezuroj de risko. En kondutekonomio, la esprimo "risko" rilatas al formo de necerteco en kiu la probablodistribuo estas konata, dum "ambigueco" indikas nekompletan scion pri verŝajnecoj kaj ofte estas referita simple kiel "necerteco". Risko rilatas al la ebleco gajni aŭ perdi, anstataŭ la pli mallarĝa, komuna racia asocio kun perdo.
Antaŭdiroj estas de fundamenta graveco por fari informan decidon per provizado de informoj pri la disponeblaj elektoj, male al konjektoj okazantaj kiam nekonataj rezultoj. Ĉar rekompenco povas esti kvantigita per probablaj distribuoj de valoro, prognozoj pri rekompenco specifas la atendatan valoron kaj (atendatan) variancon aŭ norman devion de la distribuo.
Evoluiga premo favoras la energian prilaboron de informoj. Unu ebla solvo estas stoki prognozojn pri estontaj eventoj en pli altaj cerbaj centroj kaj kalkuli en pli malaltaj cerbaj centroj la diferencon inter novaj mediaj informoj kaj la konservita antaŭdiro. La diskreteco inter la fakta evento kaj ĝia antaŭdiro estas nomata erara prognoza eraro. Daŭri kun la ŝanĝiĝanta media situacio de pli altaj cerbaj centroj simple implikus ĝisdatigi la prognozojn kun la malpli da informoj enhavantaj kaj malpli da energio konsumanta prognozajn erarojn anstataŭ prilabori la plenajn ekstercentrajn informojn ĉiufoje kiam iomete ŝanĝiĝis [4]. Tiamaniere pli altaj cerbaj centroj havas aliron al la plena informo pri la ekstera mondo por perceptoj, decidoj kaj kondutaj reagoj je multe pli malalta energia kosto. Ĉi tiu fundamenta propraĵo de prognozoj kondukas al la observebla fenomeno de lernado, kiel difinita de ŝanĝoj en konduto bazitaj sur ĝisdatigitaj prognozoj.
Besta lernado-teorio kaj efikaj tempaj diferencaj modeloj plifortigas, ke rezultaj prognozaj eraroj estas kernaj por pavlova kaj operacia kondiĉado [5,6]. Nunaj vidpunktoj konceptigas pavlovian lernadon kiel ia ajn formo de akiro de antaŭdiro, kiu kaŭzas ŝanĝitajn vegetajn reagojn aŭ striitajn muskolajn kuntiriĝojn, kondiĉe ke la rezulto ne dependas de la konduta reago. Tiel, Pavlovianaj rekompencaj antaŭdiroj transdonas informojn ne nur pri la rekompenca valoro (atendata valoro) sed ankaŭ pri la risko (varianco) de estontaj rekompencoj, kio konsistigas gravan etendon de la koncepto proponita de Pavlov antaŭ cent jaroj. La graveco de prognozaj eraroj baziĝas sur la blokanta efiko de Kamin [7], kiu montras, ke lernado kaj formorto progresas nur tiom, kiom plifortigilo estas pli bona aŭ pli malbona ol antaŭvidita; lernado malrapidiĝas iom post iom kiam la prognozo alproksimiĝas asimptote al la valoro de la plifortigilo.
Dopamina respondo al rekompenca ricevo
La plimulto de mezcerbaj dopaminaj neŭronoj (75-80%) montras iom stereotipajn fazajn aktivigojn kun latentecoj de <100 ms kaj daŭroj de <200 ms post tempaj neantaŭviditaj manĝaĵoj kaj likvaj rekompencoj (Figuro (Figuro1A) .1A). Ĉi tiu eksploda respondo dependas de la aktivigo kaj plastikeco de glutamatergaj riceviloj NMDA kaj AMPA situantaj sur dopaminaj neŭronoj [8-12]. La eksplodo estas kritika por konduta lernado de apetitivaj taskoj kiel kondiĉita loka prefero kaj elektoj de T-labirinto por manĝaĵo aŭ kokaina rekompenco kaj por kondiĉitaj timaj respondoj [9].
figuro 1
Fazaj aktivigoj de neŭrofiziologia impulsa agado de dopaminaj neŭronoj. A: Fazaj aktivigoj post primaraj rekompencoj. B: Fazaj aktivigoj post kondiĉigitaj, rekompencaj antaŭdiraj stimuloj. C: Supro: Manko de faza aktivigo post ĉefa (pli ...)
Rekompenca antaŭdiro erara kodado
La dopamina respondo al rekompenca liverado ŝajnas kodi prognozan eraron; rekompenco pli bona ol antaŭvidita provokas aktivigon (pozitiva prognoza eraro), tute antaŭdirita rekompenco tiras neniun respondon, kaj rekompenco pli malbona ol antaŭvidita induktas depresion (negativan eraron) [13-24]. Tiel la dopamina respondo plenumas plene la kernan terminon de la lernomodelo Rescorla-Wagner kaj similas proksime al la instrua signalo de efikaj tempaj diferencaj lernadaj modeloj [6,23].
La erara respondo varias kvante kun la diferenco inter la ricevita rekompenca valoro kaj la atendata rekompenca valoro [18-23]. La prognoza erara respondo estas sentema al la tempo de la rekompenco; malfrua rekompenco indikas depresion en sia originala tempo kaj aktivigon en ĝia nova tempo [24,25]. La kvanta erara kodado estas evidenta por aktivadoj reflektantaj pozitivajn prognozajn erarojn. Kontraŭe, la depresio okazanta kun negativaj prognozaj eraroj montras nature pli mallarĝan dinamikan gamon, ĉar neŭrona aktiveco ne povas fali sub nulo, kaj taŭga kvanta takso postulas konsideri la tutan periodon de depresio [26].
Tiel, dopaminaj neŭronoj respondas al rekompenco nur laŭ la mezuro kiu diferencas de antaŭdiro. Ĉar prognozo originas de antaŭe sperta rekompenco, dopaminaj neŭronoj estas aktivigitaj nur kiam la nuna rekompenco estas pli bona ol la antaŭa rekompenco. La sama rekompenco denove ne aktivigos dopaminajn neŭronojn. Se la aktivigo de dopaminaj neŭronoj havas pozitive plifortigantan efikon sur konduto, nur kreskantaj rekompencoj donos daŭran plifortigon per dopaminergiaj mekanismoj. Ĉi tio eble estas unu kialo, kial konstantaj, senŝanĝaj rekompencoj ŝajnas perdi sian stimulan influon, kaj kial ni ĉiam bezonas pli da rekompenco.
Streĉaj provoj por rekompenca prognoza erara kodado
Teorio pri bestaj lernoj disvolvis formalajn paradigmojn por testi erarojn pri rekompenco de rekompenco. En la blokada testo [7], stimulo ligita kun tute antaŭdirita rekompenco ne povas esti lernita kaj tiel ne fariĝas valida rekomendanto antaŭdiro. La foresto de rekompenco post la blokita stimulo ne konsistigas eraran prognozon kaj ne kondukas al respondo en dopaminaj neŭronoj, eĉ post vasta parigo de stimulo-rekompenco [27]. Male la liverado de rekompenco post blokita stimulo konsistigas pozitivan prognozan eraron kaj sekve estigas dopaminan aktivadon.
La kondiĉita inhibicia paradigmo [28] ofertas aldonan provon pri prognozaj eraroj. En la tasko uzita en niaj eksperimentoj, testo-stimulo estas prezentita samtempe kun establita rekompenco antaŭdiranta stimulo sed neniu rekompenco estas donita post la komponaĵo, igante la testan stimulon antaŭdiri por la foresto de rekompenco. Rekompenca preterlaso post tia kondiĉita inhibicio ne konsistigas negativan prognozan eraron kaj pro tio malsukcesas induki depresion en dopaminaj neŭronoj [29]. Kontraŭe liverado de rekompenco post la inhibilo produktas fortan pozitivan prognozan eraron kaj sekve fortan dopaminan aktivadon.
La rezultoj de ĉi tiuj du formalaj provoj konfirmas, ke dopaminaj neŭronoj montras dudirektan kodadon de rekomendaj eraroj pri antaŭdiro.
Adaptata rekompenca prognoza erara kodado
En ĝenerala senco, antaŭdiro de rekompenco specifas la valoron de estontaj rekompencoj per informado pri la probablodistribuo de rekompencaj valoroj. Tiel, la stimulo indikas la atendatan valoron (unuan momenton) kaj (atendatan) variancon (dua momento) aŭ norman devion de la distribuo.
La respondo de erara antaŭdiro de dopamina valoro estas sentema al la unuaj kaj duaj momentoj de la antaŭvidita rekompenca distribuo je du sekundoj post la stimulo. En eksperimento, malsamaj vidaj stimuloj povas antaŭdiri specifajn binarajn probablajn distribuaĵojn de ekipeblaj rekompencaj grandoj kun malsamaj atendataj valoroj kaj variancoj. Ĉar la prognoza erara respondo reflektas la diferencon inter la akirita kaj atendata rekompenca valoro, la identa grando de la ricevita rekompenco produktas aŭ pliigon aŭ malkreskon de dopamina agado depende de ĉu tiu rekompenco estas pli granda aŭ pli malgranda ol ĝia antaŭdiro, respektive [23]. Ĉi tiu rezulto sugestas, ke valor-antaŭdira erara kodado disponigas informojn rilate al referenca aŭ ankra valoro.
La dopamina kodado de rekompenca valor-antaŭdira eraro adaptiĝas al la varianco aŭ norma devio de la distribuo. En binara distribuo de ekipeblaj rekompencoj, la liverado de rekompenco kun la pli granda grando ene de ĉiu distribuo provokas la saman dopaminan aktivadon kun ĉiu distribuo, malgraŭ 10-faldaj diferencoj inter la akiritaj rekompencaj grandoj (kaj la rezultaj valor-antaŭdiraj eraroj) [23]. Nombraj kalkuloj malkaŝas, ke la dopamina respondo kodas la valoron antaŭdira eraro dividita per la norma devio de la antaŭvidita distribuo. Ĉi tio efikis normaligi aŭ grimpi la valoron antaŭdiro de erara respondo koncerne norman devion, indikante kiom la akirita rekompenca valoro diferencas de la atendata valoro en unuoj de norma devio. Teoriaj konsideroj sugestas, ke eraraj instruaj signaloj, kiuj estas skalataj per varianco aŭ norma devio, anstataŭ mezumo povas mezuri stabilan lernadon, kiu rezistas al la antaŭvidita risko de rezultoj [30].
Dopamina respondo rekompenci antaŭdirantajn stimulojn
Dopaminaj neŭronoj montras aktivigojn ('ekscitoj') post rekompenco antaŭdirante vidajn, aŭdajn kaj somatosensajn stimulojn (Figuro (Figuro1B) 1B) [31-33]. La respondoj okazas sendepende de la sensaj modaloj kaj spacaj pozicioj de la stimuloj, kaj sendepende de la efikoj estantaj brakaj, buŝaj aŭ okulaj movadoj.
La aktivigoj pliigas monotone kun rekompenca probablo [18] kaj rekompenca grando, kiel likva volumo [23]. Tamen, la dopaminaj respondoj ne distingas inter rekompenca probablo kaj grando kondiĉe ke la atendita valoro estas identa [23]. Tiel la aktivadoj ŝajnas kodigi la atenditan valoron de antaŭdiritaj rekompencaj distribuoj. Atendita valoro estas la pli parsimonia klarigo, kaj la bruo en la neuronaj respondoj malhelpas karakteriziĝon laŭ atendita (subjektiva) utileco. Notu, ke la tempo-rabatado priskribita sube rivelas subjektivan kodadon kaj eble alportos iom da lumo al la afero.
Responda grando pliiĝas kun malpliigo de konduta reaga tempo, indikante ke la dopamina respondo estas sentema al la instigo de la besto [19]. En elektoj inter malsamaj rekompencaj valoroj aŭ malfruoj, la dopaminaj respondoj al la prezento de elektaj opcioj reflektas la estontan rekompencon de la besto [34] aŭ la plej altan eblan rekompencon de du disponeblaj elektaj opcioj [35].
Dum la kurso de lernado, la dopamina aktivado al la rekompenco malpliiĝas laŭgrade tra sinsekvaj lernadaj provoj, kaj aktivaĵo al la antaŭdira stimulo disvolviĝas samtempe [36,37]. La akiro de kondiĉita respondado estas sentema al blokado, kio indikas ke predonaj eraroj ludas rolon en la akiro de dopaminaj respondoj al kondiĉitaj stimuloj [27]. La responda translokigo por rekompenci antaŭvidajn stimulojn konformas al la ĉefaj trajtoj de instruaj signaloj de efikaj tempaj diferencaj plifortigaj modeloj [38]. La respondoŝanĝo ne implikas malantaŭpropagadon de prognozaj eraroj trans la stimulo-rekompenco-intervalo de pli fruaj tempodiferencaj modeloj [27,38] sed estas reproduktita en la originala tempodiferenca modelo kaj en la originalaj kaj pli lastatempaj tempaj diferencoj [6,37,39].
Subjektiva rekompenca valoro-kodado montrita per tempo-rabatado
La objektiva mezurado de subjektiva rekompenca valoro laŭ elektaj preferoj malkaŝas, ke rekompencoj perdas iom el ilia valoro kiam ili prokrastas. Fakte, ratoj, kolomboj, simioj kaj homoj ofte preferas pli malgrandajn rekompencojn ol poste pli grandaj rekompencoj [40-42]. Tiel, la subjektiva valoro de rekompenco ŝajnas kadukiĝi kun kreskantaj tempaj prokrastoj, kvankam la fizika rekompenco, kaj tiel la objektiva rekompenca valoro, estas la sama.
Psikometriaj mezuroj de intertempaj kondutaj elektoj inter pli frue kaj poste rekompencas ĝustigas la grandon de la frua rekompenco ĝis la okazo de elekta indiferenteco, difinita kiel la probablo elekti ĉiun opcion kun p = 0.5. Tiel, pli malalta frua rekompenco laŭ elekto-indiferenteco indikas pli malaltan subjektivan valoron de la posta rekompenco. En nia lastatempa eksperimento pri simioj, elektaj valoroj de indeco por rekompencoj prokrastitaj de 4, 8 kaj 16 s malpliiĝis monotone je ĉirkaŭ 25%, 50% kaj 75%, respektive, kompare kun rekompenco post 2 s [43]. La malkresko konvenas al hiperbola rabata funkcio.
La respondoj de dopamino por rekompenci antaŭvidajn stimulojn malpliiĝas monotone tra prokrastaj rekompencoj de 2 al 16 s [25,43], malgraŭ la sama fizika kvanto de rekompenco liverata post ĉiu malfruo. Ĉi tiuj datumoj sugestas, ke tempaj malfruoj influas dopaminajn respondojn por rekompenci antaŭdirantajn stimulojn simile, ĉar ili influas subjektivan rekompencan valoron taksitan de intertempaj elektoj. Interese, ke la malkresko de dopamina respondo kun rekompenco-prokrasto estas nedistingebla de la respondo-malpliiĝo kun pli malalta rekompenca grando. Ĉi tiu simileco sugestas, ke tempaj malfruoj influas dopaminajn respondojn per ŝanĝoj en rekompenca valoro. Tiel, por dopaminaj neŭronoj, malfruaj rekompencoj aperas kvazaŭ pli malgrandaj.
Tiel, dopaminaj neŭronoj ŝajnas kodigi la subjektivon anstataŭ la fizikan, objektivan valoron de prokrastitaj rekompencoj. Konsiderante, ke utileco estas mezuro por la subjektiva prefere ol objektiva valoro de rekompenco, la respondo malpliiĝanta per tempo-rabatado povus sugesti, ke dopaminaj neŭronoj kodas rekompencon kiel (subjektivan) utilecon, anstataŭ kiel objektivan valoron. Pliaj eksperimentoj povus helpi testi utilecon pli rekte.
Respondo de dopamino al aversaj stimuloj
Malemaj stimuloj kiel aeraj blovoj, hipertona salo kaj elektra ŝoko kaŭzas aktivajn ('ekscitajn') respondojn en malgranda proporcio de dopaminaj neŭronoj en vekaj bestoj (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), kaj la plimulto de dopaminaj neŭronoj estas aŭ deprimitaj en sia agado aŭ ne influitaj de aversivaj eventoj (Figuro (Figuro 1C1C-supro). Kontraste al kompensoj, aeraj blovoj ne induktas dudirektajn prognozajn erarajn respondojn tipajn por rekompenco. antaŭdiro nur modulas aversivajn aktivigojn [45,46].
Avanta stimulo ĉe anestezitaj bestoj produktas diversajn sed ofte malaltajn gradojn de plej malrapide, aktivigante respondojn (50% [47]; 18% [48]; 17% [49]); 14% [50]) kaj ofte deprimojn de aktiveco. Neŭrofiziologiaj reinvestigoj kun pli bona identigo de dopaminaj neŭronoj konfirmis la ĝeneralan malaltan efikon de aversaj dopaminaj aktivadoj en anestezitaj bestoj [51] kaj lokis avverse la dopaminajn neŭronojn en la ventromedia tegmenta areo de la cerbo [52].
Kondiĉaj, aeraj pufaj antaŭdirantaj stimuloj en vekitaj simioj provokas aktivojn en la minoritato de dopaminaj neŭronoj, kaj depresioj en pli granda frakcio de dopaminaj neŭronoj (11% [33]; 13% [45]; 37% [46]). La deprimaj respondoj nuligas la malmultajn aktivojn en mezumaj loĝantaraj respondoj de dopaminaj neŭronoj al aversaj stimuloj [33] (vidu Figuro Figuro1C1C fundo, nigra). En unu studo, la kondiĉita aversiva stimulo aktivigis pli da neŭronoj ol la aera pugo mem (37% kontraŭ 11% [46]), kvankam kondiĉita stimulo estas malpli avara ol la primara avversa okazaĵo, kiun ĝi antaŭdiras, kiel aera pugo. La pli alta nombro de aktivigoj al la kondiĉita stimulo kompare kun la aera pugo sugestas inversan rilaton inter aversiveco kaj aktivigo (ju pli akra la stimulo des malpli ofte estas la aktivigo) aŭ aldona, ne-aversiva stimula komponento respondeca pri pliigado de la proporcio de aktivigitaj. neŭronoj de 11% al 37%. Kvankam la stimulaj aktivadoj korelaciis pozitive kun aeraj pufaj probabloj en la populacio, ili ne estis taksitaj en individuaj neŭronoj [46]. Populara korelacio povas estiĝi de relative malgranda nombro de pozitive korelaciitaj neŭronoj en tiu loĝantaro, kaj la vere aversiva stimula aktivado povus esti pli proksima al 11% ol 37%. En alia studo, grandaj proporcioj de dopaminaj neŭronoj montris fazajn aktivadojn al kondiĉitaj aversaj stimuloj kiam ĉi tiuj estis prezentitaj en hazarda alternado kun rekompencaj antaŭvidaj stimuloj de la sama sensa modaleco (Figuro (Figuro1C1C fundo, griza); 65% [33]); estis multe malpli oftaj kiam la du specoj de kondiĉitaj stimuloj havis malsamajn sensajn modalecojn (Figuro (Figuro1C1C fundo, nigra)) (11%). La sekva ĉapitro priparolos la faktorojn eble subirantajn ĉi tiujn neklarigitajn aktivojn al avidaj kaj aliaj, nerekomenditaj stimuloj.
Kvankam iuj dopaminaj neŭronoj estas aktivigitaj per avversaj eventoj, la plej granda dopamina aktivado rilatas al rekompenco. Datumoj akiritaj per aliaj metodoj kondukas al similaj konkludoj. Rapida skana voltammetrio en kondutaj ratoj montras striitan dopamin-liberigon induktitan de rekompenco kaj ŝanĝo al rekompenco antaŭdiri stimulojn post kondiĉado [53], sugestante, ke impulsaj respondoj de dopaminaj neŭronoj kondukas al responda dopamina liberigo de striataj varicoj. La dopamina kresko daŭras nur kelkajn sekundojn kaj tial havas la plej mallongan tempokurson de ĉiuj neŭkemiaj metodoj, plej proksime al elektrofisiologia aktivado. La dopamina liberigo estas diferenca por rekompenco (sukerozo) kaj malsukcesas punon (kinino) [54]. Kiel voltammetrio taksas lokajn mezumojn de dopamina koncentriĝo, la foresto de mezurebla liberigo kun kinino eble kaŝos kelkajn aktivojn nuligitajn de depresioj en la dopamina populacio-respondo [33]. Studoj uzantaj tre sentivan dumvivan mikrodiálisis detektas liberigon de dopamino sekve aversivajn stimulojn [55].
Ĉi tiu respondo eble reflektas dopaminan ŝanĝon induktitan de la malmultaj neŭronoj aktivigitaj de avversaj stimuloj, kvankam la tempa kurso de mikrodijalaj mezuroj estas ĉirkaŭ 300-500-fojoj pli malrapida ol la impulsa respondo kaj povus esti sufiĉa por permesi al presinaptaj interagoj influi dopamin-liberigon [56] . Malhelpo de eksplodema pafo de dopaminaj neŭronoj malhelpas plurajn apetitajn lernajn taskojn sed ankaŭ timas kondiĉadon [9]. La rezulto povus sugesti lernan funkcion de adversaj dopaminaj respondoj se oni ne regas la nespecifan, ĝenerale maleblan efikon de pli malalta dopamina koncentriĝo, kio restas montriĝi. La specifa stimulado de dopaminaj neŭronoj per optogenetikaj metodoj per genetike enmetita kanabropsops induktas Pavlovian lokan preferon en musoj [57]. Kontraŭe, neta aversa efiko de dopamina stimulado estus kredeble produktita loko por evitado de lernado. Ĉi tiuj rezultoj konfirmas la nocion de tutmonda pozitiva plifortiga funkcio de dopaminaj sistemoj derivitaj de pli frua lezo, elektra mem-stimulo kaj drogmanio [1,2]. Tamen, ĉi tiuj argumentoj postulas nek ke rekompenco estas la sola funkcio de dopaminaj sistemoj nek ke ĉiuj rekompencaj funkcioj implikas dopaminajn neŭronojn.
Fazaj dopaminaj aktivadoj ne kodiga rekompenco
Stimuloj povas estigi atentajn kaj atentajn reagojn kiam ili estas fizike gravaj (fizika elstaraĵo) aŭ kiam ili rilatas al plifortigiloj ('instiga' aŭ 'afekcia' elstaraĵo). Kondutaj reagoj al elstaraj stimuloj estas gradigitaj per la fizika intenseco de la stimuloj kaj la valoro de la plifortigilo, respektive. Fizika elstaraĵo tute ne dependas de plifortigo, kaj instiga elstaraĵo ne dependas de la valento de la plifortigantoj (rekompenco kaj puno).
Respondoj al fizike elstaraj stimuloj
Fizike intensaj vidaj kaj aŭdaj stimuloj induktas aktivadojn en dopaminaj neŭronoj (Figuro (Figuro1D). 1D). Ĉi tiuj respondoj estas plibonigitaj per stimula noveco [58-60] sed persistas je pli malalta nivelo dum pluraj monatoj, kondiĉe ke la stimuloj estas sufiĉe fizike intensaj. La respondoj estas rangigitaj laŭ la grandeco de la stimuloj (Figuro 4 en [15]). Fizika salajro eble ankaŭ parte klarigos respondojn al primaraj punantoj kun grava fizika intenseco [45]. Ĉi tiuj respondoj povas konsistigi apartan tipon de dopamina respondo ligita al la fizika saleco de atento, kiu indikas mediajn stimulojn, aŭ ili povas rilati al la pozitive motivigaj kaj plifortigaj atributoj de intensaj kaj novaj stimuloj.
La aktivaĵoj al fizike elstaraj stimuloj ne ŝajnas reflekti ĝeneralan tendencon de dopaminaj neŭronoj esti aktivigitaj de iu ajn atentiga evento. Precipe, aliaj fortaj atencoj generantaj eventojn kiel rekompenco-preterlaso, kondiĉigitaj inhibiciloj kaj aversaj stimuloj indikas ĉefe depresiojn kaj malofte aŭtentajn dopaminajn aktivadojn [14,29]. Tiel la dopamina aktivigo per fizike elstaraj stimuloj eble ne konsistigas ĝeneralan atentigan respondon. La rekompenco de rekompenco verŝajne konstituos apartan respondon, kiu eble ne reflektas la atenton generitan de la motiva saleco de la rekompenco.
Aliaj ne-rekompencaj kodaj aktivadoj
Aliaj stimuloj indikas aktivadojn en dopaminaj neŭronoj sen ŝajna kodado de rekompenca valoro. Ĉi tiuj aktivadoj estas pli malgrandaj kaj pli mallongaj ol la respondoj por rekompenci antaŭdirojn de stimuloj kaj ofte estas sekvataj de depresio kiam la stimuloj estas nerekomenditaj (Figuro (Figuro1E1E)).
Dopamaj neŭronoj montras aktivadojn post kontrolaj stimuloj, kiuj estas prezentitaj en pseŭdorandoma alternado kun rekompencaj stimuloj [27,29,32]. La efiko de aktivadoj dependas de la nombro de alternativaj, rekompencaj stimuloj en la kondutisma tasko; aktivigoj estas oftaj kiam tri el kvar taskaj stimuloj estas rekompencitaj (25% -63% [27]) kaj fariĝas maloftaj kiam nur unu el kvar taskaj stimuloj estas nerekomenditaj (1% [29]). Ĉi tiu dependeco argumentas kontraŭ nura sensa naturo de la respondo.
Dopamaj neŭronoj montras iom stereotipan komencan aktivan komponenton al stimuloj antaŭdirantaj rekompencojn okazantajn post malsamaj prokrastoj [43]. La komenca aktivigo varias tre malmulte kun rekompenca prokrasto, kaj tial ne ŝajnas kodigi rekompencan valoron. Kontraŭe, la posta responda komponento malpliiĝas kun kreskantaj prokrastoj kaj tiel kodigas (subjektivajn) rekompencan valoron (vidu supre).
Dopamaj neŭronoj montras oftajn aktivadojn post kondiĉitaj aversaj stimuloj prezentitaj en hazarda alternado kun antaŭjuĝaj antaŭvidaj stimuloj; la aktivaĵoj malaperas plejparte kiam estas uzataj malsamaj sensaj modalecoj (65% kontraŭ 11% de neŭronoj [33]), sugestante kodigon de nepasivaj stimulaj komponentoj. Eĉ kiam avversaj kaj apetitaj stimuloj estas apartigitaj en malsamaj provaj blokoj, dopaminaj neŭronoj estas konsiderinde aktivigitaj de kondiĉitaj aversaj stimuloj. Tamen, des pli oftaj aktivadoj al la kondiĉitaj stimuloj kompare kun la pli akra primara pufado (37% vs 11% [46]) sugestas inversan rilaton al la avareco de la stimuloj kaj eble neverŝaj respondaj komponentoj.
La kialoj de ĉi tiuj malsamaj dopaminaj aktivadoj eble kuŝas en ĝeneraligado, pseŭdokondiĉo aŭ motiviga stimulo. Ĝeneraligo ekestas el similecoj inter stimuloj. Ĝi eble klarigos dopaminajn aktivadojn en kelkaj situacioj, nome la aktivigojn al nerekomenditaj vidaj stimuloj kiam ĉi tiuj alternas kun rekompenco antaŭvidanta vidajn stimulojn (Figuro (Figuro1E1E maldekstre)) [27,29,32] kaj la komenca, nebone gradigita aktiviga komponento por rekompenci prokrastajn stimulojn (Figuro (Figuro1E1E dekstre) [43]. Ĝeneraligo povus ludi rolon kiam stimuloj kun malsamaj sensaj modalecoj produktas malpli da dopaminaj aktivadoj al nerekomenditaj stimuloj ol stimuloj kun samaj kategorioj, kiel vidite per vidaj aversivaj kaj aŭdacaj stimuloj (Figuro (Figuro1C1C-fundo)) [33] .
Pseŭdokondiĉo povas aperi kiam primara plifortikigilo fiksas kuntekston kaj provokas nespecifajn kondutajn respondojn al iuj eventoj en ĉi tiu kunteksto [61]. Ĉar dopaminaj neŭronoj estas tre sentemaj al rekompenco, rekompencanta kunteksto povus indukti pseŭdokondiĉon al stimuloj fiksitaj en ĉi tiu kunteksto kaj tial neurona aktivigo. Ĉi tiu mekanismo povas subteni neŭronajn aktivadojn al ne-rekompencaj stimuloj okazantaj en rekompenca kunteksto, kiel la laboratorio, en kiu besto ricevas ĉiutagajn rekompencojn, sendepende de la stimuloj prezentataj en hazarda alternado kun rekompencaj stimuloj aŭ en apartaj provaj blokoj [46]. Pseŭdokondiĉo eble klarigos aktivadojn al nerekomenditaj kontrolaj stimuloj [27,29,32], la plej multaj aktivadoj post avversaj stimuloj [33,45,46] kaj la komenca, malbone gradigita aktiviga komponento por rekompenci prokrastajn stimulojn [43]. Tiel pseŭdokondiĉo povas estiĝi el la primara rekompenco prefere ol kondiĉita stimulo kaj tuŝi dopaminajn aktivadojn al ambaŭ kondiĉigitaj stimuloj kaj primaraj plifortigiloj okazantaj en rekompencanta kunteksto.
Kvankam stimuloj kun substanca fizika saleco ŝajnas kaŭzi dopaminajn neŭronojn [15,58-60] (vidu pli supre), la stimuloj, kiuj induktas ne-rekompencan dopaminan aktivadon, ofte estas malgrandaj kaj ne fizike tre elstaraj. Motiviga saleco estas difine komuna al rekompencoj kaj punantoj kaj memstare povus klarigi la aktivadojn al rekompenco kaj puno en 10-20% de dopaminaj neŭronoj. Ne-plifortigaj stimuloj povas esti motivaj elstaraj tra sia proksimeco al rekompenco kaj puno per pseŭdokondiĉo. Tamen, dopaminaj aktivadoj ŝajnas esti multe pli sentemaj al rekompenco ol puno. Ĉar motiva saleco implikas sentemon al ambaŭ plifortigiloj, motiva saleco akirita per pseŭdokondiĉo eble ne bone klarigas la ne-rekompencajn kodajn dopaminajn aktivaĵojn.
Kunigitaj, multaj el la ne-rekompencaj dopaminaj aktivadoj povas esti pro ĝeneraliga stimulo aŭ, precipe, pseŭdokondiĉo. Tamen ŝajnas esti veraj aktivadoj al nerevenigitaj kontrolaj stimuloj kaj al primaraj kaj kondiĉitaj aversivaj stimuloj en limigita proporcio de dopaminaj neŭronoj kiam ĉi tiuj faktoroj estas forĵetitaj. Pluaj eksperimentoj taksantaj tiajn respondojn devas uzi pli bonajn kontrolojn kaj tute forigi ĉiujn kuntekstajn rekompencajn asociojn kun stimuloj en la laboratorio.
Konsiderante la aperon de ne-rekompencaj kodaj aktivadoj, estas akcepteble demandi kiel besto distingus rekompencon de nerekomenditaj stimuloj surbaze de dopamina respondo. La tre rapida, komenca, pseŭdokondiĉigita kaj malbone diskriminacia responda komponento povus liveri temporabon por faciligi rapidajn, apriorajn kondutajn reagojn, kiuj helpas al la besto tre rapide detekti eblajn rekompencojn [62]. Kontraŭe, la tuj sekva respondkomponento detektas la veran naturon de la okazaĵo per ĝia gradigita aktivigo kun rekompenca valoro [43] kaj ĝia ofta deprimo kun nerekomenditaj kaj aversaj stimuloj [27,29,32,33] (Figuro (Figuro1E). 1E). Plue, la dopamina sistemo ne estas la sola cerba strukturo kodanta rekompencon, kaj aliaj neŭronaj sistemoj kiel la orbitofrontala kortekso, striato kaj amigdala povas doni aldonan diskriminacian informon.
Dopamina riska signalo
Se rekompenca signalo reflektas la mezuman antaŭdiro-eraron skalitan per la norma devio de distribuaj probablodistribuoj, kaj se ni rigardas norman devion kiel mezuron de risko, ĉu povus ekzisti rekta neurona signalo pri risko? Kiam rekompencaj probabloj varias de 0 al 1 kaj la rekompenca grando restas konstanta, la meza rekompenca valoro pliigas monotone kun probableco, dum la kvanto de risko sekvas renversitan funkcion U pintante je p = 0.5 (Figuro (Figuro2,2, enmetita). Ĉe p = 0.5, estas ekzakte tiom da ebleco akiri rekompencon, ĉar mankas rekompenco, dum pli altaj kaj pli malaltaj probabloj ol p = 0.5 igas gajnojn kaj perdojn pli certaj, respektive, kaj tiel asocias al pli malalta risko.
figuro 2
Daŭraj aktivigoj rilataj al risko. La riska respondo okazas dum la stimulo-rekompenco (sago) poste al la faza, valora rilata aktivigo al la stimulo (triangulo). La enigaĵo, supre dekstre, montras, ke risko (ordigita) varias laŭ (pli ...)
Ĉirkaŭ unu triono de dopaminaj neŭronoj montras relative malrapidan, moderan, statistike signifan aktivadon, kiu pliiĝas iom post iom dum la intervalo inter la antaŭdiro de rekompenco kaj la rekompenco; ĉi tiu respondo varias monotone kun risko (Figuro (Figuro2) 2) [18]. La aktivigo okazas en unuopaj provoj kaj ne ŝajnas konsistigi prognozan respondon propagandantan de rekompenco al rekompenco antaŭdiranta stimulo. La aktivigo pliiĝas monotone ankaŭ kun norma devio aŭ varieco, kiam estas uzataj binaraj distribuaĵoj de malsamaj ekipeblaj, nulaj rekompencaj grandoj. Tiel, norma devio aŭ varianco ŝajnas esti fareblaj mezuroj por risko kiel koditaj de dopaminaj neŭronoj. Rilataj rilataj aktivadoj havas pli longajn latencojn (ĉirkaŭ 1-ojn), pli malrapidajn tempokursojn kaj pli malaltajn pintojn kompare al la valorvaloraj respondoj al stimuloj kaj rekompenco.
Pro ĝia pli malalta grando, la riska signalo probable induktas pli malaltan dopamin-liberigon ĉe dopaminaj variecoj kompare kun la pli fazaj aktivadoj kodantaj rekompencan valoron. La relative malalta dopamina koncentriĝo eble induktita de la riska signalo povus aktivigi la D2-receptorojn, kiuj estas plejparte en alta afineza stato sed ne la malaltajn afinecajn D1-receptorojn [63]. Kontraŭe, la pli alta fazo-rekompenca respondo povus konduki al pli multe da dopaminaj koncentriĝoj sufiĉaj por mallonge aktivigi la D1-receptorojn en sia plejparte malalta afina stato. Tiel la du signaloj povus esti diferencigitaj de neŭronaj postsinaptaj surbaze de la malsamaj dopaminaj riceviloj aktivigitaj. Krome, la dopamina valoro kaj riskaj signaloj kune kondukus al preskaŭ samtempa aktivigo de ambaŭ D1 kaj D2-receptoroj, kiuj en multaj normalaj kaj klinikaj situacioj estas esencaj por taŭgaj dependaj funkcioj de dopamino.
Dopamina riska signalo povas havi plurajn funkciojn. Unue, ĝi povus influi la grimpadon de la tuj sekva antaŭdira erara respondo per norma devio tuj post la rekompenco [23]. Due, ĝi povus plibonigi la dopamin-liberigon induktitan de la tuj sekva antaŭdira erara respondo. Ĉar risko indikas atenton, la plibonigo de potenciala instrua signalo laŭ risko kongruus kun la rolo de atento en lernado laŭ la teorioj pri asociiga lernado [64,65]. Trie, ĝi povus doni enigon al cerbaj strukturoj implikitaj en takso de rekompenco-risko per si. Kvara, ĝi povus kombini kun ekonomia atendita valoro-signalo por reprezenti konsiderindajn informojn pri la atendata utileco ĉe individuaj riskoj laŭ la meznivela alproksimiĝo en financa decida teorio [66]. Tamen, la latencia de 1 s estas tro longa por ke la signalo ludu tujan rolon en elektoj sub necerteco.
Konkurantaj interesoj
La aŭtoro deklaras, ke li havas neniujn konkurencajn interesojn.
Kontribuoj de aŭtoroj
MS diris la gazeton.
Dankoj
Ĉi tiu recenzo estis verkita okaze de la Simpozio pri Atenta Malhaŭta Hiperaktiveca Malordo (ADHD) en Oslo, Norvegio, Februaro 2010. Nia laboro estis subtenita de la Wellcome Trust, Svisa Nacia Scienca Fonduso, Scienca Programo pri Homaj Fronteratoj kaj aliaj subvencioj kaj kunaj agentejoj.
Referencoj
1 Saĝa RA, Rompre PP. Cerbo dopamino kaj rekompenco. Ann Rev Psychol. 1989; 40: 191 – 225. doi: 10.1146 / annurev.ps.40.020189.001203.
2 Everitt BJ, Robbins TW. Neŭralaj sistemoj de plifortigo por drogmanio: de agoj al kutimoj al devigo. Nat Neurosci. 2005; 8: 1481 – 1489. doi: 10.1038 / nn1579. [PubMed] [Kruca Ref]
3 Bernoulli D. Specimen theoriae novae pri mensura speco. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Paperoj Imp. Acad. Sci. Sankt-Peterburgo) 1738; 5: 175 – 192. Tradukita kiel: Ekspozicio de nova teorio pri mezuro de risko. Econometrica 1954, 22: 23-36.
4 Rao RPN, Ballard DH. Predika kodado en la vida kortekso: funkcia interpreto de iuj eksterklasikaj akceptokampaj efikoj. Nat Neurosci. 1999; 2: 79 – 87. doi: 10.1038 / 4580. [PubMed] [Kruca Ref]
5 Rescorla RA, Wagner AR. En: Klasika Kondiĉado II: Aktuala Esploro kaj Teorio. Nigra AH, Prokasy WF, redaktoro. New York: Appleton Century Crofts; 1972 Teorio de Pavloviana kondiĉado: Variaĵoj en la efikeco de plifortigo kaj nereformado; pp 64 – 99.
6 Sutton RS, Barto AG. Al moderna teorio de adaptaj retoj: atendo kaj prognozo. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Kruca Ref]
7 Kamin LJ. En: Fundamentaj Aferoj en Instrumenta Lernado. Mackintosh NJ, Honig WK, redaktoro. Halifax: Dalhousie University Press; 1969 Selektema asocio kaj kondiĉado; pp 42 – 64.
8 Blythe SN, Atherton JF, Bevan MD. Sinaptika aktivigo de dendritaj AMPA kaj NMDA-receptoroj generas transan altfrekvencan pafon en substantia nigra dopamina neŭronoj in vitro. J Neŭrofiziol. 2007; 97: 2837 – 2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Kruca Ref]
9 Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Interrompo de eksplodo de eksplodo de NMDAR-dependigo de dopaminaj neŭronoj donas selekteman taksadon de fazo-dopamina-dependa konduto. Proc Natl Acad Sci. 2009; 106: 7281 – 7288. doi: 10.1073 / pnas.0813415106. [PMC senpaga artikolo] [PubMed] [Kruca Ref]
10 Harnett MT, Bernier BE, Ahn KC, Morikawa H. Burst-Timing-Dependent Plasticity of NMDA Receptor-Mediated Transmission in Nebrons Dopamine Neurons. Neŭrono. 2009; 62: 826 – 838. doi: 10.1016 / j.neuron.2009.05.011. [PMC senpaga artikolo] [PubMed] [Kruca Ref]
11 Jones S, Bonci A. Sinaptika plastikeco kaj drogmanio. Curr Opin Pharmacol. 2005; 5: 20 – 25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Kruca Ref]
12 Kauer JA, Malenka RC. Sinapsa plasticeco kaj toksomanio. Nat Rev Neurosci. 2007; 8: 844 – 858. doi: 10.1038 / nrn2234. [PubMed] [Kruca Ref]
13 Ljungberg T, Apicella P, Schultz W. Respondoj de simiaj mezurbaj dopaminaj neŭronoj dum malfrua alternada agado. Cerbo Res. 1991; 586: 337 – 341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14 Schultz W, Apicella P, Ljungberg T. Respondoj de simiaj dopaminaj neŭronoj por rekompenci kaj kondiĉigitajn stimulojn dum pluaj paŝoj por lerni malfruan respondan taskon. J Neŭroscio. 1993; 13: 900 – 913. [PubMed]
15 Schultz W. Antaŭdira rekompenca signalo de dopaminaj neŭronoj. J Neŭrofiziol. 1998; 80: 1 – 27. [PubMed]
16 Schultz W, Dayan P, Montague RR. Neŭra substrato de antaŭdiro kaj rekompenco. Scienco. 1997; 275: 1593 – 1599. doi: 10.1126 / scienco.275.5306.1593. [PubMed] [Kruca Ref]
17 Hollerman JR, Schultz W. Dopamine-neŭronoj raportas eraron pri la tempa prognozo de rekompenco dum lernado. Naturo Neŭroscio. 1998; 1: 304 – 309. doi: 10.1038 / 1124. [PubMed] [Kruca Ref]
18 Fiorillo CD, Tobler PN, Schultz W. Diskreta kodado de rekompenca probableco kaj necerteco de dopaminaj neŭronoj. Scienco. 2003; 299: 1898 – 1902. doi: 10.1126 / scienco.1077349. [PubMed] [Kruca Ref]
19 Satoh T, Nakai S, Sato T, Kimura M. Korelacia kodado de instigo kaj rezulto de decido de dopaminaj neŭronoj. J Neŭroscio. 2003; 23: 9913 – 9923. [PubMed]
20 Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Koincidaj sed distingaj mesaĝoj de cerba dopamino kaj striaj tonike aktivaj neŭronoj. Neŭrono. 2004; 43: 133 – 143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Kruca Ref]
21 Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamineaj neŭronoj povas reprezenti kuntekston-dependa eraro. Neŭrono. 2004; 41: 269 – 280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Kruca Ref]
22 Bayer HM, Glimcher PW. Midbrain-dopaminaj neŭronoj kodas kvantan rekompencan prognozan eraran signalon. Neŭrono. 2005; 47: 129 – 141. doi: 10.1016 / j.neuron.2005.05.020. [PMC senpaga artikolo] [PubMed] [Kruca Ref]
23 Tobler PN, Fiorillo KD, Schultz W. Adapta kodado de rekompenca valoro de dopaminaj neŭronoj. Scienco. 2005; 307: 1642 – 1645. doi: 10.1126 / scienco.1105370. [PubMed] [Kruca Ref]
24 Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Homaj substantivaj nigra neŭronoj kodas neatenditajn financajn rekompencojn. Scienco. 2009; 323: 1496 – 1499. doi: 10.1126 / scienco.1167342. [PMC senpaga artikolo] [PubMed] [Kruca Ref]
25 Fiorillo KD, Newsome WT, Schultz W. La tempa precizeco de rekompenca prognozo en dopaminaj neŭronoj. Nat Neurosci. 2008; 11: 966 – 973. doi: 10.1038 / nn.2159.
26 Bayer HM, Lau B, Glimcher PW. Statistikoj de dopamina neŭra spico trejnas en veka primato. J Neŭrofiziol. 2007; 98: 1428 – 1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Kruca Ref]
27 Waelti P, Dickinson A, Schultz W. Dopamine-respondoj konformas al bazaj supozoj de formala lernada teorio. Naturo. 2001; 412: 43 – 48. doi: 10.1038 / 35083500. [PubMed] [Kruca Ref]
28 Rescorla RA. Pavloviana kondiĉita inhibicio. Psychol Bull. 1969; 72: 77 – 94. doi: 10.1037 / h0027760.
29 Tobler PN, Dickinson A, Schultz W. Kodigo de antaŭvidita rekompenca preterlaso de dopaminaj neŭronoj en kondiĉita inhibicia paradigmo. J Neŭroscio. 2003; 23: 10402 – 10410. [PubMed]
30 Preuschoff, Bossaerts P. Aldonanta prognozan riskon al la teorio de rekompencado. Ann NY Acad Sci. 2007; 1104: 135 – 146. doi: 10.1196 / annals.1390.005. [PubMed] [Kruca Ref]
31 Romo R, Schultz W. Dopamineaj neŭronoj de la simia mezkerno: Kontingentoj de respondoj al aktiva tuŝo dum mem-iniciatitaj brakoj. J Neŭrofiziol. 1990; 63: 592 – 606. [PubMed]
32 Schultz W, Romo R. Dopamineaj neŭronoj de la simia mezkerno: Kontingentoj de respondoj al stimuloj provokantaj tujajn kondutajn reagojn. J Neŭrofiziol. 1990; 63: 607 – 624. [PubMed]
33 Mirenowicz J, Schultz W. Preferebla aktivado de dubonaj dopaminaj neŭronoj per apetito anstataŭ avversaj stimuloj. Naturo. 1996; 379: 449 – 451. doi: 10.1038 / 379449a0. [PubMed] [Kruca Ref]
34 Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain-dopaminaj neŭronoj kodas decidojn por estonta agado. Nat Neurosci. 2006; 9: 1057 – 1063. doi: 10.1038 / nn1743. [PubMed] [Kruca Ref]
35 Roesch MR, Calu DJ, Schoenbaum G. Dopamine-neŭronoj kodas la pli bonan eblon ĉe ratoj, decidantaj inter malsama prokrasto aŭ grandeco. Nat Neurosci. 2007; 10: 1615 – 1624. doi: 10.1038 / nn2013. [PMC senpaga artikolo] [PubMed] [Kruca Ref]
36 Takikawa Y, Kawagoe R, Hikosaka O. Ebla rolo de dubonaj dopaminaj neŭronoj en mallonga kaj longtempa adaptado de saksoj al pozici-rekompenca mapado. J Neŭrofiziol. 2004; 92: 2520 – 2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Kruca Ref]
37 Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopaminaj ĉeloj respondas al antaŭviditaj eventoj dum klasika kondiĉado: Atestoj pri spuroj de elektebleco en la rekompenca lernado-reto. J Neŭroscio. 2005; 25: 6235 – 6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Kruca Ref]
38 Montague PR, Dayan P, Sejnowski TJ. Kadro por mesencefikaj dopaminaj sistemoj bazitaj sur antaŭdira hebba lernado. J Neŭroscio. 1996; 16: 1936 – 1947. [PubMed]
39 Suri R, Schultz W. Neŭra reto kun dopamina-simila plifortiga signalo, kiu lernas spacan malfruan respondan taskon. Neŭroscienco. 1999; 91: 871 – 890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Kruca Ref]
40 Ainslie G. Speciaj rekompencoj: kondutisma teorio pri impulsiveco kaj impulspovo. Psych Bull. 1975; 82: 463 – 496. doi: 10.1037 / h0076860.
41 Rodriguez ML, Logue AW. Agordi malfruon al plifortigo: komparado de elekto en kolomboj kaj homoj. J Exp Psychol Anim Behav Procezo. 1988; 14: 105 – 117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Kruca Ref]
42 Richards JB, Mitchell SH, de Wit H, Seiden LS. Determino de rabataj funkcioj en ratoj kun ĝustiga kvanto. J Exp Anal Behav. 1997; 67: 353 – 366. doi: 10.1901 / jeab.1997.67-353. [PMC senpaga artikolo] [PubMed] [Kruca Ref]
43 Kobayashi S, Schultz W. Influo de rekompenco prokrastas respondojn de dopaminaj neŭronoj. J Neŭroscio. 2008; 28: 7837 – 7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Kruca Ref]
44 Guarraci FA, Kapp BS. Elektrofisiologia karaktero de ventralaj tegmentaj areaj dopaminergiaj neŭronoj dum diferenca pavloviana timkondiĉo en la veka kuniklo. Behav Brain Res. 1999; 99: 169 – 179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Kruca Ref]
45 Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminergic-neŭronoj kaj striaj kolinergiaj interneŭronoj kodas la diferencon inter rekompenco kaj aversaj okazaĵoj ĉe malsamaj epokoj de probabilistaj klasikaj kondiĉaj provoj. J Neŭroscio. 2008; 28: 1673 – 11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46 Matsumoto M, Hikosaka O. Du specoj de dopamina neŭro distinge donas pozitivajn kaj negativajn motivajn signalojn. Naturo. 2009; 459: 837 – 841. doi: 10.1038 / nature08028. [PMC senpaga artikolo] [PubMed] [Kruca Ref]
47 Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensaj stimuloj ŝanĝas la ellasan indicon de dopaminaj (DA) neŭronoj. Evidenteco por du funkciaj tipoj de DA-ĉeloj en la substantia nigra. Cerbo Res. 1980; 189: 544 – 549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Kruca Ref]
48 Mantz J, Thierry AM, Glowinski J. Efekto de noĉa vosto pinĉas sur la senŝarĝa indico de mezocortikaj kaj mezolimbaj dopaminaj neŭronoj: selektiva aktivado de la mezokortika sistemo. Cerbo Res. 1989; 476: 377 – 381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Kruca Ref]
49 Schultz W, Romo R. Respondoj de nigrostriatalaj dopaminaj neŭronoj al alt-intensa somatosensoria stimulado en la anestezita simio. J Neŭrofiziol. 1987; 57: 201 – 217. [PubMed]
50 Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptivaj respondoj de dubonaj dopaminergiaj neŭronoj estas modulitaj de la supera kolikulo en la rato. Neŭroscienco. 2006; 139: 1479 – 1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Kruca Ref]
51 Bruna MTC, Henny P, Bolam JP, Magill PJ. Aktiveco de neŭrokemie heterogenaj dopaminergiaj neŭronoj en la substantia nigra dum spontaneaj kaj kaŭzitaj ŝanĝoj en cerba stato. J Neŭroscio. 2009; 29: 2915 – 2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Kruca Ref]
52 Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Faza ekscitiĝo de dopaminaj neŭronoj en ventralaj VTA per malutilaj stimuloj. Proc Natl Acad Sci Usono. 2009; 106: 4894 – 4899. doi: 10.1073 / pnas.0811507106. [PMC senpaga artikolo] [PubMed] [Kruca Ref]
53 Tago JJ, Roitman MF, Wightman RM, Carelli RM. Asocia lernado mezuras dinamikajn ŝanĝojn en dopamina signalado en la kerno accumbens. Nat Neurosci. 2007; 10: 1020 – 1028. doi: 10.1038 / nn1923. [PubMed] [Kruca Ref]
54 Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Realtempaj kemiaj respondoj en la kerno akcentas diferencajn rekompencajn kaj aversajn stimulojn. Nat Neurosci. 2008; 11: 1376 – 1377. doi: 10.1038 / nn.2219. [PubMed] [Kruca Ref]
55 Juna AMJ. Pliigita eksterĉela dopamino en kerno akuzita en respondo al senkondiĉaj kaj aversaj stimuloj: studoj uzantaj 1-minodiodalizon ĉe ratoj. J Neurosci Meth. 2004; 138: 57 – 63. doi: 10.1016 / j.jneumeth.2004.03.003.
56 Schultz W. Multoblaj dopaminfunkcioj ĉe malsamaj tempokursoj. Ann Rev Neurosci. 2007; 30: 259 – 288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Kruca Ref]
57 Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fazika pafo en dopaminergiaj neŭronoj sufiĉas por kondutisma kondiĉado. Scienco. 2009; 324: 1080 – 1084. doi: 10.1126 / scienco.1168878. [PubMed] [Kruca Ref]
58 Strecker RE, Jacobs BL. Substantia nigra dopaminergia unueca agado en kondutaj katoj: Efiko de ekscitiĝo sur spontanea senŝargiĝo kaj sensa elvokita aktiveco. Cerbo Res. 1985; 361: 339 – 350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Kruca Ref]
59 Ljungberg T, Apicella P, Schultz W. Respondoj de simiaj dopaminaj neŭronoj dum lernado de kondutaj reagoj. J Neŭrofiziol. 1992; 67: 145 – 163. [PubMed]
60 Horvitz JC, Stewart T, Jacobs BL. Eksploda agado de ventraj tegmentaj dopaminaj neŭronoj estas instigita de sensaj stimuloj en la maldorma kato. Cerbo Res. 1997; 759: 251 – 258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Kruca Ref]
61 Sheafor PJ. Pseŭdokondiĉaj makzelaj movoj de la kuniklo reflektas asociojn kondiĉitajn al kuntekstaj fonaj spuroj. J Exp Psychol: Proc Behav Proc. 1975; 104: 245 – 260. doi: 10.1037 / 0097-7403.1.3.245.
62 Kakade S, Dayan P. Dopamine: ĝeneraligo kaj gratifikoj. Neŭra Reto. 2002; 15: 549 – 559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Kruca Ref]
63 Richfield EK, Pennney JB, Juna AB. Anatomiaj kaj afinecaj komparoj inter dopaminaj D1 kaj D2-receptoroj en la rat-centra nerva sistemo. Neŭroscienco. 1989; 30: 767 – 777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Kruca Ref]
64 Mackintosh NJ. Teorio de atento: Variaĵoj en la asociiĝo de stimulo kun plifortigo. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65 Pearce JM, Halo G. Modelo por pavloviaj kondiĉoj: variadoj en la efikeco de kondiĉitaj sed ne de senkondiĉaj stimuloj. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Kruca Ref]
66 Levy H, Markowitz HM. Proksimume atendata utileco laŭ funkcio de meznombro kaj varieco. Am Econ Rev. 1979; 69: 308 – 317.
;
