Wolfram Schultz 1
Funkcija možganov Behav. 2010; 6: 24.
Objavljeno na spletu 2010 april 23. doi: 10.1186 / 1744-9081-6-24.
POPOLNI ŠTUDIJ: Dopaminski signali za nagradno vrednost in tveganje, osnovni in najnovejši podatki
1oddelek za fiziologijo, razvoj in nevroznanost, Univerza v Cambridgeu, Downing Street, Cambridge CB2 3DY, Velika Britanija
Dopisni avtor.
Wolfram Schultz: [e-pošta zaščitena]
Minimalizem
Ozadje
Prejšnje študije o lezijah, električni samo-stimulaciji in odvisnosti od drog kažejo, da so dopaminski sistemi srednjega možganov del sistema nagrajevanja možganov. Ta pregled ponuja posodobljen pregled osnovnih signalov dopaminskih nevronov do okoljskih dražljajev.
Metode
V opisanih poskusih so bile uporabljene standardne vedenjske in nevrofiziološke metode za beleženje aktivnosti posameznih dopaminskih nevronov v budnih opicah med specifičnimi vedenjskimi nalogami.
Rezultati
Dopaminski nevroni kažejo fazno aktivacijo na zunanje dražljaje. Signal odraža nagrado, fizično vidljivost, tveganje in kazen v padajočem zaporedju frakcij odzivnih nevronov. Pričakovana vrednost nagrade je ključna spremenljivka pri gospodarskih odločitvah. Odgovor nagradne kode označuje vrednost nagrade, verjetnost in njihov povzetek izdelka, pričakovano vrednost. Vrednost nagrade za nevrone kodira, saj se razlikuje od napovedovanja, s čimer izpolnjuje osnovno zahtevo za dvosmerni signal poučevanja o napaki napovedovanja, ki ga je postavilo teorija učenja. Ta odziv je spremenjen v enote standardnega odklona. Nasprotno pa razmeroma malo dopaminskih nevronov kaže fazno aktivacijo po kaznovalcih in pogojenih averzivnih dražljajev, kar kaže na pomanjkanje odnosa odzivnosti na splošno pozornost in vzburjenje. Veliki deleži dopaminskih nevronov se aktivirajo tudi z intenzivnimi, fizično vidnimi dražljaji. Ta odziv se poveča, ko so dražljaji novi; zdi se, da se razlikuje od signala vrednosti nagrade. Dopaminski nevroni kažejo tudi nespecifične aktivacije na nerecibilne dražljaje, ki so morda posledica posplošitve s podobnimi dražljaji in psevdokondicioniranje s primarnimi nagradami. Te aktivacije so krajše od odzivov na nagrade in jim pogosto sledi depresija aktivnosti. Ločen, počasnejši dopaminski signal obvešča o tveganju, še ena pomembna spremenljivka odločitve. Odziv na napako napovedovanja se zgodi le z nagrado; zmanjšuje ga tveganje predvidene nagrade.
Sklepi
Nevrofiziološke študije razkrivajo fazne signale dopamina, ki prenašajo informacije, povezane pretežno, vendar ne izključno, z nagrajevanjem. Čeprav ni povsem homogen, je dopaminski signal bolj omejen in stereotipen kot nevronska aktivnost v večini drugih možganskih struktur, vključenih v ciljno usmerjeno vedenje.
Ozadje
Rezultati lezij in psihofarmakoloških študij kažejo na širok razpon vedenjskih funkcij za dopaminske sisteme srednjih možganov. Ključno vprašanje je, katera od teh številnih funkcij je aktivno kodirana s faznim signalom dopamina, ki je združljiv s hitrimi nevronskimi mehanizmi? Dobri namigi izvirajo iz odvisnosti od drog in električne samo-stimulacije, kar kaže, da ima delovanje dopamina koristne učinke in pristop, ki ustvarja učinke [1,2].
Nagrade lahko opredelimo kot predmete ali dogodke, ki ustvarjajo pristopno in potrošniško vedenje, proizvajajo takšno vedenje, predstavljajo pozitivne rezultate gospodarskih odločitev in vključujejo pozitivna čustva in hedonske občutke. Nagrade so ključne za preživetje posameznika in genov ter podpirajo elementarne procese, kot so pitje, prehranjevanje in razmnoževanje. Ta vedenjska definicija pripisuje funkcijo nagrajevanja tudi nekaterim nenamernim in neseksualnim osebam, vključno z denarjem, tehničnimi artefakti, atributi estetskih spodbud in duševnimi dogodki. Nagrade vključujejo zastopnike v tako raznolikih vedenjih, kot sta iskanje hrane in trgovanje na borzah.
Osnovni pojmi
Nagrade imajo posebne velikosti in se pojavljajo z določeno verjetnostjo. Agenti si prizadevajo optimizirati izbire med možnostmi, katerih vrednosti so odvisne od vrste predmeta izbire ter njegove velikosti in verjetnosti [3]. Zato lahko nagrade ustrezno opišemo z verjetnostnimi porazdelitvami vrednosti nagrad. V idealnem svetu te porazdelitve sledijo Gaussovi funkciji, izjemne koristi pa se pojavljajo manj pogosto kot vmesni izidi. Eksperimentalni testi pogosto uporabljajo binarne porazdelitve verjetnosti z enakovrednimi vrednostmi (vsaka vrednost nagrade se pojavi pri p = 0.5). Gaussove in binarne porazdelitve verjetnosti so v celoti opisane z matematično pričakovano vrednostjo (prvi trenutek porazdelitve verjetnosti) in disperzijami ali odstopanji vrednosti od srednje vrednosti, in sicer (pričakovano) varianco (drugi trenutek) ali (pričakovano) standardno deviacijo (kvadratni koren variance). Variacija in standardni odklon se pogosto obravnavata kot merilo tveganja. V vedenjski ekonomiji se izraz "tveganje" nanaša na obliko negotovosti, pri kateri je porazdelitev verjetnosti znana, medtem ko "dvoumnost" pomeni nepopolno poznavanje verjetnosti in jo pogosto imenujemo preprosto "negotovost". Tveganje se nanaša na možnost zmage ali poraza in ne na bolj ozko, zdravorazumsko povezavo z izgubo.
Napovedi so bistvenega pomena za sprejemanje informirane odločitve z zagotavljanjem vnaprejšnjih informacij o razpoložljivih možnostih izbire, v nasprotju s ugibanjem, ki se pojavijo, ko so rezultati neznani. Ker je mogoče nagrado količinsko opredeliti z verjetnostnimi porazdelitvami vrednosti, napovedi nagrajevanja določajo pričakovano vrednost in (pričakovano) odstopanje ali standardni odklon razdelitve.
Evolucijski pritisk favorizira energetsko učinkovito obdelavo informacij. Ena od možnih rešitev je shranjevanje napovedi o prihodnjih dogodkih v višjih možganskih središčih in v nižjih možganskih centrih izračunavanje razlike med novimi informacijami o okolju in shranjeno napovedjo. Razliko med dejanskim dogodkom in njegovo napovedjo imenujemo napaka napovedovanja dogodka. Spremljanje spreminjanja okoljskih razmer v višjih možganskih središčih bi preprosto vključevalo posodabljanje napovedi z manj informacijami, ki vsebujejo manj naporov in manj porabe napovednih napak, namesto obdelave celotnih obrobnih informacij vsakič, ko se bo spremenila ena malenkost [4]. Na ta način imajo višji možganski centri dostop do popolnih informacij o zunanjem svetu za dojemanje, odločitve in vedenjske reakcije z veliko nižjimi stroški energije. Ta temeljna lastnost napovedi vodi do opaznega pojava učenja, ki ga opredeljujejo spremembe v vedenju, ki temeljijo na posodobljenih napovedih.
Teorija učenja živali in učinkoviti modeli okrepitve časovnih razlik predpostavljajo, da so napake napovedovanja izida ključne za Pavlovijevo in operantno kondicioniranje [5,6]. Trenutni pogledi Pavlovijevo učenje pojmujejo kot katero koli obliko pridobivanja napovedi, ki vodi do spremenjenih vegetativnih reakcij ali progastih krčenja mišic, če rezultat ni odvisen od vedenjske reakcije. Tako Pavlove napovedi nagrad ne vsebujejo informacij le o vrednosti nagrade (pričakovana vrednost), temveč tudi o tveganju (varianti) prihodnjih nagrad, kar predstavlja pomembno razširitev koncepta, ki ga je pred stotimi leti predlagal Pavlov. Pomen napak pri napovedovanju temelji na Kaminovem blokirnem učinku [7], ki dokazuje, da učenje in izumrtje napredujeta le v obsegu, v katerem je ojačevalec boljši ali slabši od predvidenega; učenje se postopoma upočasnjuje, ko se napoved asimptotično približuje vrednosti ojačevalca.
Odziv dopamina na prejem nagrade
Večina dopaminskih nevronov srednjih možganov (75–80%) kaže na precej stereotipne, fazne aktivacije z zakasnitvami <100 ms in trajanjem <200 ms po začasno nepredvidenih nagradah za hrano in tekočino (slika (slika 1A) .1A). Ta izbruh je odvisen od aktivacije in plastičnosti glutamatergičnih receptorjev NMDA in AMPA, ki se nahajajo na dopaminskih nevronih [8-12]. Izbruh je ključnega pomena za vedenjsko učenje apetitivnih nalog, kot so pogojene izbire kraja in izbira T-labirinta za nagrado za hrano ali kokain in za pogojene odzive strahu [9].
Slika 1
Fazne aktivacije nevrofiziološke impulzne aktivnosti dopaminskih nevronov. O: Fazne aktivacije po primarnih nagradah. B: Fazne aktivacije po pogojenih dražljajih, ki napovedujejo nagrado. C: Na vrh: Pomanjkanje fazne aktivacije po primarnem (več ...)
Kodiranje napake napovedovanja nagrad
Zdi se, da odziv dopamina na dostavo nagrad kodira napako napovedovanja; nagrada, ki je boljša od predvidene, sproži aktivacijo (pozitivna napaka napovedovanja), popolnoma predvidena nagrada ne odgovori, nagrada, ki je slabša od predvidene, pa povzroči depresijo (negativna napaka) [13-24]. Tako odziv na dopamin v celoti izvaja ključni pojem učnega modela Rescorla-Wagner in zelo spominja na učni signal učinkovitih učnih modelov za krepitev časovne razlike [6,23].
Odziv na napako se količinsko razlikuje z razliko med prejeto vrednostjo nagrade in pričakovano vrednostjo nagrade [18-23]. Odziv na napako napovedovanja je občutljiv na čas nagrajevanja; zapoznela nagrada povzroči depresijo v prvotnem času in aktivacijo v novem času [24,25]. Kvantitativno kodiranje napak je očitno za aktivacije, ki odražajo pozitivne napake napovedovanja. Nasprotno pa depresija, ki se pojavi z negativnimi napakami napovedovanja, pokaže seveda ožji dinamični razpon, saj nevronska aktivnost ne more pasti pod ničlo, za ustrezno količinsko oceno pa je potrebno upoštevati celotno obdobje depresije [26].
Tako se dopaminski nevroni odzovejo na nagrado le, če se razlikujejo od napovedovanja. Ker napoved izvira iz prej izkušene nagrade, se dopaminski nevroni aktivirajo le, če je trenutna nagrada boljša od prejšnje nagrade. Znova enaka nagrada ne bo aktivirala dopaminskih nevronov. Če aktivacija dopaminskih nevronov pozitivno okrepi učinek na vedenje, bo le naraščajoča nagrada zagotovila nenehno okrepitev prek dopaminergičnih mehanizmov. To je lahko eden od razlogov, da se zdi, da stalne, nespremenljive nagrade izgubljajo spodbudni vpliv in zakaj vedno potrebujemo več nagrade.
Strogi testi za kodiranje napak pri napovedovanju nagrad
Teorija učenja živali je razvila formalne paradigme za preizkušanje napak pri napovedovanju nagrad. V blokadnem testu [7] se spodbude, ki je seznanjena s popolnoma predvideno nagrado, ni mogoče naučiti in tako ne postane veljaven napovedovalec nagrad. Odsotnost nagrade po blokiranem dražljaju ne pomeni napake napovedovanja in ne povzroči odziva v dopaminskih nevronih, tudi po obsežnem združevanju spodbud in nagrad [27]. Nasprotno pa oddaja nagrade po blokiranem dražljaju predstavlja pozitivno napako napovedovanja in zato sproži aktivacijo dopamina.
Pogojena paradigma inhibicije [28] ponuja dodaten test za napovedi napak. V nalogi, uporabljeni v naših poskusih, je testni dražljaj predstavljen hkrati z uveljavljeno nagrado, ki napoveduje dražljaj, po spojini pa se ne dodeli nagrada, zaradi česar je testni dražljaj napovedovalec odsotnosti nagrade. Izpustitev nagrade po tako pogojenih zaviralcih ne pomeni negativne napovedne napake in zato ne povzroči depresije dopaminskih nevronov [29]. Nasprotno pa oddaja nagrade po zaviralcu povzroči močno pozitivno napovedno napako in s tem močno aktivacijo dopamina.
Rezultati teh dveh formalnih testov potrjujejo, da dopaminski nevroni kažejo dvosmerno kodiranje napak pri napovedovanju nagrad.
Prilagodljivo kodiranje napak pri napovedovanju nagrad
V splošnem smislu spodbuda za napovedovanje nagrade določa vrednost prihodnjih nagrad z obveščanjem o verjetnostni porazdelitvi vrednosti nagrad. Tako dražljaj označuje pričakovano vrednost (prvi trenutek) in (pričakovano) odstopanje (drugi trenutek) ali standardni odklon porazdelitve.
Odziv na napako napovedovanja vrednosti dopamina je občutljiv tako na prvi kot drugi trenutek predvidene razdelitve nagrade v dveh sekundah po dražljaju. V poskusu lahko različni vizualni dražljaji napovedujejo specifične binarne verjetnostne porazdelitve izenačljivih nagradnih vrednosti z različnimi pričakovanimi vrednostmi in odstopanji. Ker odziv na napako napovedovanja odraža razliko med pridobljeno in pričakovano vrednostjo nagrade, enaka višina prejete nagrade nagrajuje bodisi povečanje bodisi zmanjšanje aktivnosti dopamina, odvisno od tega, ali je ta nagrada večja ali manjša od njene napovedi [23]. Ta rezultat kaže, da kodiranje napak pri napovedovanju vrednosti zagotavlja informacije glede na referenčno ali sidrno vrednost.
Napaka kodiranja napake napovedovanja vrednosti nagrad se prilagaja variaciji ali standardnemu odklonu porazdelitve. Pri binarni porazdelitvi izenačenih nagrad izročitev nagrade z večjo jakostjo znotraj vsake distribucije povzroči enako aktivacijo dopamina z vsako razdelitvijo, kljub večkratnim razlikam 10 med pridobljenimi višinami nagrade (in posledičnimi napakami napovedi vrednosti) [23]. Numerični izračuni razkrivajo, da odziv na dopamin kodira napako napovedovanja vrednosti, deljeno s standardnim odklonom predvidene porazdelitve. To je pomenilo učinkovito normalizacijo ali spreminjanje odziva na napako napovedovanja vrednosti v smislu standardnega odklona, kar kaže, koliko se dobljena vrednost nagrade razlikuje od pričakovane vrednosti v enotah standardnega odklona. Teoretični premisleki kažejo, da lahko signali poučevanja napak, ki se spreminjajo z odstopanjem ali standardnim odklonom in ne s srednjo vrednostjo, posredujejo pri stabilnem učenju, ki je odporno na predvideno tveganje za rezultate [30].
Odziv dopamina za nagrajevanje napovedovalnih dražljajev
Dopaminski nevroni kažejo aktivacije ('vzbujanja') po nagrajevanju, ki napoveduje vidne, slušne in somatosenzorične dražljaje (slika (slika1B) 1B) [31-33]. Odzivi se pojavijo ne glede na senzorične modalitete in prostorski položaj dražljajev ter ne glede na efektorje, ki so gibi rok, ust ali oči.
Aktivacije se monotono povečujejo z verjetnostjo nagrajevanja [18] in velikostjo nagrade, kot je volumen tekočine [23]. Vendar odzivi na dopamin ne razlikujejo med verjetnostjo nagrajevanja in obsegom, dokler je pričakovana vrednost enaka [23]. Tako se zdi, da aktiviranja kodirajo pričakovano vrednost predvidenih porazdelitev verjetnosti nagrad. Pričakovana vrednost je bolj parsimonična razlaga, hrup v nevronskih odzivih pa preprečuje karakterizacijo v smislu pričakovane (subjektivne) uporabnosti. Upoštevajte, da časovno diskontiranje, opisano spodaj, razkriva subjektivno kodiranje in lahko osvetli problem.
Obseg odziva se povečuje s zmanjševanjem vedenjskega reakcijskega časa, kar kaže, da je odziv dopamina občutljiv na motivacijo živali [19]. Pri izbiri med različnimi vrednostmi ali zamudami odziv dopamina na predstavitev izbirnih možnosti odraža prihodnjo izbrano nagrado živali [34] ali najvišjo možno nagrado med dvema možnostma izbire [35].
Med učenjem se aktivacija dopamina za nagrado postopoma zmanjšuje med zaporednimi učnimi preskušanji, hkrati pa se razvije aktivacija spodbude za napovedovanje nagrade [36,37]. Pridobitev kondicioniranega odziva je občutljiva na blokiranje, kar kaže, da igrajo napake predvidevanja vlogo pri pridobivanju odzivov na dopamin na pogojene dražljaje [27]. Prenos odziva na spodbudno napovedovanje dražljajev je v skladu z glavnimi značilnostmi učnih signalov učinkovitih modelov ojačanja časovne razlike [38]. Sprememba odziva ne vključuje povratnega širjenja napovedi napovedovanja v intervalu spodbuda-nagrada v prejšnjih modelih časovnih razlik [27,38], temveč se reproducira v prvotnem modelu časovne razlike in v prvotnih in novejših izvedbah časovnih razlik [6,37,39].
Subjektivno kodiranje vrednosti nagrade, prikazano s časovnim diskontiranjem
Objektivno merjenje subjektivne vrednosti nagrade z izbiro izbire razkriva, da nagrade izgubijo nekaj svoje vrednosti, ko se zamujajo. Pravzaprav podgane, golobi, opice in ljudje pogosto raje prejmejo manjše nagrade kot poznejše večje nagrade [40-42]. Tako se zdi, da subjektivna vrednost nagrade pada z večjimi časovnimi zamiki, čeprav je fizična nagrada in s tem objektivna vrednost nagrade enaka.
Psihometrični ukrepi medtemporalnih vedenjskih odločitev med prej in poznejšimi nagradami prilagodijo obseg zgodnje nagrade do pojava indiferentnosti izbire, definirane kot verjetnost izbire vsake možnosti s p = 0.5. Tako nižja zgodnja nagrada pri izbiri ravnodušnosti kaže na nižjo subjektivno vrednost poznejše nagrade. V našem nedavnem poskusu na opicah so se vrednosti indiferentnosti izbire za nagrade, ki so jih zamudile 4, 8 in 16 s, monotono zmanjšale za približno 25%, 50% in 75%, v primerjavi z nagrado po 2 s [43]. Znižanje ustreza hiperbolični diskontski funkciji.
Odzivi na dopamin na spodbujevalne napovedne dražljaje se monotonsko zmanjšajo med zamudami nagrad 2 na 16 s [25,43], čeprav se enaka fizična nagrada prejme po vsaki zamudi. Ti podatki kažejo, da časovne zamude vplivajo na odzive dopamina, da nagradijo napovedovanje dražljajev na podoben način, kot vplivajo na subjektivno vrednost nagrade, ocenjeno z medtemporalnimi odločitvami. Zanimivo je, da je zmanjšanje odziva na dopamin z zamudo pri nagrajevanju ločljivo od zmanjšanja odziva z nižjo stopnjo nagrade. Ta podobnost kaže, da časovne zamude vplivajo na odzive na dopamin s spremembami vrednosti nagrad. Tako se pri dopaminskih nevronih zdi, da so pozne nagrade kot manjše.
Tako se zdi, da dopaminski nevroni kodirajo subjektivno in ne fizično, objektivno vrednost zapoznelih nagrad. Glede na to, da je uporabnost merilo za subjektivno in ne za objektivno vrednost nagrajevanja, lahko zmanjšanje odziva s časovnim popuščanjem kaže, da dopaminski nevroni kodirajo nagrado kot (subjektivno) koristnost in ne kot (objektivno) vrednost. Nadaljnji poskusi bodo morda pomagali bolj neposredno preizkusiti kodiranje uporabnosti.
Odziv dopamina na averzivne dražljaje
Averzivni dražljaji, kot so vpihovanje zraka, hipertonična fiziološka raztopina in električni šok, povzročajo aktivirajoče ('vzbujevalne') odzive pri majhnem deležu dopaminskih nevronov pri budnih živalih (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), večina dopaminskih nevronov pa je bodisi depresivna v svoji aktivnosti bodisi nanje ne vplivajo averzivni dogodki (slika (slika1C1C zgoraj). V nasprotju z nagradami zračni puhi ne povzročajo dvosmernih odzivov na napake napovedovanja, značilnih za nagrado ; napoved modulira samo averzivne aktivacije [45,46].
Averzivna stimulacija pri anesteziranih živalih povzroča različne, vendar pogosto nizke stopnje večinoma počasnejših, aktivirajočih odzivov (50% [47]; 18% [48]; 17% [49]; 14% [50]) in pogosto zmanjšanja aktivnosti. Nevrofiziološke ponovne raziskave z boljšo identifikacijo dopaminskih nevronov so potrdile splošno nizko pojavnost averzivnih aktivacij dopamina pri anesteziranih živalih [51] in locirale odporno dopaminske nevrone v ventromedialnem tegmentalnem območju srednjega mozga [52].
Kondicionirani zračni zaviralci, ki napovedujejo dražljaje pri budnih opicah, sprožijo aktivacijo v manjšini dopaminskih nevronov in depresije v večjem deležu dopaminskih nevronov (11% [33]; 13% [45]; 37% [46]). Depresivni odzivi prekličejo nekaj aktivacij v povprečnih odzivih populacije dopaminskih nevronov na averzivne dražljaje [33] (glej Slika1C1C spodaj, črno). V eni študiji je pogojeni averzivni dražljaj aktiviral več nevronov kot sam zračni zapor (37% v primerjavi z 11% [46]), čeprav je pogojeni dražljaj manj averziven kot primarni averzivni dogodek, ki ga napoveduje, na primer zračni zastoj. Večje število aktivacij na pogojeni dražljaj v primerjavi z zračnim puhom kaže na obratno razmerje med averzivnostjo in aktivacijo (bolj averziven dražljaj manj pogosta je aktivacija) ali dodatnim, neaverzivnim sestavnim elementom dražljaja, ki je odgovoren za povečanje deleža aktiviranega nevronov od 11% do 37%. Čeprav so bile aktivacije dražljajev v populaciji pozitivno povezane z verjetnostjo puhanja zraka, pri posameznih nevronih niso ocenili [46]. Populacijska korelacija lahko izhaja iz sorazmerno majhnega števila pozitivno koreliranih nevronov znotraj te populacije in resnično averzivne aktivacije dražljajev so lahko bližje 11% kot 37%. V drugi študiji so v velikem deležu dopaminskih nevronov pokazali fazno aktivacijo na pogojene averzivne dražljaje, ko so bili ti predstavljeni naključno z nagradno napovednimi dražljaji iste čutne modalnosti (slika (slika1C1C spodaj, siva) (65% [33]); aktivacije so bili veliko manj pogosti, ko sta imeli obe vrsti pogojenih dražljajev različne senzorične modalitete (slika (slika1C1C spodaj, črna) (11%). V naslednjem poglavju bomo razpravljali o dejavnikih, ki so morda podvrženi tem nepojasnjenim aktivacijam na averzivne in druge, neuveljavljene dražljaje.
Čeprav se nekateri dopaminski nevroni aktivirajo zaradi averzivnih dogodkov, je največja aktivacija dopamina povezana z nagrajevanjem. Podatki, pridobljeni z drugimi metodami, vodijo do podobnih zaključkov. Hitro voltammetrijo skeniranja pri obnašanju podgan kažejo, da se strijatalno sproščanje dopamina sproži z nagrado in premikom k nagrajevanju, ki napoveduje dražljaje po kondicioniranju [53], kar kaže na to, da impulzni odzivi dopaminskih nevronov vodijo do ustreznega sproščanja dopamina iz strij. Povečanje dopamina traja le nekaj sekund in ima zato najkrajši časovni potek vseh nevrokemijskih metod, najbližji elektrofiziološki aktivaciji. Sprostitev dopamina je različna za nagrado (saharoza) in se ne zgodi s kaznijo (kinin) [54]. Ker voltammetrija ocenjuje lokalna povprečja koncentracije dopamina, lahko odsotnost merljivega sproščanja s kininom skrije nekaj aktivacij, ki jih prekliče depresija v odzivu populacije dopamina [33]. Študije z zelo občutljivo in vivo mikrodijalizo zaznajo sproščanje dopamina po averzivnih dražljajih [55].
Ta odziv lahko odraža spremembo dopamina, ki jo povzroči nekaj nevronov, ki jih aktivirajo averzivni dražljaji, čeprav je časovni potek meritev z mikrodializo približno 300-500 krat počasnejši od odziva na impulz in lahko zadostuje za omogočanje presinaptičnih interakcij, da vplivajo na sproščanje dopamina [56] . Motnja hitrega izstreljevanja dopaminskih nevronov moti več privlačnih učnih nalog, obenem pa se bojijo kondicioniranja [9]. Rezultat bi lahko nakazoval učno funkcijo averzivnih odzivov na dopamin, če se izključi nespecifičen, na splošno onemogočljiv učinek nižje koncentracije dopamina, kar je še treba pokazati. Specifična stimulacija dopaminskih nevronov z optogenetskimi metodami s pomočjo gensko vstavljenega kanalhodopina sproži Pavlovianovo prednostno kondicijo pri miših [57]. Nasprotno bi neto averzivni učinek stimulacije z dopaminom verjetno povzročil učenje izogibanja. Ti rezultati potrjujejo pojem o globalni pozitivni krepitvi funkcije dopaminskih sistemov, ki izhajajo iz prejšnjih lezij, električnega samopodražanja in odvisnosti od drog [1,2]. Vendar pa ti argumenti ne postavljajo nobenega pomena, da nagrada ni edina funkcija dopaminskih sistemov niti da vse funkcije nagrajevanja ne vključujejo dopaminskih nevronov.
Fazične aktivacije dopamina ne kodirajo nagrade
Stimuli lahko sprožijo opozorilne in pozorne reakcije, kadar so fizično pomembni (fizična opaznost) ali kadar so povezani z ojačevalci („motivacijska“ ali „afektivna“ izrazitost). Vedenjske reakcije na pomembne dražljaje se ocenjujejo po fizični intenzivnosti dražljajev oziroma vrednosti ojačevalca. Fizična prepoznavnost sploh ni odvisna od okrepitve, motivacijska pa ni odvisna od valencije ojačevalcev (nagrada in kazen).
Odzivi na fizično vidne dražljaje
Fizično intenzivni vidni in slušni dražljaji sprožijo aktivacijo dopaminskih nevronov (slika (slika1D) .1D). Ti odzivi so izboljšani z novostmi o dražljajih [58-60], vendar obstajajo na nižji ravni več mesecev, pod pogojem, da so dražljaji dovolj fizično intenzivni. Odzivi so razvrščeni glede na velikost dražljajev (slika 4 v [15]). Fizična vidnost lahko delno razloži tudi odzive primarnih kaznovalcev z veliko fizično intenzivnostjo [45]. Ti odzivi lahko pomenijo ločeno vrsto odziva na dopamin, ki je povezan s fizičnim poudarkom pozornosti, ki ga povzročajo okoljski dražljaji, ali pa so lahko povezani s pozitivno motivirajočimi in okrepljenimi atributi intenzivnih in novih dražljajev.
Aktiviranje na fizično vidne dražljaje ne kaže na splošno težnjo dopaminskih nevronov, ki jih aktivirajo kateri koli dogodki, ki ustvarjajo pozornost. Zlasti drugi močni pozorni dogodki, kot so opustitev nagrajevanja, pogojeni zaviralci in averzivni dražljaji povzročajo pretežno depresije in redko resnične aktivacije dopamina [14,29]. Zato aktiviranje dopamina s fizično vidnimi dražljaji morda ne predstavlja splošnega opozorila. Odziv na nagrado bo verjetno ločen odziv, ki morda ne bo odražal pozornosti, ki jo povzroča motivacijska značilnost nagrade.
Druge aktivacije za nekodiranje
Drugi dražljaji sprožijo aktivacijo dopaminskih nevronov brez očitnega kodiranja nagradne vrednosti. Te aktivacije so manjše in krajše od odzivov za nagrajevanje napovedovalnih dražljajev in jim pogosto sledi depresija, ko dražljaji niso dodeljeni (slika (slika1E1E).
Dopaminski nevroni pokažejo aktivacijo po kontrolnih dražljajih, ki so predstavljeni v psevdonamerni izmeni z nagrajenimi dražljaji [27,29,32]. Pojavnost aktivacij je odvisna od števila nadomestnih, nagrajenih dražljajev v vedenjski nalogi; aktivacije so pogoste, ko so trije od štirih opravljenih dražljajev nagrajeni (25% -63% [27]) in postanejo redki, če le eden od štirih opravljenih dražljajev ni dodeljen (1% [29]). Ta odvisnost nasprotuje čisto senzorični naravi odziva.
Dopaminski nevroni kažejo precej stereotipno komponento začetne aktivacije na dražljaje, ki napovedujejo nagrade, ki se pojavijo po različnih zamudah [43]. Začetna aktivacija se zelo razlikuje z zamudo pri nagrajevanju, zato se zdi, da ne nagrajuje vrednosti nagrade. Nasprotno pa se naknadna komponenta odziva zmanjšuje z večjimi zamudami in tako kodira (subjektivno) vrednost nagrajevanja (glej zgoraj).
Dopaminski nevroni se pokažejo pogoste aktivacije po pogojenih averzivnih dražljajih, predstavljenih naključno, z nagradno napovednimi dražljaji; aktivacije v veliki meri izginejo, kadar se uporabljajo različne senzorične modalitete (65% v primerjavi z 11% nevronov [33]), kar kaže na kodiranje neavralnih komponent dražljaja. Tudi ko so averzivni in apetitni dražljaji ločeni v različne preskusne bloke, se dopaminski nevroni občutno aktivirajo s kondicioniranimi averzivnimi dražljaji. Vendar pogostejše aktiviranje pogojenih dražljajev v primerjavi z averzivnejšim zajezitvijo primarnega zraka (37% proti 11% [46]) kaže na obratno razmerje do averzivnosti dražljajev in morda neaverzivnih komponent odziva.
Vzroki za tovrstno aktivacijo dopamina so lahko v posploševanju, psevdokondicioniranju ali motiviranosti. Posploševanje izhaja iz podobnosti med dražljaji. Lahko pojasni aktivacijo dopamina v številnih situacijah, in sicer aktiviranje nerevidiranih vidnih dražljajev, ko se ti izmenjujejo z vizualnimi dražljaji, ki napovedujejo nagrado (Slika (slika1E1E levo) [27,29,32]) in začetno, slabo razvrščeno komponento aktivacije, ki nagradi zamude pri napovedovanju dražljajev (slika (Slika1E1E desno) [43]. Generalizacija bi lahko igrala vlogo, kadar dražljaji z različnimi senzoričnimi modalitetami povzročijo manj aktivacije dopamina do nepodprtih dražljajev kot dražljaji z enakimi modalitetami, kot je to vidno pri vizualno averzivnih in slušnih apetitivnih dražljajih (slika (slika1C1C spodaj) [33] .
Psevdokondicioniranje se lahko pojavi, ko primarni ojačevalec postavi kontekstualno ozadje in izzove nespecifične vedenjske odzive na kakršne koli dogodke v tem kontekstu [61]. Ker so dopaminski nevroni zelo občutljivi za nagrajevanje, lahko nagradni kontekst povzroči psevdokondicioniranje na dražljaje, ki so v tem kontekstu in s tem na aktivacijo nevronov. Ta mehanizem lahko temelji na nevronskih aktivacijah na nepodeljene dražljaje, ki se pojavljajo v koristnem kontekstu, kot je laboratorij, v katerem žival prejme vsakodnevne nagrade, ne glede na to, da so dražljaji naključno predstavljeni z nagrajenimi dražljaji ali v ločenih poskusnih blokih [46]. Psevdokondicioniranje lahko pojasni aktivacijo nepodprtih nadzornih dražljajev [27,29,32], večina aktivacij po averzivnih dražljajih [33,45,46] in začetna, slabo razvrščena aktivacijska komponenta, da nagradi zamudne napovedne dražljaje [43]. Tako lahko psevdokondicioniranje nastane zaradi primarne nagrade, ne pa od pogojene dražljaje in vpliva na aktivacijo dopamina tako na pogojene dražljaje kot na primarne ojačevalce, ki se pojavijo v nagrajevalnem kontekstu.
Čeprav se zdi, da dražljaji s precejšnjo fizično izrazitostjo poganjajo dopaminske nevrone [15,58-60] (glej zgoraj), so dražljaji, ki sprožijo nekodnevno kodiranje aktivacije dopamina, pogosto majhni in fizično niso zelo vidni. Motivacijska značilnost je po definiciji običajna za nagrade in kaznovalce, sama pa lahko pojasni aktivacijo za nagrado in kazen v 10-20% dopaminskih nevronov. Nezmogljivi dražljaji lahko postanejo motivacijsko vidni zaradi bližine nagrajevanja in kaznovanja s psevdokondicijo. Vendar se zdi, da so aktivacije dopamina veliko bolj občutljive za nagrajevanje kot kazen. Ker motivacijska značilnost vključuje občutljivost obeh ojačevalcev, lahko motivacijska značilnost, pridobljena s psevdokondicioniranjem, ne razloži dobro nekodiranega kodiranja dopaminskih aktivacij.
Skupaj je lahko veliko aktivacij dopamina, ki ne nagrajujejo, posledica posledica generalizacije dražljajev ali zlasti psevdokondicioniranja. Kljub temu se zdi, da ostanejo resnične aktivacije na nepodprte kontrolne dražljaje ter na primarne in pogojene averzivne dražljaje v omejenem deležu dopaminskih nevronov, ko so ti dejavniki izključeni. Nadaljnji poskusi, ki ocenjujejo take odzive, bi morali uporabiti boljši nadzor in popolnoma odpraviti vse kontekstne povezave med nagrajevanji in dražljaji v laboratoriju.
Glede na aktivacijo kodiranja brez nagrajevanja je smiselno vprašati, kako bi žival razlikovala nagrajevanje od nepodeljenih dražljajev na podlagi odziva na dopamin. Zelo hitra, začetna, psevdokondicionirana in slabo diskriminatorna komponenta odziva lahko nudi časovni dodatek za pospešitev hitrih, privzetih vedenjskih reakcij, ki pomagajo živali zelo hitro odkriti potencialno nagrado [62]. Nasprotno pa komponenta, ki takoj sledi, odkrije resnično naravo dogodka s svojo stopnjo aktivacije z vrednostjo nagrajevanja [43] in svojo pogosto depresijo z nepovratnimi in averzivnimi dražljaji [27,29,32,33] (slika (slika1E) .1E). Poleg tega dopaminski sistem ni edina nagrada za kodiranje možganske strukture, drugi nevronski sistemi, kot so orbitofrontalna skorja, striatum in amigdala, pa lahko nudijo dodatne diskriminatorne informacije.
Signal tveganja za nagrado dopamina
Če signal o nagradi odraža povprečno napako napovedovanja nagrade, pomanjšano s standardnim odklonom porazdelitve verjetnosti nagrade, in če gledamo standardni odklon kot merilo tveganja, ali lahko obstaja neposreden nevronski signal za tveganje? Kadar se verjetnosti nagrajevanja razlikujejo od 0 do 1 in višina nagrade ostane konstantna, se povprečna vrednost nagrajevanja monotonsko poveča z verjetnostjo, medtem ko znesek tveganja sledi obrnjeni funkciji U, ki največ doseže pri p = 0.5 (slika (slika2,2, vstavljena). Pri p = 0.5, obstaja ravno toliko možnosti, da dobite nagrado, kot je, da zamudite nagrado, medtem ko višje in nižje verjetnosti kot p = 0.5 povečujejo dobičke in izgube, zato so povezane z manjšim tveganjem.
Slika 2
Trajne aktivacije, povezane s tveganjem. Odziv na tveganje se pojavi med razmikom nagrajevanja dražljaj (puščica), ki sledi faznemu, aktivaciji dražljaja (trikotniku) povezane vrednosti. Vložek zgoraj desno kaže, da se tveganje (ordinata) spreminja glede na (več…)
Približno tretjina nevronov dopamina kaže razmeroma počasno, zmerno, statistično pomembno aktivacijo, ki se postopoma povečuje v intervalu med spodbudno napovedno stimulacijo in nagrado; ta odziv se razlikuje monotono glede na tveganje (slika (slika2) 2) [18]. Aktivacija se pojavi v posameznih preskušanjih in se zdi, da ne predstavlja odziva na napako napovedovanja, ki se širi od nagrade do spodbude, ki napoveduje nagrado. Aktivacija se monotono poveča tudi s standardnim odklonom ali variacijo, kadar se uporabljajo binarne porazdelitve različnih enakovrednih, ničelnih vrednosti nagrajevanja. Tako se zdi, da je standardni odklon ali variacija izvedljiva merila za tveganje, ki jih kodirajo dopaminski nevroni. Aktivnosti, povezane s tveganjem, imajo daljše zamude (približno 1-ov), počasnejše časovne poteke in nižje vrhove v primerjavi z odzivi na nagrado na spodbude in nagrado.
Zaradi manjše velikosti lahko signal tveganja povzroči nižje sproščanje dopamina pri varikozitetah dopamina v primerjavi z več faznimi aktivacijami, ki kodirajo nagrajeno vrednost. Relativno nizka koncentracija dopamina, ki jo lahko povzroči signal tveganja, lahko aktivira D2 receptorje, ki so večinoma v stanju visoke afinitete, ne pa tudi D1 receptorjev z nizko afiniteto [63]. Nasprotno pa bi lahko odziv na višjo fazo nagrajevanja privedel do več koncentracij dopamina, ki so dovolj kratke za aktiviranje D1 receptorjev v stanju večinoma nizke afinitete. Tako se lahko oba signala razlikujeta po postsinaptičnih nevronih na podlagi aktiviranih različnih dopaminskih receptorjev. Poleg tega bi vrednost dopaminskih vrednosti in signala tveganja skupaj povzročila skoraj istočasno aktiviranje D1 in D2 receptorjev, kar je v mnogih normalnih in kliničnih situacijah bistvenega pomena za ustrezne funkcije, odvisne od dopamina.
Signal tveganja za dopamin ima lahko več funkcij. Prvič, lahko vpliva na skaliranje takoj po odzivu na napako napovedovanja s standardnim odklonom takoj po nagradi [23]. Drugič, lahko bi povečalo sproščanje dopamina, ki ga povzroči takoj po odzivu na napako napovedovanja. Ker tveganje vzbuja pozornost, bi bilo povečanje potencialnega učnega signala s tveganjem združljivo z vlogo pozornosti pri učenju v skladu s teorijami učenja o združljivosti [64,65]. Tretjič, lahko prispeva k možganskim strukturam, ki sodelujejo pri oceni tveganja za nagrado. Četrtič, v kombinaciji s pristopom povprečne razlike v teoriji finančnih odločitev [66] bi lahko združil z ekonomsko pričakovano vrednostjo signala, da bi predstavljal veliko informacij o pričakovani uporabnosti za posameznike, občutljive na tveganje. Vendar pa je zamuda približno 1 s predolga, da bi signal lahko takoj odigral vlogo pri izbirah v negotovosti.
Konkurenčni interesi
Avtor izjavlja, da nima konkurenčnih interesov.
Prispevki avtorjev
WS je napisal prispevek.
Priznanja
Ta pregled je bil napisan ob simpoziju o hiperaktivni motnji s pomanjkanjem pozornosti (ADHD) v Oslu na Norveškem, februarja 2010. Naše delo so podprli Wellcome Trust, Švicarska nacionalna znanstvena fundacija, Znanstveni program Human Frontiers in druge agencije za štipendije in štipendije.
Reference
1. Wise RA, Rompre PP. Možgansko dopamin in nagrado. Ann Rev Psychol. 1989; 40: 191 – 225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Okrepitev nevronskih sistemov zaradi odvisnosti od drog: od dejanj do navad do prisile. Nat Neurosci. 2005; 8: 1481 – 1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]
3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Zborniki Imp. Acad. Sci. St. Petersburg) 1738; 5: 175 – 192. Prevedeno kot: Izpostavitev nove teorije o merjenju tveganja. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Prediktivno kodiranje v vizualni skorji: funkcionalna razlaga nekaterih ekstra klasičnih učinkov receptivnega polja. Nat Neurosci. 1999; 2: 79 – 87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]
5. Rescorla RA, Wagner AR. V: Klasično stanje II: Aktualno raziskovanje in teorija. Črna AH, Prokasy WF, urednik. New York: Appleton Century Crofts; 1972. Teorija Pavlovičeve kondicioniranja: razlike v učinkovitosti ojačitve in ojačanja; strani 64 – 99.
6. Sutton RS, Barto AG. V smeri sodobne teorije prilagodljivih omrežij: pričakovanja in napovedovanja. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]
7. Kamin LJ. V: Temeljna vprašanja instrumentalnega učenja. Mackintosh NJ, Honig WK, urednik. Halifax: Dalhousie University Press; 1969. Izbirno povezovanje in kondicioniranje; strani 42 – 64.
8. Blythe SN, Atherton JF, Bevan dr. Sinaptična aktivacija dendritičnih AMPA in NMDA receptorjev in vitro povzroči prehodno visokofrekvenčno odstranjevanje v nevronih substantia nigra. J Nevrofiziol. 2007; 97: 2837 – 2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]
9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Motnje NMDAR odpornega rafala dopaminskih nevronov omogoča selektivno oceno faznega od dopamina odvisnega vedenja. Proc Natl Acad Sci. 2009; 106: 7281 – 7288. doi: 10.1073 / pnas.0813415106. [PMC brezplačni članek] [PubMed] [Cross Ref]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Plastičnost, odvisna od razpoka in časovne razporeditve NMDA, posredovane z receptorji, v nevronih srednjega možgana. Neuron. 2009; 62: 826 – 838. doi: 10.1016 / j.neuron.2009.05.011. [PMC brezplačni članek] [PubMed] [Cross Ref]
11. Jones S, Bonci A. Sinaptična plastičnost in odvisnost od drog. Curr Opin Pharmacol. 2005; 5: 20 – 25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]
12. Kauer JA, Malenka RC. Sinaptična plastičnost in odvisnost. Nat Rev Neurosci. 2007; 8: 844 – 858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]
13. Ljungberg T, Apicella P, Schultz W. Odzivi dopaminskih nevronov opic v srednjem mozgu med zaporedno izvedbo izmeničnih sprememb. Možgani Res. 1991; 586: 337 – 341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz W, Apicella P, Ljungberg T. Odzivi opičjih dopaminskih nevronov za nagrajevanje in pogojevanje dražljajev med zaporednimi koraki učenja naloge z zapoznelim odzivom. J Nevrosci. 1993; 13: 900 – 913. [PubMed]
15. Schultz W. Napovedni nagradni signal dopaminskih nevronov. J Nevrofiziol. 1998; 80: 1 – 27. [PubMed]
16. Schultz W, Dayan P, Montague RR. Nevronski substrat napovedovanja in nagrajevanja. Znanost. 1997; 275: 1593 – 1599. doi: 10.1126 / znanost.275.5306.1593. [PubMed] [Cross Ref]
17. Hollerman JR, Schultz W. Dopaminski nevroni poročajo o napaki v časovni napovedi nagrade med učenjem. Narava Nevrosci. 1998; 1: 304 – 309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]
18. Fiorillo CD, Tobler PN, Schultz W. Diskretno kodiranje verjetnosti in negotovosti nagrade dopaminskih nevronov. Znanost. 2003; 299: 1898 – 1902. doi: 10.1126 / znanost.1077349. [PubMed] [Cross Ref]
19. Satoh T, Nakai S, Sato T, Kimura M. Korelirano kodiranje motivacije in izida odločitve dopaminskih nevronov. J Nevrosci. 2003; 23: 9913 – 9923. [PubMed]
20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Sovpadajoča, vendar različna sporočila dopamina srednjega možganov in striatalnih tonično aktivnih nevronov. Neuron. 2004; 43: 133 – 143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Nevroni dopamina lahko predstavljajo kontekstno odvisno napako napovedovanja. Neuron. 2004; 41: 269 – 280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]
22. Bayer HM, Glimcher PW. Dopaminski nevroni srednjega možganov kodirajo količinsko napako napovedi napake. Neuron. 2005; 47: 129 – 141. doi: 10.1016 / j.neuron.2005.05.020. [PMC brezplačni članek] [PubMed] [Cross Ref]
23. Tobler PN, CD Fiorillo, Schultz W. Prilagodljivo kodiranje vrednosti nagrade dopaminskih nevronov. Znanost. 2005; 307: 1642 – 1645. doi: 10.1126 / znanost.1105370. [PubMed] [Cross Ref]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Človeški nevroni substantia nigra kodirajo nepričakovane finančne nagrade. Znanost. 2009; 323: 1496 – 1499. doi: 10.1126 / znanost.1167342. [PMC brezplačni članek] [PubMed] [Cross Ref]
25. Fiorillo CD, Newsome WT, Schultz W. Časovna natančnost napovedovanja nagrad v nevronih dopamina. Nat Neurosci. 2008; 11: 966 – 973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Statistika dopaminskih nevronskih konic trenira budnega primata. J Nevrofiziol. 2007; 98: 1428 – 1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]
27. Waelti P, Dickinson A, Schultz W. Dopaminski odgovori so skladni z osnovnimi predpostavkami formalne teorije učenja. Narava. 2001; 412: 43 – 48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]
28. Rescorla RA. Pavlovijska pogojena inhibicija. Psihola Bik. 1969; 72: 77 – 94. doi: 10.1037 / h0027760.
29. Tobler PN, Dickinson A, Schultz W. Kodiranje predvidene opustitve nagrade dopaminskih nevronov v pogojeni paradigmi inhibicije. J Nevrosci. 2003; 23: 10402 – 10410. [PubMed]
30. Preuschoff, Bossaerts P. Dodajanje tveganja napovedovanja teoriji nagrajevanja. Ann NY Acad Sci. 2007; 1104: 135 – 146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]
31. Romo R, Schultz W. Dopaminski nevroni opice srednjega mozga: Pogojne reakcije na aktivni dotik med samoiniciativnimi gibi roke. J Nevrofiziol. 1990; 63: 592 – 606. [PubMed]
32. Schultz W, Romo R. Dopaminski nevroni opice srednjega mozga: Pogosti odzivi na dražljaje, ki sprožijo takojšnje vedenjske reakcije. J Nevrofiziol. 1990; 63: 607 – 624. [PubMed]
33. Mirenowicz J, Schultz W. Prednostna aktivacija dopaminskih nevronov srednjega možganov z apetitnimi in ne averzivnimi dražljaji. Narava. 1996; 379: 449 – 451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Srednji možganski dopaminski nevroni kodirajo odločitve za prihodnje ukrepanje. Nat Neurosci. 2006; 9: 1057 – 1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]
35. Roesch MR, Calu DJ, Schoenbaum G. Dopaminski nevroni kodirajo boljšo možnost pri podganah, ki se odločajo med različno zapoznelimi ali velikostnimi nagradami. Nat Neurosci. 2007; 10: 1615 – 1624. doi: 10.1038 / nn2013. [PMC brezplačni članek] [PubMed] [Cross Ref]
36. Takikawa Y, Kawagoe R, Hikosaka O. Možna vloga dopaminskih nevronov srednjega mozga pri kratko- in dolgoročni prilagoditvi sakade na preslikavo položaja in nagrade. J Nevrofiziol. 2004; 92: 2520 – 2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]
37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopaminske celice se odzovejo na predvidene dogodke med klasičnim pogojem: Dokazi o sledeh o upravičenosti v mreži nagrajevanja. J Nevrosci. 2005; 25: 6235 – 6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]
38. Montague PR, Dayan P, Sejnowski TJ. Okvir za mesecefalične dopaminske sisteme, ki temelji na prediktivnem hebbijskem učenju. J Nevrosci. 1996; 16: 1936 – 1947. [PubMed]
39. Suri R, Schultz W. Nevronska mreža z ojačitvenim signalom v obliki dopamina, ki se uči prostorsko nalogo z odloženim odzivom. Nevroznanost. 1999; 91: 871 – 890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]
40. Ainslie G. Dragocene nagrade: vedenjska teorija impulzivnosti in nadzora nad impulzi. Psych Bik. 1975; 82: 463 – 496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Prilagajanje zamude okrepitvi: primerjava izbire golobov in ljudi. J Exp Psholhol Anim Behav Process. 1988; 14: 105 – 117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]
42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Določitev popustnih funkcij pri podganah s postopkom prilagoditve količine. J Exp Anal Behav. 1997; 67: 353 – 366. doi: 10.1901 / jeab.1997.67-353. [PMC brezplačni članek] [PubMed] [Cross Ref]
43. Kobayashi S, Schultz W. Vpliv zamud pri nagrajevanju na odzive dopaminskih nevronov. J Nevrosci. 2008; 28: 7837 – 7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]
44. Guarraci FA, Kapp BS. Elektrofiziološka karakterizacija dopaminergičnih nevronov ventralnega tegmentalnega območja med diferencialnim pavlovianskim kondicijskim strahom pri budnem zajcu. Behav možgani Res. 1999; 99: 169 – 179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]
45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Srednji možganski dopaminergični nevroni in strijatalni holinergični internevroni kodirajo razliko med nagradnimi in averzivnimi dogodki v različnih obdobjih verjetnostnih klasičnih preskušanj kondicioniranja. J Nevrosci. 2008; 28: 1673 – 11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. Dve vrsti dopaminskega nevrona izrazito prenašata pozitivne in negativne motivacijske signale. Narava. 2009; 459: 837 – 841. doi: 10.1038 / narava08028. [PMC brezplačni članek] [PubMed] [Cross Ref]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Senzorični dražljaji spreminjajo hitrost praznjenja dopaminskih (DA) nevronov: dokazi za dve funkcionalni vrsti DA celic v substantia nigra. Možgani Res. 1980; 189: 544 – 549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]
48. Mantz J, Thierry AM, Glowinski J. Vpliv zdravju škodljivega repa na hitrost praznjenja mezokortikalnih in mezolimbičnih dopaminskih nevronov: selektivna aktivacija mezokortikalnega sistema. Možgani Res. 1989; 476: 377 – 381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]
49. Schultz W, Romo R. Odzivi nigrostriatalnih dopaminskih nevronov na somatosenzorično stimulacijo visoke intenzitete pri anestezirani opici. J Nevrofiziol. 1987; 57: 201 – 217. [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptivni odzivi dopaminergičnih nevronov srednjega mozga modulirajo superiorni kolikulus pri podganah. Nevroznanost. 2006; 139: 1479 – 1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]
51. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktivnost nevrokemično heterogenih dopaminergičnih nevronov v substantia nigra med spontanimi in gibalnimi spremembami možganskega stanja. J Nevrosci. 2009; 29: 2915 – 2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]
52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fazno vzbujanje dopaminskih nevronov v ventralni VTA s škodljivimi dražljaji. Proc Natl Acad Sci ZDA. 2009; 106: 4894 – 4899. doi: 10.1073 / pnas.0811507106. [PMC brezplačni članek] [PubMed] [Cross Ref]
53. Dan JJ, Roitman MF, Wightman RM, Carelli RM. Pridružljivo učenje posreduje dinamične premike v dopaminski signalizaciji v jedru jedra. Nat Neurosci. 2007; 10: 1020 – 1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Kemični odzivi v jedru v realnem času razlikujejo nagrajevalne in averzivne dražljaje. Nat Neurosci. 2008; 11: 1376 – 1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]
55. Mladi AMJ. Povečan zunajcelični dopamin v jedru se pojavi kot odziv na brezpogojne in pogojene averzivne dražljaje: študije z uporabo mikrodializacije 1 min pri podganah. J Nevrosci Meth. 2004; 138: 57 – 63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Schultz W. Več funkcij dopamina v različnih časovnih tečajih. Ann Rev Neurosci. 2007; 30: 259 – 288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]
57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fazalno streljanje v dopaminergičnih nevronih zadostuje za vedenjsko kondicijo. Znanost. 2009; 324: 1080 – 1084. doi: 10.1126 / znanost.1168878. [PubMed] [Cross Ref]
58. Strecker RE, Jacobs BL. Aktivnost dopaminergične enote substantia nigra pri obnašanju mačk: Vpliv vzburjenja na spontani izcedek in senzorično aktivnost. Možgani Res. 1985; 361: 339 – 350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]
59. Ljungberg T, Apicella P, Schultz W. Odzivi opičjih dopaminskih nevronov med učenjem vedenjskih reakcij. J Nevrofiziol. 1992; 67: 145 – 163. [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. Potek aktivnosti ventralnih tegmentalnih dopaminskih nevronov povzročajo čutni dražljaji pri budni mački. Možgani Res. 1997; 759: 251 – 258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]
61. Sheafor PJ. Psevdokondicionirani čeljustni premiki zajca odražajo povezave, ki so pogojene s kontekstualnimi znaki ozadja. J Exp Psychol: Anim Behav Proc. 1975; 104: 245 – 260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamin: posplošitev in bonusi. Nevronska mreža. 2002; 15: 549 – 559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]
63. Richfield EK, Pennney JB, Young AB. Primerjave anatomskega stanja in afinitete med receptorji za dopamin D1 in D2 v centralnem živčnem sistemu podgan. Nevroznanost. 1989; 30: 767 – 777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]
64. Mackintosh NJ. Teorija pozornosti: Razlike v povezanosti dražljaja z okrepitvijo. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65. Pearce JM, Hall G. Model Pavlovianove kondicioniranja: razlike v učinkovitosti pogojenih, ne pa brezpogojnih dražljajev. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]
66. Levy H, Markowitz HM. Približevanje pričakovane uporabnosti s pomočjo srednje vrednosti in odstopanja. Am Econ Rev. 1979; 69: 308 – 317.
;
