Wolfram Schultz 1
Behav Brain Funct. 2010; 6: 24.
Avaldatud Internetis 2010 April 23. doi: 10.1186 / 1744-9081-6-24.
TÄIELIKU UURIMINE: Dopamiini signaalid tasu väärtuse ja riski alusel ning hiljutised andmed
1Füsioloogia, arengu ja neuroteaduse osakond, Cambridge'i ülikool, Downing Street, Cambridge CB2 3DY, Suurbritannia
Vastav autor.
Wolfram Schultz: [meiliga kaitstud]
Abstraktne
Taust
Varasemad kahjustused, elektrilised iseenesest stimuleerivad ja narkomaania uuringud näitavad, et aju dopamiinisüsteemid on aju tasusüsteemi osad. See ülevaade annab ajakohastatud ülevaate dopamiini neuronite keskkonnaalaste stiimulite põhisignaalidest.
Meetodid
Kirjeldatud katsetes kasutati standardsete käitumuslike ja neurofüsioloogiliste meetoditega üksikute dopamiini neuronite aktiivsuse registreerimist ärkvel olevates ahvides spetsiifiliste käitumuslike ülesannete ajal.
Tulemused
Dopamiini neuronitel on välised stimulatsioonid faasilised. Signaal peegeldab tasu, füüsilist tähelepanu, riski ja karistust vastavate neuronite fraktsioonide kahanevas järjekorras. Oodatav tasu väärtus on peamine majandusliku valiku otsustaja. Tasu vastuse koodid premeerivad väärtust, tõenäosust ja nende summeeritud toodet, eeldatavat väärtust. Neuronite kood annab premeerimisväärtuse, kuna see erineb prognoosimisest, täites seega kahesuunalise prognoosi vea õpetamise signaali, mis on õpitavale teooriale postuleeritud, põhinõue. Seda vastust mõõdetakse standardhälbe ühikutes. Seevastu näitavad suhteliselt vähesed dopamiini neuronid karistuste ja konditsioneeritud aversiivsete stiimulite järgset faasilist aktivatsiooni, mis viitab tasu vastuse ja üldise tähelepanu ja ärevuse vahelise seose puudumisele. Suure osa dopamiini neuronitest aktiveerivad ka intensiivsed, füüsiliselt olulised stiimulid. See reaktsioon suureneb, kui stiimulid on uudsed; tundub, et see erineb tasu väärtuse signaalist. Dopamiini neuronid näitavad ka mittespetsiifilist aktivatsiooni mitte-rahuldust andvatele stiimulitele, mis võivad olla tingitud üldistumisest sarnaste stiimulite ja pseudokonditsioneerimise teel primaarsete hüvedega. Need aktivatsioonid on lühemad kui tasulised vastused ja neile järgneb sageli aktiivsuse vähenemine. Eraldi aeglasem dopamiini signaal teavitab riskist, teine oluline muutuja. Ennustusvea vastus toimub ainult tasu eest; seda vähendatakse prognoositava tasu riskiga.
Järeldused
Neurofüsioloogilised uuringud näitavad faasilisi dopamiini signaale, mis edastavad informatsiooni, mis on valdavalt, kuid mitte ainult, tasu eest tasumiseks. Kuigi dopamiini signaal ei ole täielikult homogeenne, on see enamikus teistest eesmärkidega käitumisega seotud aju struktuuridest piiratum ja stereotüüpsem kui neuronaalne aktiivsus.
Taust
Kahjustuste ja psühhofarmakoloogiliste uuringute tulemused näitavad laia valikut käitumisfunktsioone keskjoonte dopamiinisüsteemide jaoks. Põhiküsimus on see, millist neist paljudest funktsioonidest kodeerib aktiivselt kiire neuronaalsete mehhanismidega ühilduv faasiline dopamiini signaal? Hea vihje on narkomaaniast ja elektrilisest iseenesest stimuleerimisest, mis viitab sellele, et dopamiini aktiivsus on kasulik ja lähenev [1,2].
Me saame määratleda hüved kui objektid või sündmused, mis tekitavad lähenemist ja tarbivat käitumist, toodavad sellise käitumise õppimist, esindavad majandusotsuste positiivseid tulemusi ning kaasavad positiivseid emotsioone ja hedoonilisi tundeid. Auhinnad on üliolulised individuaalsete ja geenide ellujäämiseks ning toetavad elementaarseid protsesse, nagu joomine, söömine ja paljunemine. See käitumuslik määratlus omistab premeerimisfunktsioonile ka teatavad mittekasutatavad ja mitteeksuaalsed üksused, sealhulgas raha, tehnilised esemed, esteetilised stiimulid ja vaimsed sündmused. Auhinnad kaasavad agendid sellistesse erinevatesse käitumistesse nagu toitumine ja kauplemine aktsiaturgudel.
Põhimõisted
Preemiatel on konkreetne suurus ja see toimub konkreetse tõenäosusega. Agentide eesmärk on optimeerida valikuvõimalusi nende valikute vahel, mille väärtused määrab valikuobjekti tüüp ning selle suurus ja tõenäosus [3]. Seetõttu saab preemiaid adekvaatselt kirjeldada preemiaväärtuste tõenäosusjaotustega. Ideaalses maailmas järgivad need jaotused Gaussi funktsiooni, kusjuures äärmuslikke hüvesid esineb harvemini kui vahetulemusi. Eksperimentaalsetes testides kasutatakse sageli binaarseid tõenäosuse jaotusi samaväärsete väärtustega (iga preemia väärtus toimub p = 0.5 juures). Gaussi ja binaarseid tõenäosusjaotusi kirjeldavad täielikult matemaatiline eeldatav väärtus (tõenäosusjaotuse esimene hetk) ja väärtuste hajutused või kõrvalekalded keskmisest, nimelt (oodatav) dispersioon (teine hetk) või (oodatav) standardhälve (ruutjuur) dispersioon). Dispersiooni ja standardhälvet peetakse sageli riskimõõturiteks. Käitumisökonoomikas tähistab mõiste „risk“ ebakindluse vormi, mille puhul on tõenäosusjaotus teada, samas kui „ebaselgus“ osutab tõenäosuste mittetäielikule tundmisele ja seda nimetatakse sageli lihtsalt „määramatuseks“. Risk viitab pigem võiduvõimalusele või kaotusele, kui kitsamale mõistuse seosele kaotusega.
Ennustused on teadliku otsuse tegemisel äärmiselt olulised, pakkudes eelnevalt teavet võimalike valikuvõimaluste kohta, mitte aga oletusi, mis tekivad siis, kui tulemused on teadmata. Kuna tasu saab kvantifitseerida väärtuse tõenäosusjaotustega, määravad tasu ennustused jaotuse eeldatava väärtuse ja (oodatava) dispersiooni või standardhälbe.
Evolutsiooniline surve soodustab teabe energiatõhusat töötlemist. Üks võimalik lahendus on ennustada ennustusi tulevaste sündmuste kohta kõrgemates aju keskustes ja arvutada madalamate aju keskuste vahel uue keskkonnaalase teabe ja salvestatud prognoosi vahele. Tegeliku sündmuse ja selle ennustuse vahelist erinevust nimetatakse sündmuse ennustusveaks. Muutuva keskkonnaseisundi järgimine kõrgemate aju keskuste puhul tähendaks lihtsalt prognooside ajakohastamist vähem informatsiooni sisaldavate ja vähem energiat tarbivate prognoosivigadega, mitte täieliku perifeerse teabe töötlemist iga kord, kui üks väike asi on muutunud [4]. Sel viisil on kõrgematel aju keskustel juurdepääs täielikule teabele välise maailma kohta, et saada arusaamu, otsuseid ja käitumuslikke reaktsioone palju väiksema energiakuluga. Prognooside selline põhiomadus toob kaasa jälgitava nähtuse, mis on määratletud käitumise muutustega, mis põhinevad uuendatud prognoosidel.
Loomade õppimise teooria ja efektiivsed ajaliste erinevuste tugevdamise mudelid väidavad, et tulemuste ennustamise vead on Pavlovi ja operandi tingimise jaoks üliolulised [5,6]. Praegused vaated kontseptualiseerivad Pavlovi õppimist kui ennustuse omandamise mis tahes vormi, mis viib vegetatiivsete reaktsioonide või lihaste vöötmete kokkutõmbumiseni, kui tulemus ei sõltu käitumuslikust reaktsioonist. Seega edastavad Pavlovi preemiaennustused teavet mitte ainult preemia väärtuse (oodatava väärtuse), vaid ka tulevaste hüvede riski (variatsiooni) kohta, mis kujutab endast Pavlovi sada aastat tagasi pakutud kontseptsiooni olulist laiendust. Ennustusvigade tähtsus põhineb Kamini blokeerival toimel [7], mis näitab, et õppimine ja väljasuremine arenevad edasi ainult niivõrd, kuivõrd tugevdaja on prognoositust parem või halvem; õppimine aeglustub järk-järgult, kui ennustus läheneb asümptootiliselt tugevdaja väärtusele.
Dopamiini vastus tasu vastuvõtmisele
Enamus keskaju aju dopamiini neuroneid (75–80%) näitavad ajaliselt ettearvamatute toidu- ja vedelike tasude korral pigem stereotüüpset faasilist aktivatsiooni latentsusajaga <100 ms ja kestusega <200 ms (joonis (joonis 1A). 1A). See plahvatusreaktsioon sõltub dopamiini neuronitel paiknevate glutamatergiliste NMDA ja AMPA retseptorite aktivatsioonist ja plastilisusest [8-12]. Plahvatus on kriitiline selliste isuäratavate ülesannete käitumisharjumuste õppimiseks, nagu tingimuslik koha-eelistus ja T-labürindi valik toidu või kokaiini tasustamiseks ning tingimuslikele hirmureaktsioonidele [9].
Joonis 1
Dopamiini neuronite neurofüsioloogilise impulssaktiivsuse faasilised aktiveerimised. V: faasiline aktiveerimine pärast esmaseid hüvesid. B: faasilised aktiveerimised, mis järgnevad konditsioneeritud, tasu ennustavatele stiimulitele. C: Ülemine: faasilise aktiveerimise puudumine pärast esmast (veel ...)
Auhinnaprognoosi vea kodeerimine
Dopamiini vastus tasu andmisele näib kodeerivat ennustusviga; prognoositust parem tasu tekitab aktiveerimise (positiivse prognoosi vea), täielikult ennustatav tasu ei anna vastust ja ennustust halvem tasu põhjustab depressiooni (negatiivne viga) [13-24]. Seega rakendab dopamiini vastus täielikult Rescorla-Wagneri õppemudeli olulist tähtaega ja sarnaneb tähelepanelikult tõhusate ajaliste erinevuste tugevdamise õppe mudelite õpetussignaaliga [6,23].
Vea vastus varieerub kvantitatiivselt erinevusega saadud tasu väärtuse ja oodatava tasu väärtuse vahel [18-23]. Ennustusvea vastus on tundlik jutuajamise aja suhtes; viivitusega tasu indutseerib depressiooni algsel ajal ja aktiveerimist oma uuel ajal [24,25]. Kvantitatiivne veakood on ilmne positiivsete prognoosivigade kajastavate aktsioonide puhul. Seevastu negatiivsete ennustusvigadega esinev depressioon näitab loomulikult kitsamat dünaamilist vahemikku, kuna neuronaalne aktiivsus ei saa langeda alla nulli ja asjakohane kvantitatiivne hindamine nõuab kogu depressiooni perioodi arvestamist [26].
Seega reageerivad dopamiini neuronid tasule ainult sel määral, mil see erineb prognoosist. Kuna ennustus pärineb varem kogenud tasust, aktiveeritakse dopamiini neuronid ainult siis, kui praegune tasu on parem kui eelmine tasu. Sama tasu taas ei aktiveeri dopamiini neuroneid. Kui dopamiini neuronite aktiveerimisel on positiivne tugevdav toime käitumisele, annavad dopamiinergiliste mehhanismide kaudu jätkuvat tugevdamist ainult suurenevad hüved. See võib olla üks põhjus, miks pidev, muutumatu hüved kaotavad oma stimuleeriva mõju ja miks me vajame alati rohkem tasu.
Ranged testid tasu prognoosimise vea kodeerimiseks
Loomade õppimise teooria on välja töötanud formaalsed paradigmad tasu ennustusvigade testimiseks. Blokeerimiskatses [7] ei saa täielikult ennustatava tasuga seotud stiimulit õppida ja seega ei muutu see kehtiva tasu ennustajaks. Blokeeritud stiimulile järgneva tasu puudumine ei kujuta endast ennustusviga ja ei too kaasa reaktsiooni dopamiini neuronites, isegi pärast ulatuslikku stimuleeriva taseme sidumist [27]. Seevastu tasu saamine pärast blokeeritud stiimulit kujutab endast positiivset ennustusviga ja põhjustab seega dopamiini aktivatsiooni.
Konditsioneeritud inhibeerimise paradigma [28] pakub ennustusvigade jaoks täiendavat testi. Meie katsetes kasutatavas ülesannetes esitatakse test-stiimul koos väljakujunenud tasu ennustava stiimuliga, kuid pärast ühendit ei anta mingit tasu, mis teeb test-stiimuliks tasu puudumise ennustaja. Pärast sellist konditsioneeritud inhibiitorit ei anna preemia väljajätmine negatiivset ennustusviga ja seetõttu ei indutseeri depressiooni dopamiini neuronites [29]. Seevastu tasu maksmine pärast inhibiitorit tekitab tugeva positiivse prognoosivea ja seega tugeva dopamiini aktiveerimise.
Nende kahe formaalse testi tulemused kinnitavad, et dopamiini neuronitel on tasu ennustusvigade kahesuunaline kodeerimine.
Adaptiivne tasu ennustamisvea kodeerimine
Üldiselt määratleb tasu ennustav stiimul tulevaste hüvede väärtuse, teavitades tasu väärtuste tõenäosusjaotusest. Seega näitab stiimul eeldatavat väärtust (esimene moment) ja (oodatud) variatsiooni (teine moment) või jaotuse standardhälvet.
Dopamiini väärtuse ennustusvea vastus on tundlik nii ennustatava tasu jaotamise esimese kui ka teise momendi suhtes kahe sekundi jooksul pärast stiimulit. Eksperimendis võivad erinevad visuaalsed stiimulid prognoosida spetsiifilisi binaarset tõenäosusjaotust võrdsete eeldatavate väärtuste ja erinevate eeldatavate väärtuste ja variatsioonidega. Kuna ennustusvea vastus peegeldab saadud ja oodatava tasu väärtuse erinevust, siis saadakse saadud tasu identne suurus kas dopamiini aktiivsuse suurenemine või vähenemine sõltuvalt sellest, kas see tasu on suurem või väiksem kui ennustus, vastavalt [23]. See tulemus viitab sellele, et väärtuse prognoosimise vea kodeerimine annab teavet võrdlus- või ankurväärtuse kohta.
Tasu väärtuse ennustamisvea dopamiini kodeerimine kohandub jaotuse variatsioonile või standardhälbele. Võrreldavate tasude kahekomponentses jaotuses tekitab igas jaotuses suurema suurusega tasu andmine iga jaotusega sama dopamiini aktivatsiooni, hoolimata 10i korduvatest erinevustest saadud tasu suuruste (ja saadud väärtuse ennustusvigade) vahel [23]. Numbrilised arvutused näitavad, et dopamiini vastus kodeerib väärtuse ennustamise viga, mis on jagatud prognoositava jaotuse standardhälbega. See moodustas väärtuse ennustusvea vastuse tõhusa normaliseerimise või skaleerimise standardhälbe alusel, mis näitab, kui palju saadud tasu väärtus erineb eeldatavast väärtusest standardhälbe ühikutes. Teoreetilised kaalutlused viitavad sellele, et vigade õpetamise signaalid, mis on varieerunud pigem dispersiooni või standardhälbe kui keskmise abil, võivad vahendada stabiilset õppimist, mis on vastupidine tulemuste prognoositud riskile [30].
Dopamiini vastus tasu ennustavatele stiimulitele
Dopamiinneuronid näitavad preemiat, mis ennustab nägemis-, kuulmis- ja somatosensoorset stiimulit (joonis (joonis 1B) 1B) [31-33]. Vastused toimuvad sõltumata stiimulite sensoorsetest viisidest ja ruumilisest asendist ning olenemata sellest, kas efektorid on käe, suu või silma liikumised.
Aktiveerimised suurenevad monotoonselt tasu tõenäosusega [18] ja tasu suurus, näiteks vedeliku maht [23]. Dopamiini vastused ei erista siiski tasu tõenäosust ja suurust seni, kuni eeldatav väärtus on identne [23]. Seega näivad aktivatsioonid ette ennustatavate tasu tõenäosuse jaotuste eeldatavat väärtust. Oodatav väärtus on parsimoonne selgitus ja neuronite vastuste müra takistab eeldatava (subjektiivse) kasulikkuse iseloomustamist. Pange tähele, et allpool kirjeldatud ajaline diskonteerimine näitab subjektiivset kodeerimist ja võib anda mõningase valguse.
Reaktsiooni suurus suureneb käitumusliku reaktsiooniaja vähenemisega, mis näitab, et dopamiinivastus on tundlik looma motivatsiooni suhtes [19]. Erinevate tasuväärtuste või viivituste vaheliste valikute puhul peegeldavad dopamiini vastused valikuvõimaluste esitamisele looma tulevast valitud tasu [34] või kahest saadaolevast valikuvõimalusest suurimat võimalikku tasu [35].
Õppimise käigus väheneb järk-järgult dopamiini aktiveerimine tasu eest järjestikustes õpikatsetes ja aktiveerimine tasu ennustava stiimuliga areneb samal ajal [36,37]. Konditsioneeritud reageerimise omandamine on tundlik blokeerimise suhtes, mis näitab, et ennustusvead mängivad rolli dopamiini vastuste saamisel konditsioneeritud stiimulitele [27]. Vastuse ülekandmine tasu ennustavatele stiimulitele vastab tõhusate ajaliste erinevuste tugevdamise mudelite õpetussignaalide põhiomadustele [38]. Vastuse nihkumine ei tähenda ennustusvigade tagasiulatuvat proportsiooni eelmiste ajaliste erinevuste mudelite stimuleeriva-tasu vahelise intervalliga [27,38], vaid taasesitatakse esialgses ajalises erinevuse mudelis ja algsetes ja viimastes ajaliste erinevuste rakendustes [6,37,39].
Subjektiivne tasu väärtuse kodeerimine, mida näitab ajaline diskonteerimine
Subjektiivse tasu väärtuse objektiivne mõõtmine valikuvõimaluste põhjal näitab, et hüved kaotavad osa oma väärtusest, kui nad hilinevad. Tegelikult eelistavad rotid, tuvid, ahvid ja inimesed sageli väiksemaid hüvesid hiljem suuremate hüvede eest [40-42]. Seega tundub, et tasu subjektiivne väärtus laguneb kasvavate viivitustega, kuigi füüsiline tasu ja seega ka objektiivne tasu väärtus on sama.
Intertemporaalsete käitumisvalikute psühhomeetrilised mõõtmised varasemate ja hilisemate hüvede vahel reguleerivad varajase tasu suurust kuni valiku ükskõiksuse tekkeni, mis on määratletud kui tõenäosus valida iga valik p = 0.5. Seega näitab madalama varajase tasu valikuline ükskõiksus hilisema tasu madalamat subjektiivset väärtust. Meie hiljutises ahvidel läbiviidud katses langes 4i, 8i ja 16-i poolt hilinenud hüvede valikulise ükskõiksuse väärtused monotoonselt, vastavalt 25%, 50% ja 75%, võrreldes 2 s [43] järel saadud tasuga. Vähenemine sobib hüperboolse diskonteerimise funktsiooniga.
Dopamiini vastused tasu ennustavatele stiimulitele vähenevad monotoonselt 2i 16-i [25,43] tasuvusviivituste suhtes, vaatamata sellele, et pärast iga viivitust saadetakse sama füüsiline tasu. Need andmed viitavad sellele, et ajalised viivitused mõjutavad dopamiini vastuseid, et premeerida ennustavaid stiimuleid sarnaselt, kuna need mõjutavad subjektiivset tasu väärtust, mida hinnatakse intertemporaalsete valikute abil. Huvitav on see, et dopamiini vastuse vähenemine tasu viivitusega on vastuse vähenemisest madalam madalama tasu suurusega. See sarnasus viitab sellele, et ajalised viivitused mõjutavad dopamiini vastuseid tasu väärtuse muutuste kaudu. Seega ilmnevad dopamiini neuronite puhul hilinenud hüved nagu väiksemad.
Seega näivad dopamiini neuronid pigem subjektiivset kui viivitatud hüvede füüsilist, objektiivset väärtust. Arvestades, et kasulikkus on pigem tasu subjektiivse kui objektiivse väärtuse mõõde, võib ajaline diskonteerimisega kaasneva vastuse vähenemine viidata sellele, et dopamiini neuronite koodid annavad pigem (subjektiivse) kasulikkuse kui (objektiivse) väärtuse. Edasised katsed võivad aidata kasulikkuse kodeerimist otse testida.
Dopamiini reaktsioon aversiivsetele stiimulitele
Sellised ärritavad stiimulid nagu õhupuhud, hüpertooniline soolalahus ja elektrilöök põhjustavad ärkvel olevate loomade puhul väikesel osal dopamiini neuronitest aktiveerivat (“ergutavat”) vastust (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]) ja enamus dopamiini neuroneid on oma aktiivsuses depressioonis või ei mõjuta vastumeelsed sündmused (joonis (joonis 1C1C ülemine osa). Erinevalt hüvedest ei põhjusta õhupuhutused preemiale tüüpilisi kahesuunalisi prognoosivigu reaktsioone ; ennustamine moduleerib ainult vastumeelset aktivatsiooni [45,46].
Aversiivne stimulatsioon anesteseeritud loomadel tekitab erineva, kuid sageli madalama, enamasti aeglasema, aktiveeriva vastuse (50% [47]; 18% [48]; 17% [49]; 14% [50]) ja sageli aktiivsuse langused. Neurofüsioloogilised taasanalüüsid dopamiini neuronite parema identifitseerimisega kinnitasid aversiivsete dopamiini aktivatsioonide üldist madalat esinemissagedust tuimastatud loomadel [51] ja leidsid keskmist aju ventromediaalses tegmentaalses piirkonnas vastumeelselt vastavaid dopamiini neuroneid [52].
Konditsioneeritud õhupuhvriga ennustavad ärkvelahvidel stimuleerivad aktivatsioonid dopamiini neuronite vähemuses ja depressioonid suuremas osas dopamiini neuronitest (11% [33]; 13% [45]; 37% [46]). Depressiivsed vastused tühistavad mõned dopamiini neuronite keskmiste populatsioonivastuste aktivatsioonid aversiivsetele stiimulitele [33] (vt joonist Joonis 1C1C, must). Ühes uuringus aktiveeris konditsioneeritud aversiivne stiimul rohkem neuroneid kui õhupuhver ise (37% vs 11% [46]), kuigi konditsioneeritud stiimul on vähem aversiivne kui primaarne aversiivne sündmus, nagu näiteks õhupuhver. Suurem aktiveerumine konditsioneeritud stiimuliga võrreldes õhupuhvriga viitab pöördvõrdelisele seosele aversiivsuse ja aktiveerimise vahel (mida aversiivsem on stiimul, seda harvem aktiveerimine) või täiendav, mitte aversiivne stimuleeriv komponent, mis vastutab aktiveeritud osakaalu suurendamise eest. neuronid 11% -lt 37% -ni. Kuigi stiimulite aktiveerumine korreleeris positiivselt õhupuhastuse tõenäosusega populatsioonis, ei hinnatud neid üksikutel neuronitel [46]. Populatsiooni korrelatsioon võib tuleneda suhteliselt väikesest arvust positiivselt korrelatsiooniga neuronitest selles populatsioonis ning tõeliselt vastumeelsed stiimulite aktivatsioonid võivad olla lähemal 11% -le kui 37%. Teises uuringus näitasid dopamiini neuronite suured osakaalud konditsioneeritud aversiivsetele stiimulitele faasilist aktivatsiooni, kui need esitati juhuslikult vaheldumisi sama sensoorset modaalsust sisaldavate tasu ennustavate stiimulitega (joonis (joonis1C1C alt, hall) (65% [33]); olid vähem sagedased, kui kahe konditsioneeritud stiimuli tüübil olid erinevad sensoorsed modaalsused (joonis (joonis1C1C alumine, must) (11%). Järgmises peatükis käsitletakse tegureid, mis võivad seletamatute aktivatsioonide aluseks olla aversiivsetele ja muudele, häirimatutele stiimulitele.
Kuigi mõningaid dopamiini neuroneid aktiveerivad aversiivsed sündmused, on suurim dopamiini aktivatsioon seotud tasuga. Teiste meetoditega saadud andmed viivad sarnaste järeldusteni. Kiire skaneerimise voltammeetria rottide käitumises näitab striaadi dopamiini vabanemist, mida indutseerib tasu, ja nihkumist premeerivate stiimulite premeerimisele pärast konditsioneerimist [53], mis viitab sellele, et dopamiini neuronite impulssvastus põhjustab vastava dopamiini vabanemise striaalsetest varicosities'idest. Dopamiini suurenemine kestab vaid paar sekundit ja seega on kõigi neurokeemiliste meetodite lühim aeg, mis on kõige lähemal elektrofüsioloogilisele aktiveerimisele. Dopamiini vabanemine on tasu (sahharoos) puhul diferentsiaalne ja ei esine karistusega (kiniin) [54]. Kuna voltammeetria hindab dopamiini kontsentratsiooni lokaalseid keskmisi, võib kiniiniga mõõdetava vabanemise puudumine varjata mõningaid dopamiini populatsiooni vastuse depressioonidega tühistatud aktsioone [33]. Uuringud, milles kasutatakse väga tundlikku in vivo mikrodialüüsi, avastavad dopamiini vabanemise pärast aversiivseid stiimuleid [55].
See vastus võib peegeldada dopamiini muutust, mille indutseerib vähesed aversiivsete stiimulite poolt aktiveeritud neuronid, kuigi mikrodialüüsi mõõtmiste ajaline kulg on umbes 300-500 aeglasem kui impulsi vastus ja see võib olla piisav, et lubada presünaptilisi koostoimeid mõjutada dopamiini vabanemist [56] . Dopamiini neuronite purunemise katkestamine katkestab mitmed isuäratavad õppimisülesanded, kuid kardavad ka [9] tingimusi. Tulemuseks võib osutuda aversiivsete dopamiini vastuste õppimisfunktsioon, kui välistatakse madalama dopamiini kontsentratsiooni mittespetsiifiline, üldiselt blokeeriv toime, mis jääb alles näitama. Dopamiini neuronite spetsiifiline stimuleerimine optogeneetiliste meetoditega geneetiliselt sisestatud kanalodopsiini kaudu indutseerib Pavlovia kohtade eelistuse reguleerimise hiirtel [57]. Seevastu oleks dopamiini stimuleerimise neto-aversiivne mõju suutnud luua koha vältimise õppimist. Need tulemused kinnitavad dopamiinisüsteemide ülemaailmset positiivset tugevdavat funktsiooni, mis on tuletatud varasematest kahjustustest, elektrilisest iseenesest stimuleerimisest ja uimastisõltuvusest [1,2]. Kuid need argumendid postuleerivad, et tasu ei ole ainult dopamiinisüsteemide funktsioon ega ka see, et kõik tasu funktsioonid hõlmavad dopamiini neuroneid.
Fasilised dopamiini aktivatsioonid, mis ei kodeeri tasu
Stiimulid võivad esile kutsuda hoiatavaid ja tähelepanelikke reaktsioone, kui need on füüsiliselt olulised (füüsiline silmatorkavus) või kui need on seotud tugevdajatega (motiveeriv või afektiivne). Käitumuslikud reaktsioonid silmatorkavatele stiimulitele määratakse vastavalt stiimulite füüsilise intensiivsuse ja tugevdaja väärtuse järgi. Füüsiline silmapaistvus ei sõltu üldse tugevdamisest ja motivatsiooniline tugevus ei sõltu tugevdajate valentsist (tasu ja karistus).
Vastused füüsiliselt olulistele stiimulitele
Füüsiliselt intensiivsed visuaalsed ja kuuldavad stiimulid indutseerivad aktivatsioone dopamiini neuronites (joonis (joonis1D) .1D). Neid vastuseid suurendavad stiimulite uudsus [58-60], kuid püsivad madalamal tasemel mitu kuud, kui stiimulid on piisavalt füüsiliselt intensiivsed. Vastused liigitatakse vastavalt stiimulite suurusele (joonis 4 [15]). Füüsiline võime võib osaliselt seletada ka olulise füüsilise intensiivsusega esmaste karistuste vastuseid [45]. Need vastused võivad moodustada eraldi dopamiini vastuse tüübi, mis on seotud tähelepanu füüsilise tähtsusega, mis põhjustab keskkonnatunde, või võivad need olla seotud tugevate ja uudsete stiimulite positiivse motiveeriva ja tugevdava atribuudiga.
Füüsiliselt oluliste stiimulite aktiveerimine ei peegelda dopamiini neuronite üldist kalduvust aktiveerida mistahes tähelepanu tekitav sündmus. Eelkõige põhjustavad teised tugevad tähelepanu tekitavad sündmused, nagu tasu tegematajätmine, konditsioneeritud inhibiitorid ja aversiivsed stiimulid, peamiselt depressioone ja harva ehtsaid dopamiini aktivatsioone [14,29]. Seega ei pruugi dopamiini aktiveerimine füüsiliselt oluliste stiimulite poolt moodustada üldist häiret. Tasu vastus kujutab endast tõenäoliselt eraldi vastust, mis ei pruugi kajastada tasu motiveeriva omapära tekitatud tähelepanu.
Muud mittetulunduskoodide aktiveerimine
Teised stiimulid indutseerivad aktiveerimist dopamiini neuronites ilma tasu väärtuse ilmse kodeerimiseta. Need aktiveerimised on väiksemad ja lühemad kui vastused, et premeerida ennustavaid stiimuleid, ning neile järgneb sageli depressioon, kui stiimulid on ebaõnnestunud (joonis (Joonis1E1E)).
Dopamiini neuronid näitavad aktiveerumist pärast kontroll-stiimuleid, mis on esitatud pseudorandom vaheldumises premeeritud stiimulitega [27,29,32]. Aktiveerimise esinemissagedus sõltub käitumisülesande alternatiivsete, premeeritud stiimulite arvust; aktiveerimine on sagedane, kui neljast neljast ülesannetest saadakse kolm (25% -63% [27]) ja need muutuvad haruldaseks, kui ainult üks neljast ülesannetest ei ole kontrollitud (1% [29]). See sõltuvus on vastuse puhtalt sensoorse olemuse vastu.
Dopamiini neuronitel esineb üsna stereotüüpne algne aktiveerimiskomponent stiimulite suhtes, mis ennustavad tasusid, mis tekivad pärast erinevaid viivitusi [43]. Esmane aktiveerimine varieerub väga vähe tasu viivitusega ja seega ei tundu see tasu väärtust. Seevastu hilisemate reageerimiskomponentide arv väheneb suurenevate viivitustega ja seega koodib (subjektiivne) tasu väärtus (vt eespool).
Dopamiini neuronid näitavad sagedasi aktiveerumist pärast konditsioneeritud aversiivseid stiimuleid, mis on esitatud juhuslikult vaheldumisi premeerivate stiimulitega; aktivatsioonid kaovad suures osas, kui kasutatakse erinevaid sensoorset modaalsust (65% vs 11% neuronitest [33]), mis viitab mitte-aversiivsete stiimulite komponentide kodeerimisele. Isegi kui aversiivsed ja isuäratavad stiimulid on eraldatud erinevateks katseplokideks, aktiveeruvad dopamiini neuronid märkimisväärselt konditsioneeritud aversiivsetel stiimulitel. Siiski, sagedamini aktiveeritud konditsioneeritud stiimulid võrreldes aversiivsema primaarse õhupuhvriga (37% vs 11% [46]) viitab vastupidistele suhetele stiimulite averentssusele ja tõenäoliselt mitte aversiivsetele vastukomponentidele.
Nende erinevate dopamiini aktivatsioonide põhjused võivad seisneda üldistamises, pseudokonditsioneerimises või motiveerivates stiimulites. Üldistumine tuleneb stiimulite sarnasustest. See võib selgitada dopamiini aktiveerimist mitmetes olukordades, nimelt aktiveerimiseta visuaalsetele stiimulitele, kui need vahelduvad visuaalsete stiimulite prognoosimisega (joonis (Joonis1E1E vasakul) [27,29,32] ja esialgne, halvasti liigendatud aktiveerimiskomponent viivitusprognooside stimuleerimiseks (joonis (Joonis 1E1E paremal) [43] Üldistamine võib mängida rolli, kui erinevate sensoorsete modaalsustega stiimulid tekitavad vähem dopamiini aktiveerumisi häirimata stiimulite suhtes, kui stiimulid, millel on samad võimalused, nagu nägemispuudulike ja kuuldavate isuärrituste puhul (joonis (joonis1C1C alt) [33] .
Pseudokonditsioneerimine võib tekkida siis, kui esmane reinforser seab kontekstuaalse tausta ja provotseerib spetsiifilisi käitumuslikke vastuseid mis tahes sündmustele selles kontekstis [61]. Kuna dopamiini neuronid on tasu suhtes väga tundlikud, võib tasuv kontekst indutseerida selles kontekstis seatud stiimulitele pseudokonditsioonimist ja seega ka neuronaalse aktivatsiooni. See mehhanism võib toetada neuronaalset aktivatsiooni mitte rahuldust andvatele stiimulitele, mis esinevad rahuldavas kontekstis, näiteks laboris, kus loom saab igapäevaseid hüvesid, olenemata sellest, kas stiimulid esitatakse juhuslikult vaheldumisi premeeritud stiimulitega või eraldi prooviplokkides [46]. Pseudokonditsioneerimine võib selgitada aktiveerimist kontrollimata stiimulitele [27,29,32], enamikku aversiivseid stiimuleid [33,45,46] järgivatest aktivatsioonidest ja esialgse, halvasti liigitatud aktiveerimiskomponendist, et premeerida viivituse ennustavaid stiimuleid [43]. Seega võib pseudokonditsioneerimine tekkida pigem primaarsest tasust kui konditsioneeritud stiimulist ja mõjutada dopamiini aktiveerimist nii konditsioneeritud stiimulite kui ka primaarsete tugevdajate puhul, mis esinevad rahuldavas kontekstis.
Kuigi märkimisväärse füüsilise mõjuga stiimulid näivad dopamiini neuroneid [15,58-60] (vt eespool), on stiimulid, mis indutseerivad mittetoetavaid kodeerivaid dopamiini aktivatsioone, sageli väikesed ja mitte füüsiliselt väga olulised. Motivatsioonilisus on oma olemuselt ühine hüvedele ja karistajatele ning võib iseenesest seletada nii tasu kui ka karistuse aktiveerimist dopamiini neuronite 10-20% -is. Mitte-tugevdavad stiimulid võivad muutuda motiveerivalt oluliseks, kuna nad on lähedased tasule ja karistamisele pseudokonditsioneerimise teel. Siiski tundub, et dopamiini aktiveerimine on tundlikumad kui tasu kui karistus. Kuna motivatsioonilisus hõlmab tundlikkust mõlema tugevdaja suhtes, ei pruugi pseudokonditsioneerimise kaudu omandatud motivatsioonikõla hästi seletada mitte-tasustavat kodeerivat dopamiini aktivatsiooni.
Kokkuvõttes võivad paljud mittetoetavad kodeerivad dopamiini aktivatsioonid olla tingitud stiimuli generaliseerumisest või eriti pseudokonditsioneerimisest. Sellegipoolest näib, et dopamiini neuronite piiratud osakaalu korral jääb nende tegurite välistamiseks tegelik aktiveerumine kontrollimata stiimulitele ja primaarsetele ja konditsioneeritud aversiivsetele stiimulitele. Edasised katsed selliste vastuste hindamiseks peaksid kasutama paremaid kontrolle ja kõrvaldama täielikult kõik kontekstuaalsed tasuühendused, mis on laboris stimuleerivad.
Arvestades mitterahuldavate kodeerimisaktsioonide esinemist, on mõistlik küsida, kuidas loom eristab tasumata dopamiini vastuse alusel kasutamata stiimulitest. Väga kiire, esialgne, pseudokonditsioonitud ja halvasti diskrimineeriv vastuskomponent võib anda ajaline boonuse kiirete, vaikimisi käitumuslike reaktsioonide leevendamiseks, mis aitavad loomal potentsiaalset tasu väga kiiresti avastada [62]. Vastupidiselt sellele tuvastab vahetult järgnev vastusekomponent sündmuse tegeliku olemuse läbi selle liigendatud aktiveerimise tasu väärtusega [43] ja selle sagedase depressiooni, millel on mittevajalikud ja aversiivsed stiimulid [27,29,32,33] (joonis (Joonis1E) .1E). Lisaks ei ole dopamiinisüsteem ainus aju struktuuri kodeeriv tasu ja teised neuronaalsed süsteemid, nagu orbitofrontaalne ajukoor, striatum ja amygdala, võivad anda täiendavat diskrimineerivat informatsiooni.
Dopamiin tasub riskisignaali
Kui tasustussignaal peegeldab tasu tõenäosusjaotuste standardhälbega skaleeritud keskmist tasu ennustusviga ja kui vaatleme standardhälvet kui riski mõõdet, siis kas võib olla otsene neuronaalne signaal riskiks? Kui tasu tõenäosused varieeruvad 0-st 1-i ja tasu suurus jääb konstantseks, suureneb keskmine tasu väärtus monotoonselt tõenäosusega, samas kui riski suurus järgib pööratud U-funktsiooni, mis saavutab p = 0.5-i (joonis (joonis2,2, inset)). 0.5, on täpselt sama palju võimalusi saada tasu, kuna on vaja ära tasuda, samal ajal kui kõrgemad ja väiksemad tõenäosused kui p = 0.5 teevad vastavalt kasumi ja kahjumi kindlamaks ning seeläbi seostuvad väiksema riskiga.
Joonis 2
Riskiga seotud püsivad aktiveerimised. Riskireaktsioon toimub stiimuli ja tasu vahelises intervallis (nool) pärast stimulaatori (kolmnurga) faasilist, väärtusega seotud aktiveerimist. Parempoolne ülemine osa näitab, et risk (ordinaat) varieerub vastavalt (rohkem ...)
Umbes kolmandik dopamiini neuronitest näitab suhteliselt aeglast, mõõdukat ja statistiliselt olulist aktivatsiooni, mis suureneb järk-järgult tasu ennustava stiimuli ja tasu vahelise ajavahemiku jooksul; see vastus varieerub monotooniliselt riskiga (joonis (Joonis2) 2) [18]. Aktiveerimine toimub individuaalsetes katsetes ja ei näi kujutavat ennustusvea vastust, mis levib tagasi tasu eest tasu ennustavaks stiimuliks. Aktiveerimine suureneb monotoonselt ka standardhälbega või variatsiooniga, kui kasutatakse erinevate võrdsete võimaluste, nullist sõltumatute tasu suuruste binaarset jaotust. Seega näivad standardhälve või dispersioonid olevat dopamiini neuronite kodeeritud riskitegurid. Riskiga seotud aktivatsioonidel on pikemad latentsid (umbes 1 s), aeglasemad ajakavad ja madalamad piigid võrreldes tasu väärtuse vastustega stiimulitele ja tasule.
Väiksema suuruse tõttu põhjustab riskisignaal tõenäoliselt madalama dopamiini vabanemise dopamiini varikoosidel võrreldes enam tasuvust kodeerivate faasiliste aktivatsioonidega. Suhteliselt madal dopamiinikontsentratsioon, mis võib olla tingitud riskisignaalist, võib aktiveerida D2 retseptoreid, mis on enamasti kõrge afiinsusega, kuid mitte madala afiinsusega D1 retseptorid [63]. Seevastu kõrgem faasilise tasu väärtuse vastus võib viia rohkem dopamiini kontsentratsioonini, mis on piisav D1-retseptorite lühikese aktiveerimiseks nende enamasti madala afiinsusega seisundis. Seega võivad postünaptilised neuronid diferentseerida kaks signaali erinevate aktiveeritud dopamiini retseptorite alusel. Lisaks tooksid dopamiini väärtus ja riskisignaalid kaasa nii D1 kui ka D2 retseptorite peaaegu samaaegse aktiveerimise, mis paljudes normaalsetes ja kliinilistes olukordades on piisavate dopamiinisõltuvate funktsioonide jaoks hädavajalikud.
Dopamiiniriski signaalil võib olla mitu funktsiooni. Esiteks võib see mõjutada vahetult järgneva prognoosivea vastuse skaleerimist standardhälbe järgi kohe pärast tasu [23]. Teiseks võib see suurendada dopamiini vabanemist, mis on indutseeritud kohe järgneva prognoosivea vastuse põhjal. Kuna risk indutseerib tähelepanu, oleks potentsiaalse õpetussignaali suurendamine riskiga kokkusobiv tähelepanu osaga õppimises vastavalt sidususõppe teooriatele [64,65]. Kolmandaks võiks see anda panuse aju struktuuridesse, mis on seotud tasu riski hindamisega iseenesest. Neljandaks võiks see kombineerida majandusliku oodatava väärtussignaaliga, et anda märkimisväärset teavet oodatava kasulikkuse kohta riskitundlikes isikutes vastavalt keskmisele variandile lähenemise suhtes finantsotsuste teoorias [66]. Kuid umbes 1-i latentsus on liiga pikk, et signaal saaks mängida hetkelist rolli valikute all ebakindluse all.
Konkureerivad huvid
Autor kinnitab, et tal ei ole konkureerivaid huve.
Autorite sissemaksed
WS kirjutas paberi.
Tänusõnad
Läbivaatamine oli kirjutatud sümpoosioni „Tähelepanu puuduliku hüperaktiivsuse häire” (ADHD) kohta Norras, veebruaris 2010. Meie tööd toetasid Wellcome Trust, Šveitsi Riiklik Teadusfond, Human Frontiers Science programm ja teised stipendiumi- ja stipendiumiagentuurid.
viited
1. Wise RA, Rompre PP. Aju dopamiin ja tasu. Ann Rev Psychol. 1989: 40: 191 – 225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Narkomaania tugevdamise närvisüsteemid: tegudest kuni harjumuseni sundini. Nat Neurosci. 2005: 8: 1481 – 1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]
3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Papers Imp. Acad. Sci. St. Petersburg) 1738: 5: 175 – 192. Tõlgitud: riski mõõtmise uue teooria tutvustus. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Ennustav kodeerimine visuaalses ajukoores: mõnede klassikaliste vastuvõtukeskkonna mõjude funktsionaalne tõlgendamine. Nat Neurosci. 1999: 2: 79 – 87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]
5. Rescorla RA, Wagner AR. In: Klassikaline konditsioneerimine II: praegune uuring ja teooria. Must AH, Prokasy WF, toimetaja. New York: Appleton Century Crofts; 1972. Pavlovia konditsioneerimise teooria: tugevdamine ja mittekinnitus; lk. 64 – 99.
6. Sutton RS, Barto AG. Tänapäeva adaptiivsete võrgustike teooria suunas: ootus ja ennustus. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]
7. Kamin LJ. In: Põhilised küsimused instrumentaalses õppes. Mackintosh NJ, Honig WK, toimetaja. Halifax: Dalhousie University Press; 1969. Selektiivne seotus ja konditsioneerimine; lk. 42 – 64.
8. Blythe SN, Atherton JF, Bevan MD. Dendriitrakkude AMPA ja NMDA retseptorite sünaptiline aktiveerimine tekitab in vitro nigra dopamiini neuronites mööduvat kõrgsageduslikku põletamist. J Neurophysiol. 2007: 97: 2837 – 2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]
9. Zweifel LS, Parker JG, Lobb CJ, vihmavee A, seina VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. NMDAR-sõltuva lõhkemise katkestamine dopamiini neuronite poolt annab faasilise dopamiinist sõltuva käitumise selektiivse hindamise. Proc Natl Acad Sci. 2009: 106: 7281 – 7288. doi: 10.1073 / pnas.0813415106. [PMC tasuta artikkel] [PubMed] [Cross Ref]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. NMDA retseptor-vahendatud transmissiooni lõhkemiseni-sõltuv plastilisus keskmise aju dopamiini neuronites. Neuron. 2009: 62: 826 – 838. doi: 10.1016 / j.neuron.2009.05.011. [PMC tasuta artikkel] [PubMed] [Cross Ref]
11. Jones S, Bonci A. Sünaptiline plastilisus ja narkomaania. Curr Opin Pharmacol. 2005: 5: 20 – 25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]
12. Kauer JA, Malenka RC. Sünaptiline plastilisus ja sõltuvus. Nat Rev Neurosci. 2007: 8: 844 – 858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]
13. Ljungberg T, Apicella P, Schultz W. Ahvide keskjälgede dopamiini neuronite vastused vaheldumise edasilükkamise ajal. Brain Res. 1991: 586: 337 – 341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz W, Apicella P, Ljungberg T. Ahvide dopamiini neuronite vastused ergutada ja konditsioneeritud stiimuleid hilisema reageeringu õppimise järjestikuste etappide ajal. J Neurosci. 1993: 13: 900 – 913. [PubMed]
15. Schultz W. Dopamiini neuronite ennustav tasu signaal. J Neurophysiol. 1998: 80: 1 – 27. [PubMed]
16. Schultz W, Dayan P, Montague RR. Ennustuse ja tasu närvi substraat. Teadus. 1997: 275: 1593 – 1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]
17. Hollerman JR, Schultz W. Dopamiini neuronid teatavad veast õppimise ajalise tasu ennustamisel. Nature Neurosci. 1998: 1: 304 – 309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]
18. Fiorillo CD, Tobler PN, Schultz W. Dopamiini neuronite tasu tõenäosuse ja ebakindluse diskreetne kodeerimine. Teadus. 2003: 299: 1898 – 1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]
19. Satoh T, Nakai S, Sato T, Kimura M. Dopamiini neuronite motivatsiooni ja otsuse tulemuste kodeerimine. J Neurosci. 2003: 23: 9913 – 9923. [PubMed]
20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Kokkusattuvad, kuid erinevad sõnumid keskjoonest dopamiinist ja striaaltooniliselt aktiivsetest neuronitest. Neuron. 2004: 43: 133 – 143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamiini neuronid võivad kujutada kontekstist sõltuvat prognoosiviga. Neuron. 2004: 41: 269 – 280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]
22. Bayer HM, Glimcher PW. Midbrain dopamiini neuronid kodeerivad kvantitatiivset tasu ennustamisvea signaali. Neuron. 2005: 47: 129 – 141. doi: 10.1016 / j.neuron.2005.05.020. [PMC tasuta artikkel] [PubMed] [Cross Ref]
23. Tobler PN, Fiorillo CD, Schultz W. Dopamiini neuronite tasuväärtuse adaptiivne kodeerimine. Teadus. 2005: 307: 1642 – 1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Inimese substants nigra neuronid kodeerivad ootamatuid rahalisi hüvesid. Teadus. 2009: 323: 1496 – 1499. doi: 10.1126 / science.1167342. [PMC tasuta artikkel] [PubMed] [Cross Ref]
25. Fiorillo CD, Newsome WT, Schultz W. Dopamiini neuronite tasustamise ennustuse ajaline täpsus. Nat Neurosci. 2008: 11: 966 – 973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Dopamiinneuronite tipurongide statistika ärkvel primaadil. J Neurofüsiool. 2007; 98: 1428 – 1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Ristviide]
27. Waelti P, Dickinson A, Schultz W. Dopamiini vastused vastavad formaalse õppe teooria põhieeldustele. Loodus. 2001; 412: 43 – 48. doi: 10.1038 / 35083500. [PubMed] [Ristviide]
28. Rescorla RA. Pavloviani konditsioneeritud pärssimine. Psühholoogiahull. 1969; 72: 77 – 94. doi: 10.1037 / h0027760.
29. Tobleri PN, Dickinson A, Schultz W. Dopamiini neuronite prognoositava kasu tegematajätmise kodeerimine konditsioneeritud pärssimise paradigmas. J Neurosci. 2003; 23: 10402 – 10410. [PubMed]
30. Preuschoff, Bossaerts P. Prognoosimisriski lisamine tasu õppimise teooriasse. Ann NY Acad Sci. 2007; 1104: 135 – 146. doi: 10.1196 / annals.1390.005. [PubMed] [Ristviide]
31. Romo R, Schultz W. Ahvide kesk aju dopamiini neuronid: aktiivsele puutetundlikkusele reageerimise võimalikud sündmused iseenda algatatud käeliigutuste ajal. J Neurofüsiool. 1990; 63: 592 – 606. [PubMed]
32. Schultz W, Romo R. Ahvi kesk aju dopamiini neuronid: stiimulitele reageerimise võimalikud reageeringud, mis kutsuvad esile kohese käitumisreaktsiooni. J Neurofüsiool. 1990; 63: 607 – 624. [PubMed]
33. Mirenowicz J, Schultz W. Aju keskosa dopamiini neuronite eelistatav aktiveerimine pigem isu tekitavate kui aversiivsete stiimulite abil. Loodus. 1996; 379: 449 – 451. doi: 10.1038 / 379449a0. [PubMed] [Ristviide]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain dopamiini neuronid kodeerivad otsuseid edasiseks tegevuseks. Nat Neurosci. 2006; 9: 1057 – 1063. doi: 10.1038 / nn1743. [PubMed] [Ristviide]
35. Roesch MR, Calu DJ, Schoenbaum G. Dopamiini neuronid kodeerivad rottidel paremat varianti, otsustades erinevalt viivitatud või suurusega hüvede vahel. Nat Neurosci. 2007; 10: 1615 – 1624. doi: 10.1038 / nn2013. [PMC tasuta artikkel] [PubMed] [Cross Ref]
36. Takikawa Y, Kawagoe R, Hikosaka O. Aju keskmiste dopamiinneuronite võimalik roll saccade lühi- ja pikaajalisel kohanemisel positsioonilisuse kaardistamiseks. J Neurofüsiool. 2004; 92: 2520 – 2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Ristviide]
37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopamiini rakud reageerivad ennustatud sündmustele klassikalise konditsioneerimise ajal: tõendid abikõlblikkuse jälgede kohta tasuvusõppe võrgus. J Neurosci. 2005; 25: 6235 – 6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Ristviide]
38. Montague PR, Dayan P, Sejnowski TJ. Haiglaste ennustaval õppimisel põhinev mesentsefaalsete dopamiini süsteemide raamistik. J Neurosci. 1996; 16: 1936 – 1947. [PubMed]
39. Suri R, Schultz W. Dopamiinilaadse tugevdussignaaliga närvivõrk, mis õpib ruumiliselt viivitatud reageerimise ülesannet. Neuroteadus. 1999; 91: 871 – 890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Ristviide]
40. Ainslie G. Eriauhinnad: käitumisteooria impulsiivsuse ja impulsside juhtimise kohta. Psych Bull. 1975; 82: 463 – 496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Viivituse kohandamine tugevdamisega: tuvide ja inimeste valiku võrdlus. J Exp Psychol Anim Käitumisprotsess. 1988; 14: 105 – 117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Ristviide]
42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Diskonteerimisfunktsioonide määramine rottidel kohandava koguse protseduuriga. J Exp Anal Behav. 1997; 67: 353 – 366. doi: 10.1901 / jeab.1997.67-353. [PMC tasuta artikkel] [PubMed] [Cross Ref]
43. Kobayashi S, Schultz W. Tasu viivituste mõju dopamiini neuronite reageeringutele. J Neurosci. 2008; 28: 7837 – 7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Ristviide]
44. Guarraci FA, Kapp BS. Ventraalse tegmentaalse piirkonna dopamiinergiliste neuronite elektrofüsioloogiline iseloomustus pavlovi diferentsiaalse hirmu ilmnemise ajal ärkvel küülikul. Behav Brain Res. 1999; 99: 169 – 179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Ristviide]
45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopamiinergilised neuronid ja striaatiaalsed kolinergilised interneuronid kodeerivad erinevust premeerimis- ja aversiivsete sündmuste vahel tõenäosuslike klassikaliste konditsioneerimiskatsete erinevatel ajajärkudel. J Neurosci. 2008; 28: 1673 – 11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. Kaks tüüpi dopamiinneuroni edastavad eristavalt positiivseid ja negatiivseid motivatsioonisignaale. Loodus. 2009; 459: 837 – 841. doi: 10.1038 / loodus08028. [PMC tasuta artikkel] [PubMed] [Cross Ref]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensoorsed stiimulid muudavad dopamiini (DA) neuronite tühjenemiskiirust: tõendeid kahes DA funktsionaalse raku funktsionaalse tüübi kohta põhjenduses. Brain Res. 1980; 189: 544 – 549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Ristviide]
48. Mantz J, Thierry AM, Glowinski J. Mürgise saba muljumise mõju mesokortikaalsete ja mesolimbiliste dopamiini neuronite tühjenemiskiirusele: mesokortikaalse süsteemi selektiivne aktiveerimine. Brain Res. 1989; 476: 377 – 381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Ristviide]
49. Schultz W, Romo R. Nigrostriataalsete dopamiinneuronite vastused tuimastatud ahvi kõrge intensiivsusega somatosensoorsele stimulatsioonile. J Neurofüsiool. 1987; 57: 201 – 217. [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Aju keskosa dopamiinergiliste neuronite nokkitseptiivseid reaktsioone moduleerib roti parem kollikul. Neuroteadus. 2006; 139: 1479 – 1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Ristviide]
51. Pruun MTC, Henny P, Bolam JP, Magill PJ. Neurokeemiliselt heterogeensete dopamiinergiliste neuronite aktiivsus jussi nigras aju oleku spontaansete ja ajendatud muutuste ajal. J Neurosci. 2009; 29: 2915 – 2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Ristviide]
52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Ventraalses VTA-s esinevate dopamiinneuronite faasiline ergastamine kahjulike stiimulite abil. Proc Natl Acad Sci USA. 2009; 106: 4894 – 4899. doi: 10.1073 / pnas.0811507106. [PMC tasuta artikkel] [PubMed] [Cross Ref]
53. Päev JJ, Roitman MF, Wightman RM, Carelli RM. Assotsiatiivne õppimine vahendab dopamiini signaalimise dünaamilisi nihkeid tuuma akumulatsioonides. Nat Neurosci. 2007; 10: 1020 – 1028. doi: 10.1038 / nn1923. [PubMed] [Ristviide]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Tuuma akumulatsioonide reaalajas toimuvad keemilised vastused eristavad rahuldust pakkuvaid ja aversiivseid stiimuleid. Nat Neurosci. 2008; 11: 1376 – 1377. doi: 10.1038 / nn.2219. [PubMed] [Ristviide]
55. Noor AMJ. Suurenenud rakuväline dopamiin tuuma akumulatsioonides vastusena tingimusteta ja konditsioneeritud aversiivsetele stiimulitele: uuringud rottidega 1 min minialüüsimisel. J Neurosci Meth. 2004; 138: 57 – 63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Schultz W. Mitmed dopamiini funktsioonid erinevatel ajakursustel. Ann Rev Neurosci. 2007; 30: 259 – 288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Ristviide]
57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Dopamiinergilistes neuronites toimuv faasiline tulistamine on käitumuslikuks muutmiseks piisav. Teadus. 2009; 324: 1080 – 1084. doi: 10.1126 / teadus.1168878. [PubMed] [Ristviide]
58. Strecker RE, Jacobs BL. Substantia nigra dopaminergiline ühiklik aktiivsus käituvatel kassidel: erutuse mõju spontaansele väljutamisele ja sensoorselt esile kutsutud tegevusele. Brain Res. 1985; 361: 339 – 350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Ristviide]
59. Ljungberg T, Apicella P, Schultz W. Ahvide dopamiini neuronite vastused käitumisreaktsioonide õppimisel. J Neurofüsiool. 1992; 67: 145 – 163. [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. Ventraalsete tegmentaalsete dopamiini neuronite lõhkemist põhjustavad ärkvel kassi sensoorsed stiimulid. Brain Res. 1997; 759: 251 – 258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Ristviide]
61. Sheafor PJ. Küüliku pseudokonditsioneeritud lõualuu liigutused peegeldavad seoseid, mis on tinginud konteksti taustteavet. J Exp Psychol: loom Behav Proc. 1975; 104: 245 – 260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamiin: üldistamine ja boonused. Neuraalne võrk. 2002; 15: 549 – 559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Ristviide]
63. Richfield EK, Pennney JB, Young AB. Dopamiini D1 ja D2 retseptorite anatoomiliste ja afiinsusseisundite võrdlus roti kesknärvisüsteemis. Neuroteadus. 1989; 30: 767 – 777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Ristviide]
64. Mackintosh NJ. Tähelepanuteooria: stiimuli seostatavuse tugevdusega variatsioonid. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65. Pearce JM, Hall G. Pavlovi konditsioneerimise mudel: konditsioneeritud, kuid tingimusteta stiimulite efektiivsuse erinevused. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Ristviide]
66. Levy H, Markowitz HM. Eeldatava kasulikkuse lähendamine keskmise ja dispersiooni funktsiooni järgi. Am Econ rev. 1979; 69: 308 – 317.
;