Dopamino signalai už atlygį ir riziką Pagrindiniai ir naujausi duomenys (2010)

Wolfram Schultz 1

Behav Brain Funct. 2010; 6: 24.

Paskelbta internete 2010 April 23. doi: 10.1186 / 1744-9081-6-24.

VISAS STUDIJUS: Dopamino signalai už atlygio vertę ir riziką Pagrindiniai ir naujausi duomenys

1Fiziologijos, vystymosi ir neurologijos katedra, Kembridžo universitetas, Downing gatvė, Kembridžas CB2 3DY, UK

Autorius susirašinėjimui.

Wolfram Schultz: [apsaugotas el. paštu]

Abstraktus

fonas

Ankstesni pažeidimai, elektriniai savęs stimuliavimo ir narkomanijos tyrimai rodo, kad vidurinės smegenų dopamino sistemos yra smegenų atlygio sistemos dalys. Šioje apžvalgoje pateikiama atnaujinta apžvalga apie pagrindinius dopamino neuronų signalus į aplinkos stimulus.

Metodai

Aprašyti eksperimentai naudojo standartinius elgsenos ir neurofiziologinius metodus, skirtus atskirų dopamino neuronų aktyvumui budriuose beždžionėse fiksuoti specifinių elgesio užduočių metu.

rezultatai

Dopamino neuronai rodo išorinį stimuliavimą. Signalas atspindi atlygį, fizinį atsipalaidavimą, riziką ir bausmę mažėjančia tvarka pagal atsakančių neuronų frakcijas. Numatoma atlygio vertė yra pagrindinis ekonominių pasirinkimų sprendimo kintamasis. Atlyginimų atsakymo kodai atlygina vertę, tikimybę ir jų suminį produktą, tikėtiną vertę. Neuronų kodai priskiria atlygio vertę, nes jis skiriasi nuo prognozavimo, todėl atitinka pagrindinį reikalavimą dvikrypčio prognozavimo klaidai, kuri mokoma pagal teoriją. Šis atsakas sumažinamas standartinio nuokrypio vienetais. Priešingai, santykinai nedaug dopamino neuronų rodo fazinį aktyvavimą po bausmių ir sąlyginių aversinių stimulų, o tai rodo, kad nėra atsakymo į bendrą dėmesį ir susijaudinimą santykio. Didelę dopamino neuronų dalį taip pat aktyvuoja intensyvūs, fiziškai svarbūs stimulai. Šis atsakas sustiprėja, kai stimulai yra nauji; atrodo, kad jis skiriasi nuo atlygio vertės signalo. Dopamino neuronai taip pat rodo netinkamą aktyvumą ne pelningiems stimulams, kurie galbūt atsiranda dėl apibendrinimo panašiais stimulais ir pseudoconditioning pirminiais pranašumais. Šios aktyvacijos yra trumpesnės už atlygio atsakymus ir dažnai po jų sumažėja aktyvumas. Atskiras, lėtesnis dopamino signalas informuoja apie riziką, kitas svarbus sprendimo kintamasis. Prognozavimo klaidos atsakas įvyksta tik už atlygį; ji yra suskirstyta pagal prognozuojamo atlygio riziką.

Išvados

Neurofiziologiniai tyrimai atskleidžia fazinius dopamino signalus, kurie perduoda informaciją, daugiausia susijusią su atlygiu. Nors dopamino signalas nėra visiškai homogeniškas, daugelyje kitų smegenų struktūrų, dalyvaujančių tiksliniame elgesyje, jis yra labiau apribotas ir stereotipinis nei neuronų aktyvumas.

fonas

Pažeidimų ir psichofarmakologinių tyrimų rezultatai rodo, kad vidurinės smegenų dopamino sistemos elgsenos funkcijos yra labai įvairios. Pagrindinis klausimas yra tas, kuris iš šių daug funkcijų yra aktyviai koduojamas faziniu dopamino signalu, suderinamu su sparčiais neuronų mechanizmais? Geri patarimai atsiranda dėl priklausomybės nuo narkotikų ir elektrinės savęs stimuliacijos, o tai rodo, kad dopamino aktyvumas yra naudingas ir požiūris generuojantis poveikis [1,2].

Mes galime apibrėžti atlygį kaip objektus ar įvykius, kurie sukuria požiūrį ir vartojimo būdą, gamina tokio elgesio mokymąsi, atstovauja teigiamiems ekonominių sprendimų rezultatams ir įtraukia teigiamas emocijas bei hedoninius jausmus. Apdovanojimai yra labai svarbūs individualiam ir genų išgyvenimui ir remia elementarius procesus, tokius kaip gėrimas, valgymas ir dauginimas. Šis elgesio apibrėžimas priskiria atlygio funkciją ir tam tikriems neekonominiams ir neeksualiems subjektams, įskaitant pinigus, techninius artefaktus, estetinius stimulus ir psichinius įvykius. Apdovanojimai įtraukia agentus į tokį įvairų elgesį, kaip maitinimasis ir prekyba akcijų rinkose.

Pagrindinės sąvokos

Apdovanojimai turi konkretų dydį ir atsiranda su konkrečia tikimybe. Agentai siekia optimizuoti pasirinkimą tarp variantų, kurių vertes lemia pasirinkimo objekto rūšis, jo dydis ir tikimybė [3]. Todėl atlygius galima tinkamai apibūdinti atlygio verčių tikimybės pasiskirstymais. Idealiame pasaulyje šie pasiskirstymai atlieka Gauso funkciją, o ekstremalūs atlygiai pasitaiko rečiau nei tarpiniai rezultatai. Eksperimentiniuose bandymuose dažnai naudojami dvejetainiai tikimybių pasiskirstymai su vienodomis reikšmėmis (kiekviena atlygio vertė atsiranda esant p = 0.5). Gauso ir dvejetainiai tikimybių pasiskirstymai yra visiškai aprašyti matematine laukiama verte (pirmuoju tikimybių pasiskirstymo momentu) ir reikšmių dispersijomis ar nuokrypiais nuo vidurkio, būtent (laukiamo) dispersijos (antrojo momento) arba (numatomo) standartinio nuokrypio (kvadratinės šaknies) dispersijos). Dispersija ir standartinis nuokrypis dažnai laikomi rizikos matais. Elgesio ekonomikoje terminas „rizika“ reiškia neapibrėžtumo formą, kai žinomas tikimybių pasiskirstymas, o „neaiškumas“ reiškia neišsamias tikimybių žinias ir dažnai vadinamas tiesiog „neapibrėžtumu“. Rizika reiškia galimybę laimėti ar pralaimėti, o ne siauresnį sveiko proto ryšį su praradimu.

Prognozės yra labai svarbios priimant pagrįstą sprendimą, pateikiant išankstinę informaciją apie galimas pasirinkimo galimybes, o ne spėliones, kurios atsiranda, kai rezultatai nežinomi. Kadangi atlygis gali būti kiekybiškai įvertintas vertės tikimybės pasiskirstymu, atlygio prognozės nurodo tikėtiną vertę ir (tikėtiną) dispersiją arba paskirstymo standartinį nuokrypį.

Evoliucinis spaudimas skatina efektyvų energijos apdorojimą. Vienas iš galimų sprendimų yra išsaugoti prognozes apie būsimus įvykius aukštesniuose smegenų centruose ir apskaičiuoti mažesniuose smegenų centruose skirtumą tarp naujos aplinkos informacijos ir saugomos prognozės. Skirtumas tarp faktinio įvykio ir jo prognozės vadinamas įvykio prognozavimo klaida. Laikantis aukštesnės smegenų centrų kintančios aplinkos padėties, paprasčiausiai reikės atnaujinti prognozes su mažesne informacija, kurioje yra ir mažiau energijos suvartojančių prognozavimo klaidų, o ne apdoroti visą periferinę informaciją kiekvieną kartą, kai pasikeitė vienas mažas dalykas [4]. Tokiu būdu aukštesniosios smegenų centrai gali susipažinti su visa informacija apie išorinį pasaulį apie suvokimą, sprendimus ir elgsenos reakcijas daug mažesnėmis energijos sąnaudomis. Ši pagrindinė prognozių savybė lemia pastebimą mokymosi reiškinį, kurį apibrėžia elgesio pokyčiai, pagrįsti atnaujintomis prognozėmis.

Gyvūnų mokymosi teorija ir efektyvūs laiko skirtumų stiprinimo modeliai teigia, kad rezultatų prognozavimo klaidos yra labai svarbios Pavlovo ir operanto sąlygojimui [5,6]. Dabartinės nuomonės konceptualizuoja Pavlovo mokymąsi kaip bet kokią prognozės įgijimo formą, sukeliančią pakitusias vegetacines reakcijas ar ruožuotus raumenų susitraukimus, jei rezultatas nepriklauso nuo elgesio reakcijos. Taigi, Pavlovo premijų prognozės pateikia informaciją ne tik apie atlygio vertę (numatomą vertę), bet ir apie būsimo atlygio riziką (dispersiją), o tai yra svarbus išplėtimas prieš šimtą metų Pavlovo pasiūlytai koncepcijai. Nuspėjamų klaidų svarba grindžiama Kamino blokuojančiu poveikiu [7], kuris parodo, kad mokymasis ir išnykimas vyksta tik tiek, kiek įtvirtintojas yra geresnis ar blogesnis, nei prognozuota; mokymasis sulėtėja palaipsniui, nes prognozavimas asimptotiškai artėja prie stiprintojo vertės.

Dopamino atsakas į atlygio priėmimą

Dauguma vidutinio smegenų dopamino neuronų (75-80%) rodo gana stereotipinius, fazinius aktyvinimus, kurių vėlavimas yra <100 ms, o trukmė <200 ms, po to, kai laiku nenuspėjama maisto ir skysčių nauda (1A pav. 1A). Šis sprogimo atsakas priklauso nuo dopamino neuronuose esančių glutamaterginių NMDA ir AMPA receptorių aktyvacijos ir plastiškumo [8-12]. Sprogimas yra labai svarbus elgsenai mokantis apetiškų užduočių, tokių kaip sąlyginės vietos pasirinkimas ir „T-labirinto“ pasirinkimas dėl atlygio už maistą ar kokainą ir sąlyginės baimės reakcijos [9].

1 pav

Dopamino neuronų neurofiziologinio impulsinio aktyvumo faziniai aktyvavimai. A: Fazinis aktyvavimas po pirminio atlygio. B: faziniai aktyvavimai po sąlyginių, atlygį prognozuojančių dirgiklių. C: viršuje: fazinio aktyvavimo trūkumas po pirminio (daugiau ...)

Atlygio prognozavimo klaidos kodavimas

Atrodo, kad dopamino atsakas į atlygio pateikimą koduoja prognozavimo klaidą; atlygis, kuris yra geresnis už prognozuojamą, sukelia aktyvavimą (teigiamą prognozavimo klaidą), visiškai prognozuojamas atlygis nesuteikia jokio atsakymo, o pranašumas, kuris yra blogesnis nei prognozuota, sukelia depresiją (neigiamą klaidą) [13-24]. Taigi dopamino atsakas visiškai įgyvendina lemiamą „Rescorla-Wagner“ mokymosi modelio terminą ir labai panašus į efektyvaus laiko skirtumo stiprinimo mokymosi modelių [6,23] mokymo signalą.

Klaidos atsakas kiekybiškai skiriasi nuo gautos atlygio vertės ir tikėtinos atlygio vertės [18-23] skirtumo. Prognozavimo klaidos atsakas yra jautrus atlygio laikui; uždelstas atlygis sukelia depresiją pradiniu laiku ir aktyvavimą savo nauju laiku [24,25]. Kiekybinių klaidų kodavimas akivaizdus dėl aktyvavimo, atspindinčio teigiamas prognozavimo klaidas. Priešingai, depresija, atsirandanti su neigiamomis prognozavimo klaidomis, natūraliai rodo siauresnį dinaminį diapazoną, nes neuronų aktyvumas negali nukristi žemiau nulio, o tinkamas kiekybinis įvertinimas reikalauja atsižvelgti į visą depresijos laikotarpį [26].

Taigi, dopamino neuronai reaguoja į atlygį tik tiek, kiek jis skiriasi nuo prognozavimo. Kaip prognozė kyla iš anksčiau patyrusio atlygio, dopamino neuronai aktyvuojami tik tada, kai dabartinis atlygis yra geresnis už ankstesnį atlygį. Tas pats atlygis vėl nepradės dopamino neuronų. Jei dopamino neuronų aktyvavimas turi teigiamą poveikį elgesiui, tik didėjantys atlygiai užtikrins nuolatinį sustiprinimą per dopaminerginius mechanizmus. Tai gali būti viena iš priežasčių, kodėl pastovūs, nekintantys atlygiai praranda savo stimuliuojančią įtaką ir kodėl mums visada reikia daugiau atlygio.

Griežti bandymai dėl atlygio prognozavimo klaidų kodavimo

Gyvūnų mokymosi teorija sukūrė oficialius paradigmus, kad būtų galima patikrinti atlygio prognozavimo klaidas. Blokavimo bandyme [7], stimulas, suporuotas su visiškai prognozuojamu atlygiu, negali būti išmoktas ir todėl netampa galiojančiu atlygio nuspėjamuoju. Atlyginimo po blokuojamo stimulo nebuvimas nėra prognozavimo klaida ir nesukelia atsako dopamino neuronuose, net ir po didelių stimulų ir atlygio susiejimo [27]. Priešingai, atlygio suteikimas po užblokuoto stimulo yra teigiama prognozavimo klaida ir todėl sukelia dopamino aktyvavimą.

Su sąlyga, kad kondicionavimo slopinimo paradigma [28] siūlo papildomą prognozavimo klaidų bandymą. Mūsų eksperimentuose panaudotas uždavinys yra bandymo stimulas, pateikiamas kartu su nustatytu atlygio prognozavimo stimuliu, bet po junginio negaunama jokio atlygio, todėl bandomasis stimulas yra už atlygį nebuvimas. Atlygio praleidimas po tokio kondicionuoto inhibitoriaus nėra neigiamos prognozės klaida ir todėl nesukelia depresijos dopamino neuronuose [29]. Priešingai, atlygio suteikimas po inhibitoriaus sukelia stiprią teigiamą prognozavimo klaidą ir atitinkamai stiprų dopamino aktyvavimą.

Šių dviejų oficialių testų rezultatai patvirtina, kad dopamino neuronai rodo dvipusį atlygio prognozavimo klaidų kodavimą.

Adaptyvaus atlygio prognozavimo klaidų kodavimas

Apskritai atlygio prognozavimo paskata nurodo būsimų apdovanojimų vertę, informuodama apie atlygio verčių tikimybės pasiskirstymą. Taigi stimulas rodo numatomą vertę (pirmąjį momentą) ir (tikėtiną) dispersiją (antrąjį momentą) arba standartinį pasiskirstymo nuokrypį.

Dopamino vertės prognozavimo klaidos atsakas yra jautrus tiek pirmajam, tiek antrajam numatyto atlygio pasiskirstymo momentui po dviejų sekundžių po stimulo. Eksperimente skirtingi vizualiniai dirgikliai gali numatyti specifinius binarinių tikimybių pasiskirstymo lygius, turinčius skirtingų tikėtinų dydžių ir skirtumų. Kadangi prognozės klaidos atsakas atspindi skirtumą tarp gautos ir tikėtinos atlygio vertės, identiškas gauto atlygio dydis sukuria arba padidina, arba sumažina dopamino aktyvumą, priklausomai nuo to, ar šis atlygis yra didesnis ar mažesnis už jo prognozę, atitinkamai [23]. Šis rezultatas rodo, kad vertės prognozavimo klaidų kodavimas pateikia informaciją, susijusią su atskaitos ar inkarų verte.

Atlygio vertės prognozavimo klaidos dopamino kodavimas prisitaiko prie paskirstymo dispersijos arba standartinio nuokrypio. Binarinio lygiaverčių pranašumų pasiskirstymo atveju atlygio, turinčio didesnį dydį kiekviename pasiskirstyme, pristatymas sukelia tą patį dopamino aktyvavimą su kiekvienu pasiskirstymu, nepaisant 10 kartų skirtumų tarp gautų atlygio dydžių (ir gautų vertės prognozavimo klaidų) [23]. Skaitiniai skaičiavimai atskleidžia, kad dopamino atsakas koduoja vertės prognozavimo klaidą, padalytą iš numatomo pasiskirstymo standartinio nuokrypio. Tai sudarė efektyvų normalizavimą arba vertės prognozavimo klaidos atsako skalę pagal standartinį nuokrypį, nurodant, kiek gauta atlygio vertė skiriasi nuo numatomos vertės standartinio nuokrypio vienetais. Teoriniai argumentai rodo, kad klaidų mokymo signalai, kurie yra skalę pagal dispersiją arba standartinį nuokrypį, o ne vidurkis, gali tarpininkauti stabiliam mokymuisi, kuris yra atsparus prognozuojamoms rezultatų pasekmėms [30].

Dopamino atsakas į atlygio prognozavimo stimulus

Dopamino neuronai rodo aktyvacijas („sužadinimus“) po atlygio, numatančio regos, klausos ir somatosensorinius dirgiklius (1B pav. 1B pav.) [31-33]. Atsakymai vyksta neatsižvelgiant į dirgiklių jutimo būdus ir erdvinę padėtį, taip pat į tai, ar efektoriai yra rankų, burnos ar akių judesiai.

Aktyvacijos padidėja monotoniškai su atlyginimų tikimybe [18] ir atlygio dydžiu, pavyzdžiui, skysčio tūriu [23]. Tačiau dopamino atsakas neatiskiria atlygio tikimybės ir dydžio, kol tikėtina vertė yra identiška [23]. Taigi, atrodo, kad aktyvacijos koduoja numatomą numatomo atlygio tikimybės pasiskirstymo vertę. Numatoma reikšmė yra daugiau parsimoniško paaiškinimo, o triukšmas neuronų atsakuose neleidžia apibūdinti tikėtino (subjektyvaus) naudingumo. Atkreipkite dėmesį, kad žemiau aprašytas laikinas diskontavimas atskleidžia subjektyvų kodavimą ir gali pateikti tam tikrą šviesą.

Atsakymo dydis didėja mažėjant elgesio reakcijos laikui, o tai rodo, kad dopamino atsakas yra jautrus gyvūno motyvacijai [19]. Pasirenkant skirtingas atlygio vertes ar vėlavimą, dopamino atsakymai į pasirinkimo variantų pateikimą atspindi būsimą gyvūno pasirinktą atlygį [34] arba didžiausią įmanomą atlygį iš dviejų galimų pasirinkimo variantų [35].

Mokymosi metu dopamino aktyvavimas į atlygį palaipsniui mažėja per nuoseklius mokymosi bandymus, o tuo pačiu metu atsiranda aktyvavimo į atlygį prognozavimo stimulas [36,37]. Kondicionuojamo atsako gavimas yra jautrus blokavimui, nurodant, kad prognozavimo klaidos vaidina vaidmenį dopamino atsakų į sąlyginius stimulus įgijimas [27]. Atsakymo perdavimas į atlygį numatančius stimulus atitinka pagrindines efektyvaus laiko skirtumo stiprinimo modelių mokymo signalų charakteristikas [38]. Atsakymo pokytis nereiškia, kad ankstesnių laikinųjų skirtumų modelių [27,38] stimuliavimo ir atlygio intervale prognozavimo klaidos yra atgalinės, bet yra atkuriamos pradiniame laikinojo skirtumo modelyje ir originaliuose ir naujesniuose laikinųjų skirtumų diegimuose [6,37,39].

Subjektyvus atlyginimų vertės kodavimas, parodytas laikinu diskontavimu

Objektyvus subjektyvios atlygio vertės nustatymas pagal pasirinkimo pasirinkimus rodo, kad atlyginimai praranda dalį savo vertės, kai jie vėluoja. Tiesą sakant, žiurkės, balandžiai, beždžionės ir žmonės dažnai pirmenybę teikia anksčiau mažesniems atlygiams už didesnį atlygį [40-42]. Taigi, subjektyvi atlygio vertė, atrodo, mažėja su didėjančiais laiko vėlavimais, nors fizinis atlygis, taigi ir objektyvus atlygio dydis, yra tas pats.

Psichometriniai intertemporalinio elgesio pasirinkimo parametrai tarp ankstesnių ir vėlesnių apdovanojimų koreguoja ankstyvo atlygio dydį iki pasirinkimo abejingumo atsiradimo, kuris apibrėžiamas kaip kiekvienos parinkties pasirinkimo tikimybė p = 0.5. Taigi mažesnis ankstyvas atlygis pasirenkant abejingumą rodo žemesnę subjektyvią vėlesnio atlygio vertę. Neseniai atlikus bandymus su beždžionėmis, 4, 8 ir 16 s atidedamų atlygių pasirinkimo abejingumo reikšmės atitinkamai sumažėjo maždaug 25%, 50% ir 75%, palyginti su atlygiu po 2 s [43]. Sumažėjimas atitinka hiperbolinę diskontavimo funkciją.

Dopamino atsakas į atlygio prognozavimo stimulus sumažėja monotoniškai per 2 atlyginimų vėlavimus į 16 s [25,43], nepaisant to, kad po kiekvieno vėlavimo pateikiamas toks pat atlygio dydis. Šie duomenys rodo, kad laikini vėlavimai daro įtaką dopamino atsakams už atlygį už prognozuojančius dirgiklius panašiu būdu, nes jie daro įtaką subjektyviai atlygio vertei, įvertintai tarpteminių pasirinkimų. Įdomu tai, kad dopamino atsako sumažėjimas su atlyginimų vėlavimu yra neatskiriamas nuo atsako sumažėjimo su mažesniu atlygio dydžiu. Šis panašumas rodo, kad laikini vėlavimai turi įtakos dopamino atsakams per atlygio vertės pokyčius. Taigi, dopamino neuronams, atidėtas atlygis atrodo taip, lyg jie būtų mažesni.

Taigi, atrodo, kad dopamino neuronai koduoja subjektyvią, o ne fizinę, objektyvią uždelsto atlygio vertę. Atsižvelgiant į tai, kad naudingumas yra labiau subjektyvios, o ne objektyvios atlygio vertės matas, atsako sumažėjimas su laikinu diskontavimu gali reikšti, kad dopamino neuronų kodai atlygina už (subjektyvią) naudą, o ne kaip (objektyvią) vertę. Kiti eksperimentai gali padėti tiesiogiai išbandyti naudingumo kodavimą.

Dopamino atsakas į aversinius stimulus

Aversiški dirgikliai, tokie kaip oro pūtimas, hipertoninis fiziologinis tirpalas ir elektros šokas, budriems gyvūnams sukelia nedidelę dalį dopamino neuronų aktyvuojančią („sužadinimo“) reakciją (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), o dauguma dopamino neuronų yra arba nuslopę dėl savo aktyvumo, arba jų neveikia aversiški įvykiai (paveikslas (1C1C pav. Viršuje). Skirtingai nuo atlygio, oro pūtimas nesukelia dvikryptės prognozavimo klaidos atsako, būdingo atlygiui ; prognozavimas tik moduliuoja aversišką aktyvaciją [45,46].

Aversinis stimuliavimas anestezuotuose gyvūnuose sukelia įvairius, bet dažnai mažesnius, lėtesnius, aktyvesnius atsakymus (50% [47]; 18% [48]; 17% [49]; 14% [50]) ir dažnai aktyvumą. Neurofiziologiniai pakartotiniai tyrimai su geresniu dopamino neuronų identifikavimu patvirtino bendrą nedidelį aversyvių dopamino aktyvų dažnį anestezuotuose gyvūnuose [51] ir vidurio smegenų ventromedialinio tegmentalioje zonoje esančius aversyviai reagavo į dopamino neuronus [52].

Kondicionuojami oro oro prakaitai, skatinantys pabudusius beždžiones, sukelia aktyvumą mažesnėje dopamino neuronų ir depresijų didesnėje dopamino neuronų dalyje (11% [33]; 13% [45]; 37% [46]). Depresantų atsakymai panaikina nedidelį aktyvų skaičių dopamino neuronų vidurkio atsakuose į aversyvius stimulus [33] (žr. Paveikslą1C1C apačioje, juoda). Viename tyrime sąlyginis aversinis stimulas suaktyvino daugiau neuronų nei pats oro pūtimas (37% vs 11% [46]), nors sąlyginis stimulas yra mažiau aversyvus nei pirminis aversinis įvykis, pvz. Didesnis aktyvuojamų sąlygų suaktyvinimas, lyginant su oro pripūtimu, rodo atvirkštinį ryšį tarp aversivity ir aktyvavimo (tuo labiau aversyvus stimulas, tuo mažiau dažnas aktyvavimas), arba papildomas, ne aversinis stimuliavimo komponentas, atsakingas už aktyvuotos neuronai nuo 11% iki 37%. Nors stimulų aktyvacija teigiamai siejo su oro pripūtimo tikimybe populiacijoje, jie nebuvo vertinami atskiruose neuronuose [46]. Gyventojų koreliacija gali atsirasti dėl santykinai nedidelio skaičiaus teigiamai koreliuojamų neuronų, esančių toje populiacijoje, ir tikrai averantiškos stimulų aktyvacijos gali būti arčiau 11% nei 37%. Kitame tyrime didelės dopamino neuronų proporcijos parodė fazinius aktyvavimus su sąlygotais aversiniais stimulais, kai jie buvo pateikti atsitiktiniu būdu su tos pačios jutimo modalinės premijos prognozavimo paskatomis (paveikslas (fig. 1C1C apačioje, pilkas) (65% [33]); buvo daug rečiau, kai dviejų tipų stimuliuojami stimulai turėjo skirtingus jutimo būdus (paveikslas (fig. 1C1C apačioje, juoda) (11%). Kitame skyriuje bus aptariami veiksniai, galimai susiję su šiais nepaaiškinamais įsišaknijimo ir kitų, nesukeliančių stimulų aktyvavimais.

Nors kai kuriuos dopamino neuronus aktyvina aversiniai įvykiai, didžiausias dopamino aktyvinimas yra susijęs su atlygiu. Su kitais metodais gauti duomenys leidžia daryti panašias išvadas. Greitas nuskaitymo voltammetrinis elgesys su žiurkėmis rodo striatalų dopamino išsiskyrimą, kurį sukelia atlygis, ir perėjimą prie premijų paskatinimo po kondicionavimo [53], o tai rodo, kad dopamino neuronų impulsinis atsakas sukelia atitinkamą dopamino išsiskyrimą iš striatų varikozių. Dopamino padidėjimas trunka tik kelias sekundes, todėl turi trumpiausią visų neurocheminių metodų trukmę, artimiausią elektrofiziologiniam aktyvavimui. Dopamino išsiskyrimas yra diferencinis už atlygį (sacharozę) ir nesilaikant bausmės (chinino) [54]. Kadangi voltammetrija įvertina dopamino koncentracijos vidurkius, tai, kad nėra chinino išskiriamo išsiskyrimo, gali paslėpti keletą aktyvacijų, atšauktų dopamino populiacijos atsako [33]. Tyrimai, naudojant labai jautrią in vivo mikrodializę, atpažįsta dopamino išsiskyrimą po aversinių stimulų [55].

Šis atsakas gali atspindėti dopamino pokyčius, kuriuos sukelia nedideli neuronai, aktyvuojantys aversinius stimulus, nors mikrodializės matavimų laikas yra maždaug 300-500 kartų mažesnis nei impulso atsakas ir gali būti pakankamas, kad būtų galima atlikti presinaptines sąveikas, veikiančias dopamino išsiskyrimą [56] . Dopamino neuronų švaistymo nutraukimas nutraukia keletą apetitinių mokymosi užduočių, bet taip pat baiminasi [9]. Rezultatas galėtų reikšti mokymosi funkciją, kai atsakas į aversyvius dopamino atsakymus, jei neįmanoma nustatyti, koks yra mažesnis dopamino koncentracijos netinkamas, apskritai neįgalus poveikis. Specifinė dopamino neuronų stimuliacija optogenetiniais metodais, naudojant genetiškai įterptą kanapodopsiiną, sukelia Pavlovijos vietos pirmenybės kondicionavimą pelėse [57]. Kita vertus, dopamino stimuliacijos grynasis aversinis poveikis būtų galėjęs sukurti mokymosi užkirsti kelią vietai išvengti. Šie rezultatai patvirtina visuotinio teigiamo sustiprinančio dopamino sistemų, atsiradusių iš ankstesnių pažeidimų, elektrinės savęs stimuliacijos ir priklausomybės nuo narkotikų, funkciją [1,2]. Tačiau šie argumentai teigia, kad atlygis nėra vienintelė dopamino sistemų funkcija, nei kad visos atlygio funkcijos apima dopamino neuronus.

Fazinės dopamino aktyvacijos, nekoduojančios atlygio

Stimulai gali sukelti įspėjamąsias ir dėmesingas reakcijas, kai jos yra fiziškai svarbios (fizinis dėmesingumas) arba kai jos yra susijusios su stiprintojais („motyvacinis“ ar „emocinis“ dėmesys). Elgesio reakcijos į svarbiausius dirgiklius skirstomos pagal fizinį dirgiklių intensyvumą ir įtvirtintojo vertę. Fizinis dėmesys visiškai nepriklauso nuo sustiprinimo, o motyvacinis - nuo stiprintojų valios (atlygis ir bausmė).

Atsakymai į fiziškai svarbius stimulus

Fiziškai intensyvūs regėjimo ir klausos stimulai sukelia aktyvumą dopamino neuronuose (paveikslasXXUMUM) .1D). Šiuos atsakymus sustiprina stimulo naujovė [1-58], tačiau jie išlieka žemesniuose lygiuose kelis mėnesius, jei stimulai yra pakankamai fiziškai intensyvūs. Atsakymai skirstomi pagal stimulų dydį (60 pav. 4). Fizinis dėmesys taip pat gali iš dalies paaiškinti atsakymus į pagrindinius bausmes, turinčius didelį fizinį intensyvumą [15]. Šie atsakai gali būti atskira dopamino atsako rūšis, susijusi su fiziniu dėmesio, skatinančio aplinkos stimulus, savybėmis, arba jie gali būti susiję su teigiamai motyvuojančiais ir stiprinančiais intensyvių ir naujų stimulų požymiais.

Atrodo, kad aktyvinimas į fiziškai svarbius stimulus neatspindi bendros tendencijos, kad dopamino neuronai būtų aktyvuojami bet kokiu dėmesio generuojančiu įvykiu. Visų pirma, kiti stiprūs dėmesio generuojantys įvykiai, tokie kaip atlygio neveikimas, sąlyginiai inhibitoriai ir aversiniai stimulai, sukelia daugiausia depresijas ir retai tikruosius dopamino aktyvavimus [14,29]. Taigi, dopamino aktyvavimas fiziškai svarbiais stimulais negali būti bendras įspėjimo atsakas. Atsakymas už atlygį greičiausiai bus atskiras atsakas, kuris gali neatspindėti motyvacinio atlygio dėmesio.

Kitos ne atlygio kodavimo aktyvacijos

Kiti stimulai sukelia dopamino neuronų aktyvaciją be akivaizdaus atlygio vertės kodavimo. Šios aktyvacijos yra mažesnės ir trumpesnės nei atsakymai, skirti atlyginti prognozuojamiems stimulams, ir dažnai jiems seka depresija, kai dirgikliai yra nesuvaldomi (pav. (Fig. 1E1E).

Dopamino neuronai parodo aktyvumą po kontrolinių stimulų, kurie pateikiami pseudorandomoje pakaitoje su atlygintinais stimulais [27,29,32]. Aktyvavimo dažnumas priklauso nuo alternatyvių, apdovanotų stimulų elgesio užduotyje skaičiaus; aktyvavimas yra dažnas, kai yra atlyginami trys iš keturių užduočių dirgiklių (25% -63% [27]) ir tampa retai, kai tik vienas iš keturių užduočių dirgiklių yra nepakankamas (1% [29]). Ši priklausomybė prieštarauja grynai jutimo pobūdžiui.

Dopamino neuronai rodo gana stereotipinį pradinį aktyvinimo komponentą stimulams, prognozuojantiems atlygį, kuris atsiranda po skirtingų vėlavimų [43]. Pradinis aktyvavimas labai skiriasi nuo atlyginimų atidėjimo, todėl neatrodo, kad jis būtų atlygio vertė. Priešingai, vėlesnis atsako komponentas mažėja didėjančiais vėlavimais ir tokiu būdu koduoja (subjektyvią) atlygio vertę (žr. Aukščiau).

Dopamino neuronai rodo dažnas aktyvacijas po sąlyginių aversinių stimulų, pateiktų atsitiktinai pakaitomis su atlygio prognozavimo stimulais; aktyvacijos išnyksta iš esmės, kai naudojami skirtingi jutimo būdai (65% vs 11% neuronų [33]), o tai rodo, kad nėra aversyvių stimuliatorių komponentų. Net kai aversyvūs ir apetitiniai stimulai skirstomi į skirtingus bandomuosius blokus, dopamino neuronus žymiai aktyvuoja sąlyginiai aversiniai stimulai. Vis dėlto dažniau suaktyvinti sąlyginiai stimulai, palyginti su aversiškesniu pirminiu oro pripūtimu (37% vs 11% [46]), rodo atvirkštinį ryšį su dirgiklių ir galbūt ne aversyvių atsako komponentų aversyvumu.

Šios skirtingos dopamino aktyvacijos priežastys gali būti apibendrinimas, pseudoconditioning arba motyvacinis stimulas. Apibendrinimas atsiranda dėl stimulų panašumų. Jis gali paaiškinti dopamino aktyvavimą daugelyje situacijų, būtent, aktyvavimą į nekontroliuojamus vizualinius dirgiklius, kai jie pakaitomis su atlyginimais, numatančiais vizualinius dirgiklius (pav. Bendras apibūdinimas gali atlikti svarbų vaidmenį, kai skirtingų jutimo būdų dirgikliai sukelia mažiau dopamino aktyvumo neišvengiamiems stimulams, nei stimulai, turintys tokias pačias sąlygas, kaip matyti iš regeneruojančių ir klausos apetitinių dirgiklių (paveikslas (fig. 1C1C apačioje) [27,29,32] .

Pseudoconditioning gali atsirasti, kai pirminis reinforceris nustato kontekstinį foną ir provokuoja specifinius elgesio atsakymus į bet kokius įvykius šiame kontekste [61]. Kadangi dopamino neuronai yra labai jautrūs atlyginimams, naudingas kontekstas gali paskatinti pseudoconditioning į stimulus, nustatytus šiame kontekste, taigi ir neuronų aktyvavimą. Šis mechanizmas gali sukelti neuronų aktyvavimą nepalankioms paskatoms, kurios vyksta naudingame kontekste, pvz., Laboratorijoje, kurioje gyvūnas gauna kasdienį atlygį, neatsižvelgiant į tai, ar stimulai pateikiami atsitiktine pakaitomis su apdovanotais dirgikliais, ar atskiruose bandomuosiuose blokuose [46]. Pseudoconditioning gali paaiškinti neveiksmingų kontrolinių stimulų [27,29,32] aktyvavimą, dauguma aktyvacijų po aversyvių dirgiklių [33,45,46] ir pradinis, prastai įvertintas aktyvavimo komponentas, skirtas atlyginti vėlavimo prognozavimo stimulus [43]. Taigi pseudoconditioning gali atsirasti dėl pirminio atlygio, o ne sąlyginio stimulo, ir paveikti dopamino aktyvaciją tiek kondicionuotiems stimulams, tiek pirminiams stiprintuvams, kurie vyksta naudingame kontekste.

Nors stimulai, turintys didelę fizinę savybę, vairuoja dopamino neuronus [15,58-60] (žr. Aukščiau), stimulai, skatinantys ne atlygį užkoduojančius dopamino aktyvus, dažnai yra nedideli ir nėra fiziškai labai svarbūs. Motyvacinė ištikimybė pagal apibrėžimą yra bendra atlygių ir bausmių atžvilgiu, ir savaime gali paaiškinti, kad 10-20 proc. Nesustiprinantys stimulai gali tapti motyvaciniu požiūriu svarbūs, nes jie yra arti atlygio ir bausmės per pseudoconditioning. Tačiau atrodo, kad dopamino aktyvavimas yra daug jautresnis už atlygį nei bausmė. Kadangi motyvacinė savybė apima jautrumą abiem stiprintuvams, motyvacinė savijauta, įgyta per pseudoconditioning, gali netinkamai paaiškinti ne atlygio užkoduojančių dopamino aktyvavimų.

Apskritai, daugelis ne pelningų koduojančių dopamino aktyvacijų gali būti dėl stimuliatoriaus apibendrinimo arba ypač pseudokondicionavimo. Nepaisant to, atrodo, kad išlieka tikras aktyvavimas nepakeistiems kontroliniams stimulams ir pirminiams bei sąlyginiams aversiniams stimulams ribotoje dopamino neuronų dalyje, kai šie veiksniai yra atmesti. Papildomi eksperimentai, vertinantys tokius atsakymus, turėtų naudoti geresnę kontrolę ir visiškai pašalinti visus kontekstinius atlygio susivienijimus su stimulais laboratorijoje.

Atsižvelgiant į tai, kad nėra aktyvių kodavimo aktyvų, yra tikslinga paklausti, kaip gyvūnas galėtų atskirti atlygį nuo neužtikrintų dirgiklių, remiantis dopamino atsaku. Labai greitas, pradinis, pseudoconditioned ir prastai diskriminuojantis atsako komponentas gali suteikti laikiną premiją greitoms, numatytoms elgsenos reakcijoms, kurios padeda gyvūnui labai greitai nustatyti galimą atlygį [62]. Priešingai, iš karto po atsako komponentas aptinka tikrąjį įvykio pobūdį per laipsnišką aktyvavimą su atlygio verte [43] ir jo dažną depresiją su nenaudojamais ir aversiniais dirgikliais [27,29,32,33] (paveikslas (Fig. 1E) .1E). Be to, dopamino sistema nėra vienintelis smegenų struktūros kodavimo atlygis, o kitos neuronų sistemos, pvz., Orbitofrontinė žievė, striatumas ir amygdala, gali suteikti papildomą diskriminacinę informaciją.

Dopamino atlygio rizikos signalas

Jei atlygio signalas atspindi vidutinį atlygio prognozavimo klaidą, suskirstytą pagal atlygio tikimybės pasiskirstymo standartinį nuokrypį, ir jei matome standartinį nuokrypį kaip rizikos matą, ar gali būti tiesioginis neuronų signalas rizikai? Kai atlygio tikimybės skiriasi nuo 0 iki 1 ir atlygio dydis išlieka pastovus, vidutinė atlygio vertė didėja monotoniškai tikimybe, o rizikos dydis seka apverstą U funkciją, pasiekiančią p = 0.5 (paveikslas2,2, įterpimas). 0.5, yra tiek daug galimybių gauti atlygį, nes tenka praleisti atlygį, o didesnės ir mažesnės tikimybės nei p = 0.5 padidina pelną ir nuostolius, todėl yra susijusios su mažesne rizika.

2 pav

Nuolatinis su rizika susijęs aktyvavimas. Rizikos reakcija atsiranda stimulo ir atlygio intervale (rodyklė) po fazinio, su vertybe susijusio stimulo (trikampio) aktyvavimo. Įdėklas, viršuje dešinėje, rodo, kad rizika (ordinatė) skiriasi (daugiau ...)

Maždaug trečdalis dopamino neuronų rodo santykinai lėtą, vidutinį, statistiškai reikšmingą aktyvavimą, kuris palaipsniui didėja per intervalą tarp atlygio prognozavimo stimulo ir atlygio; šis atsakas monotoniškai kinta su rizika (pav .2) 2) [18]. Aktyvavimas vyksta atskiruose bandymuose ir neatrodo, kad tai būtų prognozavimo klaidos atsakas, kuris grįžtų nuo atlygio į atlygį numatantį stimulą. Aktyvacija monotoniškai padidėja ir standartinio nuokrypio arba dispersijos atveju, kai naudojami skirtingų lygių galimų, nulinės atlyginimų dydžių binariniai pasiskirstymai. Taigi, standartinis nuokrypis arba dispersijos yra perspektyvios rizikos priemonės, koduojamos dopamino neuronuose. Su rizika susijęs aktyvinimas turi ilgesnes latencijos (apie 1 s), lėtesnių laiko kursų ir mažesnių viršūnių, palyginti su atlyginimų vertės atsakais į dirgiklius ir atlygį.

Dėl mažesnio dydžio rizikos signalas gali sukelti mažesnį dopamino išsiskyrimą dopamino varikozėse, palyginti su labiau fazine aktyvacija, koduojančia atlygio vertę. Santykinai maža dopamino koncentracija, kurią gali sukelti rizikos signalas, gali aktyvuoti D2 receptorius, kurie dažniausiai yra didelio afiniteto būsenoje, bet ne mažo afiniteto D1 receptoriai [63]. Priešingai, didesnis fazinio atlygio vertės atsakas gali sukelti daugiau dopamino koncentracijų, kad būtų galima trumpai suaktyvinti D1 receptorius jų mažai afinitetinėje būsenoje. Taigi šie du signalai gali būti diferencijuojami postsinaptiniais neuronais, remiantis skirtingais aktyvuotais dopamino receptoriais. Be to, dopamino vertė ir rizikos signalai kartu sukeltų beveik vienalaikį D1 ir D2 receptorių aktyvavimą, kuris daugelyje įprastų ir klinikinių situacijų yra būtinas norint, kad priklausomos nuo dopamino priklausomos funkcijos.

Dopamino rizikos signalas gali turėti keletą funkcijų. Pirma, tai gali turėti įtakos iš karto po numatomo klaidų atsako skalės standartiniam nuokrypiui iškart po atlygio [23]. Antra, tai gali padidinti dopamino išsiskyrimą, kurį sukelia iškart po prognozavimo klaidos atsako. Kadangi rizika skatina dėmesį, potencialaus mokymo signalo stiprinimas pagal riziką būtų suderinamas su dėmesio vaidmeniu mokymosi procese pagal asocijuotųjų mokymosi teorijas [64,65]. Trečia, tai galėtų būti indėlis smegenų struktūroms, dalyvaujančioms vertinant atlygio riziką per se. Ketvirta, ji galėtų derinti su ekonominiu laukiamu vertės signalu, kad būtų galima pateikti didelę informaciją apie tikėtiną naudą rizikos jautriems asmenims pagal vidutinio dispersijos metodą finansinio sprendimo teorija [66]. Tačiau apie 1 s latentinis laikas yra per ilgas, kad signalas galėtų atlikti momentinį vaidmenį pasirinkus netikrumą.

Konkuruojantys interesai

Autorius pareiškia, kad neturi konkuruojančių interesų.

Autorių įnašai

WS parašė popierių.

Padėka

Ši apžvalga buvo parašyta simpoziumo dėl dėmesio deficito hiperaktyvumo sutrikimo (ADHD) proga Osle, Norvegijoje, vasario 2010. Mūsų darbą palaikė „Wellcome Trust“, Šveicarijos nacionalinis mokslo fondas, „Human Frontiers“ mokslo programa ir kitos stipendijų ir stipendijų agentūros.

Nuorodos

1. Išminčius RA, Rompre PP. Smegenų dopaminas ir atlygis. Ann Rev Psychol. 1989: 40: 191 – 225. doi: 10.1146 / annurev.ps.40.020189.001203.

2. Everitt BJ, Robbins TW. Narkotikų stiprinimo neuronų sistemos: nuo veiksmų iki įpročių iki prievartos. Nat Neurosci. 2005: 8: 1481 – 1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]

3. Bernoulli D. Specimen theoriae novae de mensura sortis. „Comentarii Academiae Scientiarum Imperialis Petropolitanae“ („Papers Imp. Acad. Sci. St. Petersburg“) 1738: 5: 175 – 192. Išversta kaip: naujos rizikos matavimo teorijos ekspozicija. Ekonometrica 1954, 22: 23-36.

4. Rao RPN, Ballardo DH. Nuspėjamasis kodavimas regos žievėje: kai kurių papildomų klasikinių imlių lauko efektų funkcinis aiškinimas. Nat Neurosci. 1999: 2: 79 – 87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]

5. Rescorla RA, Wagner AR. In: Klasikinis kondicionavimas II: dabartinis tyrimas ir teorija. Juodas AH, Prokasy WF, redaktorius. Niujorkas: „Appleton Century Crofts“; 1972. Pavlovijos kondicionavimo teorija: sutvirtinimo ir netvirtinimo efektyvumo pokyčiai; 64 – 99.

6. Sutton RS, Barto AG. Šiuolaikinės adaptyvių tinklų teorijos link: lūkesčiai ir prognozavimas. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]

7. Kamin LJ. In: Pagrindiniai instrumentinio mokymosi klausimai. Mackintosh NJ, Honig WK, redaktorius. Halifaksas: Dalhousie University Press; 1969. Selektyvi asociacija ir kondicionavimas; 42 – 64.

8. Blythe SN, Atherton JF, Bevan MD. Sintetinis dendritinių AMPA ir NMDA receptorių aktyvavimas in vitro sukelia trumpalaikį aukšto dažnio deginimą. J Neurophysiol. 2007: 97: 2837 – 2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]

9. Zweifel LS, Parker JG, Lobb CJ, lietaus vanduo A, siena VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Dėl dopamino neuronų NMDAR priklausomo sprogimo šaudymo nutraukimo atliekamas selektyvus fazinio dopamino priklausomo elgesio įvertinimas. Proc Natl Acad Sci. 2009: 106: 7281 – 7288. doi: 10.1073 / pnas.0813415106. [PMC free article] [PubMed] [Cross Ref]

10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. NMDA receptorių tarpininkaujančio transmisijos plitimo laiko atžvilgiu priklausomybė nuo vidutinio smegenų dopamino neuronų. Neuronas. 2009: 62: 826 – 838. doi: 10.1016 / j.neuron.2009.05.011. [PMC free article] [PubMed] [Cross Ref]

11. Jones S, Bonci A. Synaptic plastiškumas ir narkomanija. Curr Opin Pharmacol. 2005: 5: 20 – 25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]

12. Kauer JA, Malenka RC. Synaptic plastiškumas ir priklausomybė. Nat Rev Neurosci. 2007: 8: 844 – 858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]

13. Ljungberg T, Apicella P, Schultz W. Monkey vidurinės smegenų dopamino neuronų reakcijos užlaikymo metu. Brain Res. 1991: 586: 337 – 341. doi: 10.1016 / 0006-8993 (91) 90816-E.

14. Schultz W, Apicella P, Ljungberg T. Monkey dopamino neuronų atsakymai už paskatinimą ir sąlyginius stimulus vėlesniais atsakymo užduoties mokymosi etapais. J Neurosci. 1993; 13: 900 – 913. [PubMed]

15. Schultz W. Nuspėjamasis dopamino neuronų atlygio signalas. J Neurophysiol. 1998; 80: 1 – 27. [PubMed]

16. Schultz W, Dayan P, Montague RR. Nervinis prognozavimo ir atlygio substratas. Mokslas. 1997: 275: 1593 – 1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]

17. Hollerman JR, Schultz W. Dopamino neuronai praneša apie klaidą laiko atlyginimų prognozavimo metu. Gamta Neurosci. 1998: 1: 304 – 309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]

18. „Fiorillo CD“, „Tobler PN“, „Schultz W“. Dopamino neuronų neuronų atlyginimų tikimybės ir neapibrėžties diskretiškas kodavimas. Mokslas. 2003: 299: 1898 – 1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]

19. Satoh T, Nakai S, Sato T, Kimura M. Koreliavo dopamino neuronų motyvacijos ir sprendimo rezultatų kodavimą. J Neurosci. 2003; 23: 9913 – 9923. [PubMed]

20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergmanas H. Sutapo, bet aiškūs vidutinio smegenų dopamino ir strialių toniškai aktyvių neuronų pranešimai. Neuronas. 2004: 43: 133 – 143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]

21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamino neuronai gali rodyti konteksto priklausomą prognozavimo klaidą. Neuronas. 2004: 41: 269 – 280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]

22. „Bayer HM“, „Glimcher PW“. Vidutinio smegenų dopamino neuronai koduoja kiekybinį atlygio prognozavimo klaidos signalą. Neuronas. 2005: 47: 129 – 141. doi: 10.1016 / j.neuron.2005.05.020. [PMC free article] [PubMed] [Cross Ref]

23. Tobler PN, Fiorillo CD, Schultz W. Dopamino neuronų adaptyvus atlygio vertės kodavimas. Mokslas. 2005: 307: 1642 – 1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]

24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Žmogaus materia nigra neuronai koduoja netikėtus finansinius atlyginimus. Mokslas. 2009: 323: 1496 – 1499. doi: 10.1126 / science.1167342. [PMC free article] [PubMed] [Cross Ref]

25. Fiorillo CD, Newsome WT, Schultz W. Dopamino neuronų atlyginimų prognozavimo laiko tikslumas. Nat Neurosci. 2008: 11: 966 – 973. doi: 10.1038 / nn.2159.

26. Bayer HM, Lau B, Glimcher PW. Dopamino neuronų trajektorijų statistiniai duomenys prabudusiame primate. J Neurophysiol. 2007: 98: 1428 – 1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]

27. Waelti P, Dickinson A, Schultz W. Dopamino atsakymai atitinka pagrindines formaliojo mokymosi teorijos prielaidas. Gamta. 2001: 412: 43 – 48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]

28. Rescorla RA. Pavlovijos sąlygotas slopinimas. Psychol Bull. 1969: 72: 77 – 94. doi: 10.1037 / h0027760.

29. Tobler PN, Dickinson A, Schultz W. Dopamino neuronų numatomo atlygio praleidimo kodavimas kondicionuojamo slopinimo paradigmoje. J Neurosci. 2003; 23: 10402 – 10410. [PubMed]

30. Preuschoff, Bossaerts P. Prognozavimo rizikos pridėjimas prie atlygio mokymosi teorijos. Ann NY Acad Sci. 2007: 1104: 135 – 146. doi: 10.1196 / annals.1390.005. [PubMed] [Kryžminis ref]

31. Romo R, Schultz W. Beždžionės vidurio smegenų dopamino neuronai: Atsakymų į aktyvų prisilietimą tikimybė savarankiškai inicijuojamų rankų judesių metu. J Neurophysiol. 1990; 63: 592 – 606. [PubMed]

32. Schultz W, Romo R. Beždžionės vidurio smegenų dopamino neuronai: reakcijos į dirgiklius, sukeliančius tiesiogines elgesio reakcijas, nenumatymas. J Neurophysiol. 1990; 63: 607 – 624. [PubMed]

33. Mirenowicz J, Schultz W. Vidutinio smegenų dopamino neuronų pirmenybė aktyviau, o ne aversyviems stimulams. Gamta. 1996: 379: 449 – 451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]

34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain dopamino neuronai koduoja sprendimus dėl būsimų veiksmų. Nat Neurosci. 2006: 9: 1057 – 1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]

35. Roesch MR, Calu DJ, Schoenbaum G. Dopamino neuronai koduoja geresnį variantą žiurkėms, sprendžiant tarp skirtingo atidėjimo ar dydžio. Nat Neurosci. 2007: 10: 1615 – 1624. doi: 10.1038 / nn2013. [PMC free article] [PubMed] [Cross Ref]

36. Takikawa Y, Kawagoe R, Hikosaka O. Galimas vidutinio smegenų dopamino neuronų vaidmuo trumpalaikiame ir ilgalaikiame sakcadų prisitaikyme prie padėties atlygio. J Neurophysiol. 2004: 92: 2520 – 2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]

37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopamino ląstelės reaguoja į numatomus įvykius klasikinio kondicionavimo metu: įrodymai, kad tinkamumo pėdsakai yra mokymosi užmokesčio tinkle. J Neurosci. 2005: 25: 6235 – 6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]

38. Montague PR, Dayan P, Sejnowski TJ. Mesencepalinių dopamino sistemų pagrindas, pagrįstas prognozuojamuoju Hebbian mokymu. J Neurosci. 1996; 16: 1936 – 1947. [PubMed]

39. Suri R, Schultz W. Neuroninis tinklas su dopamino tipo sustiprinimo signalu, kuris sužino erdvinę uždelsto atsako užduotį. Neurologija. 1999: 91: 871 – 890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]

40. Ainslie G. Specifiniai apdovanojimai: impulsyvumo ir impulsų kontrolės elgsenos teorija. „Psych Bull“. 1975: 82: 463 – 496. doi: 10.1037 / h0076860.

41. Rodriguez ML, Logue AW. Vėlinimo į armatūrą reguliavimas: palyginimas su balandžiais ir žmonėmis. J Exp Psychol Anim Behav procesas. 1988: 14: 105 – 117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]

42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Nuolaidų funkcijų nustatymas žiurkėms, taikant koreguojančio kiekio procedūrą. J Exp Anal Behav. 1997: 67: 353 – 366. doi: 10.1901 / jeab.1997.67-353. [PMC free article] [PubMed] [Cross Ref]

43. Kobayashi S, Schultz W. Atlyginimų vėlavimų įtaka dopamino neuronų atsakams. J Neurosci. 2008: 28: 7837 – 7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]

44. Guarraci FA, Kapp BS. Elektrofiziologinis ventralinio tegmentalinės srities dopaminerginių neuronų apibūdinimas diferencialinio pavloviško baimės metu, būdamas budrus triušyje. Behav Brain Res. 1999: 99: 169 – 179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]

45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminerginiai neuronai ir striatrijos cholinerginiai interneuronai koduoja skirtumą tarp atlygio ir aversinių įvykių skirtingų tikimybinių klasikinio kondicionavimo bandymų epochose. J Neurosci. 2008: 28: 1673 – 11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.

46. Matsumoto M, Hikosaka O. Dviejų tipų dopamino neuronai aiškiai perduoda teigiamus ir neigiamus motyvacinius signalus. Gamta. 2009: 459: 837 – 841. doi: 10.1038 / nature08028. [PMC free article] [PubMed] [Cross Ref]

47. „Chiodo LA“, „Antelman SM“, „Caggiula AR“, „Lineberry CG“. Jutiminiai stimulai keičia dopamino (DA) neuronų išsiskyrimo greitį: įrodymai dėl dviejų funkcinių tipų DA ląstelėse. Brain Res. 1980: 189: 544 – 549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]

48. Mantz J, Thierry AM, Glowinski J. Kenksmingo uodegos žiupsnelio įtaka mezokortikinių ir mezolimbinių dopamino neuronų išsiskyrimo greičiui: selektyvus mezokortikinės sistemos aktyvinimas. Brain Res. 1989: 476: 377 – 381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]

49. Schultz W, Romo R. Nigrostrialios dopamino neuronų reakcijos į didelio intensyvumo somatosensorinę stimuliaciją anestezuotame beždžionėje. J Neurophysiol. 1987; 57: 201 – 217. [PubMed]

50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Vidutinio smegenų dopaminerginių neuronų nociceptinius atsakus moduliuoja žiurkės geresnis kolikulis. Neurologija. 2006: 139: 1479 – 1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]

51. Ruda MTC, Henny P, Bolam JP, Magill PJ. Neurochemiškai heterogeninių dopaminerginių neuronų aktyvumas smegenų nigroje spontaniškų ir varomųjų smegenų būsenos pokyčių metu. J Neurosci. 2009: 29: 2915 – 2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]

52. Brischoux F, Chakraborty S, Brierley DI, „Ungless MA“. Fazinis dopamino neuronų sužadinimas ventralioje VTA sukelia kenksmingus stimulus. Proc Natl Acad Sci USA. 2009: 106: 4894 – 4899. doi: 10.1073 / pnas.0811507106. [PMC free article] [PubMed] [Cross Ref]

53. Diena JJ, Roitman MF, Wightman RM, Carelli RM. Asociatyvus mokymasis skatina dopamino signalizacijos dinaminius pokyčius branduolių accumbens. Nat Neurosci. 2007: 10: 1020 – 1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]

54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Realaus laiko cheminiai atsakai į branduolį accumbens diferencijuoja naudingus ir aversinius stimulus. Nat Neurosci. 2008: 11: 1376 – 1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]

55. Jauni AMJ. Padidėjęs ekstraląstelinis dopaminas branduolyje accumbens, reaguojant į besąlyginius ir sąlyginius aversinius stimulus: tyrimai, naudojantys 1 min mikrodializę žiurkėms. J Neurosci Meth. 2004: 138: 57 – 63. doi: 10.1016 / j.jneumeth.2004.03.003.

56. Schultz W. Įvairūs dopamino funkcijos įvairiais laikotarpiais. Ann Rev Neurosci. 2007: 30: 259 – 288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]

57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fazinis šaudymas dopaminerginiuose neuronuose yra pakankamas elgsenos kondicionavimui. Mokslas. 2009: 324: 1080 – 1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]

58. Strecker RE, Jacobs BL. Substantia nigra dopaminerginio vieneto aktyvumas elgiantis katėms: susijaudinimo poveikis spontaniškam išleidimui ir jutimo sukeltai veiklai. Brain Res. 1985: 361: 339 – 350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]

59. Ljungberg T, Apicella P, Schultz W. Avarinių dopamino neuronų reakcijos mokantis elgsenos reakcijų. J Neurophysiol. 1992; 67: 145 – 163. [PubMed]

60. Horvitz JC, Stewart T, Jacobs BL. Ventralinio tegmentinio dopamino neuronų aktyvumo priežastis yra jutimo stimuliatoriai. Brain Res. 1997: 759: 251 – 258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]

61. Sheafor PJ. Triušių pseudokondicionuoti žandikauliai atspindi asociacijas, susietas su kontekstiniais fono ženklais. J Exp Psychol: Anim Behav Proc. 1975: 104: 245 – 260. doi: 10.1037 / 0097-7403.1.3.245.

62. Kakade S, Dayan P. Dopamine: apibendrinimas ir premijos. Neuroninis tinklas. 2002: 15: 549 – 559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]

63. Richfield EK, Pennney JB, Young AB. Dopamino D1 ir D2 receptorių anatominės ir afininės būsenos palyginimas žiurkės centrinėje nervų sistemoje. Neurologija. 1989: 30: 767 – 777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]

64. Mackintosh NJ. Dėmesio teorija: stimulo susietumo su stiprinimu skirtumai. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.

65. „Pearce JM“, G. salė. Pavlovijos kondicionavimo modelis: kondicionuojamų, bet ne besąlyginių stimulų efektyvumo pokyčiai. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]

66. Levy H, Markowitz HM. Prognozuojamos naudingumo priartinimas prie vidutinės ir dispersijos funkcijos. Am Econ Rev. 1979; 69: 308 – 317.