Apmokėjimo gavimo išlaidos pagerina vidutinės smegenų dopamino neuronų atlygio numatymo klaidos signalą (2019).

Abstraktus

Yra žinoma, kad vidurinės smegenų dopamino neuronai koduoja atlygio numatymo klaidas (RPE), naudojamus vertės prognozėms atnaujinti. Čia mes tiriame, ar RPE signalus, kuriuos koduoja smegenų vidurinės smegenų dopamino neuronai, moduliuoja išlaidos, sumokėtos siekiant gauti atlygį, registruojant dopamino neuronus budinčiose beždžionėse, atliekančiose sunkią sakralinę užduotį. Dopamino neuronų reakcija į užuominas, numatančias atlygį, ir į apdovanojimų įteikimą padidėjo atlikus brangų veiksmą, palyginti su pigesniu veiksmu, kas rodo, kad RPE padidėja atlikus brangų veiksmą. Elgesio lygmenyje stimulo ir atlygio asociacijos išmokstamos greičiau atlikus brangų veiksmą, palyginti su pigesniu veiksmu. Taigi, informacija apie veiksmo kainą apdorojama apdovanojimo dopaminu sistemoje tokiu būdu, kuris sustiprina šį dopamino RPE signalą, o tai savo ruožtu skatina greitesnį mokymąsi brangių situacijų metu.

Įvadas

Žmonės ir gyvūnai renkasi atlygį, gautą įdėjus daug pastangų, kad jį gautų, palyginti su tuo pačiu atlygiu, atlikus mažesnes pastangas1,2,3. Buvo pateikta keletas šio poveikio paaiškinimų, pavyzdžiui, pastangų pagrindimas4,5 ir kontrasto efektas6, kurioje didesnė vertė priskiriama rezultatui, gautam atlikus apmokamas pastangas. Tačiau vis dar neaišku, ar ir kaip atlygio informacijos apdorojimas smegenyse yra keičiamas pastangų, kurias įdėjo siekiant gauti atlygį.

Mes atkreipėme ypatingą dėmesį į vidurinės smegenų dopamino sistemą, atsižvelgiant į šios sistemos vaidmenį skatinant elgesį prisitaikyti prie atlygio7,8,9. Yra žinoma, kad dopamino neuronai atspindi atlygio numatymo paklaidos (RPE) signalus, kurie gali palengvinti bazinių ganglijų išmokimą apie atlygio numatymą.10,11,12,13,14,15,16,17. RPE stiprumas priklauso nuo atlygio kiekio, kokybės ir subjektyvios vertės ar naudingumo7,18,19,20,21. Be to, dopaminerginį aktyvumą keičia išlaidos ir (arba) pastangos22,23. Tuo remdamiesi mes postuluojame, kad dopaminerginis RPE signalas bus tiesiogiai moduliuojamas atsižvelgiant į išlaidas, sumokėtas norint gauti atlygį. Be to, todėl, kad RPE signalas yra priežastinis tarpininkaujant skatinimo ir atlygio asociacijų mokymuisi24,25,26, mes iškėlėme hipotezę, kad atlygio gavimo išlaidos tiesiogiai padidins stimuliavimo ir atlygio asociacijų mokymosi greitį.

Norėdami patikrinti savo hipotezes, mes išmatuojome dviejų japonų beždžionių elgesį ir dopaminerginį aktyvumą, kol jie atlikdavo pasaka pagrįstą pastangų užduotį. Beždžionės greičiau reaguoja į atlygį prognozuojantį tašką, kuris pateikiamas po brangių veiksnių (HC), palyginti su veiksmu, kuris atliekamas po pigių (LC) veiksmų. Dopaminerginių neuronų aktyvumas atlygį numatančioms nuorodoms padidėja sumokėtomis sąnaudomis. Be to, mokamos išlaidos taip pat padidina mokymosi greitį, skatinant atlygį ir stimulą. Todėl mes siūlome, kad atlyginimo gavimo išlaidos padidintų RPE signalą dopamino neuronuose ir tokiu būdu sustiprintų stimulo ir atlygio asociacijas.

rezultatai

Aukštos ir žemos kainos (HLC) paketų užduotis

Norėdami ištirti mokamų išlaidų poveikį elgesiui ir dopamino neuronų veiklai, beždžionės atliko sakrato užduotį, turėdamos dvi kaštus (pav. 1a, žr. Metodai). Atlikdami HC bandymus, beždžionės greitai pagamino daiktą į taikinį ir laikė žvilgsnį į jį ilgesnį laiką nemirkčiodami (2 pav. 1b; žalios linijos). LC bandymuose, priešingai, beždžionės iš pradžių laisvai dairėsi, o paskui pritvirtino trumpiau (3 pav. 1b, violetinės linijos). Kadangi beždžionėms sunku išlaikyti ilgą fiksaciją, jie padarė daugiau klaidų vilkindami HC tyrimus (2 pav. 1c). Norėdami kontroliuoti iš to kylančius atlygio tikimybės skirtumus tarp HC tyrimų ir LC tyrimų, į LC bandymų dalį įterpėme priverstinius nutraukimus, kad būtų galima suvienodinti sėkmės procentus ir atlygio tikimybes tarp tyrimų rūšių (1 pav. 1d).

Pav 1
figūra1

HLC pasažo užduotis. a HLC saccade užduotis. Išlaidų ženklai (Cue Cue) rodo, kiek pastangų reikia norint gauti potencialų atlygį. Didelių sąnaudų bandymuose vėlavimo laikotarpiu reikėjo ilgo fiksavimo. Atlygio ženklas (R cue) nurodo, ar beždžionės galėjo gauti atlygį, ar ne. b Žvilgsnio kampo laiko eiga per vėlavimo periodą. Viršutinė ir apatinė plokštės rodo atitinkamai horizontalius ir vertikalius žvilgsnio kampus. Žalia ir violetinė linijos žvilgsnio kampą rodo atitinkamai brangiai kainuojančiuose tyrimuose (50 bandymai kiekvienoje skydelyje) ir pigiuose tyrimuose (50 bandymai kiekvienoje skydelyje). c Klaidų, susijusių su brangiais ir pigiais tyrimais, vėlavimo laikotarpis (**)P< 0.01; dviejų uodegų suporuotas t bandymas; t67 = 8.8, P = 4.8 × 10-15, n = 68 beždžionei P; t83 = 26.6, P 0, n = 84 beždžionei S). Juodi apskritimai ir klaidų juostos nurodo vidurkį ir SEM. d Sėkmės procentai brangių ir pigių bandymų metu (dvipusis suporuotas t bandymas; t67 = 0.51, P = 0.61, n = 68 beždžionei P; t83 = 0.79, P = 0.43, n = 84 beždžionei S). e Sąnaudų ženklų RT (**)P <0.01; dviejų uodegų suporuotas t bandymas; t67 = 20.4, P 0, n = 68 beždžionei P; t69 = 2.0, P = 1.2 × 10-3, n = 70 beždžionei S). f RT už atlygį (**)P <0.01; dviejų uodegų suporuotas t testas; Beždžionė P (n = 68): HC + prieš LC +, t67 = 3.5, P = 9.2 × 10-4; HC− palyginti su LC−, t67 = 24.5, P 0; HC + prieš HC−, t67 = 21.6, P 0; LC + prieš LC−, t67 = 28.5, P 0; Beždžionė S (n = 70): HC + prieš LC +, t69 = 5.6, P = 4.4 × 10-7; HC− palyginti su LC−, t69 = 4.8, P = 8.4 × 10-5; HC + palyginti su HC−, t69 = 18.0, P 0; LC + prieš LC−, t69 = 5.9, P = 1.1 × 10-7)

Apmokėta kaina padidina atlygį numatančių užuominų vertę

Norėdami gauti netiesioginius įrodymus dėl beždžionių subjektyvaus užuominų įvertinimo skirtumo, mes išbandėme beždžionių reakcijos laiką (RT). Visų pirma, mes tikėjomės, kad jei beždžionės vienai opcijai priskiria didesnę subjektyviąją vertę nei kitai, jos turėtų parodyti greitesnį RT labiau vertinamam variantui.27. Palyginus išlaidų indeksų RT, abi beždžionės parodė LC greitesnius RT, palyginti su HC žymeniu (1 pav. 1e), parodydamas numanomą pirmenybę LC sąlygai. Palyginus atlygio taškų RT, abi beždžionės parodė greitesnius RT, kad atsilygintų (R +), nei negavo atlygio (R−). 1f), nurodant, kad jie mieliau renkasi R + raktus, o ne R – raktus. Be to, abi beždžionės parodė greitesnį RT į RHC+ lazda palyginti su RLC+ lazda ir į RHC- lazda, palyginti su RLC- lazda (pav. 1f), nurodant, kad jie labiau vertina atlygį prognozuojančius ženklus HC, palyginti su LC sąlyga.

Be to, mes įtraukėme pasirinkimo bandymus į HLC pasažo užduotį, kad patikrintume beždžionių akivaizdžius pasirinkimus tarp užuominų (papildomas 5 pav. 1a). Beždžionės, pasirinkdamos tarp išlaidų ženklų, pirmiausia pasirinko LC žymėjimą (Papildomas 5 pav. 1b). Beždžionė S pirmiausia pasirinko RHC+ taškas, kai pasirenkama užduotis tarp RHC+ ir RLC+ lazda, bet neteikiama pirmenybės tarp RHC- ir RLC- užuominos (papildomas 1 pav. 1c, d). Priešingai, beždžionė P neturėjo aiškios pirmenybės tarp RHC+ ir RLC+ užuominos, bet vis dėlto pirmenybę teikė RHC- lazda renkantis tarp RHC- ir RLC- užuominos (papildomas 1 pav. 1c, d).

Elektrofiziologiniai HLC sakkados užduoties rezultatai

HLC sakkados užduoties metu mes užfiksavome vieno vieneto aktyvumą iš neuronų, esančių pagrindinėje nigra pars compacta (SNc) ir ventralinėje pagrindinėje srityje (VTA). Abiejose beždžionėse nustatėme 70 dopamino neuronus (papildomas pav. 2a; 18 ir 52 neuronai iš atitinkamai beždžionių P ir S). Histologinis tyrimas patvirtino, kad neuronai buvo SNc / VTA arba aplink jį (papildomas 5 pav. 2b).

Pav. 2, parodome reprezentacinio dopamino neurono aktyvumą. Šis neuronas parodė kuklų LC suaktyvinimą ir fazinį aktyvavimą ar slopinimą siekiant atlygio (RHC+ ir RLC+) arba nėra atlygio ženklų (RHC- ir RLC-), atitinkamai (pav. 2, Papildomas pav. 3). Neuronas taip pat parodė fazinį aktyvavimą nenuspėjamam atlygiui, taip pat fazinį slopinimą reaguojant į baisų stimulą, nenuspėjamą oro pylimą (1 pav. 2, dešinysis skydelis). Be to, neuronas rodė nedidelį slopinimą į pradinį tašką, tačiau neatsakė į atlygį. Visa dopamino neuronų populiacija, kurią užfiksavome, rodė panašų atsaką į pradinį tašką ir atlygį (papildomas pav. 4a, b). Atliekant HLC pasažo užduotį, prieš gaunant atlygį, buvo sumokėta pastangų kaina. Nes numatytos išlaidos sumažino dopamino neuronų aktyvumą22,23, dopamino neuronų atsakymai būtų slopinami pristatant lazdą16.

Pav 2
figūra2

Reprezentatyvaus dopamino neurono aktyvumas atliekant HLC sakkados užduotį. Spyglių tankio funkcijos (susietos su Gauso funkcija) ir rastriniai brėžiniai yra suderinti su pradžios žymos pradžios laiku, išlaidų žyma (C žyma), fiksavimo tikslu, atlygio žyma (R žyma) ir pyptelėjimu. Kiekviena spalva nurodo atitinkamai būseną (geltona: HC +, žalia: HC−, rožinė: LC +, ciano: LC−). Sakalų pradžios laikas žymimas pilkais kryžiais. Dešinėje skiltyje taip pat pateikiami dopamino neuronų atsakai į nenuspėjamą atlygį ar oro pūtimą (raudona: nenuspėjamas atlygis, mėlyna: nenuspėjamas oro pūtimas).

Dopamino neuronai koduoja informaciją apie atlygį ir kainą

Neuronai palaipsniui reagavo į LC lazdą, bet ne taip stipriai į HC lazdą (3 pav. 3a, b). Pateikti atsakymai į išlaidų būklės ženklus parodė mažesnį atsaką į HC kodą nei LC žetonas (dvipusio „Wilcoxon“ pasirašyto rango testas, P <3.2 × 10-4, n = 70). Prognozuojamos kainos poveikį neuronų atsakams kiekybiškai įvertinome naudodamiesi imtuvo veikimo charakteristikų (ROC) analize. Ploto pasiskirstymas po ROC kreive (auROC) buvo reikšmingai <0.5 (pav. 3c; dviejų krypčių „Wilcoxon“ pasirašyto rango testas; P = 5.4 × 10-4, n = 70), nurodant, kad HC užuominos atsakai buvo mažesni nei į LC ženklą. Anksčiau nustatyta, kad numatytos išlaidos sumažina dopamino neuronų aktyvumą, atitinkantį mūsų rezultatus22,23. Be to, dopamino neuronų populiacija pasižymėjo reikšmingu LC suaktyvinimu, tačiau reikšmingo slopinimo dėl HC užuominų neparodė (papildomas 5 pav. 4c, d). Šie rezultatai leidžia manyti, kad dopamino neuronai koduoja ir integruoja informaciją apie atlygį ir kainą tuo metu, kai pristatomi įkainiai.

Pav 3
figūra3

Dopamino neuronų reakcija į išlaidų žymes. a Tipiškas dopamino neuronų atsakas į kaštus. Spyglio tankio funkcijos buvo apskaičiuotos pagal normalizuotą dopamino neurono, užfiksuoto beždžionės P., aktyvumą. Spalvotos linijos nurodo smaigalio tankio funkcijas, o spalvoti taškai - smaigalio laiką. Žalia ir violetinė spalvos rodo aktyvumą atitinkamai brangių ir nebrangių bandymų metu. Vertikali linija nurodo kainos nurodymo pateikimo laiką. Pilkoje srityje nurodomas laikotarpis, pagal kurį reikia apskaičiuoti šaudymo greitį kaip atsaką į būsenos ženklus. b Vidutinis populiacijos vidutinis dopamino neuronų, užregistruotų nuo beždžionės P, būklė. Kietosios linijos punktyrinėmis linijomis reiškia atitinkamai vidurkį ir SEM. c Plotų pasiskirstymas pagal ROC, siekiant kiekybiškai įvertinti numatomų sąnaudų poveikį neuronų reakcijai į išlaidų žymėjimą. Užpildyti kvadratai ir atviri apskritimai rodo atitinkamai duomenis apie beždžiones P ir S. Rodyklės galvutė rodo „auROC“ (0.47) medianą. d, g Reprezentatyvūs motyvacinės vertės dopamino neurono atsakai (d) arba seifinio tipo dopamino neuronas (g) iki nenuspėjamo atlygio ar oro pūtimo. Raudona ir mėlyna kreivės rodo atitinkamai reakciją į nenuspėjamą atlygį ir nenuspėjamą oro pūtimą. Vertikali linija rodo nenuspėjamo atlygio ar oro pūslės pristatymo laiką. Blyškiai raudonos ir mėlynos spalvos kvadratai nurodo laikotarpį, per kurį reikia apskaičiuoti šaudymo greitį, kaip atsaką į nenuspėjamą atlygį ar oro pūtimą. e, h Populiacijos vidutinis motyvacinės vertės dopamino neuronų aktyvumas (e) arba saliento tipo dopamino neuronai (h) iki nenuspėjamo atlygio ar oro pūtimo. f, i AuROC pasiskirstymas, apskaičiuotas pagal motyvacinės vertės dopamino neuronų tipą (f) arba saliento tipo dopamino neuronai (i). Rodyklių galvutės nurodo „auROC“ (f 0.48; i 0.46)

Anksčiau buvo aprašyti du atskiri dopamino neuronų potipiai: motyvacinė vertė ir sveikumo neuronai28,29. Savo dopamino neuronų populiacijoje radome atsakymo įpročius, atitinkančius abu potipius. Vertės tipo neuronai parodė fazinį slopinimą prieštaringiems oro pūtimo dirgikliams (2 pav. 3d, e). Atvirkščiai, akivaizdūs neuronai parodė fazinį suaktyvėjusių dirgiklių aktyvavimą (2 pav. 3g, h). Ilgas fiksavimas HC tyrime taip pat yra nemalonus ir bauginantis; todėl gali būti, kad du dopamino neuronų potipiai parodytų skirtingą atsako į išlaidų būklės ženklus modelį. Jei dopamino neuronai parodo pasipriešinimo dirgiklius ir kainuoja panašiai, tada reikšmingi neuronai turėtų parodyti sumažėjusį HC židinio aktyvumą dėl jo baimės. Kita vertus, padidėjusio jautrumo neuronų aktyvumas turėtų būti padidėjęs, nes jie padidina ir nemalonius dirgiklius. Tačiau abiejų tipų neuronų išprovokuotos reakcijos buvo mažesnės, palyginti su LC, kai buvo nurodytos HC žaizdos, palyginti su LC žaide (dvipusio Wilcoxono pasirašyto rango testas; P = 0.021, n = 41 ir P = 0.0044, n = 29 vertės ir svarbumo tipams, atitinkamai), o ROC analizė parodė mažesnius atsakus į HC, palyginti su LC ženklu abiejuose potipiuose (Fig. 3f, t; dviejų krypčių „Wilcoxon“ pasirašyto rango testas; P = 0.030, n = 41 ir P = 0.0058, n = 29 atitinkamai vertės ir svarbos tipams). Taigi numatoma kaina sumažino abiejų dopamino neuronų potipių aktyvumą. Šie rezultatai rodo, kad informaciją apie sąnaudas dopamino neuronai apdoroja kokybiškai skirtingai nuo aversiškų dirgiklių.

Atlikdami HLC saccade užduotį, į LC bandymų dalį įterpėme priverstinį nutraukimą, kad išlygintume sėkmės rodiklius ir atlygio tikimybę tarp bandymo tipų. Ši manipuliacija padidino neapibrėžtumą gauti atlygį arba riziką, kad LC nebus atlyginta. Todėl didesnį dopamino neuronų aktyvumą ir beždžionių padidėjusį LC vertinimą per HC ženklą galėjo lemti rizikos skirtumas arba neapibrėžtumas tarp sąnaudų sąlygų. Tačiau mes neradome jokio ryšio tarp priverstinių abortų skaičiaus ir RT skirtumo (papildomas XNUMX pav.). 5a, b), ir mes nustatėme teigiamą koreliaciją tarp priverstinių nutraukimų skaičiaus ir auROC (papildomas pav. 5c). Mes taip pat palyginome dopamino reakciją į išlaidų ženklus po abortų ir teisingus tyrimus, tačiau neradome skirtumo abiejose išlaidų sąlygose (papildomas 5 pav. 5d). Šie rezultatai rodo, kad priverstinių abortų skaičius LC būklėje nepaaiškina nei padidėjusios vertės, nei padidėjusio dopaminerginio aktyvavimo į LC lazdą.

Padidėjęs dopamino atsakas siekiant atlyginti už sumokėtas išlaidas

Nustatyta, kad užregistruoti dopamino neuronai rodo fazinį aktyvavimą ir slopinimą siekiant atlyginti, o atlygį numatančių ženklų atitinkamai nėra (pav. 2). Toliau įvertinome, ar šiuos atsakymus pakeitė anksčiau patirtos išlaidos. Reprezentatyvaus neurono ir populiacijos vidurkio neuronų, pasižyminčių didesne R aktyvacija, pavyzdysHC+ lazda nei RLC+ užuomina parodyta paveiksle 4a ir b. (dviejų uodegų Wilcoxono pasirašytas rango testas; P = 7.4 × 10-5, n = 70). AuROC pasiskirstymas buvo> 0.5, o tai rodo, kad atsakas į RHC+ lazda buvo didesnė nei prie RLC+ lazda (pav. 4c; dviejų krypčių „Wilcoxon“ pasirašyto rango testas; P = 1.4 × 10-4, n = 70). Šie rezultatai rodo, kad atsakas į atlygį numatantį ženklą HC būklėje yra žymiai didesnis nei LC būklėje. Todėl mūsų išvados rodo, kad teigiamą RPE signalą, kurį rodo dopamino neuronai, padidina anksčiau patirtos išlaidos.

Pav 4
figūra4

Dopamino neuronų atsakai į atlygio ženklus. a Pavyzdys neuronų atsakas į R + užuominas. Spyglių tankio funkcijos buvo apskaičiuotos pagal dopamino neurono, užfiksuoto iš beždžionės P., aktyvumą. Spalvotos linijos ir taškai rodo atitinkamai smaigalio tankį ir smaigalio laiką. Geltona ir rožinė spalvos rodo aktyvumą atitinkamai brangių ir pigių bandymų metu. Vertikali linija rodo „R + cue“ pateikimo laiką. Pilka spalva pažymėtas laikotarpis, per kurį reikia apskaičiuoti šaudymo greitį kaip atsaką į atlygio nurodymus. b Populiacijos vidurkis dopamino neuronų, užfiksuotų nuo beždžionės P, iki R + ženklų, aktyvumas. Kietosios linijos ir punktyrinės linijos reiškia atitinkamai vidurkį ir SEM. c „AuROC“ pasiskirstymas siekiant apskaičiuoti sumokėtų išlaidų poveikį neuronų reakcijai į R + žymes. Užpildyti kvadratai ir atviri apskritimai rodo atitinkamai duomenis apie beždžiones P ir S. Rodyklės galvutė rodo „auROC“ vidurkį (0.53). d Reprezentatyvus atsakymas į kelio ženklus. Žalia ir žalsvai mėlyna spalva rodo atitinkamai brangiai kainuojančius ir pigius bandymus. Vertikali linija rodo R – cue pateikimo laiką. e Vidutinis populiacijos dopamino neuronų aktyvumas, užregistruotas nuo beždžionės P iki R-ženklų. f AuROC pasiskirstymas siekiant apskaičiuoti sumokėtų išlaidų poveikį neuronų reakcijai į R-taškus. Rodyklės galvutė rodo „auROC“ (0.50) medianą

Dopamino neuronai taip pat parodė fazinį R-ženklų slopinimą (2 pav. 4d, e). Tačiau dopamino neuronų atsakai į R-žymes neparodė reikšmingo skirtumo, atsižvelgiant į patirtas sąnaudas (dviejų krypčių Wilcoxono pasirašyto rango testas; P = 0.25, n = 70), o ROC analizė neatskleidė jokių įrodymų, kad atsakas pasiskirstė šališkai (XNUMX pav.). 4f; „Wilcoxon“ pasirašytas rango testas, P = 0.35; n = 70). Taigi sumokėtos išlaidos neatsispindėjo neigiamo RPE signale, kurį sukėlė negrąžinimo prognozuojantys ženklai. Tai gali sukelti grindų efektas: spontaniškas dopamino neurono aktyvumas yra mažas (maždaug 5 Hz); ir todėl gali nebūti pakankamo dinaminio diapazono, kad būtų galima tinkamai užkoduoti tokį neigiamų RPE atsakų išlaidų sąnaudų skirtumą (XNUMX pav.). 4d, e).

Taip pat mes atskirai ištyrėme mokamų išlaidų įtaką atlygio taškams už vertybinius ir patogumo tipo dopamino neuronus, tačiau abiejų tipų dopamino neuronai parodė panašų atsakymo modelį (papildomas 5 pav. 6a – h). Taigi apmokamos išlaidos pasireiškia panašiu atsaku į atlygio ženklus tiek vertės, tiek ir sveiko tipo dopamino neuronuose.

Faktinis beždžionių fiksacijos laikotarpis nebuvo pastovus, tačiau kinta pagal kiekvieną bandymą (1 pav. 1b). Todėl buvo įmanoma, kad dopamino reakcija į atlygio ženklus yra modifikuojama pagal realų fiksacijos trukmę kiekvienam tyrimui. Tačiau nepavyko rasti reikšmingos koreliacijos tarp jų kiekvienai kainai ir atlygio sąlygai (papildomas pav. 7Reklama). Be to, atlygio vertės RT taip pat buvo modifikuotos atsižvelgiant į kainą ir atlygio sąlygas (2 pav. 1f). Viena iš galimybių yra tai, kad dopamino neuronų reakciją RT gali paaiškinti atlygio užuominos kiekvienu bandymu pagrindu. Tačiau nepavyko rasti reikšmingos koreliacijos tarp RT ir normalizuotos dopamino reakcijos į atlygio ženklus (papildomas 5 pav. 7e – h). Šie rezultatai leidžia manyti, kad dopamino reakcijos nepriklauso nei nuo kiekvieno tyrimo, tiek nuo fiksacijos trukmės ir fiksacijos trukmės, tačiau yra koreguojamos atsižvelgiant į reikalaujamų išlaidų sumą ir numatomą atlygį, kuris yra nustatomas kiekvienam tyrimui.

Be to, taip pat yra įmanoma, kad priverstiniai abortai LC būsenoje sukėlė ir beždžionių preferencijas, ir sustiprintą dopamino neuronų aktyvavimą, siekiant atlyginti žalą HC būklėje. Jei taip, priverstinių nutraukimų skaičius turėtų būti susijęs tiek su pasirinkimu, tiek su aktyvesnio aktyvavimo laipsniu. Tačiau priverstinių abortų skaičius neturėjo jokios įtakos nei beždžionių pasirinkimui, nei dopamino neuronų aktyvavimui pagal atlygio ženklus (papildomas 5 pav. 8). Todėl greitesnis RT ir didesnis DA atsakas į RHC+ lazda nei RLC+ lazda nėra dėl įterptų priverstinių nutraukimų, esančių LC būsenoje.

Dėl patirtų išlaidų padidėja dopamino reakcija į atlygį

Dopamino neuronų atsakas į R + žymes turėtų kilti iš atsako į patį atlygį, nes dopamino neuronai keičia jų atsaką į atlygį numatančius nurodymus, palyginti su stimulo ir atlygio asociacija.8,30. Todėl mes tikėjomės, kad dopamino neuronai parodys mokamą atsaką, didinantį mokestį už atlygį už pristatymą. Norėdami išmatuoti dopamino neuronų aktyvumą pagal atlygį, beždžionės atliko HLC neapibrėžtą užduotį dviem naujais atlygio ženklais (1 pav. 5a). Kadangi apdovanojimai buvo įteikti tik pusėje apdovanojimo lapelių pristatymų, atlygio žymėjimai nei patikimai, nei skirtingai numatė atlygio įteikimą. Tai buvo padaryta siekiant maksimaliai padidinti dopamino neuronų reakciją į (nenuspėjamą) atlygį, kad padidėtų mūsų jautrumas aptikti neuronų reagavimo moduliaciją kaip išleistų išlaidų funkciją.

Pav 5
figūra5

HLC neapibrėžta užduotis. a HLC neapibrėžta užduotis. Atliekant šią užduotį, buvo naudojami neapibrėžti atlygio ženklai, kuriuose apdovanojimai buvo įteikti 50% laiko, nepriklausomai nuo to, koks žymeklis buvo įteiktas. b RT dėl brangių ir pigių tyrimų išlaidų ženklų. Tik beždžionė P rodė greitesnį RT į LC, nei HC lazda (**)P <0.01; dviejų uodegų suporuotas t bandymas; t4 = 9.0, P = 8.5 × 10-4, n = 5 beždžionei P; t18 = 1.4, P = 0.19, n = 19 beždžionei S). Juodi apskritimai ir klaidų juostos rodo vidurkį ir SEM. c RT už atlygį, gaunamą iš brangių ir pigių bandymų. RT nebuvo skirtumas tarp atlygio ženklų tarp brangių ir pigių sąlygų (dvipusė suporuota t bandymas; t4 = 0.97, P = 0.39, n = 5 beždžionei P; t18 = 0.99, P = 0.39, n = 19 beždžionei S)

Palyginus sąnaudų ženklų RT, beždžionė P parodė greitesnį RT į LC žymėjimą nei HC. 5b). Nei vienos, nei beždžionės, HC ir LC sąlygų atlygio užuominose RT nebuvo skirtumų (1 pav. 5c).

Atliekant HLC neapibrėžtą užduotį, dopamino neuronai parodė nedidelį LC suaktyvėjimą, tačiau į atlygio užuominas nereagavo, nes nebuvo atlygio numatantys (2 pav. 6a). Visoje populiacijoje išprovokuoti atsakai buvo mažesni nei HC nei LC žyma (pav. 6b; dviejų krypčių „Wilcoxon“ pasirašyto rango testas; P = 2.7 × 10-3, n = 19), o ROC analizė parodė mažesnį atsaką į HC užuominą (Fig. 6c; dviejų krypčių „Wilcoxon“ pasirašyto rango testas; P = 5.5 × 10-3, n = 19). Neuronų atsakas į atlygio pristatymą HC būklėje buvo didesnis nei LC (Fig. 6d; dviejų krypčių „Wilcoxon“ pasirašyto rango testas; P = 0.036, n = 19). AuROC pasiskirstymas buvo> 0.5, rodantis didesnį atlygio įteikimo atsaką HC, palyginti su LC tyrimais (Fig. 6e; dviejų krypčių „Wilcoxon“ pasirašyto rango testas; P = 0.049, n = 19). Šie rezultatai rodo, kad atlygio pristatymo atsakas yra sustiprintas HC bandyme ir kad sumokėtos išlaidos padidina teigiamą RPE signalą pristatant atlygį.

Pav 6
figūra6

Dopamino neurono atsakas į atlygio pristatymą. a Reprezentatyvus dopamino neuronų aktyvumas atliekant HLC neapibrėžtą užduotį. Kiekviena spalva nurodo sąlygas (geltona: HC +, žalia: HC−, rožinė: LC +, cianas: LC−). Sakalų pradžios laikas žymimas pilkais kryžiais. Šio dopamino neurono atsakai į nenuspėjamą atlygį ir oro pūtimą taip pat pavaizduoti dešiniajame skydelyje (raudona: nenuspėjamas atlygis, mėlyna: nenuspėjamas oro pūtimas). b Populiuojamas vidutinis dopamino neuronų aktyvumas, užregistruotas nuo beždžionės S iki būklės ženklų. Žalia ir violetinė spalvos rodo aktyvumą atitinkamai brangių ir nebrangių bandymų metu. Kietosios ir punktyrinės linijos reiškia atitinkamai vidurkį ir SEM. Pilkos spalvos sritis rodo laiko langą, kad būtų galima apskaičiuoti šaudymo greitį kaip atsaką į būsenos nurodymus. c „AuROC“ pasiskirstymas, siekiant kiekybiškai įvertinti numatomų sąnaudų poveikį neuronų reakcijai į išlaidų žymes. Užpildyti kvadratai rodo beždžionės P duomenis (n = 3) ir atviri apskritimai nurodo beždžionės S duomenis (n = 16). Rodyklės galvutė rodo auROC medianą (0.44). d Vidutinis populiacijos dopamino neuronų aktyvumas, užregistruotas nuo beždžionės S iki atlygio. Geltona ir rožinė spalvos rodo aktyvumą atitinkamai brangių ir pigių bandymų metu. Pilkos spalvos sritis nurodo laiką, per kurį reikia apskaičiuoti šaudymo greitį kaip atsaką į atlygio įteikimą. e „AuROC“ paskirstymas, siekiant kiekybiškai įvertinti sumokėtų išlaidų poveikį neuronų reakcijai į atlygio įteikimą. Rodyklės galvutė rodo „auROC“ (0.55) medianą

Be to, mes palyginome dopamino reakcijas negavus atlygio. „AuROC“ neparodė neobjektyvaus paskirstymo, nurodant, kad sumokėtos išlaidos neturėjo įtakos neigiamoms RPE rezultato metu (papildomas 5 pav. 9a). Dopamino neuronai nerodė skirtumo tarp atsakų į RHC ir RLC užuominos (papildomas fig. 9b).

Dėl patirtų išlaidų padidėja mokymosi greitis

Atsižvelgiant į tai, kad RPE, kad atlygintų už pristatymą, padidina sumokėtos išlaidos, pagal hipotezę, kad RPE tiesiogiai dalyvauja tarpininkaujant stimulo ir atlygio mokymuisi, tikėjomės, kad patobulintos RPE atsispindės mokymosi elgsenoje per didesnį mokymosi greitį24. Norėdami išbandyti mokamų išlaidų poveikį mokymuisi, beždžionės atliko HLC tyrimo užduotį (3 pav. 7a; žr. metodus). Atliekant šią užduotį, vienu metu buvo pateikti du atlygio ženklai (R + ir R−), o beždžionės turėjo pasirinkti vieną. Išlyginome sėkmės procentus ir atlygio tikimybę tarp bandymų tipų (dvipusiai t bandymas; t48 = 0.15, P = 0.89, n = 49 beždžionei P; t85 = 1.2, P = 0.25, n = 86 beždžionei S). Palyginus RT su sąnaudų ženklais, abi beždžionės rodė greitesnius RT LC ženklui nei HC ženklas (XNUMX pav.). 7b; dvipusis suporuotas t bandymas; t48 = 12.9, P 0, n = 49 beždžionei P; t85 = 3.4, P = 9.4 × 10-4, n = 86 beždžionei S). Lyginant RT su atlygio ženklais, beždžionė S HC rodė greitesnius RT nei LC būklę (Fig. 7c; dvipusis suporuotas t bandymas; t48 = 1.3, P = 0.19, n = 49 beždžionei P; t85 = 2.8, P = 6.8 × 10-3, n = 86 beždžionei S). Lyginant atskirai pirmosios ir antrosios mokymosi sesijos pusrutulius atskirai, pirmosios ir antrosios pusių trukmės reaktyviosios reakcijos buvo greitesnės nei pirmosios reakcijos (HC papildoma žyma) (papildoma XNUMX pav.). 10a) ir antroji sesijos pusė (Papildomas pav. 10c). Atvirkščiai, beždžionės S atlygio taškas HC sąlygomis buvo spartesnis nei LC sąlygomis tik antroje sesijos pusėje (papildomas 5 pav. 10d), bet ne pirmoji pusė (papildomas pav. 10b).

Pav 7
figūra7

HLC tyrimo užduotis. a HLC tyrimo užduotis. Atlikdami šią užduotį, beždžionės turėjo pasirinkti tarp R + ir R-ženklų, kurie atsitiktinai buvo sugeneruoti kiekvienoje mokymosi sesijoje. Jei jie pasirinko „R + cue“, jie gali gauti atlygį, o jei pasirinks „R-cue“, jie negaus atlygio. b RT dėl brangių ir pigių tyrimų išlaidų ženklų. Beždžionės rodė greitesnius RT į pigių kainų ženklą (**)P< 0.01; dviejų uodegų suporuotas t testas). Juodi apskritimai ir klaidų juostos rodo vidurkį ir SEM. c RT už atlygį, gaunamą iš brangių ir pigių bandymų. Beždžionė S rodė greitesnius RT, siekdama atlyginti už aukštą kainą

Atliekant HLC tyrimo užduotį, atlygio nurodymai buvo atsitiktinai sugeneruoti kiekvienoje mokymosi sesijoje. Todėl beždžionės kiekvienoje sesijoje turėjo išmokti atlygio užuominų ir atlygio santykį. Tyrimams vykstant sesijai, beždžionės dažniau rinkdavosi R + ženklus kiekviena išlaidų sąlyga (1 pav. 8a). Norėdami kiekybiškai įvertinti mokymosi greitį, prie duomenų pridedame kaupiamąją eksponentinę funkciją, apimančią du nemokamus parametrus, a ir b, nurodant atitinkamai kreivės ir plokščiakalnio statumą (papildomas 1 pav. 11a, b). Santykis tarp kietumo parametrų (log aHC/aLC) buvo žymiai didesnis nei nulis, nurodant didesnį stačiojo parametro HC, nei LC bandymuose (3 pav. 8b; dvipusis t bandymas; t48 = 2.1, P = 0.042, vidurkis = 0.58, n = 49 beždžionei P; t85 = 2.5, P = 0.013, vidurkis = 0.19, n = 86 beždžionei S). Žurnalo santykis tarp plokščiakalnio parametrų (log bHC/bLC), nesiskyrė nuo nulio, parodydami, kad išlaidų sąlygos nesiskiria (1 pav. 8c; dvipusis t bandymas; t48 = 0.76, P = 0.45, vidurkis = −0.0024, n = 49 beždžionei P; t85 = 0.56, P = 0.58, vidurkis = 0.010, n = 86 beždžionei S). Šie rezultatai rodo, kad HC bandymuose mokymosi greitis yra didesnis. Tada mes modeliavome mokymosi kreives naudodamiesi mokymosi sustiprinimo (RL) modeliu (žr. Metodai). Šis modelis apima mokymosi greičio parametrus (αHC ir αLC) ir tyrinėjimo normos (βHC ir βLC) abiem sąnaudų sąlygomis (papildomas pav. 11c, d). Pritaikę elgsenai, mes nustatėme, kad žurnalo santykis tarp mokymosi greičio parametrų (log αHC/αLC) buvo didesnis už nulį, nurodant žymiai didesnį mokymosi greičio parametrą HC nei LC bandymuose (3 pav. 8d; dvipusis t bandymas; t48 = 2.3, P = 0.026, vidurkis = 0.50, n = 49 beždžionei P; t85 = 2.2, P = 0.034, vidurkis = 0.25, n = 86 beždžionei S), o parametras β nerodė jokio skirtumo (2 pav. 8e; dvipusis t bandymas; t48 = 0.77, P = 0.44, vidurkis = 0.0097, n = 49 beždžionei P; t85 = 0.64, P = 0.52, vidurkis = 0.038, n = 86 beždžionei S). Čia mes įvertinome kiekvienos kainos sąlygos mokymosi greičio parametrus (αHC ir αLC) atskirai paaiškinti greitesnį mokymosi greitį esant HC sąlygoms. Tačiau jei mokymosi greitis yra vienodas tarp išlaidų sąlygų, santykis tarp apskaičiuotų mokymosi greičio parametrų (αHC/αLC) gali būti laikoma RPE amplifikacijos reikšme esant HC būklei. Todėl šie rezultatai leidžia manyti, kad RPE amplifikacija gali paaiškinti greitesnį mokymosi greitį esant HC sąlygoms.

Pav 8
figūra8

Mokymosi greičio testas. a Vidutinis beždžionių P ir S mokymosi procesas. R + pasirinkimo santykis nubraižytas kaip bandymo funkcija. Žali ir purpuriniai taškai nurodo atitinkamai brangių ir pigių bandymų duomenis. Taškinės linijos žymi sklandų mokymosi procesą. Kaupiamosios eksponentinės funkcijos buvo pritaikytos prie duomenų taškų ir pateiktos kaip vientisos linijos. b Rąsto santykis tarp montavimo parametrų a esant didelėms ir žemoms sąlygoms, kai duomenys buvo suderinti su kaupiamąja eksponentine funkcija (*P <0.05; dviejų uodegų Wilcoxono pasirašyto rango testas). Juodi apskritimai ir klaidų juostos nurodo vidurkį ir SEM. c Rąsto santykis tarp montavimo parametrų b esant didelėms ir žemoms sąlygoms, kai duomenys buvo suderinti su kaupiamąja eksponentine funkcija. d Žurnalo santykis tarp mokymosi greičio parametro α didelių ir pigių sąlygų sąlygomis, kai duomenys buvo suderinti su mokymosi sustiprinimo modeliu. e Prijungimo parametro žurnalo santykis β didelių ir pigių sąlygų sąlygomis, kai duomenys buvo suderinti su mokymosi sustiprinimo modeliu

Mes taip pat bandėme paaiškinti mokymosi procesą alternatyviais RL modeliais, atsižvelgiant į galimybę, kad beždžionės žino antikorreliaciją tarp dirgiklių ir atlygio kiekviename tyrime. Tuose modeliuose pasirinkto varianto vertė atnaujinama kartu su pasirinktu (papildomas pav. 12). Net ir pritaikius tokius alternatyvius modelius duomenims, mokymosi greičio parametras HC buvo žymiai didesnis, palyginti su LC sąlyga (papildomas 5 pav. 12b, f) o parametras β nerodė jokio skirtumo (papildomas pav. 12d, h). Taigi, mūsų išvados apie RPE signalo amplifikaciją esant HC sąlygoms yra tvirtos, kad RL modelis atitiktų duomenis.

Diskusija

Mes ištyrėme mokamų išlaidų įtaką atlygį prognozuojančių nurodymų vertei ir fazinėms vidurinių smegenų dopamino neuronų reakcijoms. Beždžionės parodė didesnį atlygį numatančių užuominų vertinimą atlikus veiksmą, kuris patyrė didesnes išlaidas. Dopamino neuronai parodė padidėjusį atsaką tiek į atlygį prognozuojantį lapelį, tiek į atlygį, po to, kai buvo patirta didesnė kaina. Be to, beždžionės mokėsi greičiau, kai atlyginimui gauti reikėjo didesnių išlaidų.

Keletas tyrimų parodė, kad sumokėta kaina suteikia pirmenybę atlygį numatančiam žymekliui1,2,3. Šiame tyrime beždžionės parodė greitesnį atlygį prognozuojančių ženklų RT, lyginant su LC sąlygomis, RT, atsižvelgiant į galimybę, kad atlygio vertės reikšmę padidina sumokėtos išlaidos27. Alternatyvi galimybė yra tai, kad ilgesnis fiksacijos laikas, susijęs su padidintu dėmesiu pasagos taikiniui, esant HC sąlygoms, todėl sumažėja RT po ilgesnio fiksavimo HC tyrime. Tačiau netyrėme HLC neapibrėžtos užduoties skirtumų tarp R ir R reikšmių HC ir LC tyrimuose. Be to, pirmoje HLC tyrimo sesijos pusėje. R ir R reikšmės nebuvo reikšmingai skiriasi HC ir LC tyrimuose. Taigi šie duomenys rodo, kad ilgesnis fiksavimas nėra tikėtinas trumpesnių RT rodiklis, stebimas atlygį numatančioms žymėms. Be to, kad mokamos išlaidos daro įtaką atlygio žymėjimo RT, išlaidos taip pat paveikė RTS, nukreipiančius į negrąžinimo numatymą, nepaisant to, kad atlygis nebuvo įteiktas po nurodymų. Ankstesniame tyrime buvo pranešta apie panašų reiškinį, kai beždžionių tiriamieji neatlygintinų tyrimų metu parodė trumpesnį RT, kai pakaitiniai tyrimai kiekvienoje grupėje buvo naudojami labiau.30. Vienas iš galimų to tyrimo rezultatų aiškinimų yra tas, kad bendra aukštesnė motyvacija reaguoti bloke su labiau pageidaujamu atlygiu paveikė RT, taip pat ir tai, kad bloke nėra jokios reikšmės. Panašiai šiame tyrime tikimybė dėl vertingesnio atlygio atliekant HC tyrimus galėjo modifikuoti RT taip, kad HC bandymuose neatliekamas atlygis. Be to, sumokėtų išlaidų RT atlygio ženklų poveikis buvo mažesnis nei atlygio nenumatančių nurodymų. Tikriausiai tai yra artefaktas, kad dėl to, kad beždžionės greičiau padarė pasagą RLC+ žymėjimas pirmiausia yra mažesnis, norint aptikti sutrumpėjusį RT iki RHC+ lazda. Todėl RT skirtumas tarp R + ženklų būtų mažas.

Beždžionės taip pat atliko pasirinkimo bandymus tarp RHC ir RLC užuominos į HLC užduotį. Tačiau nors beždžionė S pirmenybę teikė RHC+ lazda į RLC+ lazda, beždžionė P neturėjo tokios pirmenybės. Šį neatitikimą galima paaiškinti kontekstiniu skirtumu tarp HLC sakkados ir pasirinkimo bandymų. Pasirinkimo bandymuose vietoj vieno atlygį numatančio žymeklio buvo pateiktos dvi atlygį numatančios užuominos. Be to, beždžionės negavo jokio atlygio už jų pasirinkimą, net jei pasirinko atlygį numatančią lazdą, taigi pasirinkimo testas buvo atliktas išnykimo metu. Išnykimo procedūra buvo įgyvendinta siekiant užtikrinti, kad beždžionės pasirinkimą lėmė tai, kas buvo išmokta atliekant bandymus su bandymu, o ne supainioti su naujais mokymosi atrankos tyrimais. Tačiau ši procedūra gali turėti šalutinį poveikį, kad beždžionė galėtų greitai išmokti atpažinti išnykimo procedūrą pasirinkimo kontekste ir kad nėra priežasties pasirinkti labiau patinkančius stimulus. Nepaisant to, viena iš beždžionių iš tikrųjų pasirinko apdovanojimo užuominą į HC būklę.

Pateikiant užuominą, numatančią vėlesnį reikalavimą sumokėti išlaidas, dopamino neuronų aktyvumas buvo sumažintas, kaip ir ankstesniuose tyrimuose22,23. Savo tyrime mes nepastebėjome bendro dopamino neuronų, reaguojančių tiek į HC, tiek į LC rodiklius, sumažėjimo, palyginti su pradiniu. Tai rodo, kad neigiamas RPE signalas tuo metu neatsiranda, nepaisant šių išlaidų. Neigiamo RPE nebuvimas, matyt, atspindi būsimo atlygio numatymo, kurio tikimasi vėliau teismo procese, integravimą. Dopamino neuronai parodė reikšmingą aktyvaciją LC tyrime, o aktyvumas buvo didesnis, palyginti su HC tyrimu. Tai rodo, kad informacija apie sąnaudas yra įtraukta į RPE signalą, kurį perduoda dopamino neuronai. Taigi dopamino neuronai koduoja ir atlygį, ir informaciją apie kainą, o RPE atsakas atspindi išlaidų ir atlygio sumą.

Mes pademonstravome, kad RPE signalą, kurį reprezentuoja dopamino neuronai, padidina sumokėtos išlaidos premijos žymėjimo taško pateikimo vietoje (atliekant HLC pasažo užduotį) ir atlygio pristatymo metu (atliekant HLC neapibrėžtą užduotį). Objektyvus atlygis, įteiktas HC ir LC tyrimuose, buvo lygus; todėl RPE signalų modifikaciją turėtų sukelti nesąmoningas procesas. Šią galimybę patvirtina keli tyrimai, nurodantys kontekstinį poveikį dopamino RPE signalams, atsižvelgiant į subjektyviosios vertės ir (arba) naudingumo dopamino neuronuose apdorojimą.11,19,20,21,31,32,33,34. Jei RPE signalas yra didesnis, tai turėtų paskatinti spartesnį žodžio vertės atnaujinimą, o tai turėtų įtakos stimulo ir atlygio asociacijų mokymosi greičiui. Ankstesni tyrimai parodė, kad nesąmoningi veiksniai keičia mokymosi greitį24,35. Vadovaudamiesi tuo, beždžionės, palyginti su LC, pasižymėjo spartesniu mokymosi greičiu. Mes nustatėme, kad padidėjęs mokymosi greitis dėl mokamų išlaidų gali būti paaiškintas LR modeliu su sustiprinta RPE. Mūsų eksperimentuose buvo sunku atskirti sustiprinto RPE ir padidėjusio mokymosi greičio poveikį; tačiau HC būklėje radome sustiprintą dopaminerginį RPE signalą. Be to, ankstesnis fMRI tyrimas parodė, kad mokymosi greičio parametras yra priekinėje cingulinės žievės dalyje ir kad VTA aktyvumas nėra susijęs su mokymosi greičio parametru nestabilioje aplinkoje.36. Todėl mes teigiame, kad dopamino neuronų koduojamas RPE signalas yra sustiprinamas sumokėtomis sąnaudomis, o padidėjęs RPE signalas padidina mokymosi greitį.

Kai apdovanojimo lapelio pateikimo ir atlygio pristatymo metu buvo sugeneruotas RPE signalas, beždžionės jau sumokėjo išlaidas. Todėl vienas galimų sustiprinto RPE signalo mechanizmų yra tas, kad atlygis, gautas po HC, gali būti labiau naudingas. Padidėjęs tikėjimasis vertingesnio atlygio po HC gali sustiprinti motyvaciją baigti tyrimą ir taip sutrumpinti RT iki atlygio ženklų HC tyrimuose.

Kitas galimas mūsų rezultatų aiškinimas yra tas, kad palengvėjimas, patirtas nutraukus brangų veiksmą, gali būti atlygis beždžionėms. Funkcinio magnetinio rezonanso tomografijos (fMRI) tyrimai parodė, kad skausmo malšinimas gali būti atlygis žmonėms, dirbantiems žmonėms37,38; todėl kaina gali vaidinti panašų vaidmenį kaip atbaidantis skausmo stimulas. Jei nuolaidų sumažinimas yra naudingas ir jei tai atsispindi dopaminerginiame aktyvume, mes galime tikėtis, kad dopamino neuronai sureaguos ilgos fiksacijos pabaigoje, tai yra laikas, per kurį bus pateiktas atlygis. Tačiau, stebint atlygio ženklų pateikimą, nepastebėjome nei dopaminerginio aktyvumo skirtumų, nei jokio skirtumo tarp R ir C reikšmių R ir R skirtumų tarp HLC neaiškių užduočių. Todėl mes manome, kad atleidimas nuo išlaidų nepakankamai paaiškina dopamino neuronų poveikį.

Be to, dopamino neuronai parodė kokybiškai skirtingą atsaką į aversyvų dirgiklį, palyginti su sąnaudų prognozavimu. Vienas iš galimų to paaiškinimų yra tas, kad pastangų sąnaudos buvo mažiau patrauklios nei oro pūtimas ar atlygis, nes pastangų kaina laikinai buvo pratęsta kelioms sekundėms, nes beždžionės fiksavo, o ne pūtė. Todėl dopamino neuronai gali būti neaktyvuoti, kad gautų mažiau reikšmingų kainų ženklų. Kita galimybė yra tai, kad įprasto tipo dopamino neuronai reaguoja į įvykius, po kurių buvo sukelti kai kurie judesiai. Kai atlygis ar oro pūkai buvo įteikti beždžionėms, jie atlieka tam tikrus judesius, pavyzdžiui, laižymą ar akies mirksėjimą. Tačiau atliekant HLC pasažo užduotį, beždžionės turėjo nepastebėti žvilgsnio į fiksavimo taikinį, nekeldamos jokių išlaidų. Tiesą sakant, neseniai atliktas tyrimas parodė, kad dopamino išsiskyrimas branduolio branduolyje, atsirandantis dėl atlygį numatančio lapelio, yra susilpnėjęs, nebent teisingai pradėtas judėjimas39. Kadangi išlaidos mūsų eksperimentams nebuvo susijusios su judesių inicijavimu, tai gali sukelti nenuoseklų jautrių dopamino neuronų atsaką. Bet kokiu atveju galime daryti išvadą, kad informacija apie sąnaudas yra apdorojama skirtingai nei vengianti informacija.

Apibendrinant, mes siūlome, kad sumokėta kaina padidina atlygį numatančių užuominų vertę ir tai savo ruožtu padidina RPE signalą, užkoduotą vidurinės smegenų dopamino neuronuose. Šis poveikis lėmė elgesio prognozavimą, kad gyvulių mokymosi greitis bus didesnis, kai atlygis numatomas pagal užuominas, gautas iš HC. Tai iš tikrųjų mes pastebėjome. Taigi, mūsų pastebėjimai apie dopamino neuronų aktyvumą privertė hipotezuoti elgesio efekto egzistavimą, taip pat numatomą skaičiavimo mechanizmą, pagrindžiantį šį poveikį, kurį vėliau patvirtinome. Taigi mūsų išvados yra pavyzdys, kaip trikampiai gali vykti tarp nervų duomenų matavimų, skaičiavimo teorijos ir elgesio: gilinant smegenų neuronų apdorojimo supratimą galima susidaryti įžvalgų apie elgesį ir jo pagrindinius skaičiavimo pagrindus.

Metodai

Gyvūnai

Mes panaudojome du japonų patinus (Macaca fuscata; kūno svoris, 6.5 kg = beždžionė P; kūno svoris, 9.0 kg = beždžionė S). Ant beždžionės kaukolės viršaus mes implantavome galvos atramą, kad vėliau ją būtų galima pritvirtinti prie kėdės. Taip pat buvo implantuota registravimo kamera, kad būtų galima įmontuoti elektrodo mikromanipuliatorių. Įrašymo kamera pakreipta 45 ° šonu į vainikinės plokštumos plotą ir išdėstyta stereotaksinėse koordinatėse: 15 mm priešais išorinį kanalą. Po pasveikimo laikotarpio beždžionės buvo apmokytos atlikti pasažo užduotį. Baigę mokymą, mes išgręžėme skylę per kaukolę registravimo kameros viduje, kad būtų galima įstatyti elektrodą. Visus gyvūnų priežiūros protokolus patvirtino Tamagavos universiteto Eksperimento su gyvūnais komitetas ir jie atitiko Nacionalinių sveikatos institutų vadovą dėl laboratorinių gyvūnų priežiūros ir naudojimo.

Elgesio užduotis

Beždžionės buvo apmokytos atlikti HLC pasažo užduotį (3 pav. 1a), HLC neapibrėžta užduotis (3 pav. 5a) ir HLC tyrimo užduotis (3 pav. 7a). Visos užduotys buvo atliekamos tamsiame kambaryje. Beždžionės buvo pasodintos ant kėdės priešais 22-jų. Skystųjų kristalų ekranas (S2232W, „Eizo“) su implantuotomis galvos atramomis, pritvirtintomis prie kėdės. Atstumas tarp jų akių ir ekrano buvo 70 cm. Kai ekrano centre buvo pateiktas pradinis ženklas (baltas apskritimas, 0.3 ° skersmens), beždžionė turėjo išlaikyti žvilgsnį į užuominą. Pradinis ženklas dingo po 750 ms, tada buvo pateiktas kainos ženklas (žvaigždė ir vėjo malūnas atitinkamai HC ir LC bandymams). Beždžionėms reikėjo persiųsti užuominą į kainą per 750 ms. Jei jie nesišaukė pagal žodį, teismas buvo nutrauktas ir tas pats teismas prasidėjo iš naujo. Atliekant HC bandymus, fiksavimo tikslas (0.3 ° × 0.3 ° baltas kvadratas) buvo pateiktas iškart po to, kai išnyko 2000 ms (HLC saccade ir HLC neapibrėžtos užduotys) arba 1500 ms (HLC tyrimo užduotis) sąnaudų ženklas, ir beždžionės buvo reikalingos prie jo paaukoti ir išlaikyti savo žvilgsnius. Jei beždžionės nukreipė žvilgsnį už 4 ° × 4 ° fiksavimo lango, užduotis buvo nutraukta. Fiksavimo langas buvo įjungtas praėjus 400 ms po fiksavimo taško pateikimo, nes beždžionėms reikėjo laiko pasirengti sakadui ir sureguliuoti jų fiksaciją. Todėl beždžionės HC bandymuose turėjo fiksuotis mažiausiai 1600 ms (HLC sakados ir HLC neapibrėžtos užduotys) arba 1100 ms (HLC tyrimo užduotis). LC bandymų metu tuščias ekranas buvo rodomas 1500 ms (HLC saccade ir HLC neapibrėžtos užduotys) arba 1000 ms (HLC tyrimo užduotis), o tada fiksavimo taikinys pasirodė 500 ms. Kadangi fiksavimo langas po fiksavimo taško pateikimo buvo suaktyvintas 400 ms, LC tyrimuose beždžionėms reikėjo fiksuotis taikinyje mažiausiai 100 ms. Beždžionės parodė daugiau klaidų HC tyrimo metu; todėl priverstinis nutraukimas buvo atsitiktinai įterptas 100 ms prieš atlygio lazdos pateikimą (400 ms po fiksacijos tikslo pateikimo, kuris yra fiksavimo lango pradžios laikas) LC bandyme, kad būtų išlygintas sėkmės procentas. Užfiksavus taikinį, buvo pristatyta viena ar dvi atlygio užuominos, o beždžionėms reikėjo pasišakoti. Jei jie sėkmingai padarė atminimo ženklo sakadą, po atlygio ženklo pateikimo pasigirdo pyptelėjimas 750 ms. Kai beždžionės padarė sakadą pagal R + ženklą, tuo pačiu metu kaip pyptelėjimas buvo pristatytas 0.3 ml vandens. Atlygis nebuvo suteiktas, kai jie padarė sakadą R-cue.

Atliekant HLC pasažo užduotį, keturi spalvoti apskritimai buvo naudojami kaip apdovanojimo užuominos (RHC+: geltona; RHC-: žalia; RLC+: rožinė; RLC-: mėlyna; Fig. 1a). Vieną eksperimentinę sesiją sudarė 80 bandymų su sakadais, 20 nenuspėjamų atlygio bandymų, 20 nenuspėjamų oro pūtimo bandymų ir 5 pasirinkimo bandymai. Sakados bandymai apėmė 40 HC ir 40 LC bandymų, į kuriuos abu buvo įtraukti 20 atlygio bandymų ir 20 atlygio bandymų. Nenuspėjamo atlygio ar oro pūtimo bandymų metu beždžionių veidui į beždžionių veidą pateko 0.3 ml vandens atlygio arba 0.2 MPa oro pūtimo (150 ms beždžionei P; 200 ms beždžionei S). Pasirinkimo bandymai apėmė bandymą, kurio metu beždžionės pasirinko R + ženklus (RHC+ prieš RLC+) HC tyrime, tarp R – c (RHC- prieš RLC-) HC bandyme, tarp R + (RHC+ prieš RLC+) užuominos į LC bandymą, tarp R− (RHC- prieš RLC-) užuominos į LC bandymą ir tarp išlaidų ženklų (papildomas pav. 1). Atliekant bandymus, kuriuose buvo pasirenkama tarp apdovanojimo užuominų, užduoties struktūra buvo identiška sakrato užduočiai prieš pateikiant apdovanojimo laidas. Toliau, užuot pateikę apdovanojimo ženklą, pasirinkimo bandymuose buvo pateikti du apdovanojimo ženklai, o apdovanojimas nebuvo pristatytas, net jei beždžionės pasirinko tarp R + ženklų.

Norėdami išbandyti dopamino neuronų reakciją į atlygį, beždžionės atliko HLC neapibrėžtą užduotį (3 pav. 5a). Ši užduotis buvo panaši į HLC pasažo užduotį, išskyrus atlygio užuominas. Atlikdami šią užduotį, mes panaudojome du atlygio ženklus (vietoj keturių apdovanojimo ženklų, naudojamų HLC sakcinėje užduotyje), vieną - HC tyrimui, kitą - LC bandymui. Apdovanojimas buvo įteiktas per pusę bandymų po to, kai buvo pristatyta premijos lazda. Vieną eksperimentinę sesiją sudarė 80 sakadų bandymai, 20 nenuspėjamo atlygio bandymai ir 20 nenuspėjami oro pūtimo bandymai. Sakadiniai tyrimai apėmė 40 HC ir 40 LC tyrimus, į kuriuos abu buvo įtraukiami 20 atlygio bandymai ir 20 jokio atlygio tyrimai. Nenuspėjamų tyrimų metu atlygis ar oro užtaisas buvo įteiktas be jokių užuominų.

Atliekant HLC tyrinėjimo užduotį, du atlygio patarimai (RHC+, RHC- arba RLC+, RLC-) buvo pristatyti vienu metu ir beždžionės turėjo atsisėsti į vieną iš apdovanojimo ženklų (2 pav.) 7a). Jei jie pasirinko „R +“ lazdą, jiems buvo įteiktas vandens atlygis. Keturi apdovanojimo ženklai (RHC +, RHC-, RLC +, RLC-) buvo generuojami kiekvienai žvalgymo sesijai ir iš beždžionių buvo reikalaujama išmokti ryšį tarp užuominų ir atlyginti už kiekvieną bandymą. Vieną eksperimentinę sesiją sudarė 100 HC ir 100 LC tyrimai. Mes nustatėme, kad tyrinėjimo uždaviniui, jei nustatysime, kad fiksavimo trukmė būtų 2000 ms HC sąlygose taip, kad ji atitiktų HC būklės trukmę kitose užduotyse, beždžionės atliko užduotį su labai mažu pasisekimo greičiu, galbūt dėl užduoties sunkumas ir (arba) iš to išplaukiantis žemas atlygio koeficientas. Todėl, norėdami sumažinti užduoties sunkumus ir padidinti sėkmės procentą, kaip HLC tyrimo užduoties kainą naudojome 1500 ms fiksavimo trukmę.

Užduotys buvo kontroliuojamos naudojant parduodamą programinės įrangos paketą (TEMPO, Reflective Computing, Sent Luisas, MO, JAV). Vaizdinių stimulų pateikimui buvo naudojama pagal užsakymą pagaminta programa, naudojant programos programavimo sąsają (OpenGL). Autoriai sukūrė vizualinius kainos ir atlygio stimulus.

Įrašymas ir duomenų rinkimas

Essential nigra vieta buvo įvertinta naudojant MR vaizdus. Epoksidiniu būdu padengtas volframo elektrodas (koto skersmuo, 0.25 mm, 0.5 – 1.5 MΩ, matuojamas esant 1000 Hz, FHC) buvo įterptas į „musta“ pagrindą, naudojant mikromanipuliatorių (MO-972, Narishige, Tokijas, Japonija), pritvirtintą prie registravimo kameros. nerūdijančio kreipiamojo vamzdžio. Įtampos signalai buvo stiprinami (x 10,000) ir filtruojami (0.5 – 2 kHz). Veikimo potencialai iš vieno neurono buvo išskirti naudojant šabloną suderinantį algoritmą (OmniPlex, Plexon, Dalasas, TX, JAV). Akių judėjimas buvo stebimas infraraudonųjų spindulių kameros sistema, imant 500 Hz mėginių ėmimo dažnį („iView X Hi-Speed ​​Primate“, SMI, Teltow, Vokietija). Veikimo potencialo laikas ir elgesio įvykiai buvo registruojami 1 kHz laiko skiriamąja geba.

Duomenų analizė

Norint analizuoti beždžionių elgseną, RT buvo nustatomas kaip laiko intervalas tarp dirgiklio pradžios ir laiko, kai beždžionės inicijavo sakadą. Sakkados iniciacija buvo nustatyta apskaičiuojant laiką, kai žvilgsnio padėtis viršijo 5 standartinius nuokrypius nuo vidutinės žvilgsnio padėties prieš pateikiant lazdą.

Atliekant HLC tyrimo užduotį, beždžionių elgesys buvo kiekybiškai įvertintas pritaikant kaupiamąją eksponentinę funkciją. Funkcija (P) teisingo pasirinkimo proporciją apibūdina taip:

P=12+(12-12Tinka(-at))b,
(1)

kur t reiškia teismo procesą, a ir b atitinkamai nurodykite kreivės nuolydį ir plokščiakalnį. Ši funkcija buvo nepriklausomai prie dviejų išlaidų sąlygų duomenų. Funkcijos parametrų buvo ieškoma siekiant padidinti tikimybę stebėti vienos sesijos duomenis ir suvestinius duomenis. Pastebėjimo intervalų įvertinimui, pritaikant prie duomenų vidurkio, buvo taikomas įkrovos metodas. Standartinis LR modelis taip pat buvo naudojamas kiekybiniams elgesio duomenims įvertinti. Stimulio vertės Vj(t) už pasirinktą pasirinkimą j (j = 1 esant HC būklei; j = 2 LC sąlygai) buvo atnaujinti taip:

Vj(t+1)=Vj(t)+αj(R(t)-Vj(t)),
(2)

kur αj nurodykite mokymosi greitį, kuris buvo apribotas reikšmėmis tarp 0 ir 1. R(t) rodo atlygio sumą (1: atlyginta, 0: atlygio nėra) teismo metu t.

Tikimybė Pj(t) pasirenkant stimulą j iš dviejų dirgiklių t yra suteikta pagal softmax taisyklę

Pj(t)=exp(Vj(t)βj)/2i=1exp(Vi(t)βi),
(3)

kur βj nurodo tyrinėjimo mastą.

Mes užfiksavome neuronų aktyvumą HLC sakados ir HLC neapibrėžtos užduoties metu, bet ne HLC tyrimo užduotį. HLC tyrimo užduotis buvo įgyvendinta kaip grynai elgesio tyrimas. Dopamino neuronai buvo identifikuoti, jei jie pasižymi šiomis savybėmis: mažas toninis šaudymo dažnis (<6 Hz), ilga smailės bangos formos trukmė (> 300 μs) ir fazinis atsakas į nenuspėjamą atlygį (papildoma pav. 2a). Mes išanalizavome bandymus, kurių metu beždžionės galėjo atlikti bandymą be jokių klaidų (stabdžių fiksavimas, jokio pasažo ar dirbtinio nutraukimo). Vidutinis neuronų sudeginimo greitis buvo apskaičiuotas naudojant 1 ms dėžes ir išlygintas Gauso branduoliu (σ = 30 ms, plotis = 4σ) atlikti smaigalio tankio funkcijas. Dopamino neuronų atsakai į kiekvieną užduoties įvykį buvo apskaičiuoti kaip normalizuotas šaudymo greitis, palyginti su spontanišku aktyvumu (vidutinis šaudymo greitis per 500 ms prieš pradedant lapo pradžią). Paleidimo greitis buvo apskaičiuotas per laiko langus, nustatytus kiekvienam užduoties įvykiui ir dalykui. Šie laiko langai buvo nustatyti pagal gyventojų skaičiaus vidurkį. Laiko langų pradžios ir pabaigos taškus apibrėžėme remdamiesi populiacijos vidurkio padidėjimo ir kritimo laiku, naudodamiesi ankstesniais beždžionių dopamino tyrimais (papildomas 5 pav. 3). Pradinio žymeklio laiko langas buvo apibrėžtas kaip 200 – 400 ms po pradinio žymeklio pradžios neuronams, užfiksuotiems iš P ir S. beždžionių. Sąlygos žymeklio laiko langas buvo apibrėžtas kaip 150 – 300 ms po to, kai prasidėjo sąlyčio žymėjimas beždžionėms P ir 200 – 400 ms beždžionei S. Apdovanojimo užuominos laiko langas buvo apibrėžtas kaip 140 – 350 ms po atlygio taško pradžios beždžionei P ir 220 – 420 ms beždžionei S. Atlygio pristatymo laikas buvo apibrėžtas kaip 225–. 475 ms po pyptelėjimo pradžios beždžionei P ir 200 – 450 ms beždžionei S. Laikas, skirtas nenuspėjamam atlygio pristatymui, buvo apibrėžtas kaip 100 – 300 ms po atlygio pristatymo beždžionei P ir 150 – 300 ms beždžionei S. nenuspėjamo oro pūtimo laiko langas buvo apibrėžtas kaip 30 – 230 ms po Pf beždžionių pristatymo P-beždžionėms ir 50 – 200 ms beždžionei S.

Visus užregistruotus dopamino neuronus skirstėme į dvi skirtingas kategorijas: motyvacinės vertės ir svarbos tipų. Jei neurono atsakas į oro pūtimo stimulus buvo mažesnis nei savaiminis aktyvumas, neuronas buvo klasifikuojamas kaip motyvacinės vertės tipas (XNUMX pav.). 3d, e). Priešingai, jei neurono atsakas į oro pūtimo dirgiklius buvo didesnis nei spontaninis aktyvumas, neuronas buvo klasifikuojamas kaip lengvatinio pobūdžio (2 pav. 3g, h).

Norint įvertinti skirtingą neuronų aktyvumą tarp užduoties sąlygų, buvo atlikta ROC analizė. Mes apskaičiavome kiekvieno neurono auROC. Mažesnis ar didesnis nei 0.5 auROC rodo mažesnį ar didesnį atsaką atitinkamai HC tyrime. Kadangi kai kuriuose neuronų duomenų rinkiniuose neuronų skaičius buvo nedidelis, mes naudojome Wilcoxono pasirašyto rango testą, kad sumažintume pašalinių efektų vertinant šališką auROC pasiskirstymą.

Visai duomenų analizei buvo naudojama komerciškai prieinama programinė įranga MATLAB (MathWorks, Natick, MA, JAV).

Histologinis tyrimas

Po registravimo eksperimento abi beždžionės buvo išnaikintos ir atlikta histologinė analizė, siekiant patikrinti įrašymo vietą (papildomas 5 pav. 2b). Beždžionės buvo išnaikintos, suleidus mirtiną pentobarbitalio natrio dozę (70 mg kg-1) ir perfuzuotas su 4% formaldehidu fosfato buferyje. Serijiniai vainikiniai pjūviai (storis, 10 μm) buvo supjaustyti ir imuniniu būdu padengti anti-tirozino hidroksilazės (TH) antikūnais (kiekviena 25 sekcija; anti-TH antikūnas, 1: 500; Merck, Darmštatas, Vokietija) arba Nissl dažymas (kas 25 skyrius). .

Ataskaitų suvestinė

Daugiau informacijos apie mokslinių tyrimų projektą galima rasti Gamtos tyrimų ataskaitų santrauka susietas su šiuo straipsniu.

Duomenų prieinamumas

Atliekant pagrįstą prašymą, šio tyrimo analizei naudojami duomenys yra gauti iš atitinkamo autoriaus. Šio straipsnio ataskaitos santrauka pateikiama kaip papildomos informacijos byla. Šaltiniai, pagrindžiantys Fig. 1, 3-8 ir papildomos fig. 1, 4-12 pateikiami kaip šaltinio duomenų failas.

Kodo prieinamumas

„Matlab“ kodus, naudojamus analizuojant šį tyrimą, gali gauti iš atitinkamo autoriaus pagrįstu prašymu.

Nuorodos

  1. 1.

    Clementas, TS, Feltusas, JR, Kaiseris, DH & Zentallas, TR „Darbo etika“ balandžiuose: atlygio vertė yra tiesiogiai susijusi su pastangomis ar laiku, reikalingu atlygiui gauti. Psichonas. Bull. Rev. 7, 100 – 106 (2000).

  2. 2.

    Klein, ED, Bhatt, RS & Zentall, TR Contrast ir pastangų pagrindimas. Psichonas. Bull. Rev. 12, 335 – 339 (2005).

  3. 3.

    Zentall, TR & Singer, RA. Tyrimo kontrastas: balandžiai teikia pirmenybę sąlyginiams sutvirtintojams, kurie seka palyginti labiau, o ne mažiau kenkia įvykiui. J. Exp. Anal. Behav. 88, 131 – 149 (2007).

  4. 4.

    Aronsonas, E. & Millsas, J. Iniciacijos sunkumo poveikis mėgstantiems grupę. J. Abnorm. Soc. Psychol. 59, 177 – 181 (1959).

  5. 5.

    Festingeris, L. Kognityvinio disonanso teorija. („Stanford University Press“, Kalifornija, 1957).

  6. 6.

    Alessandri, J., Darcheville, JC, Delevoye-Turrell, Y. & Zentall, TR. Pirmenybė atlygiams, kurie seka didesnėmis pastangomis ir didesniu vėlavimu. Sužinok Behavą. 36, 352 – 358 (2008).

  7. 7.

    Schultz, W., Carelli, RM & Wightman, RM Phasic dopamino signalai: nuo subjektyvios atlygio vertės iki oficialaus ekonominio naudingumo. Curr. Opin. Behav. Sci. 5, 147 – 154 (2015).

  8. 8.

    Schultz, W., Dayan, P. & Montague, PR. Prognozavimo ir atlygio nervinis substratas. Mokslas 275, 1593 – 1599 (1997).

  9. 9.

    Brombergas-Martinas, ES, Matsumoto, M. ir Hikosaka, O. Dopaminas motyvacinėje kontrolėje: naudingas, varginantis ir perspėjantis. Neuronas 68, 815 – 834 (2010).

  10. 10.

    Bayer, HM & Glimcher, PW „Midbrain“ dopamino neuronai koduoja kiekybinį atlygio prognozavimo klaidos signalą. Neuronas 47, 129 – 141 (2005).

  11. 11.

    Nakahara, H., Itoh, H., Kawagoe, R., Takikawa, Y. & Hikosaka, O. Dopamino neuronai gali reikšti nuo konteksto priklausomą prognozavimo klaidą. Neuronas 41, 269 – 280 (2004).

  12. 12.

    Tobler, PN, Fiorillo, CD ir Schultz, W. Adaptyvus atlygio vertės kodavimas dopamino neuronais. Mokslas 307, 1642 – 1645 (2005).

  13. 13.

    Nomoto, K., Schultz, W., Watanabe, T. & Sakagami, M. Laikinai išplėsti dopamino atsakai į suvokimo reikalaujančius atlygį prognozuojančius dirgiklius. J. Neurosci. 30, 10692 – 10702 (2010).

  14. 14.

    Watabe-Uchida, M., Zhu, L., Ogawa, SK, Vamanrao, A. & Uchida, N. Tiesioginių įvadų į vidutinio smegenų dopamino neuronus viso smegenų žemėlapis. Neuronas 74, 858 – 873 (2012).

  15. 15.

    Tanaka, SC ir kt. Prognozuojant tiesioginį ir būsimą atlygį, diferencijuotai atkuriamos žievės-žandikaulio kilpos. Nat. Neurosci. 7, 887 – 893 (2004).

  16. 16.

    Haberis, SN, Kim, KS, Mailly, P. ir Calzavara, R. Su atlygiu susiję žievės įvadai primatuose apibūdina didelį striato regioną, kuris sąveikauja su asociatyviais žievės ryšiais, suteikdamas pagrindą mokymuisi skatinti. J. Neurosci. 26, 8368 – 8376 (2006).

  17. 17.

    Doya, K. Sprendimų priėmimo moduliai. Nat. Neurosci. 11, 410 – 416 (2008).

  18. 18.

    Roeschas, MR, Calu, DJ ir Schoenbaumas, G. Dopamino neuronai užkoduoja geresnį variantą žiurkėms, nusprendusiems dėl skirtingo atidėto ar dydžio atlygio. Nat. Neurosci. 10, 1615 – 1624 (2007).

  19. 19.

    Lak, A., Stauffer, WR & Schultz, W. Dopamino prognozavimo klaidų atsakai integruoja subjektyvią vertę iš skirtingų atlygio dimensijų. Proc. Natl Acad. Sci. JAV 111, 2343 – 2348 (2014).

  20. 20.

    Stauffer, WR, Lak, A. & Schultz, W. Dopamino atlygio prognozavimo klaidų atsakymai atspindi ribinį naudingumą. Curr. Biol. 24, 2491 – 2500 (2014).

  21. 21.

    Noritake, A., Ninomiya, T. & Isoda, M. Socialinio atlygio stebėjimas ir vertinimas makakos smegenyse. Nat. Neurosci. 21, 1452 – 1462 (2018).

  22. 22.

    Pasquereau, B. & Turner, RS Ribotas dopamino neuronų pastangų kodavimas atliekant ekonominės naudos kompromisinę užduotį. J. Neurosci. 33, 8288 – 8300 (2013).

  23. 23.

    Varazzani, C., San-Galli, A., Gilardeau, S. & Bouret, S. Noradrenalino ir dopamino neuronai atlygio / pastangų kompromise: tiesioginis elektrofiziologinis elgesio beždžionių palyginimas. J. Neurosci. 20, 7866 – 7877 (2015).

  24. 24.

    Watanabe, N., Sakagami, M. & Haruno, M. Atlygio prognozavimo klaidos signalas, sustiprintas striatumo ir migdolos sąveikos, paaiškina tikimybinio atlygio mokymosi pagreitėjimą emocijomis. J. Neurosci. 33, 4487 – 4493 (2013).

  25. 25.

    Di Ciano, P., Cardinal, RN, Cowell, RA, Little, SJ & Everitt, B. Diferencinis NMDA, AMPA / kainato ir dopamino receptorių dalyvavimas branduolio branduolio branduolyje įsigyjant ir atliekant Pavlovian požiūrio elgesį. J. Neurosci. 21, 9471 – 9477 (2001).

  26. 26.

    Flagelis, SB ir kt. Atrankinis dopamino vaidmuo mokantis pagal stimulą ir atlygį. Gamta 469, 53 – 57 (2011).

  27. 27.

    Blough, DS Grunto, diskriminuojamumo ir sustiprinimo poveikis balandžių vaizdinės paieškos reakcijos laiko komponentams. J. Exp. Psychol. Anim. Behav. Procesas. 26, 50 – 63 (2000).

  28. 28.

    Matsumoto, M. ir Hikosaka, O. Dviejų tipų dopamino neuronai aiškiai perteikia teigiamus ir neigiamus motyvacinius signalus. Gamta 459, 837 – 841 (2009).

  29. 29.

    Matsumoto, M. & Takada, M. Skirtingi kognityvinių ir motyvacinių signalų vaizdai tarpinių smegenų dopamino neuronuose. Neuronas 79, 1011 – 1024 (2013).

  30. 30.

    Watanabe, M. ir kt. Elgesio reakcijos, atspindinčios skirtingus beždžionių atlygio lūkesčius. Gal. Brain Res. 140, 511 – 518 (2001).

  31. 31.

    Takikawa, Y., Kawagoe, R. & Hikosaka, O. galimas smegenų dopamino neuronų vaidmuo trumpalaikėje ir ilgalaikėje sakadų adaptacijoje pagal pozicijos ir atlygio žemėlapį. J. Neurophysiol. 92, 2520 – 2529 (2004).

  32. 32.

    Kobayashi, S. & Schultz, W. atlygio vėlavimo įtaka dopamino neuronų atsakams. J. Neurosci. 28, 7837 – 7846 (2008).

  33. 33.

    Enomoto, K. et al. Dopamino neuronai išmoksta užkoduoti daugialypės naudos ateityje ilgalaikę reikšmę. Proc. Natl Acad. Sci. JAV 108, 15462 – 15467 (2011).

  34. 34.

    Lak, A., Nomoto, K., Keramati, M., Sakagami, M. & Kepecs, A. Vidurinių smegenų dopamino neuronai suvokimo sprendimo metu tiki pasirinkimo tikslumu. Curr. Biol. 27, 821 – 832 (2017).

  35. 35.

    Williamsas, BA ir McDevittas, MA Inhibicijos ir superkondicija. Psychol. Sci. 13, 454 – 459 (2002).

  36. 36.

    Behrensas, TE, Woolrichas, MW, Waltonas, ME ir Rushworthas, MF Informacijos vertės mokymasis neapibrėžtame pasaulyje. Nat. Neurosci. 10, 1214 – 1221 (2007).

  37. 37.

    Seymour, B. ir kt. Prevenciniai skausmo malšinimo mokymai yra priešingi apetitą sukeliantys nerviniai procesai. Nat. Neurosci. 8, 1234 – 1240 (2005).

  38. 38.

    Kim, H., Shimojo, S. & O'Doherty, JP Ar vengti neigiamo rezultato yra naudinga? Neutralūs vengimo mokymosi substratai žmogaus smegenyse. PLoS Biol. 4, e233 (2006).

  39. 39.

    Syed, EC ir kt. Veiksmų inicijavimas formuoja mesolimbinį dopamino kodavimą ateityje. Nat. Neurosci. 19, 34 – 36 (2016).

Atsisiųsti nuorodas

Padėka

Šiam darbui parėmė MEXT / JSPS parama moksliniams tyrimams (Kakenhi). Dotacijų skaičius JP16H06571 ir JP18H03662 valstybėms narėms. Šis tyrimas buvo iš dalies paremtas Strateginių smegenų mokslų tyrimų programa, kurią remia Japonijos medicinos tyrimų ir plėtros agentūra (AMED). ) ir Japonijos bei JAV bendradarbiavimo smegenų tyrimų srityje programą. Šį tyrimą rėmė Nacionalinis fiziologinių mokslų instituto nacionalinis biologinių išteklių projektas (NBRP NIPS) iš Japonijos medicinos tyrimų ir plėtros agentūros AMED. Dėkojame Bernardui W. Balleine'ui ir Andrew R. Delamaterui už jų pagalbą rašant popierių.

Autoriaus informacija

ST, JPO ir MS suprojektavo eksperimentus. ST atliko eksperimentus ir išanalizavo duomenis. JPO ir MS patobulino eksperimentus ir duomenų analizę. ST, JPO ir MS parašė rankraštį.

Susirašinėjimas su Masamichi Sakagami.