Kostnaðurinn við að fá umbun eykur umbunarspá fyrir villumerki dópamín taugafrumna (2019)

Nature Communications

rúmmál 10, Grein númer: 3674 (2019) | Sæktu tilvitnun

Abstract

Vitað er að dópamín taugafrumur í miðhjálp umrita í sér umvirðingarvillur (RPE) sem eru notaðar til að uppfæra gildi spár. Hér skoðum við hvort RPE merki sem eru kóðuð af dópamín taugafrumum í miðhjálp eru mótuð af kostnaði sem greiddur er til að fá umbun með því að skrá frá dópamíni taugafrumum í vakandi öpum við hegðun á áreynslulausri saccade verkefni. Viðbrögð dópamíns taugafrumna við vísbendingum um spá um umbun og afhendingu umbóta voru aukin eftir að kostnaðarsöm aðgerð var framkvæmd í samanburði við ódýrari aðgerð, sem bendir til þess að RPE séu bættir í kjölfar kostnaðar aðgerða. Á hegðunarstig lærast samtök örvunar-verðlauna hraðar eftir að hafa framkvæmt kostnaðarsamar aðgerðir miðað við ódýrari aðgerðir. Þannig eru upplýsingar um aðgerðakostnað unnar í dópamín umbunarkerfinu á þann hátt sem magnar eftirfarandi dópamín RPE merki, sem aftur stuðlar að hraðari námi við aðstæður þar sem kostnaður er mikill.

Hvernig gengur lífið dag frá degi? Er það í jafnvægi og allt eins og það á að vera? Er jafnvægi hvort sem litið er á veraldlega stöðu eða andlega? Lífið er eins og það er. Það er ekki alltaf sólskyn. Það koma reglulega lægðir með rok og rigningu. Við vitum að í heildar samhenginu er lægð hluti af vistkerfi að leita að jafnvægi. Stundum erum við stödd í miðju lægðarinnar. Þar er logn og gott veður, sama hvað gengur á þar sem stormurinn er mestur. Sama lögmál gildir varðandi þitt eigið líf. Ef þú ert í þinn miðju, þínum sannleik þá heldur þú alltaf jafnvægi átakalaust. Sama hvað gustar mikið frá þér þegar þú lætur til þín taka. Huldufólk hefur gefið okkur hugleiðslu sem hjálpar okkur að finna þessa miðju, finna kjarna okkar og sannleikann sem í honum býr. Þegar þú veist hver þú ert og hvers vegna þú ert hér, mun líf þitt vera í flæðandi jafnvægi. Hugleiðslan virkjar þekkinguna sem er í vitund jarðar og færir hana með lífsorkunni inn í líkama okkar. Þar skoðar hún hugsana og hegðunar munstrið og athugar hvort það myndar átakalausu flæðandi jafnvægi. Hinn möguleikinn er falskt jafnvægi sem hafa þarf fyrir að viðhalda með tilheyrandi striti, áhyggjum og ótta. Síðan leiðbeinir þessi þekking okkur að því jafnvægi sem er okkur eðlilegt. Við blómstrum átakalaust, líkt og planta sem vex átakalaut frá fræi í fullþroska plöntu sem ber ávöxt.

Menn og dýr kjósa umbun sem fengin er eftir að hafa lagt mikið á sig til að fá það miðað við sömu umbun eftir minni vinnu1,2,3. Nokkrar skýringar hafa verið settar fram vegna þessa eins og réttlæting fyrir áreynslu4,5 og andstæðaáhrifin6, þar sem meiri verðmæti er rakin til niðurstöðu sem fengin er eftir greidda fyrirhöfn. Það er samt óljóst hvort og hvernig vinnsla upplýsinga um umbun í heilanum er mótuð af fyrirhöfninni sem varið er til að fá umbun.

Við einbeittum okkur sérstaklega að dópamínkerfinu í miðhjálpnum, í ljósi hlutverks þessa kerfis í að stuðla að aðlögun hegðunar að umbun7,8,9. Vitað er að dópamín taugafrumur tákna umbunarspárvillur (RPE) sem geta auðveldað að læra á umbunarspá fyrir basal ganglia10,11,12,13,14,15,16,17. Styrkur RPE fer eftir magni, gæðum og huglægu gildi eða notagildi umbunarinnar7,18,19,20,21. Ennfremur er dópamínvirkni mótuð af kostnaði og / eða fyrirhöfn22,23. Á þessum grundvelli settum við fram að dópamínvirka RPE merkið yrði beint mótuð af kostnaði sem greiddur var til að fá umbun. Ennfremur vegna þess að RPE merkið er orsakasamt í að miðla námi á hvati-umbunasamböndum24,25,26, gerðum við okkur í skyn að kostnaðurinn sem greiddur er til að fá umbunin myndi beinlínis auka námshraða hvata-umbunasamtaka.

Til að prófa tilgátur okkar mældum við bæði hegðun og dópamínvirka virkni í tveimur japönskum öpum meðan þeir framkvæmdu sakkað-undirstaða áreynsla. Apar bregðast hraðar við verðbólguspá sem birt er eftir aðgerð með háum kostnaði (HC) samanborið við það eftir aðgerð með litlum tilkostnaði. Virkni dópamínvirkra taugafrumna við bata sem spá fyrir um laun eru aukin með greiddum kostnaði. Að auki er námshraði til örvunar-umbunasambandsins einnig aukinn með greiddum kostnaði. Þess vegna leggjum við til að kostnaðurinn sem greiddur er til að fá umbun auki RPE merkið í dópamín taugafrumum og efli þar með hvati-umbunarsamtök.

Niðurstöður

High-Low cost (HLC) saccade verkefni

Til að kanna áhrif greidds kostnaðar á hegðun og á virkni dópamíns taugafrumna framkvæmdu öpurnar saccade verkefni með tveimur kostnaðarskilyrðum (mynd. 1a, sjá Aðferðir). Í HC rannsóknum gerðu aparnir fljótt sakkað að markinu og héldu augnaráðinu á það án þess að blikna í lengri tíma (mynd. 1b; grænar línur). Aftur á móti, í LC rannsóknum, sáu aparnir í kring að vild áður en þeir festust í skemmri tíma (mynd. 1b, fjólubláar línur). Vegna þess að það er erfitt fyrir öpum að viðhalda langri upptöku, gerðu þeir fleiri villur við tafir á HC-rannsóknum (mynd. 1c). Til að stjórna fyrir tilheyrandi mismun á verðlauna líkum á HC rannsóknum og LC rannsóknum settum við inn þvingaðar fóstureyðingar í hluta LC rannsókna til að jafna árangur og verðlauna líkur á milli prufutegunda (mynd. 1d).

Fig. 1
mynd1

HLC saccade verkefni. a HLC saccade verkefnið. Kostnaðarbendingar (C cue) bentu til þess hversu mikla fyrirhöfn var nauðsynleg til að ná mögulegri umbun. Krafist var langrar upplausnar á seinkunartímabilinu í háprófunum. Verðlaunabendingin (R vísbending) gefur til kynna hvort aparnir gætu fengið umbun eða ekki. b Tímabraut augnaráðs á seinkunartímabilinu. Efri og neðri spjöldin sýna lárétt og lóðrétt augnaráð. Grænar og fjólubláar línur gefa til kynna augnaráð í hár kostnaðarrannsóknum (50 rannsóknum í hverju spjaldi) og í lágmarkskostnaðar rannsóknum (50 rannsóknum í hverju spjaldi), hver um sig. c Fjöldi villna á seinkunartímabilinu í hákostnaðar- og lágmarkskostnaðarrannsóknum (**P < 0.01; tvíhöfða parað t próf; t67 = 8.8, P = 4.8 × 10-15, n = 68 fyrir Monkey P; t83 = 26.6, P ≈ 0, n = 84 fyrir Monkey S). Svartir hringir og villustikur gefa til kynna meðaltal og SEM. d Árangurshlutfall í hákostnaðar- og lágmarkskostnaðarrannsóknum (parað við para t próf; t67 = 0.51, P = 0.61, n = 68 fyrir Monkey P; t83 = 0.79, P = 0.43, n = 84 fyrir Monkey S). e RT til kostnaðarlínur (**P <0.01; tvíhöfða parað t próf; t67 = 20.4, P ≈ 0, n = 68 fyrir Monkey P; t69 = 2.0, P = 1.2 × 10-3, n = 70 fyrir Monkey S). f RT til verðlauna vísbendinga (**P <0.01; tvíhöfða parað t próf; Api P (n = 68): HC + á móti LC +, t67 = 3.5, P = 9.2 × 10-4; HC− vs. LC−, t67 = 24.5, P ≈ 0; HC + gegn HC−, t67 = 21.6, P ≈ 0; LC + móti LC−, t67 = 28.5, P ≈ 0; Monkey S (n = 70): HC + á móti LC +, t69 = 5.6, P = 4.4 × 10-7; HC− vs. LC−, t69 = 4.8, P = 8.4 × 10-5; HC + vs. HC−, t69 = 18.0, P ≈ 0; LC + móti LC−, t69 = 5.9, P = 1.1 × 10-7)

Full stærð mynd

Greiddur kostnaður eykur verðmæti bendinga sem spá fyrir um

Til að fá óbeinar sannanir fyrir mismun á huglægu mati apanna á vísum, prófuðum við viðbragðstíma öpanna. Sérstaklega reiknuðum við með því að ef aparnir úthluta hærra huglægu gildi fyrir einn valkost en annan, ættu þeir að sýna hraðari RT-gildi fyrir verðmætari kostinn27. Þegar RT voru bornir saman á milli kostnaðarliða, sýndu báðir aparnir hraðari RT við LC miðað við HC vísuna (mynd. 1e), sem sýnir fram á óbeina val á LC ástand. Þegar RT voru bornir saman á milli verðlauna vísbendinga sýndu báðir aparnir hraðari RT til að umbuna (R +) vísbendingum en engin laun (R−) vísbendingar (mynd. 1f), sem gefur til kynna að þeir vildu R + vísbendingar um R-vísbendingar. Að auki sýndu báðir aparnir hraðari RT til RHC+ bending miðað við RLC+ bending og til RHC- bending miðað við RLC- bending (mynd. 1f), sem benti til þess að þeir hafi metið meiri verðbólguspár í HC samanborið við LC ástand.

Að auki fórum við með valrannsóknir í HLC saccade verkefninu til að prófa framúrskarandi óskir apanna á milli vísanna (viðbótar mynd. 1a). Aparnir völdu helst LC bendinguna þegar þeir velja á milli kostnaðarliða (viðbótar mynd. 1b). Monkey S valdi helst RHC+ bending þegar valið er á milli RHC+ og RLC+ bending, en engin val á milli RHC- og RLC- vísbendingar (viðbótar mynd. 1c, d). Aftur á móti sýndi apa P enga framúrskarandi val milli RHC+ og RLC+ vísbendingum, en valið engu að síður RHC- vísbending þegar valið er á milli RHC- og RLC- vísbendingar (viðbótar mynd. 1c, d).

Rafgreiningarfræðilegar niðurstöður í HLC saccade verkefninu

Við skráðum eininga virkni frá taugafrumum sem staðsettar eru í substantia nigra pars compacta (SNc) og ventral tegmental area (VTA) meðan á HLC saccade verkefninu stóð. Við greindum 70 dópamín taugafrumur yfir öpunum tveimur (Viðbótar mynd. 2a; 18 og 52 taugafrumur frá Monkey P og S, hvort um sig). Vefjafræðileg skoðun staðfesti taugafrumurnar voru staðsettar í eða við SNc / VTA (viðbótar mynd. 2b).

Á mynd. 2, sýnum við virkni fulltrúa dópamín taugafrumna. Þessi taugafruma sýndi lítil virkjun á LC-vísunni og fasísk virkjun eða kúgun til verðlauna (RHC+ og RLC+) eða engar umbunartilvik (RHC- og RLC-), hvort um sig (mynd. 2, Viðbótar mynd. 3). Taugafrumið sýndi einnig fasíska virkjun á ófyrirsjáanlegum umbun sem og fasískri kúgun til að bregðast við tálgandi áreiti, ófyrirsjáanlegum lofthúð (mynd. 2, hægri spjaldið). Að auki sýndi taugafrumkan hóflega kúgun við upphafsspyrnu en svaraði engu við verðlaunagjöf. Allur fjöldi dópamíns taugafrumna sem við skráðum sýndi allar svipuð svör við upphafsspyrnu og umbunaferli (viðbótar mynd. 4a, b). Í HLC saccade verkefninu var greiddur átakskostnaður áður en umbunin var fengin. Vegna þess að spáð kostnaður dró úr virkni dópamíns taugafrumna22,23, svörun dópamíns taugafrumna yrðu kölluð niður við upphaf kynningar16.

Fig. 2
mynd2

Virkni fulltrúa dópamín taugafruma í HLC saccade verkefninu. Spike þéttleiki virka (felldur með Gauss aðgerð) og raster samsæri eru í takt við upphaf tímasetningar upphafsbending, kostnaðarbending (C bending), festingarmarkmið, verðlaunabending (R bending) og píp. Hver litur táknar ástand (gult: HC +, grænt: HC−, bleikt: LC +, sýan: LC−), hvort um sig. Tímasetningar upphafs sakkadans eru táknaðar með gráum krossum. Viðbrögð dópamín taugafrumna við ófyrirsjáanlegum umbun eða loftblöndu eru einnig táknuð á hægri spjaldinu (rautt: ófyrirsjáanlegt umbun, blátt: ófyrirsjáanlegt loftból)

Full stærð mynd

Dópamín taugafrumur kóða upplýsingar um bæði umbun og kostnað

Taugafrumurnar svöruðu fasískt við LC bendinguna, en minna afgerandi við HC bendinguna (mynd. 3a, b). Vakti viðbrögð við vísbendingum um kostnaðarástand sýndu minni svörun við HC-vísbendingu en LC-vísbending (tvístert Wilcoxons undirritað próf, P <3.2 × 10-4, n = 70). Við mældum áhrif spáðs kostnaðar á taugafrumusvörun með því að nota greiningartæki fyrir móttakara (ROC). Dreifing svæðisins undir ROC ferlinum (auROC) var marktækt <0.5 (mynd. 3c; tvístert Wilcoxon undirritað próf. P = 5.4 × 10-4, n = 70), sem gefur til kynna að svör við HC-vísbendingum hafi verið minni en við LC-vísbendingunni. Áður hefur verið fundið að spáð kostnaður dregur úr virkni dópamín taugafrumna, í samræmi við niðurstöður okkar22,23. Að auki sýndu íbúar dópamíns taugafrumna umtalsverða virkjun á LC-vísu meðan þeir sýndu enga marktæka bælingu á HC-vísbendingum (viðbótar mynd. 4c, d). Þessar niðurstöður benda til þess að dópamín taugafrumur kóði og samþætti upplýsingar um bæði umbun og kostnað þegar kostnaður er sendur fram.

Fig. 3
mynd3

Dópamín taugafrumvar viðbrögð við kostnaðartölum. a Fulltrúi dópamín taugafrumna viðbrögð við kostnaðarbendingum. Aðgerðir toppaþéttleika voru reiknaðar út frá eðlilegri virkni dópamín taugafrumu sem skráð var frá apanum P. Lituðu línurnar gefa til kynna virkni toppa þéttleika og litaðir punktar gefa til kynna tímasetningu topps. Grænir og fjólubláir litir benda til virkni í tilraunum til mikils kostnaðar og lággjaldakostnaðar. Lóðrétta línan sýnir tímasetningu kostnaðarkynningarinnar. Grálitaða svæðið gefur til kynna tímabilið til að reikna út skothraða þegar svörun við ástandinu bendir til. b Mannfjöldi að meðaltali á virkni dópamíns taugafrumna sem skráðir voru frá api P í ástandi bendinga. Stóru línurnar sem strikuðu línurnar tákna meðaltal og SEM, hver um sig. c Dreifing svæðanna undir ROC til að magngreina áhrif spáðs kostnaðar á taugasvörun við kostnaðarlínunni. Fylltir ferningar og opnir hringir benda til gagna frá P og S í sömu röð. Örhöfuðið gefur til kynna miðgildi auROC (0.47). d, g Fulltrúar svör af hvati gildi dópamín taugafrumum (d) eða dópamín taugafrumu af tegundg) að ófyrirsjáanlegum umbun eða loftblæ. Rauðir og bláir ferlar benda til viðbragða við ófyrirsjáanlegum umbun og ófyrirsjáanlegum loftbólgu, í sömu röð. Lóðrétta línan gefur til kynna tímasetningu ófyrirsjáanlegra umbóta eða afhendingar með loftbólgu. Fölum rauðum og bláum reitum gefur til kynna tímabilið sem á að reikna skothraðann sem viðbrögð við ófyrirsjáanlegum umbun eða loftblá. e, h Mannfjöldi að meðaltali með virkni dópamín taugafrumna af hvatagildum (e) eða dópamín taugafrumur af tegundh) að ófyrirsjáanlegum umbun eða loftblæ. f, i Dreifing auROCs reiknuð út frá hvati gildi dópamín taugafrumna (f) eða dópamín taugafrumur af tegundi). Örhöfuðin tilgreina miðgildi auROC-verkefnanna (f 0.48; i 0.46)

Full stærð mynd

Tvær aðgreindar undirtegundir af dópamíni taugafrumum hefur áður verið lýst: hvatningargildi og heilnæmni taugafrumum28,29. Við fundum vísbendingar í dópamín taugafrumum okkar um svörunarmynstur í samræmi við báðar undirtegundir. Taugafrumur af verðmæti sýndu fasíska kúgun á andstæða loftbólguörvun (mynd. 3d, e). Aftur á móti sýndu taugafrumur í háreynslu fasíska virkjun á tálmandi áreiti (mynd. 3g, h). Löng upptaka í HC rannsókninni er einnig óþægileg og andstæður; Þess vegna er hugsanlegt að dópamín taugafrumutegundirnar sýni mismunandi svörunarmynstur við vísbendingum um kostnaðarástand. Ef dópamín taugafrumur tákna andstætt áreiti og kosta á svipaðan hátt, ættu gildi taugafrumur að sýna minni virkni við HC bendinguna vegna andúðunar þess. Aftur á móti ættu taugafrumur í hámarki að aukast í virkni við HC bendinguna vegna þess að þær aukast einnig til óþægilegrar áreiti. Hins vegar vöktu viðbrögð beggja gerða taugafrumna minni við HC bendinguna samanborið við LC bendinguna (tveggja hala Wilcoxon undirritaða prófunarprófið; P = 0.021, n = 41 og P = 0.0044, n = 29 fyrir gildi og áberandi tegundir, í sömu röð) og ROC greiningin sýndi minni svör við HC samanborið við LC vísbendinguna í báðum undirtegundum (mynd. 3f, þ.e.a.s.; tvístert Wilcoxon undirritað próf. P = 0.030, n = 41 og P = 0.0058, n = 29 fyrir gildi og áberandi tegundir, í sömu röð). Þannig spáði kostnaður minni virkni í báðum undirtegundum dópamín taugafrumna. Þessar niðurstöður benda til þess að kostnaðarupplýsingar séu unnar af dópamín taugafrumum á eðlilega annan hátt en fráleit áreiti.

Í HLC saccade verkefninu settum við inn þvingað fóstureyðingu í hluta LC tilrauna til að jafna velgengi hlutfalla og umbunarlíkur á milli prófunargerða. Þessi meðferð jók óvissuna um að fá umbun eða hættuna á engin umbun í LC ástandinu. Þess vegna gæti meiri virkni dópamín taugafrumna og aukið verðmæti apanna fyrir LC yfir HC vísbendingunni verið vegna þess að áhættumunur eða óvissa er milli kostnaðaraðstæðna. Hins vegar fundum við engin tengsl milli fjölda þvingaðra fóstureyðinga og munar á RT (viðbótarmynd 5a, b), og við fundum jákvæða fylgni milli fjölda nauðungarfóstureyðinga og auROC (viðbótar mynd. 5c). Við bárum saman dópamín svör við kostnaðartölum eftir fóstureyðingar samanborið við réttar rannsóknir, en fundum engan mun á báðum kostnaðaraðstæðum (viðbótar mynd. 5d). Þessar niðurstöður benda til þess að fjöldi nauðungarfóstureyðinga í LC-ástandi skýri hvorki hækkun á verðmati né aukinni dópamínvirka virkjun í LC-vísanum.

Aukin dópamín svör við umbunarkröfu með greiddum kostnaði

Upptaka dópamíns taugafrumna reyndist sýna fasískan virkjun og kúgun til að umbuna og engin benda sem spá fyrir um umbun, hver um sig (mynd. 2). Næst metum við hvort þessi svör voru mótuð af kostnaði sem áður hafði orðið fyrir. Dæmi um fulltrúa taugafrumur og íbúa að meðaltali taugafrumur sem sýna stærri virkjun á RHC+ bending en RLC+ vísbending eru sýnd á mynd 4a og b, í sömu röð. (tvírófað próf Wilcoxon er undirritað; P = 7.4 × 10-5, n = 70). Dreifing auROCs var> 0.5, sem gefur til kynna að svörun við RHC+ bendingin var stærri en RLC+ bending (mynd. 4c; tvístert Wilcoxon undirritað próf. P = 1.4 × 10-4, n = 70). Þessar niðurstöður benda til þess að svörun við umbunarspá í HC ástandi sé verulega meiri en í LC ástandi. Þess vegna benda niðurstöður okkar til þess að jákvæða RPE merkið sem táknað er með dópamín taugafrumum aukist með þeim kostnaði sem áður hafði orðið.

Fig. 4
mynd4

Dópamín taugafrumvar viðbrögð við verðlaunum vísbendinga. a Dæmi taugafrumvarp við R + vísunum. Hlutfall þéttleikans var reiknað út frá virkni dópamíns taugafrumu sem skráð var frá apa P. Lituðu línurnar og punktarnir gefa til kynna þéttleika gadda og tímasetningu gadda, hvort um sig. Gulir og bleikir litir benda til virkni í kostnaðarrannsóknum með litlum tilkostnaði. Lóðrétta línan sýnir tímasetningu R + bendingakynningarinnar. Grálitaða svæðið gefur til kynna tímabilið sem á að reikna skothraðann sem svar við umbunartölunum. b Mannvirkjavirkni dópamín taugafrumna skráð frá api P til R + vísbendinga. Heilsteyptu línurnar og strikuðu línurnar tákna meðaltal og SEM. c Dreifing auROC til að magngreina áhrif greidds kostnaðar á taugasvörun við R + vísunum. Fylltir ferningar og opnir hringir benda til gagna frá P og S í sömu röð. Örhöfuðið gefur til kynna miðgildi auROCs (0.53). d Fulltrúi svar við R-vísunum. Grænir og sýan litir gefa til kynna kostnaðartilraunir með litlum tilkostnaði og í sömu röð. Lóðrétta línan sýnir tímasetningu kynningar á Rcue. e Mannfjöldi að meðaltali á virkni dópamíns taugafrumna skráðar frá api P til R-vísanna. f Dreifing auROC til að meta áhrif greidds kostnaðar á taugasvörun við R-vísunum. Örhöfuðið gefur til kynna miðgildi auROC (0.50)

Full stærð mynd

Dópamín taugafrumurnar sýndu einnig fasíska bælingu á R-vísunum (mynd. 4d, e). Hins vegar sýndu svör dópamín taugafrumna við R-vísunum ekki marktækan mun á kostnaði sem stofnað var til (tvístígandi Wilcoxon undirritaður staða próf; P = 0.25, n = 70) og ROC greiningin leiddi ekki í ljós neinar vísbendingar um hlutdrægni í dreifingu svörunar (mynd. 4f; Wilcoxon undirritað próf, P = 0.35; n = 70). Þannig var greiddur kostnaður ekki endurspeglaður í neikvæða RPE merkinu sem vísbendingarnar sem ekki spá fyrir um komu fram. Þetta getur stafað af gólfáhrifum: skyndileg virkni dópamín taugafrumunnar er lítil (um 5 Hz); og þar af leiðandi getur verið að ekki sé nægjanlegt kvikusvið til að kóða nægilega slíkan mismun á kostnaði sem eytt er vegna neikvæðrar RPE svörunar (mynd. 4d, e).

Við skoðuðum einnig áhrif greidds kostnaðar á umbunartölurnar fyrir gildi dópamíns taugafrumna hver fyrir sig, en báðar tegundir dópamín taugafrumna sýndu svipað svörunarmynstur (viðbótar mynd. 6a – h). Þess vegna birtist greiddur kostnaður svipuð áhrif á svörun við umbunarkenndum bæði í gildi og dópamín taugafrumum.

Raunföst tímalengd öpnanna var ekki stöðug en var breytileg miðað við prófun (mynd. 1b). Þess vegna var mögulegt að svörun dópamíns við umbunartækjunum séu mótuð af raunverulegum tímalengdum festingar á grundvelli rannsóknarinnar. Hins vegar gátum við ekki fundið neina marktæka fylgni á milli þeirra fyrir hvert kostnaðar- og umbunarástand (viðbótar mynd. 7a – d). Ennfremur voru RTs við umbunarkerfið einnig breytt eftir kostnaðar- og umbunaraðstæðum (mynd. 1f). Einn möguleiki er sá að svörun dópamín taugafrumna gæti verið útskýrð af RT-ingum við umbunartilraunum á grundvelli rannsóknarinnar. Hins vegar gátum við ekki fundið neina marktæka fylgni milli RTs og staðlaðra dópamín svara við umbunartölunum (viðbótar mynd. 7e – h). Þessar niðurstöður benda til þess að dópamín svör séu óháð bæði RT-gildi og tímalengd festingar í hverri rannsókn, en samt breytt eftir magni af nauðsynlegum kostnaði og væntum umbunum sem eru fastar fyrir hverja tegund rannsókna.

Ennfremur er einnig mögulegt að þvingaðar fóstureyðingar í LC ástand sköpuðu bæði óskir apanna og aukinni virkjun dópamín taugafrumna í umbunarkenndina í HC ástandinu. Ef svo er ætti fjöldi nauðungarfóstureyðinga að tengjast bæði vali og að aukinni virkjun. Hins vegar hafði fjöldi nauðungarfóstureyðinga hvorki áhrif á val apanna né virkjun dópamín taugafrumna á umbunartilraunirnar (viðbótar mynd. 8). Þess vegna, hraðar RT og hærri DA svör við RHC+ bending en RLC+ bending stafar ekki af þvinguðum fóstureyðingum sem settar voru inn í LC ástand.

Kostnaður sem fylgir eykur svörun dópamíns við afhendingu verðlauna

Viðbrögð dópamín taugafrumna við R + vísunum ættu að eiga uppruna sinn í svöruninni við sjálfum umbuninni, vegna þess að dópamín taugafrumur breyta viðbrögðum þeirra við umbunarspá sem er spáð miðað við hvati-umbunasamband8,30. Þess vegna reiknuðum við með því að dópamín taugafrumur sýndu greidda aukna svöruða aukningu á svörun til að verðlauna afhendingu. Til að mæla virkni dópamíns taugafrumna við verðlaun afhendingu, unnu aparnir HLC óvíst verkefni með tveimur nýjum umbunartilvikum (mynd. 5a). Vegna þess að umbunin var afhent í aðeins helmingi af kynningunni á verðlaunakönnunum, spáðu umbunarkennslurnar hvorki áreiðanlegra né heldur ólíkri fyrirspurn um verðlaunin. Þetta var gert til að hámarka svörun dópamíns taugafrumna við móttöku (ófyrirséðra) umbóta, til þess að auka næmi okkar til að greina mótun í svörun taugafrumna sem fall af kostnaðinum sem eytt er.

Fig. 5
mynd5

Óvíst verkefni HLC. a Óvíst verkefni HLC. Í þessu verkefni voru notaðir óvissar umbunarkenningar, þar sem umbunin var afhent 50% tímans án tillits til hvaða vísbending var kynnt. b RT til kostnaðar vísbendingum í hár-kostnaður og lágmark-kostnaður rannsóknum. Aðeins api P sýndi hraðari RT við LC bendinguna en HC bendinguna (**P <0.01; tvíhöfða parað t próf; t4 = 9.0, P = 8.5 × 10-4, n = 5 fyrir apann P; t18 = 1.4, P = 0.19, n = 19 fyrir apann S). Svartir hringir og villustikur gefa til kynna meðaltal og SEM. c RT til verðlauna vísbendinga í hár-kostnaður og lágmark-kostnaður rannsóknum. Það var enginn munur á RT-ingum við umbunartölurnar á milli kostnaðar og lágmarkskostnaðar (tvöfalt parað t próf; t4 = 0.97, P = 0.39, n = 5 fyrir apann P; t18 = 0.99, P = 0.39, n = 19 fyrir apa S)

Full stærð mynd

Þegar RT voru bornir saman á milli kostnaðarliða, sýndi api P hraðari RT í LC-vísu en HC-vísan (mynd. 5b). Enginn munur var á RT-ingum við umbunartilraunirnar milli HC og LC ástands í hvorum apanum (mynd. 5c).

Í óvissu verkefni HLC sýndu dópamín taugafrumur hóflega virkjun á LC bendingunni en svöruðu ekki umbunartölunum vegna þess að þeir voru ekki umbunarspár (mynd. 6a). Í öllum íbúunum voru svör sem voru framkölluð minni við HC en LC bending (mynd. 6b; tvístert Wilcoxon undirritað próf. P = 2.7 × 10-3, n = 19) og ROC greiningar sýndu minni svör við HC vísbendingunni (mynd. 6c; tvístert Wilcoxon undirritað próf. P = 5.5 × 10-3, n = 19). Taugasvörunin við afhendingu umbunar í HC ástandi var meiri en LC (mynd. 6d; tvístert Wilcoxon undirritað próf. P = 0.036, n = 19). Dreifing auROCs var> 0.5 sem bendir til stærri svörunar viðbragða við endurgjöf HC í samanburði við LC rannsóknir (mynd. 6e; tvístert Wilcoxon undirritað próf. P = 0.049, n = 19). Þessar niðurstöður benda til þess að viðbrögð við afhendingu umbunar séu aukin í HC rannsókninni og að greiddur kostnaður eykur jákvætt RPE merki við afhendingu umbunar.

Fig. 6
mynd6

Dópamín taugafrumvarp við bata afhendingu. a Fulltrúi dópamíns taugafrumuvirkni í HLC óvissu verkefni. Hver litur táknar skilyrðin (gulur: HC +, grænn: HC−, bleikur: LC +, sýan: LC−). Tímasetningar upphafs sakkadans eru táknaðar með gráum krossum. Viðbrögð þessarar dópamín taugafrumvar við ófyrirsjáanlegum umbun og loftblöndu eru einnig sýnd á hægri spjaldinu (rautt: ófyrirsjáanlegt umbun, blátt: ófyrirsjáanlegt loftból). b Íbúatölvuvirkni dópamín taugafrumanna skráð frá api S til ástandsbendinganna. Grænir og fjólubláir litir benda til virkni í tilraunum til mikils kostnaðar og lággjaldakostnaðar. Heilsteyptu línurnar og strikuðu línurnar tákna meðaltal og SEM. Grátt litað svæði sýnir tímagluggann til að reikna skothríðina sem svörun við ástandinu. c Dreifing auROC til að magngreina áhrif spáðs kostnaðar á taugasvörun við kostnaðartölum. Fylltar ferningar tákna gögnin frá apanum P (n = 3) og opnir hringir gefa til kynna gögnin frá apanum S (n = 16). Örvarinn gefur til kynna miðgildi auROC (0.44). d Mannfjöldi að meðaltali á virkni dópamíns taugafrumna sem skráðir voru frá apanum S til verðlauna afhendingarinnar. Gulir og bleikir litir benda til virkni í kostnaðarrannsóknum með litlum tilkostnaði. Grálitað svæði gefur til kynna tímagluggann til að reikna hleðsluhraða sem svar við umbun afhendingu. e Dreifing auROC til að meta áhrif greidds kostnaðar á taugasvörun við umbun afhendingu. Örhöfuðið gefur til kynna miðgildi auROC (0.55)

Full stærð mynd

Að auki bárum við saman dópamín svör í kjölfar umbóta. AuROCs sýndu ekki hlutdræga dreifingu, sem benti til þess að greiddur kostnaður hafi engin áhrif haft á neikvæðar RPE við útkomuna (viðbótar mynd. 9a). Dópamín taugafrumurnar sýndu engan mun á svörun við RHC og RLC vísbendingum (aukamynd. 9b).

Málskostnaður eykur námshraða

Í ljósi þess að RPEs til að umbuna afhendingu er aukið með greiddum kostnaði, undir tilgátunni um að RPEs hafi beinan þátt í að miðla áreynslu-umbunarnámi, bjuggumst við við að aukin RPEs myndu endurspeglast í námshegðun með auknum námshraða24. Til að prófa fyrir áhrifum greidds kostnaðar á nám, unnu aparnir HLC rannsóknarverkefnið (mynd. 7a; sjá Aðferðir). Í þessu verkefni voru tvær launatölur (R + og R−) kynntar samtímis og öpurnar þurftu að velja eina. Við jöfnum árangurshlutfall og umbunum líkurnar á prufutegundum (parað saman t próf; t48 = 0.15, P = 0.89, n = 49 fyrir apann P; t85 = 1.2, P = 0.25, n = 86 fyrir apa S). Þegar RT voru borin saman fyrir kostnaðarbendingar sýndu báðir aparnir LC-vísbendinguna hraðari RT en HC-vísbendingin (mynd. 7b; parað t próf; t48 = 12.9, P ≈ 0, n = 49 fyrir apann P; t85 = 3.4, P = 9.4 × 10-4, n = 86 fyrir apa S). Þegar samanburður var á RT og umbunarbendingunum sýndi api S hraðari RT í HC en LC ástand (mynd. 7c; parað t próf; t48 = 1.3, P = 0.19, n = 49 fyrir apann P; t85 = 2.8, P = 6.8 × 10-3, n = 86 fyrir apa S). Þegar samanburður var gerður á samanburðarrannsóknum á fyrri og síðari hluta námstímans sérstaklega voru úttektir við LC-vísbendinguna hraðari en við HC-vísbendinguna í fyrri (viðbótarmynd 10a) og seinni hluta fundarins (aukamynd. 10c). Þvert á móti, RTs af apa S við umbunarkröfuna í HC ástandinu voru hraðari en í LC ástandinu á aðeins seinni hluta tímabilsins (viðbótar mynd. 10d) en ekki fyrri hálfleikinn (aukamynd. 10b).

Fig. 7
mynd7

Könnunarverkefni HLC. a Könnunarverkefni HLC. Í þessu verkefni þurftu apar að velja á milli R + og R− vísbendinga sem voru búnir til af handahófi í hverri námsmessu. Ef þeir völdu R + bendilinn gætu þeir fengið umbun og ef þeir völdu R-vísu myndu þeir ekki fá verðlaun. b RT til kostnaðar vísbendingum í hár-kostnaður og lágmark-kostnaður rannsóknum. Aparnir sýndu hraðari RT í lágmarkskostnaðartækinu (**P < 0.01; tvíhöfða parað t próf). Svartir hringir og villulínur benda til meðaltals og SEM. c RT til verðlauna vísbendinga í hár-kostnaður og lágmark-kostnaður rannsóknum. Monkey S sýndi hraðari RT til verðlauna vísbendinganna í hár-kostnaður ástand

Full stærð mynd

Í rannsóknarverkefni HLC voru verðlaunatölur myndaðar af handahófi í hverri námsmessu. Þess vegna þurftu öpurnar að læra sambandið á milli verðlaunatekna og umbunar í hverri lotu. Eftir því sem tilraunir fóru fram á þingi, völdu öpurnar oftar R + vísur í hverju kostnaðarástandi (mynd. 8a). Til að magngreina námshraða passum við uppsöfnuð veldisvísisaðgerð við gögnin, með tveimur ókeypis breytum, a og bsem gefur til kynna brattleika ferilsins og hásléttunnar, hvort um sig (viðbótar mynd. 11a, b). Stokkhlutfallið milli breytur á bröttleika (log aHC/aLC) var marktækt stærra en núll sem benti til stærri brattastærðar í HC en LC rannsóknum (mynd. 8b; tvístert t próf; t48 = 2.1, P = 0.042, meðaltal = 0.58, n = 49 fyrir apann P; t85 = 2.5, P = 0.013, meðaltal = 0.19, n = 86 fyrir apa S). Log hlutfallið milli breytna hásléttunnar (log bHC/bLC), var ekki frábrugðið núlli sem gefur til kynna að enginn munur væri á kostnaðarskilyrðum (mynd. 8c; tvístert t próf; t48 = 0.76, P = 0.45, meðaltal = −0.0024, n = 49 fyrir apann P; t85 = 0.56, P = 0.58, meðaltal = 0.010, n = 86 fyrir apa S). Þessar niðurstöður benda til þess að námshraði sé hraðari í HC rannsóknum. Því næst módeluðum við námsferla með því að nota styrkingarnám (RL) líkan (sjá Aðferðir). Þetta líkan inniheldur breytur á námshraða (αHC og αLC) og rannsóknarhlutfall (βHC og βLC) fyrir báðar kostnaðaraðstæður (viðbótar mynd. 11c, d). Þegar við hæfumst hegðun, komumst við að því að logghlutfallið á milli breytu námshraða (log αHC/αLC) var stærra en núll sem benti til marktækt stærri námshraða í HC en LC rannsóknum (mynd. 8d; tvístert t próf; t48 = 2.3, P = 0.026, meðaltal = 0.50, n = 49 fyrir apann P; t85 = 2.2, P = 0.034, meðaltal = 0.25, n = 86 fyrir apann S) meðan færibreytan β sýndi engan mun (mynd. 8e; tvístert t próf; t48 = 0.77, P = 0.44, meðaltal = 0.0097, n = 49 fyrir apann P; t85 = 0.64, P = 0.52, meðaltal = 0.038, n = 86 fyrir apa S). Hér áætluðum við námshraða breytur fyrir hvert kostnaðarskilyrði (αHC og αLC) sérstaklega til að útskýra hraðari námshraða í HC ástandi. Hins vegar, ef námshraði er eins á milli kostnaðaraðstæðna, er hlutfallið milli áætlaðra námshraðaþátta (αHC/αLC) er hægt að hugsa um sem magnunargildi fyrir RPE í HC ástand. Þess vegna benda þessar niðurstöður til þess að mögnun á RPE geti útskýrt hraðari námshraða í HC ástandi.

Fig. 8
mynd8

Námshraða próf. a Meðal námsferli öpanna P og S. Hlutfall R + valanna er samsæri sem aðgerð rannsóknarinnar. Grænu og fjólubláu punktarnir benda til gagna frá rannsókn með háum kostnaði og með litlum tilkostnaði. Punktalínurnar tákna slétta námsferli. Uppsöfnuðu veldisvísisaðgerðirnar voru lagðar á gagnapunkta og táknaðar sem heildarlínur. b Notkunarhlutfallið á milli mála breytanna a við há- og lágmarkskostnað þegar gögnin voru í samræmi við uppsafnaða veldisvísisaðgerð (*P <0.05; tvírófað Wilcoxon undirritað stigapróf). Svartir hringir og villustikur gefa til kynna meðaltal og SEM. c Notkunarhlutfallið á milli mála breytanna b við há- og lágmarkskostnað þegar gögnin voru í samræmi við uppsöfnaða veldisvísisaðgerð. d Notkunarhlutfall á milli námshraða α við há- og lágmarkskostnaðaraðstæður þegar gögnin voru fallin með styrkingar-námslíkani. e Logstigshlutfallið milli passandi breytu β við há- og lágmarkskostnaðaraðstæður þegar gögnin voru fallin með styrkingar-námslíkani

Full stærð mynd

Við reyndum einnig að útskýra námsferlið með öðrum RL líkönum sem taka mið af möguleikanum á því að öpurnar þekki fylgni milli áreitis og umbunar í hverri rannsókn. Í þessum líkönum er gildi óvalins valmöguleika uppfært samhliða þeim sem valinn var (viðbótar mynd. 12). Jafnvel þegar slíkum líkönum var beitt við gögnin, var námshraðastillinn verulega stærri í HC miðað við LC ástand (viðbótar mynd. 12b, f) meðan færibreytan β sýndi engan mun (viðbótar mynd. 12d, h). Þannig að niðurstaða okkar um mögnun RPE merkisins í HC ástandi er sterk að formi RL líkans sem passar við gögnin.

Discussion

Við könnuðum áhrif greidds kostnaðar á gildi forspár fyrir umbun og á fasísk svörun dópamín taugafrumna í heila. Apar sýndu aukið verðmæti vegna vísbendinga um umbun sem spáði í kjölfar frammistöðu aðgerða sem stofnað var til stærri kostnaðar. Dópamín taugafrumur sýndu aukin viðbrögð bæði við umbun sem spáði um laun og afhendingu umbunar eftir að hærri kostnaður hafði verið stofnaður. Ennfremur sýndu aparnir hraðari námshraða þegar hærri kostnaður var nauðsynlegur til að fá umbun.

Nokkrar rannsóknir hafa sýnt að greiddur kostnaður eykur óskir um verðbólguspá1,2,3. Í þessari rannsókn sýndu öpurnar hraðari RT til verðbólguspár í HC-ástandinu samanborið við þá sem voru í LC-ástandi, í samræmi við möguleikann á að verðmæti cue-gildi er aukið með greiddum kostnaði27. Annar möguleiki er að lengri festingartími í tengslum við aukna athygli á saccade markmiðinu í HC ástand, því að draga úr RTs eftir lengri fixation í HC rannsókninni. Hins vegar fundum við engan mun á milli RTs til R vísbendinganna í HC og LC rannsóknum í HLC óvissu verkefni. Ennfremur á fyrri helmingi rannsóknarþings HLC. RT til R vísbendinganna voru ekki marktækt mismunandi á HC og LC rannsóknum. Þessar niðurstöður benda þannig til þess að lengri upptaka sé ekki líkleg skýring á styttri RT-greinum sem sést hafa á umbunarspá. Til viðbótar við áhrif greidds kostnaðar á RT-verðlaun fyrir verðlaun, hafði kostnaðurinn einnig áhrif á RT-gildi á vísbendingunum sem ekki voru spáð, þrátt fyrir að engin umbun hafi verið gefin eftir kynningarnar. Í fyrri rannsókn var greint frá svipuðu fyrirbæri að því leyti að einstaklingar með apa sýndu styttri RT í óákveðnum rannsóknum þegar ákjósanlegari umbun var notuð í varnarannsóknum innan hverrar blokkar30. Ein hugsanleg túlkun á áhrifunum í þeirri rannsókn er að almennt meiri hvati til að bregðast við í reitnum með ákjósanlegri umbun hefur áhrif á RT-gerðirnar einnig fyrir neina umbunarkenndina innan blokkarinnar. Að sama skapi, í þessari rannsókn, gæti væntingin um verðmætari umbun í HC-prófunum hafa mótað RT til að engin umbun í HC rannsóknum í verkefni okkar. Ennfremur voru áhrif greidds kostnaðar á RT-tölvur á verðlaunatölurnar minni en áhrifin sem ekki voru spá fyrir um umbun. Þetta er líklega gripur af þeirri staðreynd að vegna þess að öpurnar gerðu hraðskreiðan hraða að RLC+ vísbending í fyrsta lagi, það er minnkað svigrúm til að greina styttingu RTs í RHC+ bending. Þess vegna væri mismunur á RTs milli R + vísanna lítill sem afleiðing.

Aparnir gerðu einnig valrannsóknir milli RHC og RLC vísbendingar í HLC verkefninu. En þó að api S sýndi val á RHC+ bending til RLC+ bending, api P sýndi engan slíkan val. Þetta misræmi mætti ​​skýra með samhengismun á HLC saccade og valraunum. Í valrannsóknum voru kynntar tvær umbunarspá fyrir í stað einnar umbun sem spáð var fyrir um. Ennfremur, öpurnar fengu enga umbun eftir vali sínu jafnvel þó að þeir völdu umbunarspá fyrir vísbendingu, þannig var valprófið gert í útrýmingu. Útrýmingaraðferðinni var hrundið í framkvæmd til að tryggja að val apans væri drifið áfram af því sem lært hafði verið í átakstilraunum, öfugt við að vera ruglað saman við nýtt nám í valraunum. Hins vegar getur þessi aðgerð haft þær aukaverkanir að apinn gæti fljótt lært að þekkja útrýmingaraðferðina í valssamhengi og að engin ástæða er til að velja áreiti sem frekar er valið. Engu að síður, einn af öpunum sýndi í raun val á umbunarkröfu í HC ástandi.

Við kynningu á vísbendingu sem spáði síðari kröfu um að greiða kostnað var virkni dópamín taugafrumna minnkuð, í samræmi við fyrri rannsóknir22,23. Í rannsókn okkar sáum við ekki að heildarlækkun á dópamín taugafrumum svaraði bæði HC og LC vísbendingum miðað við grunnlínu. Þetta bendir til þess að neikvætt RPE merki komi ekki fram á þeim tímapunkti þrátt fyrir eftirfarandi kostnað. Skortur á neikvæðum RPE endurspeglar væntanlega samþættingu spá um framtíðarlaun sem búist var við síðar í rannsókninni. Dópamín taugafrumurnar sýndu verulega virkjun í LC rannsókninni og virkni var meiri miðað við HC rannsóknina. Þetta bendir til þess að kostnaðarupplýsingar séu felldar inn í RPE merkið sem ber dópamín taugafrumur. Þannig kóðar dópamín taugafrumur bæði umbun og upplýsingar um kostnað og RPE svörun endurspeglar summan af kostnaði og umbun.

Við sýndu fram á að RPE merkið sem táknað er með dópamín taugafrumum er aukið með greiddum kostnaði á þeim stað þar sem verðbólguboð er kynnt (í HLC saccade verkefninu) og umbun afhendingu (í HLC óvíst verkefni). Markmið upphæðar umbunar í HC og LC prófunum var jafnt; Þess vegna ætti breyting á RPE merkjum að vera af völdum ónæmiskerfa. Þessi möguleiki er studdur af nokkrum rannsóknum sem benda til samhengisáhrifa á dópamín RPE merki í samræmi við vinnslu á huglægu gildi og / eða notagildi í dópamín taugafrumum11,19,20,21,31,32,33,34. Ef RPE merkið er stærra ætti þetta að framleiða hraðari uppfærslu á gildi gildi sem myndi þar af leiðandi hafa áhrif á námshraða hvata-umbunasambanda. Fyrri rannsóknir hafa sýnt breytingu á námshraða með ósensurlegum þáttum24,35. Í takt við þetta sýndu aparnir hraðari námshraða í HC miðað við LC ástand. Við komumst að því að auka námshraða með greiddum kostnaði er hægt að skýra með RL líkani með magnaðri RPE. Erfitt var að aðgreina áhrif magnaðs RPE og aukins námshlutfalls í tilraunum okkar; hins vegar fundum við magnað dópamínvirkt RPE merki við HC ástand. Ennfremur hefur fyrri fMRI rannsókn sýnt að lærdómsþátturinn er táknaður í fremri cingulate heilaberki og að virkni VTA er ekki tengd námshlutfallsbreytunni í rokgjörnu umhverfi36. Þess vegna höldum við því fram að RPE merkið sem er dulkópt með dópamín taugafrumum sé magnað með greiddum kostnaði og að aukið RPE merki eykur námshraða.

Þegar RPE merkið var búið til á þeim tíma þegar verðbólguskrá var kynnt og umbunin afhent höfðu aparnir þegar greitt kostnaðinn. Þess vegna er einn mögulegur búnaður fyrir aukið RPE merki að umbun sem fæst eftir HC gæti verið meira gefandi. Aukin eftirvænting um verðmætari umbun eftir HC gæti aukið hvatann til að klára prufuna og þar með stytt RT til umbunartilrauna í HC prófunum.

Önnur möguleg túlkun á niðurstöðum okkar er sú að léttir sem orðið hefur vegna þess að kostnaðarsamar aðgerðir ljúka gætu virkað sem öpum umbun. Rannsóknir á aðgerðum segulómunar (fMRI) hafa sýnt að verkjalyf geta verið þátttakendum umbun37,38; þess vegna gæti kostnaður gegnt svipuðu hlutverki og andstætt hvati til verkja. Ef léttir frá kostnaði er gefandi og ef það endurspeglast í dópamínvirkni, þá gerum við ráð fyrir að dópamín taugafrumurnar svöruðu í lok langrar uppbótar, sem er tímasetning kynningar á verðlauna bendingunum. Samt sem áður sáum við ekki neinn mun á dópamínvirkni við tímasetningu verðlauna bendingakynninganna né heldur neinn mun á RTs á R bendingum milli HC og LC rannsókna í HLC óvissu verkefni. Þess vegna leggjum við til að léttir frá kostnaði sé ekki fullnægjandi skýring á áhrifum sem við sáum í dópamín taugafrumum.

Ennfremur sýndu dópamín taugafrumurnar eðlisfræðilega mismunandi svör við hvata hvati samanborið við kostnaðinn sem spáði fyrir. Ein möguleg skýring á þessu er að átakakostnaðurinn var minna áberandi en loftbólan eða umbunin, vegna þess að átakakostnaðurinn var framlengdur tímabundið í nokkrar sekúndur þar sem aparnir gerðu uppbótina og ekki greinarmerki. Þess vegna getur verið að dópamín taugafrumur hafi ekki verið virkjaðar í minna áberandi kostnaðartölum. Annar möguleiki er sá að dópamín taugafrumur af vönduðri gerð svara atburðum eftir það sem nokkrar hreyfingar urðu fyrir. Þegar verðlaunin eða loftbólan var afhent öpunum, gera þeir nokkrar hreyfingar eins og sleikju eða augað blikar. Í HLC saccade verkefninu urðu öpurnar hins vegar að halda augum sínum að festingarmarkinu án þess að nokkur hreyfing væri kostnaðurinn. Reyndar, nýleg rannsókn sýndi að losun dópamíns í kjarnanum sem fylgir kjörinu eftir að umbun er spáð er minnkuð nema hreyfing sé rétt hafin39. Vegna þess að kostnaðurinn í tilraunum okkar fól ekki í sér upphaf hreyfingar gæti það hugsanlega leitt til ósamræmis viðbragða af dópamín taugafrumum af söluhæfni. Hvort heldur sem er getum við ályktað að kostnaðarupplýsingar séu unnar á annan hátt en ógeðfelldar upplýsingar.

Að lokum leggjum við til að greiddur kostnaður auki verðmæti vísbendinga um umbun sem spáð er fyrir um og að þetta auki aftur á móti RPE merki sem er kóðuð í dópamín taugafrumum í miðhjálp. Þessi áhrif leiddu til atferlisspár um að námsmöguleiki dýra yrði aukinn fyrir umbunarspá í kjölfar reynslu af HC. Þetta er örugglega það sem við fylgjumst með. Þess vegna leiddu athuganir okkar á virkni dópamíns taugafrumna okkur til að tilgáta tilvist hegðunaráhrifa, sem og hugsanlegan reikniaðferð undirliggjandi þessum áhrifum, sem við staðfestum í kjölfarið. Niðurstöður okkar tákna því dæmi um hvernig þríhyrning getur gerst á milli mælinga á taugagögnum, reikniaðferðum og hegðun: að þróa dýpri skilning á taugafrumvinnslu í heila getur skilað innsýn um hegðun og undirliggjandi reiknigrundvöll.

aðferðir

Dýr

Við notuðum tvo japanska karpa (Macaca fuscata; líkamsþyngd, 6.5 kg = Api P; líkamsþyngd, 9.0 kg = Api S). Við græddum höfuðpósti efst á höfuðkúpu apans svo hægt væri að festa hann við stól síðar. Einnig var grædd upptökuhólf til að gera kleift að festa rafskautafjöðrunartæki. Upptökuhólfið var hallað 45 ° hliðar í kransæðaplaninu og staðsett við stereótaxísk hnit: 15 mm framan við ytri skurðinn. Eftir endurheimtartímabil voru öpurnar þjálfaðir í að framkvæma saccade verkefnið. Að lokinni þjálfun boruðum við gat í gegnum höfuðkúpuna inni í upptökuhólfinu til að setja rafskaut í. Allar samskiptareglur við umönnun dýra voru samþykktar af dýra tilraunanefnd Tamagawa háskóla og voru í samræmi við leiðbeiningar um heilbrigðisstofnanir um umönnun og notkun á rannsóknarstofum.

Atferlisverkefni

Aparnir voru þjálfaðir í að framkvæma HLC saccade verkefnið (mynd. 1a), HLC óvíst verkefni (mynd. 5a) og HLC rannsóknarverkefni (mynd. 7a). Öll verkefni voru unnin í dimmu herbergi. Aparnir voru settir í stól fyrir framan 22 inn. LCD skjár (S2232W, Eizo) með ígræddu höfuðpóstana sína festa við stólinn. Fjarlægðin milli augna þeirra og skjásins var 70 cm. Þegar upphafsbending (hvítur hringur, 0.3 ° þvermál) var kynnt í miðju skjásins, var apanum gert að halda augnaráði sínu á tákninu. Byrjunarleiðin hvarf eftir 750 ms og síðan var kynnt kostnaðarbending (stjarna og vindmylla fyrir HC og LC rannsóknirnar, í sömu röð). Öpum var gert að saccade við kostnaðarbendinguna meðan á 750 ms vísbendingarkynningu stóð. Ef þeir létu ekki bugast af vísbendingunni var réttarhaldinu hætt og sama réttarhöldin hófust aftur. Í HC rannsóknum var festingarmarkmiðið (0.3 ° × 0.3 ° hvítur ferningur) kynntur rétt eftir að kostnaðarbendingin hvarf í 2000 ms (HLC saccade og HLC óviss verkefni) eða 1500 ms (HLC exploration verkefni) og apa var krafist að saccade við það og halda augnaráðinu á það. Ef aparnir færðu augnaráð sitt út fyrir 4 ° × 4 ° festingarglugga var verkefninu aflýst. Festingarglugginn var virkjaður 400 ms eftir framsetningu á punktinum vegna þess að aparnir þurftu tíma til að undirbúa sig fyrir saccade og aðlögun á festingu þeirra. Þess vegna þurftu aparnir að laga í að minnsta kosti 1600 ms (HLC saccade og HLC óviss verkefni) eða 1100 ms (HLC exploration verkefni) í HC rannsóknum. Í LC rannsóknum var auður skjár sýndur í 1500 ms (HLC saccade og HLC óviss verkefni) eða 1000 ms (HLC könnunarverkefni), og þá birtist festingarmarkið í 500 ms. Vegna þess að uppsetningarglugginn var virkjaður 400 ms eftir framsetningu á festipunkti þurfti aparnir að festa sig við markmiðið í að minnsta kosti 100 ms í LC rannsóknum. Aparnir sýndu fleiri villur í HC rannsókninni; þess vegna var nauðungarfóstri slembiraðað 100 ms áður en verðlaunakynningin var gefin (400 ms eftir upphafsmarkframsetningu sem er tímasetning uppsetningargluggans) í LC rannsókninni til að jafna árangur. Eftir að búið var að ákveða markmiðið voru ein eða tvö umbunarbendingar kynntar og öpunum gert að fara í bökkum. Ef þeir tóku árangursríkt við verðlaunabendið var píphljóð afhent 750 ms eftir verðlaunakynninguna. Þegar aparnir gerðu saccade við R + cue var 0.3 ml af vatni afhent á sama tíma og pípið. Engin umbun var afhent þegar þeir gerðu saccade í R− cue.

Í HLC saccade verkefninu voru fjórir litaðir hringir notaðir sem verðlaunatákn (RHC+: gulur; RHC-: grænn; RLC+: bleikur; RLC-: blátt; Mynd. 1a). Ein tilraunaþing samanstóð af 80 saccade tilraunum, 20 ófyrirsjáanlegum umbunartilraunum, 20 óútreiknanlegum tilraunum í loftpúða og 5 tilraunum. Saccade tilraunirnar, innihéldu 40 HC rannsóknir og 40 LC rannsóknir, sem báðar innihéldu 20 umbunarrannsóknir og 20 engar umbunarrannsóknir. Í ófyrirsjáanlegu umbuninni eða loftpúðarprófunum var 0.3 ml af vatnsverðlaunum eða 0.2 MPa af loftpúða (150 ms fyrir apa P; 200 ms fyrir ap S) afhent á andlit apanna án þess að láta vita. Valprófin innihéldu prufu þar sem apar tóku val á milli R + vísbendinga (RHC+ á móti RLC+) í HC rannsókninni, milli Rcues (RHC- vs. RLC-) í HC rannsókninni, milli R + (RHC+ á móti RLC+) vísbendingar í LC rannsókn, milli R− (RHC- vs. RLC-) vísbendingar í LC rannsókn, og á milli kostnaðarliða (viðbótar mynd. 1). Í rannsóknum þar sem valið var á milli umbunarkóða var verkefnaskipan eins og saccadeverkefnið fyrir kynningu á umbunarkenndum hætti. Næst, í stað þess að leggja fram verðlaunaskrá, voru tvær verðlaunatölur kynntar í valrannsóknum og engin verðlaun voru afhent eftir kynningu á verðlaunatölum, jafnvel þó að aparnir hafi valið á milli R + vísanna.

Til að prófa svörun dópamíns taugafrumna við umbun fæðingar, unnu öpurnar HLC óvíst verkefni (mynd. 5a). Þetta verkefni var svipað og HLC saccade verkefnið nema umbunartölurnar. Í þessu verkefni notuðum við tvær verðlaunatölur (í stað fjögurra verðlaunatákna sem notuð voru í HLC saccade verkefninu), önnur fyrir HC rannsóknina og hin fyrir LC rannsóknina. Verðlaunin voru afhent í helmingi prófanna eftir kynningu á verðlaunaskrá. Ein tilraunahópur samanstóð af 80 saccade rannsóknum, 20 ófyrirsjáanlegum umbunartilraunum og 20 ófyrirsjáanlegum rannsóknum á loftbólgu. Rannsóknir á saccade innihéldu 40 HC rannsóknir og 40 LC rannsóknir, sem báðar innihéldu 20 umbun tilrauna og 20 engin umbun. Í ófyrirsjáanlegum réttarhöldum var verðlaun eða loftblöð skilað án nokkurra vísbendinga.

Í rannsóknarverkefni HLC voru tveir verðlaunatákn (RHC+, RHC- eða RLC+, RLC-) voru kynntar samtímis og öpunum var gert að saccade í einn af verðlaunatölunum (mynd. 7a). Ef þeir völdu R + bendinguna fengu þeir vatnslaun. Fjórar verðlaunatölur (RHC +, RHC-, RLC +, RLC-) voru búnir til fyrir hverja könnunarstund og öpunum var gert að læra tengsl milli vísanna og umbuna prófi fyrir próf. Ein tilraunaeining samanstóð af 100 HC rannsóknum og 100 LC rannsóknum. Við komumst að því að við rannsóknarverkefnið, ef við stilltum uppbótartímabilið á að vera 2000 ms í HC ástandinu þannig að það passaði við tímalengd HC ástandið í hinum verkefnunum, unnu aparnir verkefnið með mjög lágu árangri ef til vill erfiðleikum verkefnisins og / eða þar af leiðandi lágt launahlutfall. Til að draga úr erfiðleikum verkefnisins og auka árangur, notuðum við 1500 ms tímalengd sem kostnað vegna HLC rannsóknarverkefnis.

Verkefnunum var stjórnað með því að nota hugbúnaðarpakka sem til var í viðskiptum (TEMPO, Reflective Computing, St. Louis, MO, Bandaríkjunum). Sérsmíðað forrit sem notaði forritunarviðmót forrita (OpenGL) var notað til kynningar á sjónrænu áreiti. Sjónræn áreiti fyrir kostnaðinn og umbunartækin voru búin til af höfundunum.

Upptaka og gagnaöflun

Staðsetning substantia nigra var metin með því að nota MR-myndir. Epoxýhúðuð wolfram rafskaut (skaftþvermál, 0.25 mm, 0.5 – 1.5 MΩ mælt við 1000 Hz, FHC) var sett inn í substantia nigra með því að nota míkrómippúlu (MO-972, Narishige, Tókýó, Japan) sem fest var á upptökuhólfið með ryðfríu leiðslurör. Spennumerki voru magnaðir (× 10,000) og síaðir (0.5 – 2 kHz). Aðgerðarmöguleikar frá einni taugafrumu voru einangraðir með sniðmátssamsvarandi reikniriti (OmniPlex, Plexon, Dallas, TX, Bandaríkjunum). Fylgst var með augnhreyfingum með innrauða myndavélakerfi við sýnatökuhraða 500 Hz (iView X Hi-Speed ​​Primate, SMI, Teltow, Þýskalandi). Tímasetning aðgerðarmöguleika og atferlisatburða var skráð með 1 kHz upplausn.

Gagnagreining

Til að greina hegðun öpnanna voru RTs ákvarðaðir sem tímabil milli upphafs örvunar og þess tíma þegar apar ökuðu af sér saccade. Upphaf saccade var ákvarðað með því að reikna út tímasetningu þegar augnaráðsstaðan fór yfir 5 staðalfrávik frá meðaltali augnaráðsstöðu áður en bendingin var kynnt.

Í rannsóknarverkefni HLC var valhegðun öpanna magngreind með því að passa uppsöfnuð veldisvísisaðgerð. Aðgerðin (P) lýsir hlutfalli rétts vals á eftirfarandi hátt:

P=12+(12-12⋅EXP(-a⋅t))⋅b,
(1)

þar sem t þýðir réttarhöld, a og b tilgreina halla og hásléttu ferilsins, hver um sig. Þessi aðgerð passaði óháð gögnum vegna tveggja kostnaðarskilyrða. Leitað var að breytum aðgerðarinnar til að hámarka líkurnar á að fylgjast með gögnunum frá einni lotu og meðaltölunum. Bootstrap-aðferðinni var beitt til að meta öryggisbilin þegar passað var að meðaltali gagna. Staðlað RL líkan var einnig notað til að mæla hegðunargögnin. Hvati gildanna Vj(t) fyrir valið val j (j = 1 fyrir HC ástand; j = 2 fyrir LC ástand) voru uppfærðar sem hér segir:

Vj(t+1)=Vj(t)+αj⋅(R(t)-Vj(t)),
(2)

þar sem αj gefa til kynna námshraða, sem voru bundin við gildi milli 0 og 1. R(t) gefur til kynna umbunarfjárhæðina (1: verðlaunuð, 0: engin umbun) við prufur t.

Líkurnar Pj(t) að velja áreiti j af tveimur áreiti við rannsóknina t er gefið með softmax reglunni

Pj(t)=exp(Vj(t)βj)/∑2i=1exp(Vi(t)βi),
(3)

þar sem βj gefur til kynna umfang rannsóknarinnar.

Við skráðum taugafrumuvirkni meðan á HLC saccade og HLC óvissu verkefni stóð en ekki HLC könnunarverkefni. HLC könnunarverkefnið var hrint í framkvæmd sem eingöngu atferlisrannsókn. Dópamín taugafrumur voru auðkenndar ef þeir sýndu hverja af eftirfarandi eiginleikum: lágt skothríð í tonic (<6 Hz), langan tíma bylgjuformsins (> 300 μs) og stigsvörun við óútreiknanlegu umbuninni (viðbótarmynd 2a). Við greindum tilraunir þar sem öpurnar gátu lokið rannsókninni án nokkurra villna (hemlun, engin saccade eða gervi brotin niður). Meðalhraðastig taugafrumna var reiknað með 1 ms ruslaflekum og sléttað með Gaussian kjarna (σ = 30 ms, breidd = 4σ) til að framleiða þéttleika virka. Svör dópamíns taugafrumna við hverja verkefnatilvik voru reiknuð sem eðlilegur hleðsluhraði miðað við sjálfsprottna virkni (meðalhleypihraði á 500 ms fyrir upphaf bendinga). Hleðsluhlutfallið var reiknað út innan tímaglugga sem voru ákvörðuð fyrir hvert verkefnaviðburði og viðfangsefni. Þessir tímagluggar voru ákvörðuð út frá meðaltali íbúanna. Við skilgreindum upphaf og lok stig tímaglugga sem voru ákvörðuð út frá hækkun og lækkunartíma íbúa að meðaltali viðbragða með því að nota fyrri dópamínrannsóknir á apa sem tilvísanir (viðbótar mynd. 3). Tímaglugginn fyrir upphafsspyrnuna var skilgreindur sem 200 – 400 ms eftir upphaf bendinga fyrir taugafrumur skráðar frá öpum P og S. Tímaglugginn fyrir ástandi bendingin var skilgreindur sem 150 – 300 ms eftir upphaf ástandsbendinga fyrir apa P og 200 – 400 ms fyrir apa S. Tímaglugginn fyrir umbunarkubbinn var skilgreindur sem 140 – 350 ms eftir upphaf verðlauna fyrir apa P og 220 – 420 ms fyrir apa S. Tímaglugginn fyrir umbun afhendingu var skilgreindur sem 225– 475 ms eftir að píp byrjar á api P og 200 – 450 ms fyrir apa S. Tímaglugginn fyrir ófyrirsjáanlegan verðlaunaferð var skilgreindur sem 100 – 300 ms eftir verðlaun afhendingu fyrir apa P og 150 – 300 ms fyrir apa S. tímagluggi fyrir óútreiknanlega loftbóluna var skilgreindur sem 30 – 230 ms eftir afhendingu loftsins fyrir apa P og 50 – 200 ms fyrir apa S.

Við flokkuðum allar skráðar dópamín taugafrumur í tvo aðskilda flokka, hvatagildi og tegundir áberandi. Ef svörun taugafrumu við loftpústörvunum var minni en sjálfsprottin virkni var taugafruman flokkuð sem af hvatagildisgerð (mynd. 3d, e). Aftur á móti, ef svörun taugafrumna við loftbólguörvuninni var stærri en ósjálfráða verkunin, var taugafruman flokkuð sem af gerðinni (mynd. 3g, h).

Til að mæla mismunandi taugafrumuvirkni milli verkefnaaðstæðna var gerð ROC greining. Við reiknuðum út auROC fyrir hverja taugafrumu. AuROC minni eða stærri en 0.5 bendir til minni eða stærri svörunar í HC rannsókninni. Vegna þess að fjöldi taugafrumna í sumum gögnum úr taugafrumum var lítill notuðum við undirritaðan próf Wilcoxon til að draga úr áhrifum útlaganna til að mæla hlutdræga dreifingu auROCs.

Hugbúnaður, sem er fáanlegur í atvinnuskyni, MATLAB (MathWorks, Natick, MA, USA), var notaður til að framkvæma allar gagnagreiningar.

Vefjafræðileg athugun

Eftir upptökutilraunina voru báðir aparnir afnumdir og vefjafræðileg greining gerð til að sannreyna upptökustöðu (viðbótar mynd. 2b). Öpum var aflífað með því að gefa banvænan skammt af pentobarbital natríum (70 mg kg-1) og blandað með 4% formaldehýð í fosfatjafnalausn. Hluta í kransæðum (þykkt, 10 μm) var skorið og ónæmismeðhöndlað með and-týrósín hýdroxýlasa (TH) mótefni (sérhver 25 hluti; and-TH mótefni, 1: 500; Merck, Darmstadt, Þýskaland) eða Nissl litun (sérhver 25 hluti) .

Skýrsla yfirlit

Nánari upplýsingar um rannsóknarhönnun er að finna í Yfirlit yfir skýrslur náttúrulækninga tengd þessari grein.

Gögn framboð

Gögnin sem notuð voru við greiningu á þessari rannsókn eru fáanleg frá samsvarandi höfundi ef þess er óskað. Skýrsluyfirlit yfir þessa grein er fáanlegt sem viðbótarupplýsingaskrá. Upprunagögnin sem liggja að baki myndum. 1, 3-8 og viðbótar myndum. 1, 4-12 eru veittar sem upprunagögn.

Kóði framboð

Matlab-kóðar sem notaðir voru við greiningu á þessari rannsókn eru fáanlegir frá samsvarandi höfundi ef þess er óskað.

Meðmæli

  1. 1.

    Clement, TS, Feltus, JR, Kaiser, DH & Zentall, TR „Vinnubrögð“ í dúfum: verðmætagildi tengist beint þeim áreynslu eða tíma sem þarf til að fá umbunina. Psychon. Naut. Séra 7, 100-106 (2000).

  2. 2.

    Klein, ED, Bhatt, RS & Zentall, TR Andstæða og réttlæting áreynslu. Psychon. Naut. Séra 12, 335-339 (2005).

  3. 3.

    Zentall, TR & Singer, RA Andstæða innan prufu: dúfur kjósa skilyrta styrkingarmenn sem fylgja tiltölulega meira frekar en minna afleitum atburði. J. Exp. Anal. Behav. 88, 131-149 (2007).

  4. 4.

    Aronson, E. & Mills, J. Áhrif alvarleika upphafs á líkingu fyrir hóp. J. Abnorm. Soc. Psychol. 59, 177-181 (1959).

  5. 5.

    Festinger, L. A Theory of Cognitive Dissonance. (Stanford University Press, Kalifornía, 1957).

  6. 6.

    Alessandri, J., Darcheville, JC, Delevoye-Turrell, Y. & Zentall, TR Val um umbun sem fylgir meiri fyrirhöfn og meiri seinkun. Lærðu Behav. 36, 352-358 (2008).

  7. 7.

    Schultz, W., Carelli, RM & Wightman, RM Phasic dópamín merki: frá huglægu verðlaunagildi til formlegrar efnahagslegrar notagildis. Curr. Opin. Verið. Sci. 5, 147-154 (2015).

  8. 8.

    Schultz, W., Dayan, P. & Montague, PR Taugalegt undirlag spá og umbunar. Vísindi 275, 1593-1599 (1997).

  9. 9.

    Bromberg-Martin, ES, Matsumoto, M. & Hikosaka, O. Dópamín í hvetjandi stjórnun: gefandi, fráleit og viðvörun. Taugafruma 68, 815-834 (2010).

  10. 10.

    Bayer, HM & Glimcher, PW taugafrumur í dópamíni í miðheila kóða töluvert villumerki um umbunarspá. Taugafruma 47, 129-141 (2005).

  11. 11.

    Nakahara, H., Itoh, H., Kawagoe, R., Takikawa, Y. & Hikosaka, O. Dopamín taugafrumur geta táknað samhengisháðar spávillur. Taugafruma 41, 269-280 (2004).

  12. 12.

    Tobler, PN, Fiorillo, CD & Schultz, W. Aðlögunarkóðun umbunargildis af dópamín taugafrumum. Vísindi 307, 1642-1645 (2005).

  13. 13.

    Nomoto, K., Schultz, W., Watanabe, T. & Sakagami, M. Tímabundið framlengdi dópamínviðbrögð við skynjunarkröfu umbunarspennandi áreiti. J. Neurosci. 30, 10692-10702 (2010).

  14. 14.

    Watabe-Uchida, M., Zhu, L., Ogawa, SK, Vamanrao, A. & Uchida, N. Kortlagning heilheila á beinum aðföngum í dópamín taugafrumum í miðheila. Taugafruma 74, 858-873 (2012).

  15. 15.

    Tanaka, SC o.fl. Spá um tafarlausa og framtíðar umbun ræður misjafnlega nýjum barkalyfjum. Nat. Neurosci. 7, 887-893 (2004).

  16. 16.

    Haber, SN, Kim, KS, Mailly, P. & Calzavara, R. Verðlaunatengd kortískt inntak skilgreinir stórt stratatilfinningarsvæði í frumstæðum sem tengjast tengdum barkstengingum og veitir hvarfefni fyrir hvatningarmiðað nám. J. Neurosci. 26, 8368-8376 (2006).

  17. 17.

    Doya, K. Aðilum ákvarðanatöku. Nat. Neurosci. 11, 410-416 (2008).

  18. 18.

    Roesch, MR, Calu, DJ & Schoenbaum, G. Dopamine taugafrumur umrita betri kostinn hjá rottum sem ákveða á milli mismunandi seinkaðra eða stórra umbuna. Nat. Neurosci. 10, 1615-1624 (2007).

  19. 19.

    Lak, A., Stauffer, WR & Schultz, W. Dopamín-spávillusvörun samþætta huglægt gildi frá mismunandi umbunarmálum. Proc. Natl Acad. Sci. Bandaríkin 111, 2343-2348 (2014).

  20. 20.

    Stauffer, WR, Lak, A. & Schultz, W. Dópamín umbunarspá villa um viðbrögð endurspegla jaðargagnsemi. Curr. Biol. 24, 2491-2500 (2014).

  21. 21.

    Noritake, A., Ninomiya, T. & Isoda, M. Félagsleg umbun eftirlits og verðmat í makakheila. Nat. Neurosci. 21, 1452-1462 (2018).

  22. 22.

    Pasquereau, B. & Turner, RS Takmörkuð kóðun á áreynslu dópamín taugafrumna í kostnaðar-ábataskiptaverkefni. J. Neurosci. 33, 8288-8300 (2013).

  23. 23.

    Varazzani, C., San-Galli, A., Gilardeau, S. & Bouret, S. Noradrenalín og dópamín taugafrumur í umbun / áreynsluviðskiptum: beinn rafgreiningar samanburður hjá hegðandi öpum. J. Neurosci. 20, 7866-7877 (2015).

  24. 24.

    Watanabe, N., Sakagami, M. & Haruno, M. Skilaboð um umbunarspár aukið með víxlverkun striatum-amygdala útskýrir hröðun líkindanáms um umbun með tilfinningum. J. Neurosci. 33, 4487-4493 (2013).

  25. 25.

    Di Ciano, P., Cardinal, RN, Cowell, RA, Little, SJ & Everitt, B. Mismunandi þátttaka NMDA, AMPA / kainate og dópamín viðtaka í kjarna accumbens kjarna við öflun og frammistöðu hegðunar Pavlovian nálgun. J. Neurosci. 21, 9471-9477 (2001).

  26. 26.

    Flagel, SB o.fl. Sértækt hlutverk fyrir dópamín í áreiti-umbunanámi. Nature 469, 53-57 (2011).

  27. 27.

    Blough, DS Áhrif grunnunar, mismununar og styrking á viðbragðstíma í sjónrænni dúfu. J. Exp. Psychol. Hreyfimynd. Verið. Ferli. 26, 50-63 (2000).

  28. 28.

    Matsumoto, M. & Hikosaka, O. Tvær tegundir af dópamín taugafrumum flytja greinilega jákvæð og neikvæð hvatamerki. Nature 459, 837-841 (2009).

  29. 29.

    Matsumoto, M. & Takada, M. Greinileg framsetning vitrænna og hvatningarmerkja í dópamín taugafrumum í miðheila. Taugafruma 79, 1011-1024 (2013).

  30. 30.

    Watanabe, M. o.fl. Hegðunarviðbrögð sem endurspegla mismunandi væntingar umbunar hjá öpum. Exp. Brain Res. 140, 511-518 (2001).

  31. 31.

    Takikawa, Y., Kawagoe, R. & Hikosaka, O. Mögulegt hlutverk dópamín taugafrumna í miðheilanum við aðlögun skamms og skamms tíma að kortlagningu stöðu-verðlauna. J. Neurophysiol. 92, 2520-2529 (2004).

  32. 32.

    Kobayashi, S. & Schultz, W. Áhrif á seinkun umbunar á viðbrögð dópamín taugafrumna. J. Neurosci. 28, 7837-7846 (2008).

  33. 33.

    Enomoto, K. o.fl. Dópamín taugafrumur læra að umrita langtíma gildi margra framtíðar umbuna. Proc. Natl Acad. Sci. Bandaríkin 108, 15462-15467 (2011).

  34. 34.

    Lak, A., Nomoto, K., Keramati, M., Sakagami, M. & Kepecs, A. Midbrain Dopamine taugafrumum gefa til kynna trú á valnákvæmni meðan á skynjun stendur. Curr. Biol. 27, 821-832 (2017).

  35. 35.

    Williams, BA & McDevitt, MA Hömlun og ofurskilyrðing. Psychol. Sci. 13, 454-459 (2002).

  36. 36.

    Behrens, TE, Woolrich, MW, Walton, ME & Rushworth, MF Að læra gildi upplýsinga í óvissum heimi. Nat. Neurosci. 10, 1214-1221 (2007).

  37. 37.

    Seymour, B. o.fl. Andstæðingar matarlystandi-tálmandi taugaferli liggja að baki forspárnámi um verkjameðferð. Nat. Neurosci. 8, 1234-1240 (2005).

  38. 38.

    Kim, H., Shimojo, S. & O'Doherty, JP Er forðast aversive niðurstaða gefandi? Taug hvarfefni til að forðast nám í heila mannsins. PLoS Biol. 4, e233 (2006).

  39. 39.

    Syed, EC o.fl. Aðgerð að hefja mótar dólamín dópamín umritun framtíðar umbun. Nat. Neurosci. 19, 34-36 (2016).

Sækja tilvísanir

Þakkir

Þessi vinna var studd af MEXT / JSPS Grants-in-Aid for Scientific Research (Kakenhi) Styrk númer JP16H06571 og JP18H03662 til MS Þessi rannsókn var að hluta studd af Strategic Research Programme for Brain Sciences stutt af Japönsku stofnuninni fyrir læknarannsóknir og þróun (AMED) ) og samvinnuáætlun Japans og Bandaríkjanna um heilarannsóknir. Þessar rannsóknir voru studdar af National Bio-Resource Project hjá National Institute of Physiology Science (NBRP at NIPS) frá Japans stofnun fyrir læknarannsóknir og þróun, AMED. Við þökkum Bernard W. Balleine og Andrew R. Delamater fyrir hjálpina við ritun blaðsins.

Höfundar upplýsingar

Samstarfsaðilar

  1. Brain Science Institute, Tamagawa University, 6-1-1 Tamagawagakuen, Machida, Tokyo, 194-8610, Japan

    • Shingo Tanaka
    •  & Masamichi Sakagami

  2. Deild hug- og félagsvísinda, tækniháskólinn í Kaliforníu, 1200 E California Blvd, Pasadena, CA, 91125, Bandaríkjunum

    • John P. O'Doherty

  3. Computation and Neural Systems, California Institute of Technology, 1200 E California Blvd, Pasadena, CA, 91125, USA

    • John P. O'Doherty

Framlög

ST, JPO og MS hannuðu tilraunirnar. ST framkvæmdi tilraunirnar og greindi gögnin. JPO og MS betrumbættu tilraunirnar og gagnagreiningarnar. ST, JPO og MS skrifuðu handritið.

Samsvarandi höfundur

Samsvar við Masamichi Sakagami.