Gharama ya kupata tuzo huongeza ishara ya kosa la utabiri wa malipo ya neuroni ya dopamine (2019)

Neurbol dopamine neurons hujulikana kwa kusanifisha makosa ya utabiri wa malipo (RPE) yanayotumiwa kusasisha utabiri wa thamani. Hapa, tunachunguza ikiwa ishara za RPE zilizowekwa na neuroni za dbamine za kati zinarekebishwa na gharama iliyolipwa ili kupata thawabu, kwa kurekodi kutoka kwa neuropu za dopamine katika tabia ya kuamsha nyani wakati wa kufanya kazi ya bidii ya saccade. Majibu ya neuron ya dopamine kwa tabia ya utabiri ujira na utoaji wa tuzo iliongezeka baada ya utendaji wa hatua ya gharama kubwa ukilinganisha na hatua isiyo na gharama, na kupendekeza kuwa RPE zinaimarishwa kufuatia utendaji wa hatua ya gharama kubwa. Katika kiwango cha tabia, vyama vyenye ujira wa kichocheo hujifunza haraka baada ya kufanya kitendo cha gharama kubwa ukilinganisha na hatua isiyo na gharama. Kwa hivyo, habari juu ya gharama ya hatua inasindika katika mfumo wa malipo ya dopamine kwa njia ambayo huongeza ishara ya ROP ya dopamine, ambayo kwa upande inakuza kujifunza haraka chini ya hali ya gharama kubwa.

Wanadamu na wanyama wanapendelea tuzo inayopokelewa baada ya kujitahidi sana kuipata ikilinganishwa na thawabu moja baada ya juhudi ndogo^1,2,3. Maelezo kadhaa yametajwa kwa athari hii kama haki ya juhudi^4,5 na athari ya kutofautisha⁶, ambayo thamani kubwa huhesabiwa kwa matokeo yaliyopatikana baada ya juhudi za kulipwa. Walakini, bado haijulikani wazi ikiwa na jinsi ya usindikaji wa habari ya thawabu katika ubongo inabadilishwa na bidii inayotolewa kupata thawabu.

Tulilenga haswa kwenye mfumo wa dopamine wa tumbo, kwa kupewa jukumu la mfumo huu katika kukuza tabia ya kukabiliana na thawabu^7,8,9. Dopamine neurons zinajulikana kuwakilisha ishara za utabiri wa malipo (RPE) ambayo inaweza kuwezesha kujifunza kwa utabiri wa tuzo na gangal baslia^{10,11,12,13,14,15,16,17}. Nguvu ya RPE inategemea wingi, ubora, na dhamana ya matumizi au matumizi ya thawabu^{7,18,19,20,21}. Kwa kuongezea, shughuli ya dopaminergic imebadilishwa na gharama na / au juhudi^22,23. Kwa msingi huu, tuliandika kwamba ishara ya dopaminergic RPE ingerekebishwa moja kwa moja na gharama iliyolipwa ili kupata thawabu. Kwa kuongezea, kwa sababu ishara ya RPE inahusika sana katika upatanishi wa ujifunzaji wa vyama vya malipo ya msukumo^24,25,26, tulidokeza kwamba gharama iliyolipwa kupata thawabu ingeongeza kasi ya kujifunza kasi ya vyama vya malipo ya msukumo.

Ili kujaribu nadharia zetu, tulipima tabia na shughuli za dopaminergic katika nyani wawili wa Kijapani wakati walifanya kazi ya juhudi ya msingi wa saccade. Nyani huathiri haraka kwa ujumbe wa utabiri wa malipo ambayo huwasilishwa baada ya hatua ya gharama kubwa (HC) ikilinganishwa na ile baada ya hatua ya bei ya chini (LC). Shughuli ya dopaminergic neurons kwa njia ya utabiri wa thawabu inaongezeka kwa gharama ya kulipwa. Kwa kuongezea, kasi ya kujifunza kwa chama cha thawabu ya kichocheo pia huimarishwa na gharama iliyolipwa. Kwa hivyo, tunapendekeza kwamba gharama inayolipwa kupata thawabu inaongeza ishara ya RPE katika dopamine neurons na kwa hivyo huongeza vyama vya malipo ya msukumo.

Kazi ya kiwango cha juu-chini (HLC)

Kuchunguza athari za gharama ya kulipwa kwa tabia na shughuli ya dopamine ya neuron, nyani huyo alifanya kazi ya saccade na hali mbili za gharama (Mtini. 1a, angalia Mbinu). Katika majaribio ya HC, nyani haraka haraka alijitolea kwa shabaha na kushika macho yake juu yake bila blink kwa muda mrefu (Mtini. 1b; mistari ya kijani). Kinyume chake, kwenye majaribio ya LC nyani alizunguka kila mahali kwa uhuru mwanzoni kabla ya kutayarisha kwa kipindi kifupi (Mtini. 1b, mistari ya zambarau). Kwa sababu kudumisha upangaji mrefu ni ngumu kwa nyani, walifanya makosa zaidi wakati wa kuchelewesha kwa majaribio ya HC (Mtini. 1c). Ili kudhibiti tofauti inayofuata ya uwezekano wa malipo kati ya majaribio ya HC na majaribio ya LC, tuliingiza uhamishaji uliolazimishwa katika sehemu ya majaribio ya LC kusawazisha viwango vya mafanikio na malipo ya uwezekano kati ya aina ya jaribio (Mtini. 1d).

Kazi ya sacLC ya HLC. a Kazi ya utunzaji wa HLC. Njia za gharama (C cue) ilionyesha kiwango cha juhudi ambazo zinahitajika kufikia tuzo inayowezekana. Kurekebisha kwa muda mrefu kulihitajika wakati wa kucheleweshwa kwa majaribio ya gharama kubwa. Njia ya malipo (R cue) inaonyesha ikiwa nyani anaweza kupata tuzo au la. b Kozi ya wakati wa pembe ya kutazama wakati wa kuchelewa. Paneli za juu na chini zinaonyesha pembe za macho na wima za kutazama, mtawaliwa. Mistari ya kijani na ya zambarau inaonyesha pembe ya kutazama katika majaribio ya gharama kubwa (majaribio ya 50 katika kila paneli) na katika majaribio ya gharama ya chini (majaribio ya 50 katika kila jopo), mtawaliwa. c Idadi ya makosa wakati wa kuchelewesha katika majaribio ya gharama kubwa na ya chini (**P < 0.01; jozi mbili t mtihani; t₆₇ = 8.8, P = 4.8 × 10^-15, n = 68 kwa Monkey P; t₈₃ = 26.6, P , 0, n = 84 kwa Monkey S). Duru nyeusi na baa za makosa zinaonyesha maana na SEM. d Viwango vya mafanikio katika majaribio ya bei ya juu na ya bei ya chini (jozi mbili-tailed t mtihani; t₆₇ = 0.51, P = 0.61, n = 68 kwa Monkey P; t₈₃ = 0.79, P = 0.43, n = 84 kwa Monkey S). e RTs kwa kumbukumbu za gharama (**P <0.01; jozi mbili t mtihani; t₆₇ = 20.4, P , 0, n = 68 kwa Monkey P; t₆₉ = 2.0, P = 1.2 × 10^-3, n = 70 kwa Monkey S). f RTs kwa zawadi za malipo (**P <0.01; jozi mbili t mtihani; Tumbili P (n = 68): HC + dhidi ya LC +, t₆₇ = 3.5, P = 9.2 × 10^-4; HC− dhidi ya LC−, t₆₇ = 24.5, P ≈ 0; HC + dhidi ya HC−, t₆₇ = 21.6, P ≈ 0; LC + dhidi ya LC−, t₆₇ = 28.5, P ≈ 0; Tumbili S (n = 70): HC + dhidi ya LC +, t₆₉ = 5.6, P = 4.4 × 10^-7; HC− dhidi ya LC−, t₆₉ = 4.8, P = 8.4 × 10^-5; HC + dhidi ya HC−, t₆₉ = 18.0, P ≈ 0; LC + dhidi ya LC−, t₆₉ = 5.9, P = 1.1 × 10^-7)

Picha kamili ya ukubwa

Gharama ya kulipwa huongeza thamani ya utabiri wa malipo

Ili kupata uthibitisho kamili wa tofauti katika hesabu ndogo za tumbili, tulipima nyakati za athari za nyani (RTs). Hasa, tulitarajia kwamba ikiwa nyani wanapeana dhamana ya juu zaidi kwa chaguo moja kuliko lingine, wanapaswa kuonyesha kasi ya RTs kwa chaguo lililothaminiwa zaidi²⁷. Wakati RTs zililinganishwa kati ya gharama za gharama, nyani wote wawili walionyesha RTs haraka kwa LC ikilinganishwa na cC ya HC (Mtini. 1e), kuonyesha upendeleo kamili kwa hali ya LC. Wakati RTs zililinganishwa kati ya njia za ujira, nyani wote wawili walionyesha RTs za haraka kurudisha (R +) nyaya kuliko malipo yoyote (R−) capi (Mtini. 1f), ikionyesha kuwa walipendelea hadithi za R + kwa uchunguzi wa R−. Kwa kuongezea, nyani wote wawili walionyesha kasi ya RTs kwa R_HC+ cue ikilinganishwa na R_LC+ cue na kwa R_HC- Cue ikilinganishwa na R_LC- cue (Mtini. 1f), ikionyesha kuwa walithamini zaidi malipo ya utabiri wa malipo katika HC ikilinganishwa na hali ya LC.

Kwa kuongezea, tulijumuisha majaribio ya uchaguzi katika kazi ya HLC ya sanamu ya kujaribu upendeleo zaidi wa nyani kati ya tabia (Kielelezo cha Mtini. 1a). Nyani walichagua kwa hiari cC ya LC wakati wa kuchagua kati ya gharama za gharama (Kielelezo cha Mtini. 1b). Monkey S alichagua kwanza R_HC+ cue wakati wa kufanya kazi ya uchaguzi kati ya R_HC+ na R_LC+ cue, lakini hakuna upendeleo kati ya R_HC- na R_LC- cues (Kielelezo cha ziada. 1c, d). Kwa kulinganisha, tumbili P hakuonyesha upendeleo uliokithiri kati ya R_HC+ na R_LC+ cues, lakini bado walipendelea R_HC- Cue wakati wa kuchagua kati ya R_HC- na R_LC- cues (Kielelezo cha ziada. 1c, d).

Matokeo ya umeme katika kazi ya HLC ya SLC

Tulirekodi shughuli za sehemu moja kutoka kwa neurons iliyoko ndani ya compantia kubwa ya nigra (SNc) na eneo la sehemu ndogo (VTA) wakati wa kazi ya HLC ya sindano. Tulibaini 70 dopamine neurons kwenye nyani wote wawili (Mtini wa nyongeza. 2a; 18 na 52 neurons kutoka Monkey P na S, mtawaliwa). Uchunguzi wa kihistoria ulithibitisha neurons walikuwa ndani au karibu na SNc / VTA (Kielelezo cha Kielelezo. 2b).

Katika Mtini. 2, tunaonyesha shughuli ya neurop ya dopamine ya mwakilishi. Neuron hii ilionyesha uanzishaji wa kawaida kwa cC Lue, na uanzishaji wa phasic au kukandamiza kwa tuzo (R_HC+ na R_LC+) au hakuna malipo ya malipo (R_HC- na R_LC-), mtawaliwa (Mtini. 2, Kielelezo cha ziada. 3). Neuron pia ilionyesha uanzishaji wa phasic kwa thawabu isiyotabirika na ukandamizaji wa phasic kwa kujibu kichocheo kisichotarajiwa, puff ya hewa isiyotabirika (Mtini. 2, jopo la kulia). Kwa kuongezea, neuron ilionyesha dharau ya unyenyekevu kwa cue ya kuanza lakini hakujibu kwa utoaji wa tuzo. Idadi nzima ya neuropu za dopamine tulirekodi zote zilionyesha majibu sawa na kuanza kwa cue na utoaji wa malipo (Kielelezo cha Mtini. 4a, b). Katika kazi ya sacLC ya HLC, gharama ya juhudi ililipwa kabla ya kupata thawabu. Kwa sababu gharama iliyotabiriwa ilipunguza shughuli za dopamine ya neuron^22,23, majibu ya dopamine ya neuron yatasisitizwa wakati wa uwasilishaji wa cue¹⁶.

Shughuli ya neurop ya mwakilishi ya dopamine katika kazi ya sacLC ya HLC. Kazi za wiani wa spike (kufungwa na kazi ya Gaussian) na viwanja vya raster vinaunganishwa na mpangilio wa mwanzo wa cue kuanza, cue gharama (C cue), lengo la fixation, cue malipo (R cue), na beep. Kila rangi inawakilisha hali (njano: HC +, kijani: HC−, pink: LC +, cyan: LC−), mtawaliwa. Nyakati za mwanzo wa saccade zinaonyeshwa na misalaba ya kijivu. Majibu ya neuropu ya dopamine kwa thawabu isiyotabirika au hewa-puff pia inawakilishwa kwenye jopo la kulia (nyekundu: thawabu isiyotabirika, bluu: puff haitabiriki hewa)

Picha kamili ya ukubwa

Dopamine neurons habari juu ya malipo na gharama

Neuroni zilijibu kwa fadhili kwa cC ya LC, lakini chini ya nguvu kwa cue ya HC (Mtini. 3a, b). Majibu ya uchungu kwa hali ya gharama yalionyesha jibu ndogo kwa sanamu ya HC kuliko mfano wa LC (jaribio la saini ya tovuti mbili ya Wilcoxon, P <3.2 × 10^-4, n = 70). Tuligundua athari ya gharama iliyotabiriwa kwenye majibu ya neuroni kwa kutumia uchambuzi wa tabia ya mpokeaji (ROC). Usambazaji wa eneo chini ya curve ya ROC (auROC) ilikuwa kwa kiasi kikubwa <0.5 (Mtini. 3c; jaribio la kiwango cha saini cha Wilcoxon-tailed P = 5.4 × 10^-4, n = 70), ikionyesha kuwa majibu ya uchunguzi wa HC yalikuwa madogo kuliko ile ya LC. Gharama iliyotabiriwa hapo awali imepatikana kupunguza shughuli za neuron ya dopamine, sawa na matokeo yetu^22,23. Kwa kuongezea, idadi ya neuropu ya dopamine ilionyesha uanzishaji muhimu kwa cC huku ikionyesha hakuna kukandamiza kwa huduma za HC (Kielelezo cha Kielelezo. 4c, d). Matokeo haya yanaonyesha kwamba kanuni ya dopamine ya neurons na inajumuisha habari juu ya malipo na gharama wakati wa uwasilishaji wa dalili.

Dopamine majibu ya neuroni kwa gharama za gharama. a Mwakilishi wa dopamine majibu ya neuron kwa njia za gharama. Kazi za wiani wa miiba zilihesabiwa kutoka kwa shughuli iliyosaidiwa ya neuron ya dopamine iliyorekodiwa kutoka kwa nyani P. Mistari yenye rangi huonyesha kazi za wiani wa spike na dots zenye rangi zinaonyesha wakati wa spike. Rangi ya kijani na zambarau zinaonyesha shughuli katika majaribio ya gharama kubwa na ya bei ya chini, mtawaliwa. Mstari wa wima unaonyesha wakati wa uwasilishaji wa muhtasari wa gharama. Eneo lenye rangi ya kijivu linaonyesha kipindi cha kuhesabu kiwango cha kurusha kama jibu la hali hiyo. b Idadi ya idadi ya watu iliyoathiriwa na idadi ya dopamine iliyorekodiwa kutoka kwa tumbili P kwa hali ya athari. Mistari thabiti mistari iliyokatishwa inawakilisha inamaanisha na SEM, mtawaliwa. c Usambazaji wa maeneo yaliyo chini ya ROC ili kumaliza athari ya gharama iliyotabiriwa kwenye mwitikio wa neuronal kwa cue ya gharama. Viwanja vilivyojazwa na duru wazi zinaonyesha data kutoka kwa tumbili P na S, mtawaliwa. Kichwa cha mshale kinaonyesha mpatanishi wa auROC (0.47). d, g Majibu ya mwakilishi wa aina ya uhamasishaji wa dopamine neuron (d) au mshono aina dopamine neuron (g) kwa ujira usiotabirika au puff hewa. Curves nyekundu na bluu zinaonyesha majibu ya thawabu isiyotabirika na puff haitabiriki ya hewa, mtawaliwa. Mstari wa wima unaonyesha muda wa thawabu isiyotabirika au uwasilishaji wa hewa-puff. Viwanja vya nyekundu na bluu vinaonyesha kipindi cha kuhesabu kiwango cha kurusha kama majibu ya thawabu isiyotabirika au puff hewa. e, h Swala-ya wastani ya idadi ya watu ya aina ya uhamasishaji wa dopamine neurons (e) au saisi aina dopamine neurons (h) kwa ujira usiotabirika au puff hewa. f, i Usambazaji wa auROC umehesabiwa kutoka kwa nambari ya thamani ya dopamine neurons (f) au saisi aina dopamine neurons (i). Vichwa vya mshale vinaonyesha wapatanishi wa auROCs (f 0.48; i 0.46)

Picha kamili ya ukubwa

Subtypes mbili tofauti za neuropu ya dopamine zimeelezewa hapo awali: Thamani ya motisha na neva za mshono^28,29. Tulipata ushahidi katika idadi yetu ya dopamine ya neuroni ya mifumo ya majibu thabiti na subtypes zote. Thamani ya aina ya neurons ilionyesha kukandamiza phasic kwa athari ya uchukuzi wa hewa-puff (Mtini. 3d, e). Kinyume chake, neurons za usoni zilionyesha uanzishaji wa phasic kwa msukumo wa wasikilizaji (Mtini. 3g, h). Marekebisho marefu katika jaribio la HC pia sio ya kupendeza na ya kukandamiza; Kwa hivyo, inawezekana kwamba subtypes mbili za dopamine zinaweza kuonyesha mitindo tofauti ya majibu kwa dalili za hali ya gharama. Ikiwa dopamine neurons inawakilisha uchochezi wa wastani na gharama kwa njia ile ile, basi neurons za thamani zinafaa kuonyesha shughuli iliyopungua kwa dharura ya HC kwa sababu ya kupindukia kwake. Kwa upande mwingine, neurons za usoni zinapaswa kuongezeka kwa shughuli kwa cue ya HC kwa sababu pia huongezeka kwa kuchochea isiyofaa. Walakini, majibu yaliyosababishwa ya aina zote mbili za neurons yalikuwa madogo kwa cc ya HC ikilinganishwa na jaribio la LC (mtihani wa saini-mbili wa saini ya Wilcoxon; P = 0.021, n = 41 na P = 0.0044, n = 29 kwa thamani na aina za ujasiri, mtawaliwa), na uchambuzi wa ROC ulionyesha majibu madogo kwa HC ikilinganishwa na alama ya LC katika sehemu zote ndogo (Mtini. 3f, mimi; jaribio la kiwango cha saini cha Wilcoxon-tailed P = 0.030, n = 41 na P = 0.0058, n = 29 kwa thamani na aina za ujasiri, mtawaliwa). Kwa hivyo, shughuli zilizotabiriwa kupunguza shughuli katika sehemu zote mbili za dopamine neurons. Matokeo haya yanaonyesha kuwa habari ya gharama inasindika na neurons za dopamini kwa njia tofauti ya kichocheo cha uchochezi.

Katika kazi ya sakata la HLC, tuliingiza mimba ya kulazimishwa katika sehemu ya majaribio ya LC ili kusawazisha viwango vya mafanikio na uwezekano wa malipo kati ya aina za majaribio. Udanganyifu huu uliongeza kutokuwa na uhakika wa kupata thawabu au hatari ya kutolipwa malipo katika hali ya LC. Kwa hivyo, shughuli za juu za dopamine neurons na hesabu ya nyani kuongezeka kwa LC juu ya muhtasari wa HC inaweza kuwa ni kwa sababu ya tofauti katika hatari au kutokuwa na uhakika kati ya hali ya gharama. Walakini, hatukupata uhusiano wowote kati ya idadi ya utoaji mimba wa kulazimishwa na tofauti katika RTs (Kielelezo cha ziada. 5a, b), na tulipata uhusiano mzuri kati ya idadi ya makao ya kulazimishwa na auroC (Kielelezo cha Kuongeza. 5c). Sisi pia tulilinganisha majibu ya dopamine kwa bei ya gharama baada ya kuhama dhidi ya jaribio sahihi, lakini hatukupata tofauti katika hali zote mbili za gharama (Nyongeza ya Mtini. 5d). Matokeo haya yanaonyesha kuwa idadi ya wahamiaji waliolazimishwa katika hali ya LC haelezei ongezeko la hesabu au uanzishaji wa dopaminergic ulioboreshwa kwa cC Lue.

Kuongeza majibu ya dopamine kwa malipo ya cue na gharama ya kulipwa

Neuropu za dopamine zilizopatikana zilipatikana kuonyesha uanzishaji wa phasic na kukandamiza kulipwa na hakuna aina ya utabiri wa tuzo, mtawaliwa (Mtini. 2). Ifuatayo, tukagundua ikiwa majibu haya yalibadilishwa na gharama iliyowekwa hapo awali. Mfano wa neuron ya mwakilishi na neurons zinazoenezwa kwa idadi ya watu zinazoonyesha uanzishaji mkubwa kwa R_HC+ cue kuliko R_LC+ dalili zinaonyeshwa kwenye Kielelezo 4a na b, mtawaliwa. (mtihani wa kiwango cha saini mbili cha Wilcoxon; P = 7.4 × 10^-5, n = 70). Usambazaji wa auROCs ulikuwa> 0.5, ikionyesha kuwa jibu kwa R_HC+ cue ilikuwa kubwa kuliko R_LC+ cue (Mtini. 4c; jaribio la kiwango cha saini cha Wilcoxon-tailed P = 1.4 × 10^-4, n = 70). Matokeo haya yanaonyesha kuwa jibu kwa ishara ya kutabiri thawabu katika hali ya HC ni kubwa zaidi kuliko hali ya LC. Kwa hivyo, matokeo yetu yanaonyesha kuwa ishara chanya-RPE inayowakilishwa na neurons ya dopamine imeongezwa na gharama iliyopatikana hapo awali.

Majibu ya neuroni ya dopamine ili malipo ya fadhila. a Jibu la neuron kwa mfano wa R +. Kazi za wiani wa spike zilihesabiwa kutoka kwa shughuli ya dopamine neuron iliyorekodiwa kutoka kwa tumbili P. Mistari ya rangi na dots zinaonyesha wiani wa spike na wakati wa spike, mtawaliwa. Rangi ya njano na nyekundu zinaonyesha shughuli katika majaribio ya bei ya juu na ya bei ya chini, mtawaliwa. Mstari wa wima unaonyesha muda wa uwasilishaji wa R +. Eneo lenye rangi ya kijivu linaonyesha kipindi cha kuhesabu kiwango cha kurusha kama majibu ya kumbukumbu za malipo. b Shughuli ya wastani ya idadi ya watu ya neurons za dopamine zilizorekodiwa kutoka kwa nyani P hadi alama za R +. Mistari imara na mistari iliyopigwa inawakilisha maana na SEM, mtawaliwa. c Usambazaji wa auROCs ili kukamilisha athari ya gharama iliyolipwa kwenye mwitikio wa neuronal kwa dalili za R +. Viwanja vilivyojazwa na duru wazi zinaonyesha data kutoka kwa tumbili P na S, mtawaliwa. Kichwa cha mshale kinaonyesha wastani wa auROCs (0.53). d Mwitikio wa mwakilishi kwa hoja za R−. Rangi ya kijani na ya cyan inaonyesha majaribio ya bei ya juu na ya bei ya chini, mtawaliwa. Mstari wa wima unaonyesha muda wa uwasilishaji wa R−. e Idadi ya idadi ya watu iliyoathiriwa na idadi ya dopamine iliyorekodiwa kutoka kwa tumbili P hadi kwa habari za R−. f Usambazaji wa auROCs ili kukamilisha athari ya gharama iliyolipwa kwenye majibu ya neuronal kwa habari za R−. Kichwa cha mshale kinaonyesha mpatanishi wa auROC (0.50)

Picha kamili ya ukubwa

Neuropu za dopamine pia zilionyesha kukandamiza phasic kwa habari za R− (Mtini. 4d, e). Walakini, majibu ya neuropu ya dopamine kwa maadili ya R− hayakuonyesha tofauti kubwa kama kazi ya gharama iliyoingizwa (mtihani wa saini ya mkao wa mara mbili wa Wilcoxon; P = 0.25, n = 70), na uchambuzi wa ROC haukufunua ushahidi wowote wa upendeleo katika usambazaji wa majibu (Mtini. 4f; Mtihani wa kiwango cha saini wa Wilcoxon, P = 0.35; n = 70). Kwa hivyo, gharama iliyolipwa haikuonyeshwa kwenye ishara hasi-RPE iliyosababishwa na dalili zisizo za malipo. Hii inaweza kusababishwa na athari ya sakafu: shughuli ya hiari ya neuron ya dopamine iko chini (karibu 5 Hz); na kwa sababu hiyo kunaweza kuwa hakuna anuwai ya kutosha ya nguvu kusimba kwa usawa tofauti yoyote kama hiyo kwa gharama iliyotumiwa kwa jibu hasi la RPE (Mtini. 4d, e).

Tulichunguza pia athari ya gharama ya kulipwa kwenye kadi za malipo kwa thamani na aina ya mshono dopamine neurons kando, lakini aina zote mbili za dopamine neurons zilionyesha mfano sawa wa majibu (Kielelezo cha ziada. 6a-h). Kwa hivyo, gharama iliyolipwa inaonyesha athari sawa juu ya jibu la malipo ya malipo kwa thamani na mfumo wa ujuaji wa dopamine.

Daliti za nyani za kueneza nyani hazikuwa za kila mara lakini zilitofautiana kwa msingi wa jaribio la jaribio (Mtini. 1b). Kwa hivyo, iliwezekana kwamba majibu ya dopamine kwa dhamana ya malipo yanabadilishwa na dalations halisi za usanidi kwa msingi wa jaribio na jaribio. Walakini, hatukuweza kupata uhusiano wowote muhimu kati yao kwa kila gharama na hali ya malipo (Kielelezo cha Kielelezo. 7a-d). Kwa kuongezea, RTs kwa cue ya malipo pia ilibadilishwa na hali ya gharama na malipo (Mtini. 1f). Uwezo mmoja ni kwamba majibu ya neuropu ya dopamine yanaweza kuelezewa na RTs kwa zawadi za malipo kwa msingi wa jaribio na jaribio. Walakini, hatukuweza kupata uhusiano wowote muhimu kati ya RTs na majibu ya dopamine ya kawaida kwa majibu ya malipo (Kielelezo cha ziada. 7e-h). Matokeo haya yanaonyesha kuwa majibu ya dopamine hayana haki kwa RT zote mbili na marekebisho ya kila jaribio, bado imebadilishwa na kiasi cha gharama inayohitajika na thawabu inayotarajiwa ambayo husimamiwa kwa kila aina ya majaribio.

Kwa kuongezea, inawezekana pia kuwa makaazi ya kulazimishwa katika hali ya LC yalizalisha matakwa ya nyani na uanzishaji ulioimarishwa wa neuropu ya dopamine hadi kwenye ujazo wa hali ya HC. Ikiwa ni hivyo, idadi ya makao ya kulazimishwa inapaswa kuhusiana na upendeleo wote na kiwango cha uanzishaji ulioimarishwa. Walakini, idadi ya wahamiaji waliolazimishwa haikuwa na athari kwa upendeleo wa nyani au uanzishaji wa neuropu ya dopamine kwa kisa cha malipo (Kielelezo cha Mtini. 8). Kwa hivyo, kasi ya RTs na majibu ya juu ya DA kwa R_HC+ cue kuliko R_LC+ cue sio kwa sababu ya kuingizwa kwa nyumba ya kulazimishwa kwa hali ya LC.

Gharama iliyoingizwa huongeza majibu ya dopamine kwa utoaji wa tuzo

Kujibu kwa neuropu ya dopamine kwa dalili za R + kunapaswa kutoka kwa majibu ya ujira yenyewe, kwa sababu dopamine neurons hubadilisha majibu yao kwa tahadhari za utabiri wa ujira zinazohusiana na chama cha uhamasishaji-malipo^8,30. Kwa hivyo, tulitarajia kwamba dopamine neurons itaonyesha kiboreshaji cha majibu ya tegemezi ya malipo ili kuleta utoaji. Kupima shughuli za dopamine ya neuron kwa uwasilishaji wa malipo, nyani alifanya kazi ya uhakika ya HLC na visa mbili vya ujira (Mtini. 5a). Kwa sababu tuzo zilifikishwa katika nusu tu ya uwasilishaji wa zawadi, zawadi za malipo hazikutabiri kwa hakika wala kutabiri tofauti za utoaji wa tuzo. Hii ilifanywa ili kuongeza mwitikio wa neuropu ya dopamine kwa kupokea malipo (isiyotabiriwa), ili kuongeza usikivu wetu wa kugundua moduli katika mwitikio wa neurons kama kazi ya gharama iliyolipiwa.

Kazi isiyo na shaka ya HLC. a Kazi isiyo na shaka ya HLC. Katika kazi hii, kumbukumbu za ujira zisizo na shaka, ambazo thawabu zilitolewa 50% ya wakati bila kujali ni somo gani lililowasilishwa, lilitumiwa. b RTs kwa cues gharama katika majaribio ya gharama kubwa na ya chini. Tumbili P tu ndiye aliyeonyesha RT haraka kwa cC ya LC kuliko cB ya HC (**P <0.01; jozi mbili t mtihani; t₄ = 9.0, P = 8.5 × 10^-4, n = 5 kwa nyani P; t₁₈ = 1.4, P = 0.19, n = 19 kwa nyani S). Duru nyeusi na baa za makosa zinaonyesha maana na SEM. c RTs kwa zawadi za malipo katika majaribio ya gharama kubwa na ya chini. Hakukuwa na tofauti yoyote katika RTs kwa funguo za malipo kati ya hali ya bei ya juu na ya bei ya chini (tai mbili-taired t mtihani; t₄ = 0.97, P = 0.39, n = 5 kwa nyani P; t₁₈ = 0.99, P = 0.39, n = 19 kwa nyani S)

Picha kamili ya ukubwa

Wakati RTs zililinganishwa kati ya gharama za gharama, tumbili P alionyesha RT haraka kwa CC Lue kuliko hC cue (Mtini. 5b). Hakukuwa na tofauti yoyote katika RTs kwa kumbukumbu za malipo kati ya hali ya HC na LC katika tumbili yoyote (Mtini. 5c).

Katika kazi isiyo na shaka ya HLC, neuropu ya dopamine ilionyesha uanzishaji wa kawaida kwa LC cue lakini hakujibu majibu ya zawadi kwa sababu hawakuwa thawabu ya utabiri (Mtini. 6a). Karibu na idadi ya watu, majibu yaliyotolewa yalikuwa madogo kwa HC kuliko cC Lue (tini. 6b; jaribio la kiwango cha saini cha Wilcoxon-tailed P = 2.7 × 10^-3, n = 19), na uchambuzi wa ROC ulionyesha majibu madogo kwa muhtasari wa HC (Mtini. 6c; jaribio la kiwango cha saini cha Wilcoxon-tailed P = 5.5 × 10^-3, n = 19). Jibu la neuronal kwa utoaji wa thawabu katika hali ya HC ilikuwa kubwa kuliko LC (Mtini. 6d; jaribio la kiwango cha saini cha Wilcoxon-tailed P = 0.036, n = 19). Usambazaji wa auROCs ulikuwa> 0.5 ikionyesha majibu makubwa ya utoaji wa tuzo katika HC inayohusiana na majaribio ya LC (Mtini. 6e; jaribio la kiwango cha saini cha Wilcoxon-tailed P = 0.049, n = 19). Matokeo haya yanaonyesha kuwa majibu ya utoaji wa tuzo yameimarishwa katika jaribio la HC na kwamba gharama inayolipiwa huongeza ishara chanya ya RPE wakati wa utoaji wa tuzo.

Dopamine neuron kukabiliana na utoaji wa tuzo. a Mwakilishi wa shughuli ya dopamine ya neuron katika kazi isiyo na shaka ya HLC. Kila rangi inawakilisha masharti (manjano: HC +, kijani: HC−, pink: LC +, cyan: LC−). Nyakati za mwanzo wa saccade zinaonyeshwa na misalaba ya kijivu. Majibu ya dopamine hii ya neurop kwa thawabu isiyotabirika na hewa-puff pia huonyeshwa kwenye jopo la kulia (nyekundu: thawabu isiyotabirika, bluu: hewa isiyoweza kutabirika-puff). b Shughuli ya wastani ya idadi ya watu ya neurons ya dopamine iliyorekodiwa kutoka kwa nyani S hadi hali ya hali. Rangi ya kijani na zambarau zinaonyesha shughuli katika majaribio ya gharama kubwa na ya bei ya chini, mtawaliwa. Mistari imara na mistari iliyopigwa inawakilisha maana na SEM, mtawaliwa. Eneo lenye rangi ya kijivu linaonyesha saa ya kukokotoa kiwango cha kurusha kama majibu ya hali. c Usambazaji wa auROCs kumaliza athari ya gharama iliyotabiriwa kwenye mwitikio wa neuronal kwa vifungu vya gharama. Viwanja vilivyojazwa vinaonyesha data kutoka kwa tumbili P (n = 3) na duru wazi zinaonyesha data kutoka kwa nyani S (n = 16). Kichwa cha mshale kinaonyesha wastani wa auROC (0.44). d Swala-ya wastani ya idadi ya watu wa dopamine iliyorekodiwa kutoka kwa tumbili S hadi utoaji wa tuzo. Rangi ya njano na nyekundu zinaonyesha shughuli katika majaribio ya bei ya juu na ya bei ya chini, mtawaliwa. Sehemu ya rangi ya kijivu inaonyesha wakati wa kuhesabu kiwango cha kurusha kama majibu kwa uwasilishaji wa tuzo. e Usambazaji wa auROCs kumaliza athari ya gharama ya kulipwa kwenye majibu ya neuronal kwa utoaji wa tuzo. Kichwa cha mshale kinaonyesha mpatanishi wa auROC (0.55)

Picha kamili ya ukubwa

Kwa kuongezea, tulilinganisha majibu ya dopamine kufuatia kukosekana kwa thawabu. The auROC haikuonyesha ugawaji wa upendeleo, ikionyesha kuwa gharama iliyolipwa haikuwa na athari kwa RPE hasi wakati wa matokeo (Kielelezo cha Mtini. 9a). Neuropu ya dopamine ilionyesha hakuna tofauti kati ya majibu kwa R_HC na R_LC cues (Kielelezo cha ziada. 9b).

Gharama iliyoingizwa huongeza kasi ya kusoma

Kwa kuzingatia kuwa RPEs za utoaji wa malipo zinaongezwa na gharama iliyolipwa, chini ya dhana kwamba RPE zinahusika moja kwa moja katika upatanishi wa ujira wa ujira, tulitarajia RPEs zilizoimarishwa zitaonyeshwa katika tabia ya kujifunza kupitia kasi ya kujifunza iliyoboreshwa²⁴. Ili kujaribu athari ya gharama ya kulipwa kwenye kujifunza, nyani huyo alifanya kazi ya uchunguzi wa HLC (Mtini. 7a; tazama Mbinu). Katika kazi hii, visa mbili za malipo (R + na R−) ziliwasilishwa kwa wakati mmoja na nyani walipaswa kuchagua moja. Tulisawazisha viwango vya mafanikio na thawabu ya malipo kati ya aina za jaribio (mbili-tailed t mtihani; t₄₈ = 0.15, P = 0.89, n = 49 kwa nyani P; t₈₅ = 1.2, P = 0.25, n = 86 kwa nyani S). Wakati RTs zililinganishwa kwa bei ya gharama, nyani wote walionyesha RTs haraka kwa cue ya LC kuliko muhtasari wa HC (Mtini. 7b; mbili-tailed mbili t mtihani; t₄₈ = 12.9, P ≈ 0, n = 49 kwa nyani P; t₈₅ = 3.4, P = 9.4 × 10^-4, n = 86 kwa nyani S). Wakati wa kulinganisha RTs na alama za malipo, nyani S alionyesha RTs haraka katika HC kuliko hali ya LC (Mtini. 7c; mbili-tailed mbili t mtihani; t₄₈ = 1.3, P = 0.19, n = 49 kwa nyani P; t₈₅ = 2.8, P = 6.8 × 10^-3, n = 86 kwa nyani S). Wakati wa kulinganisha RTs wakati wa nusu ya kwanza na ya mwisho ya kipindi cha kujifunza kando, RTs kwa cue ya LC ilikuwa haraka kuliko ile ya HC wakati wa kwanza (Kielelezo cha Kuongeza. 10a) na nusu ya mwisho ya kikao (Kielelezo cha Mtini. 10c). Badala yake, RTs ya tumbili S kwa cue ya malipo katika hali ya HC yalikuwa haraka kuliko ilivyo katika hali ya LC wakati wa nusu ya mwisho ya kikao (Kielelezo cha Mtini. 10d) lakini sio nusu ya kwanza (Mtini wa nyongeza. 10b).

Kazi ya uchunguzi wa HLC. a Kazi ya utafutaji ya HLC. Katika kazi hii, nyani walipaswa kuchagua kati ya visa vya R + na R−, ambazo zilitolewa kwa nasibu katika kila kikao cha kujifunza. Ikiwa wangechagua R + cue wanaweza kupata thawabu na ikiwa wangechagua Rue hawatapata thawabu. b RTs kwa cues gharama katika majaribio ya gharama kubwa na ya chini. Nyani alionyesha haraka RTs kwa cue ya bei ya chini (**P < 0.01; jozi mbili t mtihani). Duru nyeusi na baa za makosa zinaonyesha maana na SEM. c RTs kwa zawadi za malipo katika majaribio ya gharama kubwa na ya chini. Tumbili S alionesha RTs haraka kwa zawadi za malipo katika hali ya gharama kubwa

Picha kamili ya ukubwa

Katika kazi ya uchunguzi wa HLC, zawadi za malipo zilitolewa nasibu katika kila kikao cha ujifunzaji. Kwa hivyo, nyani walipaswa kujifunza uhusiano kati ya zawadi na thawabu katika kila kikao. Wakati majaribio yanaendelea ndani ya kikao, nyani alichagua visa mara mbili zaidi katika kila hali ya gharama (Mtini. 8a). Ili kumaliza kasi ya kusoma, tunastahili kazi inayojumuisha ya data, pamoja na vigezo viwili vya bure, a na b, inayoonyesha mwinuko wa Curve na Plate, mtawaliwa (Mtini wa nyongeza. 11a, b). Uwiano wa logi kati ya vigezo vya mwinuko (logi a_HC/a_LC) ilikuwa kubwa sana kuliko sifuri inayoonyesha parameta kubwa katika HC kuliko majaribio ya LC (Mtini. 8b; mbili-tailed t mtihani; t₄₈ = 2.1, P = 0.042, inamaanisha = 0.58, n = 49 kwa nyani P; t₈₅ = 2.5, P = 0.013, inamaanisha = 0.19, n = 86 kwa nyani S). Uwiano wa logi kati ya vigezo vya tambarare b_HC/b_LC), haikuwa tofauti na sifuri kuonesha hakuna tofauti kati ya hali ya gharama (Mtini. 8c; mbili-tailed t mtihani; t₄₈ = 0.76, P = 0.45, inamaanisha = -0.0024, n = 49 kwa nyani P; t₈₅ = 0.56, P = 0.58, inamaanisha = 0.010, n = 86 kwa nyani S). Matokeo haya yanaonyesha kuwa kasi ya kujifunza ni haraka zaidi katika majaribio ya HC. Ifuatayo, tuliiga mikondo ya ujifunzaji kwa kutumia mtindo wa kuimarisha-ujifunzaji (RL) (tazama Mbinu). Mtindo huu ni pamoja na vigezo vya kiwango cha ujifunzaji (α_HC na α_LC) na viwango vya utafutaji (β_HC na β_LC) kwa hali zote mbili za gharama (Kielelezo cha ziada. 11c, d). Wakati wa kufaa kwa tabia, tuligundua kuwa uwiano wa logi kati ya vigezo vya kiwango cha kujifunza (logi α_HC/α_LC) ilikuwa kubwa kuliko sifuri inayoonyesha kiwango kikubwa cha kiwango cha masomo katika HC kuliko majaribio ya LC (Mtini. 8d; mbili-tailed t mtihani; t₄₈ = 2.3, P = 0.026, inamaanisha = 0.50, n = 49 kwa nyani P; t₈₅ = 2.2, P = 0.034, inamaanisha = 0.25, n = 86 kwa tumbili S) wakati parameta β hakuonyesha tofauti yoyote (Mtini. 8e; mbili-tailed t mtihani; t₄₈ = 0.77, P = 0.44, inamaanisha = 0.0097, n = 49 kwa nyani P; t₈₅ = 0.64, P = 0.52, inamaanisha = 0.038, n = 86 kwa nyani S). Hapa, tulikadiria vigezo vya kiwango cha ujifunzaji kwa kila hali ya gharama (α_HC na α_LC) kando kuelezea kasi ya kusoma haraka katika hali ya HC. Walakini, ikiwa viwango vya ujifunzaji ni sawa kati ya hali ya gharama, uwiano kati ya viwango vya viwango vya ujifunzaji (α_HC/α_LC) inaweza kuzingatiwa kama bei ya ukuzaji wa RPEs katika hali ya HC. Kwa hivyo, matokeo haya yanaonyesha kuwa kukuza ROPs kunaweza kuelezea kasi ya kujifunza haraka katika hali ya HC.

Mtihani wa kasi ya kusoma. a Maana ya kujifunza mchakato wa nyani P na S. Sehemu ya uchaguzi wa R + imepangwa kama kazi ya jaribio. Pointi za kijani na za zambarau zinaonyesha data kutoka kwa jaribio la bei ya juu na la bei ya chini, mtawaliwa. Mistari iliyo na alama huonyesha mchakato laini wa kujifunza. Kazi za kuangazia zilizojumuishwa ziliwekwa kwenye nukta za data na kuwakilishwa kama mistari thabiti. b Uwiano wa logi kati ya vigezo vinavyofaa a katika hali ya juu na ya bei ya chini wakati data hizo zilikuwa zinaendana na kazi ya kuangazia zaidi (*P <0.05; jaribio la saini ya kiwango cha Wilcoxon). Duru nyeusi na baa za makosa zinaonyesha maana na SEM. c Uwiano wa logi kati ya vigezo vinavyofaa b katika hali ya juu na ya bei ya chini wakati data zilikuwa zinaendana na kazi ya kuongezea. d Uwiano wa logi kati ya paramu ya kiwango cha kujifunza α katika hali ya juu na ya bei ya chini wakati data zilikuwa zinaendana na mfano wa kuimarisha-kujifunza. e Uwiano wa logi kati ya paramu inayofaa β katika hali ya juu na ya bei ya chini wakati data zilikuwa zinaendana na mfano wa kuimarisha-kujifunza

Picha kamili ya ukubwa

Tulijaribu pia kuelezea mchakato wa kujifunza na aina mbadala za RL ambazo huzingatia uwezekano wa nyani kujua usumbufu kati ya kuchochea na thawabu kwa kila jaribio. Katika mifano hiyo thamani ya chaguo isiyosimamishwa inasasishwa kando na yule aliyechaguliwa (Kielelezo cha Kuongezea. 12). Hata wakati wa kutumia mifano mbadala kwa data, parameta ya kiwango cha masomo ilikuwa kubwa sana katika HC ikilinganishwa na hali ya LC (Kielelezo cha Kuongezea. 12b, f) wakati parameta β hakuonyesha tofauti yoyote (Kielelezo cha ziada. 12d, h). Kwa hivyo, kupatikana kwetu juu ya ukuzaji wa ishara ya RPE katika hali ya HC ni nguvu kwa fomu ya mfano wa RL inayofaa kwa data.

Tulichunguza athari za gharama ya kulipwa juu ya thamani ya utabiri wa malipo na majibu ya phasic ya neuropu ya dopamine. Nyani alionyesha kuongezeka kwa hesabu kwa huduma za utabiri wa tuzo kufuatia utendaji wa hatua ambayo ilileta gharama kubwa. Dopamine neurons ilionyesha majibu yaliyoongezeka kwa utabiri wa utabiri wa malipo na uwasilishaji wa tuzo, baada ya gharama kubwa kupatikana. Kwa kuongezea, nyani alionesha kasi ya kujifunza haraka wakati gharama kubwa inahitajika kupata thawabu.

Uchunguzi kadhaa umeonyesha kuwa gharama ya kulipwa inaboresha upendeleo kwa cue ya utabiri wa malipo^1,2,3. Katika utafiti wa sasa, nyani walionyesha kasi kubwa kwa huduma za utabiri wa malipo katika hali ya HC ikilinganishwa na ile iliyo katika hali ya LC, sanjari na uwezekano wa kwamba bei ya cue ya tuzo inaboreshwa na gharama iliyolipwa²⁷. Chaguo mbadala ni kwamba wakati wa marekebisho mrefu zaidi unaohusishwa na umakini ulioboreshwa kwa lengo la saccade katika hali ya HC, kwa hivyo, kupunguza RTs baada ya kurekebisha tena katika jaribio la HC. Walakini, hatukupata tofauti yoyote kati ya RTs hadi nyaya za R kwenye majaribio ya HC na LC katika kazi isiyo na shaka ya HLC. Kwa kuongezea, katika nusu ya kwanza ya kikao cha uchunguzi cha HLC. RTs kwa njia za R hazikuwa tofauti sana kati ya majaribio ya HC na LC. Matokeo haya yanaonyesha kuwa marekebisho marefu sio maelezo ya uwezekano kwa RT fupi iliyozingatiwa kwa utabiri wa malipo. Mbali na athari ya gharama ya kulipwa kwenye RT ya tuzo ya malipo, gharama pia iliathiri RTs kwa tabia zisizo za utabiri, licha ya ukweli kwamba hakuna thawabu yoyote iliyotolewa baada ya maonyesho ya cue. Uchunguzi wa awali uliripoti hali kama hiyo, kwa kuwa masomo ya tumbili yalionyesha mfupi kutoka kwa majaribio yasiyorudishwa wakati tuzo zilipendelea zaidi zilitumiwa katika majaribio mbadala ndani ya kila kizuizi³⁰. Tafsiri moja inayowezekana ya athari katika utafiti huo ni kwamba motisha ya hali ya juu ya kujibu kwenye kizuizi hicho na tuzo iliyochaguliwa zaidi imeathiri RTs pia kwa fungu la malipo kati ya kizuizi. Vivyo hivyo, katika utafiti wa sasa, matarajio ya thawabu ya thamani zaidi katika majaribio ya HC yanaweza kuwa yakabadilisha RTs kwa simulizi ya malipo katika majaribio ya HC katika kazi yetu. Kwa kuongezea, athari ya gharama iliyolipwa kwa RTs kwa dhamira ya malipo ilikuwa ndogo kuliko ile ya utabiri wa utabiri wa tuzo. Hii ni uwezekano wa ukweli wa ukweli kwamba kwa sababu nyani alifanya Saccade haraka kwa R_LC+ cue katika nafasi ya kwanza, kuna wigo uliopunguzwa kugundua kufupisha kwa RTs kwa R_HC+ cue. Kwa hivyo, tofauti katika RTs kati ya viwango vya R + itakuwa ndogo kama matokeo.

Nyani pia alifanya majaribio ya uchaguzi kati ya R_HC na R_LC cices katika HLC kazi. Walakini, wakati tumbili S alionyesha upendeleo kwa R_HC+ cue kwa R_LC+ cue, tumbili P hakuonyesha upendeleo kama huo. Utofauti huu unaweza kuelezewa na tofauti ya kawaida kati ya HLC saccade na majaribio ya chaguo. Katika majaribio ya chaguo, njia mbili za utabiri wa malipo zilitolewa badala ya utabiri mmoja wa utabiri. Kwa kuongezea, nyani hawakupata thawabu baada ya chaguo lao hata ikiwa walichagua utabiri wa ujasusi, kwa hivyo mtihani wa uchaguzi ulifanyika kwa kutoweka. Utaratibu wa kutoweka ulitekelezwa ili kuhakikisha kuwa uchaguzi wa tumbili unaendeshwa na kile kilichojifunza kwenye majaribio ya juhudi, kinyume na kufadhaishwa na ujifunzaji mpya juu ya majaribio ya uchaguzi. Walakini, utaratibu huu unaweza kuwa na athari ya kuwa tumbili huweza kujifunza haraka kutambua utaratibu wa kutoweka katika muktadha wa uchaguzi na kwamba hakuna sababu ya kuchagua kichocheo kinachopendelea zaidi. Walakini, moja ya nyani alisema kwa kweli alionyesha upendeleo kwa cue malipo katika hali ya HC.

Wakati wa uwasilishaji wa fumbo ambalo lilitabiri mahitaji ya baadaye kulipia gharama, shughuli ya dopamine neurons ilipunguzwa, sanjari na masomo ya zamani^22,23. Katika utafiti wetu, hatukuona kupungua kwa jumla kwa dopamine neuron kujibu majibu ya HC na LC zinazohusiana na msingi. Hii inaonyesha kuwa ishara hasi-RPE haifanyi wakati huo wa mwisho licha ya gharama ifuatayo. Kutokuwepo kwa RPE hasi labda huonyesha ujumuishaji wa utabiri wa malipo ya baadaye yanayotarajiwa baadaye katika jaribio. Neuropu ya dopamine ilionyesha uanzishaji mkubwa katika jaribio la LC na shughuli ilikuwa kubwa ikilinganishwa na jaribio la HC. Hii inaonyesha kwamba habari ya gharama imeingizwa katika ishara ya RPE iliyofanywa na neuropu ya dopamine. Kwa hivyo, kanuni za dopamine za neurons malipo na habari ya gharama na majibu ya RPE yanaonyesha jumla ya gharama na thawabu.

Tulionyesha kuwa ishara ya RPE inayowakilishwa na neuropu ya dopamine inaboreshwa na gharama ya kulipwa katika hatua ya uwasilishaji wa cue ya malipo (katika kazi ya SacLC ya HLC) na uwasilishaji wa malipo (katika kazi isiyo na shaka ya HLC). Kiasi cha lengo la malipo yaliyotolewa katika majaribio ya HC na LC yalikuwa sawa; Kwa hivyo, marekebisho ya ishara za RPE yanapaswa kusababishwa na mchakato wa upuuzi. Uwezo huu unasaidiwa na tafiti kadhaa zinazoonyesha athari ya dhana juu ya ishara za dopamine RPE sanjari na usindikaji wa thamani ya kuhusika na / au matumizi katika dopamine neurons^{11,19,20,21,31,32,33,34}. Ikiwa ishara ya RPE ni kubwa, hii inapaswa kutoa usasisho wa haraka zaidi wa dhamana ya cue, ambayo inaweza kuathiri kasi ya ujifunzaji wa vyama vya malipo ya msukumo. Uchunguzi wa awali umeonyesha marekebisho ya kasi ya kujifunza na sababu za kutokujali^24,35. Kupatana na hii, nyani walionyesha kasi ya kujifunza haraka katika jamaa wa HC kwa hali ya LC. Tuligundua kuwa kasi ya ujifunzaji iliyoimarishwa na gharama iliyolipwa inaweza kuelezewa na mfano wa RL na RPE iliyosisitishwa. Ilikuwa ngumu kutenganisha athari za RPE zilizoboreshwa na kuongezeka kwa kiwango cha masomo katika majaribio yetu; Walakini, tulipata ishara iliyoonyeshwa ya dopaminergic RPE katika hali ya HC. Kwa kuongezea, uchunguzi wa awali wa FMRI umeonyesha kuwa kiwango cha masomo kinawakilishwa kwenye gamba ya anterior cingex na kwamba shughuli ya VTA haihusiani na parameta ya kiwango cha kujifunza katika mazingira tete.³⁶. Kwa hivyo, tunasema kwamba ishara ya RPE iliyowekwa na neuropu ya dopamine inaboresha na gharama ya kulipwa, na kwamba ishara inayoongezeka ya RPE inakuza kasi ya kujifunza.

Wakati ishara ya RPE ilitolewa wakati wa uwasilishaji wa cue ya malipo na uwasilishaji wa malipo, nyani alikuwa tayari amelipa gharama. Kwa hivyo, njia moja inayowezekana ya ishara ya RPE iliyoimarishwa ni kwamba malipo yanayopatikana baada ya HC yanaweza kuwa na thawabu zaidi. Matarajio ya kuongezeka kwa tuzo yenye thamani zaidi baada ya HC inaweza kuongeza motisha ya kumaliza jaribio, na hivyo kufupisha RT kwa kumbukumbu za malipo katika majaribio ya HC.

Tafsiri nyingine inayowezekana ya matokeo yetu ni kwamba unafuu uliopatikana kutoka kwa kukomesha hatua ya gharama kubwa inaweza kuwa kama malipo kwa nyani. Masomo ya kazi ya kufikiria ya uchunguzi wa nguvu ya fonimu (fMRI) yameonyesha kuwa misaada ya uchungu inaweza kuwa thawabu kwa washiriki wa wanadamu^37,38; Kwa hivyo, gharama inaweza kuchukua jukumu kama hili kama kichocheo cha kutuliza maumivu. Ikiwa misaada kutoka kwa gharama ni ya thawabu na ikiwa hii inaonyeshwa katika shughuli ya dopaminergic, tunatarajia kwamba neuroni za dopamine zingejibu mwishoni mwa marekebisho marefu, ambayo ni wakati wa uwasilishaji wa zawadi. Walakini, hatukuona tofauti yoyote ya shughuli za dopaminergic kwa wakati wa maonyesho ya cue zawadi au tofauti yoyote katika RTs kwa skuli za R kati ya majaribio ya HC na LC katika kazi ya uhakika ya HLC. Kwa hivyo, tunapendekeza kwamba misaada kutoka kwa gharama haitoi maelezo ya kutosha kwa athari tuliona katika neuropu ya dopamine.

Kwa kuongezea, neuroni za dopamine zilionyesha majibu tofauti ya usawa kwa kichocheo cha aversive ikilinganishwa na gharama ya utabiri wa gharama. Maelezo moja inayowezekana kwa hii ni kwamba gharama ya juhudi ilikuwa ndogo kuliko kipigo cha hewa au tuzo, kwa sababu gharama ya juhudi iliongezwa kwa muda mfupi kwa sekunde kadhaa kwani nyani hufanya mazoezi na sio kuvua. Kwa hivyo, neuropu za dopamine zinaweza kuwa hazijaamilishwa kwa gharama ndogo za gharama. Uwezo mwingine ni kwamba aina ya usoni dopamine neurons hujibu kwa matukio baada ya harakati kadhaa zilizochochewa. Wakati malipo au puff-hewa-mikabidhiwa kwa nyani, wao hufanya harakati kama vile taa au blink ya jicho. Walakini, katika kazi ya sacLC ya HLC, nyani walipaswa kuweka macho yao kwenye shabaha ya fixation bila harakati yoyote kama gharama. Kwa kweli, utafiti wa hivi karibuni ulionyesha kuwa kutolewa kwa dopamine kwenye mkusanyiko wa mkusanyiko baada ya somo la utabiri wa tuzo linapatikana ikiwa harakati hazijaanzishwa vizuri³⁹. Kwa sababu gharama katika majaribio yetu hayakuhusisha harakati za harakati, hii inaweza kusababisha majibu yasiyolingana ya ugonjwa wa aina ya dopamine neuropu. Kwa njia yoyote, tunaweza kuhitimisha kuwa habari ya gharama inashughulikiwa tofauti na habari ya kupinga.

Kwa kumalizia, tunashauri kwamba gharama iliyolipwa inaongeza thamani ya athari za utabiri wa malipo na kwamba kwa upande huu huongeza ishara ya RPE iliyowekwa kwenye neuroni ya dopamine ya midbrain. Athari hii ilisababisha utabiri wa tabia kwamba kiwango cha wanyama cha kujifunza kitaimarishwa kwa tabia za utabiri wa malipo baada ya uzoefu wa HC. Kwa kweli hii ndio tuliona. Kwa hivyo, uchunguzi wetu juu ya shughuli ya neuropu ya dopamine ilituongoza kudhibitisha uwepo wa athari ya tabia, na vile vile utaratibu wa kuweka nguvu wa msingi wa athari hii, ambayo tulithibitisha baadaye. Matokeo yetu kwa hivyo yanawakilisha mfano wa jinsi utatuzi unaweza kutokea kati ya vipimo vya data ya neural, nadharia ya kuhusika na tabia: kukuza uelewaji wa kina wa usindikaji wa neuroni katika ubongo kunaweza kutoa ufahamu juu ya tabia na msingi wake wa kupingana.

Wanyama

Tulitumia nyani wawili wa kiume wa Kijapani (Macaca fuscata; uzani wa mwili, kilo ya 6.5 = Monkey P; uzani wa mwili, 9.0 kg = Monkey S). Tuliingiza chapisho la kichwa juu ya fuvu la tumbili ili iweze kushikwa kwa kiti baadaye. Chumba cha kurekodi pia kiliwekwa kwa kuwezesha kuwekewa kwa darubini ya elektroni. Chumba cha kurekodi kiliwekwa 45 ° baadaye kwenye ndege ya kikoni na kuwekwa katika kuratibu za stereotaxic: 15 mm mbele ya mfereji wa nje. Baada ya kipindi cha kupona, nyani walipata mafunzo ya kufanya kazi ya kuchekesha. Baada ya kumaliza mafunzo, tulichimba shimo kupitia fuvu ndani ya chumba cha kurekodi kwa kuingizwa kwa elektroni. Itifaki zote za utunzaji wa wanyama ziliidhinishwa na Kamati ya Majaribio ya Wanyama ya Chuo Kikuu cha Tamagawa, na kuendana na Taasisi za Kitaifa za Mwongozo wa Afya kwa Utunzaji na Matumizi ya Wanyama wa Maabara.

Kazi ya kujiendesha

Nyani walipata mafunzo ya kufanya kazi ya HLC ya sanamu (Mtini. 1a), Kazi isiyo ya uhakika ya HLC (Mtini. 5a), na kazi ya utafutaji wa HLC (Mtini. 7a). Kazi zote zilifanywa katika chumba cha giza. Nyani walikuwa wameketi kwenye kiti mbele ya 22-in. Mfuatiliaji wa LCD (S2232W, Eizo) na machapisho yao ya kichwa yaliyowekwa kwenye kiti. Umbali kati ya macho yao na onyesho lilikuwa 70 cm. Wakati kidokezo cha kuanza (mduara mweupe, kipenyo cha 0.3 °) kilipowasilishwa katikati ya onyesho, nyani huyo alihitajika kudumisha macho yake juu ya cue hiyo. Cue ya kuanza ilipotea baada ya ms 750 na kisha ishara ya gharama iliwasilishwa (nyota na upepo kwa majaribio ya HC na LC, mtawaliwa). Nyani walitakiwa kujisajili kwa gharama wakati wa uwasilishaji wa 750 ms ya cue. Ikiwa hawakujificha, kesi hiyo iliondolewa na kesi ile ile ilianza tena. Wakati wa majaribio ya HC, lengo la kurekebisha (0.3 ° × 0.3 ° mraba mweupe) iliwasilishwa tu baada ya kutoweka kwa muhtasari wa gharama kwa 2000 ms (HLC saccade na kazi zisizo na uhakika za HLC) au 1500 ms (kazi ya uchunguzi wa HLC) na nyani walihitajika. kuijaribu na kuweka macho yao juu yake. Ikiwa nyani walihamisha macho yao zaidi ya dirisha la urekebishaji la 4 ° × 4 °, kazi hiyo iliondolewa. Dirisha la urekebishaji liliamilishwa ms 400 baada ya uwasilishaji wa sehemu ya urekebishaji kwa sababu nyani alihitaji wakati wa kujiandaa kwa sakata na kwa marekebisho ya urekebishaji wao. Kwa hivyo, nyani walipaswa kurekebisha angalau ms 1600 (HLC saccade na kazi zisizo na uhakika za HLC) au 1100 ms (kazi ya uchunguzi wa HLC) katika majaribio ya HC. Katika majaribio ya LC, skrini tupu ilionyeshwa kwa 1500 ms (HLC saccade na kazi zisizo na uhakika za HLC) au 1000 ms (kazi ya uchunguzi wa HLC), na kisha lengo la kurekebisha lilionekana kwa 500 ms. Kwa sababu dirisha la kurekebisha liliwashwa ms 400 baada ya uwasilishaji wa sehemu ya kurekebisha, nyani walitakiwa kurekebisha kwenye lengo kwa angalau ms 100 katika majaribio ya LC. Nyani walionyesha makosa zaidi katika kesi ya HC; Kwa hivyo, utoaji wa kulazimishwa uliingizwa kwa nasibu 100 ms kabla ya uwasilishaji wa muhtasari wa tuzo (ms 400 baada ya uwasilishaji wa lengo ambalo ni wakati wa kuanza kwa dirisha la kurekebisha) katika jaribio la LC ili kusawazisha kiwango cha mafanikio. Baada ya kurekebisha juu ya lengo, njia moja au mbili za thawabu ziliwasilishwa na nyani walitakiwa kujificha kwenye cue hiyo. Ikiwa walifanikiwa kutengeneza sakata kwa ujira wa tuzo, sauti ya beep ilitolewa ms 750 baada ya uwasilishaji wa muhtasari wa tuzo. Wakati nyani walifanya kifurushi kwenye kitufe cha R +, 0.3 ml ya maji ilitolewa kwa wakati mmoja na beep. Hakuna malipo yoyote yaliyotolewa wakati walifanya sakata kwa Rue.

Katika kazi ya sacLC ya HLC, duru nne za rangi zilitumika kama zawadi za malipo (R_HC+: manjano; R_HC-: kijani; R_LC+: pink; R_LC-: bluu; Mtini. 1a). Kikao kimoja cha majaribio kilijumuisha majaribio 80 ya sakata, majaribio 20 ya tuzo zisizotabirika, majaribio 20 ya kutuliza hewa, na majaribio 5 ya uchaguzi. Majaribio ya saccade, ni pamoja na majaribio 40 ya HC na majaribio 40 ya LC, ambayo yote ni pamoja na majaribio ya tuzo 20 na majaribio 20 ya malipo. Katika tuzo isiyotabirika au majaribio ya kupumua-hewa, 0.3 ml ya malipo ya maji au MPA 0.2 ya hewa-pumzi (150 ms kwa nyani P; 200 ms kwa nyani S) ilifikishwa kwa uso wa nyani bila kushikwa. Majaribio ya uchaguzi ni pamoja na jaribio ambalo nyani alifanya uchaguzi kati ya alama za R + (R_HC+ dhidi ya R_LC+) katika jaribio la HC, kati ya viwango vya R− (R_HC- vs. R_LC-) katika jaribio la HC, kati ya R + (R_HC+ dhidi ya R_LC+) cues katika jaribio la LC, kati ya R− (R_HC- vs. R_LC-) cues katika jaribio la LC, na kati ya gharama za gharama (Kielelezo cha Mtini. 1). Katika majaribio na chaguo kati ya fungu la malipo, muundo wa kazi ulikuwa sawa na kazi ya saccade kabla ya uwasilishaji wa fadhila. Ifuatayo, badala ya kuwasilisha cue ya malipo, fungu mbili za malipo zilitolewa katika majaribio ya uchaguzi na hakuna thawabu yoyote iliyotolewa baada ya uwasilishaji wa zawadi hata kama nyani alifanya chaguo kati ya hadithi R.

Ili kujaribu majibu ya neuropu ya dopamine ili kutoa malipo, nyani alifanya kazi ya uhakika ya HLC (Mtini. 5a). Kazi hii ilikuwa sawa na kazi ya HLC ya HLC isipokuwa kwa dhamana ya malipo. Katika kazi hii, tulitumia njia mbili za malipo (badala ya njia nne za malipo zilizotumiwa katika kazi ya HLC ya sanamu), moja kwa jaribio la HC na lingine kwa jaribio la LC. Tuzo hilo lilifikishwa katika nusu ya majaribio baada ya uwasilishaji wa zawadi. Kikao kimoja cha majaribio kilikuwa na majaribio ya skuli ya 80, majaribio ya tuzo yasiyotabirika ya 20, na majaribio ya kutotabirika ya 20 yasiyotabirika. Majaribio ya saccade ni pamoja na majaribio ya 40 HC na majaribio ya 40 LC, zote mbili zilikuwa na majaribio ya malipo ya 20 na 20 hakuna majaribio ya malipo. Katika majaribio yasiyotabirika, thawabu au puff-hewa ilitolewa bila cue yoyote.

Katika kazi ya utafutaji wa HLC, zawadi mbili za malipo (R_HC+, R_HC- au R_LC+, R_LC-) ziliwasilishwa kwa wakati mmoja na nyani walihitajika kupeana moja ya huduma za ujira (Mtini. 7a). Ikiwa walichagua kitanda cha R +, walipewa thawabu ya maji. Zawadi nne za malipo (R_HC +, R_HC-, R_LC +, R_LC-) zilitolewa kwa kila kikao cha utafutaji na nyani alitakiwa kujifunza ushirika kati ya kumbukumbu na malipo ya jaribio la jaribio. Kikao kimoja cha majaribio kilikuwa na majaribio ya 100 HC na majaribio ya 100 LC. Tuligundua kuwa kwa kazi ya utafutaji, ikiwa tutaweka muda wa marekebisho kuwa 2000 ms katika hali ya HC ili kufanana na hali ya hali ya HC katika kazi zingine, nyani walifanya kazi hiyo kwa kiwango cha chini sana cha mafanikio labda kwa sababu ya ugumu wa kazi na / au kiwango cha chini cha malipo. Kwa hivyo, ili kupunguza ugumu wa kazi na kuongeza kiwango cha mafanikio, tulitumia muda wa urekebishaji wa 1500 kama gharama ya kazi ya utafutaji ya HLC.

Kazi hizo zilidhibitiwa kwa kutumia kifurushi cha programu inayopatikana kibiashara (TEMPO, Reflective Computing, St. Louis, MO, USA). Programu iliyotengenezwa maalum kwa kutumia interface ya programu ya programu (OpenGL) ilitumiwa kwa uwasilishaji wa kichocheo cha kuona. Kusisimua kwa kuona na gharama na zawadi ziliundwa na waandishi.

Kurekodi na upatikanaji wa data

Mahali pa nigra yaanti inakadiriwa kutumia picha za MR. Electrode tungsten iliyofunikwa kwa epoxy-mduara (kipenyo cha shank, 0.25 mm, 0.5-1.5 MΩ iliyopimwa kwa 1000 Hz, FHC) iliingizwa kwenye nigra yaantiba kwa kutumia micromanipulator (MO-972, Narishige, Tokyo, Japan) iliyowekwa kwenye chumba cha kurekodi na bomba la mwongozo. Ishara za Voltage ziliongezwa (x 10,000) na kuchujwa (0.5-2 kHz). Uwezo wa vitendo kutoka kwa neuron moja ulitengwa na algorithm inayofanana na template (OmniPlex, Plexon, Dallas, TX, USA). Harakati ya jicho ilifuatiliwa na mfumo wa kamera ya infrared kwa kiwango cha sampuli ya 500 Hz (iView X Hi-Speed ​​Primate, SMI, Teltow, Germany). Wakati wa uwezekano wa vitendo na hafla za tabia zilirekodiwa na azimio la wakati la 1 kHz.

Uchambuzi wa data

Ili kuchambua tabia ya nyani, RTs ziliamuliwa kama muda wa kati ya mwanzo wa kichocheo na wakati ambapo nyani huanzisha sakata. Uanzishaji wa saccade ulidhamiriwa kwa kuhesabu muda ambapo msimamo wa macho unazidi kupotosha kwa kiwango cha 5 kutoka kwa nafasi ya kutazama kabla ya uwasilishaji.

Katika kazi ya uchunguzi wa HLC, tabia ya uchaguzi wa nyani ilipewa alama kwa kufaa kazi ya kuangazia ya ziada. Kazi (P) inaelezea sehemu ya chaguo sahihi kama ifuatavyo: