Mukofotni olishning narxi o'rta miya dopamin neyronlari (2019) ning mukofotni bashorat qilishdagi xato signalini kuchaytiradi.

Midbrain dopamin neyronlari qiymatni bashorat qilishni yangilash uchun ishlatiladigan mukofotlarni bashorat qilish xatolarini kodlash uchun ma'lum. Bu erda biz dopamin neyronlarining o'rta miya neyronlari bilan kodlangan RPE signallarining mukofot olish uchun to'lanadigan xarajatlar bilan modifikatsiya qilinishini yoki dopamin neyronlarini uyqusiz maymunlarni maymunni qayd etishda maymunni qayd etish orqali qayd etish orqali tekshiramiz. Dopamin neyronining mukofotni bashorat qilish va mukofotni topshirishga bo'lgan javoblari kam xarajatli harakatlar bilan solishtirganda qimmatroq harakatlar bajarilgandan so'ng ko'paygan, bu esa RPElarning qimmatga tushadigan harakatlar bajarilgandan so'ng yaxshilanganligini ko'rsatmoqda. Xulq-atvor darajasida rag'batlantiruvchi-mukofotli birlashmalar kam xarajatli harakatlar bilan solishtirganda qimmatroq harakatni amalga oshirgandan so'ng tezroq o'rganiladi. Shunday qilib, harakatlar qiymati to'g'risidagi ma'lumotlar dopamin mukofotlari tizimida quyidagi dopamin RPE signalini kuchaytiradigan tarzda qayta ishlanadi, bu esa o'z navbatida yuqori narxli vaziyatlarda tezroq o'rganishni ta'minlaydi.

Odamlar va hayvonlar ozgina kuch sarflaganidan keyin berilgan mukofotga nisbatan ko'p kuch sarflaganlaridan keyin olingan mukofotni afzal ko'rishadi.^1,2,3. Buning uchun bir qator tushuntirishlar kiritildi, masalan kuchni oqlash^4,5 va kontrast effekti⁶, unda katta qiymat pullik harakatlardan keyin olingan natijaga bog'liq bo'ladi. Shunga qaramay, mukofotga oid ma'lumotlarni miyada qayta ishlash mukofotni olishga sarflangan sa'y-harakatlar orqali modulyatsiya qilingan-qilinmaganligi haligacha aniq emas.

Ushbu tizimning mukofotlarga xatti-harakatga moslashuvini rivojlantirishda tutgan o'rnini hisobga olgan holda, biz asosan miya yarim miya dopamin tizimiga e'tibor qaratdik.^7,8,9. Dopamin neyronlari bazal ganglion tomonidan mukofotni bashorat qilishni o'rganishni osonlashtiradigan mukofotni bashorat qilish xatosi (RPE) signallari sifatida ma'lum.^{10,11,12,13,14,15,16,17}. RPEning kuchi mukofotning miqdori, sifati va subyektiv qiymati yoki foydaliligiga bog'liq^{7,18,19,20,21}. Bundan tashqari, dopaminergik faollik xarajatlar va / yoki harakatlar orqali modullanadi^22,23. Shu asosda biz dopaminergik RPE signalini mukofot olish uchun to'langan xarajatlar bilan to'g'ridan-to'g'ri modulyatsiya qilishini e'lon qildik. Bundan tashqari, RPE signallari ogohlantiruvchi-mukofotli uyushmalarning o'rganishda vositachilik qilishda ishtirok etayotganligi sababli^24,25,26, biz mukofotni olish uchun to'langan xarajat rag'batlantiruvchi-mukofot birlashmalarining o'rganish tezligini oshirishi haqida taxmin qildik.

O'z gipotezalarimizni sinab ko'rish uchun biz ikkita yapon maymunida xatti-harakatlar va dopaminergik faollikni o'lchadik, ular sakkad asosida harakat qilish topshirig'ini bajarishdi. Maymunlar qimmatroq (LC) harakatlardan keyin taqdim etiladigan mukofotni bashorat qiladigan repetitsiyaga tezroq munosabatda bo'lishadi. Dopaminergik neyronlarning mukofotni bashorat qiladigan usullardagi faolligi to'langan narxga ko'payadi. Bundan tashqari, rag'batlantiruvchi-mukofotli birlashmani o'rganish tezligi, shuningdek to'langan xarajatlar evaziga yaxshilanadi. Shuning uchun biz mukofot olish uchun to'lanadigan xarajatlar dopamin neyronlaridagi RPE signalini oshiradi va shu bilan stimul-mukofot birlashmalarini kuchaytiradi.

Yuqori arzon narxdagi (HLC) buyurtma

To'langan narxning xulq-atvorga va dopamin neyron faolligiga ta'sirini o'rganish uchun maymunlar ikkita xarajat sharti bilan qoplangan vazifani bajarishdi (rasm). 1ausullariga qarang). HC sinovlarida, maymunlar tezda nishonga xurjich yasashdi va undan uzoqroq vaqt yonib turmasdan qarab turishgan (rasm). 1b; yashil chiziqlar). Bundan farqli o'laroq, LC sinovlarida maymunlar qisqa vaqtga o'rnatmasdan oldin atrofga bemalol qarab turar edilar (rasm). 1b, binafsha chiziqlar). Maymunlar uchun uzoq fiksatsiyani saqlab turish qiyin bo'lganligi sababli, ular HC sinovlarining kechikishida ko'proq xatolarga yo'l qo'yishdi (rasm.). 1c). HC sinovlari va LC sinovlari o'rtasidagi mukofot ehtimolligi o'rtasidagi farqni nazorat qilish uchun biz LC sinovlarining bir qismiga muvaffaqiyat stavkalari va sinov turlari o'rtasida mukofot ehtimolini tenglashtirish uchun majburiy abortlarni joylashtirdik (rasm.). 1d).

HLC saccade vazifasi. a HLC saccade vazifasi. Xarajatlarni belgilash (C signallari) potentsial mukofotga erishish uchun zarur bo'lgan kuch miqdorini ko'rsatdi. Qimmatbaho sinovlarda kechikish davrida uzoq vaqt tuzatish talab qilindi. Mukofot belgisi (R belgisi) maymunlarning mukofot olishi yoki olmasligini ko'rsatadi. b Kechikish davrida qarash burchagi vaqtining kursi. Yuqori va pastki panellar navbati bilan gorizontal va vertikal ko'rish burchaklarini ko'rsatadi. Yashil va binafsha rang chiziqlar yuqori xarajatli sinovlarda (har bir panelda 50 sinovlari) va arzon narxlarda (har bir panelda 50 sinovlari) ko'z qarash burchagini ko'rsatadi. c Katta va arzon narxlardagi sinovlarda kechikish davridagi xatolar soni (**P < 0.01; ikki dumli juft t sinov; t₆₇ = 8.8, P = 4.8 × 10^-15, n Maymun P uchun = 68; t₈₃ = 26.6, P ≈ 0, n = 84 maymun S). Qora doiralar va xato satrlari o'rtacha va SEMni bildiradi. d Yuqori va arzon narxlardagi sinovlarda muvaffaqiyat darajasi (ikki tomonlama juftlashtirilgan) t sinov; t₆₇ = 0.51, P = 0.61, n Maymun P uchun = 68; t₈₃ = 0.79, P = 0.43, n = 84 maymun S). e Xarajatlar smetasi bo'yicha RT (**)P <0.01; ikki dumli juft t sinov; t₆₇ = 20.4, P ≈ 0, n Maymun P uchun = 68; t₆₉ = 2.0, P = 1.2 × 10^-3, n = 70 maymun S). f Mukofot berish uchun sarflanadigan mablag'lar (**)P <0.01; ikki dumli juft t sinov; Maymun P (n = 68): HC + va LC +, t₆₇ = 3.5, P = 9.2 × 10^-4; HC− va LC−, t₆₇ = 24.5, P ≈ 0; HC + va HC−, t₆₇ = 21.6, P ≈ 0; LC + va LC−, t₆₇ = 28.5, P ≈ 0; Maymun S (n = 70): HC + va LC +, t₆₉ = 5.6, P = 4.4 × 10^-7; HC− va LC−, t₆₉ = 4.8, P = 8.4 × 10^-5; HC + va HC−, t₆₉ = 18.0, P ≈ 0; LC + va LC−, t₆₉ = 5.9, P = 1.1 × 10^-7)

To'liq o'lchamdagi rasm

To'langan xarajat mukofotni bashorat qilish usullarining qiymatini oshiradi

Maymunning belgilarini sub'ektiv baholashidagi farq uchun aniq dalillar olish uchun biz maymunlarning reaktsiya vaqtlarini (RT) sinab ko'rdik. Xususan, agar maymunlar bitta variantga boshqasiga nisbatan yuqori subyektiv qiymatni tayinlasalar, ular yanada tezroq qiymatlarni berishlari kerak²⁷. Narxlar bo'yicha taqqoslaganda, ikkala maymun ham HC reproduktsiyasiga qaraganda LCga tezroq RTlarni ko'rsatdilar (rasm). 1e), LK holatiga shubha qilinganligini namoyish qilish. Savollarni mukofotlar soni o'rtasida taqqoslashganda, ikkala maymun ham mukofot (R−) ko'rinishidan ko'ra tezroq RTlarni (R +) ko'rsatish uchun ko'rsatdilar (rasm). 1f), ular R + tuslarini Rues ga nisbatan afzal ko'rishlarini bildiradi. Bundan tashqari, ikkala maymun ham R ga tezroq RTlarni namoyish etishdi_HCR bilan taqqoslaganda_LC+ replika va R ga_HC- R bilan taqqoslaganda replikatsiya_LC- kiyinish (rasm. 1f), bu LC holatiga nisbatan HCda mukofotni bashorat qilish usullarini ko'proq qadrlashlarini anglatadi.

Bundan tashqari, biz mayllarning orzulari orasidagi ochiq-oydin imtiyozlarini sinab ko'rish uchun HLC pakana vazifasiga tanlov sinovlarini kiritdik (Qo'shimcha rasm. 1a). Maymunlar, afzalroq, harajatlar usulini tanlayotganda LC uslubini tanladilar (Qo'shimcha rasm). 1b). Maymun S afzalroq R ni tanladi_HCR o'rtasida tanlov vazifasini bajarayotganda + replikatsiya_HC+ va R_LC+ cue, lekin R o'rtasida hech qanday ustunlik yo'q_HC- va R_LC- ko'rsatmalar (qo'shimcha sek. 1c, g). Bunga javoban, maymun P R o'rtasida hech qanday ustunlikni ko'rsatmadi_HC+ va R_LC+ gaplar, lekin shunga qaramay Rni afzal ko'rdilar_HC- R ni tanlashda replikatsiya_HC- va R_LC- ko'rsatmalar (qo'shimcha sek. 1c, g).

Elektrofizyologik natijalar HLC saccade vazifasini bajaradi

HLC pichoqlash vazifasi davomida biz asosiy nigra pars compacta (SNc) va ventral tegramal mintaqada (VTA) joylashgan neyronlardan bitta birlik faoliyatini qayd etdik. Ikki maymun o'rtasida 70 dopamin neyronlarini aniqladik (Qo'shimcha rasm). 2a; Monkey P va S-dan 18 va 52 neyronlari mos ravishda). Gistologik tekshiruvda neyronlar SNc / VTA atrofida yoki atrofida joylashganligi tasdiqlandi (Qo'shimcha rasm). 2b).

Shakl. 2, biz vakillik qiluvchi dopamin neyronining faoliyatini ko'rsatamiz. Ushbu neyron LC reputatsiyasiga ozgina faollashuvni ko'rsatdi va faza aktivatsiyasi yoki mukofotga bostirish (R_HC+ va R_LC+) yoki mukofot so'rovlari yo'q (R_HC- va R_LC-) navbati bilan (rasm). 2, Qo'shimcha sek. 3). Neyron, shuningdek, oldindan aytib bo'lmaydigan havo puffagi evaziga ogohlantiruvchi stimulga javoban fazik bostirilish bilan bir qatorda, oldindan aytib bo'lmaydigan mukofotga fazik faollashuvni ko'rsatdi. 2, o'ng panel). Bundan tashqari, neyron boshlang'ich kostyumiga kam bosimni ko'rsatdi, ammo mukofotni topshirishga javob bermadi. Biz qayd etgan dopamin neyronlarining butun aholisi boshlang'ich va mukofotlarni topshirishga o'xshash javoblarni ko'rsatdi (Qo'shimcha rasm. 4a, b). HLC muqaddas vazifasida mukofotni olishdan oldin bir harakat qiymati to'langan. Chunki bashorat qilingan xarajat dopamin neyronining faolligini pasaytirdi^22,23, boshlang'ich namoyishi paytida dopamin neyronlarning javoblari to'xtatiladi¹⁶.

HLC sakkad vazifasida dopamin neyronining vakili faoliyati. Spike zichligi funktsiyalari (Gauss funktsiyasi bilan birlashtirilgan) va raster uchastkalari boshlang'ich boshlanish vaqti, narx qiymati (Cue), fiksatsiya nishoni, mukofotni qaytarish (Rue) va signal ohanglari bilan moslashtirilgan. Har bir rang mos ravishda shartni (sariq: HC +, yashil: HC−, pushti: LC +, zangori: LC−) bildiradi. Sakkad boshlanishining vaqti kulrang xochlar bilan ko'rsatilgan. Dofamin neyronlarining oldindan aytib bo'lmaydigan mukofotga yoki havo pufagiga bo'lgan javoblari ham o'ng panelda ko'rsatilgan (qizil: oldindan aytib bo'lmaydigan mukofot, ko'k: oldindan aytib bo'lmaydigan havo bo'shlig'i).

To'liq o'lchamdagi rasm

Dopamin neyronlariga mukofot ham, mablag 'ham kiradi

Neyronlar LC repetitsiyasiga fizik ravishda javob berishdi, ammo HC reproduktsiyasiga kamroq bardoshli (-rasm). 3a, b). Xarajatlar shartlari bo'yicha olingan javoblar LC reproduktsiyasiga qaraganda HC reproduktsiyasiga nisbatan kichikroq reaktsiyani namoyish etdi (ikki qanotli Uiloksonning imzolangan darajadagi sinovi, P <3.2 × 10^-4, n = 70). Bashorat qilingan narxning neyronlarning ta'siriga ta'sirini qabul qiluvchining operatsion xarakteristikasi (ROC) tahlilidan foydalanib aniqladik. ROC egri chizig'i (auROC) ostida maydonning taqsimlanishi sezilarli darajada <0.5 ga teng edi (rasm). 3c; ikki qanotli Uiloksonning imzolangan darajadagi sinovi; P = 5.4 × 10^-4, n = 70), bu HC signallarining javoblari LC signaliga qaraganda kichikroq ekanligini ko'rsatmoqda. Bashorat qilingan narx ilgari bizning natijalarimizga mos keladigan dopamin neyronlarining faolligini kamaytirishi aniqlangan^22,23. Bundan tashqari, dopamin neyronlarining populyatsiyasi LC reproduktsiyasida sezilarli faollashuvni ko'rsatdi va shu bilan birga HC yoriqlarida sezilarli bostirish kuzatilmadi (Qo'shimcha rasm. 4c, g). Ushbu natijalar dopamin neyronlarini kodlash va xarajatlar manzarasini taqdim etish paytida mukofot va xarajat to'g'risidagi ma'lumotlarni birlashtirishni taklif qiladi.

Dopamin neyronlarining ta'siriga javob. a Dopamin neyronining vakili xarajatlar narxiga javob. Spike zichligi funktsiyalari maymun P dan yozilgan dopamin neyronining normalizatsiya qilingan faolligidan hisoblab chiqilgan. Rangli chiziqlar boshoq zichligi funktsiyalarini va rangli nuqtalar boshoq vaqtini bildiradi. Yashil va binafsha ranglar navbati bilan arzon va arzon narxlardagi sinovlarda faollikni ko'rsatadi. Vertikal chiziqda xarajatlarni ko'rsatish vaqtini ko'rsatadi. Kulrang maydon, otish tezligini hisoblash uchun davrni ko'rsatmoqda, bu holatga javob sifatida. b Dopamin neyronlarining maymun P-dan holatlar bo'yicha qayd qilingan populyatsion-o'rtacha faoliyati. Qattiq chiziqlar mos ravishda o'rtacha va SEMni bildiradi. c Rejalashtirilgan narxning neyronal reaktsiyaga sarf qiymatiga ta'sirini aniqlash uchun ROCs ostidagi hududlarni taqsimlash. To'ldirilgan kvadratchalar va ochiq doiralar mos ravishda P va S maymunlarining ma'lumotlarini bildiradi. O'q boshi auROC (0.47) medianasini ko'rsatadi. d, g Dopamin neyronining motivatsion qiymati turidagi vakillik javoblari (d) yoki dopamin neyronining sho'rlik darajasi (g) oldindan aytib bo'lmaydigan mukofot yoki havoni yutib yuborish uchun. Qizil va ko'k chiziqlar mos ravishda oldindan aytib bo'lmaydigan mukofotga va oldindan aytib bo'lmaydigan havo bo'shlig'iga javobni ko'rsatadi. Vertikal chiziq oldindan aytib bo'lmaydigan mukofot yoki havo puffini etkazib berish vaqtini ko'rsatadi. To'q qizil va ko'k kvadratchalar otishni o'rganish vaqtini oldindan aytib bo'lmaydigan mukofot yoki havo pufakchalariga javob sifatida hisoblashadi. e, h Dopamin neyronlarining motivatsion qiymati turidagi populyatsion-o'rtacha faoliyat (e) yoki dopaminli neyronlarning sho'rlik darajasi (h) oldindan aytib bo'lmaydigan mukofot yoki havoni yutib yuborish uchun. f, i Dofamin neyronlarining motivatsion qiymati turidan hisoblangan AuROClarning tarqalishi (f) yoki dopaminli neyronlarning sho'rlik darajasi (i). O'q uchlari auROClarning medianasini ko'rsatadi (f 0.48; i 0.46)

To'liq o'lchamdagi rasm

Ilgari dopamin neyronlarining ikkita ajralib turadigan turlari tavsiflangan: motivatsion qiymat va neyron neyronlar^28,29. Biz dopamin neyron populyatsiyasida ikkala pastki turga mos keladigan javob shakllari to'g'risida dalillarni topdik. Neyronlarning ahamiyatli turi havo pufagi qo'zg'atuvchilariga fazaviy bostirishni ko'rsatdi (rasm. 3d, e). Aksincha, shiddatlilik neyronlarning orqa miya stimulyatoriga fazali faollashuvi ko'rsatildi (rasm.). 3g, h). HC sinovidagi uzoq fiksatsiya ham yoqimsiz va aksincha; shu sababli, ikkita dopamin neyronining pastki turlari xarajatlar shartlariga qarab turli xil javob shakllarini ko'rsatishi mumkin. Agar dopamin neyronlari shunga o'xshash tarzda qo'zg'atuvchi stimulyatorni va narxni aks ettirsa, neyronlar qiymati HC replikatsiyasining faolligi pasayganligini ko'rsatishi kerak. Boshqa tomondan, sezuvchanlik neyronlarining faolligi HC replikatsiyasiga ko'payishi kerak, chunki ular yoqimsiz stimullarga ham ko'payadi. Biroq, ikkala turdagi neyronlarning qo'zg'atilgan javoblari LC reproduktsiyasiga nisbatan HC reproduktsiyasiga nisbatan kichikroq edi (ikki qanotli Uilkokson tomonidan imzolangan darajadagi sinov; P = 0.021, n = 41 va P = 0.0044, n = 29 qiymat va aniqlik turlari uchun navbati bilan) va ROC tahlili har ikkala pastki tipdagi LC belgisi bilan taqqoslaganda HC ga nisbatan kichikroq javoblarni ko'rsatdi. 3f, i; ikki qanotli Uiloksonning imzolangan darajadagi sinovi; P = 0.030, n = 41 va P = 0.0058, n = 29 qiymat va ravshanlik turlari uchun mos ravishda). Shunday qilib, taxmin qilingan xarajatlar dopamin neyronlarining ikkala pastki turlarida faollikni pasaytiradi. Ushbu natijalar shuni ko'rsatadiki, xarajatlar to'g'risidagi ma'lumotlar dopamin neyronlari tomonidan aversiv stimullarga nisbatan sifat jihatidan boshqacha tarzda qayta ishlanadi.

HLC saccade vazifasida biz LC sinovlarining bir qismiga muvaffaqiyat stavkalari va sinov turlari o'rtasidagi mukofot ehtimolini tenglashtirish uchun majburiy abortni kiritdik. Ushbu manipulyatsiya mukofot olishning noaniqligini yoki LC holatida mukofot olish xavfini oshirdi. Shuning uchun dopamin neyronlarining yuqori faolligi va maymunlarning LC uchun HC ko'rsatkichi bo'yicha bahosini oshirishi, xarajat shartlari o'rtasidagi xavf yoki noaniqlik farqiga bog'liq bo'lishi mumkin. Biroq, biz majburiy abortlar soni va RTlarning farqi o'rtasida hech qanday bog'liqlik topmadik (Qo'shimcha rasm). 5a, b) ni aniqladik va majburiy abortlar soni va auROC o'rtasida ijobiy bog'liqlikni topdik (qo'shimcha rasm. 5c). Biz shuningdek, dopamin ta'sirini abortdan keyingi xarajatlar va to'g'ri sinovlardan so'ng narxlarni taqqosladik, ammo har ikkala xarajat sharoitida ham farq topmadik (Qo'shimcha rasm). 5d). Ushbu natijalar shuni ko'rsatadiki, LK holatidagi majburiy abortlar soni baholashning oshishi yoki LK ni davolashda dopaminergik faollashishni kuchaytirmaydi.

To'lovli narx bo'yicha reputatsiya uchun dopamin ta'sirining kuchayishi

Yozib olingan dopamin neyronlari, mukofotga nisbatan fazik faollashishni va bostirishni va tegishli ravishda mukofotni bashorat qilishni xohlamasligini ko'rsatdi (rasm.). 2). Keyin, biz ushbu javoblar ilgari qilingan xarajatlarga qarab modulyatsiya qilinganligini baholadik. R ga kattaroq faollashishni namoyish etuvchi neyronlar va populyatsion o'rtacha neyronlarning misoli_HCR ga qaraganda replikatsiya_LC+ signal rasmda ko'rsatilgan Mos ravishda 4a va b. (ikki dumli Uilkoksonning imzolangan darajadagi sinovi; P = 7.4 × 10^-5, n = 70). AuROClarning tarqalishi> 0.5 ga teng, bu R ga bo'lgan javobni bildiradi_HC+ R dan kattaroq edi_LC+ replikatsiya (rasm). 4c; ikki qanotli Uiloksonning imzolangan darajadagi sinovi; P = 1.4 × 10^-4, n = 70). Ushbu natijalar shuni ko'rsatadiki, HC holatida mukofotni bashorat qiluvchi signalga javob LC holatiga qaraganda ancha katta. Shu sababli, bizning topilmalarimiz dopamin neyronlari tomonidan ifodalangan ijobiy-RPE signalining ilgari qilingan xarajatlarga ko'payishini ko'rsatmoqda.

Dopamin neyronining reaktsiyalarni davolash uchun javoblari. a R + ko'rsatmalariga neyronlarning javobi misol. Maydalangan zichlik funktsiyalari maymun P.dan qayd etilgan dopamin neyronining faolligidan hisoblangan. Rangli chiziqlar va nuqta mos ravishda boshoq zichligi va boshoq vaqtini ko'rsatadi. Sariq va pushti ranglar navbati bilan yuqori va arzon narxlardagi sinovlarda faollikni ko'rsatadi. Vertikal chiziq R + replikatsiya taqdimotining vaqtini ko'rsatadi. Kulrang rangli maydon, otishni o'rganish tezligini mukofotning javobiga javob sifatida hisoblash davrini ko'rsatadi. b Maymun P dan R + belgilariga qadar qayd etilgan dopamin neyronlarining populyatsiyaning o'rtacha faolligi. Qattiq chiziqlar va kesilgan chiziqlar mos ravishda o'rtacha va SEM ni bildiradi. c To'langan qiymatning neyronal reaktsiyaga ta'sirini aniqlash uchun AuROClarning tarqalishi R + ko'rsatmalariga. To'ldirilgan kvadratchalar va ochiq doiralar mos ravishda P va S maymunlarining ma'lumotlarini bildiradi. O'q boshi auROClarning medianasini (0.53) ko'rsatadi. d Vakilning javobi. Yashil va zangori ranglar navbati bilan yuqori va arzon narxlardagi sinovlarni ko'rsatadi. Vertikal chiziq Ruue namoyishi vaqtini ko'rsatadi. e Dopamin neyronlarining maymun P-dan Ru tillariga qadar qayd etilgan populyatsion-o'rtacha faoliyati. f To'langan qiymatning neyronal reaktsiyaga ta'sirini aniqlash uchun AuROClarni taqsimlash. Ko'rsatgich boshi auROC (0.50) medianasini ko'rsatadi.

To'liq o'lchamdagi rasm

Dopamin neyronlari, shuningdek, Ru fazalarini bostirishni ham ko'rsatdi (rasm). 4d, e). Biroq, dopamin neyronlarining Ru uchun javoblari xarajatlar funktsiyasi sifatida katta farqni ko'rsatmadi (ikki qanotli Uiloksonning imzolangan darajadagi sinovi; P = 0.25, n = 70) va ROC tahlili javobni taqsimlashda bir tomonga dalil bo'lganligini aniqlamadi (XNUMX-rasm). 4f; Wilcoxon tomonidan imzolangan darajadagi sinov, P = 0.35; n = 70). Shunday qilib, to'langan xarajatlar oldindan qaytarib berilmagan signallar tomonidan chiqarilgan salbiy-RPE signalida aks ettirilmadi. Bunga zaminning ta'siri sabab bo'lishi mumkin: dopamin neyronining o'z-o'zidan paydo bo'lishi past (5 Hz atrofida); va shuning uchun salbiy RPE reaktsiyasi uchun sarflangan xarajatlarning har qanday farqini etarli darajada kodlash uchun etarli dinamik diapazon bo'lmasligi mumkin (XNUMX-rasm). 4d, e).

Shuningdek, biz dopamin neyronlarining qiymati va xilma-xilligi turidagi dopamin neyronlarini to'lash xarajatlarining ta'sirini o'rganib chiqdik, ammo ikkala dopamin neyronlari ham o'zaro o'xshashlikni ko'rsatdi (qo'shimcha rasm 6a - soat). Shu sababli, to'langan xarajat dopamin neyronlarining qiymati va xilma-xilligi bo'yicha mukofotga oid javoblarga o'xshash ta'sir ko'rsatadi.

Maymunlarning fiksatsiyasining davomiyligi doimiy emas edi, ammo sinov asosida sinovdan o'tkazilib turlicha bo'lgan (4-rasm). 1b). Shu sababli, dopaminning mukofotga bo'lgan munosabati sinov tomonidan sinov asosida haqiqiy fiksatsiya muddati bilan modulyatsiya qilinishi mumkin edi. Biroq, har bir xarajat va mukofot shartlari bo'yicha ular o'rtasida biron bir muhim bog'liqlikni topa olmadik (Qo'shimcha rasm). 7a – d). Bundan tashqari, mukofotlarning qiymatini belgilash bo'yicha RT-lar ham xarajatlar va mukofot shartlari tomonidan modullashtirildi (rasm. 1f). Bitta ehtimollik shundaki, dopamin neyronlarining javoblarini sinovlar asosida sinov asosida mukofot berilishini RTlar tushuntirishi mumkin. Biroq, biz mukofot puliga berilgan dofamin va Dopaminning normallashtirilgan javoblari o'rtasida sezilarli bog'liqlikni topa olmadik (Qo'shimcha rasm). 7e-h). Ushbu natijalar shuni ko'rsatadiki, dopaminli javoblar ikkala TT va har bir sinov uchun mahkamlash muddati bilan bog'liq emas, ammo har bir sinov turi uchun belgilangan talab qilinadigan xarajat va kutilgan mukofot miqdori bo'yicha modulyatsiya qilinadi.

Bundan tashqari, LC holatidagi majburiy abortlar maymunlarning xohishlariga va dopamin neyronlarining faollashishiga, HC holatidagi mukofotga ta'sir ko'rsatishi mumkin. Agar shunday bo'lsa, majburiy abortlar soni afzal ko'rilishi va faollashtirilganlik darajasi bilan bog'liq bo'lishi kerak. Biroq, majburlangan abortlar soni maymunlarning afzal ko'rishiga yoki dopamin neyronlarining faollashuviga ta'sir ko'rsatmadi (Qo'shimcha rasm). 8). Shuning uchun, tezroq RTlar va R ga yuqori DA reaktsiyalari_HCR ga qaraganda replikatsiya_LC+ reproduktsiya LC holatida majburiy abort tufayli yuzaga kelmaydi.

Tushgan xarajatlar dopaminning mukofotni etkazib berishga bo'lgan javobini oshiradi

Dofamin neyronlarining R + shishlaridagi reaktsiyasi mukofotning javobidan kelib chiqishi kerak, chunki dopamin neyronlar o'zlarining javoblarini ogohlantiruvchi-mukofotli uyushmalarga nisbatan mukofotni bashorat qilish belgilariga o'zgartiradilar.^8,30. Shuning uchun, dopamin neyronlari mukofotni etkazib berish uchun to'lanadigan xarajatlarga bog'liq javob kuchaytirilishini namoyish etishini kutdik. Dopamin neyronining faolligini mukofotni topshirish uchun o'lchash uchun, maymunlar ikki marotaba mukofot berish usullari bilan HLC noaniq vazifani bajarishdi (rasm). 5a). Taqdimotlarning yarmida mukofotlar topshirilganligi sababli, mukofotlar berilishi mukofotni topshirishni ishonchli yoki farqli ravishda bashorat qilmadi. Bu neyronlarning dopaminning (oldindan aytib bo'lmaydigan) mukofotni olishiga nisbatan sezgirligini oshirish uchun qilingan bo'lib, xarajatlarning funktsiyasi sifatida neyronlarning javob reaktsiyasida modulyatsiyani aniqlashga bo'lgan sezgirligimizni oshirish uchun qilingan.

HLC noaniq vazifa. a HLC noaniq vazifa. Ushbu vazifada, mukofot berilgan vaqtning 50% miqdorida mukofot beriladigan noaniq mukofotlar ishlatilgan, qaysi uslub taqdim etilishidan qat'i nazar, ishlatilgan. b Qimmat va arzon narxlardagi sinovlarda tannarxni aniqlash. Faqatgina maymun P HC reproduktsiyasiga qaraganda LC repetitsiyasiga tezroq RT ko'rsatdi (**)P <0.01; ikki dumli juft t sinov; t₄ = 9.0, P = 8.5 × 10^-4, n Maymun P uchun = 5; t₁₈ = 1.4, P = 0.19, n = 19 maymun uchun S). Qora doiralar va xato satrlari o'rtacha va SEMni bildiradi. c Qimmat va arzon narxlardagi sinovlarda mukofot pullaridan foydalanish uchun RT. TT-larda qimmat va arzon narxlar o'rtasidagi mukofot o'rtasida farq yo'q edi (ikki qanotli juftlashgan t sinov; t₄ = 0.97, P = 0.39, n Maymun P uchun = 5; t₁₈ = 0.99, P = 0.39, n = 19 maymun uchun S)

To'liq o'lchamdagi rasm

Narxlar bo'yicha taqqoslaganda, maymun P maymunni LC reproduktsiyasiga HC repetitsiyasidan ko'ra tezroq ko'rsatdi (rasm 8). 5b). Ikkala maymunda ham HC va LC holati o'rtasidagi mukofot miqdorida farqlar yo'q edi (rasm). 5c).

HLC noaniq vazifasida, dopamin neyronlar LC reputatsiyasiga nisbatan kam faollikni ko'rsatdi, ammo ular mukofot bashorat qilinmaganligi sababli mukofot ko'rsatmalariga javob bermadilar. 6a). Aholining har xil qismida, javoban berilgan javoblar LC ga qaraganda HC ga nisbatan kichikroq edi (rasm. 6b; ikki qanotli Uiloksonning imzolangan darajadagi sinovi; P = 2.7 × 10^-3, n = 19), va ROC tahlillari HC signaliga nisbatan kichikroq javoblarni ko'rsatdi (XNUMX-rasm). 6c; ikki qanotli Uiloksonning imzolangan darajadagi sinovi; P = 5.5 × 10^-3, n = 19). HC holatida mukofotni etkazib berishga neyronlarning reaktsiyasi LCdan kattaroq edi (rasm. 6d; ikki qanotli Uiloksonning imzolangan darajadagi sinovi; P = 0.036, n = 19). AuROClarning taqsimlanishi> 0.5 ni tashkil etdi, bu LC sinovlariga nisbatan HCda mukofotni etkazib berishga nisbatan katta javobni ko'rsatdi (XNUMX-rasm). 6e; ikki qanotli Uiloksonning imzolangan darajadagi sinovi; P = 0.049, n = 19). Ushbu natijalar shuni ko'rsatadiki, mukofotni etkazib berish javobi HC sinovida yaxshilanadi va pullik narx mukofotni etkazib berishda ijobiy-RPE signalini oshiradi.

Dopamin neyronining mukofotni topshirishga javobi. a HLCda dopamin neyronining vakili noaniq vazifa. Har bir rang shartlarni anglatadi (sariq: HC +, yashil: HC−, pushti: LC +, zangori: LC−). Sakkad boshlanishining vaqti kulrang xochlar bilan ko'rsatilgan. Ushbu dopamin neyronining oldindan aytib bo'lmaydigan mukofot va havo bo'shlig'iga bo'lgan javoblari ham o'ng panelda tasvirlangan (qizil: kutilmagan mukofot, ko'k: oldindan aytib bo'lmaydigan havo bo'shlig'i). b Dopamin neyronlarining populyatsiyaning o'rtacha faolligi S maymundan holatga qarab qayd etilgan. Yashil va binafsha ranglar navbati bilan arzon va arzon narxlardagi sinovlarda faollikni ko'rsatadi. Qattiq chiziqlar va kesilgan chiziqlar mos ravishda o'rtacha va SEM ni bildiradi. Kulrang maydon, vaziyatni ko'rsatadigan javob sifatida otishni o'rganish tezligini hisoblash uchun vaqt oynasini ko'rsatadi. c Prognoz qilinayotgan xarajatning nevronik reaktsiyaga bo'lgan xarajatlarning ta'siriga ta'sirini aniqlash uchun, AuROClarni taqsimlash. To'ldirilgan maydonlar maymun P (n = 3) va ochiq doiralar maymundan olingan ma'lumotlarni bildiradi S (n = 16). O'q uchi auROC ning medianini bildiradi (0.44). d Dopamin neyronlarining maymun S dan mukofotni topshirishgacha qayd qilingan populyatsion-o'rtacha faoliyati. Sariq va pushti ranglar navbati bilan yuqori va arzon narxlardagi sinovlarda faollikni ko'rsatadi. Kulrang rangli maydon, otishni o'rganish vaqtini mukofotni topshirishga javob sifatida hisoblash vaqtini ko'rsatadi. e To'langan xarajatlarning mukofotni topshirishga neyronal reaktsiyaga ta'sirini aniqlash uchun avroclarning taqsimlanishi. Ko'rsatgich boshi auROC (0.55) medianasini ko'rsatadi.

To'liq o'lchamdagi rasm

Bundan tashqari, biz mukofot yo'qligidan keyin dopamin javoblarini taqqosladik. AuROCs ob'ektiv ravishda taqsimlashni ko'rsatmadi, bu to'langan xarajat natijada salbiy RPElarga ta'sir qilmaganligini ko'rsatdi (Qo'shimcha sek. 9a). Dopamin neyronlarining R ga bo'lgan javoblari o'rtasida farq yo'q edi_HC va R._LC ko'rsatmalar (qo'shimcha sek. 9b).

Yuzaga kelgan xarajatlar o'rganish tezligini oshiradi

Yetkazib berishni mukofotlash uchun RPE-lar pullik narxga ko'payishini hisobga olib, RPE-larning rag'batlantiruvchi mukofotni o'rganishda vositachilik qilishda bevosita ishtirok etishi haqidagi gipotezaga binoan, biz rivojlangan RPE-larni o'rganish xatti-harakatlarida tezlashtirilgan o'quv tezligi orqali aks ettirishini kutdik.²⁴. Maymunlar o'rganish uchun pullik xarajatlarning ta'sirini sinab ko'rish uchun HLC tadqiqot ishlarini bajarishdi (rasm). 7a; qarang Metodlar). Ushbu vazifada bir vaqtning o'zida ikkita mukofot (R + va R−) taqdim etildi va maymunlar bittasini tanlashlari kerak edi. Sinov turlari orasida muvaffaqiyat darajasi va mukofot ehtimolini tenglashtirdik (ikki tomonlama juftlashgan) t sinov; t₄₈ = 0.15, P = 0.89, n Maymun P uchun = 49; t₈₅ = 1.2, P = 0.25, n = 86 maymun uchun S). RTlarni narx ko'rsatkichlari bilan taqqoslaganda, ikkala maymun ham LC signaliga HC signaliga qaraganda tezroq RT ko'rsatdi (XNUMX-rasm). 7b; ikki qanotli juft t sinov; t₄₈ = 12.9, P ≈ 0, n Maymun P uchun = 49; t₈₅ = 3.4, P = 9.4 × 10^-4, n = 86 maymun uchun S). RTlarni mukofot puli bilan taqqoslaganda, S maymun HC da LC holatiga qaraganda tezroq RT ko'rsatdi (XNUMX-rasm). 7c; ikki qanotli juft t sinov; t₄₈ = 1.3, P = 0.19, n Maymun P uchun = 49; t₈₅ = 2.8, P = 6.8 × 10^-3, n = 86 maymun uchun S). O'quv mashg'ulotining birinchi va ikkinchi yarmidagi RTlarni alohida-alohida taqqoslaganda, LC signaliga RTlar birinchi davridagi HC nishoniga nisbatan tezroq edi (Qo'shimcha rasm). 10a) va sessiyaning ikkinchi yarmi (Qo'shimcha sek. 10c). Aksincha, maymun S ning HC holatidagi mukofotga bo'lgan munosabati sessiyaning faqat ikkinchi yarmida LC holatiga qaraganda tezroq bo'lgan (qo'shimcha sek.) 10d), lekin birinchi yarmi emas (Qo'shimcha sek. 10b).

HLC qidirish vazifasi. a HLC qidirish vazifasi. Ushbu vazifada maymunlar har bir o'quv mashg'ulotida tasodifiy ravishda hosil bo'lgan R + va R− tanlovlarini tanlashlari kerak edi. Agar ular R + repetitsiyasini tanlasalar, ular mukofot olishlari mumkin va agar Ru-ni tanlasalar, mukofot olishmaydi. b Qimmat va arzon narxlardagi sinovlarda tannarxni aniqlash. Maymunlar tezroq RTlarni arzon narxlardagi ko'rsatdi (**P < 0.01; ikki dumli juft t sinov). Qora doiralar va xato qatorlari o'rtacha va SEMni bildiradi. c Qimmat va arzon narxlardagi sinovlarda mukofot pullaridan foydalanish uchun RT. Monkey S yuqori narxlardagi taqdirda tezroq RTlarni ko'rsatdi

To'liq o'lchamdagi rasm

HLC tadqiqotida har bir o'quv mashg'ulotida mukofot pullari tasodifiy shakllantirildi. Shuning uchun, har bir mashg'ulotda maymunlar mukofotlarning belgilari va mukofotlar o'rtasidagi bog'liqlikni o'rganishlari kerak edi. Sinovlar bir seans davomida davom etar ekan, maymunlar har bir xarajat sharoitida R + tanlovini ko'proq tanladilar (rasm). 8a). O'rganish tezligini aniqlash uchun biz ikkita erkin parametrni o'z ichiga olgan ma'lumotlarga kümülatif eksponent funktsiyani moslaymiz. a va bmos ravishda egri va platoning tekisligini bildiradi (qo'shimcha sek. 11a, b). Kesish parametrlari orasidagi jurnal nisbati (log a_HC/a_LC) noldan sezilarli darajada katta edi, bu LC sinovlariga qaraganda HC-da kattaroq tik parametr ekanligini ko'rsatdi (rasm.). 8b; ikki qanotli t sinov; t₄₈ = 2.1, P = 0.042, o'rtacha = 0.58, n Maymun P uchun = 49; t₈₅ = 2.5, P = 0.013, o'rtacha = 0.19, n = 86 maymun uchun S). Plato parametrlari orasidagi log nisbati (log b_HC/b_LC), noldan farq qilmadi, bu xarajatlar shartlari orasidagi farqni ko'rsatmadi (sek.). 8c; ikki qanotli t sinov; t₄₈ = 0.76, P = 0.45, o'rtacha = -0.0024, n Maymun P uchun = 49; t₈₅ = 0.56, P = 0.58, o'rtacha = 0.010, n = 86 maymun uchun S). Ushbu natijalar HC sinovlarida o'rganish tezligi tezroq ekanligini ko'rsatadi. Keyinchalik, biz mustahkamlash-o'rganish (RL) modeli yordamida o'rganish egri chiziqlarini modellashtirdik (qarang. Usullar). Ushbu model o'quv darajasi parametrlarini o'z ichiga oladi (α_HC va α_LC) va razvedka tezligi (β_HC va β_LChar ikkala xarajat shartlari uchun (Qo'shimcha sek. 11c, g). Xulq-atvorga moslashganda, o'qish tezligi parametrlari (log) o'rtasidagi o'zaro bog'liqlikni aniqladik α_HC/α_LC) noldan kattaroq bo'lib, bu LC sinovlariga qaraganda HCda o'qish tezligi ko'rsatkichi sezilarli darajada katta ekanligini ko'rsatdi (rasm.). 8d; ikki qanotli t sinov; t₄₈ = 2.3, P = 0.026, o'rtacha = 0.50, n Maymun P uchun = 49; t₈₅ = 2.2, P = 0.034, o'rtacha = 0.25, n = 86 maymun uchun S) parametr esa β farq ko'rsatmadi (rasm). 8e; ikki qanotli t sinov; t₄₈ = 0.77, P = 0.44, o'rtacha = 0.0097, n Maymun P uchun = 49; t₈₅ = 0.64, P = 0.52, o'rtacha = 0.038, n = 86 maymun uchun S). Bu erda biz har bir xarajat shartlari uchun o'rganish darajasi parametrlarini taxmin qildik (α_HC va α_LCHC holatida tezroq o'rganish tezligini tushuntirish uchun alohida. Ammo, agar o'qish darajasi narx shartlari o'rtasida bir xil bo'lsa, taxmin qilingan o'rganish darajasi parametrlari o'rtasidagi nisbat (α_HC/α_LC) HC holatida RPE uchun kuchaytiruvchi qiymat deb hisoblash mumkin. Shu sababli, ushbu natijalar RPE kuchaytirilishi HC holatida tezroq o'rganish tezligini tushuntirishi mumkinligini anglatadi.

O'rganish tezligi sinovi. a R va S maymunlarining o'rtacha o'rganish jarayoni R + tanlovlarining nisbati sinov vazifasi sifatida chizilgan. Yashil va binafsha ranglar navbati bilan yuqori va arzon narxlardagi sinov ma'lumotlarini ko'rsatadi. Nuqtali chiziqlar silliqlashtirilgan o'quv jarayonini anglatadi. Yig'ilgan eksponensial funktsiyalar ma'lumotlar nuqtalariga o'rnatildi va qattiq chiziqlar sifatida namoyish etildi. b Fiting parametrlari orasidagi jurnal nisbati a ma'lumotlar yuqori ekspluatatsion eksponensial funktsiyaga mos kelganda, yuqori va arzon narxlarda (*P <0.05; ikki quyruqli Uilkoksonning imzolangan darajadagi sinovi). Qora doiralar va xato satrlari o'rtacha va SEMni bildiradi. c Fiting parametrlari orasidagi jurnal nisbati b ma'lumotlar yuqori ekspluatatsion eksponensial funktsiyaga mos kelganda, yuqori va arzon narxlarda. d O'qish darajasi parametrlari orasidagi jurnal nisbati α ma'lumotlar yuqori va arzon narxlarda, ma'lumotlar mustahkamlashga o'rganish modeliga mos kelganda. e Mos keladigan parametr orasidagi jurnal nisbati β ma'lumotlar yuqori va arzon narxlarda, ma'lumotlar mustahkamlashga o'rganish modeliga mos kelganda

To'liq o'lchamdagi rasm

Biz, shuningdek, o'quv jarayonini maymunlarning har bir sinovda rag'batlantirish va mukofot o'rtasidagi antorrelyatsiyani bilishi mumkinligini hisobga oladigan alternativ RL modellari bilan tushuntirishga harakat qildik. Ushbu modellarda tanlanmagan variantning qiymati tanlangan variant bilan bir qatorda yangilanadi (Qo'shimcha sek. 12). Ma'lumotlarga bunday muqobil modellarni qo'llashda ham, o'qish tezligi parametrlari LC holatiga nisbatan HCda ancha katta edi (Qo'shimcha rasm. 12b, f) parametr bo'lganda β hech qanday farq ko'rsatmadi (Qo'shimcha sek. 12d, h). Shunday qilib, HC holatida RPE signalining kuchayishi haqidagi ma'lumotimiz ma'lumotlarga mos keladigan RL modeli ko'rinishida mustahkamdir.

Biz to'lanadigan xarajatlarning mukofotni bashorat qilish usullari qiymatiga va o'rta miya dopamin neyronlarining fazaviy reaktsiyalariga ta'sirini o'rganib chiqdik. Maymunlar katta xarajatlarga olib kelgan harakatni amalga oshirgandan so'ng, mukofotni bashorat qilishni istash uchun qo'shimcha narxlarni ko'rsatdilar. Dopamin neyronlarining narxi yuqori bo'lganidan so'ng, mukofotni bashorat qiladigan repetitorga va mukofotni etkazib berishga nisbatan yuqori ta'sir ko'rsatildi. Bundan tashqari, maymunlar ko'proq mukofot olish uchun ko'proq xarajat talab etilganda, o'rganish tezligini tezroq namoyish etdilar.

Bir nechta tadqiqotlar shuni ko'rsatadiki, to'langan xarajat mukofotni bashorat qiladigan uslub uchun afzalliklarni oshiradi^1,2,3. Ushbu ishda maymunlar LC holatidagi holatlarga qaraganda, HC holatidagi mukofotni bashorat qiladigan belgilarga tezroq RTlarni ko'rsatdilar, bu mukofotning qiymati qiymatini to'langan xarajatlar evaziga oshirish imkoniyatiga mos keladi.²⁷. Boshqa alternativa shundan iboratki, HC holatida pichoqni nishonga bo'lgan e'tiborni kuchaytirish bilan bog'liq bo'lgan fiksatsiyaning uzoqroq davomiyligi, shuning uchun HC sinovida uzoqroq fiksatsiya qilinganidan keyin RTlarning kamayishi. Biroq, HLC noaniq vazifasida HC va LC sinovlaridagi R ko'rsatkichlari o'rtasidagi farqni topmadik. Bundan tashqari, HLC tadqiqot sessiyasining birinchi yarmida. R gektaridagi RTlar HC va LC sinovlari o'rtasida unchalik farq qilmadi. Shunday qilib, ushbu topilmalar shuni ko'rsatadiki, uzoqroq fiksatsiya mukofotni bashorat qilishda kuzatilgan qisqa RTlar uchun izoh emas. To'langan xarajatlarning mukofot pullariga ta'siridan tashqari, xarajatlar RT'larni oldindan aytib bo'lmaydigan narsalarga ham ta'sir qildi, garchi repetitorlik taqdimotlaridan keyin hech qanday mukofot berilmagan bo'lsa ham. Oldingi tadqiqot shunga o'xshash hodisa haqida xabar bergan edi, shunda maymun sub'ektlari har bir blok ichidagi muqobil sinovlarda ko'proq imtiyozli mukofotlar ishlatilganda, qayta yuborilmagan sinovlarda qisqa RTlarni namoyish etishgan.³⁰. Ushbu tadqiqotning ta'sirini bitta talqini shundan iboratki, blokda ko'proq imtiyozli mukofotlarga ega bo'lgan blokda javob berish uchun, shuningdek, ushbu blok ichidagi mukofotlarning yo'qligiga ham javob berish uchun ko'proq yuqori motivatsiya. Shunga o'xshab, ushbu ishda, HC sinovlarida yanada qimmatbaho mukofotni kutish bizning vazifamizda HC sinovlarida mukofotlarning yo'qligi uchun RTlarni modullashtirgan bo'lishi mumkin. Bundan tashqari, to'langan xarajatlarning mukofot pullariga bo'lgan ta'siri mukofotni bashorat qilinadigan seanslarga qaraganda kichikroq bo'lgan. Bu maymunlarning Rga tezroq xalat yasaganligi sababli, ehtimol bu artefaktdir_LCbirinchi navbatda, replikatsiya, R ning R ga qisqarishini aniqlash uchun hajm kamayadi_HC+ replika. Shunday qilib, R + tuslari orasidagi RT qiymatining farqi natijada kichik bo'lishi mumkin edi.

Maymunlar, shuningdek, R o'rtasida tanlov sinovlarini o'tkazdilar_HC va R._LC HLC vazifasida gapirish. Biroq, maymun S R uchun ustunlikni ko'rsatdi_HCR ga murojaat qiling_LC+ cue, maymun P bunday ustunlikni ko'rsatmadi. Ushbu tafovutni HLC qoplamasi va tanlov sinovlari o'rtasidagi kontekstual farq bilan izohlash mumkin. Tanlov sinovlarida bitta mukofotni bashorat qilish vositasi o'rniga ikkita mukofotni bashorat qilish usullari taqdim etildi. Bundan tashqari, maymunlar o'zlari tanlaganlaridan keyin hech qanday mukofotga ega bo'lmadilar, garchi ular mukofotni bashorat qiladigan uslubni tanlagan bo'lsalar ham, tanlov sinovlari yo'q bo'lib ketayotgandi. Maymunni yo'q qilish protsedurasi, maymunning tanlovi sinov sinovlarida yangi o'rganish bilan chalkashib ketishdan farqli o'laroq, mashaqqatli sinovlarda o'rganilgan narsalarga asoslanganligini ta'minlash uchun amalga oshirildi. Biroq, ushbu protsedura yon ta'sir qilishi mumkin, maymun tezda yo'q bo'lib ketish protsedurasini tanlangan kontekstda tanib olishni tezda o'rganishi mumkin va afzal qilingan ogohlantirishlarni tanlash uchun hech qanday sabab yo'q. Shunga qaramay, maymunlardan biri aslida HC holatida mukofotni afzal ko'rishini ko'rsatdi.

Keyingi xarajatlarni to'lash bo'yicha talabni bashorat qiladigan kyu taqdim etilganida, dopamin neyronlarining faolligi oldingi izlanishlarga muvofiq kamaydi.^22,23. Tadqiqotimizda biz dopamin neyronining HC va LC ko'rsatkichlariga nisbatan bazal darajaga nisbatan umuman pasayishini kuzatmadik. Bu shundan dalolat beradiki, manfiy-RPE signal quyidagi qiymatga qaramasdan o'sha vaqtda qabul qilinmaydi. Salbiy RPE-ning yo'qligi, keyinchalik sudda kutilayotgan kelajak mukofoti haqidagi bashoratning birlashishini aks ettiradi. Dopamin neyronlari LC sinovida sezilarli faollashuvni ko'rsatdi va faollik HC sinoviga qaraganda yuqori bo'ldi. Bu xarajat to'g'risidagi ma'lumot dopamin neyronlar tomonidan olib boriladigan RPE signaliga kiritilganligini anglatadi. Shunday qilib, dopamin neyronlari mukofot va xarajat ma'lumotlarini ham kodlaydi va RPE javobi xarajat va mukofot summasini aks ettiradi.

Biz dopamin neyronlarining vakili bo'lgan RPE signalini mukofot kue taqdimoti (HLC pakana vazifasida) va mukofotni etkazib berish (HLC noma'lum vazifasida) to'langan xarajat bilan kuchaytirilishini ko'rsatdik. HC va LC sinovlarida berilgan mukofotning ob'ektiv miqdori teng edi; shuning uchun RPE signallarining o'zgarishi bema'nilik jarayonidan kelib chiqishi kerak. Ushbu imkoniyat, dopamin neyronlaridagi sub'ektiv qiymat va / yoki foydali dasturni qayta ishlashga mos keladigan dopamin RPE signallariga kontekstual ta'sir ko'rsatadigan bir necha tadqiqotlar tomonidan qo'llab-quvvatlanadi.^{11,19,20,21,31,32,33,34}. Agar RPE signali kattaroq bo'lsa, bu signalni tezroq yangilashni talab qilishi kerak, bu esa rag'batlantiruvchi-mukofotli uyushmalarning o'rganish tezligiga ta'sir qiladi. Oldingi izlanishlar o'rganish tezligining befoyda omillarga bog'liqligini ko'rsatdi^24,35. Shunga muvofiq, maymunlar LC holatiga nisbatan HCda tezroq o'rganish tezligini namoyish etdilar. Pulli xarajatlar bo'yicha rivojlangan o'quv tezligini RPE bilan takomillashtirilgan RL modeli bilan izohlash mumkinligini aniqladik. Amaliyotda RPE va ortib borayotgan o'rganish tezligini ta'sirini ajratish qiyin edi; ammo, biz HC holatida kuchaytirilgan dopaminergik RPE signalini topdik. Bundan tashqari, oldingi fMRI tadqiqoti shuni ko'rsatdiki, o'qish darajasi parametrlari oldingi kingulyatsiya korteksida joylashgan va VTA faoliyati uchuvchan muhitda o'rganish darajasi parametriga bog'liq emas.³⁶. Shuning uchun, biz dopamin neyronlar bilan kodlangan RPE signalini pulli xarajat bilan kuchaytiramiz va ortib borayotgan RPE signali o'rganish tezligini oshiradi deb ta'kidlaymiz.

RPE signali mukofotni taqdim etish va mukofotni topshirish paytida paydo bo'lganida, maymunlar allaqachon xarajatlarni to'lagan edi. Shu sababli, rivojlangan RPE signalining mumkin bo'lgan mexanizmlaridan biri shundaki, HC dan keyin olingan mukofot ko'proq foyda keltirishi mumkin. HCdan keyin yanada qimmatbaho mukofotga bo'lgan umidning oshishi sud jarayonini tugatish uchun motivatsiyani kuchaytirishi mumkin va shu bilan HC sinovlarida mukofot miqdorini qisqartirishi mumkin.

Bizning natijalarimizning yana bir talqini shundan iboratki, qimmatbaho xatti-harakatlarning to'xtatilishi natijasida yuzaga kelgan yordam maymunlarga mukofot sifatida xizmat qilishi mumkin. Funktsional magnit-rezonans tomografiya (fMRI) tadqiqotlari og'riqni yo'qotish inson ishtirokchilari uchun mukofot bo'lishi mumkinligini ko'rsatdi^37,38; Shu sababli, og'riq og'riqni qo'zg'atuvchi stimul sifatida shunga o'xshash rol o'ynashi mumkin. Agar narxdan xalos bo'lish foydali bo'lsa va bu dopaminergik ta'sir ko'rsatadigan bo'lsa, biz dopamin neyronlari uzoq fiksatsiya oxirida javob berishini kutamiz, bu mukofotni taqdim etish vaqti. Biroq, biz mukofotni taqdim etish vaqtida dopaminergik faollikdagi har qanday farqni yoki HLC va LC sinovlari o'rtasida HLCda noaniq vazifani bajarishda R qiymatidagi farqni ko'rmadik. Shuning uchun, biz dopamin neyronlaridagi kuzatgan ta'sirimiz uchun etarli darajada izoh berolmaydigan narxdan xalos bo'lish taklif qilamiz.

Bundan tashqari, dopamin neyronlari, aversiv stimulga narxni bashorat qilish bilan taqqoslaganda, sifat jihatidan turli xil javoblarni ko'rsatdi. Buning mumkin bo'lgan bir izohi shundan iboratki, kuch sarf-xarajati havoni yutish yoki mukofotga nisbatan kam bo'lgan, chunki maymunlar fiksatsiyasini amalga oshirgan va punktatsiya qilmaganlari uchun vaqtni bir necha soniya davomida vaqtincha uzaytirishgan. Shu sababli, dopamin neyronlari kamroq arzon narxlardagi istaklar uchun faollashtirilmagan bo'lishi mumkin. Yana bir ehtimollik shundaki, dopamin neyronlarining xayolparastlik turi ba'zi harakatlar boshlanganidan keyin sodir bo'lgan voqealarga javob beradi. Mukofot yoki havo pirogi maymunlarga topshirilganda, ular yalang'ochlash yoki ko'zning miltillashi kabi ba'zi harakatlar qilishadi. Biroq, HLC muqovasi vazifasida maymunlar hech qanday harakat qilmasdan fiksaj nishoniga qarashlari kerak edi. Aslida, yaqinda o'tkazilgan tadqiqot shuni ko'rsatdiki, yadroda dopamin ajralib chiqishi, mukofotni bashorat qiladigan kupe paydo bo'lgandan keyin, agar harakat to'g'ri boshlanmasa, kuchayadi.³⁹. Bizning tajribalarimizdagi xarajatlar harakatni boshlash bilan bog'liq bo'lmaganligi sababli, bu dopamin neyronlarining turg'unlik turiga javoban olib kelishi mumkin. Qanday bo'lmasin, biz xarajatlar to'g'risidagi ma'lumot turli ma'lumotlardan farqli ravishda ishlov beradi, degan xulosaga kelishimiz mumkin.

Xulosa qilib aytganda, biz to'langan xarajat mukofotni bashorat qilish usullarining qiymatini oshiradi va bu o'z navbatida o'rta miya dopamin neyronlarida kodlangan RPE signalini oshiradi. Bu ta'sir, HC tajribasidan so'ng, hayvonlarning o'rganish darajasi mukofotni bashorat qilish uchun kuchaytirilishini taxmin qilishiga olib keldi. Bu, albatta, biz kuzatgan narsadir. Shunday qilib, dopamin neyronlarining faolligi bo'yicha bizning kuzatishlarimiz xulq-atvor effekti, shuningdek, ushbu ta'sirning asosini ko'rsatadigan hisoblash mexanizmi mavjudligini taxmin qilishimizga olib keldi, biz buni keyinchalik tasdiqladik. Shunday qilib, bizning topilmalarimiz neyron ma'lumotlarini o'lchash, hisoblash nazariyasi va xulq-atvori o'rtasida triangulyatsiya qanday sodir bo'lishi mumkinligini ko'rsatmoqda: miyada neyronal ishlov berishni chuqurroq tushunish xulq-atvor va uning asosiy hisoblash asoslari to'g'risida tushuncha berishi mumkin.

Hayvonlar

Biz ikkita erkak yapon maymunidan foydalandik (Macaka fuscata; tana og'irligi, 6.5 kg = maymun P; tana og'irligi, 9.0 kg = maymun S). Maymunning bosh suyagining tepasiga bosh postni joylashtirdik, shunda uni keyinchalik stulga osib qo'yishdi. Elektrodli mikromanipulyatorni o'rnatishga imkon beruvchi yozuv kamerasi ham joylashtirildi. Yozish kamerasi 45 ° burchak ostida, koronal tekislikda joylashtirildi va stereotaksik koordinatalarda joylashtirildi: 15 mm tashqi kanalning old tomonida. Qayta tiklanish davridan so'ng, maymunlar pakana vazifasini bajarishga o'rgatildi. Treningni tugatgandan so'ng, biz elektrod kiritish uchun yozuv kamerasi ichidagi bosh suyagi orqali teshik qazdik. Barcha hayvonlarni parvarish qilish protokollari Tamagava universitetining Hayvonlar eksperiment qo'mitasi tomonidan tasdiqlangan va Laboratoriya hayvonlarini parvarish qilish va ulardan foydalanish bo'yicha Sog'liqni saqlash milliy institutiga moslangan.

Xulq-atvor vazifasi

Maymunlar HLC pichoqlash vazifasini bajarishga o'rgatilgan (rasm). 1a), HLC noaniq vazifa (rasm). 5a) va HLC qidirish vazifasi (rasm.). 7a). Barcha vazifalar qorong'i xonada bajarilgan. Maymunlar 22-ning oldidagi stulga o'tirishdi. LCD monitor (S2232W, Eizo) stulga o'rnatilgandagi bosh ustunlari bilan. Ularning ko'zlari bilan displey orasidagi masofa 70 sm edi. Displeyning markazida boshlang'ich belgisi (oq doira, diametri 0.3 °) ko'rsatilganida, maymundan signalga qarab turish kerak edi. Ishga tushirish belgisi 750 milodiydan keyin g'oyib bo'ldi va keyin narx ko'rsatkichi taqdim etildi (navbati bilan HC va LC sinovlari uchun yulduz va shamol tegirmoni). Maymunlardan 750 milodiy signal taqdimotida xarajatlarni hisobga olish kerak edi. Agar ular bu signalga rioya qilmagan bo'lsalar, sud jarayoni bekor qilindi va yana o'sha sud jarayoni boshlandi. HC sinovlari paytida fiksatsiya maqsadi (0.3 ° × 0.3 ° oq kvadrat) 2000 ms (HLC saccade va HLC noaniq vazifalari) yoki 1500 ms (HLC tadqiqot vazifasi) uchun xarajatlar ko'rsatkichi yo'qolganidan keyin taqdim etildi va maymunlar talab qilindi. unga sakrash va unga qarashlarini saqlab qolish. Agar maymunlar o'zlarining qarashlarini 4 ° × 4 ° fiksaj oynasidan tashqariga o'tkazsalar, vazifa bekor qilindi. Fiksatsiya oynasi fiksatsiya nuqtasi taqdimotidan so'ng 400 msda faollashtirildi, chunki maymunlar sakkada tayyorlashga va ularning fiksatsiyasini sozlash uchun vaqt kerak edi. Shuning uchun, maymunlar HC sinovlarida kamida 1600 ms (HLC saccade va HLC noaniq vazifalari) yoki 1100 ms (HLC tadqiqot vazifasi) ni tuzatishi kerak edi. LC sinovlarida 1500 ms (HLC saccade va HLC noaniq vazifalar) yoki 1000 ms (HLC Exploration task) uchun bo'sh ekran ko'rsatildi va keyin 500 ms uchun fiksatsiya maqsadi paydo bo'ldi. Fiksatsiya oynasi fiksatsiya punkti taqdimotidan so'ng 400 milodiy faollashtirilganligi sababli, maymunlardan LC sinovlarida kamida 100 milodiy nishonga o'rnatilishi kerak edi. Maymunlar HC sinovida ko'proq xatolarni namoyish etishdi; shu sababli, majburiy abort, tasodifiy ravishda mukofot nishoni taqdimotidan oldin (fiksatsiya oynasining boshlanish vaqti bo'lgan fiksatsiya maqsadining taqdimotidan keyin 100 milodiy) muvaffaqiyat darajasini tenglashtirish uchun LC sinovida kiritildi. Maqsadni aniqlagandan so'ng, bitta yoki ikkita mukofot belgisi taqdim etildi va maymunlardan signalga sakrash talab qilindi. Agar ular mukofot puli uchun sakkadni muvaffaqiyatli bajarishgan bo'lsa, mukofot belgisi taqdim etilganidan keyin 400 milodiy signal eshitildi. Maymunlar R + signaliga sakkad yasaganlarida, signal signallari bilan bir vaqtda 750 ml suv etkazib berildi. Ular Rue signaliga sakrad qilishganda hech qanday mukofot berilmadi.

HLC muqaddas vazifasida to'rtta rangli doira mukofot sifatida ishlatilgan (R.)_HC+: sariq; R_HC-: yashil; R_LC+: pushti; R_LC-: ko'k; Anjir. 1a). Bitta eksperimental mashg'ulot 80 ta sakkad sinovlaridan, 20 ta oldindan aytib bo'lmaydigan mukofot sinovlaridan, 20 ta oldindan aytib bo'lmaydigan havo puf sinovlaridan va 5 ta tanlov sinovlaridan iborat edi. Sakkada sinovlari 40 ta HC sinovlari va 40 ta LC sinovlarini o'z ichiga olgan bo'lib, ularning ikkalasi ham 20 ta mukofot sinovlarini va 20 ta mukofot sinovlarini o'z ichiga olgan. Kutilmagan mukofot yoki havo pufi sinovlarida 0.3 ml suv mukofoti yoki 0.2 MPa havo pufagi (maymun P uchun 150 ms; maymun S uchun 200 ms) maymunlarning yuziga hech qanday to'siqsiz etkazilgan. Tanlov sinovlariga maymunlar R + signallari (R) o'rtasida tanlov o'tkazgan sinov kiritildi_HC+ va boshqalar_LC+) HC sinovida, Ru (R) o'rtasida_HC- R va boshqalar_LC-) HC sinovida, R + (R) orasida_HC+ va boshqalar_LC+) RC (R) orasidagi LC tekshiruvidagi ko'rsatmalar_HC- R va boshqalar_LC-) LC tekshiruvida va xarajatlar o'rtasida (Qo'shimcha sek.). 1). Taqdirlash tanlovi o'rtasida tanlov mavjud bo'lgan sinovlarda, vazifalar tarkibi mukofotni taqdim etishdan oldin, vazifa tarkibi o'xshash edi. Keyingi, mukofot uchun ko'rsatuvni taqdim etish o'rniga, tanlov sinovlarida ikkita mukofot so'zi taqdim etildi va agar maymunlar R + Cues orasida tanlov qilgan bo'lsa ham, mukofotni taqdim etishdan keyin hech qanday mukofot berilmadi.

Dopamin neyronlarining mukofotni etkazib berishga javobini sinab ko'rish uchun maymunlar HLC noaniq vazifani bajarishdi (rasm). 5a). Bu vazifa, HLC piyodalari vazifasiga o'xshardi, mukofotlardan tashqari. Ushbu vazifada biz ikkita mukofot usulidan foydalandik (HLC pakana vazifasida ishlatiladigan to'rtta mukofot o'rniga), biri HC sinovi uchun, ikkinchisi LC sinovi uchun. Taqdirlash marosimi o'tkazilgandan so'ng mukofot sinovlarning yarmida topshirildi. Bitta eksperimental sessiya 80-ning muqaddas sinovlari, 20-ning oldindan aytib bo'lmaydigan mukofot sinovlari va 20-ning oldindan aytib bo'lmaydigan havo yutish sinovlaridan iborat edi. Sakkad sinovlari 40 HC sinovlarini va 40 LC sinovlarini o'z ichiga oldi, ikkalasi ham 20 mukofot sinovlarini va 20 mukofot sinovlarini o'tkazmadi. Oldindan kutilmagan sinovlarda mukofot yoki havo puffi hech qanday sababsiz etkazildi.

HLC kashfiyotida ikkita mukofot so'rovi (R.)_HC+, R_HC- yoki R_LC+, R_LC-) bir vaqtning o'zida taqdim etildi va maymunlardan mukofotning bir qismiga o'tishi kerak edi (rasm). 7a). Agar ular "R +" uslubini tanlasalar, ularga suv mukofoti berildi. To'rtta mukofot belgisi (R_HC +, R_HC-, R_LC +, R_LC-) har bir qidiruv seansi uchun tuzilgan va maymunlardan ular o'rtasidagi bog'liqlikni o'rganish va sinov orqali sinovdan o'tish kerak edi. Bitta tajriba sessiyasi 100 HC sinovlari va 100 LC sinovlaridan iborat edi. Tadqiqot vazifasi uchun, agar biz HC holatida 2000 ms ni fiksatsiya vaqtini boshqa vazifalardagi HC holatining davomiyligiga moslashtiradigan qilib belgilab qo'ysak, maymunlar bu vazifani juda past muvaffaqiyat darajasi bilan bajargan bo'lishi mumkin, chunki. vazifaning qiyinligi va / yoki natijada past mukofot darajasi. Shuning uchun, vazifaning qiyinchiliklarini kamaytirish va muvaffaqiyat tezligini oshirish uchun biz HLC kashfiyoti uchun xarajat sifatida 1500 ms fiksatsiya vaqtini ishlatdik.

Vazifalar tijoratda mavjud bo'lgan dasturiy ta'minot to'plami (TEMPO, Reflective Computing, Sent-Luis, MO, AQSh) yordamida boshqarildi. Vizual stimulni namoyish qilish uchun amaliy dasturlash interfeysi (OpenGL) dan foydalangan holda tayyorlangan dastur ishlatilgan. Mualliflar tomonidan xarajatlar va mukofotlar uchun vizual stimullar yaratildi.

Yozib olish va ma'lumotlarni yig'ish

Maksia nigraning joylashuvi MR tasvirlari yordamida aniqlandi. Epoksi bilan qoplangan volfram elektrod (shank diametri, 0.25 mm, 0.5 Hz, FHC bilan o'lchanadigan 1.5 - 1000 M)) mikromanipulyator (MO-972, Narishige, Tokio, Yaponiya) yordamida yozuv kamerasiga o'rnatildi. zanglamaydigan hidoyat naychasi. Voltaj signallari kuchaytirildi (× 10,000) va filtrlandi (0.5 – 2 kHz). Bitta neyronning harakat potentsiali shablonga mos keladigan algoritm yordamida ajratilgan (OmniPlex, Plexon, Dallas, TX, AQSh). Ko'z harakati infraqizil kamera tizimi tomonidan 500 Hz (iView X Hi-Speed ​​Primate, SMI, Teltow, Germaniya) namuna olish tezligida kuzatildi. Harakatlar potentsiali va xulq-atvor voqealari vaqtlari 1 kHz vaqt o'lchamlari bilan qayd etildi.

Ma'lumotlarni tahlil qilish

Maymunlarning fe'l-atvorini tahlil qilish uchun, RTlar stimulyatorning boshlanishi va maymunlarning xochni qo'zg'atgan vaqti o'rtasidagi vaqt oralig'i sifatida aniqlandi. Sakkadajning qo'zg'atilishi, kiyinishni taqdim etishdan oldin, ko'rish pozitsiyasi 5 standart o'rtacha sapmalardan oshib ketgan vaqtni hisoblash bilan aniqlandi.

HLC tadqiqotida maymunlarning tanlov xatti-harakati kümülatif eksponensial funktsiyani o'rnatish orqali aniqlandi. Funktsiya (P) to'g'ri tanlov nisbati quyidagicha tavsiflanadi: