Арзиши гирифтани мукофот сигналҳои хатогии пешгӯии мукофотро аз нейронҳои допаминии допаминии (2019) баланд мекунад

табиат алоқа

ҳаҷми 10, Рақами мақола: 3674 (2019) | Download Citation

мавҳум

Нейронҳои допаминии Midbrain рамзгузорӣ кардани хатогиҳои пешгӯии мукофот (RPE) мебошанд, ки барои нав кардани пешгӯиҳои арзиш истифода мешаванд. Дар ин ҷо, мо дида мебароем, ки оё сигналҳои RPE, ки нейронҳои допаминии мобайнии мудаввар карда шудаанд, аз ҳисоби хароҷоти ба даст овардани мукофот, бо сабти аз нейронҳои допамин дар маймунҳои ҳушёр ҳангоми иҷрои як супориши вазнин, ҷӯр карда мешаванд. Вокунишҳои нейронии допамин ба пешгӯӣ кардани мукофот ва таҳияи мукофот пас аз иҷрои як амали гарон нисбат ба амали камтар арзон шуданд ва ба он ишора карданд, ки RPE пас аз иҷрои амали арзанда такмил дода шуданд. Дар сатҳи рафтор, иттиҳодияҳои ҳавасмандкунӣ-мукофот пас аз иҷрои як амали гаронбаҳо дар муқоиса бо амалиёти камтар хароҷот зудтар омӯхта мешаванд. Ҳамин тариқ, маълумот дар бораи арзиши амал дар системаи мукофоти допаминӣ тавре тартиб дода мешавад, ки сигнали допаминии RPE-и зеринро такмил диҳад, ки дар навбати худ дар шароити арзишашон омӯзиши зудтар мусоидат мекунад.

Муқаддима

Одамон ва ҳайвонҳо мукофоти пас аз саъйи кӯтоҳтарро барои гирифтани онро бартарӣ медиҳанд.1,2,3. Барои ин натиҷаҳо як қатор тавзеҳот ба монанди асосноккунии саъю кӯшида оварда шудаанд4,5 ва таъсири контраст6, ки дар он арзиши бузургтар ба натиҷаи пас аз саъю кӯшиш ба даст омадааст. Аммо, номуайян боқӣ мондааст ва чӣ гуна коркарди иттилооти мукофот дар майна тавассути талоше, ки барои гирифтани мукофот сарф шудааст, модул карда шудааст.

Мо махсус ба системаи допаминии мобрейн тамаркуз кардем, бо назардошти нақши ин система дар пешбурди мутобиқати рафтор ба мукофот7,8,9. Нейронҳои допамин маълуманд, ки сигналҳои хатогии пешгӯии мукофотро (RPE) нишон медиҳанд, ки ба омӯхтани пешгӯиҳои мукофот аз тарафи ganglia basal мусоидат мекунанд.10,11,12,13,14,15,16,17. Қувватнокии НММ аз миқдор, сифат ва арзиши субъективӣ ё судмандии мукофот вобаста аст7,18,19,20,21. Ғайр аз он, фаъолияти допаминергия аз ҳисоби хароҷот ва / ё саъю кӯшиш ба танзим оварда мешавад22,23. Дар ин замина, мо пешниҳод кардем, ки сигнали допаминергияи RPE аз ҳисоби хароҷоти барои мукофот гирифташуда мустақиман танзим карда шавад. Ғайр аз ин, азбаски сигнали RPE ба миёнаравии омӯзиши ассотсиатсияҳои ҳавасмандкунанда-мукофот вобаста аст24,25,26, мо гумон доштем, ки хароҷот барои гирифтани мукофот бевосита суръати омӯзишии иттиҳодияҳои ҳавасмандкунанда ва мукофотро зиёд мекунад.

Барои санҷидани фарзияҳои мо, мо ҳам рафтор ва ҳам фаъолияти допаминергияро дар ду маймуни ҷопонӣ чен карда будем, вақте ки онҳо супориши саъю кӯшиши асосиро иҷро карданд. Маймунҳо ба оҳанги пешгӯишавандаи мукофот, ки пас аз амали гарон (HC) пешниҳод мешавад, зудтар муносибат мекунанд, дар муқоиса бо амалҳои камхарҷ (LC). Фаъолияти нейронҳои dopaminergic ба ороишҳои пешгӯишаванда аз ҳисоби арзиши пардохтшуда зиёд карда мешавад. Илова бар ин, суръати омӯзиш ба иттиҳодияи ҳавасмандгардонӣ-мукофот инчунин аз ҳисоби арзиши пардохтшуда такмил дода мешавад. Аз ин рӯ, мо пешниҳод менамоем, ки хароҷоти барои гирифтани мукофот пардохташуда сигнали RPE-ро дар нейронҳои допамин афзоиш медиҳад ва ба ин васила иттиҳодияҳои ҳавасмандгардонӣ ва мукофотро афзоиш медиҳад.

Натиҷаи

Вазифаи қавӣ ва камарзиш (HLC)

Барои санҷидани таъсири хароҷоти пардохтшуда ба рафтор ва ба фаъолияти допамин нейрон, маймунҳо бо ду шароити арзиш вазифаи ҷудошударо иҷро карданд (расми 15). 1a, ниг. Усулҳо). Дар озмоишҳои HC, маймунҳо ба зудӣ ҳадафи ҷудошаванда сохтанд ва чашмони худро ба он нигоҳ накарда бе муддате дароз нигоҳ доштанд (расми 15). 1b; хатҳои сабз). Баръакси ин, дар озмоишҳои LC маймунҳо қабл аз ислоҳ кардани муддати кӯтоҳ ба онҳо озодона нигаристанд (расми 8). 1b, хатҳои арғувон). Азбаски нигоҳ доштани як тасвири дароз барои маймунҳо душвор аст, онҳо ҳангоми таъхири озмоишҳои HC ба хатогиҳои бештар роҳ доданд (расми 8). 1c). Барои назорат кардани фарқияти минбаъдаи эҳтимолияти мукофот байни озмоишҳои HC ва озмоишҳои LC, мо дар қисме аз озмоишҳои LC бо мақсади баробар кардани суръати муваффақият ва эҳтимолияти мукофот байни намудҳои озмоиш, исқоти маҷбуриро ҷойгир кардем (Расми 15). 1d).

Намоиши 1
fig1

Вазифаи HLC saccade. a Вазифаи saccade HLC. Нишондиҳандаҳои хароҷот (C cue) миқдори кӯшишҳоро барои ба даст овардани мукофоти эҳтимолӣ талаб мекарданд. Дар давраи таъхир дар озмоишҳои гаронарзиш тасҳеҳи тӯлонӣ лозим буд. Нишони мукофот (R cue) нишон медиҳад, ки оё маймунҳо метавонанд мукофот гиранд ё не. b Давраи вақти кунҷи нуқта дар давраи таъхир. Панелҳои болоӣ ва поёнӣ мутаносибан кунҷҳои горизонталӣ ва амудиро нишон медиҳанд. Хатҳои сабз ва арғувонӣ кунҷи нигарониро дар озмоишҳои гаронбаҳо (озмоишҳои 50 дар ҳар як панел) ва озмоишҳои арзон (мурофиаҳои 50 дар ҳар як панел) нишон медиҳанд. c Миқдори хатоҳо дар давраи таъхир дар озмоишҳои арзон ва арзон (**P < 0.01; ҷуфт t озмоиш; t67 = 8.8, P = 4.8 × 10-15, n = 68 барои Monkey P; t83 = 26.6, P ≈ 0, n = 84 барои Маймун S). Доираҳои сиёҳ ва сутунҳои хатогӣ маънои миёна ва SEM -ро нишон медиҳанд. d Сатҳи муваффақият дар озмоишҳои арзон ва камхарҷ (ҷуфтҳои дуҷониба t озмоиш; t67 = 0.51, P = 0.61, n = 68 барои Monkey P; t83 = 0.79, P = 0.43, n = 84 барои Маймун S). e Ҳаққи танзими хароҷот (**P <0.01; ҷуфт t озмоиш; t67 = 20.4, P ≈ 0, n = 68 барои Monkey P; t69 = 2.0, P = 1.2 × 10-3, n = 70 барои Маймун S). f RTs ба нишони мукофот (**P <0.01; ҷуфт t озмоиш; Маймун P (n = 68): HC + ва LC +, t67 = 3.5, P = 9.2 × 10-4; HC− vs. LC−, t67 = 24.5, P ≈ 0; HC + ва HC−, t67 = 21.6, P ≈ 0; LC + ва LC−, t67 = 28.5, P ≈ 0; Маймун S (n = 70): HC + ва LC +, t69 = 5.6, P = 4.4 × 10-7; HC− vs. LC−, t69 = 4.8, P = 8.4 × 10-5; HC + vs. HC−, t69 = 18.0, P ≈ 0; LC + ва LC−, t69 = 5.9, P = 1.1 × 10-7)

Image image

Арзиши пардохтшуда арзиши сабти пешгӯии мукофотро зиёд мекунад

Барои ба даст овардани далелҳои возеҳ барои фарқияти арзёбии субъективии маймун, мо аксуламалҳои маймунҳоро (RTs) санҷидаем. Аз ҷумла, мо интизор будем, ки агар маймунҳо ба як интихоб нисбат ба дигар арзиши баландтари субъективӣ таъин кунанд, онҳо барои интихоби бештар арзишмандтар РТ-ро нишон медиҳанд27. Ҳангоми муқоисаи хароҷотҳо рақамҳои муқоисашавандаро муқоиса карданд, ҳардуи маймунҳо муқоисаи гилкони HC -ро ба LC тезтар нишон доданд (Расми 22). 1e), нишон додани як бартарии номуайян барои ҳолати LC. Ҳангоми муқоисаи мукофотҳо рақамҳоро муқоиса карданд, ҳарду маймунҳо суратҳои рақамиро (R +) тезтар нишон доданд, на мукофотҳо (R−) (расми 15). 1f), ишора мекунад, ки онҳо R + cuesро ба Rues авлавият медиҳанд. Ғайр аз он, ҳарду маймунҳо тезтар RT-ро ба Р нишон додандHC+ cue дар муқоиса бо RLC+ кю ва ба РHC- cue нисбат ба RLC- муомила (расми 15). 1f), ки ба он ишора мекунад, ки онҳо дар муқоиса бо ҳолати LC ба хароҷоти пешгӯиҳо дар HC бештар қадр карданд.

Илова бар ин, мо озмоиши интихобро ба вазифаи халтаҳои HLC барои санҷидани афзалиятҳои аз ҳад зиёди маймунҳо дар байни намудҳо дохил кардем (Расми иловагӣ). 1a). Маймунҳо афзалиятро барои интихоб кардани хароҷоти хароҷот интихоб карданд (расми иловагӣ). 1b). Маймун S афзалтар Р интихоб кардHC+ кю ҳангоми иҷрои вазифаи интихобӣ байни РHC+ ва RLC+ cue, аммо ҳеҷ афзалият байни RHC- ва RLC- тасвирҳо (Расми иловагӣ). 1c, д). Баръакси ин, маймун P ҳеҷ бартарии overt байни R нишон додHC+ ва RLC+ орзуҳои, вале ба ҳар ҳол бартарӣ RHC- изҳорот ҳангоми интихоби РHC- ва RLC- тасвирҳо (Расми иловагӣ). 1c, д).

Натиҷаҳои электрофизиологӣ дар вазифаи халтаи HLC

Мо ҳангоми иҷрои вазифаи HLC аз нейронҳое, ки дар таркиби аслии nigra pars compacta (SNc) ва майдони tegramal ventral (VTA) ҷойгиранд, ягонаи воҳиди ягонаро сабт кардем. Мо нейронҳои 70 допаминро дар ду маймун муайян кардем (Расми иловагӣ). 2a; Нейронҳои 18 ва 52 аз Monkey P ва S мутаносибан). Ташхиси гистологӣ тасдиқ кард, ки нейронҳо дар атрофи SNc / VTA ҷойгир шудаанд (расми иловагӣ). 2b).

Дар Наќша. 2, мо фаъолияти як намояндаи нейрони допаминро нишон медиҳем. Ин нейрон фаъолнокии мӯътадилро ба куки LC нишон дод ва фаъолсозӣ ва фишорро ба мукофот (RHC+ ва RLC+) ё ҳеҷ гуна мукофотпулӣ (RHC- ва RLC-) мутаносибан (расми 15). 2, Ҷадвали иловагӣ. 3). Нейрон инчунин фаъолсозии фазиро ба мукофоти пешгӯинашаванда ва инчунин фишордиҳии физикӣ дар вокуниш ба ҳавасмандкунии аверс, пуфаки пешгӯинашаванда нишон дод. 2, панели рост). Илова бар ин, нейрон ба сюити оғози фишурдашуда хоксор буд, аммо ба супурдани мукофот ҳеҷ гуна посух надод. Тамоми аҳолии нейронҳои допамин, ки мо сабт кардем, вокунишҳои якхела ба расонидани оғоз ва супурдани мукофотро нишон доданд (Расми иловагӣ). 4a, б). Дар вазифаи saccade HLC, арзиши саъй пеш аз гирифтани мукофот пардохта шуд. Зеро арзиши пешбинишуда фаъолияти допамин нейрониро коҳиш додааст22,23, вокунишҳои нейронии допамин дар вақти муаррифии оҳанги пахш карда мешаванд16.

Намоиши 2
fig2

Фаъолияти намояндаи нейронҳои допамин дар вазифаи saccade HLC. Функсияҳои зичии хӯша (бо функсияи Гаусси омехта карда мешаванд) ва қитъаҳои растерҳо бо вақти фарорасии оҳанги оғоз, нишонаи хароҷот (cue C), ҳадафи собиткунӣ, сабти мукофот (Rue cue) ва сигнал Ҳар як ранг як ҳолати мувофиқро нишон медиҳад (зард: HC +, сабз: HC−, гулобӣ: LC +, кабуд: LC−). Вақти оғози saccade бо салибҳои хокистарӣ нишон дода мешаванд. Дар панели рост посухҳои нейронҳои допамин ба мукофоти пешгӯинашаванда ё пневматикӣ нишон дода шудаанд (сурх: мукофоти пешгӯинашаванда, кабуд: ҳавои пешгӯинашаванда)

Image image

Нейронҳои допамин маълумотро ҳам дар бораи мукофот ва ҳам арзиши рамзгузорӣ мекунанд

Нейронҳо ба куки LC ба таври физикӣ вокуниш нишон доданд, аммо ба суроғаи HC камтар боэътимод ҷавоб доданд (расми 8). 3a, б). Вокунишҳои ба хулоса баровардашуда ба холҳои хароҷот нисбат ба куки LC (имтиҳони дараҷаи дутарафаи Вилкоксон ба ҷавоби HC) камтар нишон доданд. P <3.2 × 10-4, n = 70) Мо таъсири арзиши пешгӯишавандаро ба аксуламалҳои нейрониро бо истифода аз таҳлили хусусияти корбарии қабулкунанда (ROC) муайян кардем. Тақсимоти масоҳат дар қубури ROC (auROC) ба таври назаррас <0.5 буд (Расми XNUMX). 3c; озмоиши дараҷаи дутарафаи Вилкоксон; P = 5.4 × 10-4, n = 70), бо нишон додани он, ки ҷавобҳои HC-и нишондод нисбат ба нишони LC хурдтар буданд. Арзиши пешгӯишаванда пештар барои коҳиш додани фаъолияти допамини нейрон муайян карда шуд, ки бо натиҷаҳои мо мувофиқат мекунад22,23. Илова бар ин, аҳолии нейронҳои допамин ба кузинаи LC фаъолнокии назаррас нишон доданд ва дар айни замон ягон фишор ба HC нишон дода нашуд (Расми иловагӣ). 4c, д). Ин натиҷаҳо нишон медиҳанд, ки нейронҳои допамин кодианд ва дар бораи муаррифии арзиши кью дар якҷоягӣ маълумот дар бораи подош ва хароҷот ворид мекунанд.

Намоиши 3
fig3

Вокунишҳои нейронии допамин ба аломатҳои хароҷотӣ. a Ҷавоби намояндаи допамин нейрон ба нишонаҳои хароҷот. Функсияҳои зичии хӯша аз фаъолияти муқарраршудаи нейрони допамин, ки аз маймун П сабт шудааст, ҳисоб карда шудаанд. Хатҳои ранга функсияҳои зичии хӯшаҳоро ва нуқтаҳои рангоранг вақтро нишон медиҳанд. Рангҳои сабз ва арғувон мутаносибан дар озмоишҳои арзон ва арзон аз фаъолият шаҳодат медиҳанд. Хатти амудӣ вақти пешниҳоди хароҷоти хароҷотро нишон медиҳад. Минтақаи хокистарранг давраи ҳисоб кардани суръати оташфишонро ҳамчун посух ба ишораҳои ҳолат нишон медиҳад. b Фаъолияти миёнаи аҳолиро дар нейронҳои допамин аз маймун P сабти ҳолати сабтшуда ба қайд гирифта шудааст. Хати сахт бо рангҳои мутаносиб мутаносибан SEM ва SEM-ро ифода мекунанд. c Тақсимоти минтақаҳо дар зери ROCs барои муайян кардани таъсири арзиши пешбинишуда ба аксуламали нейронӣ ба нишонаи хароҷот. Хиёбонҳои пуршуда ва доираҳои кушода мутаносибан аз майдони P ва S ишора мекунанд. Нишони ақрабӣ медиании auROC (0.47) -ро нишон медиҳад. d, g Вокунишҳои намояндагии арзиши ҳавасмандкунанда ба намуди допамин нейрон (d) ё навъи сабукии нейрон допамин (g) ба мукофоти пешгӯишаванда ё ҳавои нафас. Механизмҳои сурх ва кабуд ҷавобро ба мукофоти пешгӯинашаванда ва ҳавои пешгӯинашаванда мутаносибан нишон медиҳанд. Хатти амудӣ вақти расонидани мукофоти пешгӯинашаванда ё ҳавопайморо нишон медиҳад. Хиёбонҳои сурх ва кабуд давраро барои ҳисоб кардани сатҳи сӯхтор ҳамчун посух ба мукофоти пешгӯинашаванда ё ҳаво нишон медиҳанд. e, h Фаъолияти миёнаҳаҷми аҳолӣ, ки арзиши ҳавасмандкунанда ба намуди нейронҳои допамин (e) ё нейронҳои навъи допаминh) ба мукофоти пешгӯишаванда ё ҳавои нафас. f, i Тақсимоти auROCs, ки аз ҳисоби ҳавасмандгардонии намуди нейронҳои допамин ҳисоб мешаванд (f) ё нейронҳои навъи допаминi). Нишонҳои ақрабак нишон медиҳанд, ки миёнаравии аврокерҳо (f 0.48; i 0.46)

Image image

Ду зершабҳаҳои фарқкунандаи нейронҳои допаминӣ қаблан тавсиф шуда буданд: арзиши ҳавасмандкунӣ ва нейронҳои пурталотум28,29. Мо дар популяцияи нейронии допамини мо намунаи вокунишҳоро бо ҳарду намуди мувофиқ нишон додем. Нейронҳои навъи арзиш фишори фасии ба ҳавасмандкунии ҳавои нафаскаширо нишон доданд (расми 13). 3d, e). Ва баръакс, нейронҳои тобоварӣ ба ҳавасҳои дастгирӣ фаъолсозии phasic нишон доданд (расми 15). 3g, h). Таъмини тӯлонӣ дар мурофиаи HC низ ногувор ва номувофиқ аст; аз ин рӯ, имкон дорад, ки ду зербанди нейронҳои допамин шакли гуногуни вокунишро ба ҳолати хароҷот нишон диҳанд. Агар нейронҳои допамин якхела ангезаҳои барангезанда ва арзишро нишон диҳанд, пас нейронҳои арзиши онҳо аз сабаби ҳассосияти он бояд кам шудани таъсири HC -ро нишон диҳанд. Аз тарафи дигар, нейронҳои ноустувор бояд фаъолиятеро ба кк HC зиёд кунанд, зеро онҳо инчунин ба ҳавасҳои ногувор меафзоянд. Бо вуҷуди ин, вокунишҳои ҳосилшудаи ҳарду намуди нейронҳо дар муқоиса ба куки LC (озмоиши дараҷаи дутарафаи Вилкоксон дар муқоиса бо ҲК) камтар буданд; P = 0.021, n = 41 ва P = 0.0044, n = 29 барои арзиш ва намудҳои фарқият мутаносибан) ва таҳлили ROC ҷавобҳои хурдтарро ба HC дар муқоиса бо нишони LC дар ҳарду зергурӯҳ нишон дод (Расми XNUMX). 3f, ман; озмоиши дараҷаи дутарафаи Вилкоксон; P = 0.030, n = 41 ва P = 0.0058, n = 29 барои арзиш ва навъҳои мутаносибан). Ҳамин тариқ, арзиши пешгӯишаванда дар ҳарду зергурӯҳи нейронҳои допамин коҳиш ёфтааст. Ин натиҷаҳо нишон медиҳанд, ки иттилооти нархро нейронҳои допамин бо роҳи сифатан мухталиф ба стимулҳои аверсивӣ коркард мекунанд.

Дар вазифаи saccade HLC, мо исқоти маҷбуриро дар як қисми озмоишҳои LC гузоштем, то сатҳи муваффақият ва эҳтимолияти мукофотро байни намудҳои озмоиш баробар кунем. Ин амалиёт номуайянии гирифтани мукофот ё хавфи бе мукофотро дар шароити LC зиёд кард. Аз ин рӯ, фаъолияти баландтари нейронҳои допамин ва баланд шудани арзиши маймунҳо барои LC аз болои нишони HC метавонад аз сабаби фарқияти хавф ё номуайянӣ байни шароити хароҷот бошад. Аммо, мо байни шумораи абортҳои маҷбурӣ ва фарқияти ҶТ ҳеҷ гуна муносибат пайдо накардем (Расми иловагӣ). 5a, б), ва мо муносибати мусбиро байни шумораи исқоти маҷбурӣ ва auROC ёфтем (Расми иловагӣ). 5c). Мо инчунин аксуламалҳои допаминро ба хароҷоти хароҷот пас аз исқоти ҳамл ва пас аз озмоишҳои дуруст муқоиса кардем, аммо дар ҳарду ҳолати хароҷот ҳеҷ фарқе надоштем (Расми иловагӣ). 5d). Ин натиҷаҳо нишон медиҳанд, ки шумораи исқоти маҷбурӣ дар ҳолати аксуламали LC на зиёдшавии арзёбӣ ва на фаъолшавии тақвияти допаминергияро ба нишони LC шарҳ намедиҳанд.

Вокунишҳои дофаминро зиёд кардан барои мукофотонидани эътибори аз ҳисоби пардохтшуда пардохташуда

Нейронҳои сабтшудаи допамин нишон доданд, ки фаъолсозӣ ва фишоровариро ба мукофот ва ҳеҷ гуна пешгӯии мукофотро нишон намедиҳанд (расми 15). 2). Минбаъд, мо баҳогузорӣ кардем, ки оё ин ҷавобҳо аз ҳисоби хароҷоти қаблӣ модулшуда шудаанд ё на. Намунаи як нейронҳои намоянда ва нейронҳои миёнаҳаҷми аҳолӣ, ки фаъолшавии бештарро дар Р нишон медиҳандHC+ cue аз RLC+ ишора дар расм нишон дода шудааст 4а ва б мутаносибан. (санҷиши дараҷаи имзошудаи дуҷонибаи Вилкоксон; P = 7.4 × 10-5, n = 70) Тақсимоти aRROCҳо> 0.5 буд, ки нишон медиҳад, ки посух ба Р.HC+ cue аз R калонтар будLC+ нишона (расми 15). 4c; озмоиши дараҷаи дутарафаи Вилкоксон; P = 1.4 × 10-4, n = 70) Ин натиҷаҳо нишон медиҳанд, ки посух ба нишони пешгӯии мукофот дар ҳолати HC назар ба шароити LC ба таври назаррас калонтар аст. Аз ин рӯ, бозёфтҳои мо нишон медиҳанд, ки сигнали мусбии RPE, ки аз ҷониби нейронҳои допамин муаррифӣ шудааст, аз ҳисоби хароҷоти қаблӣ зиёд карда мешавад.

Намоиши 4
fig4

Вокунишҳои нейронии допамин ба мукофотҳо. a Намунаи вокуниши нейрон ба репҳои R +. Функсияҳои зичии хӯша аз ҳисоби фаъолияти нейронии допамин аз маймун П. ҳисоб карда шудаанд. Хатҳои ранг ва нуқтаҳо мутаносибан зичии хӯриш ва хӯришро нишон медиҳанд. Рангҳои зард ва гулобӣ мутаносибан фаъолиятро дар озмоишҳои арзон ва арзон нишон медиҳанд. Хати амудӣ мӯҳлати пешниҳоди R + cue-ро нишон медиҳад. Қисмати хокистарранг давраи ҳисоб кардани сатҳи сӯхторро ҳамчун аксуламал ба мукофот нишон медиҳад. b Фаъолияти миёнаи аҳолӣ аз нейронҳои допамин, ки аз маймун Р ба нишонаҳои R + сабт шудаанд. Хатҳои сахт ва хатҳои бурида мутаносибан миёна ва SEM -ро ифода мекунанд. c Тақсимоти auROCs барои муайян кардани таъсири арзиши пардохтшуда ба аксуламали нейронӣ ба кликҳои R +. Хиёбонҳои пуршуда ва доираҳои кушода мутаносибан аз майдони P ва S ишора мекунанд. Ақрабаки нишон медиании auROCs (0.53) -ро нишон медиҳад. d Вокуниши намоянда ба Ру. Рангҳои сабз ва кабуд мутаносибан озмоишҳои арзон ва арзонро нишон медиҳанд. Хати амудӣ нишон медиҳад, ки вақти муаррифии Ruue. e Фаъолияти миёнаи аҳолиро дар нейронҳои допамин, ки аз маймун P то ба R− сабт шудаанд, сабт кардаанд. f Тақсимоти auROCs барои муайян кардани таъсири арзиши пардохтшуда ба аксуламали нейронӣ ба Рю ба назар мерасанд. Сари ақрабаки миёна медиаи auROC (0.50) -ро нишон медиҳад

Image image

Нейронҳои допамин низ фишорро ба фишор ба Рю нишон доданд (расми 15). 4d, e). Аммо, вокунишҳои нейронҳои допамин ба Рю фарқияти назаррасеро нишон намедиҳанд, чун вазифаи хароҷот (озмоиши дараҷаи дутарафаи Уилкоксон; P = 0.25, n = 70), ва таҳлили ROC ягон далел барои ғараз дар тақсимоти посухро ошкор накард (Расми XNUMX). 4f; Вилкоксон имтиҳони дараҷаи имтиҳонӣ, P = 0.35; n = 70) Ҳамин тариқ, арзиши пардохтшуда дар сигнали манфии RPE, ки бо нишонаҳои пешгӯии ғайримуқаррарӣ инъикос ёфтааст, инъикос наёфт. Ин метавонад аз таъсири фарш ба амал ояд: фаъолияти стихиявии нейрони допамин паст аст (тақрибан 5 Гц); ва аз ин рӯ, метавонад диапазони кофии динамикӣ набошад, то ки чунин фарқияти хароҷоти барои посухи манфии RPE сарфшуда мувофиқ бошад (Расми XNUMX). 4d, e).

Мо инчунин таъсири хароҷоти пардохтшударо ба хароҷоти мукофот барои арзиши нейронҳои навъи допамин ва арзанда алоҳида баррасӣ кардем, аммо ҳарду намуди нейронҳои допамин шакли мувофиқро нишон доданд (Расми иловагӣ). 6a –ҳ). Аз ин рӯ, арзиши пардохтшуда таъсири монандро ба аксуламали мукофотҳо ҳам дар арзиш ва ҳам навъи нейронҳои навъи допамин нишон медиҳад.

Давомнокии воқеии маймунҳои маймунҳо доимӣ набуданд, вале дар асоси мурофиаи судӣ фарқ мекарданд (расми 8). 1b). Аз ин рӯ, имконпазир шуд, ки посухҳои допамин ба мукофотҳои мукофот аз ҷониби мӯҳлатҳои воқеии сабт дар асоси мурофиаи озмоишӣ ба танзим дароварда шаванд. Аммо, мо барои ҳар як ҳолати нарх ва подош ягон алоқамандии назаррасро пайдо карда натавонистем (Расми иловагӣ). 7а – г). Гузашта аз ин, рақамҳо дар нишони мукофот низ аз рӯи арзиш ва шароити мукофот ба танзим дароварда шуданд (расми 8). 1f). Як эҳтимол он аст, ки аксуламали нейронҳои допаминро метавон аз ҷониби ҶТ тавассути мукофотпулӣ дар асоси мурофиаи судӣ шарҳ дод. Аммо, мо ҳеҷ гуна робитаи назаррас байни ТТ ва аксуламалҳои муқарраршудаи допаминро ба нишондиҳандаҳои мукофот ёфтем (Расми иловагӣ). 7э - з). Ин натиҷаҳо нишон медиҳанд, ки аксуламалҳои допамин аз ҳар ду озмоиши мустақил ва мӯҳлати тасдиқи ҳар як озмоиш, вале аз рӯи миқдори хароҷот ва мукофоти пешбинишуда, ки барои ҳар як намуди озмоиш муайян карда мешаванд, ба танзим дароварда мешаванд.

Ғайр аз он, имкон дорад, ки исқоти маҷбурӣ дар ҳолати LC ҳам афзалиятҳои маймунҳоро ва ҳам фаъолгардонии фаъолонаи нейронҳои допаминро ба ҳолати мукофот дар HC ба вуҷуд овард. Агар ин тавр бошад, шумораи исқоти маҷбурӣ ҳам ба афзалият ва ҳам ба дараҷаи фаъолсозӣ вобаста аст. Аммо, шумораи исқоти маҷбурӣ ба бартарии маймунҳо ё фаъол кардани нейронҳои допамин ба мукофотҳои пулӣ таъсире надошт (расми иловагӣ). 8). Аз ин рӯ, тезтар RT ва вокунишҳои баландтари DA ба РHC+ cue аз RLC+ cue аз сабаби истироҳати маҷбурӣ дар ҳолати LC додашуда нест.

Хароҷоти рухдодашуда аксуламали допаминро барои расонидани мукофот зиёд мекунад

Ҷавоби нейронҳои допамин ба нишонаҳои R + бояд аз аксуламали худи мукофот сарчашма гирад, зеро нейронҳои допамин аксуламали худро ба нишонаҳои пешгӯи нисбат ба иттиҳодияи ҳавасмандкунӣ-мукофот иваз мекунанд8,30. Аз ин рӯ, мо интизор будем, ки нейронҳои допамин баланд бардоштани аксуламали вобаста ба хароҷоти пардохтшавандаро барои расонидани мукофот нишон медиҳанд. Барои чен кардани фаъолияти нейронии допамин ба супурдани мукофот, маймунҳо HLC вазифаи номуайянро бо ду нишонаи мукофотҳои нав иҷро карданд (расми 15). 5a). Азбаски мукофотҳо танҳо дар нисфи тақдими эълони мукофотҳо супурда шуда буданд, сабтҳои мукофот эътимоднок набуданд ва ё ба таври гуногун пешкаш шудани мукофотро пешбинӣ накарда буданд. Ин барои ба ҳадди аксар расонидани аксуламали допаминии нейрон ба гирифтани мукофоти (пешбинишаванда) анҷом дода шуд, то ки ҳассосияти моро барои муайян кардани модулятсия дар посухи нейронҳо ҳамчун вазифаи хароҷот афзун намоем.

Намоиши 5
fig5

Вазифаи номуайян HLC. a Вазифаи номуайян HLC. Дар ин вазифа, сабкҳои номуайяне, ки дар он мукофотҳо 50% -и вақтро супорида буданд, новобаста аз он, ки кадом гузориш дода мешуд, истифода мешуд. b SТ ба баромади хароҷот дар озмоишҳои арзон ва камарзиш. Танҳо маймун P ба суръати нисбатан тезтар HC (LC) нишон дод (**)P <0.01; ҷуфт t озмоиш; t4 = 9.0, P = 8.5 × 10-4, n = 5 барои маймун Р; t18 = 1.4, P = 0.19, n = 19 барои маймун S). Доираҳои сиёҳ ва сутунҳои хатогӣ маънои миёна ва SEM -ро нишон медиҳанд. c Ҳуқуқ ба мукофот дар озмоишҳои арзон ва камарзиш. Дар рақамҳои ҶТ дар байни мукофотпулӣ байни ҳолати гаронарзиш ва арзон ҳеҷ тафовуте набуд (ҷуфтшудаҳои дугона t озмоиш; t4 = 0.97, P = 0.39, n = 5 барои маймун Р; t18 = 0.99, P = 0.39, n = 19 барои маймун S)

Image image

Ҳангоми муқоисаи хароҷотҳо RTҳоро муқоиса карданд, маймун P ба суръати LC нисбат ба оҳанги HC муқоисашаванда нишон дод (Расми 22). 5b). Дар муқобили рақамҳои ҳосилшуда дар байни HC ва LC дар ҳарду маймун ҳеҷ тафовуте набуд. 5c).

Дар вазифаи номуайян дар HLC, нейронҳои допамин ба куки LC фаъолнокии мӯътадилро нишон доданд, аммо ба нишони мукофотҳо ҷавоб надоданд, зеро онҳо пешгӯишаванда набуданд (расми 8). 6a). Дар саросари аҳолӣ, вокунишҳои бавуҷудомада нисбат ба HC нисбат ба оҳанги LC камтар буданд (Расми 22). 6b; озмоиши дараҷаи дутарафаи Вилкоксон; P = 2.7 × 10-3, n = 19), ва таҳлилҳои ROC ҷавобҳои хурдтарро ба нишони HC нишон доданд (Расми XNUMX). 6c; озмоиши дараҷаи дутарафаи Вилкоксон; P = 5.5 × 10-3, n = 19). Ҷавоби нейронӣ барои расонидани мукофот дар ҳолати HC аз LC калонтар буд (Расми XNUMX). 6d; озмоиши дараҷаи дутарафаи Вилкоксон; P = 0.036, n = 19). Тақсимоти aROCs> 0.5 буд, ки посухи бештари мукофотонидани мукофотро дар HC нисбат ба озмоишҳои LC нишон медиҳад (Расми XNUMX). 6e; озмоиши дараҷаи дутарафаи Вилкоксон; P = 0.049, n = 19). Ин натиҷаҳо нишон медиҳанд, ки ҷавоби расонидани мукофот дар мурофиаи HC такмил дода мешавад ва арзиши пардохт сигнали мусбат-RPE ҳангоми расонидани мукофотро зиёд мекунад.

Намоиши 6
fig6

Вокуниши допамин нейрон ба супурдани мукофот. a Намояндаи фаъолияти нейронии допамин дар HLC вазифаи номуайян. Ҳар як ранг шароитро ифода мекунад (зард: HC +, сабз: HC−, гулобӣ: LC +, кабуд: LC−). Вақти оғози saccade бо салибҳои хокистарӣ нишон дода мешаванд. Ҷавобҳои ин нейрони допамин ба мукофоти пешгӯинашаванда ва ҳавои ҳаво инчунин дар панели рост тасвир карда шудаанд (сурх: мукофоти пешгӯинашаванда, кабуд: ҳавои пешгӯинашаванда). b Фаъолияти миёнаи аҳолӣ аз нейронҳои допамин, ки аз маймун S ба нишондодҳои ҳолат сабт шудаанд. Рангҳои сабз ва арғувон мутаносибан дар озмоишҳои арзон ва арзон фаъолиятро нишон медиҳанд. Хатҳои сахт ва хатҳои бурида мутаносибан миёна ва SEM -ро ифода мекунанд. Майдони хокистарранг равзанаи вақтро барои ҳисоб кардани сатҳи оташфишон ҳамчун посух ба нишондодҳои ҳолат нишон медиҳад. c Тақсимоти auROCs барои муайян кардани таъсири арзиши пешбинишуда ба аксуламали нейронӣ ба нишонаи хароҷот. Квартираҳои пуркардашуда нишон медиҳанд, ки маймун P (n = 3) ва доираҳои кушод маълумоти маймун S () -ро нишон медиҳандn = 16). Сари тир медиании auROC -ро нишон медиҳад (0.44). d Фаъолияти миёнаи аҳолиро дар нейронҳои допамин аз маймун S сабт карда то расонидани мукофот ба қайд гирифта шудааст. Рангҳои зард ва гулобӣ мутаносибан фаъолиятро дар озмоишҳои арзон ва арзон нишон медиҳанд. Ҳудуди ранги хокистарӣ равзанаи вақтро барои ҳисоб кардани сатҳи оташфишон ҳамчун посух ба расонидани мукофот нишон медиҳад. e Тақсимоти auROCs барои муайян кардани таъсири арзиши пардохтшуда ба аксуламали нейронӣ ба расонидани мукофот. Сари ақрабаки миёна медиаи auROC (0.55) -ро нишон медиҳад

Image image

Илова бар ин, мо ҷавоби допаминро пас аз набудани мукофот муқоиса кардем. Ҳавлӣ тақсимоти ғаразнокеро нишон надодааст ва нишон медиҳад, ки арзиши пардохтшуда дар лаҳзаи натиҷа ба REE манфӣ таъсир накардааст (Расми иловагӣ). 9a). Нейронҳои допамин ҳеҷ фарқиятро байни посухҳо ба Р нишон додандHC ва RLC суратҳо (Расми иловагӣ). 9b).

Арзиши масрафшуда суръати омӯзишро афзун мекунад

Бо дарназардошти он, ки RPE барои мукофотонидани таҳвил аз ҳисоби хароҷоти пардохт зиёд карда мешавад, дар асоси гипотеза, ки RPEs бевосита дар миёнаравии омӯзиши ҳавасмандгардонӣ мукофот мегиранд, мо интизор будем, ки RPE-ҳои мукаммал дар рафтори омӯзишӣ тавассути суръатбахшии омӯзиш инъикос карда шаванд24. Барои санҷидани таъсири арзиши пулакӣ ба омӯзиш, маймунҳо корҳои ҷустуҷӯии HLC-ро иҷро карданд (расми 15). 7a; нигаред ба Усулҳо). Дар ин вазифа ду нишонаи мукофот (R + ва R−) ҳамзамон пешниҳод карда шуданд ва маймунҳо бояд якеашро интихоб кунанд. Мо сатҳи муваффақият ва эҳтимолияти мукофотро дар байни намудҳои озмоишӣ (ҷуфтшуда-дугона) баробар кардем t озмоиш; t48 = 0.15, P = 0.89, n = 49 барои маймун Р; t85 = 1.2, P = 0.25, n = 86 барои маймун S). Вақте ки RT-ро барои нишонаҳои арзиш муқоиса карданд, ҳарду маймун RT-ро ба нишони LC нисбат ба нишони HC зудтар нишон доданд (Расми XNUMX). 7b; дугона ҷуфтшуда t озмоиш; t48 = 12.9, P ≈ 0, n = 49 барои маймун Р; t85 = 3.4, P = 9.4 × 10-4, n = 86 барои маймун S). Ҳангоми муқоисаи ҶТ ва нишонаҳои мукофот, маймун S дар НТ назар ба ҳолати LC RT-ҳои зудтар нишон дод (Расми XNUMX). 7c; дугона ҷуфтшуда t озмоиш; t48 = 1.3, P = 0.19, n = 49 барои маймун Р; t85 = 2.8, P = 6.8 × 10-3, n = 86 барои маймун S). Ҳангоми муқоисаи RT дар давоми нимсолаи якум ва охири ҷаласаи алоҳида, RT ба нишони LC нисбат ба нишондоди HC дар давраи аввал зудтар буд (Расми иловагӣ). 10a) ва нимаи дуюми ҷаласа (Расми иловагӣ). 10c). Баръакс, рақамҳои маймун S ба нишони мукофот дар ҳолати HC дар муқоиса бо ҳолати LC дар давоми нимаи дуюми сессия тезтар буданд (Расми иловагӣ). 10d), аммо нимаи аввал нест (Расми иловагӣ). 10b).

Намоиши 7
fig7

Вазифаи иктишофи HLC. a Вазифаи иктишофи HLC. Дар ин вазифа, маймунҳо бояд интихоб карда шаванд Р + ва R choose, ки дар ҳар як ҷаласаи омӯзишӣ ба таври тасодуфӣ тавлид шуданд. Агар онҳо Рю-и Р + -ро интихоб кунанд, онҳо метавонанд мукофот гиранд ва агар Rue-ро интихоб кунанд, мукофот намегиранд. b SТ ба баромади хароҷот дар озмоишҳои арзон ва камарзиш. Маймунҳо тезтар РТ-ро ба кюини арзон нишон доданд (**P < 0.01; ҷуфт t озмоиш). Доираҳои сиёҳ ва хатҳои хатогӣ маънои миёна ва SEM-ро нишон медиҳанд. c Ҳуқуқ ба мукофот дар озмоишҳои арзон ва камарзиш. Monkey S тезтар RT-ро ба нишони мукофот дар ҳолати гарон нишон дод

Image image

Дар вазифаҳои омӯхтани HLC, дар ҳар як ҷаласаи омӯзишӣ мукофотҳо ба таври тасодуфӣ эҷод карда шуданд. Аз ин рӯ, маймунҳо дар ҳар ҷаласа алоқаи байни мукофот ва мукофотро меомӯхтанд. Вақте ки озмоишҳо дар давоми як сессия пеш мерафтанд, маймунҳо дар ҳар як ҳолати хароҷот R + калидҳоро зуд бештар интихоб мекарданд (расми 8). 8a). Барои чен кардани суръати омӯзиш, мо як функсияи маҷмӯии экспоненсиалиро ба додаҳо, бо ду параметрҳои озод, a ва b, бо ишора ба нишебии қафси рост ва плато (Расми иловагӣ). 11a, б). Таносуби журнал байни параметрҳои нишеб (журнал) aHC/aLC) аз сифр хеле калонтар буд, ки нишондиҳандаи калонтари нишеб дар HC нисбат ба озмоишҳои LC (расми 2). 8b; дутарафа t озмоиш; t48 = 2.1, P = 0.042, миёнаи = 0.58, n = 49 барои маймун Р; t85 = 2.5, P = 0.013, миёнаи = 0.19, n = 86 барои маймун S). Таносуби гузориш байни параметрҳои плато (қайд bHC/bLC), аз сифр фарқ надошт, ки ҳеҷ фарқиятро байни шароити хароҷот нишон медиҳад (расми 8). 8c; дутарафа t озмоиш; t48 = 0.76, P = 0.45, миёна = -0.0024, n = 49 барои маймун Р; t85 = 0.56, P = 0.58, миёнаи = 0.010, n = 86 барои маймун S). Ин натиҷаҳо нишон медиҳанд, ки суръати омӯзиш дар озмоишҳои HC зудтар аст. Баъдан, мо қубурҳои омӯзишро бо истифода аз модели таҳкими омӯзиши (RL) моделсозӣ кардем (ниг. Усулҳо). Ин модел параметрҳои сатҳи омӯзишро дар бар мегирад (αHC ва αLC) ва суръати иктишоф (βHC ва βLC) барои ҳарду шароити хароҷот (расми иловагӣ). 11c, д). Ҳангоми мувофиқат ба рафтор, мо дарёфтем, ки таносуби журнал байни нишондиҳандаҳои сатҳи омӯзиш (журнал) αHC/αLC) аз сифр калонтар буд, ки нишондиҳандаи нисбатан калонтари сатҳи омӯзиш дар HC нисбат ба озмоишҳои LC (расми 2). 8d; дутарафа t озмоиш; t48 = 2.3, P = 0.026, миёнаи = 0.50, n = 49 барои маймун Р; t85 = 2.2, P = 0.034, миёнаи = 0.25, n = 86 барои маймун S) дар ҳоле ки параметр β фарқият нишон надод (расми 15). 8e; дутарафа t озмоиш; t48 = 0.77, P = 0.44, миёнаи = 0.0097, n = 49 барои маймун Р; t85 = 0.64, P = 0.52, миёнаи = 0.038, n = 86 барои маймун S). Дар ин ҷо, мо параметрҳои сатҳи омӯзишро барои ҳар як шароити хароҷот ҳисоб кардем (αHC ва αLC) алоҳида барои фаҳмондани суръати тезтари омӯзиш дар ҳолати HC. Аммо, агар сатҳи таҳсил дар байни шароити арзиш якхела бошад, таносуби байни нишондиҳандаҳои тахминшудаи сатҳи таҳсил (αHC/αLC) метавонад ҳамчун арзиши тақвиятдиҳӣ барои RPEs дар ҳолати HC фикр кардан мумкин аст. Аз ин рӯ, ин натиҷаҳо ба он ишора мекунанд, ки тақвияти ДМЭ метавонад суръати омӯзишро дар ҳолати HC тезтар шарҳ диҳад.

Намоиши 8
fig8

Санҷиши суръати омӯзиш. a Раванди миёнаи омӯзиши маймунҳои P ва S. Таносуби R + интихоб ҳамчун як функсияи мурофиа тарҳрезӣ мешавад Нуқтаҳои сабз ва арғувон, мутобиқан, маълумоти аз озмоишҳои гаронбаҳо ва арзон нишон медиҳанд. Хатҳои нуқташуда ҷараёни таҳсили ҳамворро нишон медиҳанд. Функсияҳои маҷмӯии экспоненсиалӣ ба нуқтаҳои маълумот муҷаҳҳаз карда шуданд ва ҳамчун хатҳои сахт нишон дода шуданд. b Таносуби журнал байни параметрҳои мувофиқ a дар шароити баланд ва арзон вақте ки маълумот бо функсияи умумии экспоненсиалӣ мувофиқат мекард (*P <0.05; санҷиши имзошудаи рутбаи дуҷонибаи Вилкоксон). Доираҳои сиёҳ ва сутунҳои хатогӣ маънои миёна ва SEM -ро нишон медиҳанд. c Таносуби журнал байни параметрҳои мувофиқ b дар шароити гаронқимат ва арзон, вақте маълумот бо функсияи маҷмӯии экспоненсалӣ мувофиқат мекард. d Таносуби сабти рӯйдодҳо дар байни параметрҳои сатҳи таълим α дар шароити гаронқимат ва арзон, вақте ки маълумотҳо бо модели таълимии тақвият дода мешуданд. e Таносуби сабти рӯйхати параметрҳои мувофиқ β дар шароити гаронқимат ва арзон, вақте ки маълумотҳо бо модели таълимии тақвият дода мешуданд

Image image

Мо инчунин кӯшиш кардем, ки раванди таълимиро бо моделҳои алтернативии РО шарҳ диҳем, ки имконияти маймунҳо зиддияти байни озмоишҳо ва подошҳоро дар ҳар мурофиа медонанд. Дар он моделҳо арзиши опсияи истифоданашуда ҳамзамон бо як интихобшуда нав карда мешавад (Расми иловагӣ). 12). Ҳатто ҳангоми истифодаи чунин моделҳои алтернативӣ ба додаҳо, нишондиҳандаи сатҳи таҳсил дар НС нисбат ба ҳолати LC хеле калонтар буд (Расми иловагӣ). 12b, f) дар ҳоле ки параметр β фарқият нишон надод (Расми иловагӣ). 12г, ч). Ҳамин тавр, хулосаи мо дар бораи тақвият додани сигнали RPE дар ҳолати HC, ба шакли модели RL ба маълумот мувофиқ аст.

мубоҳиса

Мо таъсири хароҷоти пардохтшавандаро ба арзиши пешгӯии мукофот ва ба аксуламали физикӣ дар нейронҳои миёнаи допаминии допамин омӯхтем. Маймунҳо арзиши афзоишро барои пешгӯиҳои мукофот пас аз иҷрои амале, ки хароҷоти зиёдтарро ба бор овард, нишон доданд. Нейронҳои допамин пас аз хароҷоти зиёде ба ҷавобгарии афзоянда ва ҳам ба пешгӯии мукофот ва ҳам расонидани мукофотҳо нишон доданд. Гузашта аз ин, маймунҳо суръати зудтари омӯзишро нишон доданд, вақте ки барои гирифтани мукофот арзиши баландтар лозим буд.

Якчанд таҳқиқотҳо нишон доданд, ки арзиши пардохтшуда афзалиятро барои сабти пешгӯии мукофот зиёд мекунад1,2,3. Дар тадқиқоти мазкур, маймунҳо муқоиса бо онҳое, ки дар ҳолати аккосӣ дар муқоиса бо эҳтимолияти баланд шудани арзиши стипендия бо арзиши пардохташуда суръати тезтар нишон додани мукофотро дар ҳолати HC нишон доданд.27. Имконияти алтернативӣ ин аст, ки вақти тӯлонии сабти алоқаманд бо таваҷҷӯҳи зиёд ба ҳадафи saccade дар ҳолати HC, бинобар ин, коҳиш додани ТТ пас аз собитшавии бештар дар мурофиаи HC. Бо вуҷуди ин, мо дар фарқияти байни RTs ба R дар озмоишҳои HC ва LC дар вазифаи HLC номуайяниро пайдо накардем. Ғайр аз ин, дар нимаи аввали ҷаласаи иктишофии HLC. Нишондиҳандаҳои Р ба нишондоди R байни озмоишҳои HC ва LC фарқияти калон набуданд. Ҳамин тариқ, ин бозёфтҳо нишон медиҳанд, ки сабти дарозмуддат шарҳи эҳтимолӣ барои кӯтоҳтарин РТ дар ҳолатҳои пешгӯи мукофот мебошад. Илова ба таъсири хароҷоти пардохтшуда ба нишони мукофотҳо, арзиши он низ ба РТ ба ҳолатҳои ғайричашмдошт таъсир расонд, сарфи назар аз он, ки ҳеҷ гуна мукофот пас аз муаррифии кю дода нашудааст. Таҳқиқоти қаблӣ як падидаи мушобеҳро гузориш дода буд, дар он сурат, субъектҳои маймун дар мурофиаҳои интиқолнашуда миқдори камтарини РТ-ро нишон доданд, вақте ки дар озмоишҳои иловагӣ дар ҳар як блок мукофотҳои афзалтар интихоб шуданд30. Як шарҳи имконпазири натиҷа дар он таҳқиқот дар он аст, ки ҳавасмандии бештар барои посух додан дар блок бо мукофотҳои бештар бартарӣ гирифташуда, инчунин ба ҳеҷ гуна мукофот дар дохили блок. Ҳамин тариқ, дар таҳқиқоти мазкур, интизории мукофоти бештар арзишнок дар озмоишҳои HC метавонад РТ-ро ба ҳеҷ гуна мукофот дар озмоишҳои HC дар вазифаи мо иваз кард. Гузашта аз ин, таъсири арзиши пардохтшуда ба НТ ба нишондиҳандаҳои мукофот нисбат ба оне, ки ҳеҷ гуна пешгӯиҳои пешбинишудаи мукофот камтар буд. Эҳтимол ин як артефакти далели он аст, ки маймунҳо як қуттиро тезтар ба Р овардаандLC+ cue дар аввал, миқёси барои коҳиш додани РТ дар R кам карда мешавадHC+ кю. Аз ин рӯ, фарқияти ҶТ дар байни нишондодҳои R + дар натиҷа ночиз хоҳад буд.

Маймунҳо инчунин озмоиши интихобиро байни R анҷом додандHC ва RLC cues дар вазифаи HLC. Бо вуҷуди ин, дар ҳоле ки маймун S афзалияти Р нишон додHC+ ишора ба RLC+ cue, маймун P чунин афзалият нишон надод. Ин ихтилофро бо фарқияти контекстии байни халтаҳои HLC ва озмоишҳои интихоб шарҳ додан мумкин аст. Дар озмоишҳои интихобӣ ба ҷои як сабти пешгӯинашавандаи ду мукофот пешниҳод карда шуд. Гузашта аз ин, маймунҳо пас аз интихоби худ ҳеҷ подоше ба даст наовардаанд, ҳатто агар сабки пешгӯии мукофотро интихоб кунанд, аз ин рӯ озмоиши интихоб дар нестшавӣ анҷом дода шуд. Тартиби нобудшавӣ бо мақсади таъмини интихоби маймун ба амал оварда шуд, зеро баръакси омӯзиши нав дар бораи озмоишҳои интихобӣ нофаҳмиҳо буданд. Бо вуҷуди ин, ин тартиб метавонад таъсири манфӣ дошта бошад, ки маймун метавонад зуд дарк кардани тартиби нобудшавиро дар заминаи интихоб ёд гирад ва ҳеҷ гуна сабабе барои интихоби ҳавасҳои дилхоҳ вуҷуд надорад. Бо вуҷуди ин, яке аз маймунҳо дар асл бартарии нишон додани мукофотро дар ҳолати HC нишон медиҳад.

Ҳангоми пешниҳоди кю, ки талаботҳои минбаъдаи пардохти хароҷотро пешгӯӣ карда буданд, фаъолияти нейронҳои допаминӣ бо тадқиқоти қаблӣ коҳиш ёфт.22,23. Дар таҳқиқоти мо, мо коҳишёбии умумиро дар нейрон допамин, ки ҳам ба HC ва LC нисбат ба ҳолати аввала посух медод, мушоҳида накардем. Ин нишон медиҳад, ки сигнали манфӣ-RPE дар айни замон, сарфи назар аз арзиши зерин, рух намедиҳад. Набудани RPE манфӣ эҳтимол интегратсияи пешгӯии мукофоти ояндаро инъикос мекунад, ки баъдтар дар мурофиа интизор аст. Нейронҳои допамин фаъолнокии назаррасро дар мурофиаи LC нишон доданд ва фаъолият нисбат ба озмоиши HC баландтар буд. Ин аз он шаҳодат медиҳад, ки маълумоти хароҷот ба сигнали RPE, ки аз ҷониби нейронҳои допамин интиқол дода мешаванд, ворид карда шудаанд. Ҳамин тавр, нейронҳои допамин ҳам иттилооти мукофот ва хароҷотро коди мекунанд ва вокуниши RPE маблағи арзиш ва подошро инъикос мекунад.

Мо нишон додем, ки сигнали RPE, ки аз нейронҳои допамин пешниҳод шудааст, аз ҳисоби пардохташуда дар нуқтаи пешниҳоди мукофотҳо (дар супориши HLC) ва таҳияи мукофот (дар вазифаи номуайян дар HLC) беҳтар карда мешавад. Маблағи ҳадафи мукофот дар озмоишҳои HC ва LC расонида шуд; бинобар ин, тағир додани сигналҳои RPE бояд аз ҷараёни беасос ба амал ояд. Ин имконот аз ҷониби якчанд таҳқиқот гувоҳӣ медиҳад, ки таъсири контекстӣ ба сигналҳои допамин RPE, ки ба коркарди арзиши субъективӣ ва / ё фоидаовар дар нейронҳои допамин мутобиқанд11,19,20,21,31,32,33,34. Агар сигнали RPE калонтар бошад, ин бояд ба суръатбахшии арзиши манбаъҳо оварда расонад, ки дар натиҷа ба суръати омӯзишии ассотсиатсияҳои ҳавасмандкунанда ва мукофот мусоидат мекунад. Таҳқиқоти қаблӣ ислоҳоти суръати омӯзишро тавассути омилҳои беасос нишон доданд24,35. Мувофиқи ин, маймунҳо суръати омӯзиши тезтарро дар HC нисбат ба ҳолати LC нишон доданд. Мо дарёфтем, ки суръати афзояндаи омӯзишро бо арзиши пулакӣ тавассути модели RL бо такмилдиҳии RPE шарҳ додан мумкин аст. Дар таҷрибаҳои мо ҷудокунии оқибатҳои RPE ва сатҳи баландтари омӯзиш душвор буд; Аммо, мо як сигнали амплификатсияи допаминергияи RPE дар ҳолати HC ёфтем. Ғайр аз ин, як тадқиқоти қаблии fMRI нишон дод, ки параметрҳои дараҷаи омӯзиш дар корти пешии cingulate cortulate муаррифӣ шудаанд ва фаъолияти VTA бо параметрҳои суръати таълим дар муҳитҳои идоранашаванда алоқаманд нест36. Аз ин рӯ, мо ҷонибдорӣ мекунем, ки сигнали RPE, ки нейронҳои допамин рамзгузорӣ мешаванд, аз ҳисоби хароҷоти пардохтшаванда беҳтар карда мешавад ва сигнали афзояндаи RPE суръати омӯзишро тақвият медиҳад.

Вақте ки сигнали RPE ҳангоми пешниҳоди мукофоти мукофот ва расонидани мукофот таҳия карда шуд, маймунҳо аллакай нархро пардохт карданд. Аз ин рӯ, як механизми имконпазири сигнали мукаммалшудаи RPE ин аст, ки подош пас аз HC метавонад бештар мукофотӣ ба даст орад. Интизории афзояндаи мукофоти арзанда пас аз HC метавонад ҳавасмандиро барои ба итмом расонидани мурофиа афзоиш диҳад ва ба ин васила ҶТро ба мукофот дар мурофиаҳои HC кӯтоҳ мекунад.

Боз як тафсири имконпазири натиҷаҳои мо он аст, ки сабукие, ки пас аз ба охир расидани амали гаронқимат сар шудааст, ҳамчун подош барои маймунҳо амал карда метавонад. Таҳқиқоти томографияи резонанси магнитӣ (fMRI) нишон доданд, ки сабукии дард метавонад барои иштирокчиёни инсон музде бошад37,38; аз ин рӯ, арзиш метавонад як омили барангезандаи дард шавад. Агар сабукӣ аз арзиш фоидаовар бошад ва агар ин дар фаъолияти допаминергия инъикос ёбад, мо интизор будем, ки нейронҳои допамин дар охири ислоҳи тӯлонӣ, яъне вақти муаррифии кво мукофотонида мешаванд. Аммо, мо ягон фарқиятро дар фаъолияти допаминергия ҳангоми вақти тақдим намудани мукофотҳо ва ҳеҷ фарқият дар ТТ ба арзишҳои байни HC ва LC дар HLC дар вазифаи номуайян мушоҳида накардаем. Аз ин рӯ, мо пешниҳод менамоем, ки сабукӣ аз арзиш шарҳи кофиро барои таъсире, ки мо дар нейронҳои допамин мушоҳида кардаем, таъмин намекунад.

Гузашта аз ин, нейронҳои допамин дар муқобили муқобили пешгӯии хароҷот ба ҳавасмандкунии ёрирасон аксуламалҳои сифатии гуногун нишон доданд. Як шарҳи имконпазир дар он аст, ки арзиши талош нисбат ба ҳаво ва подош камтар ночиз буд, зеро арзиши талош муваққатан дар тӯли чанд сония дароз карда шуд, зеро маймунҳо ислоҳро иҷро накарданд. Аз ин рӯ, нейронҳои допаминӣ метавонанд ба хароҷоти камтар нигаронида нашуда бошанд. Имконияти дигар ин аст, ки нейронҳои навъи допамин ба ҳодисаҳое, ки пас аз он ҳаракатҳо ба амал омада буданд, вокуниш нишон медиҳанд. Ҳангоме ки мукофот ё ҳавои нафас ба маймунҳо супорида шуд, онҳо баъзе амалҳоеро ба мисли лесидан ё чашм чашм мезананд. Аммо, дар вазифаи халтаи HLC, маймунҳо бояд нуқтаи назари худро ба ҳадаф собит мекарданд ва бидуни ҳаракат ҳамчун арзиши. Воқеан, як тадқиқоти нав нишон дод, ки партофтани допамин дар ядро ​​пас аз оҳанги пешгӯии мукофот афзоиш меёбад, агар ҳаракат дуруст роҳандозӣ нашуда бошад39. Азбаски хароҷот дар таҷрибаҳои мо ташаббуси ҳаракатро дар бар намегирад, ин метавонад ба аксуламалҳои ноустувор ба нейронҳои навъи допамин асоснок шавад. Дар ҳар сурат, мо метавонем чунин хулоса барорем, ки маълумоти хароҷотӣ аз иттилооти аверсӣ ба таври гуногун коркард карда мешавад.

Дар хотима, мо пешниҳод менамоем, ки хароҷоти пардохтшуда арзиши эродҳои пешгӯии мукофотро зиёд мекунад ва ин дар навбати худ сигнали RPE-ро, ки дар нейронҳои мобайнии допамин рамзгузорӣ шудааст зиёд мекунад. Ин натиҷа ба пешгӯии рафторӣ оварда расонд, ки сатҳи омӯзиши ҳайвонот барои пайгирии пешгӯии мукофот пас аз таҷрибаи HC афзоиш хоҳад ёфт. Ин ҳамон чизест, ки мо мушоҳида кардем. Ҳамин тариқ, мушоҳидаҳои мо дар бораи фаъолияти нейронҳои допамин ба мо боисрор фарзияи вуҷуд доштани таъсири рафтор ва инчунин як механизми ҳисоббарории ин таъсирро доданд, ки онро баъдан тасдиқ кардем. Ҳамин тавр, бозёфтҳои мо як мисоли онанд, ки чӣ тавр триангулясия байни андозагирии маълумоти нейронӣ, назарияи ҳисоббарорӣ ва рафтор метавонад рух диҳад: таҳияи амиқтари коркарди нейронӣ дар майна метавонад дар бораи рафтор ва заминаи ҳисоббарории он тасаввурот диҳад.

Усулҳои

Ҳайвонот

Мо ду маймуни мардонаи Ҷопонро истифода бурдем (Fuscata Макака; вазни бадан, 6.5 кг = Маймун P; вазни бадан, 9.0 кг = Маймун S). Мо сари болои косахонаи маймун постеро ҷой кардем, то онро дертар ба курсии думдор гирем. Камераи сабткунӣ низ ба кор дароварда шуд, то василаи насби электроди микроманипулятор. Камераи сабткунӣ 45 ° паҳлӯ ба самти кунҷӣ канда шуд ва дар координатаҳои стереотаксионӣ ҷойгир карда шудааст: 15 мм дар канали беруна. Пас аз давраи барқароршавӣ, маймунҳо барои иҷрои супориши saccade таълим гирифтанд. Пас аз анҷоми омӯзиш, мо барои ворид кардани электрод сӯрохи дар дохили камера сӯрох кардем. Ҳамаи протоколҳо оид ба нигоҳубини ҳайвонҳо аз ҷониби Кумитаи таҷрибаомӯзии ҳайвоноти Донишгоҳи Тамагава тасдиқ карда шуданд ва ба Институти миллии дастур оид ба саломатӣ барои нигоҳубин ва истифодаи ҳайвоноти лабораторӣ мувофиқ карда шуданд.

Вазифаи рафторӣ

Маймунҳо барои иҷрои вазифаи халтаи HLC таълим дода шуданд (расми 2). 1a), Вазифаи номуайян HLC (расми 2). 5a) ва вазифаи ҷустуҷӯи HLC (расми 8). 7a). Ҳама вазифаҳо дар хонаи торик иҷро мешуданд. Маймунҳоро дар курсии назди 22-сола нишаста буданд. Мониторҳои LCD (S2232W, Eizo) бо сутунҳои сари ҷойгиркардашуда ба кафедра. Масофаи байни чашмони онҳо ва намоиш 70 см буд. Вақте ки дар маркази экран нишони оғози кор (доираи сафед, диаметри 0.3 °) гузошта шуд, аз маймун талаб карда шуд, ки нигоҳи худро ба нишона нигоҳ дорад. Нишондиҳандаи оғоз пас аз 750 мс нопадид шуд ва сипас нишонаи арзиш пешниҳод карда шуд (мутаносибан ситора ва осиёби бодӣ барои озмоишҳои HC ва LC). Аз маймунҳо талаб карда мешуданд, ки ҳангоми пешниҳоди 750 мс ба нишони арзиш сарф кунанд. Агар онҳо ба нишона савол надоданд, мурофиа қатъ карда шуд ва ҳамон мурофиа аз нав оғоз ёфт. Ҳангоми озмоишҳои ҲС, ҳадафи тасҳеҳ (0.3 ° × 0.3 ° чоркунҷаи сафед) пас аз нопадид шудани нишонаи хароҷот барои 2000 ms (saccade HLC ва HLC вазифаҳои номуайян) ё 1500 ms (вазифаи иктишофи HLC) пешниҳод карда шуд ва маймунҳо талаб карда шуданд то ки ба он саҷда кунанд ва нигоҳи худро ба он нигоҳ доранд. Агар маймунҳо нигоҳи худро аз равзанаи тасвири 4 ° × 4 ° гузаронида бошанд, вазифа қатъ карда шуд. Равзанаи ислоҳот пас аз муаррифии нуқтаи ислоҳот 400 мс фаъол шуд, зеро маймунҳо барои омодагӣ ба садақа ва тасҳеҳи таъини онҳо вақт лозим буданд. Аз ин рӯ, маймунҳо бояд ҳадди аққал 1600 ms (saccade HLC ва HLC вазифаҳои номуайян) ё 1100 ms (вазифаи тадқиқоти HLC) -ро дар озмоишҳои HC муайян мекарданд. Дар озмоишҳои LC, экрани холӣ барои 1500 ms (saccade HLC ва HLC вазифаҳои номуайян) ё 1000 ms (вазифаи таҳқиқи HLC) намоиш дода шуд ва пас ҳадафи ислоҳот барои 500 ms пайдо шуд. Азбаски равзанаи ислоҳот пас аз муаррифии нуқтаи ислоҳот 400 мс фаъол шуд, аз маймунҳо талаб карда шуд, ки дар озмоишҳои LC ҳадди аққал 100 мс ҳадафро мустаҳкам кунанд. Маймунҳо дар мурофиаи НС хатогиҳои бештар нишон доданд; аз ин рӯ, аборти маҷбурӣ ба таври тасодуфӣ 100 мс пеш аз пешниҳоди нишони мукофот (400 мс пас аз презентатсияи ҳадаф, ки вақти оғози равзанаи тасҳеҳ аст) дар озмоиши LC гузошта шуд, то сатҳи муваффақиятро баробар кунад. Пас аз насб кардани ҳадаф, як ё ду нишони мукофот пешниҳод карда шуд ва аз маймунҳо талаб карда шуд, ки ба нишони ҳузур пазируфта шаванд. Агар онҳо бомуваффақият ба нишони мукофотӣ садақа кунанд, пас аз муаррифии нишони мукофот садои бонг 750 мс бароварда шуд. Вақте ки маймунҳо ба рукни R + як садақа карданд, дар як вақт бо садои гудок 0.3 мл об дода шуд. Вақте ки онҳо ба садақа ба R− ишора карданд, мукофотпулӣ дода нашуд.

Дар вазифаи халтаи HLC, чаҳор гардиши ранга ҳамчун ҷои мукофот истифода мешуданд (RHC+: зард; РHC-: сабз; РLC+: гулобӣ; РLC-: кабуд; Анҷир. 1a). Як ҷаласаи таҷрибавӣ аз 80 озмоишҳои саккадӣ, 20 озмоишҳои пешгӯинашавандаи мукофот, 20 озмоишҳои пешгӯинашавандаи ҳавоӣ ва 5 озмоишҳои интихоб иборат буд. Озмоишҳои сақфӣ, 40 озмоишҳои HC ва 40 озмоишҳои LC-ро дар бар мегирифтанд, ки ҳардуи онҳо 20 озмоишҳои мукофотӣ ва 20 озмоишҳои мукофот надоштанд. Дар ҷоизаи пешгӯинашаванда ё озмоишҳои ҳавоӣ, 0.3 мл мукофоти обӣ ё 0.2 МПа ҳаво (150 мс барои маймун Р; 200 мс барои маймун S) бидуни нусхабардорӣ ба рӯи маймунҳо расонида шуд. Озмоишҳои интихобӣ озмоишеро дар бар мегирифтанд, ки дар он маймунҳо байни R + ишораҳо интихоб карданд (RHC+ против RLC+) дар мурофиаи HC, байни R− cues (RHC- против RLC-) дар мурофиаи HC, байни R + (R.)HC+ против RLC+) далелҳо дар мурофиаи LC, байни R− (RHC- против RLC-) сабтҳо дар мурофиаи аккосӣ ва байни хароҷот (Расми иловагӣ). 1). Дар озмоишҳо бо интихоби байни мукофотҳои мукофотӣ, сохтори вазифаҳо бо пешниҳоди мукофот пеш аз муаррифии мукофоти мушобеҳ якхела буд. Сипас, ба ҷои пешниҳоди мукофот барои ду озмуни мукофот дар озмоишҳои интихобӣ пешниҳод карда шуд ва пас аз муаррифии эълони мукофот ҳеҷ чиз ба даст наомадааст, ҳатто агар маймунҳо дар байни интихоби Р + интихоб карда бошанд.

Барои озмудани ҷавоби нейронҳои допамин ба таҳвили мукофот, маймунҳо номуайяни HLC-ро иҷро карданд (расми 15). 5a). Ин вазифа ба вазифаи халтаи HLC монанд буд, ба ғайр аз музди мукофот. Дар ин вазифа, мо ду шеваи мукофотро истифода бурдем (ба ҷои чаҳор нишони мукофот дар ҳошияи супориши HLC), яке барои мурофиаи HC ва дигаре барои мурофиаи LC. Пас аз муаррифии эътимод ба мукофот дар нисфи озмоишҳо супорида шуд. Як ҷаласаи таҷрибавӣ аз озмоишҳои халабони 80, озмоишҳои пешгӯинашавандаи 20 ва озмоишҳои пешгӯинашавандаи ҳаво иборат буд. Озмоишҳои ҷудошуда озмоишҳои 20 HC ва 40 LC-ро дар бар мегирифтанд, ҳардуи он озмоишҳои мукофоти 40 ва 20 озмоишҳои мукофотро дарбар намегирифтанд. Дар озмоишҳои пешгӯинашаванда мукофот ё ҳавопаймо бидуни ҳеҷ гуна эътибор супурда шуд.

Дар вазифаи ҷустуҷӯи HLC, ду мукофоти мукофот (RHC+, RHC- ё RLC+, RLC-) ҳамзамон пешниҳод карда шуд ва аз маймунҳо талаб карда мешуд, ки ба яке аз нишонаҳои мукофот гиранд (расми 15). 7a). Агар онҳо Рюро интихоб кунанд, ба онҳо мукофоти обӣ дода шуд. Чор нишонаи мукофот (RHC +, RHC-, РLC +, RLC-) барои ҳар як ҷаласаи иктишофӣ тавлид шуд ва аз маймунҳо талаб карда шуд, ки алоқаи байни суратҳо ва мукофоти озмоиши-озмоиширо омӯзанд. Як сессияи таҷрибавӣ аз озмоишҳои 100 HC ва 100 LC иборат буд. Мо дарёфтем, ки барои иҷрои корҳои иктишофӣ, агар мо мӯҳлати муайяншавиро 2000 ms дар ҳолати HC муқаррар кунем, то он ки мӯҳлати ҳолати HC ба вазифаҳои дигар мувофиқат кунад, маймунҳо ин корро бо суръати хеле пасти муваффақият иҷро карданд, шояд аз сабаби душвориҳои вазифа ва / ё дар натиҷа сатҳи пасти подош. Аз ин рӯ, барои кам кардани душвориҳои вазифа ва зиёд кардани суръати муваффақият, мо як мӯҳлати ислоҳи 1500 ms-ро ҳамчун арзиши корҳои ҷустуҷӯи HLC истифода бурдем.

Вазифаҳо бо истифодаи бастаи нармафзори ба фурӯш дастрас (TEMPO, Reflective Computing, Сент-Луис, MO, ИМА) назорат мешуданд. Як барномаи фармоишӣ бо истифода аз интерфейси барномасозии барномавӣ (OpenGL) барои муаррифии ҳавасмандкунии визуалӣ истифода мешуд. Ҳавасмандкунандагони визуалӣ барои хароҷот ва нишони мукофотҳо аз ҷониби муаллифон сохта шудаанд.

Сабт ва гирифтани маълумот

Ҷойгиршавии substantia nigra бо истифода аз тасвирҳои MR ҳисоб карда шуд. Як электроди эпоксиддори волфрам (диаметри шишагӣ, 0.25 мм, 0.5 – 1.5 MΩ, ки дар 1000 Гц, FHC чен карда мешавад) ба Нигра бо ёрии микроманипулятор (MO-972, Narishige, Токио, Ҷопон) ба камераи сабт ҳамроҳ карда шуд найчаи дастури зангногир. Сигналҳои шиддат тақвият дода шуданд (× 10,000) ва филтр карда шудаанд (0.5 – 2 кГц). Потенсиалҳои амалиётӣ аз як нейрон бо як алгоритми қолаби мувофиқ ҷудо карда шуданд (OmniPlex, Plexon, Dallas, TX, ИМА). Ҳаракати чашм тавассути системаи камераи инфрасурх бо суръати интихоби 500 Hz назорат карда шуд (iView X Hi-Speed ​​Primate, SMI, Teltow, Олмон). Вақти эҳтимолияти амал ва ҳодисаҳои рафтор бо қарори вақт 1 kHz сабт карда шуд.

Таҳлили маълумот

Барои таҳлили рафтори маймунҳо, РТ ҳамчун фосилаи вақт байни фарорасии ҳавасмандкунӣ ва вақти оғоз шудани маймунҳо ҷосусро муайян карданд. Оғози saccade бо роҳи ҳисоб кардани вақт муайян карда шуд, вақте ки мавқеи назари нигаронӣ аз дуршавии стандартии 5 аз мавқеи назари назари пеш аз муаррифии кьют аз ҳад зиёд буд.

Дар вазифаи таҳқиқи HLC, рафтори интихоби маймунҳо тавассути мувофиқ кардани функсияи умумии экспоненсиалӣ муайян карда шуд. Функсияи (P) ҳиссаи интихоби дурустро чунин шарҳ медиҳад:

P=12+(12- ба12⋅ранд(- баa⋅t))⋅b,
(1)

ки дар t маънои мурофиа, a ва b мутаносибан нишебӣ ва платаи ҷадвалро нишон диҳед. Ин функсия мустақилона ба додаҳо барои ду ҳолати нарх мувофиқ буд. Параметрҳои функсия бо мақсади баланд бардоштани эҳтимолияти мушоҳидаи додаҳо аз як ҷаласаи ягона ва маълумоти миёна ҷустуҷӯ карда шуданд. Методи роҳандозӣ барои баҳодиҳии фосилаҳои эътимод ҳангоми мувофиқат ба додаҳои миёна истифода шудааст. Барои муайян кардани маълумоти рафторӣ модели стандартии RL низ истифода шудааст. Арзишҳои ҳавасмандкунанда Vj(t) барои интихоби интихобшуда j (j = 1 барои ҳолати HC; j = 2 барои ҳолати LC) ба таври зерин навсозӣ карда шуд:

Vj(t+1)=Vj(t)+αj⋅(R(t)- баVj(t)),
(2)

ки дар αj сатҳи таҳсилро, ки ба арзишҳои байни 0 ва 1 маҳдуд шуда буданд, нишон диҳед. R(t) маблағи мукофотро нишон медиҳад (1: мукофотонидашуда, 0: ҳеҷ мукофот) ҳангоми мурофиа t.

Эҳтимолияти Pj(t) интихоби ҳавасмандкунӣ j аз ду ҳавасманд дар мурофиа t бо қоидаҳои softmax дода мешавад

Pj(t)=exp(Vj(t)βj)/∑2i=1exp(Vi(t)βi),
(3)

ки дар βj дараҷаи иктишофро нишон медиҳад.

Мо дар давоми сактаи HLC ва вазифаи номуайян HLC фаъолияти нейрониро сабт кардем, аммо на вазифаи таҳқиқоти HLC. Вазифаи иктишофи HLC ҳамчун омӯзиши сирф рафторӣ татбиқ карда шуд. Нейронҳои допамин, агар онҳо ҳар яке аз хосиятҳои зеринро нишон диҳанд, муайян карда шуданд: суръати паси оташфишонии тоникӣ (<6 Hz), давомнокии дарозии шакли мавҷи хӯшаҳо (> 300 μs) ва ҷавоби фазавӣ ба мукофоти пешгӯинашаванда (Расми иловагӣ. 2a). Мо озмоишҳоро таҳлил кардем, ки дар он маймунҳо метавонистанд мурофиаро бидуни ягон хатогӣ ба анҷом расонанд (мустаҳкамкунии боздорӣ, халтача ё исқоти сунъӣ). Сатҳи миёнаи тирандозии нейрон бо зарфҳои 1 ms ҳисоб карда шуда, бо ядроҳои Гаусси ҳамвор карда шуд (σ = 30 ms, width = 4σ) барои ба вуҷуд овардани функсияҳои зичии хӯшае. Ҷавобҳои нейронҳои допамин ба ҳар як чорабинии корӣ ҳамчун сатҳи муқарраршудаи сӯхтор нисбат ба фаъолияти стихиявӣ ҳисоб карда шуданд (суръати миёнаи тирандозӣ дар тӯли 500 мс пеш аз оғози куф). Қурбҳои оташфишонӣ дар чорчӯбаи вақт барои ҳар як чорабинӣ ва мавзӯъ муайян карда шуданд. Равзанаҳои ин вақт аз фаъолияти миёнаи аҳолӣ муайян карда шуданд. Мо нуқтаҳои ибтидоӣ ва охири тирезаҳоро бо назардошти таҳқиқи миёнаи майдони допамин ҳамчун авлавият ба афзоиш ва пастшавии вақти вокуниш ба ҳисоби миёна ба аҳолӣ муайян кардем (Расми иловагӣ). 3). Равзанаи вақт барои оғози ибтидо ҳамчун 200 – 400 ms пас аз фарорасии оuози нейронҳо аз маймунҳои P ва S сабт карда шуд. Равзанаи вақт барои кати шартӣ ҳамчун 150 – 300 ms пас аз оғози ҳолати маймун P ва муайян карда шуд. 200-400 ms барои маймун S. Вақти равзанаи мукофот барои 140 – 350 ms пас аз оғози сабти мукофот барои маймун P ва 220 – 420 ms барои маймун С. муайян карда шуд. Равзанаи вақти расонидани мукофот ҳамчун 225– муайян карда шуд 475 ms пас аз фарорасии сигнали маймун P ва 200 – 450 ms барои маймун С., равзанаи вақти расонидани пешгӯинашавандаи мукофот ҳамчун 100 – 300 ms пас аз супоридани мукофот барои маймун P ва 150 – 300 ms барои маймун С. равзанаи вақт барои ҳавопаймои пешгӯинашаванда ҳамчун 30 – 230 ms пас аз таҳвили ҳаво барои маймун P ва 50 – 200 ms барои маймун С.

Мо ҳамаи нейронҳои допамини сабтшударо ба ду категорияҳои алоҳида, арзиши ҳавасмандӣ ва намудҳои тасниф тасниф кардем. Агар аксуламали нейрон ба ангезандаҳои ҳаво нисбат ба фаъолияти стихиявӣ хурдтар бошад, нейрон ҳамчун навъи арзиши ҳавасмандкунӣ тасниф карда шуд (Расми XNUMX). 3d, e). Баръакси ин, агар аксуламали нейрон ба ҳавои ҳавои нафас аз фаъолияти стихиявӣ калонтар бошад, нейрон ба навъи ночиз тасниф карда шуд (Расми 15). 3g, h).

Барои миқдор кардани фаъолияти дифференсиалии нейронҳо дар байни шароити вазифа, таҳлили ROC гузаронида шуд. Мо auROC-ро барои ҳар як нейрон ҳисоб карда баромадем. AuROC хурдтар ё калонтар аз 0.5 посухи хурдтар ё калонтарро дар мурофиаи HC нишон медиҳад. Азбаски шумораи нейронҳо дар баъзе маҷмӯи маълумотҳои нейронҳо кам буданд, мо озмоиши рутбаи имзошудаи Вилкоксонро барои коҳиш додани таъсири изофаҳо барои миқдори тақсимоти ғаразноки aRROC истифода бурдем.

Нармафзори аз ҷиҳати тиҷоратӣ дастрас MATLAB (MathWorks, Natick, MA, ИМА) барои анҷом додани таҳлили додаҳо истифода мешуд.

Ташхиси гистологӣ

Пас аз таҷрибаҳои сабт, ҳарду маймунҳо эвтантанизатсия карда шуданд ва таҳлили гистологӣ барои санҷиши мавқеи сабт гузаронида шуд (Расми иловагӣ) 2b). Маймунҳоро тавассути ворид кардани вояи марговар аз натрий пентобарбитал (70 мг кг) эвутанизатсия карданд-1) ва бо 4% формальдегид дар буфери фосфат комил карда шуд. Қисматҳои сериалии короналӣ (ғафсӣ, 10 мкм) бо антиденои зидди тирозин гидроксилаза (TH) бурида шуданд ва дар ҳама боқимондаҳо (ҳар қисматҳои 25; анти-TH антиден, 1: 500; Merck, Darmstadt, Олмон) ё рангкунии Nissl (ҳар як 25 қисм) .

Хулосаи ҳисоботӣ

Маълумоти иловагӣ дар бораи тарҳи таҳқиқот дар Хулосаи ҳисоботи таҳқиқоти табиӣ вобаста ба ин мақола.

Мавҷудияти маълумот

Маълумоте, ки дар таҳлили ин таҳқиқот истифода шудааст, аз муаллифи дахлдор бо дархости асоснок дастрас аст. Хулосаи гузоришҳо барои ин мақола ҳамчун файли иттилооти иловагӣ мавҷуд аст. Маълумоти манбаъе, ки асоси анҷир. 1, 3-8 ва Анҷирҳои иловагӣ. 1, 4-12 ҳамчун файли манбаъ дода мешаванд.

Мавҷудияти рамз

Рамзҳои Matlab, ки дар таҳлили ин таҳқиқот истифода шудаанд, аз муаллифи дахлдор бо дархости асоснок дастрас карда мешаванд.

Адабиёт

  1. 1.

    Clement, TS, Feltus, JR, Kaiser, DH & Zentall, TR “Этикаи корӣ” дар кабӯтарҳо: арзиши мукофот бевосита бо саъй ё вақти лозим барои гирифтани мукофот вобаста аст. Психон. Булбул. Ваҳй 7, 100-106 (2000).

  2. 2.

    Klein, ED, Bhatt, RS & Zentall, TR Contrast ва асоснокии талошҳо. Психон. Булбул. Ваҳй 12, 335-339 (2005).

  3. 3.

    Zentall, TR & Singer, RA Баръакси озмоиш: кабӯтарҳо тақвиятдиҳандагони шартиро дӯст медоранд, ки нисбат ба як ҳодисаи камтар ҷаззоб нисбатан бештар пайравӣ мекунанд. Ҷ. Анал. Беҳзод. 88, 131-149 (2007).

  4. 4.

    Aronson, E. & Mills, J. Таъсири вазнинии оғоз ба дӯст доштани гурӯҳ. Ҷ. Ҷамъият Психол. 59, 177-181 (1959).

  5. 5.

    Фестингер, Л. A назарияи Dissonance маърифатӣ. (Матбуоти Донишгоҳи Стэнфорд, Калифорния, 1957).

  6. 6.

    Alessandri, J., Darcheville, JC, Delevoye-Turrell, Y. & Zentall, TR Афзалият барои мукофотҳое, ки саъйи бештар ва таъхири бештарро дунбол мекунанд. Рафтанро омӯзед. 36, 352-358 (2008).

  7. 7.

    Schultz, W., Carelli, RM & Wightman, RM Phasic допамин сигналҳо: аз арзиши субъективии мукофот ба фоидаи расмии иқтисодӣ. Curr. Андеша. Рафтор. Илм. 5, 147-154 (2015).

  8. 8.

    Schultz, W., Dayan, P. & Montague, PR Субстрати нейронии пешгӯӣ ва мукофот. илм 275, 1593-1599 (1997).

  9. 9.

    Bromberg-Martin, ES, Matsumoto, M. & Hikosaka, O. Dopamine дар назорати ҳавасмандгардонӣ: мукофотпазирӣ, огоҳӣ ва ҳушдор. Неурон 68, 815-834 (2010).

  10. 10.

    Bayer, HM & Glimcher, PW нейронҳои допамини Midbrain сигнали хатогии пешгӯии мукофотро рамзгузорӣ мекунанд. Неурон 47, 129-141 (2005).

  11. 11.

    Накахара, Х, Итох, Х, Каваго, Р., Такикава, Ю. & Хикосака, О.Нейронҳои допамин метавонанд хатогии пешгӯии вобаста ба контекстро нишон диҳанд. Неурон 41, 269-280 (2004).

  12. 12.

    Tobler, PN, Fiorillo, CD & Schultz, W. Рамзгузории мутобиқгаштаи арзиши мукофот аз ҷониби нейронҳои допамин. илм 307, 1642-1645 (2005).

  13. 13.

    Nomoto, K., Schultz, W., Ватанабе, Т. & Сакагами, M. Ҷавобҳои допаминро ба таври муваққатӣ ба ҳушдорҳои эҳтиёткоронаи пешгӯии мукофот пешгӯӣ карданд. Н.Н. Нососчи. 30, 10692-10702 (2010).

  14. 14.

    Watabe-Uchida, M., Zhu, L., Ogawa, SK, Vamanrao, A. & Uchida, N. Харитасозии пурраи мағзи сарчашмаҳои мустақим ба нейронҳои допамини мағзи миёна. Неурон 74, 858-873 (2012).

  15. 15.

    Танака, SC ва дигарон. Пешгӯии мукофотҳои фаврӣ ва оянда ба фарқ аз ҷалб кардани ҳалқаҳои cortico-bazal ganglia. Н. Neurosci. 7, 887-893 (2004).

  16. 16.

    Haber, SN, Kim, KS, Mailly, P. & Calzavara, R. Воридоти кортикалии ба мукофот алоқаманд минтақаи калони стриаталиро дар приматҳо муайян мекунанд, ки бо пайвастагиҳои ассоциативии кортикалӣ интерфейс мекунанд ва барои таҳсили ҳавасмандгардонӣ замина фароҳам меоранд. Н.Н. Нососчи. 26, 8368-8376 (2006).

  17. 17.

    Доя, К. Модулятори қабули қарор. Н. Neurosci. 11, 410-416 (2008).

  18. 18.

    Roesch, MR, Calu, DJ & Schoenbaum, G. Нейронҳои допамин варианти беҳтарро дар каламушҳо қарор медиҳанд, ки дар байни мукофотҳои мухталиф таъхир ё андоза қарор мегиранд. Н. Neurosci. 10, 1615-1624 (2007).

  19. 19.

    Lak, A., Stauffer, WR & Schultz, W. Допамин ҷавобҳои хатогии пешгӯишаванда арзиши субъективиро аз андозаҳои мухталифи мукофот ҳамҷоя мекунанд. Прок. Natl Acad. Илм. ИМА 111, 2343-2348 (2014).

  20. 20.

    Stauffer, WR, Lak, A. & Schultz, W. Допамин ҷавобҳои хатогиҳои пешгӯии мукофотро муфид нишон медиҳанд. Асъор. Biol. 24, 2491-2500 (2014).

  21. 21.

    Noritake, A., Ninomiya, T. & Isoda, M. Мониторинги иҷтимоӣ ва арзёбӣ дар мағзи макак. Н. Neurosci. 21, 1452-1462 (2018).

  22. 22.

    Pasquereau, B. & Turner, RS маҳдуд рамзгузории саъй аз ҷониби нейронҳои допамин дар иҷрои вазифаи хароҷоти фоидаовар. Н.Н. Нососчи. 33, 8288-8300 (2013).

  23. 23.

    Varazzani, C., San-Galli, A., Gilardeau, S. & Bouret, S. Noradrenaline and dopamine neurons in the мукофот / саъю кӯшиш: муқоисаи мустақими электрофизиологӣ дар маймунҳои рафторӣ. Н.Н. Нососчи. 20, 7866-7877 (2015).

  24. 24.

    Watanabe, N., Sakagami, M. & Haruno, M. Сигнали хатогии пешгӯии мукофот, ки бо ҳамкории стриатум-амигдала тақвият дода шудааст, суръатбахшии омӯзиши мукофотҳои эҳтимолиро бо эҳсосот шарҳ медиҳад. Н.Н. Нососчи. 33, 4487-4493 (2013).

  25. 25.

    Di Ciano, P., Cardinal, RN, Cowell, RA, Little, SJ & Everitt, B. Ҷалби дифференсиалии NMDA, AMPA / kainate ва допамин ретсепторҳо дар ядрои accumbens core дар ба даст овардан ва иҷрои рафтори равиши Павлов. Н.Н. Нососчи. 21, 9471-9477 (2001).

  26. 26.

    Flagel, SB et al. Нақши интихобӣ барои дофамин дар омӯзиши ҳавасмандкунӣ ва мукофот. табиат 469, 53-57 (2011).

  27. 27.

    Blough, DS Таъсири дастаҷамъӣ, табъиз ва мустаҳкамкунӣ ба ҷузъҳои реаксияи вақти ҷустуҷӯи визуалии кабӯтар. J. Exp. Психол. Аним. Рафтор. Раванди. 26, 50-63 (2000).

  28. 28.

    Matsumoto, M. & Hikosaka, O. Ду намуди нейрони допамин сигналҳои ҳавасмандии мусбӣ ва манфиро ба таври равшан нишон медиҳанд. табиат 459, 837-841 (2009).

  29. 29.

    Matsumoto, M. & Takada, M. Намояндагиҳои гуногуни сигналҳои маърифатӣ ва ҳавасмандгардонӣ дар нейронҳои допаминии мағзи миёна. Неурон 79, 1011-1024 (2013).

  30. 30.

    Ватанабе, M. ва дигарон. Реаксияҳои рафторӣ, ки интизориҳои гуногунро дар маймунҳо инъикос мекунанд. Бештар Беэътимод. 140, 511-518 (2001).

  31. 31.

    Takikawa, Y., Kawagoe, R. & Hikosaka, O. Нақши эҳтимолии нейронҳои допамини миёнаравӣ дар мутобиқсозии кӯтоҳмуддат ва дарозмуддат ба харитасозии ҷоиза. J. Нуриофизит. 92, 2520-2529 (2004).

  32. 32.

    Kobayashi, S. & Schultz, W. Таъсири таъхирҳои мукофотӣ ба ҷавобҳои нейронҳои допамин. Н.Н. Нососчи. 28, 7837-7846 (2008).

  33. 33.

    Эномото, К. ва дигарон. Нейронҳои допамин рамзгузории арзиши дарозмуддати муздашонро дар оянда меомӯзанд. Прок. Natl Acad. Илм. ИМА 108, 15462-15467 (2011).

  34. 34.

    Lak, A., Nomoto, K., Keramati, M., Sakagami, M. & Kepecs, A. Нейронҳои мобайнии допамин эътимод ба дурустии интихобро ҳангоми тасмими дарк нишон медиҳанд. Асъор. Biol. 27, 821-832 (2017).

  35. 35.

    Williams, BA & McDevitt, MA Ингибиш ва суперкондиционер. Психол. Суб. 13, 454-459 (2002).

  36. 36.

    Беҳренс, ТЭ, Вулрих, МВ, Уолтон, ME ва Рушворт, МФ Омӯзиши арзиши иттилоот дар ҷаҳони номуайян. Н. Neurosci. 10, 1214-1221 (2007).

  37. 37.

    Сеймур, B. ва дигарон. Равандҳои носолимии аппетит ва ёвари асабҳо бар пешгӯии сабуккунандаи дард асос ёфтаанд Н. Neurosci. 8, 1234-1240 (2005).

  38. 38.

    Kim, H., Shimojo, S. & O'Doherty, JP Оё пешгирӣ аз натиҷаи оқибат муфид аст? Заминҳои нейронии пешгирӣ дар мағзи сари инсон. Пуршунавандаҳо 4, e233 (2006).

  39. 39.

    Syed, EC ва дигарон. Ибтикори амал рамзгузории мукофотҳои ояндаро mezolimbic dopamin месозад. Н. Neurosci. 19, 34-36 (2016).

Тафсилотро бор кунед

изњори сипос

Ин кор аз ҷониби MEXT / JSPS гранти кӯмак дар таҳқиқоти илмӣ (Какени) дастгирӣ карда шудааст Рақамҳои грантии JP16H06571 ва JP18H03662 ба MS Ин таҳқиқот қисман аз ҷониби Барномаи Тадқиқоти стратегӣ барои илмҳои майна бо дастгирии Агентии Япония оид ба Тадқиқот ва Рушди Тиббӣ (AMED) дастгирӣ шудааст ) ва Барномаи ҳамкориҳо оид ба таҳқиқоти майнаи Япония - ИМА. Ин тадқиқот аз ҷониби Лоиҳаи миллии био-манбаъ дар Институти Миллии Илми Физиологӣ (NBRP дар NIPS) аз Агентии Япония оид ба Тадқиқот ва Рушди Тиббӣ, AMED дастгирӣ шудааст. Мо ба Бернард В. Баллин ва Эндрю Р. Деламатер барои кӯмак дар навиштани варақ сипосгузорем.

Маълумоти муаллиф

Ассотсиатсияҳо

  1. Институти илмии майна, Донишгоҳи Тамагава, 6-1-1 Тамагавакакуен, Мачида, Токио, 194-8610, Ҷопон

    • Шинго Танака
    •  & Масамичи Сакагами

  2. Шӯъбаи илмҳои гуманитарӣ ва иҷтимоӣ, Институти технологии Калифорния, 1200 E California Blvd, Пасадена, CA, 91125, ИМА

    • Ҷон P. O'Doherty

  3. Ҳисоббарорӣ ва системаҳои асабӣ, Институти технологии Калифорния, 1200 E California Blvd, Пасадена, CA, 91125, ИМА

    • Ҷон P. O'Doherty

Дастрасӣ

ST, JPO ва MS таҷрибаҳоро таҳия намуданд. ST таҷрибаҳо гузаронид ва маълумотҳоро таҳлил кард. JPO ва MS таҷрибаҳо ва таҳлили маълумотро такмил доданд. ST, JPO ва MS дастнависро навиштааст.

Муаллими муосир

Муҳофизат ба Масамичи Сакагами.