Izohlar: noaniqlik yangilikni anglatadi. Ushbu murakkab tadqiqot shuni tasdiqladiki, yangilik dopaminni ko'paytiradi. Shuningdek, mukofot qancha noaniq bo'lsa, o'rganish shunchalik kuchli bo'lishini tushuntiradi. Internet pornografiyasi o'tmishdagi pornolardan cheksiz yangilik tufayli farq qiladi - bu dopaminning cheksiz xiralashishini anglatadi. Giyohvandlik - bu asosiy narsa o'rganish va xotira. Pornografiyaning yangi janriga o'tish dopamin va o'rganishni faollashtiradi - bu siz boshdan kechirmoqchi bo'lgan narsaning noaniqligi tufayli. Noaniqlik, shuningdek, porno foydalanuvchilar pornografiya uchun sörf qilganda ham paydo bo'ladi. Siz nima ko'rmoqchi ekanligingizni bilmayapsiz va bu dopaminni yo'q qiladi.
Yangilik, noaniqlik va barcha faol dopaminni qidirmoq
To'liq o'rganish: Dopamin noaniqligi va TD o'rganish
Xulq-atvor va miya vazifalari 2005, 1:6doi:10.1186/1744-9081-1-6
Yael Niv1,2, Maykl O Duff2 va Piter Dayan2
1 disiplinlerarası neyron hisoblash markazi, ibroniycha universitet, Quddus, Isroil
2 Gatsby hisoblash nevrologiya bo'limi, University College London, London, Buyuk Britaniya
Ushbu maqolaning elektron versiyasi to'liqdir va quyidagi manzilda topish mumkin: http://www.behavioralandbrainfunctions.com/content/1/1/6
© 2005 Niv va boshq. litsenziya beruvchi BioMed Central Ltd.
mavhum
Katta dalillar, primat midbrensidagi dopaminerjik neyronlarning fasik faoliyati, kelajakda mukofotni prognoz qilishda vaqtinchalik farq (TD) xatosini ifodalaydi, bu esa yuqorida ko'tarilgani va ijobiy va salbiy prognostik xatolarga asoslangan holda pastdan pastga tushib ketishini ko'rsatadi. Shu bilan birga, dopamin hujayralari juda past darajadagi faoliyatga ega, bu ikki xil xato turining assimetrik ekanligini anglatadi. Tajribalarda dopaminergik otishni o'rganish naqshlarini talqin qilishda bu taxminiy bezovta qiladigan asimmetriyaning taxminiy prognoz xatolarini keltirib chiqaradigan probabilistik natijalar bilan bog'liq ta'sirlarini o'rganamiz. Xususan, biz sinovlarda noan'anaviy bashorat qilish xatolarining o'rtacha qiymatini aniqlashda, dopamin neyronlarning faoliyatida sezilarli natijalarga erishish kerakligini ko'rsatamiz. Bu aniq hodisa yaqinda o'tkazilgan tajribada kuzatilgan bo'lsa-da, noaniqlikni kodlashda antipodal tarzda sharhlanadi.
Kirish
Maymunalar, kalamushlar va odamlarning midbrainsidagi dopaminerjik (ULAR) hujayralarining fasik faolligi haqida [1-5] kelajakdagi mukofotlar haqidagi tasavvurlarni o'z ichiga olgan klassik va instrumental konditsionerlik vazifalaridagi fiziologik, tasvirlash va psixofarmakologik ma'lumotlar katta ta'sir ko'rsatadi. Ushbu ma'lumotlar [6,7], DA neyronlarning faoliyati kelajakdagi mukofot [8,9] bashorat qilishida vaqtinchalik farqi (TD) xatosini ko'rsatishi uchun taklif qilingan. Dopaminning ushbu TD nazariyasi qiziqish va neyroniy ma'lumotlarni to'plash uchun aniq hisoblash asosini ta'minlaydi. Bundan tashqari, u DA nazariy jihatdan ikkala predmetni va mukofotni optimallashtirishni o'rganishni nazorat qilish uchun mos bo'lgan signalni taqdim etadi.
TD nazariyasi foydasiga eng mazmunli dalillardan ba'zilari, dopamin hujayralarining fosik faollashuvini, tasodifiy ogohlantirishlarga (masalan, monitordagi fraktal naqshlar kabi) javob berishga qaratilgan tadqiqotlar natijalaridan kelib chiqqan holda, mukofotlarning yaqinligi (masalan, sharbat tomchilari) . Ko'pgina variantlarda, bular ta'lim bilan mashg'ulotlarni dastlabki vaqtlarda kutilmagan mukofotlar vaqtidan boshlab, mukofotni oldindan belgilab beradigan eng qadrli nuqtaga qadar uzatishni ko'rsatadi. Bu vaqtinchalik-farqi asoslangan bashorat qilish xatoligining kutilgan natijasi (masalan, [1,2,10-13]). Asosiy topilma [7], mukofotni kutilmagan (bu dastlabki sudlarda muqarrar) kutilgandagina, dopamin hujayralari unga kuchli ta'sir ko'rsatadi. Biroq, mukofotni oldindan belgilashda, hujayralar kutilgan mukofotga emas, balki bashoratga javob beradi.
Bashorat qilingan mukofot kutilmagan tarzda chiqarib yuborilsa, hujayralar odatdagidek mukofotning normal vaqtida to'xtatiladi, mukofotni bashorat qilishning aniq vaqtini ko'rsatadigan inhibisyon [10] va uning vaqtinchalik ko'rsatkichlari hozirda sud ekspertlari diqqat markazida [14]. Faoliyatning mukofotlash vaqtidan bashorat qiluvchi vaqtgacha o'zgarishi hayvonning ishtahasi xulq-atvor reaktsiyasining mukofot vaqtidan (shartsiz stimul) klassik shartli tajribalarda shartli stimulga o'tishiga o'xshaydi [7,10] .
So'nggi bir qiziqarli tadqiqotda Fiorillo va boshq. [15] har bir tekshiruvda qat'iy takomillashtirish ishini ko'rib chiqdi, unda qat'iy, noaniq, prognostik xato mavjud. TD bashorat qilish xatosi gipotezasini sodda talqin qilish, bu holda (a) bashorat qiluvchi stimulyator vaqtida dopaminning samaradorligi mukofotning ehtimoli bilan kengaytirilishi va (b) sinovlar natijalari bo'yicha o'rtacha miqdorda stimuldan keyingi dopaminergik javobni va mukofotning barcha vaqtiga qadar, nol bo'lishi kerak. Birinchi gipotezasi tajribalarda tasdiqlangan bo'lsa-da, ikkinchisi yo'q edi. O'rtacha o'rtacha javoblar TD hisobiga mos kelmagan tetiklantiruvchi boshlanish va mukofot o'rtasidagi kechikish vaqtida faollikning aniq harakatini ko'rsatdi. Fiorillo va boshq. bu faoliyat prognoz xatosidan ko'ra mukofotni topshirishda noaniqlikni anglatishini taxmin qildi.
Ushbu maqolada, biz doimiy prognoz xatoligini ko'rib chiqamiz. Biz ijobiy va salbiy prognozlashdagi xatolarni kodlashda hal qiluvchi ahamiyatga ega assimetriyaning o'rtacha dopamin signallari orasidagi masofani kutish mumkinligini ko'rsatamiz, va shuningdek, DA signalining yana ikkita xususiyatini yaxshi bilishadi - bu mukofotning (potentsial) mukofot vaqtidagi qat'iy harakati va chalinish signalining yo'qolishi (yoki hech bo'lmasa zaiflashuvi), lekin mukofot vaqtidagi signal emas, konditsionerni kechiktirishdan ko'ra izning yuzasida. Ushbu ikki hodisaning Morris va boshq. [16]. Va nihoyat, biz damping faolligining o'zgarishi bashoratli stimulyator vaqtigacha bo'lgan ta'lim mexanizmining tabiati uchun hozirgi paytda mavjud bo'lgan eng yaxshi dalil sifatida tasavvur qilamiz.
Mukofot yuzaga kelganda noaniqlik: DA rampa
Fiorillo va boshq. [15] makakalarga beshta turli xil vizual stimullarni taqdim etishni kechiktirilgan, ehtimollik bilan (pr = 0, 0.25, 0.5, 0.75, 1) sharbat mukofotlarini etkazib berish bilan bog'liq. Ular kechiktirish konditsionerlik paradigmasidan foydalanganlar, unda rag'batlantiruvchi 2s oralig'ida saqlanib qoladi va rag'bat yo'qolganda mukofot beriladi. Treningdan so'ng, maymunlarning kutib turadigan yalamoq xatti-harakatlari, har bir ogohlantirish bilan bog'liq bo'lgan turli xil mukofot ehtimoli haqida xabardor ekanliklarini ko'rsatdi.
Shakl 1a har bir pr uchun hujayra ichi tomonidan qayd etilgan DA xujayrasidagi faoliyatning populyatsion histogramlarini ko'rsatadi. TD nazariyasi, ingl. Ogohlantirguvchilar vaqtidagi DA hujayralarining fosik faollashuvi kutilgan mukofotga mos kelishi kerak, shuning uchun ham pr. Shakl 1a buni aniq ko'rsatib turibdi - haqiqatan ham aholining ko'payishi ancha aniq. Morris va boshq. [16] probabilistik mustahkamlashni o'z ichiga olgan instrumental (trace) shamollatish vazifasida shunga o'xshash natija haqida xabar beradi.
Shakl 1. Probabilistik mukofot vazifasida o'rtacha hisoblash xatolar
(a) har xil mukofot ehtimoli bo'lgan sinovlarda DA javobi. Aholining peri-stimulli vaqt gistogrammalari (PSTH) oraliq ehtimolliklar bo'yicha mukofotlangan va mukofotlanmagan sinovlarga jamlangan har bir pr uchun bir nechta DA neyronlarining ko'plab sinovlar davomida yig'ilgan spiking faolligini ko'rsatadi. (b) assimetrik o'lchov bilan TD bashorat qilish xatosi. Simulyatsiya qilingan topshiriqda har bir sinovda tasodifiy beshta stimul bittasi tanlangan va t = 5 vaqtda namoyish qilingan, t = 25 da stimul o'chirilgan, shu vaqtda rag'batlantiruvchi tomonidan belgilangan pr ehtimoli bilan mukofot berilgan. Biz stimullarning kechiktirilgan chiziqli tasvirini ishlatdik (matnga qarang), har bir stimul turli xil birliklar to'plami ("neyronlar") bilan ifodalangan. TD xatosi δ (t) = r (t) + w (t - 1) • x (t) - w (t - 1) • x (t - 1) edi, r (t) vaqtida t mukofot bilan , va x (t) va w (t) birlik uchun holat va vazn vektorlari. Odatiy TD o'rganish qoidasi a, w (t) = w (t - 1) + a learning (t) x (t - 1) belgilangan o'qish tezligi bilan ishlatilgan, shuning uchun har bir vazn kutilgan kelajakdagi mukofot qiymatini ifodalaydi. Fiorillo va boshqalarga o'xshab, biz vazifani o'rganib bo'lgandan so'ng, ko'plab sinovlar davomida o'rtacha ($) $ taxminiy xatolarni tasvirlaymiz. Vakillik nosimmetrikligi simulyatsiya qilingan PSTH yig'indisidan oldin negative (t) ning salbiy qiymatlari d = 1/6 tomonidan kattalashtirilganligi sababli paydo bo'ladi, ammo o'qitish kattalashmagan xatolarga qarab davom etadi. Nihoyat, pr = 0 uchun rag'batlantiruvchi vaqtdagi kichik ijobiy javoblarni va (a) da ko'rilgan pr = 1 uchun (bashorat qilingan) mukofotni hisobga olish uchun biz kichik (8%) imkoniyatni qabul qildik bashorat qiluvchi rag'batlantirish noto'g'ri aniqlangan. (c) DA javobi pr = 0.5 sinovlarida, mukofotlangan (chapda) va mukofotlanmagan (o'ngda) sinovlarga bo'lingan. (d) (c) ning TD modeli. (a, c) [15] © 2003 AAAS ruxsatnomasi bilan qayta nashr etilgan. Boshqa barcha foydalanish uchun AAAS-dan ruxsat olish talab qilinadi.
Buning aksincha, TD nazariyasi, potentsial mukofotlar etkazib berish vaqtida, o'rtacha hisoblanishicha, hech qanday faoliyat bo'lmasligi kerak, chunki o'rtacha vaqtlarda hech qanday bashorat xato bo'lmaydi. Albatta, ehtimollik kuchaytiruvchi dizaynda (hech bo'lmaganda pr ≠ 0, 1 uchun) aslida har bir testda etkazib berish yoki mukofotni yetkazib berish vaqtida taxmin qilish xatosi mavjud. Mukofot yetkazib beriladigan sinovlarda prognoz xatosi ijobiy bo'lishi kerak (olingan mukofotlar kutilgan mukofotdan kattaroq). Aksincha, mukofotga ega bo'lmagan sinovlarda u salbiy bo'lishi kerak (Qarang: Fig. 1c). Eng muhimi, TD bo'yicha, yuzaga kelishi ehtimoli bo'yicha og'irlikdagi ushbu farqlarning o'rtacha qiymati nol bo'lishi kerak. Agar u nol bo'lmasa, unda bu taxminiy xato, bashorat qilish xatolari mavjud bo'lmagunga qadar bashoratlarni o'zgartiradigan plastisitiv signal sifatida qaralishi kerak. Ushbu taxmin bilan farqli o'laroq, shakl 1a-da, har ikki mukofotlangan va norozi sinovlar bo'yicha o'rtacha hisoblangan ma'lumotlar, aslida, ijobiy o'rtacha harakat mavjudligini ko'rsatadi. Bu ham Morris va boshq. [16] (Qarang: shakl 3c). Ijobiy javoblarning ijobiy ta'siri, hatto muhim mashg'ulotlar bilan ham (oy davomida) yo'qolib borayotganini ko'rsatmaydi.
TD modeli uchun bundan ham yomonroqdir va, albatta, Fiorillo va boshq. [15], mukofotning kutilgan vaqtiga nisbatan DA faoliyatining sezilarli ko'tarilishi. Rampaning kattaligi pr = 0.5 uchun eng katta bo'lganligi sababli, Fiorillo va boshq. u taxminiy xatolardan ko'ra, mukofotni etkazib berishdagi noaniqlik haqida xabar bergan va bu signal noaniqlikning ko'rinadigan tuyadi xususiyatlarini (qimor o'yinlarida ko'rilgan) tushuntirib berishi mumkinligi haqida fikr bildirgan.
Har ikkala rampa faolligi va mukofotning kutilgan vaqtidagi faoliyati TD nazariyasiga muhim muammolar keltirib chiqaradi. TD o'qituvchisi ushbu jarayonda ilgari mavjud bo'lgan so'zlashuvlar oldidan prognoz qilinadigan sud jarayonida DA faoliyatini faollashtirish orqali ishlaydi. Shunday qilib, ko'zga tashlanadigan har qanday faoliyat, masalan, mukofot yoki vaqt oralig'ida vizual stimulning boshlanishi bilan prognoz qilinmasdan davom etishi mumkinligi aniq emas. Axir, rag'batlantiruvchi javobga asoslangan o'ziga xos faoliyat uning holatini haqiqiy proektor deb tasdiqlaydi. Bundan tashqari, TD [17] ning asosiy jihati shundaki, u davlatning qiymatini ushbu davlatdan keladigan kelajakdagi yutuqlarning bir belgisi sifatida ishlatish va shuning uchun uning jozibadorligini maqsadga qaratilgan maqsad sifatida ishlatish uchun harakat tanlovini oldindan belgilashdir. Shu nuqtai nazardan qarama-qarshilik harakati oldindan belgilanadigan belgilar bilan aniq ifodalanmaganligi sababli, qimor o'ynashga qaror qilish kabi dastlabki harakatlarga ta'sir qila olmaydi. Misol uchun, ikkita harakatlar o'rtasida raqobatni ko'rib chiqing: oxir-oqibat, deterministik mukofotga ega bo'lgan davlatga va shuning uchun hech qanday rampaga ega bo'lmagan davlatga, ikkinchisi davlatga etakchilik qiladigan, shu bilan bir xil ma'no va ehtimollik bilan ehtimollikdagi mukofotni olib boradigan bir davlat. Rampa shartli ogohlantiruvchi vaqtdagi faoliyatga ta'sir qilmagani uchun qo'shimcha noaniqlikka qaramasdan, ikkinchi harakatni (qimor o'yinini) baholash yoki foydalantirish uchun foydalanilmaydi.
Bu anomali otish naqshlarining to'g'ridan-to'g'ri imzolangan prognoz xatosini kodlashda DA neyronlarning (2-4 Hz) past darajadagi faoliyat tezligi bilan bog'liq cheklovlardan kelib chiqadigan muqobil farazni taklif qilamiz. Fiorillo va boshq. [15], ijobiy bashorat qilish xatolar asosiy sathdan ~% 270% gacha bo'lgan yoqish stavkalari bilan ifodalanadi, salbiy xatolar esa faqatgina [55] ga nisbatan faqatgina ~ 14,18% pasayishi bilan ifodalanadi. Ushbu asimmetriya, past darajali bazaviy darajaga ega bo'lgan otish orqali imzolangan miqdordagi kodlashning oddiy natijasidir, ammo, shubhasiz, faqat ijobiy bo'lishi mumkin. Dastlabki chiziqdan yuqori tortish stavkalari katta dinamik intervalli yordamida ijobiy bashorat qilish xatolarini kodlashi mumkin, biroq, dastlabki yonish stavkalari ostida faqat salbiy prognoz xatolarining kodlashiga cheklov qo'yilishi mumkin.
Binobarin, 1a-rasmda ko'rsatilgandek, har xil sinovlar davomida peri-stimul-time-histogrammalarining (PSTH) yig'indilarini (yoki o'rtacha) ehtiyotkorlik bilan izohlash kerak. Mukofot olish yoki olmaslik vaqtida assimetrik kodlangan ijobiy va salbiy xato signallari, agar ular to'g'ri TD bashorat qilish xatolarini ko'rsatsa ham, nolga teng bo'lmasligi kerak. Xulosa qilib aytganda, mukofotlanmagan sinovlardagi salbiy xatolarni ifodalovchi kam o'q otish mukofotlangan sinovlardagi ijobiy xatolarni kodlovchi tezkor otishni "bekor qilmaydi" va umuman olganda o'rtacha ijobiy javobni ko'rsatadi. Miyada, albatta, javoblar (mukofotlangan va mukofotlanmagan) sinovlar bo'yicha emas, balki sinov davomida neyronlarga nisbatan o'rtacha hisoblanmaganligi sababli, bu muammo tug'dirmasligi kerak.
Bu mukofotni etkazib berish yoki etkazib berish vaqtida doimiy ijobiy faoliyatni (o'rtacha) tushuntiradi. Ammo bu vaqt oldidan rampa haqida nima desa bo'ladi? Hech bo'lmaganda, ogohlantirish va mukofot o'rtasidagi vaqtning ma'lum neyron vakolatlari, sinovlar o'rtacha bo'lganida, xuddi shu assimetriya TD ga mukofotning vaqtiga to'g'ri keladigan faoliyatning bir qismini keltirib chiqarishiga olib keladi. TD ta'lim mexanizmi sud jarayonida (masalan, mukofoti vaqtida) yuzaga keladigan potentsial proektorlarga (masalan, KS) nisbatan yuzaga keladigan prognozlashtirilgan xatolarni targ'ib qilishda ta'sir ko'rsatadi har bir sud jarayonida oldingi davrlarda. Biz muhokama qilgan ijobiy va salbiy prognoz xatolar assimetrik ko'rinishida, bu keng tarqalgan xatolar bir nechta sinovlarda (masalan, shakl 1a) o'rtacha bir mukofot uchun avvalgi sinov uchun ijobiy vositalarga olib keladi. Natijada paydo bo'ladigan rampaning aniq shakli quyidagi tarzda muhokama qilinadiganidek, stimulyatsiya vaqtida va ta'lim tezligida namoyon bo'ladi.
2-rasmda ramping faoliyatining isbotlanishi haqidagi ushbu ko'rinish tasvirlangan. Bu erda stimul ishlatilgandan beri vaqtni kechiktirish chizig'i bilan tasvirlangan. Buning uchun har bir birlik ('neyron') rag'batlantirilgandan keyin ma'lum bir kechikishda faollashadi (ya'ni, 1 qiymatini oladi), shuning uchun stimul boshlanganidan keyin har bir vaqt oralig'i bir birlikning otilishi bilan doimiy ravishda ifodalanadi. O'rganish (dopaminerjik ravishda bildirilgan) TD xatosiga asoslanib, ph (t) = r (t) + V (t) - V (t - 1) sifatida rasmiylashtirildi, V (t) bilan faol birlikdan tortilgan kirish vaqt t, va r (t) t vaqtda olingan mukofot. O'quvchilarning og'irliklarini standart TD yangilash qoidalariga muvofiq belgilangan o'quv stavkasi bilan yangilash V (t) ning o'rtacha kutilayotgan mukofotlarni ifodalashiga imkon beradi (1-rasmga qarang). Har bir keyingi vaqt oralig'i alohida-alohida namoyish etilganligi sababli, TD prognozi xatolari sinovning istalgan vaqtida paydo bo'lishi mumkin. Shakl 2a bu xatolarni ketma-ket oltita simulyatsiya qilingan sinovlarda ko'rsatadi, bunda pr = 0.5 bo'ladi. Har bir sinovda mukofot vaqtida yangi ijobiy yoki salbiy xato paydo bo'ladi, natijada mukofotni olish yoki olmaslik va natijada oldingi sinovlardagi xatolar stimul vaqtiga qadar tarqalib boradi. vaznlarning doimiy yangilanishi (masalan, qizil rang bilan belgilangan xato). Sinovlar davomida o'rtacha (yoki PSTHlarda bo'lgani kabi) yig'ilganda, bu xatolar o'rtacha bir-birlarini bekor qiladi, natijada stimul boshlanganidan keyin intervalda umumiy tekis histogramma paydo bo'ladi va mukofot vaqtiga to'g'ri keladi (rasmdagi qora chiziq 2b, ingichka ko'k rangda ko'rsatilgan 10 ta sinov natijalariga ko'ra). Biroq, salbiy xatolarni d = 1/6 faktor bilan assimetrik miqyoslashdan so'ng (DA neyronlari tomonidan ijobiy va salbiy bashorat qilish xatolarining assimetrik kodlanishini simulyatsiya qiladigan) natijalar ijobiy chiziq bilan boshlanadi, qora chiziq bilan ko'rsatilgandek 2-rasmda. Shuni esda tutingki, ushbu o'chirish faqat vakolat masalasi bo'lib, past darajadagi otishni o'rganish tezligi haqida salbiy qiymatni kodlash cheklovlaridan kelib chiqadi va noto'g'ri qiymatlarni o'rganmaslik uchun og'irlikni o'rganishga ta'sir qilmasligi kerak (munozaraga qarang). Biroq, PSTHlar to'g'ridan-to'g'ri neyron pog'onalarining yig'indisi bo'lganligi sababli, ushbu vakolatli masala natijada paydo bo'lgan gistogrammada aks etadi.
Shakl 2. Bashoratli xatolarni orqaga qaytarish rampa faolligini tushuntiradi.
(a) 1b ning simulyatsiyasidan oltita ketma-ketlikdagi sinovlardan (yuqoridan pastga) har birida TD taxminiy xato, pr = 0.5 bilan. Qizil rangga ajratilgan holda, sud jarayonining birinchi bosqichida mukofot va xatti-harakatlarning keyingi bosqichlarida rag'batlantirish davriga bosqichma-bosqich tarqalishi vaqtida xato bo'ladi. Bloklarni blokirovka qilish har bir maxsus test natijasini ko'rsatadi (R = mukofotlanadi; N = mukofotlanmagan). Yuqoridagi o'ng tomonda ushbu sinovlardan oldingi mukofotlar ketma-ketligi berilgan. (b) ushbu oltita sinovdan olingan TD xatosi va ulardan yana to'rttasi takrorlangan. Qizil va yashil chiziqlar bu sinovlardagi xatolar zarfini aks ettiradi. Ushbu sinovlarni jamlash o'rtacha (qora chiziq) ustidagi bazaviy harakatlarga olib kelmaydi, chunki ijobiy va salbiy xatolar vaqtning tasodifiy 50% qismida yuzaga keladi va shuning uchun bir-birlarini bekor qiladi. (C) Biroq, bashorat qilish xatolar asimetrik ravishda asosiy shamol tezligi yuqorida va pastda ifodalanganida (bu erda salbiy xatolar DA neyronlari tomonidan taxminiy xatolarni assimetrik kodlashni simulyatsiya qilish uchun d = 1 / 6 tomonidan assimetrik ravishda kattalashtirildi) qora chiziq bilan tasvirlanganidek, sinovlar bo'yicha o'rtacha hisoblanganda paydo bo'ladi. Barcha simulyatsiya parametrlari shakl 1b, d.
Raqamlar 1b, d eksperimental ma'lumotlar bilan taqqoslash uchun assimetrik kodlash va sinovlar oralig'idagi o'rtacha birlashmasidan kelib chiqqan rampani ko'rsatadi. Shakl 1b biz simulyatsiya ma'lumotlaridan hisoblangan PSTH har bir ogohlantiruvchi turdagi ~ 50 sinovlarida asimmetrik tarzda ko'rsatilgan d (t) signalini o'rtacha hisoblab chiqadi. Shakl 1d pr = 0.5 holati natijalarini ko'rsatadi, shakl 1c bilan taqqoslash uchun mukofotlangan va unrewarded sinovlarga bo'lingan. Simulyatsiya natijalari eksperimental ma'lumotlarga yaqindan o'xshaydi, chunki ular noaniq natijalarga aniq ijobiy javobni takrorlaydi va pr = 0.5 holatlarida eng yuqori rampa effekti.
Tadqiqot vaqtida T, ya'ni o'rtacha TD xatosi (d) (T) ni o'qitishning soddalashtirilgan tapped kechikish liniyasi vakili bilan o'rtacha javobni olish oddiy (T = N) sobit o'rganish darajasi a. Sinov jarayonida so'nggi taym-ʆrtaning keyingi qiymatida, sinov sonining funktsiyasi sifatida (boshlang'ich qiymatlari nolga teng),
bu erda r (t) - sinov t oxiridagi mukofot. Sinovning so'nggi vaqtidagi xato signal shunchaki olingan mukofot r (T) va VT - 1 (N - 1) mukofotini taxmin qiladigan qiymat o'rtasidagi farqdir. Ushbu xato pr ehtimoli bilan ijobiy, ehtimolligi bilan esa salbiy (1 - pr). Salbiy xatolarni d ∈ (0, 1] faktor bilan kattalashtirish, biz shunday qilamiz
Ijobiy va salbiy xatolarning (d = 1) nosimmetrik kodlash uchun o'rtacha javob 0 hisoblanadi. Asimmetrik kodlash uchun (0
Bizning sharhlashimiz uchun muhim sinov Fiorillo va boshqalarning [15] vazifasining bir variantida, shuningdek Morris va boshqalarning o'xshash instrumental vazifasida paydo bo'ladi. [16], ikkalasi ham konditsionerni o'z ichiga oladi. Kechiktirilgan konditsionerdan farqli o'laroq (3a-rasm), unda mukofot bashorat qiluvchi stimulning ofsetiga to'g'ri keladi, bu erda bashorat qiluvchi stimulni almashtirish va mukofotni etkazib berish o'rtasida sezilarli farq mavjud (3b-rasm). Shubhasiz, bu holda, rag'batlantirish va mukofot o'rtasidagi vaqt oralig'idagi shovqin tufayli mukofotga nisbatan noaniqlik yanada kattalashishi mumkin [19], shuning uchun noaniqlik hisobida taqqoslanadigan yoki hatto kattaroq panduslar bo'lishi kerak. Biroq, eksperimental natijalar ramping faolligini kichikroq yoki hatto ahamiyatsiz ekanligini ko'rsatadi (3c-rasm; d). Shunga qaramay, kutilgan mukofot vaqtida sinovning o'rtacha faolligi kattaligi saqlanib, rampaning balandligi va kutilgan mukofot vaqtida ijobiy faoliyat miqdori o'rtasidagi ajratishga ishora qiladi.
Shakl 3. Imkoniyatlarni baholashda konditsionerlikni tekshirish.
(a) Fiorillo va boshqalarning kechiktiradigan konditsionerlik vazifasining bitta sinovi tasvirlangan. [15]. Sinov 2 soniyali vizual stimuldan iborat bo'lib, uning o'rnini bosish sharbat mukofotini etkazib berish bilan bir vaqtga to'g'ri keladi, agar bunday mukofot vizual signal bilan bog'liq ehtimolga muvofiq dasturlashtirilgan bo'lsa. Javob berilmagan sinovlarda stimul mukofotsiz bekor qilindi. Ikkala holatda ham sinovlar oralig'i o'rtacha 9 soniya bo'lgan sinovlarni ajratib turadi. (b) Morris va boshqalarning izlarni konditsionerlashtirish vazifasining bitta sinovi haqida misol. [16]. Muhim farq shundaki, rag'batlantirishning ofsetlanishi va mukofotning boshlanishi ("izlanish" davri) o'rtasida hozirda vaqtinchalik kechikish mavjud va hech qanday tashqi stimul mukofotning kutilgan vaqtini ko'rsatmaydi. Bu qo'shimcha noaniqlikni keltirib chiqaradi, chunki bashorat qilingan mukofotning aniq vaqtini ichki hal qilish kerak, ayniqsa, mukofotlanmagan sinovlarda. Ushbu vazifada, [15] da bo'lgani kabi, har bir sinovda bir nechta vizual stimullardan biri (ko'rsatilmagan) taqdim etildi va har bir stimul mukofot olish ehtimoli bilan bog'liq edi. Bu erda, shuningdek, maymundan instrumental javob (ilhom beruvchi tomonga mos keladigan tugmachani bosib) bajarilishi so'ralgan, uning muvaffaqiyatsizligi sudni mukofotsiz tugatgan. Sinovlar o'zgaruvchan sinovlar oralig'i bilan ajratildi. (c, d) mukofotning kutilgan vaqti atrofida, mukofotlangan sinovlarda (c) va qaytarilmagan sinovlarda (d) DA boshlang'ich darajasiga nisbatan tortishish darajasi (tekislangan). (c, d) [16] © 2004 yildan Elsevierning ruxsati bilan qayta nashr etilgan. Izlar mukofot kutilayotgan vaqtda umumiy ijobiy javobni anglatadi, ammo bundan oldin juda kichik yoki hech qanday rampasiz. Shunga o'xshash natijalar [15] da qisqacha tavsiflangan klassik konditsioner vazifasida olingan bo'lib, unda izlash konditsionerligi protsedurasi qo'llanilib, izlanish davri emas, balki (b) da tasvirlangan vazifaning instrumental xarakteri (a) dan muhim farq bo'lganligi tasdiqlangan. .
ULARNING TD modeli bu tushunarli ma'lumotlarni osonlikcha ochib beradi. Shakl 4da ko'rsatilganidek, rampaning shakli, uning tepalik balandligi emas, balki ta'lim darajasi bilan ta'sirlanadi. Orqali tarqaluvchi bashorat qilish xatolarining o'lchami qisman ta'lim darajasi bilan belgilanadi, chunki bu xatolar yangi prognozlarni onlayn o'rganishning bir qismi sifatida paydo bo'ladi. Darhaqiqat, prozeksiyalarni muntazam ravishda yangilab turish kerak, chunki mukofotlangan sinovdan so'ng mukofotning yuqori darajali kutilgusi (va shu sababli keyingi mukofotlar kichikroq bashorat qilish xatosiga sabab bo'ladi) va aksincha mukofotlanmagan sinovdan so'ng [18] (Qarang: Rasm 2a). Bashoratning ushbu yangilanishi to'g'ridan-to'g'ri o'rganish tezligiga bog'liq - o'qish darajasi qanchalik yuqori bo'lsa, kiritish tahminlariga hozirgi bashorat qilish xatoligiga qanchalik katta bo'lsa va qaytib targ'ib qilinadigan prognoz xatosining kattaligi katta bo'ladi. Shunday qilib, yuqori o'qish nisbati bilan, mukofotlar bilan kutilmagan natijalarga erishishdan keyin kutilgan natijalar farqlari kattaroq bo'ladi va shuning uchun keyingi mukofotlar mavjud bo'lganda yoki mavjud bo'lmagan taqdirda bashorat qilish xatolar katta bo'ladi - shuning uchun katta va yanada asta-sekin rampa.
Shakl 4. Rampaning o'rganish darajasiga bog'liqligi.
Rampaning shakli, uning tepalik balandligi emas, balki o'rganish darajasiga bog'liq. Grafikda pr = 0.5 xodisasi uchun kutilgan samaralar, kutilgan mukofotning yaqin vaqtida, turli xil o'qish stavkalari uchun, ham mukofotlangan, ham unrewarded sinovlar bo'yicha o'rtacha hisoblangan. TD o'rganishlariga ko'ra, qat'iy assimetrik kodli bashorat qilish xatolar bilan, mukofotlangan va unrewarded sud jarayonlarida faollik ortib boradi mukofoti vaqtiga qadar ko'tariladi. Rampaning tepalik balandligi taqdirlangan va unrewarded sinovlar nisbati bilan belgilanadi, ammo rampaning kengligi bu xato signallarining (kutilgan) mukofotning vaqtidan oldingi tarqalishi tezligi bilan belgilanadi. Bashoratli stimulning vaqti. Agar o'qishning yuqori darajasi, ortga qaytaradigan xatolikning katta qismini va natijada yuqori rampani hosil qiladi. O'quv kursining pastligi bilan, rampa vaqtida kam (o'rtacha) ijobiy faoliyat davom etayotganiga qaramasdan, rampa juda kam bo'ladi. Shuni ta'kidlash kerakki, shakl 1b da tasvirlangan simulyatsiyalarda qo'llaniladigan ta'lim darajasi, 0.8 bo'lgan bo'lsa-da, bu stimulyatorning sxematik ifodasini hisobga olgan holda, bu neyral substratning sinaptik sinfi o'rganish tezligi sifatida qabul qilinmasligi kerak. Har bir vaqtning o'zida neyronlar populyatsiyasi faol bo'lgan yanada aniqroq namoyishda, juda kamroq o'qitish ko'rsatkichi shunga o'xshash natijalar beradi.
Haqiqatan ham, kechiktiriladigan konditsioner bilan solishtirilganda, kuzatuv konditsionasi ma'lum darajada asta-sekin, o'rganish tezligi pastligini ko'rsatadi va shu tariqa eksperimental natijalarga muvofiq pastroq rampa bo'lishi kerak. Morris va boshq. [16], vazifasi haddan tashqari ta'limni talab qilardi, chunki u shunchaki izlanishlar konditsionerligi emas, balki instrumental harakatlar bilan shug'ullanardi, aslida juda past darajada ekanligini tasdiqladi (Generala Morris - shaxsiy aloqa, 2004).
muhokama
DA neyronlari tomonidan ijobiy va salbiy qadriyatlarni differentsial kodlash daliliy DA signalining barcha tadkikotlarida aniq ko'rinadi va ushbu neyronlarning past darajadagi faoliyatining muqarrar natijasi sifatida qaralishi mumkin. Haqiqatan ham, u to'g'ridan to'g'ri raqib neyrotransmitter, ehtimol serotonin, salbiy prognoz xatolar [20] ni o'rganish va shu sababli ular ham to'liq chorakka ega bo'lish uchun ishtirok etishni taklif qiladi. Shu bilan birga, biz assimmetriya ta'sirini dopamin faoliyatining sinov-o'rtacha tahliliga ta'sirini hisobga olgan holda o'zimizni chekladik va mukofot samaradorligi va mukofot vaqtidagi o'rtacha ijobiy javob to'g'ridan-to'g'ri bashorat qilish xatolarining assimetrik kodlashi.
Xato signallarining aniq ko'rinishidan tashqari, yangi talqinning eng muhim natijasi shundaki, rampalar hozirgi kunga qadar juda qiyin bo'lgan TD hodisasining imzosi sifatida qaralishi mumkin. Bu esa, DAT faoliyati bilan ifodalangan xato signalining progressiv qayta taqsimlanishi, mukofot vaqtidan proktor vaqtiga qadar (shakl 2a). Dopaminerjik faoliyatning ko'plab avvalgi tadkikotlari pr = 1dan foydalanganligi sababli, ushbu qayta targ'ibotni faqat eng boshida (faqat odatda yozuvlar hali boshlanmagan) va boshlang'ich davrda tushunish qiyin bo'lishi mumkin bo'lgan transitiv hodisaga aylantirib, DA neyronlarni otish. Bundan tashqari, yuqorida ta'kidlab o'tilganidek, oldingi targ'ibot bashoratli stimul va mukofot o'rtasidagi vaqtning shakllanishiga bog'liq - u [6] da bo'lgani singari, tapped kechikish liniyasi vakili uchun mavjud, lekin butun kechiktirish, masalan, [21] da. Rampaning shakli, shuningdek, ta'lim jarayonida sodir bo'lgan voqealar o'rtasidagi vaqtni ko'paytirish uchun qo'shimcha mexanizmni ta'minlaydigan muvofiqlik izlari va TD (l) o'qitish qoidani (simulyatsiya ko'rsatilmagan) foydalanishga bog'liqligini ham unutmang. Afsuski, ma'lumotlarni rampalar shakllari ancha o'zgaruvchan (rasm 1) va shovqinli bo'lgani uchun, miya tomonidan ishlatiladigan aniq TD mexanizmiga kuchli cheklovlar bera olmaydi.
Doimiy bashorat qilish xatolariga oid so'nggi tadqiqotlar, shuningdek, [4] ning [[13]] ning [XNUMX] shaklidagi XNUMX formatini aks ettiradi. Ushbu tadqiqotda bashorat qilish xatolar vazifada davriy o'zgarishlarni keltirib chiqardi va DA yozuvlari mashg'ulotlar boshlanishidan kelib chiqdi, shuning uchun bu faoliyat miqdori aniqlanmagan bo'lsa-da, qayta-tarqatish kabi faoliyat to'g'ridan-to'g'ri namoyon bo'ladi.
Biz rampalar o'qitish davomida davom etishi kerak, agar o'rganish darajasi o'rganish davom etayotgan bo'lsa, o'qish darajasi nolga tushmasa. Pearce & Hall-ning [22] ta'limni noaniqlik bilan boshqarish nazariyasi aynan shu o'rganishning qat'iyligini ko'rsatib turibdi va mukofot bilan bog'liq ko'proq noaniqliklar mavjud bo'lganda, o'quv darajasi yuqoriroq bo'lishi mumkinligini qisman kuchaytirish jadvallaridan dalillar mavjud. Darhaqiqat, "ratsional" statistik nuqtai nazardan, bashorat qiluvchi munosabatlar o'rtasidagi o'zgarishlarning har doim mavjud bo'lgan imkoniyatlaridan kelib chiqadigan predikatorlar va natijalar o'rtasidagi munosabatlar to'g'risida aniq noaniqlik mavjud bo'lganda o'rganish davom etishi kerak. Doimiy noaniqlikning ushbu shakli va topshiriq bo'yicha dastlabki bexabarlik sababli noaniqlik bilan birga, Pirs va Xollning noaniqlik o'rganishni rag'batlantirishi haqidagi nazariyasini rasmiylashtirish uchun ishlatilgan [23]. Shunday qilib, bizning noaniqlik to'g'ridan-to'g'ri rampalar bilan ifodalanmasligi mumkin, degan da'vo, albatta, uning vakili va manipulyatsiyasi muhim emas degani emas. Aksincha, biz noaniqlik kortikal xulosa chiqarishga va boshqa neyromodulyator tizimlar orqali o'rganishga ta'sir qiladi [24], shuningdek, harakatlarni tanlash jihatlarini belgilashi mumkin [25].
Assimmetriyaning boshqa xususiyatlari ham e'tiborga olinishi lozim. Eng asosiysi, past darajadagi DA faoliyat faoliyati juda yuqori bo'lgan prognozlarni kamaytirish uchun o'z-o'zidan javobgar bo'ladigan bo'lsa, assotsiatsiyani DA-ga bog'liq bo'lgan o'rganishga ta'siri [26]. O'rganilgan prognozlar to'g'ri bo'lishini ta'minlash uchun assimetrik vakillik ta'limga ta'sir qilmaydi, ya'ni sinaptik kuchlarning kuchlanish va depressiya uchun turli o'lchovlar kabi assimetrik xato signalini bartaraf etish mexanizmini nazarda tutishi kerak. Albatta, bu raqib neyrotransmiteri salbiy prognozdagi xatoliklarni o'rganishda ishtirok etsa, unday bo'ladi. Bayer [14] ning taklifi bilan bu masala murakkablashib, u otishni o'rganish stavkalari, taxminan past darajadagi zirh ta'siridan kelib chiqib, ba'zi salbiy eshiklar ostidagi barcha taxminiy xatolar uchun aslida o'xshashdir. Bunday kichkina kodlash rampalar paydo bo'lishiga nisbatan intervalgacha bo'lgan o'rtacha ko'rsatkichlarning sifat ko'rsatkichiga ta'sir qilmaydi, ammo nosimmetrik o'rganish uchun raqib signaliga ehtiyojni kuchaytiradi.
Va nihoyat, bizning sharhimizning eng to'g'ridan-to'g'ri sinovi DA signalining ichki va sudlararo o'rtacha ko'rsatkichlarini taqqoslash bo'ladi. Statsionar bo'lmagan signallarni o'rtacha hisoblash muammolariga yo'l qo'ymaslik uchun buni vaqtincha murakkab usulda bajarish muhimdir. Nerv otishidagi shovqinni engib o'tish va haqiqatan ham sinov davomida bosqichma-bosqich rampa mavjudligini yoki biz taxmin qilganimizdek - vaqti-vaqti bilan ijobiy va salbiy prognozlash xatolarini aniqlash uchun bir vaqtning o'zida qayd etilgan ko'plab neyronlarning o'rtacha miqdorini hisoblash kerak bo'ladi. bitta sinov, shuningdek, shunga o'xshash o'quv stavkalari bilan bog'liq neyronlar. Shu bilan bir qatorda, bitta neyron izlari oldingi sinovlar va TD o'rganishlari tomonidan taxmin qilingan backpropagation javobiga qarshi regressiya qilinishi mumkin. Bunday model bilan izohlanadigan o'zgaruvchanlik miqdorini taqqoslash, faoliyatning monotonik rampasiga qarshi regressiyadan, eng mos modelni ko'rsatishi mumkin. Rampaning shakli o'rganish tezligiga bog'liq bo'lishi kerakligi haqida aniqroq, ammo ko'proq sinovdan o'tkaziladigan bashorat. O'quv stavkalari rampa shakliga bog'liq bo'lmagan holda, ehtimollik mukofotlariga javoban baholanishi mumkin (Nakahara va boshq. [18] shunday ko'rsatdiki, ularning qisman mustahkamlanishi izlash shartli vazifasida o'rganish darajasi 0.3 edi), va potentsial ravishda mashg'ulotlar hajmini yoki vazifalarni kutilmagan holatlarni o'zgartirish va qayta o'rganish chastotasini o'zgartirish orqali boshqariladi. Darhaqiqat, Nakaxara va boshqalarning qayd etilgan DA faoliyatidagi rampaning mavjudligi va shaklini miqdoriy jihatdan aniqlash hozirgi taklifga oydinlik kiritishi mumkin.
Qiziqarli manfaatlar
Muallif (lar) i raqobat qiladigan manfaatlarga ega emasligini e'lon qiladi.
Mualliflar hissasi
YN, MD va PD bu ishni birgalikda ishlab chiqdi va amalga oshirdi va qo'lyozma loyihasini ishlab chiqishda yordam berdi. Barcha mualliflar yakuniy qo'lyozmalarni o'qidilar va tasdiqladilar.
Rahmatlar
H. Bergman, C. Fiorillo, N. Daw, D. Joel, P. Tobler, P. Shizgal va W. Schultzga, ayrim holatlarda ma'lumotlarning o'zgaruvchan talqiniga qaramasdan, juda minnatdormiz. Generala Morrisga, chop etilgan va nashr qilinmagan ma'lumotlarni rampa bilan bog'liq ravishda tahlil qilish uchun minnatdormiz. Ushbu ish EC Tematik tarmoq (YN), Gatsby xayriya jamg'armasi va Evropa Ittifoqi BIBA loyihasi tomonidan moliyalashtirildi.
Manbalar
1. Ljungberg T, Apicella P, Schultz W: Xulq-atvor reaktsiyalarini o'rganish paytida maymun dopamin neyronlarining javoblari.
Neyrofiziol 1992 jurnali, 67: 145-163.
Matnga qaytish
2. Schultz W: Dopamin neyronlarining taxminiy mukofot signali. [http://jn.physiology.org/cgi/content/full/80/1/1] veb-sayt
1998, 80: 1-27 neyrofiziyologiyasi jurnali. PubMed Xulosa
Matnga qaytish
3. O'Doherty J, Dayan P, Friston K, Critchley H, Dolan R: Vaqtinchalik farq modellari va inson miyasida mukofot bilan bog'liq o'rganish.
Neuron 2003, 38: 329-337. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
4. Seymour B, O'Doherty J, Dayan P, Koltzenburg M, Jones A, Dolan R, Friston K, Frackowiak R: Vaqtinchalik farq modellari odamlarda yuqori darajadagi o'rganishni tasvirlaydi.
Nature 2004, 429: 664-667. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
5. Montague PR, Hyman SE, Cohan JD: Xulq-atvorni nazorat qilishda dopamin uchun hisoblash rollari.
Nature 2004, 431: 760-767. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
6. Montague PR, Dayan P, Sejnowski TJ: bashoratli Hebbian o'rganishga asoslangan mezensefalik dopamin tizimlari uchun asos.
1996, 16: 1936-1947 nevrologiya jurnali. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
7. Schultz W, Dayan P, Montague PR: Bashorat va mukofotning neyron substrati.
Fan 1997, 275: 1593-1599. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
8. Sutton RS: Vaqt farqi usuli bilan bashorat qilishni o'rganish.
Mashinani o'rganish 1988, 3: 9-44.
Matnga qaytish
9. Sutton RS, Barto AG: [http://www.cs.ualberta.ca/~sutton/book/ebook/the-book.html] veb-sayti
Yordamni kuchaytirish: Kirish. Mit Press; 1998.
Matnga qaytish
10. Hollerman J, Schultz W: Dopamin neyronlari o'rganish vaqtida mukofotni vaqtinchalik bashorat qilishda xatolik haqida xabar beradi.
Tabiiy nevrologiya 1998, 1: 304-309. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
11. Schultz W, Apicella P, Ljungberg T: Kechiktirilgan javob vazifasini o'rganishning ketma-ket bosqichlarida maymun dopamin neyronlarining mukofot va shartli stimullarga javoblari.
1993, 13: 900-913 nevrologiya jurnali. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
12. Tobler P, Dikkinson A, Shults V: shartli inhibisyon paradigmasida dopamin neyronlari tomonidan bashorat qilingan mukofotni o'tkazib yuborishni kodlash.
2003, 23 (32): 10402-10410 neuroscience jurnali. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
13. Takikava Y, Kawagoe R, Hikosaka O: O'rta miya dopamin neyronlarining sakkadlarning pozitsiya-mukofot xaritasiga qisqa va uzoq muddatli moslashuvida mumkin bo'lgan roli.
2004, 92: 2520-2529 neyrofiziyologiyasi jurnali. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
14. Bayer H: O'rganish va motorni boshqarishda qora rangning roli.
Doktorlik dissertatsiyasi, Nyu-York universiteti 2004.
Matnga qaytish
15. Fiorillo C, Tobler P, Schultz V: Dopamin neyronlari tomonidan mukofot ehtimoli va noaniqlikni diskret kodlash.
Fan 2003, 299 (5614): 1898-1902. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
16. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H: O'rta miya dopamin va striatal tonik faol neyronlarning tasodifiy, ammo aniq xabarlari.
Neuron 2004, 43: 133-143. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
17. Barto A, Sutton R, Watkins C: O'rganish va ketma-ket qaror qabul qilish. O'rganish va hisoblash nevrologiyasida: adaptiv tarmoqlar asoslari. Gabriel M, Mur J. Kembrij, MA tomonidan tahrirlangan: MIT Press; 1990: 539-602.
Matnga qaytish
18. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O: Dopamin neyronlari kontekstga bog'liq prognoz xatosini ko'rsatishi mumkin.
Neuron 2004, 41: 269-280. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
19. Gallistel CR, Gibbon J: Vaqt, tezlik va konditsionerlik.
2000, 107: 289-344ning psixologik tekshiruvi. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
20. Daw ND, Kakade S, Dayan P: Serotonin va dopamin o'rtasidagi raqibning o'zaro ta'siri.
2002, 15 (4-6) sinir tarmoqlari: 603-616. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
21. Suri RE, Schultz V: fazoviy kechiktirilgan javob vazifasini o'rganadigan dopaminga o'xshash kuchaytiruvchi signalga ega neyron tarmoq modeli.
Neuroscience 1999, 91: 871-890. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
22. Pearce JM, Hall G: Pavlovani o'rganish uchun model: Shartli, ammo shartsiz ogohlantiruvchilarning samaradorligidagi o'zgarishlar.
1980, 87: 532-552ning psixologik tekshiruvi. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
23. Dayan P, Kakade S, Montague PR: O'rganish va tanlangan e'tibor.
Tabiiy nevrologiya 2000, 3: 1218-1223. PubMed Xulosa Nashriyotchi to'liq matn
Matnga qaytish
24. Dayan P, Yu A: Kutilgan va kutilmagan noaniqlik: neokorteksdagi Ach va NE. [http://books.nips.ce/papers/files/nips15/NS08.pdf] veb-sayt
Nöral Ma'lumotlar ishlov berish tizimidagi Avanslarda Dietterich T, Becker S, Ghahramani Z. Kembrij, MA: Mit Press; 2002, 14: 189-196.
Matnga qaytish
25. Daw N, Niv Y, Dayan P: Harakatlar, siyosatlar, qadriyatlar va bazal gangliya. Bazal ganglia tadqiqotlaridagi so'nggi yutuqlarda. Bezard E. Nyu-York, AQSh tomonidan tahrirlangan: Nova Science Publishers, Inc; matbuotda.
Matnga qaytish
26. Wickens J, Kötter R: Kuchaytirishning uyali modellari. Bazal ganglionlarda axborotni qayta ishlash modellarida. Houk JC, Davis JL, Beiser DG tomonidan tahrirlangan. MIT matbuoti; 1995: 187-214.
Matnga qaytish
;
