Dopamin neyronlarning prognozli mukofotlash signali (1998)

Mukofotlarning funktsiyalari

Atrof muhitdagi muayyan narsalar va hodisalar farovonlik, omon qolish va ko'payish oqibatlari bilan alohida motivatsion ahamiyatga ega. Qabul qilinadigan xatti-harakatlarga ko'ra, atrof-muhit ob'ektlarining motivasion ahamiyati beqiyos (marhamatli) yoki g'azablantiruvchi (jazolash) bo'lishi mumkin. ("Atsetif" ma'nosini anglatadi, lekin "tayyorgarlik" uchun emas). Tushunchalar ob'ektlari uchta ajralib turadigan asosiy funktsiyaga ega. Birinchi funktsiyalarida mukofotlar yondashuv va iste'mol xulq-atvorini keltirib chiqaradi. Buning sababi tug'ma mexanizmlar yoki ko'p holatlarda o'rganish orqali tuyadi qiymatiga ega bo'lgan narsalarga bog'liq. Ularning ikkinchi funktsiyasida mukofot bu kabi narsalarga (o'rganishga) olib boradigan xatti-harakatlarning chastotasini va intensivligini oshiradi va yo'qolishning oldini olish yo'li bilan o'rganilgan xatti-harakatni saqlaydi. Mukofot klassik va instrumental tartib-qoidalarda ijobiy nazorat qiluvchi vosita sifatida xizmat qiladi. Umuman rag'batlantiruvchi ta'lim, ekologik ogohlantirishlar klassik jihatdan shartli rag'batlantiruvchi-mukofot uyushmalaridan so'ng tuyadi qiymatga ega bo'lib,Bindra 1968). Instrumental sharoitda uyg'unlashuv va harakatchan javoblar o'rtasidagi munosabatlarni mustahkamlash orqali mukofotlarni "kuchaytiradi" xatti-harakatlar ("Ta'siri: Thorndike 1911). Bu "ko'proq qaytib kelish" ning mohiyatidir va yaxshi ish qilganlik uchun olingan umumiy mukofot tushunchasi bilan bog'liq. Rag'batlantiruvchi ta'limning instrumental shaklida mukofotlar "rag'batlantiruvchi" bo'lib, xulq-atvor va natijalar o'rtasidagi uyushmalarni hisobga olgan holda,Dickinson va Balleine 1994). Uchinchi funktsiyasida mukofotlashlar sub'ektiv zavq-tuyg'ularni (hedonia) va ijobiy hissiy vaziyatlarni keltirib chiqaradi. Aversiv ogohlantirishlar qarshi yo'nalishda harakat qiladi. Ular takroriy taqdimotda qochish xatti-harakatini kuchaytirib, saqlab qolish va shu bilan zarar etkazadigan voqealarning ta'sirini kamaytirish orqali javoblarni rad etishga va salbiy nazorat qiluvchi shaxs sifatida harakat qilishadi. Bundan tashqari, ichki g'azab, qo'rquv va vahima ichki ruhiy holatlarni keltirib chiqaradi.

Bashoratli vazifalar

Predictions kelgusi ogohlantirishlar, hodisalar yoki tizimlar haqida oldindan ma'lumot beradi. Ular xulq-atvor reaktsiyalariga erishishning asosiy afzalliklarini ta'minlaydi. Bashoratning ayrim shakllari ma'lum natijalar bilan bog'liq holda atrof-muhitni rag'batlantirishga motivatsion qadriyatlarni belgilaydi, shuning uchun hayotiy muhim ob'ektlarni aniqlab beradi va ularni kam qimmatli ob'ektlardan ajratib turadi. Boshqa shakllar predmetli ob'ektlarning jismoniy parametrlarini kodlash, masalan, makon pozitsiyasi, tezligi va vazni. Prognozlar organizmga kelgusi hodisalarni haqiqatda ro'y bergunga qadar baholashni, xatti-harakatlarning reaktsiyalarini tanlashga va tayyorlashga ruxsat berishga, shuningdek, motivatsion qadriyatlarga ega bo'lgan narsalarga yaqinlashish yoki ularni bartaraf etish ehtimolini oshirishga imkon beradi. Masalan, bir xil ketma-ketlikdagi narsalarning takroriy harakatlariga keladigan pozitsiyalarni taxmin qilish va hozirgi ob'ektni ta'qib qilishda keyingi harakatni tayyorlashga imkon beradi. Bu alohida maqsadlar orasida reaktsiya vaqtini pasaytiradi, umumiy ishlash ko'rsatkichlarini tezlashtiradi va undan oldingi natijalarga olib keladi. Bashoratli ko'z harakati oldindan e'tiborga olish orqali xatti-harakatlarning samarasini yaxshilaydi (Gullar va Downing 1978).

Keyinchalik ilg'or darajada prognozlar bilan taqdim etiladigan avtoulovlar ma'lum bir tizim davlatlariga erishish uchun muqobillar o'rtasida qarorlar qabul qilishga, tez-tez uchraydigan maqsadli ob'ektlarga yondashishga yoki tuzatib bo'lmas noqulay ta'sirlardan qochishga imkon beradi. Sanoat qo'llanmalari, aslida yuzaga kelishidan oldin tizim holatini oldindan taxmin qilish va ularga javob berish uchun Ichki Model Tekshiruvidan foydalanadi (G'orsiya va boshq. 1989). Misol uchun, zamonaviy aviatashuvda "fly-by-wire" texnikasi yaqin kelajakda samolyotlar holati haqida taxmin qilinmoqda. Uchish mashqlari qarorlari ushbu ma'lumotni hisobga oladi va samolyotning mexanik tarkibiy qismlarida haddan tashqari kuchlanishni oldini olishga yordam beradi, shu bilan birga og'irlikni kamaytiradi va operatsiya darajasini oshiradi.

Bashoratli axborotdan foydalanish kelajakdagi voqealar yoki tizimlar davlatlarining tabiatiga bog'liq. Oddiy tasavvurlar yaqinlashib kelayotgan maqsadlar pozitsiyasiga bevosita taalluqlidir va keyingi xatti-harakatlar reaktsiyasini ancha avtomat tarzda kamaytiradi. Bashoratning yuqori shakllari mantiqiy natijaga ruxsat beruvchi vakolatlarga asoslanadi, ular turli xil maqsadlar va tanlovlar darajasiga ega bo'lib, ularga kirish mumkin. Odatda odamlarda ongli ravishda qayta ishlanadi. Bashoratli hodisalar yoki tizim holatlari paydo bo'lguncha va xatti-harakatlar reaktsiyasi amalga oshirilgunga qadar, bunday taxminlar turli manbalardan ma'lumotlarni turli manbalardan integratsiya qilish, turli reaktsiyalar usullarini tuzish va har qanday reaktsiyadan daromad va yo'qotishlarni taqqoslash orqali aql-idrok turli strategiyalarni baholash imkonini beradi.

Behavioral shamollatish

Birgalikda ishtahani o'rganish o'zboshimchalik bilan ogohlantiruvchi va asosiy mukofot o'rtasidagi takroriy va shartli juftlikni o'z ichiga oladi (ular b. 1). Bu esa, hozirgi vaqtda "shartli" ogohlantirgandan kelib chiqadigan tobora tez-tez uchraydigan yondashuv xatti-harakatlariga olib keladi, bu qisman asosiy mukofotlar bilan bog'liq bo'lgan yondashuv xatti-harakatlariga o'xshab ketadi va shartli rag'batlantiruvchi xususiyatga ham ta'sir qiladi. Ko'rinib turibdiki, shartli ogohlantiruvchi mukofotni oldindan belgilash vazifasini bajaradi va odatda tegishli haydovchiga asoslanib, xatti-harakatlarga olib keladigan ichki motivatsion holatni belgilaydi. Yondashuv reaktsiyalarining o'xshashligi, xatti-harakatlarning umumiy, tayyorgarlik qismlarining birlamchi mukofotdan dastlabki shartli, mukofot-prognozlashtiruvchi rag'batlantirilishiga o'tishini ko'rsatadi. Shunday qilib, shartli ogohlantiruvchi qisman birinchi navbatda rag'batlantiruvchi motivatsiya o'rnini egallaydi, ehtimol Pavloviyadan o'rganish (Dickinson 1980).

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 1. 

Ta'lim davomida ovqatlanish hissiyotlarini qayta ishlash. O'zboshimchalik bilan ogohlantiruvchi qayta oziq-ovqat yoki suyuq mukofot bilan takrorlanadi, shartli juftlashuv bilan bog'liq bo'ladi. Bu shartli, mukofotlar - rag'batlantiruvchi rag'batlantirish, ko'pincha tegishli ochlik yoki chanqoqlik yo'li bilan mukofotni kutish bilan ichki motivatsion holatni keltirib chiqaradi va xatti-harakatlar reaktsiyasini keltirib chiqaradi. Ushbu sxema tomonidan ishlab chiqilgan rag'batlantirish motivatsiyasi nazariyasining asosiy tushunchalari takrorlanadi Bindra (1968) va Bolles (1972). Klassik shamollatish uchun qo'llaniladi, unda mukofotni shartli rag'batlantirilgandan so'ng va avtomatik tarzda topshiriladi, va mukofotni yetkazib berish sub'ekt tomonidan shartli rag'batlantiruvchi reaktsiya talab qiladigan instrumental (operatsion) shartnoma asosida amalga oshiriladi. Ushbu sxema qisqartirilgan sabablarga ko'ra batafsil ishlab chiqilmagan, shuningdek, noqulay sharoitda ham qo'llaniladi.

Ko'plab "shartsiz" oziq-ovqatlar va suyuqlik mukofotlari tajriba orqali o'rganilishi mumkin, chunki xorijiy mamlakatlarning har bir mehmoni buni tasdiqlashi mumkin. Keyinchalik, bu mukofot, ta'mga ta'sir qiluvchi retseptorlarni faollashtiradigan ta'midan kelib chiqishi mumkin, ammo bu yana o'rganilishi mumkin. Oziq moddalar ob'ektlarining yakuniy mukofotlash ta'siri ehtimol plazma va miyada elektrolitlar, glyukoza yoki aminokislota konsentrasiyalari kabi asosiy biologik o'zgaruvchilarga xos ta'siriga ega. Ushbu o'zgaruvchilar organizmning vegetativ ehtiyojlari bilan belgilanadi va evolyutsiyadan kelib chiqadi. Hayvonlar muhim vegetativ parametrlarga ta'sir qila olmaydigan ozuqa moddalarining oldini oladi, masalan, histidin kabi muhim aminokislotalarniRogers va Harper 1970), threonine (Hrupka va boshq. 1997; Vang va boshq. 1996), yoki metionin (Delaney va Gelperin 1986). Bir nechta asosiy mukofotlar tug'ma instinktlar tomonidan belgilanishi va dastlabki yondashuv xatti-harakatlarini va erta hayotda iste'mol qilishni qo'llab-quvvatlashi mumkin, aksariyat mukofotlar esa keyingi hayot tajribasida o'rganiladi. Keyinchalik sog'ayishning jismoniy ko'rinishi sekinroq vegetativ ta'sirlarni bashorat qilish uchun ishlatilishi mumkin. Bu mukofotni aniqlashni sezilarli darajada tezlashtiradi va omon qolish uchun katta afzalliklarni tashkil etadi. Mukofotlarni o'rganish, shuningdek sub'ektlarning juda katta miqdordagi ozuqa moddalarini samarali foydalar sifatida ishlatishiga imkon beradi va shu bilan cheklangan resurs zonalarida yashash uchun imkoniyatlarini oshiradi.

Birlamchi appetit stimullari orqali faollashtirish

Dopamin neyronlarning 75% haqida hayvonlarning harakati o'zi tomonidan faollashtirilmasdan, boshqa fosik stimullar bo'lmaganida, kashfiyot harakatlarida yashirin oziq-ovqatning kichik qismiga tegsa,Romo va Shultz 1990). Qolgan dopamin neyronlari testlangan ekologik ogohlantirishlarning hech biriga javob bermaydi. Dopamin neyronlari, shuningdek, har qanday xatti-harakatlarning tashqarisida og'ziga etkazilgan yoki vizual yoki eshitish reaktsiyasi vaqtidagi vazifalar, bo'shliqqa kechiktirilgan javob yoki almashinish va ko'pincha bir xil hayvonlarda vizual kamsitish kabi turli xil paradigmalarni o'rganishda bir tomchi suyuqlik orqali faollashtiriladi (Fig . 2 eng) (Hollerman va Schultz 1996; Ljungberg va boshq. 1991, 1992; Mirenowicz va Schultz 1994; Schultz va boshq. 1993). Taqdim etilgan javoblar ta'lim mazmunidan mustaqil ravishda yuzaga keladi. Shunday qilib, dopamin neuronlari turli xil oziq-ovqat ob'yektlari va suyuqlik bilan ajralib turadigan ko'rinmaydi. Biroq, ularning javoblari noturg'un narsalardan mukofotlashadi (Romo va Shultz 1990). Faqatgina dopamin neyronlarning 14% lari qo'lda havo pufasi yoki og'izga hipertonik sho'rlanish kabi asosiy ogohlantiruvchi stimullar taqdim qilinganida fazaviy faollikni ko'rsatadi va faollashtirilgan neyronlarning aksariyati ham mukofotga javob beradi (Mirenowicz va Schultz 1996). Noxush bo'lmasa-da, bu ogohlantirishlar harakatchanlikni buzish va faol qochish reaktsiyalarini keltirib chiqarishi mumkin. Shu bilan birga, dopamin neyronlari, asabiylashtirilgan stimullarga nisbatan befarq bo'lmaydilar, chunki asta susayib qolishlari yoki anesteziyaga uchragan maymunchalarda og'riq qoldiruvchi stimuldan keyin vaqti-vaqti bilan sekinlashishiShultz va Romo 1987) va uyqusiz kalamushlarda elektr toki urishi va quyruq chimchilashidan keyin striatal dopaminning oshishiAbercrombie va boshq. 1989; Doherty va Gratton 1992; Louilot va boshq. 1986; Young va boshq. 1993). Bu esa, dopamin neyronlarning fasik reaktsiyalarini preferensial ravishda atrof-ogohlantirishlarni dastlabki appetit qiymatlari bilan hisoblashadi, shunga qaramasdan, vahimali hodisalar sezilarli darajada asta-sekinlik bilan ko'rsatilishi mumkin.

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 2. 

Dopamin neyronlari mukofotni prognozlashda xatolikka ko'ra mukofotlaydi. Top: suyuqlikning tomchisi bu vaqtda hech qanday mukofotni nazarda tutmasa ham sodir bo'ladi. Shunday qilib, mukofotning paydo bo'lishi mukofotni bashorat qilishda ijobiy xatodir. Dopamin neyroni suyuqlikning kutilmagan tarzda paydo bo'lishi bilan faollashadi. O'rta: shartli ogohlantiruvchi mukofotni oldindan belgilaydi va mukofotlar prognozga ko'ra amalga oshiriladi, shuning uchun mukofotni bashorat qilishda xato bo'lmaydi. Dopamin neyroni prognozli mukofot bilan faollashtirilmaydi (o'ngda). Bundan tashqari, keyingi mukofotni prognozlashdagi xatolardan qat'iy nazar, mukofotni bashorat qilishni rag'batlantirgandan keyin aktivlashtirish (chapda). Bottom: shartli rag'batlantirish mukofotni bashorat qiladi, ammo hayvonlar tomonidan reaktsiya yo'qligi sababli mukofot bo'lmaydi. Dopamin neyronining faoliyati mukofot paydo bo'ladigan vaqtda tushkunlikka tushadi. Shartli stimuldan keyin 1 soniyadan keyin hech qanday aralashuvchi stimullarsiz yuzaga keladigan depressiyaga e'tibor bering, bu esa mukofotni kutishning ichki jarayonini ochib beradi. 3 grafadagi neyronal faollik tenglamadan kelib chiqadi: dopamin reaktsiyasi (mukofot) = mukofot sodir bo'ldi - mukofot bashorat qilindi. CS, shartli stimul; R, birlamchi mukofot. Qayta nashr etilgan Schultz va boshq. (1997) Amerika Ilmiy Kengashining ruxsatnomasi bilan.

Mukofotning aniqligi

Dopaminning muhim xususiyatlaridan biri bu ularning predmeti bo'lmaganligi bilan bog'liqligiga bog'liqdir. Ovqatni va suyuqlik hosil qilishni oldindan belgilash uchun shartli bo'lgan fosik ogohlantirishlar oldiga kelganda, mukofotlar bilan bog'liq bo'lgan faollashmalar yuzaga chiqmaydi. 2, o'rta) (Ljungberg va boshq. 1992; Mirenowicz va Schultz 1994; Romo va Shultz 1990). O'rganish va to'liq erishilgan xatti-harakatlar orasidagi muhim farqlardan biri - mukofotni kutmaslik darajasi. Dopamin neyronlari o'rganish bosqichida mukofotlash orqali faollashtiriladi, ammo ingl. Va auditorlik reaktsiyasi vaqtidagi vazifalarni to'liq qabul qilgandan keyin javob bermayapti (Ljungberg va boshq. 1992; Mirenowicz va Schultz 1994), bo'shliqqa kechiktirilgan javob berish vazifalari (Schultz va boshq. 1993) va bir vaqtda vizual kamsitishlar (Hollerman va Schultz 1996). Javobni yo'qotish, mukofotga bo'lgan umumiy sezuvchanlikdan kelib chiqmaydi, chunki vazifalar tashqarisida taqdim etilgan mukofotlardan so'ng aktivatsiyalar bir necha oylik eksperimentda (Mirenowicz va Schultz 1994). Bashorat qilinmaslikning ahamiyati mukofotning vaqtini o'z ichiga oladi, bu to'satdan oldindan yoki kechroq prognoz qilinganidan (yoki undan keyin) olingan mukofotlardan so'ng vaqtinchalik faollashuvlarHollerman va Schultz 1996). Birgalikda qo'lga kiritilgan mukofotlar, shu jumladan uning vaqtini, dopamin neyronlarini faollashtirish uchun kutilmagan bo'lishi kerak.

Bashoratli mukofotni bekor qilish orqali depressiya

Dopamin neyronlari, darhol oldingi ruxsati bo'lmagan taqdirda ham, odatda predmetli mukofotning amalga oshmasligi vaqtida odatdagidek mukofotga ega bo'lgan paytda tushkunlikka tushadi (ular b. 2, pastki). Bu hayvonlar noto'g'ri xatti-harakatlar tufayli mukofot ololmaganda, suyuqlik oqimi eksperimental tomonidan to'g'ri xatti-harakatlariga qaramasdan to'xtatilganda yoki suyuqlik etkazib berilmasdan,Hollerman va Schultz 1996; Ljungberg va boshq. 1991; Schultz va boshq. 1993). 0.5 yoki 1.0-lar uchun mukofotni topshirish kechiktirilganda, neuronal faoliyatning tushkunligi mukofotning muntazam vaqtida ro'y beradi va aktivlashtirish yangi vaqtdagi mukofotni oladi (Hollerman va Schultz 1996). Har ikkala javob faqat yangi takroriy vaqtga qadar yana bir marta takrorlangunga qadar bir nechta takrorlashlarda sodir bo'ladi. Buning aksincha, sovrinni odatdagidan ko'proq vaqt oldin berish yangi mukofot vaqtida aktivlashtirishga olib keladi, ammo odatdagi vaqtda depressiyaga sabab bo'lmaydi. Bu esa, odatdagidek, erta mukofotni yetkazib berish odatiy vaqt uchun mukofotni oldindan belgilashni bekor qiladi. Shunday qilib, dopamin neyronlari mukofotning paydo bo'lish vaqtini va vaqtini kuzatib boradi. Qabul qilingan mukofotni darhol oldindan ogohlantirgandan so'ng, tushkunlik oddiy neyronlarga javob bermaydi, lekin kutilgan mukofotning aniq vaqtini kuzatib turuvchi ichki soatlar asosida kutish jarayonini aks ettiradi.

Konditsionerlar tomonidan faollashtirilgani, mukofotlanishni oldindan ogohlantiruvchi vositalar

55-70% dopamin neyronlari haqida ilgari tasvirlagan turli klassik yoki moslamali shartli vazifalar bo'yicha shartli vizual va audioni ogohlantirishlar orqali faollashtiriladi (6-rasm). 2, o'rta va pastki) (Hollerman va Schultz 1996; Ljungberg va boshq. 1991, 1992; Mirenowicz va Schultz 1994; Shultz 1986; Shultz va Romo 1990; P. Waelti, J. Mirenowicz va W. Schultz, nashr qilingan ma'lumotlar). Konditsioner nurga birinchi dopaminli javoblar bildirildi Miller va boshq. (1981) dopamin neyronlarining tarqalishi va o'z-o'zidan faolligini oshiradigan haloperidol bilan davolash qilingan kalamushlarda, ammo ortiqcha hayvonlar bilan taqqoslaganda ko'proq javob berildi. Javoblar xatti-harakatlar reaktsiyalariga yaqinlashsa-da (Nishino va boshq. 1987), ular qo'l va ko'z harakatlarining o'zlari bilan aloqasi yo'q, chunki ular ayni paytda harakatlanuvchi qo'lga ipsilateral va qo'l yoki ko'z harakati bo'lmagan holdaShultz va Romo 1990). Konditsiyalangan stimulyatsiya javob miqdori va faollashtirilgan neyronlarning fraksiyonlari jihatidan birlamchi mukofotlarga nisbatan biroz kamroq samaralidir. Dopamin neyronlari faqat rag'batlantiruvchi stimulyatorning boshlanishiga javob beradi, ammo ularning rishtalari ularning mukofotiga emas,Shultz va Romo 1990). Dopamin neyronlari shartli appetit stimullarining ingl. Va eshitish usullari o'rtasida farq qilmaydi. Biroq, ular jismoniy jihatdan etarlicha farq qilmaguncha, tuyadi va neytral yoki ogohlantiruvchi stimullar o'rtasidagi farqniLjungberg va boshq. 1992; P. Waelti, J. Mirenowicz va W. Schultz, nashr qilingan ma'lumotlar). Dopamin neyronlarning faqat 11% qismi, ularning ko'pchiligi sezuvchanlik bilan javob berishda, hayvonlarning havo pufasi yoki tomchi hipertonik sho'rlanishdan saqlanish uchun kalitni bo'shatib yuboradigan faol taqiqlash vazifalaridagi shartli ko'zga tashlanadigan ingl. Yoki audion ogohlantirishlarga javoban odatda fosik faollashuvlarini ko'rsatadi (Mirenowicz va Schultz 1996), shunga qaramasdan, bunday taqiqlash "mukofot" deb qaralishi mumkin. Bu bir necha faollashmalar aholining o'rtacha miqdori uchun javobgarlikni kuchaytirish uchun etarlicha kuchli emas. Shunday qilib, dopamin neyronlarining fosik javoblari preferensial ravishda tabiatni rag'batlantiruvchi his-tuyg'ularni motivatsion ahamiyatga ega, lekin turli hissiy usullar o'rtasida farq qilmasdan hisoblaydi.

Aktivatsiyani o'tkazish

O'quv jarayonida dopamin neyronlari shartli, mukofotlashni taxminlovchi stimullar orqali asta-sekin faollashadi va prognoz qilinadigan asosiy oziq-ovqatlar yoki suyuqlik mukofotlariga ta'sirini izchillik bilan yo'qotadi (Hollerman va Schultz 1996; Ljungberg va boshq. 1992; Mirenowicz va Schultz 1994) (Shakl. 2 va 3). Vaqtinchalik o'rganish davrida, har ikkala mukofot va shartli ogohlantiruvchilar ham dopamin aktivatsiyalarini keltirib chiqaradi. Birlamchi mukofotdan shartli ogohlantirgandan bu transfer bir lahzada bitta dopamin neyronlarida, ikkala yaxshi o'rganilgan vazifalar bo'yicha sinovdan o'tkaziladi, bu esa kutilmagan va prognozlangan mukofotlar (Romo va Shultz 1990).

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 3. 

Eng erta prognozli stimulga Dopaminning javobini yuborish. Birlamchi mukofotni oldindan oldindan mukofotlashni oldindan ogohlantirgandan keyingina kutilmagan dastlabki mukofotga javob. Barcha dispetcherlar populyatsion histogramlarni ko'rsatib, ularning mavjudligi yoki yo'qligidan qat'i nazar, ko'rsatiladigan xatti-harakatlarda qayd etilgan barcha dopamin neyronlarning normalangan perievent vaqt histogramlarini o'rtacha hisoblashadi. Top: 44 neyronlarda kichik nur bilan sinovdan o'tgan aholi javob yo'q (ma'lumotlar Ljungberg va boshq. 1992), ammo o'rtacha javob 35 neyronda hayvonning og'zi oldidagi chuqurchaga tushgan suyuqlik tomchisiga to'g'ri keladi (Mirenowicz va Schultz 1994). O'rta: 2-tanlovning bo'shliqqa erishish vazifasida tetiklantiruvchi rag'batni oldindan belgilash uchun mukofotga javob berish, ammo shu 23 neyronlarda belgilangan vazifalar bajarilishida berilgan javobning yo'qligi (Schultz va boshq. 1993). Bottom: 1-ning ma'lum bir masofaviy topshiriq (19 neurons) (XNUMX neyronlari) ning belgilangan oralig'ida tetiklantiruvchi rag'batni oldindan belgilash uchun mukofotdan oldingi ko'rsatmalarga javobSchultz va boshq. 1993). Vaqt bazasi konditsiyalanadigan stimullar va mukofot o'rtasidagi farq oralig'i tufayli bo'linadi. Qayta nashr etilgan Schultz va boshq. (1995b) MIT Press tomonidan ruxsat berilgan.

Konditsiyalangan stimulyatsiyalarning aniqligi

Konditsiyalangan va takrorlanuvchi stimulyatordan so'ng aktivatsiyalar, ushbu ogohlantirishlarning o'zini to'la-to'kis xulq-atvor vaziyatlarida fasik shartli ogohlantirishlar orqali sobit bo'lgan oraliqda oldin sodir bo'lmaydi. Shunday qilib, dopamin neyronlari ketma-ket shartli stimulyatorlar bilan eng dastlabki mukofotni prognozlash vositasida faollashadi, bashorat qilingan daqiqalarda keyingi barcha ogohlantirishlar va natijalar samarasiz bo'ladi (6-rasm). 3) (Schultz va boshq. 1993). Faqat tasodifiy intervalgacha davriy ogohlantirishlar individual javoblarni keltirib chiqaradi. Bundan tashqari, juda stereotipli vazifani bajarish bilan keng ko'lamda mashq qilish, shartli stimulga javoblarni kamaytiradi, ehtimol, avvalgi sinovlarda sodir bo'lgan hodisalar haqida ogohlantirgandir (ehtimol,Ljungberg va boshq. 1992). Bu dopamin neyronlarini faollashtiradigan barcha ogohlantirishlarning rag'batlantirilishining oldindan aytish mumkin emasligini ko'rsatadi.

Bashoratli ruxsatlarning noto'g'ri talqin qilinishi

O'tgan eksperimentdan olingan dastlabki ma'lumotlar (Schultz va boshq. 1993) dopamin neyronlari, shuningdek shartli, mukofotlanishni oldindan ogohlantiruvchi rag'batlantirishni oldindan ogohlantiruvchi vosita bilan belgilangan vaqtda, lekin hayvonning xatosidan kelib chiqmagan holda tushkunlikka tushib qolishini ko'rsatadi. Boshlang'ich mukofotlar singari, depressiyalar ham oldingi ogohlantirish bilan bevosita bog'liq bo'lmasdan, konditsioner stimulyatorning odatiy paydo bo'lishi vaqtida yuz beradi. Shunday qilib, tashxis qo'ygan ruhiy tushkunlik barcha tuyadi voqealar uchun umumlashtirilishi mumkin.

Aktivizatsiya-depressiya, javoblarni umumlashtiruvchi

Dopamin neyronlari, shuningdek, mukofotni bashorat qilmaydigan stimulyatsiyalarga ham javob beradi, biroq shu nuqtai nazardan kelib chiqadigan stimullarni bashorat qilish bilan yaqindan tanishadi. Ushbu javoblar asosan darhol depressiyadan so'ng faollashuvdan iborat bo'lib, ba'zida sof aktivlashuv yoki toza depressiyadan iborat bo'lishi mumkin. Aktivizatsiyalar stimulyatsiyalarni bashorat qilishdan keyingi davrga qaraganda kamroq va kamroq bo'ladi, va depressiyalar 30-60% da neyronlarda kuzatiladi. Dopamin neyronlari mukofotga mos kelmaydigan, lekin to'g'ri xatti-harakatlarga nisbatan kamsitishlargaShultz va Romo 1990). Bo'sh qutini ochish dopamin neyronlarini faollashtirmaydi, lekin qutida vaqti-vaqti bilan oziq-ovqat (Ljungberg va boshq. 1992; Shultz 1986; Shultz va Romo 1990) yoki har doim oziq-ovqatni o'z ichiga olgan qo'shni, bir xil qutilar tasodifiy almashinuvda ochilganda (Shultz va Romo 1990). Bo'sh quti ochilgan qutiga qaraganda zaifroq faollikni keltirib chiqaradi. Hayvonlar har bir qutiga farq qilmaydigan ko'zlarni yo'naltiruvchi reaktsiyalarni amalga oshiradilar, ammo ular faqatgina qo'l bilan qutichani qo'llariga yaqinlashadilar. Ta'lim jarayonida dopamin neyronlari oldindan shartli ogohlantirishlarga javob berishda davom etmoqda, bu esa mukofotni bekor qilganda o'zgarishlarni (Schultz va boshq. 1993) yoki oldindan shartli stimulga o'xshash yangi ogohlantirishlarga javob berish (Hollerman va Schultz 1996). Javoblar, xuddi shu hissiyot modalligining jismoniy jihatdan o'xshash, shartli appetit stimullari bilan tasodifiy almashinuvda taqdim etilgan ogohlantiruvchi stimullarga ham uchraydi, bu g'azablantiruvchi javob tuyadi bilan solishtirganda zaifroqdir (Mirenowicz va Schultz 1996). Javoblar hatto xatti-harakati bilan susayib qolgan appetit stimullariga ham umumiydir. Ko'rinishidan, neyronlarning reaktsiyasi neytral bo'lmagan stimulyatsiyalarga umumiy xulosa chiqaradi, chunki ularning fe'l-atvori bilan jismoniy o'xshashligi bor.

Yangiliklarga javoblar

Yangi ogohlantiruvchi vositalar dopamin neyronlarida aktivatsiyani keltirib chiqaradi, ular tez-tez depressiyalarga uchraydi va xulq-atvorga yo'naltirilgan reaktsiyalar (masalan, ko'z sakkadlari) sodir bo'lganda davom etadi. Aktivizatsiya stimullarning jismoniy ta'siriga qarab, bir necha marta takrorlanganidan keyin yo'naltirilgan reaktsiyalar bilan birga susayadi. Kichkina yorug'lik chiqaradigan diodlar deyarli yangiliklarga javob bermaydilar, yorug'lik chiroqlari va kichkina qutining vizual va eshitish tez ochilishi faollashuvlarni keltirib chiqaradi, ular <100 sinovlari davomida asta-sekin boshlang'ich darajaga qadar pasayadi (Ljungberg va boshq. 1992). Hayvon oldida darhol baland ovoz bilan bosish yoki katta rasmlar chirigan kuchli yangiliklarni keltirib chiqaradi, ammo baribir> 1,000 ta sinov bilan o'lchanadigan faollikni keltirib chiqaradi (Hollerman va Schultz 1996; Horvitz va boshq. 1997; Steinfels va boshq. 1983). Shakl 4 har xil jismoniy zo'riqishning yangi ogohlantiruvchilari bilan turli ta'sir magnitudalarini sxematik tarzda ko'rsatadi. Javoblar bir necha marotaba ta'sirida asta-sekin kamayib ketadi, lekin juda katta hajmdagi stimulyator bilan kamayib ketishi mumkin. Bir xil ogohlantiruvchi appetitively shartli bo'lganida, javob magnitudalari yana ortadi. Aksincha, ogohlantiruvchi faol taqiqlash xatti-harakatini avj oldirish uchun ishlatilganda, yangi, hatto kattaroq stimulyatorlarga berilgan javob tezda tushib ketadi (Mirenowicz va Schultz 1996). Juda oz sonli neyronlar (<5%) bir nechta sinovlarda, ko'zga tashlanadigan, ammo jismonan kuchsiz ogohlantirishlarga, masalan, qog'ozning parchalanishi yoki eksperimentatorning qo'pol harakatlariga javob beradi.

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 4. 

Dopamin neuronlarining yangi, ogohlantiruvchi va konditsiyalanadigan stimullarga faollashuvining vaqtli kurslari. Yangi ogohlantirgandan so'ng aktivatsiyalar ketma-ket sinovlar bilan takrorlanadigan ta'sirni kamaytiradi. Ularning kattaligi stimulyatorlarning jismoniy holatiga bog'liq, chunki kuchli stimulyatsiyalar, ba'zida shartli ogohlantirgandan keyin oshib boradigan yuqori faollikni keltirib chiqaradi. Ayniqsa, muhim yangiliklarni yo'qotib bo'lgandan keyin ham cheklangan miqdordagi dopamin neyronlarini birinchi darajali mukofotlar bilan bog'lamasdan faollashtirishga davom etmoqda. Boshlang'ich mukofotlar bilan ogohlantiruvchi munosabatlar paydo bo'lganda izchil faollashuvlar paydo bo'ladi. Ushbu sxemani Xose Contreras-Vidal boshqargan.

Javoblarning homojen xarakteri

Hozirgi vaqtda amalga oshirilgan tajribalar shuni ko'rsatdiki, midbrain dopaminli hujayralardagi A8, A9 va A10 guruhidagi neyronlarning ko'pchiligi muayyan xatti-harakatlarda juda ko'p shunga o'xshash aktivatsiyalar va tushkunliklarni ko'rsatadi, qolgan dopamin neyronlari esa hech qanday javob bermaydi. Nervonlarning yuqori fraksiyalari o'rta lateral miya hududlarida, masalan, ventral tegmental hududi va mediyal miqdordagi nigra kabi ko'proq lateral hududlarga nisbatan ta'sir qiluvchi tendentsiyalar mavjud bo'lib, ular vaqti-vaqti bilan statistik ahamiyatga ega (Shultz 1986; Schultz va boshq. 1993). Javob kechikishlari (50-110 ms) va davomiyligi (<200 ms) asosiy mukofotlar, shartli stimullar va yangi stimullar orasida o'xshashdir. Shunday qilib, dofamin reaktsiyasi nisbatan bir hil, skaler populyatsiya signalini tashkil qiladi. U kattaligi bo'yicha individual neyronlarning ta'sirchanligi va populyatsiyadagi javob beradigan neyronlarning ulushi bilan baholanadi.

Xulosa 1: o'rganish davrida adaptiv javob

Mukofot bilan bog'liq ogohlantirishlarga dopaminning ta'sirlari eng yaxshi tarzda ushbu epizodlarni o'rganishda tasvirlanadi, chunki bu imtiyozlar xatti-harakatlarning javoblarini olish uchun juda muhimdir. Dopamin mukofotlash belgisi o'rganish jarayonida tizimli o'zgarishlarga uchraydi va eng dastlabki fosik mukofotlar bilan bog'liq bo'lgan rag'batlantiriladi, bu birinchi darajali mukofot yoki mukofotlar - rag'batlantiruvchi prognozLjungberg va boshq. 1992; Mirenowicz va Schultz 1994). O'qish jarayonida yangi, o'ziga xos betaraf uyg'unlashuvlar tezda zaiflashib borayotgan va yo'qolib boruvchi javoblarni kechiktiradilar (2-rasm). 4). Boshlang'ich mukofotlari bunday ogohlantirish bilan dastlabki juftlashish vaqtida va kutilmagan natijalar bilan yuzaga chiqadi va nöronal faollashuvlarni keltirib chiqaradi. Takroriy juftlik bilan, shartli ogohlantirgandan ko'ra, mukofotlar aniqlanadi. Sovg'adan keyin aktivlashtirish asta-sekin kamayib boradi va shartli, mukofotlar uchun oldindan ogohlantiruvchi rag'batlantiriladi. Biroq, agar hayvonning xatosi tufayli prognozli mukofot paydo bo'lmasa, mukofotni olgan paytda dopamin neuronlari tushkunlikka tushadi. Vazifalarni takroriy o'rganishda (Schultz va boshq. 1993) yoki vazifa qismlariga (Hollerman va Schultz 1996), eng avvalo ma'lum bo'lgan ogohlantirgandan umumiy o'rganish natijasida barcha o'rganish bosqichlarida dopamin neyronlarini faollashtiradi, biroq keyingi shartli ogohlantiruvchi va dastlabki imtiyozlar dopamin neuronlarini vaqtinchalik aniqlanmagani va noaniq bo'lsa va yangi kutilmagan vaziyatlar yuzaga kelsa, faollashadi.

2 xulosasi: dopamin neyronlari uchun samarali stimul

Dopaminning reaktsiyalari uch xil toifa ta'siriga bog'liq. Birinchi toifaga mukofotlar bilan takroriy va shartli juftlik orqali haqiqiy mukofot mukofotlarini aylanadigan asosiy mukofot va ogohlantirishlar kiradi. Ushbu ogohlantiruvchilar rag'batlantiruvchi vositalarni aniq belgilashning umumiy klassini hosil qiladi, chunki birinchi darajali mukofotlar vegetativ tabiatni asrash ta'sirini bashorat qiluvchi omillar sifatida xizmat qiladi. Samarali ogohlantirishlar ogohlantiruvchi komponentga ega bo'lishi mumkin, chunki faqat aniq boshlanishi bilan ogohlantirish samarali bo'ladi. Dopamin neyronlari stimulyatorni aniq tasavvur qilishdan keyin sof aktivatsiyalarni namoyon qiladi va bashorat qilingan, lekin qoldirilgan mukofotning amalga oshmagani holda tushkunlikka uchraydi (ular b. 5, eng).

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 5. 

Dopamin neyronlarining 2 tipidagi shartli ogohlantiruvchilarga javoblarini sxematik ko'rsatish. Top: Rag'batlantirishni aniq ravishdagi prezentatsiyani taqdim etish rag'batlantirilgandan keyin aktivlashtirishga olib keladi, prognozlangan mukofotga javob bermaydi va bashorat qilingan mukofotning paydo bo'lmaganda tushkunligiga olib keladi. Bottom: Rag'batlantirishning shartli, mukofotlanishni oldindan ogohlantiruvchi ruxsati bilan o'xshashligi bilan tanishish, tushkunlik, ta'tildan keyin aktivlashtirish va hech qanday mukofot bo'lmagani uchun javob bermaydigan aktivlashtirishga olib keladi. Rag'batlantirilgandan keyin aktivlashtirish ehtimol jismoniy o'xshashlik tufayli javoblarni umumlashtirishni aks ettiradi. Ushbu ogohlantiruvchi mukofotni aniq belgilamaydi, lekin mukofotni belgilaydigan rag'batga o'xshashligi tufayli mukofotga bog'liqdir. Rag'batlantiruvchi vositalarni aniq belgilash bilan taqqoslaganda, faollashuvlar past bo'ladi va tez-tez depressiyalar kuzatiladi, shuning uchun mukofotlangan (CS +) va unrewarded (CS-) shartli ogohlantiruvchilar o'rtasida farq bor. Ushbu sxema oldingi va joriy tajribalar natijalarini umumlashtiradi (Hollerman va Schultz 1996; Ljungberg va boshq. 1992; Mirenowicz va Schultz 1996; Shultz va Romo 1990; Schultz va boshq. 1993; P. Waelti va W. Schultz, nashr qilingan natijalar).

Ikkinchi bo'lim javoblarni umumlashtiruvchi ogohlantirishlarni o'z ichiga oladi. Ushbu ogohlantiruvchilar mukofotni aniq belgilamaydi, ammo ular konditsionerlik orqali aniq mukofot predictlariga aylangan stimulyatorlarning jismoniy o'xshashligidan samaralidir. Ushbu ogohlantiruvchilar kattaligi past bo'lgan va kamroq neyronlarni faollashtiradigan faollashuvlarni keltirib chiqaradi. 5, pastki). Ular ko'pincha zudlik bilan tushkunlikka tushishadi. Dastlabki faollashish mumkin bo'lgan mukofotni ko'rsatadigan umumlashtiruvchi ishtahasi javobini keltirishi mumkin bo'lsa-da, keyinchalik tushkunlik umumiy mukofotda hech qanday mukofotni prognozlashni aks ettirishi mumkin - kontekstni bashorat qilish va noto'g'ri mukofotni bekor qilishni bekor qilish. Mukofotni bashorat qilishning kamligi, bundan tashqari, birinchi mukofotdan so'ng aktivizatsiya mavjudligi va depressiya yo'qligi bilan ajralib turadi. Rag'batlantiruvchi predmetlarni baholashga bo'lgan javoblar bilan birgalikda, dopaminning faollashuvi, mukofotga bog'liq bo'lgan ogohlantirgichlarga to'ldirilgan tuyadi "yorlig'i" haqida xabar berganidek, paydo bo'ladi.

Uchinchi toifa, o'ziga xos mukofotlar bilan mutlaqo bog'liq bo'lmagan yangi yoki ayniqsa g'ayrioddiy ogohlantirishlarni o'z ichiga oladi. Xulq-atvor yo'nalishidagi reaktsiyalarni qo'zg'atib, ushbu ogohlantirishlar ogohlantiruvchi va buyruqlar bilan ishlaydi. Biroq, ular shuningdek, rag'batlantiruvchi vazifalarga ega vaFujita 1987). Ruhiy stimullar potentsial tuyadi. Yangi yoki ayniqsa muhim ogohlantiruvchilar ko'pincha tiqilib qoladigan aktivizatsiyalarni keltirib chiqaradi.

Shunday qilib, dopamin neyronlarining fosik reaksiyalari, voqealar haqida ijobiy va potentsial ijobiy ta'sirga ega bo'lgan ta'sirlar, masalan, birinchi mukofot, mukofotlarni taqqoslash, stimulga o'xshash hodisalar va ogohlantiruvchi ogohlantirish kabi voqealarni bildiradi. Biroq ular salbiy ta'sirga ega ta'sirlar, masalan, yuqumli ogohlantirishlar kabi voqealarni sezmaydilar.

3 xulosasi: dopamin mukofotini kiritish xato signali

Mukofot bilan bog'liq voqealarga nisbatan dopaminli javoblar eng yaxshi kontseptuallashtirilishi va rasmiy ta'lim nazariyalari nuqtai nazaridan tushunilishi mumkin. Dopamin neyronlari dastlabki mukofotlarni mutlaqo signalizatsiya qilish o'rniga, ularning prognozlariga nisbatan mukofotlarni taqdim etadi (ular b. 2). Dopaminning javoblari ijobiy (aktivatsiya). Mukofot etilgan taqdirda, javoblar noaniq bo'ladi. Bashorat qilingan mukofotlar chiqarilganda javob salbiy (depressiya). Shunday qilib, dopamin neyronlari mukofotni bashorat qilishda xato deb atash mumkin bo'lgan mukofotning paydo bo'lishi va prognozi o'rtasidagi farqga ko'ra asosiy mukofotlarni bildiradi (Schultz va boshq. 1995b, 1997) va oldindan tasodifan shakllantirilgan

Tenglama 1This taklifni kosillashtirilgan tuyadi hodisalariga uzaytirishi mumkin, bu ham taxminlarga ko'ra dopamin neyronlari tomonidan bildirilgan. Shunday qilib, dopamin neyronlari barcha tuyadi voqealarini bashorat qilishda xato haqida xabar berishlari mumkin Eq. 1 umumiy shaklda ifodalanishi mumkin

2 tenglamaUshbu umumlashma, ko'pincha mukofotning shartli ogohlantiruvchi ekanligi haqidagi fikrga mos keladi. Bir nechta ketma-ket, yaxshi tashkil etilgan mukofotni bashorat qilish voqealari bilan, faqat birinchi hodisa oldindan hisoblanmaydi va dopaminni faollashtiradi.

Dopamin ta'sirining kelib chiqishi

Dopamin ta'sirining selektivligi va polysensorligi uchun qaysi anatomik usullar javobgar bo'lishi mumkin? Qaysi kirish faoliyati bashorat qilish xatolarining kodlashiga olib kelishi mumkin, uyg'unlashuvli javobni dastlabki taxmin qilinmagan tuyadi hodisasiga keltirib chiqarishi va mukofot vaqtini hisoblashi mumkin?

Maqsadli dopamin ta'sir ob'ektlari

Dopamin signalining global tabiati.

Turli xil proektsiyalar. Sichqonlarning har bir asosiy nigrasida ~8,000 dopamin neyronlari mavjud (Oorschot 1996) va 80,000-116,000 ning macaque maymunlarida (German va boshq. 1988; Percheron va boshq. 1989). Har bir striatum kalamushlarda 2.8 million neyron va 31 million macaquesda mavjud bo'lib, natijada 300-400 ning nigrostriatal farqlash faktoriga olib keladi. Har bir dopamin akson striatumdagi cheklangan terminalda juda ko'p miqdorda bostiriladi va dopamin chiqadigan xNUMX striatal varikozlarga ega (Anden va boshq. 1966). Bu deyarli har bir striatal neyronga dopamin kiritishiga olib keladi (Groves va boshq. 1995) va o'rta topografik nigrostriatal proektsiyalar (Lynd-Balta va Xaber 1994). Maymunlarda kortikal dopamin innervatsiyasi 4 va 6 hududlarida eng yuqori, oldingi, parietal va temporal loblarda hali ham katta bo'lib, oksipital lobda eng pastBerger va boshq. 1988; Uilyams va Goldman-Rakic ​​1993). Kortikal dopamin sinapslari asosan I va V-VI qatlamlarida joylashgan bo'lib, u erda kortikal neyronlarning katta qismini tashkil qiladi. Birgalikda javob beruvchi tabiat bilan birgalikda, bu ma'lumotlar dopaminning o'rta oqimdan striatumgacha va frontal korteksgacha bir vaqtning o'zida parallel faoliyat to'lqini sifatida namoyon bo'lishini ko'rsatadi (Fig. 7).

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 7. 

Striatum va korteksga tarqalgan global dopamin signallari. Dopamin neyronlarning aksariyatiga nisbatan ishtiyoqli va ogohlantiruvchi stimulyatorlarga nisbatan nisbiy bir xil aholi populyatsiyasi va uning asosiy nigra dan postsinaptik tuzilishlarga o'tish jarayoni 1-2 m / sek tezlikda rivojlanib boruvchi bir vaqtda, parallel faoliyat to'lqinlari sifatida chizma sifatida ko'rilishi mumkinShultz va Romo 1987) midbraindan striatumga (kaudat va piten) va korteksga ajraladigan proektsiyalar bo'yicha. Javoblar asosli nigra (SN) pars kompaktasi va ventral tegmental hududi (VTA) neyronlari o'rtasida sifat jihatidan farqlanmaydi. Striatumdagi barcha neyronlarning dopamin innervatsiyasi va frontal korteksdagi ko'plab neyronlar dopamin mustahkamlash signalining global ta'sirga ega bo'lishiga imkon beradi. To'lqin parallel tabiatni ta'kidlash uchun siqilgan.

Dopaminning chiqarilishi. 20-100 soniyali intervallarda dopamin neyronlarining impulslari 200 milodiy intervalda bir xil miqdordagi impulslarga qaraganda striatumda ancha yuqori dopamin kontsentratsiyasiga olib keladi (Garris va Wightman 1994; Gonon 1988). Ushbu noaniqlik asosan dopaminni qaytarib olish transporterining tez to'yinganligidan kelib chiqadi, bu bo'shatilgan dopaminni extrasinaptik mintaqadan tozlaydi (Chergui va boshq. 1994). Shu bilan ta'sir yadrosidagi accumbens (Wightman va Zimmerman 1990) va sparsherlarni qayta yuklash joylari (masalan,Garris va boshq. 1994b; Marshall va boshq. 1990; Stamford va boshq. 1988). Dopaminning chiqarilishi <300 milodiy impuls portlashidan so'ng, autoreseptor vositachiligida pasayishni faollashtirish uchun juda qisqa (Chergui va boshq. 1994) yoki hatto asta-sekin enzimatik degradatsiyaga (Maykl va boshq. 1985). Shunday qilib, dopaminni tarqatish uchun dopamin ta'sirini kuchaytirishi ayniqsa samaralidir.

Vivo jonli voltammetrga asoslangan taxminlar, striatum va nukleus akumbenslarida sinapslarda ~ 1,000 dopamin molekulalarini bitta impuls qo'yishini ko'rsatadi. Bu 0.5-3.0 μM ning darhol sinaptik dopamin kontsentratsiyasiga olib keladi (Garris va boshq. 1994a; Kawagoe va boshq. 1992). Chiqarilish boshlangandan keyin 40 mk bo'lganida> 90% dopamin sinapsni tark etdi, qolgan qismi esa keyinchalik sinaptik qayta yuklash yo'li bilan yo'q qilindi (yarim boshlanish vaqti 30-37 ms). Chiqarish boshlangandan keyin 3-9 msda, barcha qo'shni varikozitlar bir vaqtning o'zida dopamin chiqarganda, dofamin konsentratsiyasi -250 nM darajaga etadi. Konsentratsiyalar 4 mkm diam atrofida bir hil (Gonon 1997), bu varikozlar orasidagi o'rtacha masofa (Doucet va boshq. 1986; Groves va boshq. 1995). Maksimal diffuziya qaytarib olish tashuvchisi tomonidan 12 mkm bilan cheklangan va bo'shatilish boshlangandan so'ng 75 ms ichida erishiladi (tashuvchining yarim boshlanish vaqti 30-37 ms). Variantlari kam bo'lgan hududlarda yoki dofamin neyronlarining <100% faollashtirilganda konsentratsiyalar biroz pastroq va bir hil bo'lmagan bo'lar edi, ammo ular impuls portlashlari bilan ikki-uch baravar yuqori. Shunday qilib, dofamin neyronlarining -75% da mukofotga asoslangan, engil sinxron va yorilib ketadigan faollashuvlar 150-400 nM darajasida bir hil kontsentratsiya cho'qqilariga olib kelishi mumkin. Hujayra ichidagi dofaminning umumiy ko'payishi bitta impulsdan keyin 200 milodiy davom etadi va 500-600 ms davomida qo'llaniladigan 20-100 ms oraliqdagi ko'p sonli impulslardan so'ng 100-200 ms (Chergui va boshq. 1994; Dugast va boshq. 1994). Extrasinaptic qayta yuklash transporti (Nirenberg va boshq. 1996) keyinchalik dopamin kontsentratsiyasini 5-10 nM (ularning bazasi) ga qaytaradiHerrera-Marschitz va boshq. 1996). Shunday qilib, klassik, qattiq sinaptik nörotransmisyondan farqli o'laroq, sinaptik sifatida salıverilen dopamin tezkor juxtasinaptik hududga tarqaladi va mintaqaviy ravishda bir hil hujayra tashqari hujayra konsantrasyonlarının qisqa tepalariga etadi.

Retseptorlar. Dopamin retseptorlarining ikkita asosiy turidan, adenilat siklaz faollashtiruvchi, D1 turi retseptorlari striatumda dopamin retseptorlarining xNUMX% ni tashkil qiladi. Ushbu 80% 80-2 nM ning yuqori afinaviy holatida 4-20 mM va 9% ning past-afinaviy holatidaRichfield va boshq. 1989). Striatal dopamin retseptorlarining qolgan qismi 20% D2 turidagi adenilaz siklazni inhibe qiladigan turga kiradi, ularning 10-0% past-afinaviy holatida va 80-90%, D1 retseptorlari kabi o'xshashliklarga ega bo'lgan yuqori afinaviy holat. Shunday qilib, D1 retseptorlari jami D100 retseptorlariga nisbatan taxminan 2 marta past afinaga ega. Striatal D1 retseptorlari asosan ichki pallidum va asosli nigra telekorsatiga reticulata uchun prozeksiyalangan neyronlarga joylashtirilgan bo'lsa, striatal D2 retseptorlari asosan tashqi pallidga proportsional bo'lgan neyronlar (Bergson va boshq. 1995; Gerfen va boshq. 1990; Hersch va boshq. 1995; Levey va boshq. 1993). Shu bilan birga, retseptorlari sezgirligidagi farqlar signallarni uzatishdan tashqari rol o'ynamaydi, shuning uchun ikki turdagi striatal chiqish neyronlari orasida dopamin sezgirligidagi farqni kamaytiradi.

Dopamin sinaptikadan 30-40% va ekstasinaptik varikozlardan 60-70% ga chiqariladi (Descarries va boshq. 1996). Sinaptik usulda chiqarilgan dopamin striatumning to'rtta anatomik jihatdan alohida uchastkasida postinaptik dopaminli retseptorlarga, ya'ni dopamin sinapslarida, kortikostriatal glutamat sinapslarida va ekstranzintik hududlarda erkin joylardan uzoqda (sek. 8) (Levey va boshq. 1993; Sesack va boshq. 1994; Yung va boshq. 1995). D1 retseptorlari asosan dopamin sinapslari tashqarisida joylashgan (Caill va boshq. 1996). Fazik impuls burstslaridan so'ng yuqori dopamin konsentratsiyasi D1 retseptorlarini faol surish joylari yaqinida faollashtiradi va hamma joyda D2 retseptorlarini faollashtiradi va hatto to'yingan qiladi. D2 retseptorlari, tashqi dopamin konsentratsiyasi fazaning ortishi ortidan boshlang'ichga qaytganda qisman faollashtiriladi.

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 8. 

Dorsin va ventral striatumda odatda o'rta tuproqli neyronlarga dopaminning salbiy ta'siri. Sinoptik varikozlardan kelib chiqadigan impulslar tomonidan tarqalgan dopamin, bir necha sinaptik retseptorlarni faollashtiradi (ehtimol D2 turidagi past-afinaviy holat) va yaqin orada joylashgan past kuyikishli D1 turi retseptorlari (D1?) Erishish uchun sinapsdan tez tarqaladi, kortikostriatal sinapslarda , yoki cheklangan masofada joylashgan. Dopamin yuqori darajadagi yaqin D2 turi retseptorlari doygunlashuvga (D2?) Yaqinlashadi. D2 retseptorlari tabiiy ravishda dopamin konsentrasiyalari tomonidan qisman faollashtiriladi. Extrasynaptically chiqarilgan dopamin diffuziya bilan suyultiriladi va yuqori yaqinlikdagi D2 retseptorlarini faollashtiradi. Shuni ta'kidlash kerakki, ushbu sxematik diagramma bilan farqli o'laroq, ko'pchilik D1 va D2 retseptorlari turli neyronlarda joylashgan. Kortikostriatal terminallardan chiqarilgan glyutamat dopamin varikozitlari kabi bir xil dendritik uzuklarda joylashgan postsinaptik retseptorlarga etadi. Glutamat shuningdek, dopaminning tarqalishini nazorat qiladigan dopamin varikozitlariga ham etib boradi. Frontal korteksdagi dag'al neyronlarga dopamin ta'sirlari ko'p jihatdan o'xshash.

Xulosa. Ko'pchilik dopamin neyronlarining kuzatilgan, o'rta darajada portlashi, qisqa muddatli, deyarli sinxronlashtirilishi, javob ko'pchiligi bilan yaqinlashib olingan striatal varikozliklarning ko'pchiligidan optimal, bir vaqtning o'zida dopaminga olib keladi. Nöronal javob, qisqa muddatli dopaminni ekstrasinaptik joylardan chiqarib yuboradi yoki sinapslardan tezda juxtasinaptik hududga tarqaladi. Dopamin tezda barcha striatal va ko'plab kortikal neyronlarning dendritlariga ta'sir etishi mumkin bo'lgan hududiy bir xil kontsentratsiyaga etadi. Shu tarzda, dopamin neyronlarning 60-80% da mukofotlash xabarlari, striatum, nukleus akumbenslar va frontal korteksga ajralib turuvchi, juda ko'p miqdordagi mustahkamlash signali sifatida ishlov berishda ishtirok etadigan eng ko'p sinapslarga fasik ta'sirni ta'minlaydi (1-rasm). 7). Mukofotlardan so'ng neyronal faollashtirish va stimulyatsiya bashorat qilishni stimulyatsiya qilish orqali chiqarilgan dopamin ichki pallidum va asosiy nigra telekanal reticulata va tashqi pallidumga prozektsiya qilingan neyronlarning barcha D1 retseptorlari uchun mo'ljallangan striatal neyronlarning juxtasinaptik D2 retseptorlariga ta'sir qiladi. Depressiyadan tushgan dopamin salınmasının kamaytirilmasligi va stimulyator-prognoz beruvchi stimulyatorlarni bartaraf qilish natijasida D2 retseptorlarini atrof muhit dopamin bilan kamaytirishga olib keladi. Shunday qilib, ijobiy mukofotni kiritish xatolari striatal chiqish neyronlarning barcha turlariga ta'sir qilishi mumkin, negativ prognoz xatosi, asosan, tashqi pallidumga ta'sir qiluvchi neyronlarga ta'sir qilishi mumkin.

Potentsial giyoh mexanizmlari. Kokain yoki amfetamin kabi giyohvand moddalar bilan dopaminni qaytarib olish transporterining blokadasi dopamin konsentrasiyalarida fazalarni kuchaytiradi va kuchaytiradi (Jamoat va boshq. 1987a; Giros va boshq. 1996; Suad-Chagni va boshq. 1995). Dopamin konsentratsiyasining tezkor va parchalanishi ortganida, qayta tiklanish tartibga solinishi samaraliroq bo'lgunga qadar bu kuchlanish ayniqsa yuqori bo'ladi. Bu mexanizm birinchi darajali mukofotlardan so'ng va uyg'otishni bashorat qilishda ommaviy ravishda rivojlangan dopamin signallariga olib keladi. Bundan tashqari, uyg'unlashuvlar, yangi ogohlantiruvchilar va kundalik hayotda tez-tez sodir bo'lishi mumkin bo'lgan sezilarli ogohlantirishlarga o'xshash biroz zaif dopamin signalini oshiradi. Kokainin ishlab chiqilishi, bu noto'g'riligi bo'lmagan ogohlantiruvchilar kokainsiz tabiiy natijalarga qaraganda kuchliroq yoki kuchliroq bo'lishiga yo'l qo'yadi. Postsinaptik neyronlar, ayniqsa, ajoyib mukofot bilan bog'liq voqea kabi signalni noto'g'ri tasavvur qilishlari mumkin va sinaptik uzatishda uzoq muddatli o'zgarishlarga uchraydi.

Ta'lim nazariyalari

Takomillashtirish algoritmlari

Vaqtinchalik Farq o'rganish.

Ayniqsa samarali mustahkamlash algoritmlari sinfida (Sutton 1988; Sutton va Barto 1981), sinaptik og'irliklari ketma-ketlikdagi vaqt oralig'ida hisoblangan mustahkamlash kiritishida xatolarga mos ravishda o'zgartiriladi (t)

rˆ(t)=r(t)+P(t)-P(t-l)

Tenglama 6 joy r mustahkamlash va P mustahkamlash tahminidir. R (t) tobora uzoqroq bo'lgan mukofotlarning kamayib borayotgan ta'sirini hisobga olish uchun odatda diskontlash koeffitsientiga 0 ≤ γ <1 bilan ko'paytiriladi. Oddiylik sababli bu erda $ 1 $ o'rnatilgan. Bitta kuchaytirgichni taxmin qiladigan yagona stimul bo'lsa, bashorat qilish P(t - 1) vaqtdan oldin mavjud t mustahkamlash vaqtida tugatiladi, lekin kuchaytirilganda [R (t) = 0]. Bu vaqtning o'zida samarali mustahkamlash signaliga olib keladi (T) mustahkamlash

rˆ (t)=r(t)-P(t-l)

6a tenglamaThe r(t) atamasi haqiqiy va prognozlangan mustahkamlash orasidagi farqni ko'rsatadi. O'rganish vaqtida takomillashtirish to'liq tasavvur qilinmaydi, takomillashtirish sodir bo'lganda xato muddati ijobiy bo'ladi va sinaptik og'irliklar ortadi. O'qishdan so'ng, mustahkamlash oldingi rag'batlantiruvchi tomonidan to'liq aniqlanadi [P(t - 1) = r(t)], xatolik muddati to'g'ri xatti-harakatlarga bog'liq emas va sinaptik vaznlar o'zgarishsiz qoladi. Kuchsiz ishlash yoki o'zgaruvchan kutilmagan vaziyatlar tufayli takomillashtirilsa, xato salbiy va sinaptik og'irliklar kamayadi. The r(t) atamasi (l-V) Rescorla-Wagner modelining xato muddati (Eq. 4 ). Biroq, bu alohida vaqt qadamlaridir (t), har bir sud jarayonida bir qator murakkab sudlovlar ustida rivojlanayotgan prognozlar emas. Ushbu takomillashuvning vaqtinchalik modellari erishilgan prognozlarga aniqlik kiritishning aniq vaqtiniDickinson va boshq. 1976; Gallistel 1990; Smit 1968).

Vaqtinchalik farq (TD) algoritmlari shuningdek, sinaptik og'irliklarni o'zgartirish uchun olingan taxminlarni ham qo'llaydi. Bashorat qilinmagan, yagona kuchlanishni taxmin qiladigan yagona shartli rag'batlantiruvchi vaziyatda, prognoz R (t) o'z vaqtida boshlanadi (t), oldingi taxmin yo'q [P(t - 1) = 0] va mustahkamlash hali amalga oshmadi [r(t) = 0]. Ga ko'ra Eq. 6, model, bu vaqtning o'zida faqat bashoratli samarali nazorat signalini chiqaradi (t)

rˆ=P(t)

Tenglama 6b Ko'pchilik, ketma-ket bashoratli ogohlantirgichlar holatida, bashorat qilish vaqtida takomillashtirilmasdan, ayni paytda samarali mustahkamlash signallari (T) taxminning hozirgi tahminlari orasidagi farqni aks ettiradi R (t) va oldingi taxminlar P(t - 1)

rˆ=P(t)-P(t-l)

6c tenglamaBu yuqori tartibli mustahkamlashning xato muddatini bildiradi. To'liq prognostikantlarga o'xshab, o'zlarini to'la-to'kis tasavvur qiladigan barcha taxminiy ogohlantirishlar bekor qilinadi [P(t - 1) = P(t)], ni natijasida r = 0 vaqtida (T) Ushbu stimullarning Faqat eng ilg'or prognozli ogohlantiruvchi ushbu stimulyator sifatida samarali mustahkamlash signaliga hissa qo'shadi R (t) boshqa ogohlantirish bilan bashorat qilinmaydi [P(t - 1) = 0]. Bu bir xil bo'ladi r = R (t) vaqtida (T) Birinchidan, bashorat qilishning yagona predmeti bo'lganEq. 6b).

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 9. 

Bazal ganglion aloqasiga nisbatan vaqtinchalik farq algoritmlarini tatbiq etuvchi neyron tarmoq modellarining asosiy me'morchiligi. A: original amalga oshirishda samarali ta'lim signallari y - ȳ model neyronda hisoblangan A va kirishning oldingi terminallariga jo'natildi x neyronga B, Shunday qilib, ta'sir qiladi x → B ishlov berish va sinaptik og'irliklarni o'zgartirish x → B sinaps. Neyron B akson orqali xulq-atvorga ta'sir qiladi y va ayni paytda neyronning moslashuvchan xususiyatlariga o'z hissasini qo'shadi A, xususan, stimulatorni bashorat qiluvchi stimulga javob. Ushbu sodda arxitekturaning yangi ilovalari neyrondan foydalanadi A neyron emas, balki B chiqdi chiqarish uchun O modelning (Montague va boshq. 1996; Schultz va boshq. 1997). Qayta nashr etilgan Sutton va Barto (1981) Amerika Psixologiya Assotsiatsiyasi tomonidan ruxsatnoma bilan. B: yaqinda amalga oshirilgan o'quv dasturi o'quv komponentini ajratib turadi A, tanqidchiga chaqirdi (o'ngda), Bir nechta protsessor birliklaridan tashkil topgan chiqdi komponentidan B, aktyor deb atagan (chapda). Samarali mustahkamlovchi signal r(t), vaznli takomillashtiruvchi predmeti g ga nisbatan vaqtinchalik farqi chiqarib hisoblab chiqiladiP(t) - P(t - 1) dastlabki mustahkamlashdan r(t) atrofdan olingan (g - bu uzoq masofadan boshqaruvchilarning qiymatini pasaytiradigan chegara omili). Reinforzerni prognozlash alohida hisoblash birligida hisoblab chiqiladi C, tanqidning bir qismi bo'lgan va o'qituvchi element bilan yopiq pastadir hosil qiladi A, asosiy kuchaytirish tanqidchilarga alohida kirish orqali kiradi r_t. Effektiv mustahkamlash signallari aktyorlar ichidagi kelgan aksonlardagi sinaptik vaznlarga ta'sir qiladi, bu esa chiqindilashga va tanqidchilarning moslashtirilgan prognozlariga mos keladi. Qayta nashr etilgan Barto (1995) MIT Press tomonidan ruxsat berilgan. C: Bazal ganglionning asosiy aloqasi aktyor-tanqid me'morchiligi bilan ajoyib o'xshashlarni ko'rsatadi. Dopamin proektsiyasi striatumga mustahkamlash signalini chiqaradi va birlik bilan solishtirish mumkin A qismlarida A va B, limbik striatum (yoki striozom patch) taxminiy birlikning o'rnini oladi C tanqidchi va sensorimotor striatum (yoki matris) aktor birliklariga o'xshaydi B. Asl modelda (A), belgilangan bazal gangliyon anatomiyasidan yagona yirik og'ish neyron ta'siridan iborat A dopamin sinapslari striatal neyronlarning postsinaptik dendritlarida joylashgan bo'lsa,Freund va boshq. 1984). Qayta nashr etilgan Smit va Bolam (1990) Elsevier Press tomonidan ruxsat berilgan.

Birgalikda, samarali mustahkamlovchi signal (Eq. 6 ) rivojlanishning bashoratlari bilan pasayib boradigan asosiy kuchlarni tashkil etadi (Eq. 6a) va sotib olingan prognozlar asta-sekin o'zgartiriladi (Eqs. 6b va 6c). Izchil prognozli stimullar bilan, samarali takomillashtirish signali asosiy reinforcerdan dastlab takomillashtiruvchi-prognozlashtiruvchi stimulga qadar orqaga qarab ketadi. Retrograd o'tkazish jarayoni sinapslarga nisbatan aniqroq ajratilgan natijaga olib keladi, chunki bashoratlar, sinov oxirida mustahkamlash bilan taqqoslanganda, ogohlantirishlar va davolovchi reaksiyalar vaqtida yanada yaqinlashadiSutton va Barto 1981).

Kollektsional ta'lim algoritmlarining bajarilishi taxminiy xatolarni ikki yo'l bilan ishlatadi, xatti-harakatlarning sinaptik vaznlarini o'zgartirish va prognozlarni doimiy ravishda prognozlash xatolarini hisoblash uchun o'zlarini qo'lga kiritish uchun ishlatiladi (ular b. 9 A) (McLaren 1989 yil; Sutton va Barto 1981). Ushbu ikkita vazifa adaptiv tanqidiy komponentda bashorat qilish xatoligini hisoblab chiqadigan va xatti-harakatlarning chiqishiga ta'sir qiluvchi aktyor tarkibiy qismidagi sinaptik og'irlikni o'zgartiradigan oxirgi qo'llanmalarda ajralib turadi (5-rasm). 9 B) (Barto 1995). Ijobiy xatolik tanqidchilarning takomillashtirilgan prognozini oshiradi, negaki, o'tkazilmasin quvvatdan salbiy xato prognozni pasaytiradi. Bu juda samarali adaptatsiya signalini beradi.

Vaqtinchalik farqni o'rganishning neyrobiologik tadbiqlari

NUROBIOLOGIYa BO'YIChA PROBLEMLER UChUN AMALIY DASTURLARNI.

Aslida Klassik Konditsionerning Rescorla-Wagner modeli asosida ishlab chiqilgan bo'lsa-da, TD algoritmidan foydalangan holda modellar asosan shamollatishning instrumental shakllari orqali turli qiziqishdagi vazifalarni o'rganadi. Ushbu vazifalar poleni arava g'ildiragiga muvozanatlashdan (masalan,Barto va boshq. 1983) jahon klubi tavla (Tesauro 1994). TD algoritmlarini ishlatib, robotlar ikki o'lchovli bo'shliqni harakatga olishni va to'siqlardan qochishni, erishish va tushunishni (Fagg 1993) yoki bir teshikka (Gullapalli va boshq. 1994). To'g'ridan-to'g'ri ta'sir ko'rsatish va xatti-harakatlarni tanlash uchun TD takomillashuv signali yordamida (rasm. 9 A), TD modellari honeybees xatti-harakatlarini takrorlaydi (Montague va boshq. 1995) va insoniy qarorlarni qabul qilishni simulyatsiya qilish (Montague va boshq. 1996). Aniq tanqidiy-aktor me'morchiligi bilan ishlaydigan TD modellari juda kuchli modellar bo'lib, ular ko'z harakatlarini samarali o'rganishadi (Friston va boshq. 1994; Montague va boshq. 1993), ketma-ket harakatlar (rasm. 10) va reaktsiyalarni yo'naltirish (Contreras-Vidal va Shultz 1996). Yaqinda tanlangan model, o'quv signalini takomillashtirish, tanqidchilar va aktyorlarda harakatlanish izlari va ogohlantiruvchi signallarni takomillashtirish uchun faollashtiruvchi kuchaytiruvchi yangilik signallarini qo'shib qo'ydi va eng katta faollashuv bilan aktyor neuronlarini tanlash uchun o'qitish signalini takomillashtirish bo'yicha barcha qoidalarni qo'lga kiritdi. Bu dopamin neyronlarining javoblari va hayvonlarning kechiktirilgan javob berish topshiriqlarida o'rganish xatti-harakatlari batafsil yoritilgan (Suri va Shultz 1996). Ma'lumki, bashorat qilish xatolaridan foydalangan holda ta'lim berish signallari shartsiz mustahkamlash signallari bilan solishtirilganda tez va to'liq o'rganishga olib keladi (2-rasm). 10) (Friston va boshq. 1994).

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 10. 

O'qish uchun prognozlashtirilgan mustahkamlash signallarining afzalligi. Taniqli aktyorlar me'morchiligi va aktyorlik huquqiga ega bo'lgan vaqtinchalik farq modeli navbatdagi 2 bosqichida - 3 tanlangan vazifada o'qitildi (yuqori chap burchakli). O'qituvchi signal (prozelektiv tanqidiy, tanqidiy tanqidchi, eng) sinov oxirida shartsiz mustahkamlash signalini qo'llash bilan solishtirgandapastki). Ushbu effekt uzoq bosqichlar bilan tobora ko'proq namoyon bo'ladi. Kuchsiz takomillashtirish signallari bilan taqqoslanadigan ish juda uzoq vaqt talab etiladi. Ma'lumotlar 10 simulyatsiyalaridan olingan (R. Suri va W. Schultz, nashr qilingan kuzatishlar). Predydiv mustahkamlash bilan o'rganishda o'xshash takomillashuv oculomotor harakatlar modeli (Friston va boshq. 1994).

Dopamin signali yordamida o'qitishning mumkin bo'lgan mexanizmlari

O'tgan bobda dopaminning ta'siridan chiqaradigan rasmiy prognozlashning xato signallari modellashtirish uchun maxsus o'quv signalini tashkil qilishi mumkinligini ko'rsatdi. Quyidagi bo'limlarda biologik dopamin ta'sirining bazal ganglion tuzilmalari tomonidan o'rganilishi va testlangan farazlarni qanday qo'llash mumkinligi tasvirlangan.

POSTSYNAPTIK PLASTIKLIKNI MUVOFIQLIK PREDITTION SIGNALI orqali.

Ta'lim ikki bosqichda davom etadi. Birinchi qadam, dopamin mukofotini olishni talab qiladi. Keyinchalik olib borilgan tadkikotlar prognozli dopamin signallari, mukofotni prognozlash vaqtida faol bo'lgan Hebbian tipidagi kortikostriatal sinapslarning sinaptik og'irliklarini (ō) kuchaytiradi, inaktiv kortikostriatal sinaps esa o'zgarmaydi. Bu uch omilni o'rganish qoidasiga olib keladi

Δω=ɛ rˆ i o

Tenglama 8 joy r dopamin mustahkamlovchi signal, i kirish faoliyati, o chiqdi faoliyati, va ɛ tarbiyalash darajasi.

Soddalashtirilgan modeldagi to'rtta kortikal kirish (i1-i4) uch o'rta kattalikli zarrali striatal neyronlarning dendritik uchlari (o1-o3; 11). Kortikal kirishlar striatal neyronlarga yaqinlashadi, har bir kirish boshqa orqa miya bilan bog'lanadi. Xuddi shu spinler umumiy dopaminli kirish orqali R bilan bog'lanmagan. D-dopamin kiritish R ning faollashuvi, qo'shimcha tafsilotlarni ko'rsatmasdan (xayrixohlik signalini) bermasdan atrof-muhitda ruxsatsiz kutilmagan mukofotni belgilashni anglatadi. I2ning kortikal girdobi dopamin neyronlari bilan bir vaqtning o'zida faollashtirilganligini va bir xil mukofotning bir necha o'ziga xos parametrlaridan birini kodlashni nazarda tutaylik, ya'ni uning sezuvchanligi, tana tomoni, rangi, to'qimasi va pozitsiyasi yoki harakatning ma'lum bir parametri kabi ogohlantiruvchini bashorat qilishni nazarda tutaylik ogohlantiruvchi tomonidan tetiklantirildi. Ushbu hodisaning bir qator parametrlari i2 kortikal kirishlar to'plami tomonidan kodlanar edi. I1, i3 va i4 kortikal kirishlari mavjud ogohlantirish va harakatlar bilan bog'liq bo'lmagan. Dopaminning ta'siri barcha varikozlarda dopaminning yo'qolib ketishiga olib keladi, lekin faqat kortikal kirishlar striatal neyronlar o2 va o1 ni faollashtirish uchun etarli darajada kuchli bo'lishi sharti bilan faqat i2-o2 va i1-o2ning faol kortikostriatal sinapslarini selektiv ravishda kuchaytiradi.

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 11. 

Selektiv kortikostriatal faollik bo'yicha global dopamin mustahkamlash signalining differentsial ta'sirlari. O3, o1 va o2 ning 3 o'rta tirnalgan strinatal neyronlarning dendritik zarralari 4 kortikal kirishlari i1, i2, i3 va i4 bilan va bir dopamin neyron R dan (yoki homogen bilan faollashtirilgan dopamin neuronlarining populyatsiyasidan) aksonal varikozlar bilan bog'lanadi ). Har bir striatal neyron xNUMX kortikal va 10,000 dopaminli kirishlarni oladi. Yagona dendritik o'roqlarda turli kortikal kirishlar dopaminli kirish bilan birlashadi. Modelning 1,000 versiyasida dopamin signallari bir vaqtning o'zida faol bo'lmagan kortikostriatal transmissiyani faol bo'lmagan uzatishga nisbatan oshiradi. Misol uchun, dopamin kirish R kortikal kirish i1 bilan bir vaqtning o'zida faol bo'lsa, i2, i1, i3 faol emas. Bu i4 → o2 va i1 → o2 transmissiyasining o'zgarishiga olib keladi, lekin i2 → o1, i1 → o3, i2 → o3 va i3 → o4 uzatmalarini o'zgartirmaydi. Plastisitni qo'llagan modelning bir versiyasida kortikostriatal sinapslarning sinaptik og'irliklari bir xil qoidaga muvofiq dopamin signali tomonidan uzoq muddatli o'zgartiriladi. Bu dopamin kortikostriatal sinapslarda konditsioner stimulga ta'sir etganda ham ushbu ogohlantirish orqali faollashtirilganda paydo bo'lishi mumkin. Plastisitni qo'llashning yana bir versiyasida, asosiy mukofotga dopaminli javoblar ilgari faol bo'lgan kortikostriatal sinapslarda orqaga qarab harakat qilishi mumkin. Ushbu sinapslar ushbu faoliyatdan tashqarida qoldirilgan hipotetik postsinaptik nöronal izlar tomonidan o'zgartirilishi mumkin. Bazal ganglion strukturasini so'nggi suratini TD modeli bilan solishtirishda. 9 B, dopamin kirish R tanqidchisini neyron bilan takrorlaydi A, o1-o3 neyronli striatum aktyorni neyron bilan replikatsiya qiladi B, kortikal kirishlar i1-i4 aktyorning kiritilishini takrorlaydi va ko'p sonli striatal neyronlarning bir nechta aylanasida dopamin neyronlarning R ning ajralgan proektsiyasini tanqidchilarning global ta'sirini aks ettiradi. Xuddi shunday taqqoslash ham qilingan Houk va boshq. (1995). Ushbu chizilgan anatomik ma'lumotlarga asoslanadi Freund va boshq. (1984), Smit va Bolam (1990), Flaherty va Graybiel (1993)va Smit va boshq. (1994).

Ushbu ta'lim mexanizmi, uzoq muddatli sinaptik o'zgarishlarni keltirib chiqaradigan ta'lim signali sifatida mukofotni bashorat qilishni ogohlantirish vaqtida olingan dopaminning javobini qo'llaydi. 12 A). Bashoratli stimulni yoki tetiklenen harakatni o'rganish, striatumda dopaminga bog'liq plastisite bilan birga, mukofotni prognozlash uchun stimulyatorga dopamin ta'sirini namoyish etishga asoslangan. Plastisite o'zgarishi muqobil ravishda striatumdagi dapamin orqali qisqa muddatli sinaptik o'tkazishni takomillashtirishdan so'ng striatumdan pastki kortikal yoki subkortikal tuzilmalarda paydo bo'lishi mumkin. Mukofotning oldingi ogohlantiruvchi va harakatlarning orqaga to'g'risida ta'siri, eng avvalo, mukofotni oldindan ogohlantiruvchi rag'batlantirishga javob berish yo'li bilan amalga oshiriladi. Bashoratli yoki qoldirilgan primer mukofotga qarshi dopaminli javob striatumdagi plastika o'zgarishlarida ishlatilmaydi, chunki u shartli bo'lgan hodisalar bilan bir vaqtning o'zida ro'y bermaydi, garchi u dopaminning javobiga nisbatan dopamin javobini hisoblashda ishtirok etishi mumkin bo'lsa-da, TD modellarining me'morchiligi va mexanizmi.

• Yuklab oling
• Yangi ichki oynada oching
• Powerpoint-ni yuklab oling

Shakl 12. 

Dopamin mustahkamlash signalining striatumdagi mumkin bo'lgan ta'lim mexanizmlariga ta'siri. A: Konditsioner stimulyatorga (KS) prognozli dopaminning reaktsiyasi bu ogohlantirish bilan bog'liq bo'lgan striatal nörotransmisyonda to'g'ridan-to'g'ri kuchlanish yoki plastisitik ta'sirga ega. B: Birlamchi mukofotga dopaminli javob oldingi shartli ogohlantiruvchi bilan bog'liq bo'lgan striatal nörotransmisyonda retrograd plastisite ta'siriga ega. Ushbu mexanizm striatal faoliyatni muvofiqlashtiruvchi izga asoslangan vositadir. Kuchli o'qlar dopamin signalining striatal nörotransmissionda to'g'ridan-to'g'ri ta'sirini ko'rsatadi (A) yoki tegishlilik izi (B), kichik o'q B striatal nörotransmisyonda bevosita ta'sir ko'rsatishi mumkin.

Dopamin neyronlarining elektrlashtirilishi shartsiz ogohlantiruvchi sifatida

Miqdordagi miya hududlarining elektr energiyasini rag'batlantirish ishonchli tarzda yondashuv xatti-harakatlarini qo'lga kiritish va qo'llab-quvvatlash uchun kuch sifatida xizmat qiladi (Olds va Milner 1954). Ba'zi juda samarali o'z-o'zidan ogohlantiruvchi saytlar dopamin hujayralari tanalari va midbrenning akson paketlari bilan mos keladi (Corbett va Wise 1980), yadroli akumbens (Phillips va boshq. 1975), striatum (Phillips va boshq. 1976) va prefrontal korteks (Mora va Myers 1977; Phillips va boshq. 1979), shuningdek, dopamin tizimlariga aloqasi bo'lmagan tuzilmalarda ham mavjud (Oq va Milner 1992). Elektrni o'z-o'zidan ogoh qilish dopamin neyronlarning faollashuvini o'z ichiga oladi (Fibiger va Phillips 1986; Wise and Rompré 1989) va dopamin aksonlarining 6-gidroksidopamin bilan indikatsiyasi natijasida kamayadi (Fibiger va boshq. 1987; Phillips va Fibiger 1978), dopamin sintezining inhibisyonu (Edmonds va Gallistel 1977), dopamin neyronlarning depolarizatsiya inaktivatsiyasi (Rompr va Wise 1989) va dopamin retseptorlari antagonistlari tizimli ravishda qo'llaniladi (Furiezos va Wise 1976) yoki yadroli akumbenslarga (Mogenson va boshq. 1979). O'z-o'zidan uyg'unlashuv hujayradan tashqari dopaminda kokain yoki amfetamin bilan kuchayib boradi (Colle va Wise 1980; Stein 1964; Wauquier 1976). O'z-o'zini stimulyatsiya qilish to'g'ridan-to'g'ri yadroli akumbenslar, striatum va frontal kortekslarda dopamin foydalanishni oshiradi (Fibiger va boshq. 1987; Mora va Myers 1977).

Elektromagnit uyg'otadigan dopamin impulslari va relefining assotsiativ o'rganishda shartsiz xarakterga ega bo'lishi mumkinligini tasavvur qilish qiziqarli, xuddi honeybeesda buxgalteriya neyronlarini stimulyatsiya qilish kabi proboscis refleksini (Hammer 1993). Ammo, dopamin bilan bog'liq bo'lgan o'z-o'zini stimulyatsiya qilish dopamin neyronlarning tabiiy faollashuvidan kamida uchta muhim jihatdan farq qiladi. Faqat dopamin neyronlarini faollashtirmaslik o'rniga, tabiiy sovg'alar odatda parallel ravishda bir nechta neyronal tizimlarni faollashtiradi va turli mukofot komponentlarining taqsimlangan kodlashiga imkon beradi (qo'shimcha matnni ko'ring). Ikkinchidan, elektr stimulyatori mukofotni prognozlashda xatolikni aks ettirmasdan shartsiz mustahkamlash sifatida qo'llaniladi. Uchinchidan, elektr stimulyatori faqat mukofotlanish vaqtida emas, balki harakatlanish reaktsiyasidan keyin mukofot sifatida taqdim etiladi. Dopamin neyronlari signallarini chiqaradigan tarzda o'z-o'zidan ogohlantiruvchi vositani aynan shunday tarzda qo'llash qiziq.

Dopamin nörotransmisyon bozukluğuyla ta'lim ochib beradi

Dopamin retseptorlari antagonistlarining lokal yoki tizimli tatbiqidan keyin yoki ventral midbrena, yadro akumbensida yoki striatumda dopamin aksonlarini nobud qilgandan keyin dopamin nörotransversiyasi buzilgan hayvonlarning xatti-harakatlarini ko'plab tadqiqotlar olib borgan. Parkinsonizmni eslatuvchi lokomotor va kognitiv kamchiliklarni kuzatish bilan bir qatorda, ushbu tadqiqotlar mukofotli ma'lumotlarni qayta ishlashdagi nuqsonlarni aniqladi. Eng erta tadqiqotlar, sub'ektiv, hedonik in'omlardagi in'ikoslardaHikmatli 1982; Wise va boshq. 1978). Keyinchalik eksperimentda yondashuv va iste'mol xulq-atvori uchun birinchi darajali mukofotlar va shartli appetitatsion stimullarning buzilganligi aniqlandi (Beninger va boshq. 1987; Ettenberg 1989; Miller va boshq. 1990; Salamone 1987; Ungerstedt 1971; Wise and Colle 1984; Wise va Rompre 1989). Ko'plab tadkikotlar ishtahani o'rganishdagi motivatsion va e'tiborli jarayonlarda buzuqliklarni aniqladi (Beninger 1983, 1989; Beninger va Hahn 1983; Fibiger va Phillips 1986; LeMoal va Simon 1991; Robbins va Everitt 1992, 1996; Oq va Milner 1992; Hikmatli 1982). Ko'pgina ta'lim kamchiliklari yadroli akumbenslarda dopamin nörotransmisyonu bozuklukları bilan bog'liq, dorsal striatum bozuklukları ise sensorimotor defisitlere (Amalric va Koob 1987; Robbins va Everitt 1992; Oq 1989). Shu bilan birga, umuman olganda instrumental vazifalarni o'rganish va ayniqsa kamsituvchi rag'batlantirish xususiyatlarining tez-tez saqlanib qolishi ko'rinadi va aniq o'rganilmagan kamchiliklarning ba'zilari vosita ishlash kamchiliklariSalamone 1992).

Parkinson kasalligida dopamin neyronlarining degeneratsiyasi, shuningdek, deklarativ va protsessual ta'lim etishmovchiligiga olib keladi, shu jumladan assotsiativ o'rganish (Linden va boshq. 1990; Sprengelmeyer va boshq. 1995). Sinov va xatolarni o'rganishda kamchiliklar tezda kuchayib boradi (Vriezen va Moskovich 1990) va turli xil natijalar bilan aniq ogohlantirishlarni birlashtirganda (Knowlton va boshq. 1996), hatto Parkinson kasalligining dastlabki bosqichlarida ham kortikal atrofiyasiz (Canavan va boshq. 1989). Parkinsoniyalik bemorlar ham vaqtni algılamayaPastor va boshq. 1992). Barcha bu nuqsonlar L-Dopaning davolanishida yuzaga keladi, bu esa fosik dopamin signallarini qayta tiklamay turib tonik striatal dopamin darajasini tiklaydi.

Ushbu tadqiqotlar, dopamin nörotransmisyonu, yondashuv xatti-harakatlari va uyarılmalar va mukofotlar o'rtasidagi uyushmalari o'z ichiga olgan o'rganish shakllari uchun mukofotlarni qayta ishlashda muhim rol o'ynaydi, shuning uchun ko'proq instrumental ta'lim shakllarida ishtirok etish mumkin. Ushbu defitsitlar fosik dopamin pul mukofot signallarining yo'qligi bilan emas, tonik sifatida kamaytirilgan dopamin retseptorlari stimulyatsiyasi sababli umumiy xatti-harakatlarning inaktivatsiyasini aks ettirmasligi aniq emas. Ushbu savolni hal qilish uchun, shuningdek, turli xil ta'lim shakllarida dopaminning rolini yanada aniqroq tushunish uchun, ishtahani uyg'otadigan fosik dopaminning ta'sirini yuzaga keltiradigan vaziyatlarni o'rganish foydali bo'lishi mumkin.

Ta'lim usullari, ehtimol, dopamin signallari orqali amalga oshiriladi

Dopamin ta'sirining xususiyatlari va dopaminning striatal neyronlarga ta'siri dopamin neyronlarining ishtirok etishi mumkin bo'lgan ba'zi bir ta'lim shakllarini aniqlab olishga yordam beradi. Ajablanarli hodisalarga qaramasdan, hissiyotlarga nisbatan imtiyozli javoblar yondashuv xatti-harakatlarini o'rganish va ijobiy ta'sirni kuchaytirish vositalarini jalb qilish va jazo o'rniga emas, balki ijobiy ta'sirni kuchaytirishga yordam beradi. Vazifalar va ta'lim kontekstlaridan tashqaridagi asosiy mukofotlarga berilgan javoblar, klassik va instrumental shamollatish bilan birga, dopamin neyronlarning birinchi darajali yutuqlarni qamrab oluvchi nisbatan keng spektrda rol o'ynashiga imkon beradi. Rag'batlantiruvchi predmetlarni baholash uchun javoblar - rag'batlantiruvchi-mukofotlar uyushmalarini aks ettiradi va umumiy rag'batlantiruvchi ta'limning ostida mukofotni kutish bilan shug'ullanishga mos keladi (Bindra 1968). Aksincha, dopaminning javoblari maqsad predmeti sifatida mukofotni aniq kodlamaydi, chunki ular faqat mukofotni kiritishida xatolar haqida xabar beradi. Ular motivatsion davlatlarga nisbatan befarq bo'lib ko'rinadi, shuning uchun maqsadga yo'naltirilgan harakatlarni davlatga qaramli rag'batlantiruvchi ta'limda muayyan rolni yoqtirmaydi (Dickinson va Balleine 1994). Qo'l va ko'z harakatlariga aniq aloqalarning yo'qligi rag'batlantiruvchi ogohlantirgandan keyingi xatti-harakatlarning bevosita vositachiligida rol o'ynaydi. Biroq, alohida neyronlarning chiqarilishi va butun organizmlarni o'rganish o'rtasidagi taqqoslash juda qiyin. Sinaptik darajada, tabiiy ravishda chiqarilgan dopamin, ehtimol har bir striatal neyronga bog'liq bo'lgan ko'plab dendritlarga etadi va shuning uchun harakatlarni o'rganishni o'z ichiga oluvchi striatumni o'z ichiga olgan turli xil xatti-harakatlar komponentlariga plastisktiv ta'sir ko'rsatadi.

Fasik dopamin signallarining o'rganishida rol o'ynashi mumkin bo'lgan o'ziga xos sharoitlar dopaminning ta'sirini samarali tarzda uyg'otadigan stimulyatsiya turlari bilan belgilanadi. Hayvon laboratoriyasida dopaminli javoblar ovqatlanish hissi, yangi yoki ayniqsa, asosiy oziq moddalar va mukofotni bashorat qilishni nazarda tutadigan stimulyatsiyalarning fazoviy paydo bo'lishini talab qiladi, vahshiy stimullar katta rol o'ynaydi. Dopaminning javoblari fosik va ochiq natijalar bilan boshqariladigan barcha xatti-harakatlarda yuzaga kelishi mumkin, ammo yuqori tartibli ogohlantirishlar va ikkilamchi nazoratchilar hali tekshirilmagan. Fasik dopaminning javoblari, odatda yuzaga keladigan natijalar orqali vositachilik qilmagan ta'lim shakllarida muhim rol o'ynashi mumkin emas va taxminiy javob kontekstning nisbatan sekin o'zgarishi kabi fasik prognozli stimullarning paydo bo'lmaydigan vaziyatlarda o'rganishga hissa qo'sha olmaydi . Bu esa, dopaminli lezyonlar yoki nöroleptikler yordamida o'rganishning ba'zi shakllarini saqlab qolish, birinchi navbatda, fosik dopaminning yo'qligini aks ettirishi mumkinmi degan qiziq savol paydo bo'lishiga olib keladi, chunki ularni keltirib chiqaradigan samarali stimullar qo'llanilmaydi.

Dopamin signallarini o'rganishda ishtiroki nazariy misol bilan tasvirlangan bo'lishi mumkin. To'g'ri reaksiya to'satdan oziqlantiruvchi mukofotga olib kelganda, ketma-ket reaksiya vaqtini olish paytida dopaminning javoblarini tasavvur qiling. Mukofot harakati keyinchalik mukofotni oldindan ogohlantiruvchi rag'batlantiruvchi vositaga o'tkaziladi. Reaktsiya vaqtlari uzoq muddatli amaliyot bilan yanada yaxshilanadi, chunki maqsadlarning makonli pozitsiyalari tobora ko'proq prognozlash mumkin bo'ladi. Dopamin neyronlari stimulyatsiyalarni bashorat qilishning ogohlantirishlariga javob berishda davom etishiga qaramasdan, keyingi yurish-turishning rivojlanishi, asosan, boshqa neyronal tizimlar tomonidan mekansal pozitsiyalarni prognostik jihatdan qayta ishlashga bog'liq bo'lishi mumkin. Shunday qilib, dopaminning javoblari ob'ektlarning ob'ektlariga yaqinlashishi va aniq boshlang'ich va ehtimol shartli, mukofotlar olish uchun o'rganishning boshlang'ich, rag'batlantiruvchi qismida yuzaga keladi. Ular ta'limning rivojlanishi yondashuv xatti-harakatlarining tashqarisidan chiqib ketadigan vaziyatlarda kamroq ishtirok etadilar. Bu dopamin o'rnini dastlabki o'rganish bosqichlariga cheklab qo'ymaydi, chunki ko'p hollarda dastlab misollardan o'rganish va keyinchalik aniq natijalar bilan o'rganishni o'z ichiga oladi.

Lug'at xatosi

Dopamin neyronlarining bashorat qilish xatosi signallari ekologik hodisalarning bashorat qilish bilan bog'liq tuyadi qiymatining ajoyib ko'rsatkichi bo'lishi mumkin, ammo oziq-ovqat, suyuqlik va ko'zga ko'rinadigan stimulyatsiyalarni, shuningdek, ingl., Auditoriya va somatosensory usullar orasida farqni ajratmaslik. Ushbu signal, postsinaptik neyronlarning o'ziga xosligini tasdiqlamasdan, mukofotlanadigan yoki potentsial jihatdan mukofotlanadigan hodisaning hayratlanarli ko'rinishi yoki e'tiborsizligi haqida xabar beradigan mukofotli ogohlantirish xabarini tashkil qilishi mumkin. O'qish uchun kuchli kuchlanish signalining barcha rasmiy xususiyatlari bor. Biroq, mukofotlarning o'ziga xos xususiyati haqida ma'lumot ob'ektlarning qaysi biri bilan murojaat qilish kerakligi va qanday tarzda aniqlanishi kerak. Misol uchun, och hayvon birinchi navbatda oziq-ovqat bilan emas, balki suyuqlikka yaqinlashishi kerak. Aloqasiz mukofotlardan xabardor bo'lish uchun dopamin signalini qo'shimcha ma'lumot bilan to'ldirish kerak. Yaqinda in vivo diyaliz tajribalari och dori bilan to'yintirilgan sichqonlarga qaraganda ko'proq oziq-ovqat bilan bog'liq bo'lgan dopaminning tarqalishini ko'rsatdiWilson va boshq. 1995). Dopamin salınımının bu haydovchiga qaram bo'lishiga dürtüsel javob berilmaydi. Chunki, hayvonlarning suyuqlik bilan to'yingan (JL Contreras-Vidal va W., JL Contreras-Vidal va W.), erta va kech muayyan eksperimental seanslar o'rtasida taqqoslashda dopamin javoblari bilan aniq haydovchiga qaramlikni topa olmadik. Schultz, nashr qilinmagan ma'lumotlar).

Mukofotlarning xususiyatlari

Suyuqlik va oziq-ovqat bilan bog'liq bo'lgan ma'lumotlarga oid ma'lumotlar dorsit va ventral striatum, subtalamik yadro, amigdala, dorsolateral prefrontal korteks, orbitofrontal korteks va oldingi singulat korteks kabi dopamin neyronlaridan tashqari miya strukturalarida qayta ishlanadi. Biroq, bu tuzilmalar dopamin neyronlariga o'xshash global mukofotni kiritish xato signali chiqarmaydi. Primatlarda bu tuzilmalar mukofotni mukofotlaydi 1) mukofotni topshirgandan so'ng vaqtinchalik javoblar (Apicella va boshq. 1991a,b, 1997; Bowman va boshq. 1996; Hikosaka va boshq. 1989; Niki va Watanabe 1979; Nishijo va boshq. 1988; Tremblay va Shultz 1995; Watanabe 1989), 2) mukofotlar uchun vaqtinchalik javoblar -Aosaki va boshq. 1994; Apicella va boshq. 1991b; 1996; Hollerman va boshq. 1994; Nishijo va boshq. 1988; Thorpe va boshq. 1983; Tremblay va Shultz 1995; Uilyams va boshq. 1993), 3) darhol yaqinlashib kelayotgan mukofotlarni kutish paytida doimiy faollashtirish (Apicella va boshq. 1992; Hikosaka va boshq. 1989; Matsumura va boshq. 1992; Schultz va boshq. 1992; Tremblay va Shultz 1995), Va 4) xulq-atvorli aktivatsiyalarni prognozlangan mukofot bilan modullash (Hollerman va boshq. 1994; Watanabe 1990, 1996). Ushbu neyronlarning aksariyati turli xil oziq-ovqat mukofotlari va turli xil suyuqlik hosilalari o'rtasida yaxshi farq qiladi. Shunday qilib, ular taqdirlash marosimining o'ziga xos xususiyatini qayta ishlaydilar va mukofotlarni qabul qilishiga xizmat qilishlari mumkin. Mukofotlarning ba'zilari mukofotning ajralib turishiga bog'liq bo'lib, mukofotni shartli rag'batlantiruvchi predmet (ya'ni,Apicella va boshq. 1997; Matsumoto va boshq. 1995; L. Tremblay va V. Shultz, nashr qilingan ma'lumotlar). Ular, ma'lum mukofotlar bo'yicha prognozlarni qayta ishlashlari mumkin, ammo ular bashorat qilish xatolaridan dalolat bermayaptilar, ammo ular yo'qolgan mukofotlarga javob berishlari aniq emas.

Belgilangan ishlashni saqlash

Uchta neyronal mexanizm o'rnatilgan xatti-harakatlarning saqlanishida muhim ahamiyatga ega bo'lib, unda yo'qotilgan mukofotlarni topish, mukofotni aniqlashni aniqlash va prognozli mukofotlarni aniqlash. Dopamin neyronlari bashorat qilingan mukofotlar chiqarilganda tushkunlanadi. Bu signal noto'g'ri xatti-harakatlar bilan bog'liq sinaptik samaradorlikni kamaytiradi va ularning takrorlanishiga yo'l qo'ymaydi. Rag'batlantiruvchi predmetga qarshi dopaminli javob, belgilangan xatti-harakatlar vaqtida saqlanib qoladi va shuning uchun oldindan ma'lumot sifatida xizmat qiladi. Dopamin neyronlari tomonidan to'liq aniqlangan natijalar aniqlanmasa-da, yuqorida sanab o'tilgan nondopaminerjik kortikal va subkortikal tizimlar tomonidan qayta ishlanadi. Bu o'rganilgan xatti-harakatlarning yo'q bo'lib ketmasligi uchun muhimdir.

Birgalikda qo'lga kiritilgan narsa, yondashuv xatti-harakatini o'rganish va saqlash uchun maxsus mukofotlarni qayta ishlash, dopamin neyronlari o'rtasidagi hamkorlikdan, mukofotning o'ziga xos xususiyatiga ishora qilib, boshqa tuzilmalardagi bir vaqtning o'zida kutilmagan holatlar yoki mukofot va neyronlarning signalizatsiyasini ko'rsatganidan darak beradi.

Noradrenalin neyronlari

Sichqoncha, mushuk va maymunlarda lokus koeruleusidagi noradrenalin neyronlarning deyarli barcha populyatsiyasi vizual, eshitish va somatosensor ta'sirlarga yo'naltirilgan reaktsiyalarni keltirib chiqaradigan bir xil, bir xil, ikki fazali faollashtiruvchi-depressant ta'sir ko'rsatadi (Aston-Jones va Bloom 1981; Foote va boshq. 1980; Rasmussen va boshq. 1986). Ayniqsa, hayvonlarga e'tibor qaratadigan, oddball diskriminatsiya vazifasida ingl. Ogohlantiruvchi (masalan,Aston-Jones va boshq. 1994). Noradrenalin neyronlari uyg'unlashtiruvchi yoki harakatlanadigan va neytral voqealar o'rtasida juda kam farqlanadi. Qaytarilish jarayonida yangi maqsadli stimullarga tezkor javob beradilar va xatti-harakatni bekor qilish tugagunga qadar avvalgi maqsadlarga javob qaytaradilar (Aston-Jones va boshq. 1997). Javoblar har qanday topshiriqdan tashqarida erkin suyuqlikka uchraydi va topshiriq bo'yicha maqsadli stimullarni bashorat qilish uchun, shuningdek, asosiy va shartli qo'zg'aluvchan stimullarga (Aston-Jones va boshq. 1994; Foote va boshq. 1980; Rasmussen va Jacobs 1986; Sara va Segal 1991). Javoblar odatda vaqtinchalik va rag'batlantiruvchi o'zgarish yoki ma'noda o'zgarishlarni aks ettiradi. Aktivizatsiya faqat oziq-ovqat mahsulotlarining takrorlanuvchan taqdimoti bilan bir nechta sinovlarda ro'y berishi mumkin (Vankov va boshq. 1995) yoki suyuqlik bilan mukofotlash, avariyali havo yostig'i yoki elektr oyoq zarbasiRasmussen va Jacobs 1986; Sara va Segal 1991). Konditsionerlik davrida yangi ogohlantiruvlarning dastlabki bir nechta prezentatsiyalariga javoblar yuzaga keladi va vaqt o'tishi bilan qayta tiklash, tiklash va yo'qolish (Sara va Segal 1991).

Noradrenalin neyronlarning javoblari bir nechta jihatdan dopamin neyronlarining javoblarini eslatadi, birinchi darajali mukofotlar bilan faollashtiriladi, stimulyatsiyalarni bashorat qilish va yangi ogohlantirishlarni keltirib chiqaradi va javobni birlamchi shartli xulq-atvorli hodisalarga o'tkazishadi. Shu bilan birga, noradrenalin nöronları, asosiy va koservik ogohlantiruvchi ogohlantirishlarga yaxshi javob berish orqali, neytral stimullarga qarshi yaxshi xulq-atvorda, xatti-harakatni sekinlashib tezda ta'qib qilish va takroriy ogohlantirishlar bilan javoblarni kamaytirish orqali juda ko'p turli ogohlantiruvchi ogohlantirishlarga javob berish orqali dopamin neyronlardan farq qiladi qattiq tomoshabin javoblari uchun 100 sinovlarini talab qilishi mumkin.Aston-Jones va boshq. 1994). Noradrenalin javoblari dopamin neyronlarning ko'pchiligi kabi tuyadi ogohlantiruvchi xususiyatlariga nisbatan kamroq e'tibor qaratilgan bo'lsa-da, orientatsiya reaktsiyalarini keltirib chiqaradigan ogohlantirishlarni uyg'otish yoki e'tiborni tortuvchi xususiyatlariga kuchli bog'liqdir. Ular, ehtimol, tuyadi hodisalarning tarkibiy qismlarini tashviq qilishdan ko'ra, ko'proq e'tiborni tortib olishadi.

Serotonin neyronlari

Turli xil raphe yadrosidagi faoliyat mushaklarning ohangini va stereotipli vosita faolligini belgilash orqali vosita chiqishiga yordam beradi (Jacobs va Fornal 1993). Mushuklardagi dorsal neyronlarning neyronlari ma'lum bir qiziqishning mazmuni bo'lmagan ingl. Va audioni ogohlantirishlarga nisbatan noan'anaviy,Heym va boshq. 1982; LeMoal va Olds 1979). Bu javoblar dopamin neuronlarining yangi va ayniqsa muhim ogohlantirishlarga o'xshashligini anglatadi. Keyinchalik taqqoslashlar ko'proq tajriba talab qiladi.

Neylli bazalis Meynert

Prim bazal frontbrain neyronlari odatiy holatlarda turli xarakatdagi hodisalar, jumladan, shartli, mukofotlashni bashorat qiluvchi ogohlantirishlar va birinchi mukofotlar bilan faollashadi. Ko'pgina faollashtirishlar xotira va uyushmalarga bog'liq bo'lib, kamsitishga va kechiktirilgan javob berish vazifalariga ega. Aktivatsiyalar stimulyatorning tanishligini aks ettiradi (Wilson va Rolls 1990a), mukofot muddatiga yaqinroq bo'lgan stimullar va harakatlar bilan yanada muhimroq bo'ladi (Richardson va DeLong 1990), tuyadi va uyaladigan uyushmalar asosida ingl. ogohlantiruvchilar o'rtasida yaxshi farqlanadi (Wilson va Rolls 1990b) va almashtirish jarayonida bir nechtaWilson va Rolls 1990c). Neyronlar ham ogohlantiruvchi stimullar, prognozli vizual va eshitish stimullari va harakatlari bilan faollashadi. Ular odatda aniqlangan xulq-atvor vazifalarida to'la-to'kis baholarga javob berishadi (Mitchell va boshq. 1987; Richardson va DeLong 1986, 1990), ammo ba'zi tadqiqotlarda kutilmagan natijalarga javoblar ko'proqRichardson va DeLong 1990), ammo boshqalarda emas (Wilson va Rolls 1990a-c). Dopamin neyronlari bilan taqqoslaganda ular ko'p miqdordagi qo'zg'atuvchi va hodisalar, shu jumladan vahshiyona hodisalar bilan faollashadi va kutilmagan natijalarga va uni stimulyatsiya qilishni prognozlash uchun o'tkazishga nisbatan bir hil aholi javobini ko'rsatmaydi.

Serebellar toqqa chiqishga tolalari

Ehtimol, miyadagi xatolikka asoslangan birinchi ta'lim signallari pastki zaytun tolalariga chiqadigan tolalar proektsiyasini serebellar korteksdagi Purkinje neuronlariga proektsiyalash uchun kiritilgan edi (Marr 1969) va ko'plab serebellar o'rganish tadqiqotlari ushbu konsepsiyaga asoslanadi (Houk va boshq. 1996; Ito 1989; Kawato va Gomi 1992; Llinas va Welsh 1993). Purkinje neuronlariga tolali kirib keladigan tolalar kirish harakatlari va ingl. Muloqotlar orasidagi harakatlar uchun yuk bo'lganda o'z faoliyatini o'zgartiradi va maymunlar yangi holatga moslashadi (Gilbert va Thach 1977; Ojakangas va Ebner 1992). Ushbu o'zgarishlarning aksariyati dopamin neyronlaridagi qarama-qarshi yo'nalishdagi xatolar bilan ko'rilgan depressiya javoblariga nisbatan faollashuvdan ko'ra ko'proq faollikdan iborat. Agar tolaga chiqadigan tolalar faollashuvi ta'lim signali sifatida xizmat qiladigan bo'lsa, unda tolgan toqqa chiqishga tolalar bilan parallel elyafning faollashishi Purkinje neuronlariga parallel tolalarni kiritishiga olib keladi. Bu, asosan in vitro preparatlarda parallel tolaning uzun muddatli depressiyasigaIto 1989). Shunga qaramasdan, taqqoslanadigan parallel tolalar o'zgarishlarini xatti-harakatlarda o'rganish qiyinroq kechadi (Ojakangas va Ebner 1992), shu vaqtning o'zida potentsial tok o'qi ta'lim signallarining oqibatlarini qoldirib ketadi.

O'rganishda tolgan tolalarni o'rgatishning ikkinchi argumenti tasodifiy klassik kondensatsiyani o'z ichiga oladi. Olib borayotgan tolalarni bir qismi favqulodda havo pufaklari bilan shox parda bilan faollashadi. Ushbu javoblar, Pavlovning ko'z qovoqlari uchun mo'ljallangan,Sears va Steinmetz 1991), asosiy hodisalar yuz beradigan voqealarning oldindan aytish mumkin bo'lmaganligi bilan bog'liqligini ko'rsatadi. Kondensatsiyadan so'ng serebellar interpozit yadroidagi neyronlar shartli stimulga (Berthier va Mur 1990; McCormick va Tompson 1984). Ushbu yadro zarralari yoki GABA antagonisti bicuculline ning quyi zaytunga in'ektsiyalari konditsionerlikdan keyin past zaytun havo yallig'ini yo'qotishning oldini oladi, bu esa, interpozitdan past zaytunga monosinaptik yoki polisinaptik inhibisyonning oldini olishdaTompson va Gluck 1991). Bu esa, taxmin qilinayotgan yuqumli ogohlantirishlar bo'lmasa, past zaytun neyronlariga tushkunlikka tushib qolishi va shuning uchun dopamin neyronlariga o'xshash hodisalarni bashorat qilishda salbiy xato haqida xabar beradi.

Shunday qilib, tolgan tolalar dvigatel ishlashida xatoliklar haqida xabar berishi mumkin, ammo bu har doim ham dopamin neyronlari kabi ikki tomonlama o'zgarishlarni o'z ichiga olmaydi. Tolgan elyaflar shartli ogohlantiruvchi ogohlantirishlarga javob bermaydilar, ammo bunday javoblar yadro interpozitida uchraydi. Yomon niyatli bashorat qilish xatolaridan hisoblash dopamin neyronlariga striatal proektsiyalarga o'xshash past zaytunli neyronlarga tushadigan inhibitoryal kirib borishi mumkin. Shunday qilib, serebellar davrlari dopamin neyronlari va TD modellaridan farqli o'laroq xato signallarini ishlab chiqaradi va ular Rescorla-Wagner qoidasi (masalan,Tompson va Gluck 1991) yoki rasmiy ravishda mos Widrow-Hoff qoidasi (Kawato va Gomi 1992).