Wolfram Schultz 1
Behav Brain Funct. 2010; 6: 24.
2010 aprelda nashr etilgan onlayn 23. doi: 10.1186 / 1744-9081-6-24.
To'liq o'rganish: mukofot qiymat va xavf uchun Dopamin signallari Asosiy va oxirgi ma'lumotlar
1 Kembrij universiteti qoshganligi, rivojlanish va nevrologiya kafedrasi, Kembrij CB2 3DY, Buyuk Britaniya
Tegishli muallif.
Wolfram Schultz: [elektron pochta bilan himoyalangan]
mavhum
fon
Avvalgi lezyon, elektromagnit stimullash va giyohvandlik bo'yicha tadqiqotlar midbrain dopamin tizimlari miya mukofot tizimining bir qismidir. Ushbu kompilyatsiya ekologik ogohlantirishlarga dopamin neyronlarining asosiy signallari to'g'risida yangilangan xulosani beradi.
usullari
Ta'riflangan tajribalar muayyan xatti-vazifalar vaqtida uyg'un maymunlarda yagona dopamin neyronlarning faoliyatini qayd etish uchun standart harakatlar va neyrofizyologik usullarni qo'llagan.
natijalar
Dopamin neyronlari tashqi stimulyatsiyalarga fosik faollashuvlarni ko'rsatadi. Signal javob beruvchi neyronlarning fraktsiyalari bo'yicha kamayib, mukofot, jismoniy shafqatsizlik, xavf va jazo aks ettiradi. Kutilayotgan mukofotlar iqtisodiy tanlov uchun asosiy qaror o'zgaruvchisi hisoblanadi. Sovg'a javob kodlari mukofot qiymatlari, ehtimollik va summalaridagi mahsulot, kutilgan qiymat. Neyronlarning mukofotlash qiymati prognozdan farq qiladigan tarzda baholanadi va shu tariqa o'rganish nazariyasi tomonidan bildirilgan ikki tomonlama prognozlash xatolarini o'rgatish signalining asosiy talablarini bajaradi. Bu javob standart og'ishlarning birliklarida o'lchangan. Aksincha, nisbatan kam dopaminli neyronlar jazolashdan keyin fosik faollashuvni namoyish qiladilar va ogohlantiruvchi ogohlantirgichlarni keltirib chiqaradilar. Dopamin neyronlarning katta miqdori ham jadal, jismoniy jihatdan ahamiyatli ogohlantiruvchi ta'sirlar bilan faollashadi. Ushbu javob stimulyatsiya yangi bo'lganida kuchayadi; mukofot qiymati signalidan ajralib turadi. Dopamin neyronlari, shuningdek, ajablantirilmaydigan stimulyatsiyalarga xos bo'lmagan faollashuvlarni ham ko'rsatadi, bu, ehtimol, birlamchi mukofotlarga o'xshash ogohlantirishlar va psevdokonditsiyalash orqali umumlashtirishga bog'liq. Ushbu aktivatsiyalar mukofot olishdan kamroq va ko'pincha faoliyat tushkunligiga uchraydi. Ayrim, sekinroq dopamin signallari boshqa muhim qaror o'zgaruvchilari uchun xavf haqida xabar beradi. Bashoratdagi xatolarga javob faqat mukofot bilan amalga oshiriladi; u predmetli mukofotning xavfi bilan farqlanadi.
Xulosa
Nörofizyolojik tadqiqotlar fasik dopamin signallarini aks ettiradi, ular asosan, faqat mukofot uchun emas, balki ma'lumot bilan bog'liqdir. To'liq bir hil bo'lmasa-da, dopamin signali maqsadga yo'naltirilgan xatti-harakatlar bilan shug'ullanadigan ko'plab boshqa miya strukturalarida neyronal faollikdan ko'ra ko'proq cheklangan va stereotip ko'rinishga ega.
fon
Lezyon va psikofarmakolojik tadqiqotlar natijalari midbrain dopamin tizimlari uchun keng tarqalgan xatti-vazifalarni taklif qiladi. Asosiy savol shu tez-tez neyronal mexanizmlarga mos keladigan fosik dopamin signallari bilan ko'plab funktsiyalardan qaysi biri faol kodlangan? Yaxshi maslahatlar, giyohvandlik va elektromagnit stimullashdan kelib chiqadi va dopaminning samaradorligi va yondashuvni keltiruvchi ta'sir ko'rsatadi [1,2].
Biz yutuq va iste'mol xulq-atvorini ishlab chiqaradigan narsalar yoki voqealar sifatida mukofotni belgilaymiz, bunday xulq-atvorni o'rganib chiqamiz, iqtisodiy qarorlar ijobiy natijalarini ko'rsatamiz va ijobiy his-tuyg'ularni va gadonik his-tuyg'ularni jalb qilamiz. In'omlar va genlarni saqlab qolish va ichish, eyish va ko'paytirish kabi elementar jarayonlarni qo'llab-quvvatlash uchun mukofotlar muhim ahamiyatga ega. Ushbu xatti-belgilovchi ta'rif shuningdek pul, texnika ashyolari, estetik jihatdan rag'batlantiruvchi atributlar va ruhiy hodisalar kabi ba'zi nooziq va jismoniy bo'lmagan shaxslarga ham mukofot vazifasini belgilaydi. Mukofotlar aktsiyadorlar ayirboshlash bozorlarida savdoni va savdolashish kabi turli xil xatti-harakatlarda ishtirok etadi.
Asosiy tushunchalar
Mukofotlar o'ziga xos kattaliklarga ega va aniq ehtimollar bilan yuzaga keladi. Agentlar qiymatlari tanlov ob'ekti turiga va uning kattaligi va ehtimolligiga qarab belgilanadigan variantlar orasidagi tanlovni optimallashtirishga qaratilgan [3]. Shuning uchun mukofotlarni mukofot qiymatlarining ehtimollik taqsimoti bilan etarli darajada tavsiflash mumkin. Ideal dunyoda ushbu taqsimotlar Gauss funktsiyasini bajaradi, chunki haddan tashqari mukofotlar oraliq natijalarga qaraganda kamroq bo'ladi. Eksperimental testlarda tez-tez potentsial qiymatlari bilan ikkilik ehtimollik taqsimotlari qo'llaniladi (har bir mukofot qiymati p = 0.5 da sodir bo'ladi). Gauss va ikkilik ehtimollik taqsimotlari matematik kutilayotgan qiymat (ehtimollikning birinchi tarqalish momenti) va qiymatlarning dispersiyalari yoki chetlanishlari, ya'ni (kutilayotgan) dispersiya (ikkinchi moment) yoki (kutilayotgan) standart og'ish (kvadrat ildiz) bilan to'liq tavsiflanadi. dispersiya). Varians va standart og'ish ko'pincha xavf o'lchovi sifatida qaraladi. Xulq-atvor iqtisodiyotida "tavakkalchilik" atamasi ehtimollikning taqsimoti ma'lum bo'lgan noaniqlik shaklini anglatadi, "noaniqlik" ehtimolliklar to'g'risida to'liq ma'lumotga ega emasligini ko'rsatadi va ko'pincha oddiygina "noaniqlik" deb nomlanadi. Xavf yo'qotish bilan torroq, sog'lom fikrni birlashtirish o'rniga, yutish yoki yo'qotish imkoniyatini anglatadi.
Bashoratli qaror qabul qilish uchun taxminlar mavjud natijalar haqida oldindan ma'lumot berish orqali natijalarni noma'lum bo'lgan vaqtda yuzaga keladigan taxminlarga qaraganda muhim ahamiyatga ega. Rag'batlantiruvchi qiymatning ehtimollik taqsimotiga ko'ra miqdori belgilanishi mumkinligi sababli, mukofotni prognozlashlar kutilgan qiymat va (kutilgan) farqni yoki tarqatishning standart og'ishishini aniqlaydi.
Evolyutsion bosim axborotni energiyadan samarali ishlashga yordam beradi. Mumkin bo'lgan miya markazlarida bo'lajak hodisalar haqida bashoratlarni saqlash va past miya markazlarida yangi ekologik ma'lumotlar va saqlangan prognoz o'rtasidagi farqni hisoblash mumkin. Haqiqiy hodisa va uning bashorat qilish o'rtasidagi farqni bir hodisa bashorat qilish xatosi deb atashadi. O'zgaruvchan ekologik vaziyatni yuqori miya markazlari bilan boqish shunchaki bir narsani o'zgartirgan har bir narsa [4] har bir periferik ma'lumotni qayta ishlashdan ko'ra kamroq energiya iste'mol qiladigan, prognostik xatolar bilan bashoratlarni yangilashni o'z ichiga oladi. Shunday qilib, yuqori miya markazlari tashqi dunyo haqida tushunchalar, qarorlar va xatti-harakatlar reaktsiyalari uchun juda kamroq energiya sarf-xarajatlariga ega bo'lgan barcha ma'lumotlardan foydalanish imkoniyatiga ega. Bashoratlarning bu asosiy xususiyati yangilangan prognozlarga asoslangan xatti-harakatlarning o'zgarishi bilan tavsiflangan o'rganishning kuzatiladigan hodisasiga olib keladi.
Hayvonlarni o'rganish nazariyasi va vaqtinchalik farqni samarali kuchaytirish modellari natijalarni bashorat qilish xatolari Pavlovian va operant konditsioneri uchun juda muhimdir [5,6]. Mavjud qarashlar Pavlovni o'rganishni vegetativ reaktsiyalarni o'zgarishiga yoki mushaklarning taranglashishiga olib keladigan bashoratni olishning har qanday shakli sifatida kontseptualizatsiya qiladi, natijada xulq-atvor reaktsiyasi bilan shartli emas. Shunday qilib, Pavlov mukofotining bashoratlari nafaqat mukofot qiymati (kutilgan qiymat), balki yuz yil oldin Pavlov tomonidan taklif qilingan kontseptsiyaning muhim kengayishini tashkil etadigan kelajak mukofotlarning xavfi (farqi) haqida ham ma'lumot beradi. Bashorat qilish xatolarining ahamiyati Kaminning to'suvchi ta'siriga asoslangan [7], bu o'rganish va yo'q bo'lib ketish faqat kuchaytirgich bashorat qilinganidan yaxshiroq yoki yomonroq darajaga ko'tarilishini ko'rsatadi; bashorat asimptotik ravishda kuchaytirgich qiymatiga yaqinlashganda o'rganish asta-sekin sekinlashadi.
Qabulni mukofotlash uchun dopaminli javob
O'rta miya dopamin neyronlarining aksariyati (75-80%) vaqtincha oldindan taxmin qilinmagan oziq-ovqat va suyuqlik mukofotlaridan so'ng <100 ms ms va davomiyligi <200 ms bo'lgan kechikishlar bilan stereotiplangan, fazik faollashuvlarni namoyish etadi (Shakl 1A) .1A). Ushbu portlash reaktsiyasi dopamin neyronlarida joylashgan glutamaterjik NMDA va AMPA retseptorlarining faollashishi va plastisiyasiga bog'liq [8-12]. Portlash, shartli joyni tanlash va oziq-ovqat yoki kokain mukofoti uchun labirint tanlovi va shartli qo'rquvga javob berish kabi tuyadi vazifalarini o'rganish uchun juda muhimdir [9].
Shakl 1
Dopamin neyronlarining neyrofiziologik impuls faolligining fazali faollashishi. Javob: Birlamchi mukofotlardan so'ng fazali faollashtirish. B: shartli, mukofotni bashorat qiluvchi stimullardan so'ng fazali faollashuvlar. C: Top: Birlamchi bosqichdan so'ng fazali faollashuvning etishmasligi (batafsil…)
Mumkincha bashorat qilish xatosini kodlash
Yetkazib berishni yetkazib berishga dopaminli javob bashorat qilish xatoligini kodlaydi; prognozdan ko'ra yaxshiroq bo'lgan mukofot (ijobiy prognoz xatosi), to'liq prognozlangan mukofotlar hech qanday javob bermaydi va bashoratdan ko'ra yomonroq (Depressiya) (13-24) tushkunlikka sabab bo'ladi. Shunday qilib, dopamin reaktsiyasi Rescorla-Wagner ta'lim modelining eng muhim muddatini to'liq amalga oshiradi va vaqtinchalik farqni kuchaytirishning samarali modellari [6,23] ning ta'lim signaliga o'xshaydi.
Xatolik javob, olingan mukofot qiymati va kutilgan mukofot qiymatining [18-23] o'rtasidagi farqi bilan miqdoriy jihatdan farq qiladi. Bashoratdagi xatolarga javob berish mukofotning vaqtiga sezgir; kechiktirilgan mukofot o'z vaqtida tushkunlikni keltirib chiqaradi va yangi vaqt [24,25] da faollashadi. Miqdoriy xato kodirovkasi ijobiy prognoz xatolarini aks ettiruvchi faollik uchun aniqdir. Aksincha, salbiy prognoz xatolarida yuzaga kelgan ruhiy tushkunlik, tabiiy ravishda, dinamik intervalni yanada aniqroq ko'rsatadi, chunki neyronlarning faoliyati noldan pastga tushib qolishi mumkin emas va tegishli miqdoriy baholash depressiyani to'liq hisobga olishni talab qiladi [26].
Shunday qilib, dopamin neyronlari nafaqat prognozdan farq qiladigan darajadagi mukofotga javob beradi. Bashorat ilgari tajribali mukofotdan kelib chiqsa, dopamin neuronlari faqatgina mavjud mukofotlar oldingi mukofotdan yaxshiroq bo'lganida faollashadi. Xuddi shu mukofot yana dopamin neyronlarini faollashtirmaydi. Agar dopamin neyronlarning faollashishi xatti-harakatlarga ijobiy ta'sir ko'rsatadi, faqat ortib borayotgan mukofotlar dopaminergik mexanizmlar orqali doimiy mustahkamlashni ta'minlaydi. Buning sabablaridan biri shundaki, doimiy, o'zgarmas mukofotlar ularning rag'batlantiruvchi ta'sirini yo'qotadi va nima uchun biz doimo ko'proq mukofotga muhtojmiz.
Mukofotni bashorat qilish xatosi kodlash uchun jiddiy sinovlar
Hayvonlarni o'rganish nazariyasi mukofoti bashorat qilish xatolarini test qilish uchun rasmiy paradigmalar ishlab chiqdi. Blokirovkalash testida [7], to'liq prognozlangan mukofot bilan bog'langan ogohlantirishni bilib bo'lmaydi va shuning uchun haqiqiy mukofot deklaratoriga aylanmaydi. To'sib qo'yilgan stimuldan keyin mukofotning yo'qligi prognozlash xatoini keltirib chiqarmaydi va hatto keng ogohlantirish-mukofot juftligini [27] so'ng dopamin neyronlarida javob bermaydi. Aksincha, blokirovka qilingan stimuldan keyin mukofotni etkazib berish ijobiy bashorat qilish xatosidir va shunga muvofiq dopamin aktivatsiyasini keltirib chiqaradi.
Shartli inhibisyon paradigması [28], taxmin qilish xatolar uchun qo'shimcha bir sinov taqdim etadi. Tajribamizda ishlatiladigan vazifada test imtiyozi, rag'batlantiruvchi predmetni belgilash bilan bir vaqtda taqdim etiladi, ammo unda aralashmandan keyin mukofot berilmaydi va test imtiyozini mukofotning yo'qligi uchun oldindan belgilab beradi. Bunday shartli inhibitordagi mukofotni bekor qilish negativ bashorat qilish xatosini keltirib chiqarmaydi va shunga muvofiq dopamin neyronlarida [29] depressiyani keltirib chiqarmaydi. Buning aksincha, inhibitörden so'ng, bir mukofotning yetkazilishi kuchli ijobiy tushuncha xato va shunga qarab, kuchli dopamin aktivizatsiya hosil qiladi.
Ushbu ikki rasmiy testdan olingan natijalar dopamin neuronlari mukofot predmeti xatolarining ikki tomonlama kodlashini ko'rsatib beradi.
Adaptiv mukofotni kiritish xato kodlash
Umuman olganda, rag'batlantiruvchi mukofot, mukofot qiymatlari ehtimoli taqsimoti haqida ma'lumot berib, kelgusi mukofotlarning qiymatini belgilaydi. Shunday qilib, stimulyator kutilgan qiymatni (birinchi momentni) va (kutilgan) farqni (ikkinchi momentni) yoki tarqatishning standart og'ishishini ko'rsatadi.
Dopamin qiymatini prognozlashda xato javob stimulyatsiya qilinganidan keyin ikki soniyadan keyin kutilgan mukofot taqsimotining birinchi va ikkinchi daqiqalariga sezgir bo'ladi. Eksperimentda turli xil ingl. Ogohlantirishlar turli xil kutilgan qiymat va farqlar bilan teng keladigan ikkilik ehtimollik taqsimotlarini taxmin qilish mumkin. Bashorat qilish xatosi javoblari olingan va kutilgan mukofot qiymatlari orasidagi farqni aks ettirganligi sababli, olingan mukofotning bir xil kattaligi, o'z navbatida [23] mukofotining katta yoki kichikroq bo'lishiga qarab, dopamin faoliyatini oshirish yoki kamaytirishga olib keladi. Ushbu natija, qiymatni kiritish xato kodirovkasini ma'lumot yoki zapravka qiymatiga nisbatan ma'lumot beradi.
Mukofotga sazovor qiymatining prognozlashdagi xatoining dopamin kodlashi tarqatishning differentsial yoki standart og'ishmasiga mos keladi. To'liq taqsimlanadigan mukofotlarning ikkilik taqsimotida, har bir taqsimotda katta hajmdagi mukofotni yetkazib berish, olingan mukofot magnitudalari (va olingan qiymatni aniqlash xatolari) o'rtasida [10] o'rtasidagi 23 marta farqlarga qaramasdan, har bir tarqatish bilan bir xil dopamin faollashuvini keltirib chiqaradi. Raqamli hisob-kitoblar shuni ko'rsatadiki, dopaminning javob qiymati prognozlashdagi xatoni taxmin qilingan taqsimotning standart og'ishmasiga bo'linadi. Bu qiymat standart taqsimlash jihatidan qiymati bashorat qilish xatosi javobining samarali normallashuvi yoki miqdori bo'yicha baholandi, bu olingan mukofot qiymatining standart og'ishlarning birliklarida kutilgan qiymatdan qanchalik farq qilishini ko'rsatib berdi. Nazariy fikrlardan ma'lum bo'lishicha, o'rtacha natijadan farqli o'laroq standart og'ish bilan o'lchangan xatoliklarni o'rgatish signallari natijalar xavfiga chidamli barqaror o'rganishga yordam beradi [30].
Rag'batlarni oldindan belgilash uchun dopaminli javob
Dopamin neyronlari vizual, eshitish va somatosensor stimullarni bashorat qiladigan mukofotdan so'ng faollashuvlarni ("qo'zg'alishlar") ko'rsatadi (Shakl (B shakl 1B) 1B) [31-33]. Javoblar sezgir usullardan va stimullarning fazoviy joylashuvidan qat'iy nazar, ta'sir qiluvchilardan esa qo'l, og'iz yoki ko'z harakatlaridan qat'iy nazar sodir bo'ladi.
Aktivatsiyalar monotonik tarzda [18] mukofoti ehtimoli bilan va suyuqlik miqdori (23) kabi katta miqdorda mukofotlanadi. Ammo, dopaminning javoblari, kutilgan qiymat bir xil bo'lgan [23] ekan, mukofot olish ehtimoli va kattaligi o'rtasida farq yo'q. Shunday qilib, aktivatsiyalar taxmin qilinadigan mukofotlar ehtimollik taqsimotlarining kutilayotgan qiymatini kodlash uchun paydo bo'ladi. Kutilgan qiymat shunchalik beqiyos tushuntirishdir va neyronal javoblardagi shovqin kutilgan (sub'ektiv) foyda bo'yicha xarakterlashni oldini oladi. Quyida ta'riflangan vaqtinchalik chegirmalar sub'ektiv kodlashni aniqlaydi va bu masala bo'yicha biroz yoritib berishi mumkin.
Javob kattaligi xatti-harakatlar reaktsiyasi vaqtining pasayishi bilan ortadi, bu dopamin reaktsiyasi hayvonning motivatsiyasiga sezgirligini ko'rsatmoqda [19]. Turli xil mukofot qiymatlari yoki kechikishlar orasidagi tanlovda, tanlov variantlarini taqdim etishga dopamin javoblari hayvonning kelajakda tanlangan mukofotini [34] yoki mavjud bo'lgan ikkita tanlov variantining eng yuqori mukofotini aks ettiradi [35].
O'qish davomida dopaminni mukofotga qo'shilish jarayoni izchil o'rganish tajribalari davomida asta-sekin kamayadi va rag'batlantiruvchi predmetni faollashtirish bir vaqtning o'zida rivojlanadi [36,37]. Konditsioner javobni olishni taqiqlash uchun sezgir bo'ladi, bu esa prognozdagi xatolarning konditsioner ogohlantirishlarga dopamin ta'sirini [27] qabul qilishda muhim ahamiyatga ega ekanligini ko'rsatmoqda. Reaktsiyani bashorat qilish uchun javob klubi samarali temporal farqni kuchaytirish modeli [38] o'qitish signallarining asosiy xususiyatlariga mos keladi. Javob siljishi oldingi vaqtinchalik farq modellari [27,38] ning ogohlantiruvchi-mukofot oralig'i bo'yicha prognostik xatolarning qayta taqsimlanishini o'z ichiga olmaydi, lekin original temporal farq modelida va original va yaqinroq vaqtinchalik farqlar ilovalarida [6,37,39] takrorlanadi.
Vaqtinchalik chegirmalarni ko'rsatuvchi sub'ektiv mukofot qiymatlari kodlash
Tanlov imtiyozlari bilan sub'ektiv mukofot qiymatini ob'ektiv o'lchash, mukofotlarning kechiktirilganda ularning ba'zi qiymatlarini yo'qotishini ko'rsatadi. Darhaqiqat, kalamushlar, kaptarlar, maymunlar va odamlar odatda katta daromadlar [40-42] bo'yicha ancha katta daromadni afzal ko'radi. Shunday qilib, mukofotning sub'ektiv qiymati, jismoniy mukofot va shunga qarab ob'ektiv mukofot qiymatlari bir xil bo'lsa ham, ortib boradigan vaqtni kechiktirish bilan ajralib turadi.
Erta va keyingi taqdirlashlar o'rtasidagi vaqtinchalik xatti-harakatlarning psixometrik o'lchovlari p = 0.5 bilan har bir tanlovni tanlash ehtimoli sifatida belgilanadigan tanlov befarqligiga qadar erta mukofotning kattaligini moslashtiradi. Shunday qilib, tanlov befarqligidan pastroq erta mukofot, keyingi mukofotning subyektiv qiymatini ko'rsatadi. Maymunklardagi so'nggi tajribamizda 4, 8 va 16-lar tomonidan kechiktiriladigan tanlovlar uchun befarqlik tanlovi 25 s [50] dan keyin mukofot bilan taqqoslaganda 75%, 2% va 43% bilan monotonik ravishda kamaydi. Kamayish hiperbolik diskontlash funktsiyasiga mos keladi.
Har bir kechikishdan keyin taqdim etiladigan mukofotning jismoniy miqdoriga qaramasdan, stimulyatsiyalarni bashorat qilish uchun dopaminli javoblar 2-dan 16-ga [25,43] -gacha bo'lgan mukofot kechikishlar bo'yicha monotonik tarzda kamayadi. Ushbu ma'lumotlar vaqtincha kechikishlar uyg'otishlarni oldindan ogohlantirish uchun dopamin ta'siriga ta'sir ko'rsatadi, chunki ular vaqtinchalik tanlovlar tomonidan baholangan subyektiv mukofot qiymatiga ta'sir qiladi. Qizig'i shundaki, dopaminning reaktsiyasini kechiktirish bilan pasayishi, mukofot pasayishi pastligi bilan ajralib turolmaydi. Ushbu o'xshashlik vaqtinchalik kechikishlar, mukofot qiymatidagi o'zgarishlar orqali dopaminning ta'siriga ta'sir ko'rsatadi. Shunday qilib, dopamin neyronlari uchun kechiktirilgan mukofotlar ularnikiga o'xshab ko'rinadi.
Shunday qilib, dopamin neyronlari kechiktirilgan mukofotlarning jismoniy, ob'ektiv qiymatidan ko'ra öznellikni kodlash kabi ko'rinadi. Foyda, mukofotning ob'ektiv qiymati emas, sub'ektiv jihatlar uchun o'lchov bo'lib hisobga olinsa, temporal diskontlash bilan javob kamayishi dopamin neyronlari kodi (ob'ektiv) qiymatdan ko'ra (sub'ektiv) foyda sifatida baholaydi. Keyinchalik tajribalar foydali kodni to'g'ridan-to'g'ri sinab ko'rishga yordam berishi mumkin.
Yomon uyg'otishga dopaminli javob
Havo puflamalari, gipertonik fiziologik eritma va elektr toki urishi kabi qo'zg'atuvchi ogohlantiruvchilar uyg'ongan hayvonlardagi dopamin neyronlarining ozgina qismida faollashtiruvchi ("qo'zg'atuvchi") javoblarni keltirib chiqaradi (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), va dopamin neyronlarning aksariyati o'z faoliyatida tushkunlikka tushgan yoki aversiv hodisalar ta'sirida bo'lmagan (Shakl (C1C-rasm). Mukofotlardan farqli o'laroq, havo puflamalari mukofotga xos bo'lgan ikki tomonlama prognoz xato javoblarini keltirib chiqarmaydi. ; bashorat qilish faqat aversiv aktivatsiyani modulyatsiya qiladi [1].
Anesteziya qilingan hayvonlarda ko'payib borayotgan stimulyatsiya ko'pincha sekin, faollashtiruvchi javoblar (50% [47], 18% [48], 17% [49], 14% [50]) va ko'pincha faollikdagi faolliklarni o'zgartiradi. Noprofessional tekshiruvlar dopamin neyronlarini yaxshiroq identifikatsiyalash bilan qayta tekshiruvlar anesteziya qilingan hayvonlarda [51] duchor bo'lgan dopaminning faollashuvining umumiy ko'rsatkichini tasdiqladi va midbrain [52] ning ventromedial tegmental sohasidagi dopamin neyronlariga tezda javob berdi.
Uyg'un maymunlarda stimulyatsiya bashorat qilingan havo pufasi dopamin neyronlarning ozchiliklarida faollashuvlarni va katta miqdorda dopamin neyronlari (11% [33], 13% [45], 37% [46]) depressiyalarini keltirib chiqaradi. Depressantlarning javoblari dopamin neyronlarning orttirilgan populyatsion reaktsiyalaridagi [33] ogohlantirish uchun bir necha faollikni bekor qiladi (qarang: Shakllar1C1C pastki, qora). Bir tekshiruvda konditsioner ogohlantiruvchi vosita havo pufiga o'xshash ko'plab neyronlarni (37% vs. 11% [46]) faollashtirgandi. Havo yostig'i bilan taqqoslanadigan roumingga nisbatan faollashtirilgan faollashuvlar sonining ko'payishi va faollashuv (tetiklanishning faollashuvi qanchalik tez-tez yuz berishi) yoki faollashtirilgan 11% dan 37% gacha neyronlar. Rag'batlantirish faollashmalari populyatsiyada havo pufaklari ehtimoli bilan ijobiy munosabatda bo'lishiga qaramasdan, ular alohida neyronlarda baholanmagan [46]. Aholi korrelyatsiyasi aholi ichidagi nisbatan kam sonli ijobiy neyronlardan kelib chiqishi mumkin va chinakam qo'rqinchli ogohlantirishlarni faollashtirish 11% ga nisbatan 37% ga yaqinroq bo'lishi mumkin. Boshqa bir tadqiqotda dopamin neuronlarining katta miqdori bir xil sensory modalitning ogohlantirilishini tasavvur qilish bilan tasodifiy almashinuvda taqdim etilganida (kvadrat shakl (1C1C pastki, kulrang) (65% [33]) taqdim etilganida shartli ogohlantiruvchi stimulyatorlarga fosik faollashuvlarni ko'rsatdi; (1%) (keyingi o'rinlarda 1XX11C pastki, qora) (XNUMX%) deb nomlanadi. Keyingi bobda ushbu ochilmagan aktivizatsiyalarning yuqumli va boshqa, noaniqlantirilmagan ogohlantirgichlarga asoslanishi mumkin bo'lgan omillarni ko'rib chiqamiz.
Ba'zi dopamin neyronlari yuqumli hodisalar bilan faollashsa-da, eng katta dopamin aktivatsiyasi mukofot bilan bog'liq. Boshqa usullar bilan olingan ma'lumotlar xuddi shunday xulosalarga olib keladi. Sichqoncha bo'ylab tezkor ko'rish voltammetri sichqonchani striatal dopaminning ajralib chiqishi va kondensatsiyalanishdan keyin stimulyatorni bashorat qilish uchun almashinuvini ko'rsatadi [53], bu dopamin neyronlarining impulsli reaktsiyasi striatal varikozlardan dopamin chiqarishga olib keladi. Dopamin o'sishining miqdori bir necha soniya davom etadi va shuning uchun elektrofizyolojik faollashishga eng yaqin bo'lgan barcha neyrokimyoviy usullarning eng qisqa muddati bo'ladi. Dopaminning ajralishi (sukroz) uchun ajralib turadi va jazo (quinina) [54] bilan amalga oshmaydi. Voltammetriya dopamin kontsentratsiyasining lokal ortalamlarini baholay olganda, xinin bilan o'lchangan relefning yo'qligi dopamin populasyon reaktsiyasida depressiyalar tomonidan bekor qilingan bir necha faollikni yashirishi mumkin [33]. Vivo jonli mikrodializda juda sezgir usullardan foydalangan holda, ishtahaning ogohlantirishidan so'ng dopaminning tarqalishini aniqlaydi [55].
Bu reaktsiya mikrodializ o'lchovlari vaqtida xamma javobni nisbatan 300-500 marta sekinroq bo'lishiga qaramasdan va presinaptsial ta'sirlarning dopamin salınmasına (56) ta'siri uchun etarli bo'lishi mumkin bo'lsa-da, bu ogohlantirishlar bilan faollashtirilgan bir nechta neyronlar tomonidan dopamin o'zgarishini aks ettirishi mumkin. . Dopamin neyronlarining portlashi to'xtab qolishi bir nechta ishtahani o'rganish vazifalarini buzadi, shuningdek havoni sovutish xavfini oshiradi [9]. Natijada past dopamin kontsentratsiyasining noaniq, umuman o'chirib tashlaydigan ta'siri aniqlanmagan bo'lsa, natijada ko'rsatilishi kerak bo'lgan dopaminli javoblarni o'rganish funktsiyasi nazarda tutiladi. Dopamin neyronlarning genetik jihatdan qo'shib qo'yilgan kanalroxtsin orqali optogenetik usullar bilan maxsus stimulyatsiyasi sichqonlarda Pavlovning joy tanlash imtiyozini keltirib chiqaradi [57]. Aksincha, dopamin stimulyatsiyasining aniq zararli ta'siri, ehtimol, joydan qochish ta'limini ishlab chiqardi. Ushbu natijalar ilgari lesionlashdan, elektrokimyoviy stimulyatsiya va giyohvandlikka qarshi ishlardan olingan dopamin tizimlarining global ijobiy mustahkamlash funktsiyasini tasdiqlaydi [1,2]. Biroq, bu dalillarga ko'ra, mukofot faqat dopamin tizimlarining yagona funktsiyasidir, yoki barcha mukofot funktsiyalari dopamin neuronlarini o'z ichiga oladi.
Fazik dopamin aktivlashtirishlari kodlashda emas
Rag'batlantirishlar jismoniy ahamiyatga ega bo'lganida (ogohlantirish) yoki kuchaytiruvchilar bilan bog'liq bo'lganida ('motivatsion' yoki 'affektiv' taniqli) ogohlantiruvchi va diqqatli reaktsiyalarni keltirib chiqarishi mumkin. Ko'zga ko'rinadigan stimullarga nisbatan xatti-harakatlar reaktsiyalari, mos ravishda, stimullarning jismoniy intensivligi va kuchaytirgichning qiymati bilan baholanadi. Jismoniy keskinlik umuman kuchaytirishga bog'liq emas va motivatsion salohiyat kuchlantiruvchilarning valentligiga (mukofot va jazo) bog'liq emas.
Jismoniy jihatdan sezilarli ogohlantirishlarga javob
Jismoniy jihatdan kuchli ingl. Va eshitish stimulyatori dopamin neuronlaridagi faollikni keltirib chiqaradi (shakl (1D) .1D). Ushbu javoblar stimulyatsiya yangiliklari [58-60] bilan kuchaytiriladi, ammo ogohlantirishlar etarli jismonan zich bo'lsa, bir necha oy davomida past darajadagi davom etadi. Javoblar stimulyatorning kattaligiga ko'ra baholanadi (4 ning [15-rasm]). Jismoniy shafqatsizlik jiddiy jismoniy zo'riqishida [45] boshlang'ich jazochilarga javoblarni qisman tushuntirib berishi mumkin. Ushbu javoblar ekologik ogohlantirishlarni keltirib chiqaradigan jismoniy diqqatni jalb qilish bilan bog'liq bo'lgan alohida dopamin ta'siriga ega bo'lishi mumkin yoki ular kuchli va yangi ogohlantirishlarning ijobiy rag'batlantiruvchi va mustahkamlovchi xususiyatlariga bog'liq bo'lishi mumkin.
Jismoniy jihatdan sezgir stimulyatorlarning faollashuvi, dopamin neuronlarining har qanday e'tiborni jalb qiluvchi voqea orqali faollashadigan umumiy tendentsiyasini aks ettirmaydi. Xususan, mukofotni bekor qilish, shartli inhibitorlar va ogohlantiruvchi ogohlantiruvchi kabi hodisalarni yuzaga keltiradigan boshqa kuchli e'tibor asosan depressiyalarni va kamdan-asl dopamin aktivatsiyalarini keltirib chiqaradi [14,29]. Shunday qilib, jismoniy jihatdan sezgir ogohlantirishlar bilan dopaminning faollashuvi umumiy ogohlantirish reaktsiyasini tashkil etmasligi mumkin. Mukofotga javob berish, mukofotning motivatsiya talablarini e'tiborga olmasligiga olib kelishi mumkin bo'lgan alohida javobdir.
Boshqa mukofotdan tashqari kodlash faollashmalari
Boshqa ogohlantirishlar, dopamin neyronlarida aktiv qiymatlarni mukofot qiymatini aniq kodlashsiz uyg'otadi. Ushbu faollashuvlar stimulni bashorat qilish uchun javoblardan kichikroq va qisqartiriladi va ko'pincha ogohlantirguvchilar unrewarded bo'lganda depressiyadan keyin keladi (shakl (Fig. 1E1E).
Dopamin neyronlari stimulyatsiya qilingan stimullar [27,29,32] bilan yolg'on tasodifiy o'zgarishlarda taqdim etilgan qo'zg'atuvchi qo'zg'aluvchilardan keyin faollikni ko'rsatadi. Aktivatsiya hollari xatti-harakatlarda muqobil va mukofotlangan rag'batlantiruvchilar soniga bog'liq; (25% -63% [27]) to'rtta vazifa ogohlantiruvchilardan uchtasini to'ldirganda tez-tez faollashuvlar tez-tez uchrab turadi va to'rtta vazifani ogohlantirgandan faqat bittasi (1% [29]) e'tiborsiz bo'lganda kam hollarda bo'ladi. Bu qaramlik javobning mutlaqo sezgir xususiyatiga qarshi turibdi.
Dopamin neyronlari turli xil kechikishlar [43] dan keyin sodir bo'lgan mukofotlarni prognozlash uchun stimulyatsiya qilish uchun juda stereotipli birinchi faollashtiruvchi komponentni namoyish etadi. Dastlabki faollashtirish mukofotni kechiktirish bilan juda oz farq qiladi va shuning uchun mukofot qiymatini tasdiqlamaydi. Aksincha, keyingi javob komponenti ortib borayotgan kechikishlar bilan kamayadi va shunday qilib (sub'ektiv) mukofot qiymatini (yuqoriga qarang).
Dopamin neyronlari rag'batlantiruvchi stimulyatorni belgilash bilan tasodifiy almashinishdagi shartli ogohlantiruvchi stimuldan keyin tez-tez faollashadi; faollashuvlar ko'pincha turli xil hissiy usullar (65% va 11% neyronlar [33]) foydalanilganda yo'qolib ketadi, bu esa aversiv bo'lmagan stimulyator qismlarini kodlashni nazarda tutadi. Noqulay va sezuvchan ogohlantiruvchi turli xil bloklarga ajralgan bo'lsa ham, dopamin neyronlari shartli qo'zg'aluvchan stimulyatorlar bilan sezilarli darajada faollashadi. Shu bilan birga, konditsioner stimulyatsiyaga nisbatan ko'proq tez-tez uchraydigan asosiy havo shamlariga (37% vs. 11% [46]) nisbatan ko'proq tez-tez faollashuvlar stimullarning va ehtimol qarshi bo'lmagan javob komponentlarining g'ayrioddiy munosabatini ko'rsatadi.
Ushbu turli xil dopamin aktivatsiyalarining sabablari umumlashma, psevdokontaj yoki motivatsion rag'batlantirishda mavjud bo'lishi mumkin. Boshlang'ichlik stimulyatsiya o'rtasidagi o'xshashliklardan kelib chiqadi. Ko'p holatlarda dopamin aktivatsiyalarini, ya'ni ularni stimulyatsiyani bashorat qilish uchun stimulyatorni oldindan ogohlantiruvchi predmetlar (shakl (shakl 1E1E chapda) [27,29,32] va boshlang'ich, yomon gradusli faollashtiruvchi komponentni belgilashda faollashtirilmaydi. (Shakl 1XNNMXXT) [1] [43] [1] [1] [33] [XNUMX]] [XNUMX] [XNUMX] [XNUMX] [XNUMX]] [XNUMX] .
Pseudo konditsionatsiya birlamchi reinforcer kontekstual fonni o'rnatgan va ushbu kontekstdagi har qanday voqeaga xos bo'lmagan xatti-harakatlarni keltirib chiqarganda paydo bo'lishi mumkin [61]. Dopamin neuronlari mukofotga juda sezgir bo'lganligi sababli, baxtli kontekst bu erda va shu tariqa neyronlarning aktivlashuviga ta'sir etuvchi ogohlantirishlarga psevdokonditsionatsiyani keltirib chiqarishi mumkin. Ushbu mexanizm, stimulyatsiya qilingan stimulyator bilan tasodifiy o'zgarishlarda yoki alohida sinov bloklarida [46] taqdim etilishidan qat'i nazar, hayvonning kundalik mukofoti oladigan laboratoriya kabi, baxtli kontekstda yuzaga keladigan qutqaruvchi bo'lmagan stimullarga neyronal faollashtirishga asoslangan bo'lishi mumkin. Pseudokonditioning [27,29,32] uyg'unlashtirilmagan qo'zg'aluvchan [33,45,46], aktivlarni ogohlantiruvchi ogohlantiruvchi [43] va aktivlashtiruvchi boshlang'ich, yomonlashtirilgan ogohlantiruvchi ogohlantirgandan so'ng [XNUMX] ogohlantiruvchi predmetni belgilash uchun aktivlashtiruvchi elementni tushuntirishi mumkin. Shunday qilib, psevdokontajlanish shartli rag'batlantiruvchi emas, asosiy mukofotdan kelib chiqadi va dopaminning aktivlashuviga ta'sirchan tarkibda yuzaga keladigan har ikkala shartli ogohlantirish va asosiy nazoratchilarga ta'sir qilishi mumkin.
Dopamin neyronlari [15,58-60] (yuqoriga qarang) jiddiy jismoniy zo'riqish bilan ogohlantiruvchi bo'lsa-da, mukofotni to'lamaydigan dopamin aktivatsiyalarini keltirib chiqaradigan ogohlantirishlar odatda kichik va jismonan juda aniq emas. Motivasiya qobiliyati - mukofotlar va jazolash uchun umumiy bo'lgan tushunchalar va o'zlarining aktivlarini xNUMX-10% dopamin neyronlarida mukofotlash va jazolashga tushuntirish. Kuchsizlashtiruvchi stimullar psixosensitivatsiya bilan mukofotlash va jazolashga yaqinligi sababli motivatsiyaga bog'liq bo'lishi mumkin. Biroq, dopamin aktivatsiyasi jazodan ko'ra mukofotga juda sezgir bo'lib tuyuladi. Motivatsion muomala har ikkala nazoratga nisbatan sezuvchanlikni o'z ichiga olganligi sababli, psevdokontaj yo'li bilan erishilgan motivatsion g'ayriqonuniy mukofot dopaminning faollashtirilmasligini yaxshi tushuntirmasligi mumkin.
Birgalikda olingan mukofot dopaminning ko'p miqdorda kodlashlari rag'batlantirishning umumlashtirilishi yoki, ayniqsa, psevdokontajga bog'liq bo'lishi mumkin. Shunga qaramay, bu omillar inkor etilganda cheklanmagan nazorat stimullari va cheklangan miqdordagi dopamin neyronlarning asosiy va shartli qo'zg'atadigan qo'zg'atuvchilari uchun haqiqiy faollik ko'rinadi. Bunday javoblarni baholashda keyingi tajribalar yaxshi nazoratni qo'llashi va barcha kontekstual mukofot tashkilotlarini laboratoriyada ogohlantirishlar bilan to'liq bartaraf etishi kerak.
No-mukofot kodlash faollashuvlarining paydo bo'lishini hisobga olsak, hayvonning dopaminli javobga asoslanmagan, unvondagi ogohlantiruvchi ta'sirlardan qanday ajralib turishini so'rash oqilona. Juda tez, boshlang'ich, psevdokontsion va yomon ajratuvchi javob komponenti hayvonga potentsial mukofotni tezda aniqlashga yordam beradigan tezkor, odatiy xatti-harakatlarga yordam berish uchun vaqtinchalik bonusni taqdim etishi mumkin [62]. Buning aksiga, darhol quyidagi javob komponenti samaradorligi [43] va uning tez-tez tushib ketganligi tufayli [27,29,32,33] (shakl (Figure 1E) .1E) bilan baholangan aktivizatsiya orqali voqea haqiqiy xususiyatini aniqlaydi. Bundan tashqari, dopamin tizimi nafaqat miya strukturasining kodlash mukofotini emas, balki orbitofrontal korteks, striatum va amigdala singari boshqa neyronal tizimlar uchun qo'shimcha kamsituvchi ma'lumotlar ham berishi mumkin.
Dopamin mukofot riski signali
Agar mukofotlash belgisi mukofoti ehtimoli taqsimotining standart og'ishmasidan kattaligini bildiradigan o'rtacha mukofotni bashorat qilish xatosini aks ettirsa va standart og'ishlikni xavf o'lchovi deb hisoblasak, xavf uchun bevosita neyronal signal bormi bo'lishi mumkin? Sovrin ehtimoli 0 dan 1gacha o'zgaradi va mukofotlar kattaligi doimiy ravishda saqlanib qoladi, o'rtacha mukofot qiymati ehtimollik bilan monotonik ravishda oshiriladi, lekin xavf miqdori p = 0.5da teskari tomonga o'zgaruvchi U funktsiyasini ta'qib qiladi (shakl (X, NUMX, ichki) 2,2, sovrinni olish imkoniyati bor, chunki mukofotni boy bermaslik kerak, shuning uchun p = 0.5dan yuqori va pastroq ehtimolliklar daromad va yo'qotishlarni yanada aniqroq qiladi va shuning uchun past xavf bilan bog'liq.
Shakl 2
Xatar bilan bog'liq barqaror faollashtirish. Xavfga javob, stimul (mukofot) oralig'ida (o'q), keyinchalik fazaga, stimulga (uchburchakka) bog'liq qiymatga bog'liq aktivizatsiya paytida yuzaga keladi. Ichki qism, o'ng tomonda, xavf (ordinat) o'zgarib turishini ko'rsatadi (batafsil…)
Dopamin neyronlarning uchdan bir qismi nisbatan sekin, mo''tadil, statistik jihatdan ahamiyatli faollashuvni namoyon etadi, bu esa rag'batlantiruvchi va mukofotni belgilaydigan mukofot o'rtasidagi vaqt oralig'ida asta-sekin o'sib boradi; bu javob monotonik ravishda xavf bilan farq qiladi (shakl (Fig2) 2) [18]. Aktivizatsiya alohida sinovlarda sodir bo'ladi va mukofotni mukofotni oldindan ogohlantiruvchi mukofotga qaytaradigan prognozli xato javobini tashkil etmaydi. Aktivizatsiya turli xil, nol bo'lmagan mukofot magnitlarining ikkilik taqsimotlari ishlatilganda standart og'ish yoki o'zgarish bilan monotonik ravishda oshiriladi. Shunday qilib, standart og'ish yoki farqlanish dopamin neyronlari tomonidan kodlangan xavf uchun munosib choralar bo'lib ko'rinadi. Xavf bilan bog'liq bo'lgan faollashtirishlar ko'proq vaqtinchalik (1 s), sekinroq vaqt kurslari va pasayishlarga ega bo'lib, ular ogohlantirish va mukofotlar uchun mukofot qiymatlariga javob beradi.
Dopamin varikozliklarida past darajadagi dopamin salınımının xavfi, kodlash mukofot qiymatining ko'proq fazlı aktivasyonlarına ko'ra, xavfi past bo'lishi mumkin. Ehtimol, xavfli signal orqali indikatsiya qilingan nisbatan past dopamin kontsentratsiyasi D2 retseptorlarini aktivlashtirishi mumkin, bu esa ko'pchilikka yaqin D1 retseptorlari [63] emas, balki yuqori affinity holatida bo'ladi. Buning aksincha, yuqori fazli mukofot qiymatini javob, D1 retseptorlarini qisman past affinity holatida qisqacha faollashtirish uchun ko'proq dopamin kontsentratsiyasiga olib kelishi mumkin. Shunday qilib, ikkita signal signalizatsiya faollashtirilgan turli dopamin retseptorlari asosida postsinaptik neyronlar bilan ajralib turishi mumkin. Bundan tashqari, dopamin qiymatlari va xavf signallari birgalikda DPNUMX va D1 retseptorlarining deyarli bir vaqtning o'zida faollashishiga olib keladi va ko'p normal va klinik holatlarda etarli dopaminga bog'liq funktsiyalar uchun zarurdir.
Dopamin xavf signallari bir nechta funktsiyaga ega bo'lishi mumkin. Birinchidan, mukofotni [23] so'ng darhol standart og'ish orqali bashorat qilishning xato javobini darhol baholashga ta'sir qilishi mumkin. Ikkinchidan, bu darhol bashorat qilish xatosi javobidan kelib chiqadigan dopaminning tarqalishini oshirishi mumkin. Xatarlar diqqatni keltirib chiqarmagani uchun potentsial ta'lim signalining xavf bilan yaxshilanishi, ta'limdagi e'tiborni o'rgatishning o'rni bilan mos keladi [64,65]. Uchinchidan, mukofot xatarini baholashda ishtirok etgan miya tuzilmalariga kirishni ta'minlaydi. To'rtinchidan, moliyaviy xulosani nazariyasidagi o'rtacha farqlash yondashuviga asoslanib, riskga sezgir shaxslarning kutilgan foydasi haqida muhim ma'lumotlarni taqdim etish uchun iqtisodiy kutilgan qiymat signallari bilan birlashtirilishi mumkin [66]. Biroq, taxminan 1 soniyasining kechiktirilishi uzatish uchun noaniqlikdagi tanlovlarda oniy rol o'ynashi juda uzoq.
Qiziqarli manfaatlar
Muallif, uning raqobatbardosh manfaatlarga ega emasligini e'lon qiladi.
Mualliflar hissasi
WS qog'ozni yozdi.
Rahmatlar
Ushbu tahlil Norvegiyaning Osloda, Fevral 2010 da Diqqat etishmasligi Hyperactivity Disorder (ADHD) bo'yicha simpoziumga bag'ishlandi. Ishlarimiz Shveytsariya Milliy Ilmiy Jamg'armasi, Inson Frontiers Ilmiy Dasturi va boshqa grant va hamkorlik agentliklari tomonidan qo'llab-quvvatlandi.
Manbalar
1. Wise RA, Rompre PP. Miya dopamin va mukofot. Ann Rev Psychol. 1989; 40: 191-225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Narkomaniya uchun neyronli kuchlanish tizimlari: harakatlardan tortib to majburiyatlarga qadar. Nat Neurosci. 2005; 8: 1481-1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]
3. Bernoulli D. Misol uchun, bu turdagi natija. Institut ilmiy-tadqiqot instituti Petropolitanae (ilmiy tadqiqotlar Sankt-Peterburg) 1738; 5: 175-192. Tarjima qilingan: Risklarni o'lchash bo'yicha yangi nazariyaning namoyishi. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Visual korteksdagi prognozli kodlash: ba'zi bir klassik qabul qiluvchi-maydon effektlarining funksional sharhlanishi. Nat Neurosci. 1999; 2: 79-87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]
5. Rescorla RA, Wagner AR. In: Klassik Shartnoma II: Mavjud tadqiqot va nazariya. Qora AH, Prokasy WF, muharriri. Nyu-York: Appleton Century Crofts; 1972. Pavlovning konditsionerlik nazariyasi: takomillashtirish va nochorlanish samaradorligining o'zgarishi; 64-99-sahif.
6. Sutton RS, Barto AG. Adaptiv tarmoqlarning zamonaviy nazariyasiga to'g'ri keladi: kutish va prognoz. Psychol Rev. 1981; 88: 135-170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]
7. Kamin LJ. In: Instrumental Learning ning asosiy masalalari. Mackintosh NJ, Honig VK, muharriri. Halifax: Dalhousie University Press; 1969. Selektiv aloqalar va shart-sharoitlar; 42-64-sahif.
8. Blythe SN, Atherton JF, Bevan MD. Dendritik AMPA va NMDA retseptorlarining sinapsisli faollashuvi asosan in vitro nigra dopamin neyronlarida vaqtincha yuqori chastotali otishni yaratadi. J Neurophysiol. 2007; 97: 2837-2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]
9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini KA, Phillips PEM, Palmiter RD. Dopamin neyronlari yordamida NMDARga qarama-qarshi portlashning uzilishi fosik dopaminga bog'liq bo'lgan xulq-atvorni tanlab beradi. Proc Natl Acad Sci. 2009; 106: 7281-7288. doi: 10.1073 / pnas.0813415106. [PMC bepul maqola] [PubMed] [Cross Ref]
10. Harnett MT, Bernier BE, Ahn K.C., Morikawa H. Midbrain Dopamin Neuronlarida NMDA Retseptorlari Vasiylanadigan Transmisyonun Burst-Timing-Depozit Plastisite. Neyron. 2009; 62: 826-838. doi: 10.1016 / j.neuron.2009.05.011. [PMC bepul maqola] [PubMed] [Cross Ref]
11. Jones S, Bonci A. Synaptic plastisite va giyohvandlik. Curr Opin Pharmacol. 2005; 5: 20-25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]
12. Kauer JA, Malenka RC. Synaptic plastisite va giyohvandlik. Nat Rev Neurosci. 2007; 8: 844-858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]
13. Ljungberg T, Apicella P, Schultz W. Miya midbrain dopamin neyronlarining kechiktirilgan o'zgarishlarning ishlashi davomida javoblari. Brain Res. 1991; 586: 337-341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz Vt, Apicella P, Ljungberg T. Miya dopamin neyronlarining javob berishlari va kechiktirilgan javob topshiriqlarini o'rganishning navbatdagi bosqichlarida ogohlantiruvchi vositalar. J Neurosci. 1993; 13: 900-913. [PubMed]
15. Schultz V. Dopamin neuronlarining prognozli mukofotlash belgisi. J Neurophysiol. 1998; 80: 1-27. [PubMed]
16. Schultz Vt, Dayan R, Montague RR. Bashorat va mukofot neytral substrat. Ilmiy. 1997; 275: 1593-1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]
17. Hollerman JR, Schultz W. Dopamin neuronlari ta'lim vaqtida mukofotni vaqtinchalik prognozlashda xatolik haqida xabar beradi. Tabiat neyrozlari. 1998; 1: 304-309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]
18. Fiorillo CD, Tobler PN, Schultz W. Dopamin neyronlari tomonidan mukofotlash ehtimoli va noaniqlikning diskret kodlashi. Ilmiy. 2003; 299: 1898-1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]
19. Satoh T, Nakai S, Sato T, Kimura M. Dopamin neyronlarning motivatsiyasi va natijasini kodlash bilan bog'liq. J Neurosci. 2003; 23: 9913-9923. [PubMed]
20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Uchrashuvda mbb dopamin va striatal tonik faol neyronlarning aniq xabarlari mavjud. Neyron. 2004; 43: 133-143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamin neuronlari kontekstga qaramli prognozlash xatosini ifodalaydi. Neyron. 2004; 41: 269-280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]
22. Bayer XM, Glimcher PW. Midbrain dopamin neyronlari kantitativ mukofotni kiritish xato signalini kodlaydi. Neyron. 2005; 47: 129-141. doi: 10.1016 / j.neuron.2005.05.020. [PMC bepul maqola] [PubMed] [Cross Ref]
23. Tobler PN, Fiorillo CD, Schultz V. Dopamin neyronlari tomonidan mukofot qiymatini moslashtirish. Ilmiy. 2005; 307: 1642-1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Inson aqliy nigra neuronlari kutilmagan moliyaviy natijalarni kodlaydi. Ilmiy. 2009; 323: 1496-1499. doi: 10.1126 / science.1167342. [PMC bepul maqola] [PubMed] [Cross Ref]
25. Fiorillo CD, Newsome WT, Schultz V. Dopamin neyronlarida mukofotni prognozlashning vaqtinchalik aniqligi. Nat Neurosci. 2008; 11: 966-973. doi: 10.1038 / nn.2159.
26. Bayer XM, Lau B, Glimcher PW. Uyg'un primatda dopamin neyron piyozlari ko'rsatkichlari. J Neurophysiol. 2007; 98: 1428-1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]
27. Waelti P, Dikkinson A, Schultz V. Dopaminning javoblari rasmiy ta'lim nazariyasining asosiy taxminlariga mos keladi. Tabiat. 2001; 412: 43-48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]
28. Rescorla RA. Pavlovning shartli taqiqlanishi. Psychol Bull. 1969; 72: 77-94. doi: 10.1037 / h0027760.
29. Tobler PN, Dikkinson A, Schultz V. Konditsioner inhibisyon paradigmasida dopamin neyronlari tomonidan kutilgan mukofotni bekor qilish. J Neurosci. 2003; 23: 10402-10410. [PubMed]
30. Preuschoff, Bossaerts P. mukofoti o'rganish nazariyasiga kiritish tahlikasini kiritish. Ann NY Acad Sci. 2007; 1104: 135-146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]
31. Romo R., Shultz V. Maymunj midbrainining dopamin neyronlari: O'z-o'zidan boshlangan qo'l harakatlarida faol teginishga javob berish ehtimoli. J Neurophysiol. 1990; 63: 592-606. [PubMed]
32. Shultz V, Romo R. Maymun midbrenasining dopamin neyronlari: Favqulodda xatti-harakatlarga ta'sir ko'rsatadigan ogohlantirishlarga javob berish ehtimoli. J Neurophysiol. 1990; 63: 607-624. [PubMed]
33. Mirenowicz J, Schultz W. O'rtacha miya dopamin neyronlarining afzalliklarga ega stimulga emas, balki appetit bilan faollashishi. Tabiat. 1996; 379: 449-451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain dopamin neuronlari kelgusidagi harakatlar uchun qarorlarni kodlaydi. Nat Neurosci. 2006; 9: 1057-1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]
35. Roesch MR, Calu DJ, Schoenbaum G. Dopamin neyronlari faralarni turli xil kechiktirilgan yoki kattalikdagi hosilalar orasida qaror qabul qilishda yaxshiroq variantni kodlaydi. Nat Neurosci. 2007; 10: 1615-1624. doi: 10.1038 / nn2013. [PMC bepul maqola] [PubMed] [Cross Ref]
36. Takikawa Y, Kawagoe R, Hikosaka O. Sokcadlarning qisqa va uzoq muddatli muvofiqlashtirishda midbrain dopamin neyronlarining rolini joylashtirish-mukofotlash uchun mumkin bo'lgan rol. J Neurophysiol. 2004; 92: 2520-2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]
37. PAN WX, Shmidt R, Vickens JR, Hyland BI. Dopamin hujayralari klassik konditsionerlik davrida prognozli hodisalarga javob beradi: mukofot-o'rganish tarmog'idagi muvofiqlik belgilariga dalillar. J Neurosci. 2005; 25: 6235-6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]
38. Montague PR, Dayan R, Sejnowski TJ. Predicted Hebbian o'rganishga asoslangan mezencephalic dopamin tizimlari uchun asos. J Neurosci. 1996; 16: 1936-1947. [PubMed]
39. Suri R., Schultz V. Dopaminga o'xshash mustahkamlash signaliga ega bo'lgan neyron tarmoq, bu bo'shliqqa kechiktirilgan javob berish vazifasini o'rganadi. Neuroscience. 1999; 91: 871-890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]
40. Ainslie G. Maxsus yutuqlar: impulsivlik va impulsni nazorat qilishning xatti-harakatlar nazariyasi. Psy Bull. 1975; 82: 463-496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Kuchaytirishni kechiktirishni sozlash: kabutarlar va odamlarda tanlashni taqqoslash. J Exp Psychol Animatsiya Behav jarayoni. 1988; 14: 105-117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]
42. Richards JB, Mitchell Sh, de Wit H, Seiden LS. Sichqonchalarda tartibga solish miqdori bo'yicha chegirmali funktsiyalarni aniqlash. J Exp Anal Behav. 1997; 67: 353-366. doi: 10.1901 / jeab.1997.67-353. [PMC bepul maqola] [PubMed] [Cross Ref]
43. Kobayashi S, Schultz V. Dopamin neyronlarining javoblariga mukofotni kechiktirishning ta'siri. J Neurosci. 2008; 28: 7837-7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]
44. Guarraci FA, Kapp BS. Uyqudali quyonda differentsial pavlitsion qo'rqinchli sharoitda ventral tegmental soha dopaminerjik neyronlarning elektrofizyologik xarakteristikasi. Behav Brain Res. 1999; 99: 169-179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]
45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminergik neyronlar va striatal kolinergik internoronlar turli xil mumtoz konditsionerlik sinovlari turli davrlarida mukofot va hodisalar o'rtasidagi farqni aniqlaydi. J Neurosci. 2008; 28: 1673-11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. Ikkita dopamin neyroni ijobiy va salbiy motivatsion signallarni o'ziga xos tarzda etkazib beradi. Tabiat. 2009; 459: 837-841. doi: 10.1038 / tabiat08028. [PMC bepul maqola] [PubMed] [Cross Ref]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Etarli ogohlantiruvchilar dopamin (OA) neyronlarining bo'shatish tezligini o'zgartiradi: asosiy nigrada ikkita funktsional turdagi VU hujayralari uchun dalillar. Brain Res. 1980; 189: 544-549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]
48. Mantz J, Thierry AM, Glowinski J. Mezokortikal va mezolimbik dopamin neyronlarning bo'shatish tezligiga zaharli quyruqning siqib chiqishi ta'siri. Mesokortikal tizimning selektiv faollashuvi. Brain Res. 1989; 476: 377-381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]
49. Shultz V, Romo R. Nifrostriatal dopamin neuronlarning behush maymunlarda yuqori intensiv somatosensor stimulyatsiyaga ta'siri. J Neurophysiol. 1987; 57: 201-217. [PubMed]
50. Coizet V, Dommett EJ, Redgrave R, Overton PG. Midbran dopaminerjik neyronlarning noozitseptiv javoblari ratning ustki kollikuli tomonidan modulyatsiya qilinadi. Neuroscience. 2006; 139: 1479-1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]
51. Jigarrang MTS, Henni R, Bolam JP, Magill PJ. Neyrokimyasal jihatdan heterogenli dopaminerjik neyronlarning migratsion holatdagi o'z-o'zidan va boshqariladigan o'zgarishlarida asosiy nigrada faoliyati. J Neurosci. 2009; 29: 2915-2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]
52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Ventral VTA dopamin neyronlarini zararli stimulyatsiyalar orqali fasik uyg'otish. Proc Natl Acad Sci AQSh. 2009; 106: 4894-4899. doi: 10.1073 / pnas.0811507106. [PMC bepul maqola] [PubMed] [Cross Ref]
53. Kun JJ, Roitman MF, Wightman RM, Carelli RM. Assotsiativ ta'lim vositasi yadro gabaritlarida dopamin signalizatsiya jarayonida dinamik o'zgarishlarni amalga oshiradi. Nat Neurosci. 2007; 10: 1020-1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Nucleus accumbens-da real vaqtda kimyoviy reaktsiyalar foydali va ogohlantiruvchi ruxsatlardan ajralib turadi. Nat Neurosci. 2008; 11: 1376-1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]
55. Yosh AMJ. Konditsiz va shartli ogohlantiruvchi ogohlantirishlarga javoban yadro akumbensida hujayra tashqari dopamin miqdorini oshirish: kalamushlarda 1 min mikrodializ yordamida tadqiqotlar. J Neurosci Meth. 2004; 138: 57-63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Shultz V. Turli xil vaqt kurslarida ko'p dopamin funktsiyalari. Ann Rev Neurosci. 2007; 30: 259-288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]
57. Dopaminerjik neyronlarda Tsay HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fasichning tutashuvi davolovchi sharoit uchun etarli bo'ladi. Ilmiy. 2009; 324: 1080-1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]
58. Strecker RE, Jacobs BL. Substantia nigra dopaminergik birlik faoliyatida mushuklar: Arzonning o'z-o'zidan tushib ketishi va hissiyotlarni uyg'otadigan faoliyatiga ta'siri. Brain Res. 1985; 361: 339-350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]
59. Ljungberg T, Apicella P, Schultz W. Xulqli reaktsiyalarni o'rganishda maymun dopamin neyronlarining javoblari. J Neurophysiol. 1992; 67: 145-163. [PubMed]
60. Horvitz JK, Styuart T, Jacobs BL. Ventral tegmental dopamin neyronlarining burst faolligi uyg'un mushukning hissiy ogohlantirishi bilan bog'liq. Brain Res. 1997; 759: 251-258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]
61. Sheafor PJ. Quyonning psixoseksionlashgan jag' harakati kontekstual ahamiyatga ega bo'lgan narsalarga bog'liq bo'lgan uyushmalarni aks ettiradi. J Exp Psychol: Anjiyo Behav jild. 1975; 104: 245-260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamin: umumlashtirish va bonuslar. Neural Networks. 2002; 15: 549-559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]
63. Richfield EK, Pennney J.B., Young AB. Sichqoncha markaziy asab tizimida dopamin D1 va D2 retseptorlari orasidagi anatomik va afinaviy holatni taqqoslash. Neuroscience. 1989; 30: 767-777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]
64. Mackintosh NJ. E'tibor nazariyasi: kuchlanish bilan rag'batlanuvchanlikning o'zgaruvchanligi. Psychol Rev. 1975; 82: 276-298. doi: 10.1037 / h0076778.
65. Pearce JM, Hall G. Pavlovning konditsionerligi uchun model: shartli, ammo shartsiz ogohlantiruvchilarning samaradorligini o'zgartirish. Psychol Rev. 1980; 87: 532-552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]
66. Levy X, Markovits HM. O'rta va farqning funktsiyasi bilan kutilgan foyda. Am Econ Rev. 1979; 69: 308-317.
;