Вольфрам Шульц 1
Функція мозку Behav. 2010; 6: 24.
Опубліковано в мережі 2010 Квітень 23. doi: 10.1186 / 1744-9081-6-24.
ПОЛЬНЕ ВИВЧЕННЯ: Дофамінові сигнали для корисної вартості та основних ризиків та останні дані
1відділ фізіології, розвитку та нейронауки, Кембриджський університет, Даунінг-Стріт, Кембридж CB2 3DY, Великобританія
Відповідний автор.
Вольфрам Шульц: [захищено електронною поштою]
абстрактний
фон
Попередні дослідження ураження, електричного самостимуляції та наркоманії дозволяють припустити, що дофамінові системи середнього мозку є частиною системи винагород мозку. Цей огляд дає оновлений огляд основних сигналів нейронів дофаміну до стимулів навколишнього середовища.
Методи
В описаних експериментах використовувались стандартні поведінкові та нейрофізіологічні методи для реєстрації активності одиночних дофамінових нейронів у мавпах, що пробуджуються, під час конкретних поведінкових завдань.
результати
Нейрони дофаміну виявляють фазову активацію до зовнішніх подразників. Сигнал відображає нагороду, фізичну виразність, ризик та покарання у порядку зменшення часток реагуючих нейронів. Очікувана цінність винагороди є ключовою змінною рішення для економічного вибору. Відповідь на винагороду кодує значення винагороди, ймовірність та їх підсумований продукт, очікуване значення. Значення нагороди коду нейронів, оскільки воно відрізняється від прогнозування, таким чином виконуючи основну вимогу до сигналу викладання двосторонньої помилки прогнозування, постульованого теорією навчання. Ця відповідь масштабується в одиницях стандартного відхилення. На противагу цьому, порівняно небагато дофамінових нейронів демонструють фазову активацію, яка слідує за карателями та умовно-відвертими подразниками, що говорить про відсутність взаємозв'язку реакції на винагороду із загальною увагою та збудженням. Великі пропорції нейронів дофаміну також активуються інтенсивними фізично яскравими подразниками. Ця реакція посилюється, коли стимули є новими; воно, схоже, відрізняється від сигналу значення винагороди. Нейрони дофаміну виявляють також неспецифічну активацію до невідроджувальних стимулів, які, можливо, зумовлені генералізацією аналогічними подразниками та псевдокондиціонуванням первинними винагородами. Ці активізації коротші, ніж відповіді на винагороду, і часто супроводжуються депресією активності. Окремий, повільніший дофаміновий сигнал інформує про ризик, ще одну важливу змінну рішення. Відповідь на помилку прогнозування відбувається лише з винагородою; вона масштабується ризиком передбачуваної винагороди.
Висновки
Нейрофізіологічні дослідження виявляють фазові дофамінові сигнали, які передають інформацію, пов'язану переважно, але не виключно, з винагородою. Не будучи повністю гомогенним, дофаміновий сигнал є більш обмеженим і стереотипним, ніж нейрональна активність у більшості інших структур мозку, що беруть участь у цілеспрямованій поведінці.
фон
Результати досліджень пошкоджень та психофармакологічних досліджень свідчать про широкий спектр поведінкових функцій для дофамінових систем середнього мозку. Ключове питання полягає в тому, яка з цих багатьох функцій активно кодується фазовим дофаміновим сигналом, сумісним з швидкими нейронними механізмами? Хороші підказки походять від наркоманії та електричного самостимуляції, що дозволяє припустити, що активність дофаміну має корисний ефект і наближає ефекти [1,2].
Ми можемо визначити винагороду як предмети чи події, що породжують підхідну та споживачу поведінку, виробляють навчання такої поведінки, представляють позитивні результати економічних рішень та залучають позитивні емоції та гедонічні почуття. Нагороди мають вирішальне значення для виживання особистості та генів та підтримують елементарні процеси, такі як пиття, їжа та розмноження. Це поведінкове визначення приписує функцію винагороди також деяким неаліментарним та несексуальним особам, включаючи гроші, технічні артефакти, атрибути естетичного стимулу та психічні події. Винагорода залучає агентів до такої різноманітної поведінки, як наїдання та торгування на фондових ринках.
Основні поняття
Нагороди мають конкретну величину і відбуваються з певною ймовірністю. Агенти прагнуть оптимізувати вибір між варіантами, значення яких визначаються видом об'єкта вибору та його величиною та ймовірністю [3]. Тому винагороди можуть бути адекватно описані розподілом ймовірностей значень винагороди. В ідеальному світі ці розподіли виконують функцію Гауса, екстремальні винагороди трапляються рідше, ніж проміжні результати. Експериментальні тести часто використовують двійкові розподіли ймовірностей з рівноправними значеннями (кожне значення винагороди відбувається при p = 0.5). Гауссові та двійкові розподіли ймовірностей повністю описуються математичним очікуваним значенням (перший момент розподілу ймовірностей) та дисперсіями або відхиленнями значень від середнього, а саме (очікуваною) дисперсією (другий момент) або (очікуваним) стандартним відхиленням (квадратний корінь дисперсії). Відхилення та стандартне відхилення часто розглядаються як показники ризику. У поведінковій економіці термін "ризик" позначає форму невизначеності, при якій розподіл ймовірностей відомий, тоді як "невизначеність" вказує на неповне знання ймовірностей і часто називається просто "невизначеністю". Ризик відноситься до шансів на перемогу чи програш, а не до більш вузького, здорового глузду асоціації з програшем.
Прогнози мають принципове значення для прийняття обґрунтованого рішення шляхом надання заздалегідь відомостей про доступні варіанти вибору, на відміну від здогадів, які виникають, коли результати невідомі. Оскільки винагорода може бути кількісно визначена розподілом вартості ймовірності, прогнози винагороди визначають очікуване значення та (очікуване) відхилення або стандартне відхилення розподілу.
Еволюційний тиск сприяє енергоефективній обробці інформації. Одне потенційне рішення - зберігати прогнози щодо майбутніх подій у вищих центрах мозку та обчислювати в нижчих центрах мозку різницю між новою інформацією про навколишнє середовище та збереженим прогнозом. Невідповідність фактичної події та її передбачення називається помилкою передбачення події. В ногу з мінливою екологічною ситуацією вищими мозковими центрами буде просто пов'язане оновлення прогнозів з меншою кількістю інформації, що містить і менше споживання енергії помилок прогнозування, а не обробка повної периферійної інформації щоразу, коли одна дрібниця зміниться [4]. Таким чином, вищі мозкові центри мають доступ до повної інформації про зовнішній світ для сприйняття, рішень та поведінкових реакцій за набагато менших витрат на енергію. Ця основна властивість передбачень призводить до спостережуваного явища навчання, визначеного змінами в поведінці на основі оновлених прогнозів.
Теорія навчання тварин та ефективні моделі підсилення часових різниць постулюють, що помилки прогнозування результатів є вирішальними для павловського та оперантного кондиціонування [5,6]. Сучасні погляди осмислюють павловське навчання як будь-яку форму набуття передбачень, що призводить до змінених вегетативних реакцій або поперечно-смугастого скорочення м’язів, якщо результат не залежить від поведінкової реакції. Таким чином, павловські прогнози винагороди передають інформацію не лише про величину винагороди (очікувану вартість), але й про ризик (дисперсію) майбутніх винагород, що становить важливе продовження концепції, запропонованої Павловим сто років тому. Важливість помилок прогнозування заснована на блокувальному ефекті Каміна [7], який демонструє, що навчання та згасання просуваються лише настільки, наскільки підсилювач кращий чи гірший, ніж передбачався; навчання поступово сповільнюється, оскільки передбачення асимптотично наближається до значення підкріплювача.
Відповідь дофаміну на прийом нагороди
Більшість нейронів дофаміну середнього мозку (75-80%) демонструють досить стереотипні, поетапні активації із затримками <100 мс та тривалістю <200 мс після наступних непередбачуваних нагород за їжу та рідину (рисунок (Рисунок 1А) .1А). Ця реакція на сплеск залежить від активації та пластичності глутаматергічних рецепторів NMDA та AMPA, розташованих на нейронах дофаміну [8-12]. Сплеск має вирішальне значення для вивчення поведінки таких апетитних завдань, як уподобання місця і вибір Т-лабіринту для винагороди за їжу чи кокаїн та для умовних реакцій страху [9].
малюнок 1
Фазові активації нейрофізіологічної імпульсної активності нейронів дофаміну. В: Фазові активації після первинних нагород. Б: Фазові активації після умовних стимулів, що передбачають винагороду. C: Вгорі: Відсутність фазової активації після первинної (більше…)
Кодування помилок прогнозування помилок
Здається, відповідь на дофамін на доставку винагороди кодує помилку передбачення; винагорода, яка краща за прогнозовану, викликає активацію (позитивна помилка передбачення), повністю передбачена винагорода не викликає відповіді, а винагорода, яка гірша за прогнозовану, викликає депресію (негативна помилка) [13-24]. Таким чином, відповідь на дофамін повністю реалізує найважливіший термін моделі навчання Рескорла-Вагнера і дуже нагадує навчальний сигнал ефективних моделей навчання з підсиленням часових різниць [6,23].
Відповідь на помилку кількісно змінюється з різницею між отриманим значенням винагороди та очікуваним значенням винагороди [18-23]. Відповідь на помилку прогнозування чутлива до часу винагороди; затримка винагороди викликає депресію в початковий час і активізацію в новий час [24,25]. Кількісне кодування помилок очевидно для активацій, що відображають позитивні помилки прогнозування. Навпаки, депресія, що виникає з негативними помилками прогнозування, виявляє, природно, вузький динамічний діапазон, оскільки активність нейронів не може опускатися нижче нуля, а відповідна кількісна оцінка вимагає врахування повного періоду депресії [26].
Таким чином, дофамінові нейрони відповідають на винагороду лише тією мірою, в якій вона відрізняється від прогнозування. Оскільки прогноз походить від раніше пережитого винагороди, нейрони дофаміну активуються лише тоді, коли поточна винагорода краща за попередню нагороду. Знову ж нагорода не активує дофамінові нейрони. Якщо активація дофамінових нейронів позитивно підсилює вплив на поведінку, лише підвищення винагороди забезпечить постійне підкріплення за допомогою дофамінергічних механізмів. Це може бути однією з причин того, що постійні незмінні нагороди, здається, втрачають стимулюючий вплив, і чому нам завжди потрібна більша винагорода.
Суворі тести на кодування помилок прогнозування нагород
Теорія навчання тварин розробила формальні парадигми для тестування помилок прогнозування винагород. У тесті блокування [7] стимул, який поєднується з цілком передбачуваною винагородою, не може бути вивчений і, таким чином, не стає дійсним прогнозувачем винагороди. Відсутність винагороди після заблокованого подразника не є помилкою передбачення і не призводить до відповіді в нейронах дофаміну, навіть після широкого спарювання стимулу-винагороди [27]. Навпаки, вручення винагороди після заблокованого стимулу становить позитивну помилку передбачення і відповідно викликає активацію дофаміну.
Умовна парадигма гальмування [28] пропонує додатковий тест на помилки прогнозування. У завданні, використовуваному в наших експериментах, тестовий стимул подається одночасно із встановленим стимулом, що передбачає стимул, але винагороду після сполуки не надають, що робить тестовий стимул передвісником відсутності винагороди. Пропущення винагороди після такого кондиціонованого інгібітора не є негативною помилкою прогнозування і, відповідно, не може викликати депресію дофамінових нейронів [29]. Навпаки, вручення винагороди після інгібітора призводить до сильної позитивної помилки передбачення і відповідно сильної активації дофаміну.
Результати цих двох формальних тестів підтверджують, що дофамінові нейрони показують двостороннє кодування помилок прогнозування винагороди.
Адаптивне кодування помилок прогнозування нагород
У загальному розумінні стимул, що передбачає винагороду, визначає значення майбутніх винагород шляхом інформування про розподіл ймовірності цінностей винагороди. Таким чином, стимул вказує на очікувану величину (перший момент) і (очікувана) дисперсія (другий момент) або стандартне відхилення розподілу.
Відповідь на помилку передбачення значення дофаміну чутлива як до першого, так і до другого моменту прогнозованого розподілу винагороди через дві секунди після стимулу. В експерименті різні візуальні стимули можуть передбачити специфічні розподіли бінарної ймовірності однозначних величин винагороди з різними очікуваними значеннями та відхиленнями. Оскільки відповідь на помилку прогнозування відображає різницю між отриманим і очікуваним значенням винагороди, однакова величина отриманої винагороди призводить до збільшення або зменшення активності дофаміну залежно від того, більша чи менша, ніж відповідно до її прогнозування [23]. Цей результат говорить про те, що кодування помилок прогнозування значення надає інформацію відносно довідкового чи прив'язного значення.
Помилка передбачення кодування дофамінової помилки пристосовується до дисперсії або стандартного відхилення розподілу. У двійковому розподілі рівнозначних нагород, доставка винагороди з більшою величиною в межах кожного розподілу викликає однакову активацію дофаміну з кожним розподілом, незважаючи на кратну різницю різниць 10 між отриманими величинами винагороди (та отриманими помилками прогнозування значення) [23]. Числові розрахунки показують, що відповідь на дофамін кодує помилку передбачення значення, поділену на стандартне відхилення передбачуваного розподілу. Це склало ефективну нормалізацію або масштабування відповіді на помилку передбачення значення з точки зору стандартного відхилення, вказуючи, наскільки отримане значення винагороди відрізняється від очікуваного значення в одиницях стандартного відхилення. Теоретичні міркування дозволяють припускати, що сигнали навчання помилок, які масштабуються за відхиленням або стандартним відхиленням, а не за середніми, можуть опосередковувати стабільне навчання, стійке до прогнозованого ризику результатів [30].
Відповідь дофаміну на стимули, що прогнозують стимули
Нейрони дофаміну демонструють активації («збудження») після винагороди, що передбачає зорові, слухові та соматосенсорні подразники (Рисунок (Рис. 1B) 1B) [31-33]. Відповіді виникають незалежно від сенсорних модальностей та просторових положень подразників, і незалежно від ефекторів, що рухаються рукою, ротом або очима.
Активації збільшуються монотонно з ймовірністю винагороди [18] та величиною винагороди, наприклад, об'ємом рідини [23]. Однак відповіді на дофамін не розрізняють вірогідність винагороди та величину до тих пір, поки очікуване значення буде ідентичним [23]. Таким чином, активації, як видається, кодують очікувану величину прогнозованих розподілів ймовірності винагороди. Очікуване значення є більш парсимонічним поясненням, а шум у реакціях нейронів перешкоджає характеристиці з точки зору очікуваної (суб'єктивної) корисності. Зауважте, що тимчасова дисконтування, описана нижче, виявляє суб'єктивне кодування і може дати деяке світло у питанні.
Величина відповіді збільшується із зменшенням часу поведінкової реакції, що вказує на те, що реакція дофаміну чутлива до мотивації тварини [19]. При виборі між різними значеннями винагороди або затримками відповідь дофаміну на представлення варіантів вибору відображає майбутню обрану нагороду тварини [34] або найвищу можливу винагороду з двох доступних варіантів вибору [35].
Під час навчання активація дофаміну до винагороди поступово зменшується в ході послідовних випробувань навчання, і одночасно розвивається активація стимулу, що передбачає винагороду [36,37]. Придбання умовного реагування чутливе до блокування, що вказує на те, що помилки передтон грають роль у отриманні відповідей на дофамін на умовні подразники [27]. Передача відповіді на стимулювання прогнозування винагороди відповідає основним характеристикам навчальних сигналів ефективних моделей підкріплення тимчасових різниць [38]. Зміна відповіді не передбачає зворотного розповсюдження помилок прогнозування через інтервал стимулу-винагороди попередніх часових моделей різниці [27,38], але відтворюється в оригінальній моделі часової різниці та в оригінальній та більш пізній реалізації часових різниць [6,37,39].
Суб'єктивне кодування значення винагороди, показане тимчасовою дисконтуванням
Об'єктивне вимірювання суб'єктивної вартості винагороди за вибором переваг виявляє, що винагорода втрачає частину своєї вартості, коли вони затримуються. Насправді щури, голуби, мавпи та людина часто віддають перевагу швидшим меншим винагородам, ніж більш пізнім нагородам [40-42]. Таким чином, суб'єктивна цінність винагороди занепадає із збільшенням затримок у часі, навіть якщо фізична винагорода, і, отже, об'єктивна ціна винагороди, однакова.
Психометричні заходи міжтемпорального вибору поведінки між швидшими та пізнішими винагородами регулюють величину ранньої винагороди до виникнення байдужості вибору, визначеної як ймовірність вибору кожного варіанта з р = 0.5. Таким чином, нижча рання винагорода за бажанням байдужості вказує на нижчу суб'єктивну цінність пізньої винагороди. У нашому нещодавньому експерименті на мавпах значення байдужості вибору за винагороду, затримку 4, 8 та 16 s, монотонно зменшилися приблизно на 25%, 50% та 75% відповідно, порівняно з винагородою після 2 s [43]. Зниження відповідає функції гіперболічної дисконтування.
Відповіді на дофамін на стимулювання прогнозування винагороди монотонно зменшуються через затримки винагороди від 2 до 16 s [25,43], незважаючи на те, що однакова фізична сума винагороди отримується після кожної затримки. Ці дані говорять про те, що тимчасова затримка впливає на реакції дофаміну на стимулювання прогнозування стимулів аналогічним чином, як вони впливають на суб'єктивне значення винагороди, оцінене міжтемпоральним вибором. Цікаво, що зменшення відповіді на дофамін із затримкою винагороди невідмінне від зниження відповіді із меншою величиною винагороди. Ця схожість говорить про те, що часові затримки впливають на реакції на дофамін через зміни у вартості винагороди. Таким чином, для нейронів дофаміну затримка винагород виглядає так, ніби їх менше.
Таким чином, нейрони дофаміну, схоже, кодують суб'єктивну, а не фізичну, об'єктивну цінність відстрочених винагород. Зважаючи на те, що корисність є мірою для суб'єктивної, а не об'єктивної вартості винагороди, зменшення відповіді з тимчасовою знижкою може припустити, що дофамінові нейрони кодують нагороду як (суб'єктивну) корисність, а не як (об'єктивну) цінність. Подальші експерименти можуть допомогти перевірити кодування корисних програм.
Відповідь дофаміну на аверсивні подразники
Аверсивні подразники, такі як затяжки повітря, гіпертонічний сольовий розчин та ураження електричним струмом, індукують активуючі (`` збудливі '') реакції у невеликої частини нейронів дофаміну у неспаних тварин (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), і більшість дофамінових нейронів або пригнічені у своїй активності, або не зазнають впливу аверсивних подій (рис. (Малюнок 1C1C вгорі). На відміну від винагород, повітродувки не спровокують реакції на двонаправлені прогнози щодо помилок, характерних для винагороди ; прогнозування лише модулює аверсивні активації [45,46].
Агресивна стимуляція у анестезованих тварин призводить до різного, але часто низького ступеня переважно повільніших, активізуючих реакцій (50% [47]; 18% [48]; 17% [49]; 14% [50]) і часто пригнічує активність. Нейрофізіологічні повторні дослідження з кращою ідентифікацією дофамінових нейронів підтвердили загальну низьку частоту аверсивних активацій дофаміну у анестезованих тварин [51] та розташовували аверсивно реагуючі дофамінові нейрони в вентромедіальній тегментальній області середнього мозку [52].
Умовно, повітряні пухирці, що прогнозують подразники, в мавпах, що пробуджуються, викликають активацію в меншості дофамінових нейронів і депресії більшої частки нейронів дофаміну (11% [33]; 13% [45]; 37% [46]). Відповіді на депресанти скасовують декілька активацій в усередненій реакції популяції нейронів дофаміну на аверсивні подразники [33] (див. Рис. Рис. 1C1C, чорний). В одному дослідженні умовний аверсивний стимул активував більше нейронів, ніж сам повітряний пуф (37% проти 11% [46]), хоча умовний подразник є менш агресивним, ніж прогнозує первинне неприязне подія, наприклад повітряне затягування. Більша кількість активацій до умовного подразника порівняно з повітряним пухом свідчить про зворотну залежність між відразою та активацією (чим більше відразовує стимул, тим менше частіша активація) або додатковим, неагресивним компонентом стимулу, що відповідає за збільшення частки активованого нейрони від 11% до 37%. Незважаючи на те, що активізація стимулів позитивно співвідносилася з вірогідністю пухирців у популяції, вони не оцінювались в окремих нейронах [46]. Кореляція популяції може виникнути внаслідок відносно невеликої кількості позитивно корельованих нейронів у межах цієї популяції, і справді відверта активація стимулу може бути ближчою до 11%, ніж 37%. В іншому дослідженні великі частки дофамінових нейронів показали фазову активацію до умовно-аверсивних подразників, коли вони були представлені у випадковому чергуванні із передбачуваними нагородами стимулів тієї ж сенсорної модальності (рисунок (рисунок1C1C знизу, сірий) (65% [33]); активації були набагато рідше, коли два типи умовних подразників мали різну сенсорну модальність (рисунок (рисунок1C1C знизу, чорний) (11%). У наступній главі буде обговорено фактори, що лежать в основі цих незрозумілих активацій на неприязні та інші, неперешкоджені стимули.
Незважаючи на те, що деякі нейрони дофаміну активуються внаслідок неприємних подій, найбільша активація дофаміну пов'язана з винагородою. Дані, отримані іншими методами, призводять до подібних висновків. Швидка вольтамметрія сканування у щурів, що ведуть себе, показує смугастий вивільнення дофаміну, індукований винагородою та зміною на винагороду передбачуваними стимулами після кондиціонування [53], що дозволяє припустити, що імпульсні реакції дофамінових нейронів призводять до відповідного звільнення дофаміну від стриатального варикозного стану. Підвищення дофаміну триває лише кілька секунд, і, таким чином, відбувається найкоротший час усіх нейрохімічних методів, найближчий до електрофізіологічної активації. Вивільнення дофаміну є різним за винагороду (сахароза) і не відбувається з покаранням (хінін) [54]. Оскільки вольтамметрія оцінює місцеві середні показники концентрації дофаміну, відсутність вимірюваного вивільнення хініну може приховати кілька активацій, скасованих депресіями у відповіді популяції дофаміну [33]. Дослідження з використанням дуже чутливого in vivo мікродіалізу виявляють вивільнення дофаміну після аверсивних подразників [55].
Ця відповідь може відображати зміну дофаміну, індуковану кількома нейронами, активованими аверсивними подразниками, хоча часовий хід вимірювань мікродіалізу приблизно в рази 300-500 повільніше, ніж реакція на імпульс, і може бути достатнім для дозволу пресинаптичних взаємодій впливати на вивільнення дофаміну [56] . Порушення вибухової стрільби дофамінових нейронів порушує декілька апетитних навчальних завдань, але також побоюється обумовити [9]. Результат міг би запропонувати функцію навчання неприйнятних реакцій на дофамін, якщо не буде визначено неспецифічний, загалом інвалідизуючий ефект нижчої концентрації дофаміну, що ще слід показати. Специфічна стимуляція дофамінових нейронів оптогенетичними методами за допомогою генетично вставленого канардопсопіну індукує кондиціонування Павловського місця у мишей [57]. На противагу цьому, чистий відбійний ефект від стимуляції дофаміну міг би спричинити навчання уникненню місця. Ці результати підтверджують уявлення про глобальну позитивну зміцнювальну функцію дофамінових систем, отриману в результаті попереднього ураження, електричної самостимуляції та наркоманії [1,2]. Однак ці аргументи не постулюють ні про те, що винагорода є єдиною функцією дофамінових систем, ні те, що всі функції винагороди включають дофамінові нейрони.
Фазичні дофамінові активації не кодують винагороду
Стимули можуть викликати тривожні реакції та реакції уваги, коли вони є фізично важливими (фізичне відчуття) або коли вони пов’язані з підкріплювачами („мотиваційний” чи „афективний” виділення). Поведінкові реакції на помітні подразники оцінюються відповідно фізичною інтенсивністю подразників та значенням підкріплювача. Фізична проникливість взагалі не залежить від підкріплення, а мотиваційна проникливість не залежить від валентності підкріплювачів (винагорода та покарання).
Відповіді на фізично виражені подразники
Фізично інтенсивні зорові та слухові подразники індукують активацію в дофамінових нейронах (рисунок (рисунок1D) .1D). Ці реакції посилюються новизною стимулів [58-60], але зберігаються на нижчому рівні протягом декількох місяців за умови достатньої фізичної інтенсивності. Відповіді класифікуються відповідно до розміру подразників (рис. 4 у [15]). Фізична виразність також може частково пояснювати реакції первинних карачів, що мають значну фізичну напруженість [45]. Ці відповіді можуть становити окремий тип відповіді на дофамін, пов'язаний з фізичним вираженням уваги, що викликає стимули навколишнього середовища, або вони можуть бути пов'язані з позитивно мотивуючими та підсилюючими ознаками інтенсивних та нових стимулів.
Активація фізично виражених подразників, схоже, не відображає загальної тенденції активізації дофамінових нейронів будь-якими подіями, що викликають увагу. Зокрема, інші події, що викликають сильну увагу, такі як упущення винагороди, умовні інгібітори та аверсивні подразники, викликають переважно депресії та рідко справжні активації дофаміну [14,29]. Таким чином, активація дофаміну фізично помітними подразниками може не являти собою загальної тривожної відповіді. Відповідь на винагороду, ймовірно, буде окремою відповіддю, яка може не відображати уваги, викликаної мотиваційною виразністю нагороди.
Інші активації кодування без винагороди
Інші стимули індукують активацію в нейронах дофаміну без явного кодування нагородного значення. Ці активації менші та коротші, ніж відповіді на винагороду передбачуваними стимулами, і часто супроводжуються депресією, коли подразники не надаються (рис. (Рисунок1E1E).
Нейрони дофаміну демонструють активацію після контрольних стимулів, які представлені в псевдовипадковому чергуванні з нагородженими подразниками [27,29,32]. Частота активацій залежить від кількості альтернативних, винагороджених стимулів у поведінковому завданні; активації часті, коли три з чотирьох стимулів завдань отримують винагороду (25% -63% [27]) і стають рідкісними, коли лише один із чотирьох стимулів завдання не надається (1% [29]). Ця залежність суперечить суто чуттєвому характеру реакції.
Дофамінові нейрони демонструють досить стереотипний компонент початкової активації для стимулів, що прогнозують винагороду, що виникають після різних затримок [43]. Початкова активація дуже відрізняється із затримкою винагороди, і, таким чином, не кодує значення винагороди. Навпаки, наступний компонент відповіді зменшується зі збільшенням затримок і, таким чином, кодує (суб'єктивне) значення винагороди (див. Вище).
Нейрони дофаміну проявляють часті активації внаслідок умовних аверсивних подразників, представлених у випадковому чергуванні із стимулами, що прогнозують нагороду; активація значною мірою зникає, коли використовуються різні сенсорні модальності (65% проти 11% нейронів [33]), що дозволяє припустити кодування компонентів, що не мають аверсивного стимулу. Навіть коли аверсивні та апетитні подразники розділяються на різні пробні блоки, дофамінові нейрони значно активуються умовними аверсивними подразниками. Однак більш часті активації на умовні подразники порівняно з більш відвертим пухом первинного повітря (37% проти 11% [46]) говорять про зворотній взаємозв'язок із відразою стимулів та, можливо, невідповідними компонентами реакції.
Причини цих різних активацій дофаміну можуть полягати в генералізації, псевдокондиціонуванні або мотиваційному вираженні стимулу. Узагальнення виникає через подібності між подразниками. Це може пояснити активацію дофаміну в ряді ситуацій, а саме активації до незрештованих зорових стимулів, коли вони чергуються із візуальними стимулами, що прогнозують нагороду (рисунок (рисунок1E1E ліворуч) [27,29,32], та початковою, погано оціненою складовою активації, щоб винагородити затримку прогнозування стимулів (рис. (Рисунок1E1E праворуч) [43]. Узагальнення може грати роль, коли подразники з різними сенсорними модальностями виробляють менше активації дофаміну до невідредагованих подразників, ніж подразники з тими самими модальностями, як це спостерігається із зорово-аверсивними та слуховими апетитними подразниками (рисунок (рисунок1C1C)) [33] .
Псевдокондиціювання може виникнути тоді, коли первинний підсилювач задає контекстуальне тло та провокує неспецифічні поведінкові реакції на будь-які події в цьому контексті [61]. Оскільки дофамінові нейрони дуже чутливі до винагороди, корисний контекст може викликати псевдокондиціювання стимулів, встановлених у цьому контексті, а отже, і активації нейрона. Цей механізм може лежати в основі активізації нейронів до невідроджувальних стимулів, що виникають у нагороджувальному контексті, наприклад, лабораторії, в якій тварина отримує щоденну винагороду, незалежно від того, щоб стимули були випадковим чергуванням із винагородженими стимулами або в окремих пробних блоках [46]. Псевдокондиціонування може пояснювати активацію незареєстрованих контрольних подразників [27,29,32], більшість активацій після аверсивних подразників [33,45,46] та початкового, погано оціненого компонента активації, щоб винагородити затримку прогнозування стимулів [43]. Таким чином, псевдокондиціонування може виникати з первинної винагороди, а не від умовного подразника і впливати на активацію дофаміну як на умовні подразники, так і на первинні підсилювачі, що виникають у нагороджувальному контексті.
Незважаючи на те, що стимули зі значною фізичною вразливістю, здається, керують дофаміновими нейронами [15,58-60] (див. Вище), стимули, що індукують некодування винагороди, активують дофамін, часто невеликі та фізично не дуже помітні. Мотиваційна виразність за визначенням є загальною для нагород та караючих, і сама по собі може пояснити активізацію як винагороди, так і покарання в 10-20% нейронів дофаміну. Несильні стимули можуть стати мотиваційно помітними через їх близькість до винагороди та покарання за допомогою псевдокондиціонування. Однак активізація дофаміну здається набагато більш чутливою до винагороди, ніж покарання. Оскільки мотиваційна виразність передбачає чутливість до обох підсилювачів, мотиваційна виразність, здобута за допомогою псевдокондиціонування, не може добре пояснити некомісійне кодування дофамінових активацій.
У сукупності багато з активувань дофаміну, що кодують без винагороди, можуть бути наслідком генералізації стимулів або, зокрема, псевдокондиціонуванням. Тим не менш, як видається, залишаються справжніми активації до невпорядкованих контрольних стимулів та до первинних і умовних аверсивних подразників у обмеженій кількості дофамінових нейронів, коли ці фактори виключені. Подальші експерименти, що оцінюють подібні відповіді, повинні використовувати кращі контролі та повністю усунути всі контекстуальні асоціації нагородження зі стимулами в лабораторії.
Зважаючи на активацію кодування без винагороди, доцільно запитати, як тварина відрізнятиме винагороду від непереданих стимулів на основі дофамінової відповіді. Дуже швидкий, початковий, псевдокондиціонований і погано дискримінаційний компонент відповіді може забезпечити тимчасовий бонус за швидкі, швидкі, поведінкові реакції за замовчуванням, які допоможуть тварині дуже швидко виявити потенційну винагороду [62]. На противагу цьому, безпосередньо наступний компонент відповіді виявляє справжню природу події через її градуйовану активацію із значенням винагороди [43] та її частим депресією з невдаленими та відвертими стимулами [27,29,32,33] (рисунок (рисунок1E) .1E). Крім того, система дофаміну є не єдиною нагородою, що кодує структуру мозку, а інші нейронні системи, такі як орбітофронтальна кора, стриатум та мигдалина можуть надавати додаткову дискримінаційну інформацію.
Сигнал ризику винагороди за дофамін
Якщо сигнал винагороди відображає середню помилку прогнозування винагороди, масштабовану на стандартне відхилення розподілу ймовірності винагороди, і якщо ми розглядаємо стандартне відхилення як міру ризику, чи може бути прямий сигнал нейрона для ризику? Коли ймовірність винагороди змінюється від 0 до 1 і величина винагороди залишається незмінною, середнє значення винагороди монотонно зростає з ймовірністю, тоді як величина ризику слід за перевернутою функцією U, що досягає максимальної величини p = 0.5 (рисунок (рисунок2,2, вставка). При p = 0.5, є рівно стільки шансів отримати винагороду, як і пропустити винагороду, тоді як більш високі та менші ймовірності, ніж p = 0.5, роблять приріст і втрати більш певними, відповідно, і, таким чином, асоціюються з меншим ризиком.
малюнок 2
Тривалі активації, пов’язані з ризиком. Реакція на ризик виникає під час інтервалу винагорода-стимул (стрілка) згодом до фазової активації стимулу (трикутника), пов’язаної зі значенням. Вставка, вгорі праворуч, показує, що ризик (ординати) змінюється залежно від (більше…)
Близько третини нейронів дофаміну виявляють відносно повільну, помірну, статистично значущу активацію, яка поступово збільшується протягом інтервалу між стимулом, що прогнозує винагороду, та винагородою; ця відповідь монотонно відрізняється від ризику (рисунок (рисунок2) 2) [18]. Активація відбувається в окремих випробуваннях і, здається, не являє собою відповідь на помилку передбачення, яка поширюється назад від винагороди до стимулу, що передбачає винагороду. Активація збільшується монотонно також зі стандартним відхиленням або дисперсією, коли використовуються двійкові розподіли різної неправдоподібної, ненульової величини винагороди. Таким чином, стандартне відхилення або дисперсія, здається, є життєздатними заходами для ризику, кодованими нейронами дофаміну. Активація, пов'язана з ризиком, має більш тривалі затримки (приблизно 1 с), повільніші часові курси та менші піки порівняно з реакціями на стимули та винагороду.
Через меншу величину сигнал ризику, ймовірно, може викликати менший вивільнення дофаміну при варикозності дофаміну порівняно з більш фазовими активаціями, що кодують значення винагороди. Відносно низька концентрація дофаміну, можливо індукована сигналом ризику, може активувати D2 рецептори, які в основному знаходяться в стані високої спорідненості, але не мають низькі афінні рецептори D1 [63]. На противагу цьому, відповідь на більш високу фазову величину нагороди може призвести до збільшення концентрації дофаміну, достатньої для короткої активації D1-рецепторів у стані їх переважно низької спорідненості. Таким чином, два сигнали можуть бути диференційовані постінаптичними нейронами на основі активованих різних дофамінових рецепторів. Крім того, сигнали значення дофаміну та сигнали ризику разом призводять до майже одночасної активації як D1, так і D2 рецепторів, що у багатьох нормальних та клінічних ситуаціях є важливим для адекватних функцій, залежних від дофаміну.
Сигнал ризику дофаміну може мати кілька функцій. По-перше, це може вплинути на масштабування негайно наступної відповіді на помилку передбачення за допомогою стандартного відхилення безпосередньо після винагороди [23]. По-друге, це може посилити вивільнення дофаміну, викликане негайно наступною реакцією на помилку прогнозу. Оскільки ризик викликає увагу, посилення потенційного сигналу навчання ризиком було б сумісно з роллю уваги у навчанні відповідно до теорій навчання асоціативності [64,65]. По-третє, це може дати внесок у структури мозку, які беруть участь в оцінці ризику винагороди як такого. По-четверте, він може поєднуватись із сигналом очікуваної економічної величини, щоб представити значну інформацію про очікувану корисність для осіб, чутливих до ризику, відповідно до підходу середньої дисперсії в теорії фінансових рішень [66]. Однак затримка близько 1 s занадто довга, щоб сигнал відігравав миттєву роль у виборі в умовах невизначеності.
Конфлікт інтересів
Автор заявляє, що не має конкуруючих інтересів.
Вклади авторів
В. С. написав папір.
Подяки
Цей огляд був написаний з нагоди симпозіуму з розладу гіперактивності дефіциту уваги (СДВГ) в Осло, Норвегія, лютий 2010. Нашу роботу підтримали тренд Wellcome, Швейцарський національний науковий фонд, наукова програма Human Frontiers та інші грантові та стипендіатні агенції.
посилання
1. Мудрий РА, Ромпре ПП. Мозговий дофамін і винагорода. Енн Рев Психол. 1989; 40: 191 – 225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Роббінс TW. Нейрові системи підкріплення наркоманії: від дії до звичок до примусу. Nat Neurosci. 2005; 8: 1481 – 1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]
3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Роботи Imp. Акад. Наук. Санкт-Петербург) 1738; 5: 175 – 192. Перекладається як: Викладення нової теорії щодо вимірювання ризику. Економетрика 1954, 22: 23-36.
4. Рао RPN, Ballard DH. Прогностичне кодування у зоровій корі: функціональна інтерпретація деяких позакласичних ефектів сприйнятливого поля. Nat Neurosci. 1999; 2: 79 – 87. doi: 10.1038 / 4580. [PubMed] [Перехресний перегляд]
5. Рескорла Р.А., Вагнер А.Р. В: Класичний стан II: сучасні дослідження та теорія. Чорний AH, Prokasy WF, редактор. Нью-Йорк: Appleton Century Crofts; 1972. Теорія павловського кондиціонування: відхилення в ефективності арматури та не підсилення; стор. 64 – 99.
6. Sutton RS, Barto AG. До сучасної теорії адаптивних мереж: очікування та прогнозування. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]
7. Камін Л.Ж. В: Фундаментальні проблеми інструментального навчання. Mackintosh NJ, Honig WK, редактор. Галіфакс: Dalhousie University Press; 1969. Вибіркова асоціація та кондиціонування; стор. 42 – 64.
8. Blythe SN, Atherton JF, Bevan MD. Синаптична активація дендритних рецепторів AMPA та NMDA породжує тимчасові високочастотні випалення in vitro в нейронах субстанції нігра. J Нейрофізіол. 2007; 97: 2837 – 2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]
9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Порушення NMDAR-залежного вибухового випалу нейронами дофаміну забезпечує селективну оцінку фазової дофамінозалежної поведінки. Proc Natl Акад. Наук. 2009; 106: 7281 – 7288. doi: 10.1073 / pnas.0813415106. [Безкоштовна стаття PMC] [PubMed] [Перехресний перегляд]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Пластичність залежної від спустошення та моменту передачі рецепторів NMDA в нейронах середнього мозку дофаміну. Нейрон. 2009; 62: 826 – 838. doi: 10.1016 / j.neuron.2009.05.011. [Безкоштовна стаття PMC] [PubMed] [Перехресний перегляд]
11. Джонс S, Бончі А. Синаптична пластичність та наркоманія. Curr Opin Pharmacol. 2005; 5: 20 – 25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]
12. Кауер Ж.А., Маленка РК. Синаптична пластичність і залежність. Nat Rev Neurosci. 2007; 8: 844 – 858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]
13. Ljungberg T, Apicella P, Schultz W. Реакції нейронів дофаміну середнього мозку мавпи під час затримки в чергуванні. Мозок Рез. 1991; 586: 337 – 341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Шульц W, Апіцелла Р, Люнгберг Т. Відповіді мавп дофамінових нейронів на винагороду та обумовлені подразники під час послідовних етапів навчання завдання із затримкою відповіді. J Neurosci. 1993; 13: 900 – 913. [PubMed]
15. Шульц В. Прогнозний нагородний сигнал дофамінових нейронів. J Нейрофізіол. 1998; 80: 1 – 27. [PubMed]
16. Schultz W, Dayan P, Montague RR. Нейронний субстрат передбачення та нагороди. Наука. 1997; 275: 1593 – 1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]
17. Hollerman JR, Schultz W. Dopamine нейрони повідомляють про помилку у часовому передбаченні винагороди під час навчання. Природа Neurosci. 1998; 1: 304 – 309. doi: 10.1038 / 1124. [PubMed] [Перехресний перегляд]
18. Fiorillo CD, Tobler PN, Schultz W. Дискретне кодування ймовірності винагороди та невизначеності нейронами дофаміну. Наука. 2003; 299: 1898 – 1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]
19. Сато Т, Накай С, Сато Т, Кімура М. Корельоване кодування мотивації та результату рішення нейронами дофаміну. J Neurosci. 2003; 23: 9913 – 9923. [PubMed]
20. Морріс Г, Аркадір Д, Невет А, Ваадія Е, Бергман Н. Збіг, але чіткі повідомлення про дофамін середнього мозку та смугасті тонічно активні нейрони. Нейрон. 2004; 43: 133 – 143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Нейрони дофаміну можуть представляти залежність від прогнозування, що залежить від контексту. Нейрон. 2004; 41: 269 – 280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]
22. Bayer HM, Glimcher PW. Нейрони дофаміну середнього мозку кодують сигнал про помилку прогнозування кількісної винагороди. Нейрон. 2005; 47: 129 – 141. doi: 10.1016 / j.neuron.2005.05.020. [Безкоштовна стаття PMC] [PubMed] [Перехресний перегляд]
23. Tobler PN, CD Fiorillo, Schultz W. Адаптивне кодування корисної вартості нейронами дофаміну. Наука. 2005; 307: 1642 – 1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Людські нейрони речовини кодують несподівані фінансові винагороди. Наука. 2009; 323: 1496 – 1499. doi: 10.1126 / наука.1167342. [Безкоштовна стаття PMC] [PubMed] [Перехресний перегляд]
25. Компакт-диск Fiorillo, Newsome WT, Schultz W. Тимчасова точність прогнозування нагород у дофамінових нейронах. Nat Neurosci. 2008; 11: 966 – 973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Статистика допамінових спайкових нейронів тренується у спокійного примата. J Нейрофізіол. 2007; 98: 1428 – 1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]
27. Waelti P, Dickinson A, Schultz W. Відповіді на дофамін відповідають основним припущенням формальної теорії навчання. Природа. 2001; 412: 43 – 48. doi: 10.1038 / 35083500. [PubMed] [Перехресний перегляд]
28. Rescorla RA. Павловський умовне гальмування. Психол Бик. 1969; 72: 77 – 94. doi: 10.1037 / h0027760.
29. Tobler PN, Dickinson A, Schultz W. Кодування прогнозованого опущення нагороди нейронами дофаміну в умовної парадигмі гальмування. J Neurosci. 2003; 23: 10402 – 10410. [PubMed]
30. Преушофф, Боссартс П. Додавання ризику прогнозування до теорії навчання винагороди. Енн Нью-Йорк Акад. Наук. 2007; 1104: 135 – 146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]
31. Romo R, Schultz W. Дофамінові нейрони мавпи середнього мозку: непередбачені реакції на активний дотик під час самостійно ініційованих рухів руки. J Нейрофізіол. 1990; 63: 592 – 606. [PubMed]
32. Шульц В, Ромо Р. Дофамінові нейрони мавпи середнього мозку: Надійсні реакції на подразники, що викликають негайні поведінкові реакції. J Нейрофізіол. 1990; 63: 607 – 624. [PubMed]
33. Mirenowicz J, Schultz W. Переважна активація дофамінових нейронів середнього мозку апетитними, а не аверсивними подразниками. Природа. 1996; 379: 449 – 451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]
34. Морріс Г, Невет А, Аркадір Д, Ваадія Е, Бергман Х. Дофамінові нейрони середнього мозку кодують рішення для подальшої дії. Nat Neurosci. 2006; 9: 1057 – 1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]
35. Roesch MR, Calu DJ, Schoenbaum G. Нейрони дофаміну кодують кращий варіант у щурів, які приймають рішення між різними затримками чи розмірами винагород. Nat Neurosci. 2007; 10: 1615 – 1624. doi: 10.1038 / nn2013. [Безкоштовна стаття PMC] [PubMed] [Перехресний перегляд]
36. Takikawa Y, Kawagoe R, Hikosaka O. Можлива роль нейронів дофаміну середнього мозку у коротко- та довгостроковій адаптації саккад до відображення позиції та винагороди. J Нейрофізіол. 2004; 92: 2520 – 2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]
37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Клітини дофаміну реагують на передбачувані події під час класичного обумовлення: Докази слідів придатності в мережі винагороди. J Neurosci. 2005; 25: 6235 – 6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]
38. Монтагський піар, Dayan P, Сейновський TJ. Структура для мезенцефальних дофамінових систем, заснована на прогнозному вивченні геббієць. J Neurosci. 1996; 16: 1936 – 1947. [PubMed]
39. Suri R, Schultz W. Нейронна мережа з сигналом підсилення, що нагадує дофамін, який вивчає завдання просторової реакції із затримкою. Неврознавство. 1999; 91: 871 – 890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]
40. Ейнслі Г. Прекрасні нагороди: поведінкова теорія імпульсивності та контролю імпульсів. Психічний бик. 1975; 82: 463 – 496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Регулювання затримки підкріплення: порівняння вибору у голубів та людей. J Exp Psholhol Animha Behav Process. 1988; 14: 105 – 117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]
42. Річардс Дж. Б., Мітчелл Ш., де Віт Н, Сейден ЛС Визначення функцій знижок у щурів за допомогою процедури коригування кількості. J Exp Anal Behav. 1997; 67: 353 – 366. doi: 10.1901 / jeab.1997.67-353. [Безкоштовна стаття PMC] [PubMed] [Перехресний перегляд]
43. Kobayashi S, Schultz W. Вплив затримки винагороди на відповіді дофамінових нейронів. J Neurosci. 2008; 28: 7837 – 7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]
44. Гуарачі Ф.А., Капп Б.С. Електрофізіологічна характеристика дофамінергічних нейронів вентральної тегментальної ділянки під час диференціального кондиціонування павловійського страху у кролика, що не буває. Бехав Мозг Рез. 1999; 99: 169 – 179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]
45. Джошуа М, Адлер А, Мітелман Р, Ваадія Е, Бергман Х. Допамінергічні нейрони середнього мозку та стритальні холінергічні інтернейрони кодують різницю між винагородою та відразою в різні епохи ймовірнісних класичних випробувань кондиціонування. J Neurosci. 2008; 28: 1673 – 11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Мацумото М, Хікосака О. Два види нейрону дофаміну виразно передають позитивні та негативні мотиваційні сигнали. Природа. 2009; 459: 837 – 841. doi: 10.1038 / природа08028. [Безкоштовна стаття PMC] [PubMed] [Перехресний перегляд]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Сенсорні подразники змінюють швидкість розряду нейронів дофаміну (DA): дані про два функціональних типи клітин DA в субстанції. Мозок Рез. 1980; 189: 544 – 549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]
48. Mantz J, Thierry AM, Glowinski J. Вплив шкідливого хвостового щипання на швидкість розряду мезокортикальних та мезолімбічних дофамінових нейронів: селективна активація мезокортикальної системи. Мозок Рез. 1989; 476: 377 – 381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]
49. Шульц В, Ромо Р. Реакції нігростритальних нейронів дофаміну на соматосенсорну стимуляцію високої інтенсивності у знеболеної мавпи. J Нейрофізіол. 1987; 57: 201 – 217. [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Ноцицептивні реакції дофамінергічних нейронів середнього мозку модулюються вищим колікулом у щура. Неврознавство. 2006; 139: 1479 – 1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]
51. Brown MTC, Henny P, Bolam JP, Magill PJ. Активність нейрохімічно гетерогенних дофамінергічних нейронів у субстанційній нігрі під час спонтанних та рухомих змін стану мозку. J Neurosci. 2009; 29: 2915 – 2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]
52. Брішу F, Чакраборті S, Brierley DI, Ungless MA. Фазове збудження дофамінових нейронів у вентральній VTA шкідливими подразниками. Proc Natl Acad Sci США. 2009; 106: 4894 – 4899. doi: 10.1073 / pnas.0811507106. [Безкоштовна стаття PMC] [PubMed] [Перехресний перегляд]
53. Day JJ, Roitman MF, Wightman RM, Carelli RM. Асоціативне навчання опосередковує динамічні зрушення дофамінової сигналізації в ядрах ядер. Nat Neurosci. 2007; 10: 1020 – 1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Хімічні реакції в реальному часі в ядрі відокремлюють корисні та неприязні стимули. Nat Neurosci. 2008; 11: 1376 – 1377. doi: 10.1038 / nn.2219. [PubMed] [Перехресний перегляд]
55. Молодий AMJ. Збільшення позаклітинного дофаміну в ядрах накопичується у відповідь на безумовні та кондиціоновані аверсивні подразники: дослідження з використанням мікродіалізу 1 min у щурів. J Neurosci Meth. 2004; 138: 57 – 63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Шульц В. Багаторазові дофамінові функції в різні часові курси. Ann Rev Neurosci. 2007; 30: 259 – 288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]
57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Фазового випалу в дофамінергічних нейронах достатньо для поведінкових кондицій. Наука. 2009; 324: 1080 – 1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]
58. Strecker RE, Jacobs BL. Активність допамінергічної одиниці Substantia nigra у поведінки кішок: Вплив збудження на спонтанні виділення та сенсорну активність. Мозок Рез. 1985; 361: 339 – 350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]
59. Ljungberg T, Apicella P, Schultz W. Реакції нейронів дофаміну мавпи під час вивчення поведінкових реакцій. J Нейрофізіол. 1992; 67: 145 – 163. [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. Вибухова активність вентральних тегментарних дофамінових нейронів викликається сенсорними подразниками у неспаної кішки. Мозок Рез. 1997; 759: 251 – 258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]
61. Sheafor PJ. Псевдокондиновані рухи щелепи кролика відображають асоціації, зумовлені контекстуальними сигналами фону. J Exp Psychol: Anim Behav Proc. 1975; 104: 245 – 260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamine: узагальнення та бонуси. Нейронна мережа. 2002; 15: 549 – 559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]
63. Richfield EK, Pennney JB, Young AB. Порівняння анатомічного та спорідненого стану між рецепторами дофаміну D1 та D2 в центральній нервовій системі щурів. Неврознавство. 1989; 30: 767 – 777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]
64. Mackintosh NJ. Теорія уваги: Варіації асоціативності стимулу з підсиленням. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65. Пірс Дж. М., Зал Г. Модель павловського кондиціонування: зміни ефективності обумовлених, але не безумовних подразників. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]
66. Levy H, Markowitz HM. Апроксимація очікуваної корисності функцією середнього та дисперсії. Am Econ Rev. 1979; 69: 308 – 317.
;