Що означає допамін? (2018)

абстрактний

Чи є допамін сигналом для навчання, мотивації або обох?

Наше розуміння дофаміну змінилося в минулому і знову змінюється. Одним з критичних відмінностей є вплив дофаміну ток поведінка (продуктивність) і вплив дофаміну майбутнє поведінка (навчання). Обидва є реальними і важливими, але в різні часи одна була на користь, а інша - ні.

Коли (у «70s») стало можливим проводити селективне, повне ураження шляхів дофаміну, очевидним поведінковим наслідком було серйозне зниження руху¹. Це узгоджується з акінетичними ефектами втрати дофаміну у людей, що виробляються передовою хворобою Паркінсона, токсичними препаратами або енцефалітом². Але ні пацюки, ні людські випадки не виявляють фундаментальної нездатності рухатися. Щури з дофаміновими ураженнями плавають у холодній воді³і акінетіческіе пацієнти можуть вставати і бігти, якщо звучить пожежна сигналізація ("парадоксальна" кінезія). Також не існує основного дефіциту в оцінці нагороди: щури, які пошкоджені дофаміном, споживатимуть їжу, що міститься в роті, і показують ознаки насолоджування⁴. Навпаки, вони не намагатимуться докладати зусиль, щоб активно отримувати винагороди. Ці та багато інших результатів встановили фундаментальну зв'язок між дофаміном і мотивацією⁵. Навіть уповільнення руху, що спостерігається в менш важких випадках хвороби Паркінсона, можна вважати мотиваційним дефіцитом, що відображає неявні рішення, що не варто витрачати енергію, необхідну для більш швидких рухів.⁶.

Потім (у «80s») з'явилися піонерські записи нейронів дофаміну в мавпах (в області середнього мозку, що проектуються на передній мозок: вентральна область, VTA / substantia nigra pars compacta, SNc). Серед спостережуваних моделей стрільби були короткі спалахи активності для стимулів, які викликали негайне переміщення. Це "фазове" випалення дофаміну спочатку трактувалося як підтримка "поведінкової активації"⁷ і «мотиваційне збудження»⁸ - іншими словами, як активізація поточної поведінки тварини.

Корінний зсув відбувся в '90s, з реінтерпретацією фазових допамінових спалахів як кодування помилки прогнозування винагороди (RPEs⁹). Це ґрунтувалося на ключовому спостереженні: дофамінові клітини реагують на несподівані стимули, пов'язані з майбутнім винагородою, але часто припиняють відповідати, якщо ці стимули очікуються¹⁰. Ідея РПЕ виникла в більш ранніх теоріях навчання, і особливо в тодішньому розвитку комп'ютерних наук підкріплення навчання¹¹. Точкою сигналу RPE є оновлення величини(оцінки майбутніх винагород). Ці значення використовуються пізніше, щоб допомогти зробити вибір, який максимізує нагороду. Оскільки допамінові клітини нагадували RPEs, а RPEs використовувалися для навчання, стало природним підкреслювати роль допаміну в навчанні. Пізніше оптогенетичні маніпуляції підтвердили дофамінергічну ідентичність RPE-кодуючих клітин^12,13 і показали, що вони дійсно модулюють навчання^14,15.

Ідея, що допамін надає навчальний сигнал, прекрасно вписується в літературу, що допамін модулює синаптичну пластичність в смугастому тілі - первинну ціль дофаміну. Наприклад, потрійне збіг глутаматної стимуляції стриатального дендритового хребта, постсинаптичної деполяризації та вивільнення дофаміну призводить до росту хребта¹⁶. Допамінергічна модуляція механізмів довгострокового навчання допомагає пояснити стійкі поведінкові ефекти наркотичних речовин, що викликають звикання, які поділяють властивість посилення стриатального дофамінового вивільнення.¹⁷. Навіть глибока акінезія з втратою дофаміну може бути частково обумовлена ​​такими механізмами навчання¹⁸. Відсутність допаміну може розглядатися як постійно негативний RPE, що поступово оновлює значення дій до нуля. Подібні прогресуючі, подібні до екстинкції ефекти на поведінку можуть вироблятися антагоністами дофаміну^19,20.

Проте думка про те, що дофамін критично бере участь у постійній мотивації, ніколи не зникала - навпаки, поведінкові неврологи сприймають його як належне. Це доречно з огляду на вагомі докази того, що функції дофаміну в мотивації / русі / бадьорості не є відокремленими від навчання^15,20-23. Менш широко оцінюється проблема, пов'язана з узгодженням цієї мотиваційної ролі з теорією, що DA забезпечує сигнал навчання RPE.

Мотивація «дивиться вперед»: вона використовує передбачення майбутньої винагороди (цінностей), щоб належним чином активувати поточну поведінку. Навпаки, навчання «дивиться назад» у станах і діях в недавньому минулому, і оновлює їхні цінності. Це додаткові фази циклу: оновлені значення можуть бути використані в подальшому прийнятті рішень, якщо ці стани повторно зустрічаються, потім знову оновлюються і так далі. Але яка фаза циклу пов'язана з допаміном - використання цінностей для прийняття рішень (виконання) або оновлення цінностей (навчання)?

За деяких обставин неважко уявити, що допамін одночасно відтворює обидві ролі.²⁴Несподіваними, передбачувальними репліками є архетипічні події, які викликають викид і вивільнення дофамінових клітин, і такі сигнали, як правило, прискорюють поведінку і викликають навчання (Рис. 1). У цій конкретній ситуації одночасно збільшуються як прогнозування винагороди, так і помилки прогнозування винагороди - але це не завжди так. Як лише один із прикладів, людей та інших тварин часто спонукають працювати за винагороду, навіть коли мало чи нічого дивного не відбувається. Вони можуть працювати все більше і більше, коли вони наближаються і наближаються до винагороди (цінність зростає із наближенням винагороди). Справа в тому, що навчання та мотивація концептуально, обчислювально та поведінково відрізняються - і все ж дофамін, здається, робить і те, і інше.

Нижче я критично оцінюю сучасні уявлення про те, як допамін здатний досягти як навчальних, так і мотиваційних функцій. Я пропоную оновлену модель, засновану на трьох ключових фактах: 1) вивільнення дофаміну з терміналів не виникає просто з випалу дофамінових клітин, а також може бути локально контрольоване; 2) дофамін впливає як на синаптичну пластичність, так і на збудливість клітин-мішеней, з вираженими наслідками для навчання і продуктивності відповідно; 3) вплив дофаміну на пластичність може бути включений або виключений ближніми елементами схеми. Разом ці функції можуть дозволити мозкових ланцюгах перемикатися між двома різними дофаміновими повідомленнями, для навчання і мотивації відповідно.

Чи існують окремі «фазові» і «тонічні» дофамінові сигнали з різними значеннями?

Часто стверджується, що навчання і мотиваційні ролі дофаміну відбуваються в різних часових масштабах²⁵. Клітини дофаміну безперервно вибухають («тонічно») при декількох спайках за секунду, з випадковими короткими («фазовими») вибухами або паузами. Уриви, особливо якщо штучно синхронізовані через клітини дофаміну, призводять до відповідного швидкого збільшення дофаміну переднього мозку²⁶ які є дуже перехідними (тривалість до другої секунди)²⁷). Окремий внесок тонічної допамінової клітини до виникнення концентрації дофаміну в передньому мозку менш чіткий. Деякі дані свідчать, що цей внесок дуже малий²⁸. Може виявитися достатньо для отримання майже безперервної стимуляції рецепторів D2 з більш високою спорідненістю, дозволяючи системі помітити короткі паузи при випалюванні дофамінових клітин²⁹ і використовувати ці паузи як помилки негативного прогнозування.

Мікродіаліз широко використовувався для безпосереднього вимірювання рівнів дофаміну переднього мозку, хоча і з низькою тимчасовою роздільною здатністю (як правило, усереднення протягом багатьох хвилин). Такі повільні вимірювання дофаміну можуть бути складними для того, щоб стосуватися саме поведінки. Незважаючи на це, мікродіаліз дофаміну в ядрі accumbens (NAc; вентральна / медіальна смужка) демонструє позитивні кореляції з руховою активністю³⁰ та інші показники мотивації⁵. Це широко прийнято означати, що є повільні ("тонічні") зміни концентрації дофаміну, і що ці повільні зміни передають мотиваційний сигнал. Більш конкретно, обчислювальні моделі запропонували, щоб тонічні рівні дофаміну відстежували довгострокову середню норму винагороди³¹ - корисна мотиваційна змінна для розподілу часу та прийняття рішень. Варто підкреслити, що дуже мало робіт чітко визначають “тонізуючий” рівень дофаміну - вони, як правило, просто припускають, що концентрація дофаміну повільно змінюється протягом багатохвилинної шкали мікродіалізу.

Такий погляд на «фазовий допамін = RPE / навчання, тонічний дофамін = мотивація» стикається з багатьма проблемами. По-перше, немає прямих доказів того, що випалювання тонічних клітин дофаміну зазвичай змінюється на повільних шкалах часу. Тонічні показники випалу не змінюються при зміні мотивації^32,33. Стверджується, що тонічні рівні дофаміну змінюються через зміну частки активних дофамінових клітин^34,35. Проте в багатьох дослідженнях на нелікуваних тваринах дофамінові клітини ніколи не повідомляли про перехід між тихими і активними станами.

Крім того, той факт, що мікродіаліз вимірює повільно рівні дофаміну, не означає, що рівні дофаміну фактично змінюються повільно. Ми нещодавно¹⁵ досліджували щурячий NAc допамін в імовірнісному завданні винагороди, використовуючи як мікродіаліз, так і циклічну вольтамперометрію з швидким скануванням. Ми підтвердили, що мезолімбічний дофамін, виміряний за допомогою мікродіалізу, корелює зі швидкістю винагороди (нагороди / хв). Однак, навіть з поліпшеною тимчасовою роздільною здатністю мікродіалізу (1min), допамін змінювався так швидко, як ми його досліджували: ми не бачили доказів для спочатку повільного сигналу дофаміну.

За допомогою тонкої тимчасової роздільної здатності вольтамперометрії ми спостерігали тісний зв'язок між флуктуаціями і мотивацією допаміну. Коли щури виконували послідовність дій, необхідних для досягнення нагороди, допамін піднімався все вище і вище, досягаючи піку саме тоді, коли вони отримували винагороду (і швидко знижувалися, коли вони споживали). Ми показали, що допамін сильно корелює з миттєвим значенням стану, визначеним як очікуване майбутнє винагороду, з урахуванням очікуваного часу, необхідного для його отримання. Ці швидкі динаміки дофаміну також можуть пояснити результати мікродіалізу без застосування окремих дофамінових сигналів на різних часових шкалах. Коли тварини отримують більше винагороди, вони збільшують свої очікування на майбутні нагороди на кожному кроці пробної послідовності. Замість того, щоб повільно розвиватися середній сигнал прибутковості, кореляція між дофаміном і нормою винагороди найкраще пояснюється як середнє, протягом тривалого часу збирання зразків мікродіалізу, цих швидко розвиваються значень стану.

Ця інтерпретація величини мезолімбічного вивільнення дофаміну відповідає результатам вольтамперометрії з інших дослідницьких груп, які неодноразово виявляли, що вивільнення дофаміну зростає зі збільшенням близькості до винагороди^36-38(Рис. 2). Цей мотиваційний сигнал не є «повільним», а можна спостерігати через безперервний діапазон часу. Хоча допамінові пандуси можуть тривати кілька секунд, коли поведінка підходу також триває кілька секунд³⁸Це відображає час поведінки, а не внутрішню динаміку дофаміну. Взаємозв'язок між мезолімбічним вивільненням дофаміну і флуктуючою величиною видно так швидко, як це дозволяє техніка запису, тобто на часовій шкалі ~ 100ms з гострими вольтамперометричними електродами¹⁵.

Швидкі коливання дофаміну не просто відображають мотивацію, але й негайно ведуть мотивовану поведінку. Більші фазові реакції клітин дофаміну, щоб викликати киї, передбачають більш короткий час реакції на цьому ж дослідженні³⁹. Оптогенетична стимуляція дофамінових клітин VTA робить щурів більш вірогідними для початку роботи в нашому ймовірнісному завданні винагороди¹⁵, так само, як якщо б вони мали більш високі очікування від винагороди. Оптогенетична стимуляція нейронів дофаміну SNc, або їх аксонів у дорзальному стриатумі, збільшує ймовірність руху^40,41. Важливо, що ці поведінкові ефекти виявляються протягом декількох сотень мілісекунд початку оптиогенної стимуляції. Здатність стимулюючих стимулів підвищувати мотивацію виявляється опосередкованою дуже швидкою допамінергічною модуляцією збудливості колючих нейронів NAc⁴². Оскільки дофамін швидко змінюється, і ці зміни дофаміну швидко впливають на мотивацію, мотиваційні функції дофаміну краще описані як швидкі («фазові»), а не повільні («тонічні»).

Крім того, використання окремих швидких і повільних часових шкал саме по собі не вирішує проблему декодування, з якою стикаються нейрони з дофаміновими рецепторами. Якщо дофамін сигналізує про навчання, модуляція синаптичної пластичності здається відповідною клітинною реакцією. Але негайний вплив на мотивовану поведінку передбачає негайний вплив на спайк - наприклад, через швидкі зміни збудливості. Дофамін може мати обидва ці постсинаптичні ефекти (і більше), тож чи має дана концентрація дофаміну конкретне значення? Або це значення потрібно будувати - наприклад, порівнюючи рівні дофаміну в часі, або використовуючи інші випадкові сигнали, щоб визначити, який клітинний механізм задіяти? Ця можливість обговорюється далі.

Чи вивільняє допамін таку ж інформацію, що і випалювання клітин дофаміну?

Зв'язок між швидкими коливаннями дофаміну і мотиваційною цінністю здається дивним, враховуючи, що випалювання клітин дофаміну нагадує RPE. Крім того, деякі дослідження повідомляли про сигнали RPE в мезолімбічному вивільненні дофаміну⁴³. Важливо відзначити проблему при інтерпретації деяких форм нейронних даних. Сигнали значення та коефіцієнти коефіцієнта корисної дії співвідносяться між собою - як не дивно, оскільки коефіцієнт коефіцієнта корисної дії зазвичай визначається як зміна значення від одного моменту до іншого (коефіцієнт часової різниці). Через цю кореляцію критично важливо використовувати експериментальні конструкції та аналізи, що відрізняють вартість від рахунків RPE. Проблема ускладнюється при використанні нейронної міри, яка покладається на відносні, а не абсолютні зміни сигналу. Аналізи вольтамперометрії зазвичай порівнюють дофамін у певний момент часу, що цікавить, з “базовою” епохою раніше в кожному дослідженні (для видалення сигнальних компонентів, які не залежать від дофаміну, включаючи зарядку електродів на кожному розгортці напруги та дрейф протягом часового масштабу хвилин). Але віднімання базової лінії може зробити сигнал значення схожим на сигнал RPE. Це те, що ми спостерігали у власних даних вольтамперометрії (Рис. 2e). Зміни в очікуванні винагороди відбивалися на зміні концентрації дофаміну на початку кожного випробування, і ці зміни були пропущені, якщо припустити постійну базову лінію при випробуваннях.¹⁵. Таким чином, висновки щодо вивільнення дофаміну та кодування RPE потребують обережності. Ця небезпека інтерпретації даних стосується не лише вольтамперометрії, але й будь-якого аналізу, який спирається на відносні зміни - потенційно включаючи деякі фМРТ та фотометрію⁴⁴.

Тим не менш, нам все ще потрібно узгодити вивільнення дофаміну, пов'язане з цінністю, в ядрі NAc з послідовною відсутністю значень, пов'язаних зі збільшенням кількості дофамінових нейронів¹³навіть у бічній зоні VTA, що забезпечує допамін до ядра NAc⁴⁵. Одним з потенційних факторів є те, що дофамінові клітини зазвичай фіксуються у тварин, що стримуються головою, виконуючи класичні завдання з кондиціонування, тоді як вивільнення дофаміну зазвичай вимірюється у нестримних тварин, які активно рухаються через їх оточення. Ми запропонували, що мезолімбічний допамін може конкретно вказати на значення "роботи"¹⁵ - що воно відображає вимогу приділяти час та зусилля для отримання винагороди. Відповідно до цього, дофамін зростає із сигналами, що вказують на рух, але не з сигналами, що вказують на нерухомість, навіть коли вони вказують на подібну майбутню винагороду⁴⁶. Якщо - як і в багатьох класичних завданнях з кондиціонування - активна «робота» не приносить користі, то дофамінергічні зміни, що вказують на цінність роботи, можуть бути менш очевидними.

Ще більш важливим може бути той факт, що вивільнення дофаміну може локально контролюватися на самих терміналах, і таким чином показувати просторово-часові структури, незалежні від піку тіла клітин. Наприклад, базалотеральна амигдала (BLA) може впливати на вивільнення дофаміну NAc, навіть коли VTA інактивована⁴⁷. І навпаки, інактивація BLA знижує вивільнення дофаміну NAc і відповідну мотивовану поведінку, не маючи явно впливу на випал VTA⁴⁸. Допамінові термінали мають рецептори для ряду нейротрансмітерів, включаючи глутамат, опіоїди і ацетилхолін. Нікотинові ацетилхолінові рецептори дозволяють стриральним холінергічним інтернейронам (CIN) швидко контролювати вивільнення дофаміну^49,50. Хоча вже давно було відзначено, що місцевий контроль вивільнення дофаміну потенційно важливий^7,51, вона не була включена в обчислювальну звітність дофамінової функції. Я вважаю, що динаміка вивільнення дофаміну, пов'язана з кодуванням величини, виникає значною мірою через місцевий контроль, навіть якщо випалювання дофамінових клітин забезпечує важливі RPE-подібні сигнали для навчання.

Як дофамін може розуміти як навчання, так і мотивацію без плутанини?

В принципі, для передачі RPE достатньо сигналу значення, оскільки швидкісно-різницеві RPE просто є швидкими змінами у значенні (2B). Наприклад, чіткі внутрішньоклітинні шляхи в цільових нейронах можуть бути різними чутливими до абсолютної концентрації дофаміну (представляє значення) проти швидких відносних змін концентрації (що представляють RPE). Ця схема здається правдоподібною, враховуючи складну допамінову модуляцію фізіології колючого нейрона⁵² та їх чутливість до тимчасових закономірностей концентрації кальцію⁵³. Проте це також здається дещо зайвим. Якщо RPE-подібний сигнал вже існує в пікируванні дофамінових клітин, то слід використовувати його, а не повторно отримувати RPE з сигналу значення.

Щоб належним чином використовувати чіткі сигнали RPE і значення, дофаміново-реципієрні схеми можуть активно перемикати, як вони інтерпретують допамін. Існує інтригуючий доказ того, що ацетилхолін також може служити цьому переключенню. У той же час, коли клітини дофаміну викидають сплески спайків до несподіваних сигналів, CIN показують короткий (~ 150ms) паузи при стрільбі, які не масштабуються з РПЕ⁵⁴. Ці паузи CIN можуть керуватися нейронами VTA GABAergic⁵⁵ а також "сюрприз" -зв'язаних клітин в інтраламінарному таламусі, і запропоновано діяти як сигнал асоціативності, що сприяє навчанню⁵⁶. Морріс і Бергман запропонували⁵⁴ що холінергічні паузи визначають тимчасові вікна для стриатичної пластичності, під час яких допамін може використовуватися як навчальний сигнал. Допамін-залежну пластичність постійно пригнічується механізмами, включаючи мускаринові рецептори m4 на прямих шляхових нейронах⁵⁷. Моделі внутрішньоклітинної передачі сигналів свідчать про те, що під час пауз CIN відсутність зв'язування m4 може діяти синергічно з фазовими спалахами дофаміну для підвищення активації PKA⁵⁸тим самим сприяючи синаптичним змінам.

Таким чином, стратальні холінергічні клітини добре розташовані для динамічного перемикання значення мультиплексованого допамінергічного повідомлення. Під час пауз CIN, полегшення мускаринового блоку над синаптичною пластичністю дозволило б використовувати допамін для навчання. В інший час випуск з дофамінових терміналів буде локально скульптурний, щоб впливати на поточну поведінкову ефективність. Наразі ця пропозиція є одночасно спекулятивною та неповною. Запропоновано, що CIN інтегрують інформацію з багатьох навколишніх колючих нейронів для вилучення корисних сигналів на рівні мережі, таких як ентропія^59,60. Але не зовсім зрозуміло, що динаміка активності CIN може бути використана для генерування сигналів значення дофаміну⁶¹, а також затвору дофамінових навчальних сигналів.

Чи означає дофамін одне й те саме на всьому передньому мозку?

Ідея RPE стала уявою, що допамін є глобальним сигналом, який передає повідомлення про помилку на всіх смугастих і лобових кортикальних мішенях. Шульц підкреслив, що мавпа клітини допаміну по всій ВТА і SNc мають дуже схожі реакції⁶². Дослідження ідентифікованих клітин дофаміну також виявили досить гомогенні RPE-подібні відповіді у гризунів, принаймні для бічних нейронів VTA в класичних контекстах кондиціонування.¹³. Проте клітини дофаміну молекулярно і фізіологічно різноманітні^63-65 і тепер багато повідомлень про те, що вони показують різноманітні моделі стрільби в поведінці тварин. До них відносяться фазові збільшення стрільби до аверсивних подій⁶⁶ і тригерів⁶⁷ які погано відповідають стандартному обліковому запису RPE. Багато клітини дофаміну показують початкову короткозачастую реакцію на сенсорні події, що відображає несподіванку або "оповіщення" більше, ніж специфічне кодування RPE^68,69. Цей аспект оповіщення є більш помітним у SNc⁶⁹, де дофамінові клітини більше проектуються до «сенсомоторного» дорсального / бічного стриатума (DLS^45,63). Також повідомлялося, що субпопуляції клітин дофаміну SNc зростають⁴¹ або зменшення⁷⁰ стрільба в поєднанні зі спонтанними рухами, навіть без зовнішніх сигналів.

Кілька груп використовували волоконну фотометрію і кальцієвий індикатор GCaMP для вивчення об'ємної активності субпопуляцій дофамінових нейронів^71,72. Клітини дофаміну, які потрапляють у дорсальний / медіальний стриатум (DMS), показали тимчасово депресивну активність до несподіваних коротких потрясінь, тоді як ті, що проектували до DLS, показали підвищену активність⁷¹- більше відповідає попереджувальній реакції. Виразні дофамінергічні відповіді в різних субрегіонах переднього мозку також спостерігались за допомогою GCaMP для вивчення активності аксонів і терміналів дофаміну^40,72,73. Використовуючи двофотонну візуалізацію у голови-стриманих мишей, Howe і Dombeck⁴⁰ повідомили про фазову дофамінову активність, пов'язану зі спонтанними рухами. Це спостерігалося переважно в окремих дофамінових аксонах з SNc, які припинялися в дорзальному стриатумі, тоді як VTA-дофамінові аксони в NAc більше відповідали на винагороду. Інші також виявили дофамінергічну активність, пов'язану з винагородою, в NAc, причому DMS замість цього більше пов'язана з контралатеральними діями⁷² і задній хвіст стриатума, що реагує на аверсивні і нові стимули⁷⁴.

Прямі заходи вивільнення дофаміну також виявляють неоднорідність між субрегіонами^30,75. За допомогою мікродіалізу виявили, що допамін корелює зі значенням специфічно в ядрі NAc і вентрально-медіальній фронтальній корі, а не в інших медіальних частинах стриатума (оболонка NAc, DMS) або фронтальної кори. Це цікаво, оскільки, здається, добре відобразиться на двох "гарячих точках" ціннісного кодування, які послідовно видно в дослідженнях людських fMRI.^76,77. Зокрема, сигнал NAc BOLD, який має тісний зв'язок з сигналізацією дофаміну⁷⁸, збільшується із очікуванням винагороди (значення) - більше, ніж із RPE⁷⁶.

Незалежно від того, що ці просторові закономірності вивільнення дофаміну виникають внаслідок окремих субпопуляцій клітин дофаміну, місцевого контролю вивільнення дофаміну або обох, вони кидають виклик ідеї глобального дофамінового повідомлення. Можна зробити висновок, що існує багато різних дофамінових функцій, з (наприклад) допаміном в дорусному стриатумі, що передає сигнали, і дофаміном у вентральному стриатумі, що сигналізує «винагороду».⁴⁰. Однак я підтримую інший концептуальний підхід. Різні стриатичні субрегіони отримують вхідні дані з різних коркових регіонів і таким чином оброблятимуть різні типи інформації. Проте кожна смугова субрегіон має спільну архітектуру мікросхем, включаючи окремі D1- проти D2-рецепторів, що несуть колючі нейрони⁷⁹, CIN та ін. Хоча загальні посилаються на різні стриатичні субрегіони (наприклад, DLS, DMS, NAc ядро), так як якщо вони є дискретними областями, між ними немає різких анатомічних кордонів (оболонка NAc трохи нейрохімічно відрізняється). Навпаки, існують лише ніжні градієнти щільності рецепторів, співвідношення міжнейронів і т.д., які здаються більш схожими на параметри загального обчислювального алгоритму. З огляду на цю загальну архітектуру, чи можна описати загальну функцію дофаміну, відірвану від конкретної інформації, яку обробляє кожна субрегіон?

Стратал дофамін і виділення обмежених ресурсів.

Я вважаю, що різноманітні впливи допаміну на поточну поведінку можна розуміти як модуляцію рішення щодо розподілу ресурсів. Зокрема, допамін дає оцінку того, наскільки варто витрачати обмежений внутрішній ресурс, причому конкретний ресурс відрізняється між стриатичними субрегіонами. Для «моторного» стриатума (~ DLS) ресурс - це рух, який обмежений, тому що витрати на енергію рухаються, і тому, що багато дій несумісні один з одним⁸⁰. Збільшення дофаміну робить більш вірогідним, що тварина вирішить, що варто витрачати енергію, щоб рухатися, або рухатися швидше^6,40,81. Зауважимо, що сигнал допаміну, який кодує «рух є вартим», дасть кореляцію між дофаміном і рухом, навіть без домінового кодування «руху» сам по собі.

Для «когнітивного» стриатума (~ DMS) ресурси - це когнітивні процеси, включаючи увагу (що є обмеженою потужністю за визначенням).⁸²) і робочої пам'яті⁸³. Без допамінових зовнішніх сигналів, які зазвичай провокують орієнтуючі рухи, нехтують, як би вважаються менш уважними³. Крім того, навмисне маршалювання процесів когнітивного контролю є зусиллям (дорогим)⁸⁴). Допамін - особливо в DMS⁸⁵ - відіграє ключову роль у вирішенні питання, чи варто докладати ці зусилля^86,87. Це може включати використання більш когнітивно-вимогливих, деліберативних (“модельних”) стратегій прийняття рішень⁸⁸.

Для «мотиваційного» стриатума (~ NAc) одним з ключових обмежених ресурсів може бути час тварини. Мезолімбічний допамін не потрібний, коли тварини виконують просту, фіксовану дію, щоб швидко отримати винагороду⁸⁹. Але багато форм винагороди можуть бути отримані тільки за допомогою тривалої роботи: розширених послідовностей ненаданих дій, як у нагулі. Вибір участі у роботі означає, що треба відмовитися від інших корисних способів витрачати час. Високий мезолімбічний допамін свідчить про те, що залучення до тимчасово-протяжної, напруженої роботи варто, але, оскільки знижений дофамін, тварини не турбують, а можуть замість цього просто підготуватися до сну⁹⁰.

У кожній кортико-стриатній ланцюзі внесок допаміну в поточну поведінку, таким чином, є одночасно економічним (пов'язаним з розподілом ресурсів) і мотиваційним (чи є варто витрачати ресурси⁸¹). Ці схеми не є повністю незалежними, а скоріше мають ієрархічну, спіральну організацію: більше вентральних ділянок стриатуму впливають на клітини дофаміну, які проектуються на більш дорсальні частини^5,91. Таким чином рішення про участь у роботі можуть також допомогти активізувати необхідні специфічні, коротші рухи. Але загалом дофамін подає «активаційні» сигнали - збільшуючи ймовірність прийняття певного рішення - замість «спрямованих» сигналів, що визначають як необхідно витрачати ресурси⁵.

У чому полягає обчислювальна роль дофаміну як рішення?

Один із способів мислити про цю активізаційну роль полягає в «порогових значеннях» прийняття рішень. У деяких математичних моделях процеси прийняття рішень зростають, поки вони не досягають порогового рівня, коли система стає прихильною до дії⁹². Більш високий допамін був би еквівалентний меншій відстані до порога, так що рішення досягаються швидше. Ця ідея спрощена, але робить кількісні передбачення, які були підтверджені. Зниження порогів руху викликало б певну зміну форми розподілу часу реакції, саме те, що видно, коли амфетамін вводиться в сенсомоторний стриатум²⁰.

Замість фіксованих порогів, поведінкові та нейронні дані можуть бути краще пристосовані, якщо порогові значення зменшуються з плином часу, як якщо б рішення ставали все більш актуальними. Базальний вихід гангліїв був запропонований для забезпечення динамічно розвивається сигналу невідкладності, який активізує механізми виділення в корі \ t⁹³. Актуальність також була більшою, коли майбутні нагороди були ближче в часі, роблячи цю концепцію схожою на значення кодування, активаційну роль дофаміну.

Чи є така активаційна роль достатньою для того, щоб описати ефекти, що впливають на продуктивність дофаміну? Це пов'язано з давно поставленим питанням про те, чи безпосередньо ланцюги базальних гангліїв обирають серед вивчених дій⁸⁰ або просто активізувати вибір, зроблений в іншому місці^93,94. Є, принаймні, два способи, якими може здаватися, що допамін має більш «спрямований» ефект. По-перше, коли допамін діє в межах субрегіону мозку, який обробляє невід'ємно спрямовану інформацію. Базальні ланцюги гангліїв мають важливу, частково латерализованную роль, орієнтуючись на потенційні нагороди і наближаючись до них. Хвостовик приматів (~ DMS) бере участь у русі очних рухів до контралатеральних просторових полів⁹⁵. Допамінергічний сигнал, що щось в контралатеральному просторі варто орієнтувати в бік, може пояснювати спостережувану кореляцію між дофамінергічною активністю в ДМС і контралатеральними рухами⁷², а також обертальна поведінка, що виробляється маніпуляціями дофаміну⁹⁶. Другий «спрямований» вплив допаміну очевидний, коли (двосторонні) ураження дофаміном зміщують щурів до вибору з низьким рівнем зусиль / низькою винагородою, а не з альтернативами з високим рівнем зусиль / високою винагородою⁹⁷. Це може відображати той факт, що деякі рішення є більш послідовними, ніж паралельні, коли щури (і люди) оцінюють варіанти один на один⁹⁸. У цих контекстах прийняття рішення про допамін все ще може платити принципову активаційну роль, передаючи значення розглянутих на даний момент варіантів, які потім можуть бути прийняті чи ні²⁴.

Активні тварини приймають рішення на декількох рівнях, часто з високими показниками. Крім мислення про окремі рішення, може бути корисним розглянути загальну траєкторію через послідовність станів (Рис. 1). Допомагаючи переходи від одного стану до іншого, дофамін може прискорити потік вздовж вивчених траєкторій⁹⁹. Це може бути пов'язане з важливим впливом дофаміну на час поведінки^44,100. Одним з ключових кордонів для майбутньої роботи є глибше розуміння того, як такі ефекти дофаміну на поточну поведінку виникають механічно, змінюючи обробку інформації в окремих клітинах, мікросхеми і великомасштабні петлі кортикально-базальних гангліїв. Крім того, я наголошував на спільних обчислювальних ролях дофаміну в ряді стріатних мішеней, але значною мірою нехтував корковими мішенями, і залишається з'ясувати, чи можна описати функції дофаміну в обох структурах в межах однієї структури.

В цілому, адекватний опис дофаміну пояснює, як дофамін може сигналізувати як про навчання, так і про мотивацію, на тій же швидкій шкалі часу, без плутанини. Це пояснюватиме, чому вивільнення дофаміну в ключових мішенях коваріє з очікуванням винагороди, навіть якщо випалювання дофамінових клітин не відбувається. І це забезпечить єдиний обчислювальний рахунок дій дофаміну у всьому стриатуме та в інших місцях, що пояснює невідповідність поведінкових впливів на рух, пізнання та терміни. Деякі конкретні ідеї, представлені тут, є спекулятивними, але мають на меті активізувати оновлені дискусії, моделювання та нові експерименти.

Подяка.

Список використаної літератури: