Дисоціативна динаміка дофаміну для навчання та мотивації (2019)

https://www.nature.com/articles/s41586-019-1235-y

абстрактний

Проекція дофаміну з вентральної сегментарної зони (VTA) на ядро ​​накопичення (NAc) є критично важливою для мотивації працювати на винагороду та навчання, яке визначається винагородою. Не зрозуміло, як дофамін підтримує обидві функції. Пікінг клітин дофаміну може кодувати помилки передбачення, які є життєво важливими навчальними сигналами в обчислювальних теоріях адаптивної поведінки. Навпаки, викид дофаміну збільшується, коли тварини наближаються до винагород, відображаючи очікування винагороди. Ця невідповідність може відображати різницю в поведінкових завданнях, повільніші зміни у стрибках клітин дофаміну або незалежна модуляція вивільнення дофаміну. Тут ми порівнюємо збільшення кількості ідентифікованих клітин дофаміну VTA з вивільненням NAc дофаміну в тому самому завданні прийняття рішень. Репліки, які вказують на майбутню винагороду, збільшили як збільшення, так і випуск. Однак вивільнення дофаміну в ядрі NAc також співпадало з динамічно розвиваються очікуваннями винагороди, без відповідних змін у стрибку клітин дофаміну VTA. Наші результати вказують на принципову різницю в тому, як регулюється вивільнення дофаміну для досягнення різних функцій: широкомовні раптові сигнали сприяють навчанню, тоді як місцевий контроль керує мотивацією.

головний

Дофамін, як відомо, пов'язаний з «винагородою», але як саме? Одна з функцій включає навчання з несподіваних нагород. Короткий приріст випалу дофамінових клітин кодує помилки прогнозування винагороди (RPE)1,2,3—Навчання сигналів для оптимізації майбутньої мотивованої поведінки. Маніпуляції з дофаміном можуть впливати на навчання так, ніби вони змінюють ІПП4,5,6, але вони також негайно впливають на мотивовану поведінку, ніби дофамін сигналізує про очікування нагороди (значення)5. Крім того, допамін NAc ескалює під час мотивованого підходу, що відповідає значенню кодування дофаміну7,8,9,10,11.

За невеликими винятками2,12,13, випалення дофаміну середнього мозку було обстежено під час класичного кондиціонування у тварин з фіксованою головою3,14на відміну від вивільнення дофаміну переднього мозку. Тому ми порівнювали стрільбу з викидом при тих же умовах. Ми визначили дофамінові нейтрони VTA, використовуючи оптогенетичне маркування3,13. Для вимірювання вивільнення допаміну NAc ми використовували три незалежні методи - мікродіаліз, вольтамметрія та оптичний датчик dLight15—З конвергентними результатами. Наш головний висновок полягає в тому, що, хоча масштаб RPE-спалаху спалаху дофаміну VTA забезпечує різкі зміни вивільнення дофаміну, придатні для навчання, окремі коливання допаміну NAc, пов’язані з мотивацією, виникають незалежно від випалення клітин дофамінових клітин VTA.

Дофамін відстежує мотивацію в ключових локусах

Ми тренували щурів виконувати завдання "бандитського" операнта5 (Мал. 1a, б). Під час кожного випробування підсвічування порту для тикання носа ('Light-on') підказувало підхід та вхід ('Center-in'). Після періоду змінної затримки (0.5–1.5 с), білий шум («Перехід») змусив щура відступити («Центр-аут») і просунути сусідній порт («Бічний вхід»). На випробуваннях з винагородою ця подія Side-in супроводжувалась клацанням у бункері для їжі, що спонукало щура підійти до харчового порту ('Food-port-in'), щоб забрати цукрові гранули. Вибір вліво та вправо був нагороджений незалежними ймовірностями, які час від часу змінювались без попередження. Коли щури частіше отримували нагороди, вони були більш мотивовані виконувати завдання. Це було очевидно з їхньої "латентності" - часу між Світлом і Центром-що було чутливим до результатів попередніх кількох випробувань (Розширені дані Рис. 1) і тим самим масштабуватись зворотно із коефіцієнтом винагороди (рис. 1b).

Рис. 1: Коварії вивільнення дофаміну зі швидкістю винагороди конкретно в ядрі NAc та вентральній прелімбічній корі.
цифра1

a, Події бандитських завдань. b, Приклад сеансу. Верхній рядок, ймовірність нагородження в кожному блоці (ліворуч: праворуч); рядок другий, галочки вказують на результат кожного випробування (високий, винагороджений; короткий, не нагороджений); рядок третій, негерметичний інтегратор оцінки рівня винагороди (чорний) та середнє значення затримки (блакитний; шкала перевернутого журналу); нижній ряд, основний дофамін NAc в тому ж сеансі (1-хвилинні зразки). DA, дофамін. c, Вгорі, місця мікродіалізу в медіальній лобній корі та смузі (див. Також Розширені дані Рис. 1). n = 51 місце розташування зондів від 12 щурів, кожен з 2 зондами для мікродіалізу, які були опущені між сеансами. Колір смуги вказує на кореляцію між дофаміном та рівнем винагороди. АСС, передня цингулярна кора; dPL, спинна прелімбічна кора; vPL, вентральна прелімбічна кора; ІЛ, інфралімбічна кора; DMS, дорсально-медіальний смугастий. Середні, усереднені перехресні корелограми між дофаміном та рівнем винагороди. Червоні смуги позначають 99% довірчий інтервал від перемішаних часових рядів. Внизу, взаємозв'язок між нейрохімікатами та рівнем винагороди (множинна регресія). NA, норадреналін; 5-HT, серотонін; АЧ, ацетилхолін; ГАМК, γ-аміномасляна кислота; Глю, глутамат; NM, норметадреналін; DOPAC, 3,4-дигідроксифенілоцтова кислота; 3-МТ, 3-метокситирамін; HVA, гомованілова кислота; 5-HIAA, 5-гідроксиіндолецтова кислота. d, Вплив блокових переходів на коефіцієнт винагороди (ліворуч), затримку (середній) та основний дофамін NAc (праворуч). Переходи класифікувались за тим, чи зростала досвідчена ставка винагороди (n = 25) або зменшився (n = 33). Дані отримані з усіх 14 сеансів, в яких вимірювали допамін серцевини NAc (один на щура, поєднуючи дані нових та раніше повідомлених5 тварини), і побудовано як середнє значення ± сем e, Складені карти співвідношень між дофаміном та коефіцієнтом винагороди (n = 19 щурів, 33 сеанси, 58 розміщення зондів). Контури атласу мозку на цьому малюнку відтворені з дозволу Паксіноса та Ватсона, 2005 рік51.

Ми раніше повідомляли5 співвідношення між вивільненням допаміну NAc та коефіцієнтом винагороди, що відповідає мотиваційній ролі мезолімбічного дофаміну16. Тут ми спершу мали на меті визначити, чи спостерігається ця взаємозв'язок у всіх цілях переднього мозку, що відповідає «глобально трансльованому» сигналу дофаміну17або обмежена певними субрегіонами. Ми також висловлювали гіпотезу, що ці динаміки дофаміну будуть відрізнятися між стриатумом та корою, оскільки ці структури мають чітку кінетику поглинання дофаміну та деградації.18 і може використовувати дофамін для різних функцій19,20.

За допомогою мікродіалізу з високоефективною рідинною хроматографією-мас-спектрометрією (ВЕРХ – МС) ми обстежили медіальну лобну кору та смугастий (рис. 1c, Розширені дані Рис. 1). Ми одночасно аналізували нейромедіатори та метаболіти 21 з часовою роздільною здатністю 1 та використовували регресію для порівняння хімічних часових рядів із змінними поведінки (розширені дані Рис. 2).

Ми повторили співвідношення між коефіцієнтом винагороди та допаміном NAc - на відміну від інших нейротрансмітерів (рис. 1c, буд). Однак цей зв'язок був локалізований на ядрі NAc і не містився в оболонці NAc або дорсально-медіальній смузі. Всупереч нашій гіпотезі, ми спостерігали подібну просторову картину у лобовій корі: вивільнення дофаміну, корельоване зі швидкістю винагороди у вентральній прелімбічній корі, але не у більш дорсальних або вентральних субрегіонах (рис. 1c, е). Хоч і несподівано, ці «близнюки» викидів дофаміну, пов’язані зі значенням, мають інтригуючу паралель у нейровізуалізації людини: сигнал, що залежить від рівня кисню в крові, співвідноситься з суб’єктивною цінністю, зокрема, у NAc та преналронтальній корі вентрально-медіальної зони.21.

Стрільба VTA не пов'язана з мотивацією

Далі ми розглядали, чи виникає цей мотиваційний дофамін переднього мозку від змінної стрільби клітин дофаміну середнього мозку. Ядро NAc отримує введення дофаміну з бічних порцій VTA (VTA-l)6,22,23. Як повідомляється, у нерухомих мишей нейрони дофаміну VTA-l мають рівномірну відповідь на RPE на умовні подразники3. Для запису клітин дофаміну VTA-l ми інфікували VTA адено-асоційованим вірусом (AAV) для Cre-залежної експресії канардопсина (AAV-DIO-ChR2) у щурів, які експресують Cre рекомбіназу під промотором тирозину гідроксилази (TH) (див. Методи). Оптроди (рис. 2a, б) зафіксовано одномоментні відповіді на короткі синьо-лазерні імпульси (рис. 2c, Розширені дані Рис. 3, 4, Додатковий рис. 1). Ми знайшли 27 добре відокремлені клітини VTA-l з надійними короткочасними спайками та визначили їх як нейрони дофаміну.

Рис. 2: Активність ідентифікованих дофамінових нейронів VTA не змінюється зі швидкістю винагороди.
цифра2

a, Ліва, оптична схема з 16 тетродами оптичного волокна діаметром близько 200 мкм. Справа, приклад розміщення оптрода в бічному VTA. Вага, 1 мм. Червоний, маркер клітин дофаміну тирозингідроксилаза; зелений, ChR2 – EYFP; жовтий, перекриваються. Для всіх місць розташування див. Розширені дані Рис. 3. b, Спайки клітин дофаміну VTA. Червоні смуги вказують на виявлені спалахи та кількість шипів у кожному зриві (див Методи). Масштаб, 0.5 с, 0.5 мВ. c, Приклад реакції нейронів на лазерні імпульси зростаючої тривалості. d, Швидкість стрільби на всій сесії проти ширини шипа (на половині максимуму) для кожної комірки VTA. Сині, помічені клітини дофаміну; фіолетовий, чітке скупчення нейронів, що не припускають дофамін. Вкладиші, приклади середніх форм хвиль (від’ємна напруга вгору). e, Швидкість стрільби (синій; 1-хвилинні біни) нейрону дофаміну VTA під час завдання бандита. Латентні (блакитні) ковари з коефіцієнтом винагороди, а швидкість стрільби - ні. f, Коефіцієнт стрільби для всіх нейронів VTA (синій, дофамін; фіолетовий, не-дофамін; сірий, некласифікований) у низьких порівняно з високими блоками коефіцієнтів винагороди. Жодна не виявила суттєвих відмінностей (Wilcoxon підписав тест на рангові випробування, використовуючи 1-хв. Букви, усі P > 0.05 після виправлення для багаторазового порівняння). g, Середня перехресна кореляція між випаленням дофамінових клітин та коефіцієнтом винагороди не показує значного зв'язку. h, Аналіз швидкості випалу дофаміну при блокових переходах (той же формат, що і Рис. 1d). n = 95 винагорода збільшується, 76 зменшується. i. Розподіл інтервалів між шипами (ISI, ліворуч) та сплеск шипів (праворуч) не змінюються між вищими та нижчими блоками ставок винагороди (статистика Колмогорова – Смірнова: ISI, 0.138, P = 0.92; сплески, 0.165, P = 0.63).

Усі дофамінові нейрони були тонічно активними, із відносно низькими показниками випалу (середні 7.7 Гц, діапазон 3.7–12.9 Гц; порівняно з усіма нейронами VTA-l, записаними разом з дофаміновими клітинами, P <0.001 однобічний тест Манна – Уітні). Вони також мали довше тривалі хвильові форми (P <5 × 10-6односхилий тест Манна – Вітні), хоча були винятки (рис. 2d), що підтверджує, що тривалість форми хвилі є недостатнім маркером клітин дофаміну in vivo3,24. Виразний скупчення нейронів VTA-l (n = 38, з тих самих сеансів) з короткими формами хвиль та вищими показниками випалу (> 20 Гц; середнє значення 41.3 Гц, діапазон 20.1–97.1 Гц) не включало мічених дофамінових клітин. Ми припускаємо, що ці клітини, що швидше випалюються, є GABAergic та / або глутаматергічними3,25, і позначайте їх як "не-дофамін" нижче.

Ми записали одні і ті ж дофамінові клітини в різних поведінкових завданнях. Клітини дофаміну VTA-l реагували сильно на випадкові приурочені клацання їжі-бункера, і прогресивно менш сильно, коли ці клацання робили передбачуванішими попередніми сигналами (розширені дані Рис. 5). Це узгоджується з канонічним RPE-подібним кодуванням клітинами допаміну в павловських завданнях2,3,26.

На підставі доказів, отриманих від знеболених тварин, раніше доводилося, що змінений рівень дофаміну, виміряний за допомогою мікродіалізу, виникає внаслідок зміни швидкості тонічного випалу клітин дофаміну.27 та / або частка активних проти неактивних дофамінових нейронів28. Однак у бандитській задачі випалення тонічних дофамінових клітин у кожному блоці випробувань було байдуже до рівня винагороди (рис. 2e, g). Не спостерігалося суттєвої зміни швидкості випалу окремих дофамінових клітин або будь-яких інших нейронів VTA-l між блоками вищої та нижчої винагороди (рис. 2f, год; див. також вип. 29 для конкордантних результатів мишей, що фіксують голову). Не спостерігалося також загальної зміни швидкості, з якою клітини дофаміну вистрілюють сплески шипів (рис. 2i). Крім того, ми не спостерігали жодних дофамінових клітин, що перемикалися між активними та неактивними станами. Частка дофамінових клітин, проведених неактивно (довгі інтервали між спайками), була дуже низькою і не змінювалася між блоками вищої та нижчої винагороди (рис. 2i).

Інтенсивно досліджувалася анатомія проекції дофаміну VTA – NAc6,22,23, але - враховуючи це явне функціональне невідповідність між стрільбою та випуском - ми підтвердили, що ми записували з правильної частини VTA. Невеликі ін'єкції ретроградного токсину холери холери (CTb) в серцевину NAc призвели до щільного маркування TH+ нейрони в тій же зоні VTA-l, що й наші опитродні записи (Розширені дані Рис. 3). У межах приблизної зони запису 21% TH+ клітини також були CTb+, і це, ймовірно, є недооцінкою частки NAC-l-дофамінових клітин, що проектують ядро ​​NAc, оскільки наші ін'єкції не повністю заповнюють ядро ​​NAc. Таким чином, наш зразок о n = 27 мічених дофамінових клітин VTA (плюс багато інших не позначених клітин) майже напевно включає нейрони, що проектують ядро ​​NAc. Нарешті, у додаткового щура ми записали дві мічені клітини дофаміну VTA-XNUMX після селективного введення AAV в ядро ​​NAc (Розширені дані, рис. 3). Обидві ретроградно інфіковані клітини мали схеми випалу, які за всіма ознаками дуже нагадували інші позначені дофамінові клітини, включаючи відсутність змін тонічного випалу з різною нормою винагороди (Додаткова Рис.1). Ми робимо висновок, що зміни тонізованого випалення дофамінових клітин дотаміну VTA не відповідають за мотиваційні зміни вивільнення дофаміну переднього мозку.

Відстеження випуску в декількох часових масштабах

Чи вивільняє NAc дофамін відслідковує коефіцієнт винагороди, як це пропонується в деяких теоріях30чи це кореляція обумовлена ​​динамічними коливаннями вивільнення дофаміну, які занадто швидко розсмоктуються за допомогою мікродіалізу? Ми стверджували про останню можливість на основі даних вольтаметрії5, але шукав підтвердження, використовуючи незалежну міру вивільнення дофаміну, яка може охоплювати різні часові шкали. Набір dLight1 генетично кодованих оптичних дофамінових індикаторів був розроблений шляхом введення кругової перестановки GFP в рецептори дофаміну D115. Зв'язування дофаміну викликає високоспецифічне збільшення флуоресценції (рис. 3a). Ми вливали AAV в NAc, щоб виразити або dLight1.1 (чотири перевірених місця розташування NAc від трьох щурів), або яскравіший варіант dLight1.3b (шість перевірених розташування NAc від чотирьох щурів) і відстежували флуоресценцію за допомогою волоконної фотометрії. Ми спостерігали чітку відповідь допаміну NAc на сигнали прогнозування нагороди Павловія, подібно до випалення дофамінових клітин VTA (розширені дані Рис. 5).

Рис. 3: З'єднання часових шкал вимірювання дофаміну.
цифра3

a, Реакція флуоресценції dLight1.3b. Введення, титрування дофаміну (n = 15 регіонів, що цікавлять (ROI)) і норадреналін (n = 9). Основна фігура - нейромедіатори, що застосовуються у ванні (усі n = 12 рентабельності інвестицій). Його, гістамін. b, Зразковий бандитський сеанс, що включає нормалізований NAc dLight1.3b сигнал (1-хв.). c, сигнал dLight змінюється при блокових переходах. n = 35 коефіцієнт винагороди збільшується, 45 знижується. d, Перехресна кореляція між dLight та ставкою винагороди. e, Погляд ближче до затіненої частини b. Стрілки: чорні, з центральним носом; світло-червоний, збоку (з винагородою); світло-блакитний, збоку (без винагороди); темно-червоний, харчовий порт (винагорода); темно-синій, харчовий порт (без винагороди). Наступні рядки: негерметичний інтегратор оцінки рівня винагороди; dСвітло при низькій роздільній здатності (1 хв); dСвітло при високій роздільній здатності (50 Гц, зелений; п’ятиточковий медіанний фільтр, чорний); значення стану моделі (блакитний); та RPE (пурпурові). Після кількох випробувань без винагороди значення на початку дослідження низькі, тоді доставка винагороди викликає позитивний показник RPE та супроводжує різке збільшення дофаміну. Послідовні випробувані винагороди зменшують RPE, але збільшують значення стану, що супроводжується збільшенням дофаміну. f, Короткі співвідношення короткого масштабу показують тісний зв’язок між dLight та значенням та меншим співвідношенням до RPE. g, Внутрішнє випробування кореляцій між змінними моделі та dLight з різними відставаннями; кореляція як до значення, так і до коефіцієнта RPE найсильніша до dLight приблизно через 0.3 с. h, На всіх сесіях максимальне співвідношення було більшим за значення, ніж для RPE або ставки винагороди.

Для завдання бандита ми спочатку дослідили сигнал dLight у бункерах 1-min (рис. 3b) для порівняння з мікродіалізом. Ми знову побачили чіткий взаємозв'язок між вивільненням допаміну NAc та коефіцієнтом винагороди як у перехресній кореляції, так і в аналізі блокових переходів (рис. 3c, буд). Далі ми докладніше розглянули, як виникають ці відносини. Замість того, щоб повільно змінюватись у часовій шкалі хвилин, сигнал dLight демонстрував сильно динамічні коливання в межах та між кожним випробуванням (рис. 3e). Ми порівнювали ці коливання з миттєвими значеннями стану та RPE, оціненими за моделлю навчання-підкріплення (напівмарківський процес рішення5). Як раніше повідомлялося з використанням вольтамметрії5, допамін NAc по моменту виявляв сильну кореляцію зі значеннями стану (рис. 3f), видно як нарощування під час випробувань, коли очікували нагороди (рис. 3e). Ми також спостерігали тимчасові збільшення з меншими очікуваними поставками винагород, що відповідають RPE (розглянуто нижче). У кожному сеансі dLight дофамін виявляв сильнішу кореляцію зі значеннями, ніж або RPE, або рівень винагороди (рис. 3h, Розширені дані Рис. 6). Кореляції як зі значеннями стану, так і з RPE були максимальними щодо сигналу dLight ~ 0.3 с пізніше, що відповідало короткому відставанню, спричиненому нейронною обробкою сигналів та часом реакції датчика (рис. 3g; з вольтамперометрією ми повідомляли про відставання 0.4–0.5 с)5.

Випалення дофаміну не пояснює вивільнення

Далі ми порівнювали випалення дофамінових клітин та звільнення навколо подій, пов’язаних із бандитськими завданнями. Зовнішні подразники при включеному освітленні, переході та нагородженні Side-in (клацання з бункера з їжею) викликали швидке збільшення вистрілу (рис. 4a). Ці реакції спостерігалися у значної більшості клітин дофаміну (рис. 4c), хоча відносна величина відповідей на різні сигнали змінювалася від клітини до клітини (Додатковий рис. 1). Сигнал NAc dLight також швидко і надійно реагував на кожен із цих помітних сигналів (рис. 4b, c), що відповідає вибуховим випаленням дофамінових клітин, що призводять до вивільнення дофаміну.

Рис. 4: Фазовий випал дофаміну VTA не враховує динаміку дофаміну NAc.
цифра4

a, Активність, орієнтована на події клітин дофаміну VTA-l. Зверху, колосові растри для однієї репрезентативної комірки; дно, середня швидкість шипа (n = 29). На всіх панелях смуги помилок вказують ± sem b, Узгоджена подія NAc dLight. Верх, представницька сесія; низ, середній (n = 10), нормований до пікової винагороди у відповідь Side-in. На цьому малюнку сигнали dLight відображаються щодо епохи 2-х базових ліній, що закінчується за 1 с до центру. Примітка збільшується (стрілки) незадовго до центру та подачі їжі. c, Сукупний розподіл часу, витраченого на клітини дофаміну (твердий; n = 29), dLight (пунктир; n = 10), щоб збільшити кількість наступних сигналів (тест перетасовки порівняно з базовим рівнем, 10,000 перетасовк, P <0.01, виправлено множинне порівняння). Для Light-on включені лише затримки <1 с; для пробних випробувань лише з винагородою. Середні затримки (від сигмоподібної посадки): Світло, стрільба 152 мс, dLight 266 мс; Перехід, стрільба 67 мс, dLight 212 мс; Боковий вхід, стрільба 85 мс, світло d 129 мс Недопамінові клітини, як правило, байдужі до початку сигналу (Розширені дані, рис. 8). d, Виразний виклик, пов'язаний з підходом, пов'язаний з підходом дофаміну. Верхній, середній випал дофамінових клітин (n = 29); середній, середній dLight (n = 10); знизу, вольтамперометрія (n = 6), нормалізована до пікової короткочасної реакції Light-on. Ліва панель, затримки <1 с, права, затримки> 2 с. Дані вирівнюються за Світлом (суцільний) або Центром (пунктиром); червона пунктирна лінія, середня затримка. При триваліших затримках стрільба поблизу Центру не збільшується, але dLight та вольтамперометрія помітно збільшуються. e, Графік розсіювання, порівнюючи пікові сигнали, вирівняні на "Ввімкнено" (y вісь) або Центр (x вісь). Для кожної комірки рядки, підключені до сеансу, вказують дані для різних діапазонів затримки (<1 с,> 2 с). Стрілянина дофаміном (зверху) послідовно демонструє світлову реакцію на випробування з короткою затримкою (двосторонній дисперсійний аналіз (ANOVA), взаємодія вирівнювання × затримка, F = 7.47, P = 0.0008). Сигнали dLight (середній), вольтамперометрія (знизу) постійно краще вирівнюються до Center-in (двосторонній ANOVA для dLight: вирівнювання × затримка взаємодії, F = 9.28, P = 0.0043). f, Допамін збільшується під час наближення, кількісно визначається як кут нахилу (див. Див Методи). Кола вказують на окремі клітини дофаміну (n = 29), dLight сеанси (n = 10).

Ми також побачили чітке збільшення вивільнення допаміну NAc, коли щури наближалися до стартового порту (безпосередньо перед Центром) та до порту харчування (безпосередньо перед прийомом їжі). Це добре поєднується з великою літературою з вольтамметрії, що показує, що поведінка з мотивованим підходом супроводжується швидким збільшенням допаміну в ядрах NAc5,7,8,9,10,11. Однак популяція клітин дофаміну VTA-l не виявила відповідного збільшення випалу в цей час (рис. 4a; див. Розширені дані Рис. 7 для додаткових порівнянь, у тому числі з клітинами, які не дофамінують).

Для кращої дисоціації викликаної кий та пов'язаної з підходом активності дофаміну ми розділили випробування на короткі (<1 с) та довгі (> 2 с) затримки (рис. 4d, e). Збільшення випалу дофамінових клітин послідовно фіксувалося на наступі киї при Light-on, переважно для випробувань з короткою затримкою. Усі дофамінові клітини 25 зі значним збільшенням швидкості випалу після включення Light-on були краще прирівняні до Light-on, ніж Center-in (рис. 4e). На відміну від цього, збільшення вивільнення допаміну NAc перед центром-в відрізнялося від вивільнення дофаміну, спричиненого кий (рис. 4d, e). Сигнали dLight послідовно збільшувалися перед випробуваннями на тривалій затримці (десять з десяти сеансів) та перед прийомом їжі (дев'ять із десяти сеансів), без відповідного збільшення випалу дофаміну (рис. 4f).

Нарешті ми розглянули, як допамінові сигнали, пов'язані з подіями, залежать від історії недавньої винагороди. Під час ранньої частини кожного випробування випалення дофамінових клітин не залежало від рівня винагороди (рис. 5a), незважаючи на вплив рівня винагороди на мотивацію (рис. 5b). Згодом фазова реакція на сигнал нагороди в Side-in була надійно сильнішою, коли рівень винагороди був нижчим (рис. 5a), що відповідає позитивному кодуванню RPE. Коли цей київський нагород був опущений, клітини дофаміну призупинили вистріл, хоча кодування негативних РПЕ було набагато слабкішим або відсутнім, незалежно від того, досліджувались на рівні популяції (рис. 5a, б) або як окремі комірки (Розширені дані Рис. 8). Раніше було запропоновано, що негативні RPE кодуються протягом тривалості паузи дофаміну31, але це спостерігалося лише у 2 з 29 окремих нейронів. Подібні результати були отримані, якщо очікування винагороди оцінювали іншими способами, включаючи моделі навчання на основі підкріплення (актор-критик та Q-навчання) або просто підраховуючи нещодавні нагороди (Розширені дані Рис. 8).

Рис. 5: Історія нагородження впливає на випалення клітин дофаміну VTA та вивільнення допаміну NAc по-різному.
цифра5

a, Зверху, усереднені показники вистрілення клітин дофаміну (n = 29) з урахуванням Side-in, розбитого за коефіцієнтом винагороди (терцили, розраховані окремо для кожної клітинки). До Side-in діяльність не залежить від очікувань винагороди. Після бокових нагороджених (червоних) та не нагороджених (синіх) випробувань показано окремо. Реакція на натискання їжі сильніша, коли рівень винагороди низький, що узгоджується з кодуванням позитивних RPE. Внизу, частка окремих дофамінових клітин із швидкістю випалу, яка істотно змінюється залежно від рівня винагороди в кожен момент (тест перетасовки, P <0.01, виправлено множинне порівняння). Позначки вгорі вказують на часи, коли ця частка була значно вищою, ніж випадкова (двочленна, P <0.01). Після Side-in тестуються лише негативні кореляції - тобто потенційне кодування RPE. b, Регресійні графіки для сеансів із записаними клітинами дофаміну, що показують вплив недавньої історії нагородження на (log-) затримку (вгорі) та допамінові шипи. Зірочки вказують на значну регресійну вагу (t-тест, P <0.05). Протягом 0.5 с до кий (коли щур повинен тримати рівномірний тиск у ніс, щоб продовжити випробування), на збільшення допаміну історія винагород не впливає (середній рівень). Це змінюється після виявлення результату (знизу; оцінка піку або мінімуму активності через 0.5 с після Side-in), але лише для випробуваних з винагородою. c, d, Те саме, що описано вище, за винятком dLight (нормалізується до максимальної реакції Side-in). Вивільнення дофаміну надійно масштабується із коефіцієнтом винагороди навіть перед Side-in.

Вивільнення дофаміну при Side-in також показало чітке, тимчасове кодування позитивних RPE, але не негативних RPE (рис. 5c, буд). Ця реакція dLight була незначно затримкою та тривалою порівняно із стрільбою, відповідно до часу, необхідного для звільнення та повторного захоплення32, але залишилося підсекундним явищем. Однак, на відміну від стрільби, сигнали dLight на початку кожного випробування були більшими, коли останні випробування були винагороджені (рис. 5c), що відповідає кодуванню значень. Ми спостерігали цю залежність від історії винагород навіть тоді, коли щур не рухався активно, а тримав носовий тик у центральному порту, очікуючи на кий (Go). 5d). В цілому, ми робимо висновок, що вивільнення допаміну NAc відображає як реакцію, викликану реакцією на очі, так і очікування нагородження, і що випаленням дофамінових клітин дофаміну VTA може бути добре сприйнято лише перше.

Обговорення

VTA-l забезпечує основне джерело дофаміну до ядра NAc6,23,24. Клітини дофаміну VTA-l, у тому числі ті, що проектують на ядро ​​NAc, послідовно відображають вибухи, що кодують RPE3,12. Вривання VTA вважається особливо важливим для приведення допаміну NAc32і ми дійсно виявили, що виклики VTA, що викликаються логікою, відповідали випуску NAc. Однак ми також виявили, що пов'язані із значенням структури вивільнення допаміну NAc, які не були створені випаленням дофамінових клітин VTA-l, ні на тривалих (тонічних), ні на коротких (фазових) часових шкалах. Інші субпопуляції дофаміну можуть нести різний сигнал13,33,34, і ми не можемо виключити можливість того, що випал субпопуляцій клітин дофаміну, не зафіксованих звідси, виробляє дофамін, пов'язаний зі значенням, в ядрі NAc. Однак у широкому діапазоні досліджень ніколи не повідомлялося про випалювання, пов'язане зі значенням, для будь-яких допамінових клітин. Наші результати свідчать про те, що динаміка дофаміну NAc контролюється по-різному, в різний час та для різних функцій, і що запис дофамінових клітин є важливим, але недостатнім для розуміння дофамінових сигналів35.

На вивільнення з терміналів дофаміну потужно впливають місцеві неіскрові механізми36,37,38,39,40. Наприклад, вивільнення допаміну NAc модулюється базолатеральною мигдалиною, навіть коли спринцювання VTA фармакологічно пригнічене41,42. Протягом десятиліть було відмічено, що місцевий контроль вивільнення дофаміну може досягти функцій, відмінних від функцій допамінових клітин36,43, але це не було включено до теоретичних поглядів на дофамін. Розрізнені смугасті субрегіони сприяють різному типу рішень і можуть впливати на їх власне вивільнення дофаміну відповідно до потреб44. Залишається визначити, наскільки локалізованим може бути цей контроль вивільнення дофаміну. Одне обмеження, яким поділяють 3 способи вимірювання вивільнення дофаміну, полягає в тому, що всі вони беруть проби в просторовій шкалі щонайменше 100 мкм, тоді як мікроскопія in vivo припускає, що вивільнення дофаміну може бути неоднорідним у значно менших масштабах15.

Наші результати не підтверджують існування окремого тонічного дофамінового сигналу, який міг би опосередковувати мотиваційні ефекти дофаміну. Натомість дофамінові зрушення, які виявляються повільними, якщо вимірювати повільно (за допомогою мікродіалізу), перетворюються на швидкі коливання, якщо вимірювати їх швидко (за допомогою вольтаметрії або dLight). Крім того, записи ідентифікованих клітин дофаміну VTA нами та іншими30 надати вагомі докази проти ідеї29 що зміни тонізуючої клітини дофамінових клітин призводять до зміни тонічного вивільнення дофаміну. Хоча стрілянину тоніком можна змінити пошкодженнями або маніпуляціями з наркотиками28, ми не знаємо про стійкі зміни швидкості стрільби в жодному поведінковому завданні. Під час очікування мотиваційно важливих подій стрільба може зменшитися на часовому шкалі близько 1 с45,46. Однак цей спад є протилежним до того, що потрібно для прискорення вивільнення дофаміну з очікуванням винагороди, а натомість має більше схожість з послідовністю минущих помилок негативного прогнозування47. Хоча стійкі сигнали, що кодують постійну ставку винагороди, можуть бути обчислювально корисними30, натомість дофамін забезпечує швидко змінюються сигнали про помилки та значення. Залишається можливим, що стійкі сигнали обчислюються на наступному етапі за допомогою внутрішньоклітинних сигнальних шляхів нижче від дофамінових рецепторів.

Багато груп спостерігали швидке вивільнення дофаміну, коли щури наближалися до винагороди5,7,8,9,10,11, що відповідає кодуванню зростаючих очікувань на винагороду. Деякі стверджують, що ці рамки дофаміну просто відображають RPE, припускаючи, що щури або швидко забувають значення48 або що вони мають викривлений набір представництв держави49. Ця остання ідея не підкріплена нашим спостереженням про те, що пандус швидко модулюється від випробування до випробування на основі оновлених очікувань на винагороду, стаючи сильнішими в межах короткої послідовності послідовних винагород, тоді як відповіді RPE на сигнали слабшають (рис. 3e). Більш загально, будь-яка теорія, в якій дофамін передає виключно RPE (навчальні сигнали), не може пояснювати дуже налагоджений зв'язок між мезолімбічним дофаміном та мотивацією16. Ядро NAc не потрібне для висококваліфікованих реакцій на умовні подразники, але особливо важливе при вирішенні виконання трудомістких робіт для отримання винагороди50. Ядерний допамін NAc, як видається, забезпечує важливий динамічний сигнал про те, наскільки варто виділити час і сили для роботи5,44, незважаючи на те, що цей сигнал не присутній при випалюванні клітин дофамінових клітин VTA.

Методи

Звірята

Всі процедури на тваринах були схвалені Мічіганським університетом або Університетом Каліфорнії в Сан-Франциско, інституційні комітети з використання та догляду за тваринами. Щури-самці (300–500 г, або Long-Evans дикого типу, або TH-Cre+ з фоном Лонг-Еванса52) підтримували на зворотному 12: світлі 12: темний цикл і випробовували під час темної фази. Щури були м'яко позбавлені їжі, отримуючи 15 г стандартної лабораторної чау-чау щодня, окрім винагород за їжу, отриманих під час виконання завдання. Попередня розрахунок розміру зразка не проводилася. Слідчі не були засліплені розподілом під час експериментів та оцінки результатів.


Поведінка

Повторна підготовка та тестування проводилися в оперантних камерах Med Associates (25 см × 30 см у найширшій точці), кожна з яких мала п'ять отворів у стінку з тиском у ніс, як описано раніше5. У сеансах "Бандитська задача" використовувались такі параметри: довжини блоку були випробуваннями 35-45, вибраними випадковим чином для кожного блоку; період утримування до Go cue становив 500 – 1,500 мс (рівномірний розподіл); ліво-права ймовірність винагороди склала 10, 50 та 90% (для електрофізіології, фотометрії, вольтамметрії та раніше повідомлених щурів мікродіалізу5) або 20, 50 та 80% (нещодавно зареєстровані щури мікродіалізу).

Поточну ставку винагороди оцінювали, використовуючи часовий інтегратор53. Коефіцієнт винагороди збільшувався щоразу, коли було отримано винагороду, і зменшувався експоненціально зі швидкістю, встановленою параметром τ (час в s знизиться на ~ 63%, тобто 1 − 1 / e). Для всіх аналізів τ був обраний на основі поведінки щурів, максимізуючи (негативну) кореляцію між коефіцієнтом винагороди та журналом (затримкою) у кожному сеансі. Кореляції між дофаміном переднього мозку та коефіцієнтом винагороди не були дуже чутливими до цього вибору τ (Розширені дані Рис. 1).

Щоб класифікувати переходи блоків як «зростаючі» або «зменшуючі» ставки винагороди, ми порівняли середню ставку винагороди утеченого інтегратора за останні хв 5 блоку із середньою ставкою винагороди у першій 8 хв наступного блоку.

Щури, що використовувались для електрофізіології та фотометрії, також виконували завдання павловського підходу в одній оперантній камері з увімкненим кімнатним світлом протягом усього сеансу. Три слухові сигнали (2 кГц, 5 кГц та 9 кГц) були пов'язані з різною ймовірністю доставки їжі (врівноваженою для щурів). Сигнали відтворювались як шлейф тональних піпсів (100 мс увімкнено, 50 мс вимкнено) протягом загальної тривалості 2.6 с, а потім період затримки 500 мс. Репліки та непередбачувані винагороди доставлялись у псевдовипадковому порядку із змінним інтервалом між випробуваннями (15–30 с, рівномірний розподіл).


Мікродіаліз

Хірургія

Щурів імплантували двосторонньо направляючими канюлями (CMA, 830 9024) у кору та смугастість. Одна група (n = 8) отримав одну направляючу канюлю, націлену на прелімбічну та інфралімбічну кору (передньозадня (AP) +3.2 мм, медіотеральна (ML) 0.6 мм щодо брегми; і дорсовентральна (DV) на 1.4 мм нижче поверхні мозку), а інша націлена на дорзомедіальний стриатум і ядро ​​накопичення у протилежній півкулі (AP +1.3, ML 1.9 і DV 3.4). Обидва імплантати були нахилені на 5 градусів один від одного вздовж рострально-каудальної площини. Друга група (n = 4) отримав одну направляючу канюлю, спрямовану на передню цингулярну кору (AP +1.6, ML 0.8 і DV 0.8), а іншу націлюючу акумулу (ядро / оболонка у протилежній півкулі при AP +1.6, ML 1.4 і DV 5.5n = 2) або AP +1.6, ML 1.9 і DV 5.7 (n = 2). Сторони імплантатів були урівноважені у щурів. Тваринам дозволялося відновлюватися протягом тижня перед перекваліфікацією.

Хімікалії

Вода, метанол та ацетонітрил для рухомих фаз були марки ВЕРХ Burdick & Jackson, придбані у VWR (Radnor). Всі інші хімічні речовини були придбані у Sigma Aldrich, якщо не зазначено інше. Штучна спинномозкова рідина (aCSF) містила 145 мМ NaCl, 2.68 мМ KCl, 1.40 мМ CaCl2, 1.01 mM MgSO4, 1.55 mM Na2HPO4 і 0.45 mM NaH2PO4, коригували рН до 7.4 за допомогою NaOH. Для зменшення окислення аналітів додавали аскорбінову кислоту (кінцева концентрація 250 нМ).

Збір зразків та ВЕРХ-МС

У день тестування тварин поміщали в камеру операнту з включеним світлом будинку. Концентровані концентричні мікродіалізні поліакрилонітрилові мембранні зонди (1-мм діалізуюча мембрана AN69; Hospal) були вставлені двосторонньо в направляючі канюлі та перфузувались постійно (Chemyx, Fusion 400) за допомогою aCSF при 2 мкл / хв протягом 90 хв для забезпечення врівноваження. Після збору базових ліній 5-хв світловий будинок погас, посилаючи тварину на наявність бандитських завдань. Збір зразків тривав через інтервали 1-хв і зразки були негайно дериватизовані54 з 1.5 мкл карбонату натрію, 100 мМ; 1.5 мкл бензоїлхлориду (2% (об. / Об.) Бензоїлхлориду в ацетонітрилі); 1.5 мкл ізотопно міченої суміші внутрішнього стандарту, розведеної в 50% (об. / об.) ацетонітрилу, що містить 1% (об. / об.) сірчаної кислоти, і доданої дейтерованим ACh та холіном (ізотопи C / D / N) до кінцевої концентрації 20 нм. Збір зразків серій чергувався між двома зондами з інтервалом 30 с у кожній з 26 сеансів, за винятком одного сеансу, в якому зламана мембрана призвела лише до однієї серії (всього 51 серія зразків). Зразки аналізували за допомогою систем Thermo Scientific UHPLC (Accela або Vanquish Horizon, з'єднаних з потрійним квадрупольним мас-спектрометром Quantum Ultra, оснащеним зондом HESI II ESI), які працювали в режимі моніторингу багаторазових реакцій. П’ятимікролітрові зразки вводили на колонку з ВФЖХ із біфенілом Kinetex із серцевиною і оболонкою Phenomenex (2.1 мм × 100 мм). Рухливою фазою А був 10 мМ формат амонію з 0.15% мурашиною кислотою, а рухливою фазою В - ацетонітрил. Рухома фаза отримувала градієнт елюції зі швидкістю 450 мкл / хв наступним чином: початковий, 0% В; 0.01 хв, 19% В; 1 хв, 26% В; 1.5 хв, 75% В; 2.5 хв, 100% В; 3 хв, 100% В; 3.1 хв, 5% В; та 3.5 хв, 5% B. Термо Xcalibur QuanBrowser (Thermo Fisher Scientific) використовували для автоматичної обробки та інтеграції піків. Кожен із> 100,000 XNUMX піків візуально перевірявся для забезпечення належної інтеграції.

аналіз

Всі дані нейрохімічної концентрації згладжувались з триточковою ковзною середньою (y′ = [0.25 × (y-1) + 0.5y + 0.25 × (y+ 1)]) та z-оцінка, нормалізована протягом кожного сеансу, щоб полегшити порівняння між сесіями. Для кожної цільової області генерували перехресну корелограму для кожного сеансу та складали середнє значення сеансів. Однопроцентні межі довіри були сформовані для кожної підпрограми шляхом перетасовки одного часового ряду 100,000 разів та генерування розподілу коефіцієнтів кореляції для кожної сесії. Було створено кілька моделей регресії, використовуючи функцію регресу в MATLAB, з нейрохімічними як змінною результату та поведінковими метриками як предикторами. Коефіцієнти регресії були визначені значущими на трьох рівнях альфа (0.05, 0.0005 та 0.000005), після корекції Бонферроні для багаторазових порівнянь (альфа / (21 хімічна речовина × 7 областей × 9 поведінкових регресорів)). Для аналізу блокових переходів дані об'єднували в 3-хвилинні епохи, відкидаючи зразок, що включав час переходу.


Електрофізіологія

Щури (n = 25) були імплантовані спеціально сконструйовані керовані оптроди, кожен з яких складався з 16 тетродів (побудованих з ніхромового дроту 12.5 мкм, Sandvik), приклеєних на бік 200-мкм оптичного волокна і простягався до 500 мкм нижче кінчика волокна. Під час тієї ж операції ми ввели 1 мкл AAV2 / 5-EF1a-DIO-ChR2 (H134R) -EYFP у бічне VTA (AP 5.6, ML 0.8, DV 7.5) або NAc (AP 1.6, ML 1.6, DV 6.4) . Широкосмугові (1–9,000 30,000 Гц) сигнали мозку відбирали (80 XNUMX зразків на с) за допомогою цифрових головних екранів Intan. В кінці кожного сеансу запису оптроди опускали щонайменше на XNUMX мкм. Окремі одиниці були ізольовані в автономному режимі за допомогою реалізації MATLAB MountainSort55 з подальшим ретельним ручним оглядом.

Класифікація

Щоб визначити, чи був ізольований блок VTA-l дофамінергічним (ТГ)+), ми використовували тест на затримку, пов'язаний зі стимулом56. Коротко кажучи, наприкінці кожного експериментального сеансу ми підключили оптрод до лазерного діода і доставили потяги світлових імпульсів різної ширини та частоти. Щоб підрозділ був визначений як світловідчутливий, йому потрібно було досягти рівня значущості P <0.001 для 5-мс та 10-мс імпульсних поїздів. Ми також порівняли форми сигналу, що викликаються світлом (протягом 10 мс від початку лазерного імпульсу), із середніми значеннями для сеансу; всі одиниці світла викликали коефіцієнт кореляції Пірсона> 0.9. Нейрони дофаміну успішно реєстрували у чотирьох щурів з інфузіями VTA-l AAV (IM657, 1 одиниця; IM1002, 3 одиниці; IM1003, 15 одиниць; IM1037, 9 одиниць) та однієї щури з NAc ядром AAV (IM-1078, 2 одиниці) . Ширина піку визначалася як повна ширина на половину максимуму найвизначнішого негативного компонента вирівняної, усередненої форми сигналу спайку. Немічені нейрони VTA із загальною швидкістю випалу> 20 Гц та піковою шириною <200 мкс класифікували як недопамінові клітини. Щоб переконатись, що ми порівнювали дофамінові та недофамінові клітини в одних і тих же субрегіонах, ми аналізували лише недофамінові клітини, записані під час сеансів, принаймні з однією оптично позначеною дофаміновою клітиною.

аналіз

Вибухи колоса були виявлені за допомогою звичайного підходу "80 / 160"57: кожного разу, коли виникає інтервал між спайками, що становить 80 мс або менше, ці та наступні стрибки вважаються частиною спалаху, поки не буде інтервалу 160 мс або більше. Для порівняння «тонізуючого» випалу з показником винагороди, спади дофаміну підраховували в 1-хвилинні контейнери. Для вивчення більш швидких змін були побудовані функції щільності колосків за допомогою поворотних колосових поїздів з ядром Гауса з дисперсією 20 мс. Щоб визначити, наскільки швидко нейрон реагував на заданий сигнал, ми використовували 40-мс біни (ковзання з кроком 20 мс) і використовували тест перетасовки (10,000 тасувань) для кожного таймера, порівнюючи швидкість стрільби після початку сигналу зі швидкістю стрільби в 250 мс безпосередньо перед реплікою. Перший смітник, при якому швидкість випалу після кий була значно (P <0.01, виправлення для багаторазового порівняння), що перевищував базовий рівень стрільби, вважався часом для отримання відповіді.

Максимальна швидкість випалу обчислювалася як максимальна (згладжена Гауссом) швидкість випалу кожного випробування у вікні 250-мс після побічних випробувань, а долина обчислювалася як мінімальна швидкість стрільби у вікні 2-s, починаючи з одну секунду після збоку для невдалих випробувань.

Щоб обчислити кут нахилу рампи під час поведінки підходу, ми згладили середню швидкість стрільби за допомогою ядра 50-мс Гаусса, виявили максимум / мінімум результуючого сигналу у вікні 0.5-s перед кожною подією (центр-вхід або їжа-порт-в ) і вимірювали підписаний кут, що з'єднує дві крайності. Для порівняння показників стрільби у «високих» та «низьких» блоках винагород, для кожного сеансу ми провели середній розбиття середнього показника винагороди за пропускний інтегратор у кожному блоці.


Вольтамметрія та обчислювальна модель

Результати циклічної циклічної вольтаметрії швидкого сканування, показані тут, реналізують раніше представлені детально дані5. В рамках пробних оцінок помилок прогнозування вартості штату та помилок розраховувались за допомогою моделі навчання з підсиленням процесу прийняття рішення Маркова, точно так, як описано раніше5.


Фотометрія

Ми використовували вірусний підхід для вираження генетично кодованого оптичного допамінового датчика dLight15. Під наркозом із ізофлураном 1 мкл AAV9-CAG-dLight (1 × 1012 вірусні геноми на мл; Ядро вектора UC Davis) повільно (100 нл / хв) вводили (Nanoject III, Drummond) через скляну мікропіпетку 30 мкм у вентральний смугастий білатерально (AP: 1.7 мм, ML: 1.7 мм, DV: -7.0 мм). Під час тієї ж операції були введені оптичні волокна (ядро 400 мкм, загальний діаметр 430 мкм), прикріплені до металевого наконечника (доричний) (глибина мішені на 200 мкм вище, ніж AAV) і зацементовані на місці. Дані були зібрані> через три тижні, щоб забезпечити вираз dLight.

Для збудження dLight сині (470 нм) та фіолетовий (405 нм; управління) світлодіоди були синусоїдально модульовані на різних частотах (211 Гц та 531 Гц відповідно58). Сигнали збудження та випромінювання, що проходять через мінікубні фільтри (доричний), і об'ємну флуоресценцію вимірювали за допомогою фемтоват-детектора (Ньюпорт, модель 2151), відбираючи дискретизацію на частоті 10 кГц. Демодуляція виробляла окремі сигнали 470 нм (дофамін) і 405 нм (контроль), які потім масштабувались один до одного за допомогою мінімально квадратного припасування58. Сигнал фракційної флуоресценції (dF/F) тоді було визначено як (470–405_fit) / 405_fit. Для всіх аналізів цей сигнал зменшувався до 50 Гц і згладжувався п’ятиточковим медіанним фільтром. Для подання сигналів 470 нм та 405 нм окремо див. Розширені дані Рис. 7.

Дані з розміщення оптичного волокна були включені в аналізи, якщо наконечник волокна знаходився в NAc, а відповідь флуоресценції принаймні на одну відповідну задачу мав: z-оцінка> 1. Ці критерії виключали одного щура і дали трьох щурів / чотири розміщення (IM1065-лівий, IM1066-двосторонній, IM1089-правий) для dLight1.1 та чотири щури / шість розміщень (IM1088-двосторонній, IM1105-правий, IM1106-двосторонній, IM1107-праворуч) для dLight1.3b. Подібні результати були отримані для dLight1.1 та dLight1.3 (Розширені дані Рис. 7), тому дані були об’єднані.

Для обчислення кута пандуса під час поведінки підходу ми виявляли максимум / мінімум результуючого сигналу у вікні 0.5-s перед кожною подією (центр-вхід або їжа-вхід) і вимірювали підписаний кут, що з'єднує дві крайності.


Спорідненість і молекулярна специфічність dLight1.3b

Вимірювання in vitro проводили, як описано раніше15. Якщо коротко, клітини HEK293T (ATCC CRL # 1573) культивували і трансфікували плазмідами, що кодують dlight1.3b, керованими промотором CMV, і промивали HBSS (Life Technologies), доповненим Ca2+ (4mM) та Mg2+ (2 мМ) перед візуалізацією. Візуалізацію проводили із використанням об'єктива на масляній основі 40 × на інвертованому конфокальному мікроскопі Zeiss Observer LSN710 з довжиною хвилі 488 нм / 513 нм (збудження / випромінювання). Для тестування реакцій флуоресценції датчика нейромедіатори безпосередньо наносили на ванну під час зйомки з часом, щонайменше у двох незалежних експериментах. Титрування дофаміну та норадреналіну отримували шляхом проведення десятикратних послідовних розведень для досягнення восьми різних концентрацій. Всі інші нейромедіатори тестували при трьох послідовних концентраціях (100 нМ, 1 мкМ та 10 мкМ). Всі концентрації нейромедіаторів отримували шляхом розведення з концентрацією 1 мМ в HBSS, приготовленої у свіжому вигляді. Інтенсивність інтенсивності флуоресценції в сировині від зображень з проміжком часу була визначена на Фіджі; кожен ROI був намальований вручну на мембрані окремих клітин. Зміна флуоресцентної складки (ΔF/F) обчислювали як F пік (усереднена інтенсивність флуоресценції чотирьох кадрів) - F базальна (усереднена інтенсивність флуоресценції чотирьох кадрів перед додаванням лігандів) /F базальний. Графіки та статистичний аналіз виконували за допомогою GraphPad Prism 6. Точки даних були проаналізовані за відповідним кривим зв'язуванням для одного сайту Kd значення. У графіках короб і вусів вікно охоплює діапазон 25% до 75%, а вусики поширюються від мінімальних до максимальних значень.


Підсумок звітності

Більш детальна інформація про розробку досліджень доступна в Підсумок звітності про природознавство пов'язані з цим документом.

Доступність даних

Вірус AAV.Synapsin.dLight1.3b, використаний у цьому дослідженні, був депонований у Addgene (№ 125560; http://www.addgene.org). Усі дані будуть доступні через веб-сайт спільного дослідження обчислювальної нейронауки (https://doi.org/110.6080/K0VQ30V9).

Доступність коду

Спеціальний код MATLAB доступний на запит JDB

Додаткова інформація

Примітка видавця: Природа Springer залишається нейтральною щодо претензій юрисдикції на опублікованих картах та інституційних підставах.

посилання

  1. 1.

    Шульц, В., Даян, П. та Монтегю, ПР Нейронний субстрат прогнозування та винагороди. наука 275, 1593 – 1599 (1997).

  2. 2.

    Pan, WX, Schmidt, R., Wickens, JR & Hyland, BI Допамінові клітини реагують на передбачувані події під час класичного кондиціонування: докази слідів прийнятності в мережі винагород. J. Neurosci. 25, 6235 – 6242 (2005).

  3. 3.

    Cohen, JY, Haesler, S., Vong, L., Lowell, BB & Uchida, N. Специфічні для нейрона типи сигналів для винагороди та покарання в черевній тегментальній зоні. природа 482, 85 – 88 (2012).

  4. 4.

    Штейнберг, Е.Е. та ін. Причинний зв’язок між помилками прогнозування, дофаміновими нейронами та навчанням. Nat. Neurosci. 16, 966 – 973 (2013).

  5. 5.

    Хамід, А.А. та ін. Мезолімбічний дофамін сигналізує про цінність роботи. Nat. Neurosci. 19, 117 – 126 (2016).

  6. 6.

    Сондерс, Б.Т., Річард, Дж.М., Марголіс, Е.Б. і Янак, П.Н. Допамінові нейрони створюють павловські умовні подразники з мотиваційними властивостями, що визначаються ланцюгом. Nat. Neurosci. 21, 1072 – 1083 (2018).

  7. 7.

    Phillips, PE, Stuber, GD, Heien, ML, Wightman, RM & Carelli, RM Підсекундний викид дофаміну сприяє пошуку кокаїну. природа 422, 614 – 618 (2003).

  8. 8.

    Roitman, MF, Stuber, GD, Phillips, PE, Wightman, RM & Carelli, RM Допамін працює як допоміжний модулятор пошуку їжі. J. Neurosci. 24, 1265 – 1271 (2004).

  9. 9.

    Вассум, КМ, Остлунд, SB & Maidment, NT Фазична мезолімбічна сигналізація дофаміну передує та передбачає виконання завдання з самоініціації послідовності дій. Biol. Психіатрія 71, 846 – 854 (2012).

  10. 10.

    Howe, MW, Tierney, PL, Sandberg, SG, Phillips, PE & Graybiel, AM. Тривала сигналізація про дофамін у стріатумі сигналізує про близькість та значення віддалених нагород. природа 500, 575 – 579 (2013).

  11. 11.

    Syed, EC та ін. Ініціація дії формує мезолімбічне дофамінове кодування майбутніх нагород. Nat. Neurosci. 19, 34 – 36 (2016).

  12. 12.

    Морріс, Г., Невет, А., Аркадір, Д., Ваадія, Е. та Бергман, Х. Дофамінові нейрони середнього мозку кодують рішення щодо подальших дій. Nat. Neurosci. 9, 1057 – 1063 (2006).

  13. 13.

    da Silva, JA, Tecuapetla, F., Paixão, V. & Costa, RM Активність нейронів дофаміну перед воротами ініціації дії та активізує майбутні рухи. природа 554, 244 – 248 (2018).

  14. 14.

    Fiorillo, CD, Tobler, PN & Schultz, W. Дискретне кодування ймовірності та невизначеності винагороди нейронами дофаміну. наука 299, 1898 – 1902 (2003).

  15. 15.

    Patriarchi, T., Cho, JR, Merten, K., Howe, MW та ін. Ультрашвидке нейронне зображення динаміки дофаміну з розробленими генетично кодованими датчиками. наука 360, eaat4422 (2018).

  16. 16.

    Саламоне, Дж. Д. і Корреа, М. Таємничі мотиваційні функції мезолімбічного дофаміну. Нейрон 76, 470 – 485 (2012).

  17. 17.

    Шульц, В. Прогнозний нагородний сигнал дофамінових нейронів. J. Neurophysiol. 80, 1 – 27 (1998).

  18. 18.

    Гарріс, Пенсільванія та Вайтман, Р. М. Різні кінетики регулюють дофамінергічну передачу в мигдалині, передфронтальній корі та смугастому тілі: вольтамперометричне дослідження in vivo. J. Neurosci. 14, 442 – 450 (1994).

  19. 19.

    Frank, MJ, Doll, BB, Oas-Terpstra, J. & Moreno, F. Префронтальні та смугасті дофамінергічні гени передбачають індивідуальні відмінності у дослідженні та експлуатації. Nat. Neurosci. 12, 1062 – 1068 (2009).

  20. 20.

    St Onge, JR, Ahn, S., Phillips, AG & Floresco, SB Динамічні коливання витоку дофаміну в префронтальній корі та ядрі під час прийняття рішень на основі ризику. J. Neurosci. 32, 16880 – 16891 (2012).

  21. 21.

    Bartra, O., McGuire, JT & Kable, JW Система оцінки: метааналіз експериментів BOLD fMRI на основі координат, що вивчає нейронні кореляти суб’єктивної цінності. Neuroimage 76, 412 – 427 (2013).

  22. 22.

    Ікемото, С. Допамінова схема винагородження: дві системи проекцій від вентрального середнього мозку до ядерного комплексу ядер-туберкульозу. Brain Res. Brain Res. Rev. 56, 27 – 78 (2007).

  23. 23.

    Бретон, Дж. М. та ін. Відносний внесок і відображення дофаміну та нейронів ГАМК в вентральній ділянці вентралі за проекційною ціллю на щура. J. Comp. Neurol. (2018).

  24. 24.

    Ungless, MA, Magill, PJ & Bolam, JP Рівномірне інгібування дофамінових нейронів у вентральній тегментальній зоні аверсивними подразниками. наука 303, 2040 – 2042 (2004).

  25. 25.

    Моралес, М. та Марголіс, Е. Б. Вентральна тегментальна зона: клітинна неоднорідність, зв’язок та поведінка. Nat. Neurosci. 18, 73 – 85 (2017).

  26. 26.

    Морріс, Г., Аркадір, Д., Невет, А., Ваадія, Е. та Бергман, Х. Збіг, але чіткі повідомлення про дофамін середнього мозку та смугасто-тонічно активні нейрони. Нейрон 43, 133 – 143 (2004).

  27. 27.

    Floresco, SB, West, AR, Ash, B., Moore, H. & Grace, AA. Аферентна модуляція випалювання нейрону дофаміну диференційовано регулює тонічну та фазову передачу дофаміну. Nat. Neurosci. 6, 968 – 973 (2003).

  28. 28.

    Грейс, А. А. Дисрегуляція дофамінової системи в патофізіології шизофренії та депресії. Nat. Neurosci. 17, 524 – 532 (2016).

  29. 29.

    Cohen, JY, Amoroso, MW & Uchida, N. Серотонінергічні нейрони сигналізують про винагороду та покарання в декількох часових масштабах. eLife 4, e06346 (2015).

  30. 30.

    Niv, Y., Daw, N. & Dayan, P. Як швидко працювати: енергія реакції, мотивація та тонізуючий дофамін. Adv. Нейронний інф. Процес. Сист. 18, 1019 (2006).

  31. 31.

    Bayer, HM, Lau, B. & Glimcher, PW Статистика тренувань допамінового нейрону середнього мозку у тренувальному приматі. J. Neurophysiol. 98, 1428 – 1439 (2007).

  32. 32.

    Chergui, K., Suaud-Chagny, MF & Gonon, F. Нелінійна залежність між потоком імпульсів, вивільненням дофаміну та елімінацією дофаміну в мозку щурів in vivo. Неврологія 62, 641 – 645 (1994).

  33. 33.

    Паркер, Н. Ф. та ін. Кодування винагороди та вибору в терміналах дофамінових нейронів середнього мозку залежить від смугастої цілі. Nat. Neurosci. 19, 845 – 854 (2016).

  34. 34.

    Menegas, W., Babayan, BM, Uchida, N. & Watabe-Uchida, M. Протилежна ініціалізація до нових ознак сигналізації дофаміну в вентральному та задньому смугастому тілі у мишей. eLife 6, e21886 (2017).

  35. 35.

    Трулсон, М.Є. Одночасне записування нейронів субстанції niggra і вольтамметричне вивільнення дофаміну в хвостаті котів, що ведуть себе. Brain Res. Бик. 15, 221 – 223 (1985).

  36. 36.

    Glowinski, J., Chéramy, A., Romo, R. & Barbeito, L. Пресинаптична регуляція дофамінергічної передачі в смугастому тілі. Осередок. Мол. Нейробіол. 8, 7 – 17 (1988).

  37. 37.

    Zhou, FM, Liang, Y. & Dani, JA. Ендогенна нікотинова холінергічна активність регулює вивільнення дофаміну в смугастому тілі. Nat. Neurosci. 4, 1224 – 1229 (2001).

  38. 38.

    Threlfell, S. та ін. Стритальний вивільнення дофаміну викликається синхронізованою активністю в холінергічних інтернейронах. Нейрон 75, 58 – 64 (2012).

  39. 39.

    Cachope, R. et al. Селективна активація холінергічних інтернейронів підсилює акумуляційне фазове вивільнення дофаміну: встановлення тону для обробки винагороди. Cell Reports 2, 33 – 41 (2012).

  40. 40.

    Sulzer, D., Cragg, SJ & Rice, ME Стриатальна нейротрансмісія дофаміну: регулювання вивільнення та поглинання. Базальні ганглії 6, 123 – 148 (2016).

  41. 41.

    Floresco, SB, Yang, CR, Phillips, AG & Blaha, CD Стимуляція базолатеральної мигдалини викликає залежний від глутамату рецепторний витік дофаміну в ядро ​​накопичення знеболеної щури. Євро. J. Neurosci. 10, 1241 – 1251 (1998).

  42. 42.

    Джонс, Дж. Л. та ін. Базолатеральна мигдалина модулює кінцевий вивільнення дофаміну в ядрі і при цьому обумовлюється реакцією. Biol. Психіатрія 67, 737 – 744 (2010).

  43. 43.

    Шульц, В. Відповіді дофамінових нейронів середнього мозку на стимули поведінки в мавпі. J. Neurophysiol. 56, 1439 – 1461 (1986).

  44. 44.

    Берке, Дж. Д. Що означає дофамін? Nat. Neurosci. 21, 787 – 793 (2018).

  45. 45.

    Бромберг-Мартін, ЕС, Мацумото, М. та Хікосака, О. Виразна тонічна та фазова антиципативна активність у бічних нейронах габенули та дофаміну. Нейрон 67, 144 – 155 (2010).

  46. 46.

    Pasquereau, B. & Turner, RS Допамінові нейрони кодують помилки в прогнозуванні появи тригера руху. J. Neurophysiol. 113, 1110 – 1123 (2015).

  47. 47.

    Fiorillo, CD, Newsome, WT & Schultz, W. Часова точність прогнозування винагороди в нейронах дофаміну. Nat. Neurosci. 11, 966 – 973 (2008).

  48. 48.

    Morita, K. & Kato, A. Стріатальне нарощування дофаміну може свідчити про гнучке навчання підкріплення з забуттям в кортико-базальних гангліях. Фронт. Нейронні кола 8, 36 (2014).

  49. 49.

    Герман, С.Я. Домпамінові рампи є наслідком помилок прогнозування нагород. Нейрові обчислення. 26, 467 – 471 (2014).

  50. 50.

    Нікола, С. М. Гіпотеза гнучких підходів: уніфікація зусиль та відповідь на відповідні гігієни щодо ролі ядра, що приєднує дофамін у активізації поведінки, яка шукає винагороди. J. Neurosci. 30, 16585 – 16600 (2010).

  51. 51.

    Paxinos, G. & Watson, C. Мозок щура в стереотаксичних координатах 5th edn (Elsevier Academic, 2005).

  52. 52.

    Witten, IB та ін. Лінії щурячих рекомбіназних водіїв: інструменти, методи та оптогенетичне застосування для посилення дофаміну. Нейрон 72, 721 – 733 (2011).

  53. 53.

    Sugrue, LP, Corrado, GS & Newsome, WT Відповідність поведінки та представлення цінності в тім’яній корі. наука 304, 1782 – 1787 (2004).

  54. 54.

    Вонг, Дж. М. та ін. Дериватизація бензоїлхлориду за допомогою рідинної хроматографії-мас-спектрометрії для цільової метаболомії нейрохімічних речовин у біологічних зразках. Й. Хроматогр. А 1446, 78 – 90 (2016).

  55. 55.

    Chung, JE та ін. Повністю автоматизований підхід до сортування шипів. Нейрон 95, 1381 – 1394 (2017).

  56. 56.

    Квіціані, Д. та ін. Виразні поведінкові та мережеві кореляти двох інтернейронових типів у префронтальній корі. природа 498, 363 – 366 (2013).

  57. 57.

    Грейс, А.А. та Банні, Б.С. Контроль режиму стрільби в нейгральних допамінових нейронах: стрілянина. J. Neurosci. 4, 2877 – 2890 (1984).

  58. 58.

    Лернер, ТН та ін. Аналізи інтактного мозку виявляють чітку інформацію, що передається донаміновими ланцюгами SNc. Осередок 162, 635 – 647 (2015).

Завантажити посилання

Подяки

Ми дякуємо П. Дайану, Х. Філдсу, Л. Франку, К. Донаг'ю та Т. Фаусту за їх коментарі щодо ранньої версії рукопису, а В. Гетріку, Р. Хашим та Т. Девідсону за технічну допомогу та поради. Цю роботу підтримали Національний інститут зловживання наркотиками, Національний інститут психічного здоров'я, Національний інститут неврологічних розладів та інсульту, Мічиганський університет, Ен-Арбор та Каліфорнійський університет, Сан-Франциско.

Інформація рецензента

природа дякуємо Маргарет Райс та іншим анонімним рецензентам за їх внесок у експертну оцінку цієї роботи.

інформація про автора

А. М. провів та проаналізував електрофізіологію та фотометрію та застосував обчислювальну модель. JRP проводив і аналізував мікродіаліз за допомогою J.-MTW та спостереженням RTKAAH, розробив поведінкове завдання та початкову настройку фотометрії та провів вольтамметрію. LTV проводив ретроградне відстеження та аналіз. TP і LT розробили датчик dLight і поділилися досвідом. JDB розробив і контролював дослідження, а також написав рукопис.

Конфлікт інтересів

Автори не оголошують жодних конкуруючих інтересів.

Кореспонденція Джошуа Д. Берке.