Опубликовано онлайн 14 мая 2018 г. doi: 10.1038/s41593-018-0152-y
Резюме
Дофамин является критическим модулятором как обучения, так и мотивации. Это создает проблему: как клетки-мишени могут узнать, является ли увеличение дофамина сигналом к обучению или к движению? Часто предполагается, что мотивация включает медленные («тонические») изменения дофамина, в то время как быстрые («фазные») колебания дофамина дают ошибки в прогнозе вознаграждения за обучение. Тем не менее, недавние исследования показали, что дофамин несет мотивационную ценность и способствует движению даже в течение секунды. Здесь я опишу альтернативный отчет о том, как дофамин регулирует текущее поведение. Высвобождение дофамина, связанное с мотивацией, быстро и локально вырабатывается рецепторами на дофаминовых терминалах, независимо от запуска дофаминовых клеток. Целевые нейроны внезапно переключаются между режимами обучения и производительности, при этом полосатые холинергические интернейроны обеспечивают один из возможных механизмов переключения. Поведение дофамина на поведение варьируется в зависимости от субрегиона, но в каждом случае дофамин дает динамическую оценку того, стоит ли тратить ограниченные внутренние ресурсы, такие как энергия, внимание или время.
Является ли допамин сигналом для обучения, для мотивации или для того и другого?
Наше понимание дофамина менялось в прошлом и меняется снова. Одно из важнейших различий заключается в разнице между влиянием дофамина на текущее поведение (эффективность) и влиянием дофамина на будущее поведение (обучение). Оба эффекта реальны и важны, но в разное время один из них был в приоритете, а другой — нет.
Когда (в 70-х годах) стало возможным проводить селективные, полные повреждения дофаминовых путей, очевидным поведенческим следствием стало резкое снижение двигательной активности¹ . Это соответствовало акинетическим эффектам потери дофамина у людей, вызванным прогрессирующей болезнью Паркинсона, токсичными препаратами или энцефалитом² . Однако ни у крыс, ни у людей не наблюдается фундаментальной неспособности двигаться. Крысы с поврежденными дофаминовыми путями плавают в холодной воде³ , а акинетические пациенты могут встать и побежать, если сработает пожарная сигнализация («парадоксальная» кинезия). Также нет фундаментального дефицита в восприятии вознаграждения: крысы с поврежденными дофаминовыми путями будут потреблять пищу, помещенную им в рот, и проявлять признаки удовольствия от нее⁴ . Скорее, они не будут прилагать усилий для активного получения вознаграждения. Эти и многие другие результаты установили фундаментальную связь между дофамином и мотивацией⁵ . Даже замедление движений , наблюдаемое в менее тяжелых случаях болезни Паркинсона, можно рассматривать как дефицит мотивации, отражающий неявные решения о том, что не стоит тратить энергию, необходимую для более быстрых движений⁶.
Затем (в 80-х годах) появились новаторские записи активности дофаминовых нейронов у обезьян во время выполнения поведенческих задач (в областях среднего мозга, проецирующих в передний мозг: вентральная тегментальная область, VTA / компактная часть черной субстанции, SNc). Среди наблюдаемых паттернов активности были короткие вспышки в ответ на стимулы, которые вызывали немедленные движения. Эта «фазовая» активность дофаминовых нейронов первоначально интерпретировалась как поддержка «поведенческой активации» 7 и «мотивационного возбуждения» 8 — другими словами, как активизация текущего поведения животного.
В 90-е годы произошёл радикальный сдвиг, связанный с переосмыслением фазовых всплесков дофамина как кодирования ошибок прогнозирования вознаграждения (RPE ) 9. Это было основано на ключевом наблюдении: дофаминовые клетки реагируют на неожиданные стимулы, связанные с будущим вознаграждением, но часто перестают реагировать, если эти стимулы становятся ожидаемыми 10. Идея RPE возникла в более ранних теориях обучения, и особенно в тогда ещё развивающейся области компьютерных наук — обучении с подкреплением 11. Цель сигнала RPE — обновление значений (оценок будущих вознаграждений). Эти значения используются позже, чтобы помочь сделать выбор, который максимизирует вознаграждение. Поскольку активность дофаминовых клеток напоминала RPE, а RPE используются для обучения, стало естественным подчеркнуть роль дофамина в обучении. Позднее оптогенетические манипуляции подтвердили дофаминергическую идентичность клеток, кодирующих RPE 12 , 13 , и показали, что они действительно модулируют обучение 14 , 15.
Идея о том, что дофамин обеспечивает сигнал обучения, прекрасно согласуется с данными литературы, свидетельствующими о том, что дофамин модулирует синаптическую пластичность в полосатом теле, основной мишени дофамина в переднем мозге. Например, тройное совпадение стимуляции глутаматом дендритного шипика полосатого тела, постсинаптической деполяризации и высвобождения дофамина приводит к росту шипика 16. Дофаминергическая модуляция механизмов долговременного обучения помогает объяснить устойчивые поведенческие эффекты наркотических веществ, которые обладают свойством усиливать высвобождение дофамина в полосатом теле 17. Даже выраженная акинезия при потере дофамина может быть частично объяснена такими механизмами обучения 18. Недостаток дофамина можно рассматривать как постоянно отрицательную оценку воспринимаемой нагрузки (RPE), которая постепенно обновляет значения действий в направлении нуля. Аналогичные прогрессивные, подобные угасанию эффекты на поведение могут быть вызваны антагонистами дофамина 19 , 20.
Однако идея о том, что дофамин играет решающую роль в поддержании мотивации, никуда не исчезла — напротив, она широко принимается как данность нейробиологами, изучающими поведение. Это вполне уместно, учитывая убедительные доказательства того, что функции дофамина в мотивации/движении/активности неотделимы от обучения 15 , 20–23 . Менее широко признана сложность согласования этой мотивационной роли с теорией о том , что дофамин обеспечивает сигнал обучения RPE.
Мотивация «смотрит вперед»: она использует предсказания будущей награды (ценностей), чтобы соответствующим образом активизировать текущее поведение. Напротив, обучение «оглядывается назад» на состояния и действия в недавнем прошлом и обновляет их значения. Это дополнительные фазы цикла: обновленные значения могут использоваться в последующем принятии решения, если эти состояния повторно обнаруживаются, затем обновляются снова и так далее. Но с какой фазой цикла связан дофамин - использование ценностей для принятия решений (производительность) или обновление ценностей (обучение)?
В некоторых обстоятельствах легко представить, что дофамин одновременно играет обе роли. 24 Неожиданные, предсказывающие вознаграждение сигналы являются архетипичными событиями, вызывающими активацию и высвобождение дофаминовых клеток, и такие сигналы обычно как стимулируют поведение, так и вызывают обучение ( рис. 1 ). В этой конкретной ситуации одновременно увеличиваются как предсказание вознаграждения, так и ошибки предсказания вознаграждения, но это не всегда так. В качестве примера можно привести людей и других животных, которые часто мотивированы работать ради вознаграждения, даже когда ничего неожиданного не происходит. Они могут работать все усерднее по мере приближения к вознаграждению (ценность возрастает по мере приближения вознаграждения). Суть в том, что обучение и мотивация концептуально, вычислительно и поведенчески различны, и тем не менее дофамин, похоже, выполняет обе функции.
Дофамин: обновляя прошлое, бодрящий настоящее.
Вверху : круги со стрелками представляют состояния и потенциальные действия из этих состояний. Ширина стрелок указывает на усвоенные ценности выполнения каждого действия. По мере того, как состояния/действия уходят в прошлое, они становятся все менее пригодными для подкрепления. В середине : происходит выброс дофамина. Результатом является активизация действий, доступных из текущего состояния (красный), и пластичность представлений о ценности недавно выполненных действий (фиолетовый). Внизу : в результате пластичности, при следующем столкновении с этими состояниями их связанные ценности увеличиваются (ширина стрелок). Благодаря многократному опыту обучение с подкреплением может «проложить канавку» в пространстве состояний, делая определенные траектории все более вероятными. В дополнение к этой роли в обучении, активизирующая роль дофамина в выполнении действий, по-видимому, ускоряет движение по ранее усвоенным траекториям.
Ниже я критически оцениваю современные идеи о том, как дофамин способен выполнять как учебные, так и мотивационные функции. Я предлагаю обновленную модель, основанную на трех ключевых фактах: 1) высвобождение дофамина из терминалов происходит не просто в результате обжига допаминовых клеток, но также может контролироваться на местном уровне; 2) допамин влияет как на синаптическую пластичность, так и на возбудимость клеток-мишеней, что имеет определенные последствия для обучения и производительности соответственно; 3) влияние допамина на пластичность может быть включено или выключено соседними элементами цепи. Вместе эти функции могут позволить мозговым цепям переключаться между двумя различными сообщениями допамина для обучения и мотивации соответственно.
Существуют ли отдельные «фазические» и «тонические» дофаминовые сигналы, имеющие разные значения?
Часто утверждается, что обучающая и мотивационная роли дофамина проявляются в разных временных масштабах 25. Дофаминовые клетки непрерывно («тонически») генерируют импульсы с частотой несколько раз в секунду, с occasional короткими («фазовыми») вспышками или паузами. Вспышки, особенно если они искусственно синхронизированы между дофаминовыми клетками, вызывают соответствующие быстрые увеличения уровня дофамина в переднем мозге 26 , которые носят крайне кратковременный характер (продолжительность менее секунды 27 ). Отдельный вклад тонической активности дофаминовых клеток в концентрацию дофамина в переднем мозге менее ясен. Некоторые данные свидетельствуют о том, что этот вклад очень мал 28. Возможно, его достаточно для почти непрерывной стимуляции рецепторов D2 с более высоким сродством, что позволяет системе замечать короткие паузы в активности дофаминовых клеток 29 и использовать эти паузы в качестве отрицательных ошибок прогнозирования.
Микродиализ широко используется для прямого измерения уровня дофамина в переднем мозге, хотя и с низкой временной разрешающей способностью (обычно усреднение за многие минуты). Такие медленные измерения дофамина могут быть сложны для точного сопоставления с поведением. Тем не менее, микродиализ дофамина в прилежащем ядре (NAc; вентральный/медиальный стриатум) показывает положительные корреляции с двигательной активностью 30 и другими показателями мотивации 5. Это широко интерпретируется как наличие медленных («тонических») изменений концентрации дофамина, и что эти медленные изменения передают мотивационный сигнал. Более конкретно, вычислительные модели предполагают, что тонические уровни дофамина отслеживают долгосрочную среднюю скорость получения вознаграждения 31 – полезную мотивационную переменную для распределения времени и принятия решений о поиске пищи. Стоит подчеркнуть, что очень немногие работы четко определяют «тонические» уровни дофамина – обычно они просто предполагают, что концентрация дофамина медленно изменяется в течение нескольких минут, характерных для микродиализа.
Однако эта точка зрения, согласно которой «фазовый дофамин = RPE/обучение, тонический дофамин = мотивация», сталкивается со многими проблемами. Во-первых, нет прямых доказательств того, что активность тонических дофаминовых клеток обычно изменяется в течение медленных временных интервалов. Частота тонической активности не меняется при изменении мотивации 32 , 33. Утверждалось, что уровень тонического дофамина изменяется из-за изменения доли активных дофаминовых клеток 34 , 35. Но во многих исследованиях на животных, не подвергавшихся воздействию лекарств и не имевших повреждений, никогда не сообщалось о переключении дофаминовых клеток между неактивным и пассивным состояниями.
Более того, тот факт, что микродиализ измеряет уровни дофамина медленно, не означает, что уровни дофамина действительно изменяются медленно. Недавно мы исследовали дофамин в прилежащем ядре крысы в вероятностной задаче с вознаграждением, используя как микродиализ, так и быстросканирующую циклическую вольтамметрию. Мы подтвердили, что мезолимбический дофамин, измеренный с помощью микродиализа, коррелирует со скоростью получения вознаграждения (вознаграждения/мин). Однако даже при улучшенном временном разрешении микродиализа (1 мин) дофамин колебался так же быстро, как мы его измеряли: мы не обнаружили никаких доказательств наличия изначально медленного сигнала дофамина.
Используя более точное временное разрешение по-прежнему вольтамперометрии, мы наблюдали тесную связь между колебаниями допамина до секунды и мотивацией. Когда крысы выполняли последовательность действий, необходимых для достижения награды, дофамин повышался все выше и выше, достигая максимума, как только они получали награду (и быстро снижался, когда они ее потребляли). Мы показали, что дофамин сильно коррелирует с мгновенным значением состояния, определяемым как ожидаемое будущее вознаграждение, дисконтированным с ожидаемым временем, необходимым для его получения. Эта быстрая динамика дофамина может также объяснить результаты микродиализа, не вызывая отдельные сигналы дофамина в различных временных масштабах. Поскольку животные получают больше наград, они увеличивают свои ожидания будущих наград на каждом этапе последовательности испытаний. Вместо медленно меняющегося сигнала средней скорости вознаграждения корреляция между дофамином и скоростью вознаграждения лучше всего объясняется как среднее по длительности времени сбора образцов микродиализа этих быстро меняющихся значений состояния.
Такая интерпретация ценности высвобождения мезолимбического дофамина согласуется с результатами вольтамметрии других исследовательских групп, которые неоднократно обнаруживали, что высвобождение дофамина увеличивается с приближением к вознаграждению 36–38 ( рис . 2 ). Этот мотивационный сигнал не является по своей природе «медленным», а скорее может наблюдаться в непрерывном диапазоне временных масштабов. Хотя пики высвобождения дофамина могут длиться несколько секунд, если поведение приближения также длится несколько секунд 38 , это отражает временной ход поведения, а не внутреннюю динамику дофамина. Связь между высвобождением мезолимбического дофамина и флуктуирующей ценностью видна настолько быстро, насколько позволяет метод записи, т.е. в масштабе времени ~100 мс с использованием электродов для острой вольтамметрии 15.
Быстрые колебания допамина сигнализируют о динамически меняющихся ожиданиях вознаграждения.
ac) Высвобождение дофамина в мезолимбической системе быстро увеличивается по мере приближения крыс к ожидаемому вознаграждению. d) Ценность, определяемая как дисконтированные во времени оценки будущего вознаграждения, увеличивается по мере приближения вознаграждения. Подсказки, указывающие на то, что вознаграждение больше, ближе или более вероятно, чем ожидалось ранее, вызывают скачки в ценности. Эти скачки от одного момента к другому представляют собой временные разностные RPE. e) Вычитание «базовых уровней» может смешивать сигналы ценности и RPE. Слева, дофамин, выровненный по сигналу, предсказывающему вознаграждение (в нулевой момент времени), с обычным вычитанием базового уровня, по-видимому, показывает, что уровень дофамина повышается, когда вознаграждение менее ожидаемо (коричневый цвет), напоминая сигнал RPE. Справа, альтернативное представление тех же данных, уравнивающее уровни дофамина после сигнала, показало бы, что уровни дофамина до сигнала зависят от ожидания вознаграждения (ценности). Дополнительный анализ показал, что представление справа ближе к истине (подробности см. в ссылке 15 ). Панель a воспроизведена с разрешения из источника 38 , Macmillan Publishers Limited…; панель b воспроизведена с разрешения из источника 37 , Elsevier; панели ce воспроизведены с разрешения из источника 15 , Macmillan Publishers Limited
Быстрые колебания уровня дофамина не просто отражают мотивацию, они также немедленно запускают мотивированное поведение. Более выраженные фазовые реакции дофаминовых клеток на триггерные сигналы предсказывают более короткое время реакции в том же самом эксперименте 39. Оптогенетическая стимуляция дофаминовых клеток VTA повышает вероятность начала работы крыс в нашей задаче с вероятностным вознаграждением 15 , как если бы у них было более высокое ожидание вознаграждения. Оптогенетическая стимуляция дофаминовых нейронов SNc или их аксонов в дорсальном стриатуме увеличивает вероятность движения 40 , 41. Важно отметить, что эти поведенческие эффекты проявляются в течение нескольких сотен миллисекунд после начала оптогенетической стимуляции. Способность сигналов, предсказывающих вознаграждение, повышать мотивацию, по-видимому, опосредована очень быстрой дофаминергической модуляцией возбудимости шиповатых нейронов NAc 42 . Поскольку уровень дофамина быстро меняется, и эти изменения быстро влияют на мотивацию, мотивационные функции дофамина лучше описывать как быстрые («фазовые»), а не медленные («тонические»).
Более того, использование отдельных быстрых и медленных временных масштабов само по себе не решает проблему декодирования, с которой сталкиваются нейроны с дофаминовыми рецепторами. Если дофамин сигнализирует об обучении, модуляция синаптической пластичности может показаться подходящей клеточной реакцией. Но немедленное воздействие на мотивированное поведение подразумевает немедленное воздействие на спайк - например, через быстрые изменения возбудимости. Допамин может иметь оба этих постсинаптических эффекта (и даже больше), поэтому имеет ли данная концентрация дофамина определенное значение? Или это значение необходимо конструировать - например, сравнивая уровни дофамина во времени или используя другие совпадающие сигналы, чтобы определить, какие клеточные механизмы задействовать? Эта возможность обсуждается ниже.
Дает ли выброс дофамина ту же информацию, что и при сжигании дофаминовых клеток?
Связь между быстрыми колебаниями дофамина и мотивационной ценностью кажется странной, учитывая, что активность дофаминовых клеток, напротив, напоминает эффект RPE (Return-Pass Expected Episode). Более того, в некоторых исследованиях сообщалось о сигналах RPE в мезолимбическом высвобождении дофамина 43. Важно отметить сложность интерпретации некоторых форм нейронных данных. Сигналы ценности и RPE коррелируют друг с другом – что неудивительно, поскольку RPE обычно определяется как изменение ценности от одного момента к другому («временная разница» RPE). Из-за этой корреляции крайне важно использовать экспериментальные схемы и анализы, которые различают значения ценности и значения RPE. Проблема усугубляется при использовании нейронного измерения, основанного на относительных, а не абсолютных изменениях сигнала. Вольтамметрический анализ обычно сравнивает уровень дофамина в интересующий момент времени с «базовым» уровнем, предшествующим каждому испытанию (для удаления компонентов сигнала, не зависящих от дофамина, включая зарядку электрода при каждом изменении напряжения и дрейф в течение нескольких минут). Но вычитание базового уровня может привести к тому, что сигнал ценности станет похожим на сигнал RPE. Это то, что мы наблюдали в наших собственных данных вольтамметрии ( рис. 2e ). Изменения в ожидании вознаграждения отражались в изменениях концентрации дофамина в начале каждого испытания, и эти изменения упускаются, если просто предполагать постоянный базовый уровень во всех испытаниях 15. Таким образом, выводы о высвобождении дофамина и кодировании RPE следует рассматривать с осторожностью. Эта опасность интерпретации данных относится не только к вольтамметрии, но и к любому анализу, основанному на относительных изменениях, – потенциально включая некоторые методы фМРТ и фотометрии 44.
Тем не менее, нам все еще необходимо согласовать высвобождение дофамина, связанное с ценностью, в ядре NAc с постоянным отсутствием связанных с ценностью импульсов дофаминовых нейронов 13 , даже в латеральной области VTA, которая обеспечивает дофамин ядро NAc 45. Одним из потенциальных факторов является то, что дофаминовые клетки обычно регистрируются у животных с зафиксированной головой, выполняющих задачи классического обусловливания, в то время как высвобождение дофамина обычно измеряется у животных без фиксации, активно перемещающихся в своей среде. Мы предположили, что мезолимбический дофамин может специфически указывать на ценность «работы» 15 – что он отражает необходимость посвятить время и усилия получению вознаграждения. В соответствии с этим, уровень дофамина повышается при сигналах, указывающих на движение, но не при сигналах, указывающих на неподвижность, даже когда они указывают на аналогичное будущее вознаграждение 46. Если – как во многих задачах классического обусловливания – нет выгоды от активной «работы», то дофаминергические изменения, указывающие на ценность работы, могут быть менее очевидными.
Ещё более важным может быть тот факт, что высвобождение дофамина может контролироваться локально в самих терминалах, и, таким образом, демонстрировать пространственно-временные паттерны, независимые от активности клеточного тела. Например, базолатеральная миндалевидная железа (BLA) может влиять на высвобождение дофамина в прилежащем ядре (NAc) даже при инактивации вентральной области покрышки (VTA) 47. И наоборот, инактивация BLA снижает высвобождение дофамина в NAc и соответствующее мотивированное поведение, не влияя, по-видимому, на активность нейронов VTA 48. Дофаминовые терминали имеют рецепторы для ряда нейромедиаторов, включая глутамат, опиоиды и ацетилхолин. Никотиновые рецепторы ацетилхолина позволяют стриатальным холинергическим интернейронам (CIN) быстро контролировать высвобождение дофамина 49 , 50. Хотя давно отмечалось, что локальный контроль высвобождения дофамина потенциально важен 7 , 51 , он не был включен в вычислительные модели функционирования дофамина. Я предполагаю, что динамика высвобождения дофамина, связанная с кодированием ценности, возникает в основном за счет локального контроля, даже несмотря на то, что активация дофаминовых клеток обеспечивает важные сигналы, подобные сигналам RPE, для обучения.
Как дофамин может означать как обучение, так и мотивацию без путаницы?
В принципе, сигнал, отражающий значение, также достаточен для передачи RPE, поскольку RPE, обусловленные временной разностью, представляют собой просто быстрые изменения значения ( рис. 2B ). Например, различные внутриклеточные пути в целевых нейронах могут быть по-разному чувствительны к абсолютной концентрации дофамина (представляющей значение) и к быстрым относительным изменениям концентрации (представляющим RPE). Эта схема кажется правдоподобной, учитывая сложную модуляцию дофамина в физиологии шиповатых нейронов 52 и их чувствительность к временным паттернам концентрации кальция 53. Однако это также кажется несколько избыточным. Если сигнал, подобный RPE, уже существует в импульсах дофаминовых клеток, его можно использовать вместо того, чтобы заново выводить RPE из сигнала, отражающего значение.
Для адекватного использования различных сигналов RPE и значений, дофамин-рецепторные цепи могут активно переключать способ интерпретации дофамина. Существуют интересные данные, свидетельствующие о том, что ацетилхолин также может выполнять эту переключающую роль. В то же время, когда дофаминовые клетки генерируют вспышки импульсов в ответ на неожиданные сигналы, CIN-нейроны демонстрируют короткие (~150 мс) паузы в генерации импульсов, которые не масштабируются с RPE 54. Эти паузы CIN-нейронов могут быть вызваны ГАМКергическими нейронами VTA 55 , а также клетками, связанными с «сюрпризом», в интраламинарном таламусе, и, как предполагается, действуют как сигнал ассоциативности, способствующий обучению 56. Моррис и Бергман предположили 54 , что холинергические паузы определяют временные окна для пластичности стриатума, в течение которых дофамин может использоваться в качестве сигнала обучения. Дофамин-зависимая пластичность постоянно подавляется механизмами, включая мускариновые рецепторы m4 на нейронах стриатума прямого пути 57 . Модели внутриклеточной сигнализации предполагают, что во время пауз CIN отсутствие связывания m4 может действовать синергически с фазовыми всплесками дофамина, усиливая активацию PKA 58 , тем самым способствуя синаптическим изменениям.
Таким образом, холинергические клетки стриатума хорошо приспособлены для динамического изменения значения мультиплексного дофаминергического сообщения. Во время пауз в работе CIN снятие мускариновой блокады синаптической пластичности позволило бы использовать дофамин для обучения. В другое время высвобождение из дофаминовых терминалов локально формировалось бы для влияния на текущую поведенческую активность. В настоящее время это предположение является как умозрительным, так и неполным. Было высказано предположение, что CIN интегрируют информацию от многих окружающих шиповатых нейронов для извлечения полезных сигналов на уровне сети, таких как энтропия 59 , 60. Но совершенно неясно, можно ли использовать динамику активности CIN для генерации сигналов ценности дофамина 61 , а также для управления сигналами обучения, связанными с дофамином.
Означает ли дофамин то же самое во всем переднем мозге?
По мере распространения идеи RPE (Return-Password and Precision — ошибка прогнозирования) предполагалось, что дофамин является глобальным сигналом, передающим сообщение об ошибке по всей стриатальной и лобной коре головного мозга. Шульц подчеркнул, что дофаминовые клетки обезьян в VTA и SNc демонстрируют очень похожие реакции 62. Исследования идентифицированных дофаминовых клеток также выявили довольно однородные реакции, подобные RPE, у грызунов, по крайней мере, для латеральных нейронов VTA в контексте классического обусловливания 13. Тем не менее , дофаминовые клетки молекулярно и физиологически разнообразны 63–65 , и в настоящее время существует множество сообщений о том, что они демонстрируют разнообразные паттерны активности у животных в поведенческих экспериментах. К ним относятся фазовые увеличения активности в ответ на аверсивные события 66 и триггерные сигналы 67 , которые плохо согласуются со стандартной теорией RPE. Многие дофаминовые клетки демонстрируют начальную реакцию с короткой задержкой на сенсорные события, которая отражает скорее удивление или «предупреждение», чем специфическое кодирование RPE 68 , 69 . Этот аспект настороженности более выражен в SNc 69 , где дофаминовые клетки проецируются в большей степени в «сенсомоторный» дорсальный/латеральный стриатум (DLS 45 , 63 ). Также сообщалось, что субпопуляции дофаминовых клеток SNc увеличивают 41 или уменьшают 70 активность в связи со спонтанными движениями, даже без внешних сигналов.
Несколько групп использовали волоконную фотометрию и кальциевый индикатор GCaMP для изучения общей активности субпопуляций дофаминовых нейронов 71 , 72. Дофаминовые клетки, проецирующие в дорсальный/медиальный стриатум (DMS), демонстрировали временное снижение активности в ответ на неожиданные короткие разряды, в то время как клетки, проецирующие в DLS, демонстрировали повышенную активность 71 – что больше соответствует реакции настороженности. Различные дофаминергические реакции в разных субрегионах переднего мозга также наблюдались при использовании GCaMP для изучения активности дофаминовых аксонов и терминалей 40 , 72 , 73. Используя двухфотонную визуализацию у мышей с фиксированной головой, Хоу и Домбек 40 сообщили о фазовой дофаминовой активности, связанной со спонтанными движениями. Это преимущественно наблюдалось в отдельных дофаминовых аксонах из SNc, которые заканчивались в дорсальном стриатуме, в то время как дофаминовые аксоны VTA в NAc реагировали больше на получение вознаграждения. Другие исследователи также обнаружили связанную с вознаграждением дофаминергическую активность в NAc, при этом DMS, напротив, был больше связан с контралатеральными действиями 72 , а задняя часть стриатума реагировала на аверсивные и новые стимулы 74.
Прямые измерения высвобождения дофамина также выявляют гетерогенность между субрегионами 30 , 75. С помощью микродиализа мы обнаружили, что дофамин коррелирует с ценностью именно в ядре прилежащего ядра и вентрально-медиальной лобной коре, а не в других медиальных частях полосатого тела (оболочка прилежащего ядра, ДМС) или лобной коре. Это интригует, поскольку, по-видимому, хорошо коррелирует с двумя «горячими точками» кодирования ценности, которые постоянно наблюдаются в исследованиях фМРТ человека 76 , 77. В частности, сигнал BOLD в прилежащем ядре, который тесно связан с дофаминовой сигнализацией 78 , увеличивается с ожиданием вознаграждения (ценностью) – больше, чем с RPE 76.
Независимо от того, возникают ли эти пространственные паттерны высвобождения дофамина в результате активации различных субпопуляций дофаминовых клеток, локального контроля высвобождения дофамина или того и другого, они ставят под сомнение идею глобального дофаминового сигнала. Можно было бы заключить, что существует множество различных функций дофамина, например, дофамин в дорсальном стриатуме сигнализирует о «движении», а дофамин в вентральном стриатуме — о «вознаграждении» 40. Однако я предпочитаю другой концептуальный подход. Различные подрегионы стриатума получают входные сигналы из разных кортикальных областей и, следовательно, обрабатывают разные типы информации. Тем не менее, каждый подрегион стриатума имеет общую архитектуру микросхемы, включая отдельные шиповатые нейроны с D1- и D2-рецепторами 79 , CIN и так далее. Хотя обычно различные подрегионы стриатума (например, DLS, DMS, ядро NAc) рассматриваются как отдельные области, между ними нет четких анатомических границ (оболочка NAc несколько более нейрохимически отличается). Вместо этого наблюдаются лишь плавные градиенты плотности рецепторов, пропорций интернейронов и т. д., которые больше похожи на корректировку параметров общего вычислительного алгоритма. Учитывая эту общую архитектуру, можем ли мы описать общую функцию дофамина, абстрагированную от специфической информации, обрабатываемой каждым подрегионом?
Стриатальный дофамин и выделение ограниченных ресурсов.
Я предполагаю, что различные эффекты дофамина на текущее поведение можно понимать как модуляцию решений о распределении ресурсов . В частности, дофамин дает оценку того, насколько целесообразно расходовать ограниченный внутренний ресурс, причем конкретный ресурс различается в зависимости от подрегиона полосатого тела. Для «моторного» полосатого тела (~DLS) ресурсом является движение, которое ограничено, поскольку движение требует энергии, и потому что многие действия несовместимы друг с другом 80. Повышение уровня дофамина увеличивает вероятность того, что животное решит, что стоит тратить энергию на движение, или будет двигаться быстрее 6 , 40 , 81. Следует отметить, что дофаминовый сигнал, кодирующий «движение целесообразно», будет создавать корреляции между дофамином и движением, даже без дофамина, кодирующего «движение» как таковое.
Для «когнитивного» стриатума (~ДМС) ресурсами являются когнитивные процессы, включая внимание (которое по определению имеет ограниченную емкость 82 ) и рабочую память 83. Без дофамина важные внешние сигналы, которые обычно провоцируют ориентировочные движения, игнорируются, как если бы считались менее достойными внимания 3. Кроме того, целенаправленное задействование процессов когнитивного контроля требует усилий (затрат 84 ). Дофамин – особенно в ДМС 85 – играет ключевую роль в принятии решения о том, стоит ли прилагать эти усилия 86 , 87. Это может включать в себя решение о том, следует ли использовать более когнитивно сложные, обдуманные («основанные на моделях») стратегии принятия решений 88.
Для «мотивационного» стриатума (~NAc) одним из ключевых ограниченных ресурсов может быть время животного. Мезолимбический дофамин не требуется, когда животные выполняют простое, фиксированное действие для быстрого получения вознаграждения 89. Но многие формы вознаграждения могут быть получены только посредством длительной работы: продолжительных последовательностей действий без вознаграждения, как, например, при поиске пищи. Выбор в пользу работы означает, что другие полезные способы проведения времени должны быть исключены. Высокий уровень мезолимбического дофамина указывает на то, что выполнение длительной, требующей усилий работы стоит того, но по мере снижения уровня дофамина животные не утруждают себя этим и могут просто готовиться ко сну 90.
В каждой кортико-стриатальной петле дофамин в текущем поведении играет как экономическую (связанную с распределением ресурсов), так и мотивационную роль (стоит ли тратить ресурсы 81 ). Эти цепи не являются полностью независимыми, а имеют иерархическую, спиралевидную организацию: более вентральные участки стриатума влияют на дофаминовые клетки, которые проецируются в более дорсальные участки 5 , 91. Таким образом, решения о выполнении работы могут также способствовать активизации необходимых специфических, более коротких движений. Но в целом дофамин поставляет «активационные» сигналы – увеличивая вероятность принятия какого-либо решения – а не «направленные» сигналы, определяющие, как следует расходовать ресурсы 5.
Какова вычислительная роль дофамина в принятии решений?
Один из способов осмысления этой активационной роли — это рассмотрение «порогов» принятия решений. В некоторых математических моделях процессы принятия решений ускоряются до достижения порогового уровня, когда система принимает решение о совершении действия 92. Более высокий уровень дофамина будет эквивалентен меньшему расстоянию до порога, так что решения принимаются быстрее. Эта идея упрощена, но позволяет делать количественные прогнозы, которые были подтверждены. Снижение порогов для движения вызовет специфическое изменение формы распределения времени реакции, как это наблюдается при введении амфетамина в сенсомоторный стриатум 20.
Вместо фиксированных пороговых значений, поведенческие и нейронные данные могут лучше соответствовать ситуации, когда пороговые значения снижаются со временем, как если бы решения становились все более срочными. Было высказано предположение, что выходные сигналы базальных ганглиев обеспечивают динамически развивающийся сигнал срочности, который активизирует механизмы отбора в коре головного мозга 93. Срочность также была выше, когда будущие вознаграждения были ближе по времени, что делает эту концепцию похожей на кодирование ценности и активационную роль дофамина.
Достаточно ли такой активационной роли для описания эффектов дофамина в полосатом теле, влияющих на производительность? Это связано с давним вопросом о том, выбирают ли цепи базальных ганглиев непосредственно среди выученных действий 80 или просто усиливают выбор, сделанный в другом месте 93 , 94. Существует как минимум два способа, которыми дофамин может оказывать более «направленное» воздействие. Первый — это когда дофамин действует в подрегионе мозга, который обрабатывает информацию, по своей природе являющуюся направленной. Цепи базальных ганглиев играют важную, частично латерализованную роль в ориентации и приближении к потенциальным вознаграждениям. Хвостатое ядро приматов (~DMS) участвует в управлении движениями глаз в направлении контралатеральных пространственных полей 95. Дофаминергический сигнал о том, что что-то в контралатеральном пространстве стоит того, чтобы на него ориентироваться, может объяснить наблюдаемую корреляцию между дофаминергической активностью в DMS и контралатеральными движениями 72 , а также вращательное поведение, вызванное манипуляциями с дофамином 96 . Второе «направленное» влияние дофамина проявляется, когда (двусторонние) поражения дофамина смещают выбор крыс в сторону вариантов с низкими усилиями/низким вознаграждением, а не вариантов с высокими усилиями/высоким вознаграждением 97. Это может отражать тот факт, что некоторые решения принимаются скорее последовательно, чем параллельно, когда крысы (и люди) оценивают варианты по одному 98. В таких контекстах принятия решений дофамин может по-прежнему играть принципиально активационную роль, передавая ценность рассматриваемого в данный момент варианта, который затем может быть принят или отклонен 24.
Активные животные принимают решения на нескольких уровнях, часто с высокой скоростью. Помимо рассмотрения отдельных решений, может быть полезно рассмотреть общую траекторию через последовательность состояний ( рис. 1 ). Облегчая переходы из одного состояния в другое, дофамин может ускорять поток вдоль выученных траекторий 99. Это может быть связано с важным влиянием дофамина на время выполнения поведения 44 , 100. Одним из ключевых направлений будущих исследований является более глубокое понимание того, как механистически возникают такие эффекты дофамина на текущее поведение, изменяя обработку информации в отдельных клетках, микросхемах и крупномасштабных петлях кора головного мозга — базальные ганглии. Кроме того, я подчеркнул общие вычислительные роли дофамина в ряде мишеней стриатума, но в значительной степени пренебрег мишенями коры головного мозга, и еще предстоит выяснить, можно ли описать функции дофамина в обеих структурах в рамках одной и той же модели.
В заключение , адекватное описание дофамина объяснило бы, как дофамин может сигнализировать как об обучении, так и о мотивации в одних и тех же быстрых временных масштабах, без путаницы. Оно объяснило бы, почему высвобождение дофамина в ключевых мишенях коррелирует с ожиданием вознаграждения, даже несмотря на то, что активность дофаминовых клеток не меняется. И оно обеспечило бы единое вычислительное объяснение действия дофамина в полосатом теле и других областях, что объясняет различные поведенческие эффекты на движение, когнитивные функции и чувство времени. Некоторые конкретные идеи, представленные здесь, носят спекулятивный характер, но призваны оживить дискуссию, моделирование и новые содержательные эксперименты.
Выражение признательности.
Я благодарю многих коллег, которые предоставили проницательные комментарии к более ранним текстовым проектам, включая Кента Берриджа, Питера Даяна, Брайана Кнутсона, Джеффа Билера, Питера Редгрейва, Джона Лисмана, Джесси Голдберга и анонимных судей. Я сожалею, что ограниченность пространства не позволила обсудить многие важные предыдущие исследования. Существенную поддержку оказали Национальный институт неврологических расстройств и инсульта, Национальный институт психического здоровья и Национальный институт по борьбе со злоупотреблением наркотиками.

