Что означает дофамин? (2018)

, Авторская рукопись; доступно в PMC 2019 Feb 1.
Опубликовано в окончательной отредактированной форме как:

Опубликовано онлайн 14 мая 2018 г. doi: 10.1038/s41593-018-0152-y

PMCID: PMC6358212
NIHMSID: NIHMS987662
PMID: 29760524

Резюме

Дофамин является критическим модулятором как обучения, так и мотивации. Это создает проблему: как клетки-мишени могут узнать, является ли увеличение дофамина сигналом к ​​обучению или к движению? Часто предполагается, что мотивация включает медленные («тонические») изменения дофамина, в то время как быстрые («фазные») колебания дофамина дают ошибки в прогнозе вознаграждения за обучение. Тем не менее, недавние исследования показали, что дофамин несет мотивационную ценность и способствует движению даже в течение секунды. Здесь я опишу альтернативный отчет о том, как дофамин регулирует текущее поведение. Высвобождение дофамина, связанное с мотивацией, быстро и локально вырабатывается рецепторами на дофаминовых терминалах, независимо от запуска дофаминовых клеток. Целевые нейроны внезапно переключаются между режимами обучения и производительности, при этом полосатые холинергические интернейроны обеспечивают один из возможных механизмов переключения. Поведение дофамина на поведение варьируется в зависимости от субрегиона, но в каждом случае дофамин дает динамическую оценку того, стоит ли тратить ограниченные внутренние ресурсы, такие как энергия, внимание или время.

Является ли допамин сигналом для обучения, для мотивации или для того и другого?

Наше понимание дофамина менялось в прошлом и меняется снова. Одно из важнейших различий заключается в разнице между влиянием дофамина на текущее поведение (эффективность) и влиянием дофамина на будущее поведение (обучение). Оба эффекта реальны и важны, но в разное время один из них был в приоритете, а другой — нет.

Когда (в 70-х годах) стало возможным проводить селективные, полные повреждения дофаминовых путей, очевидным поведенческим следствием стало резкое снижение двигательной активности¹ Это соответствовало акинетическим эффектам потери дофамина у людей, вызванным прогрессирующей болезнью Паркинсона, токсичными препаратами или энцефалитом² Однако ни у крыс, ни у людей не наблюдается фундаментальной неспособности двигаться. Крысы с поврежденными дофаминовыми путями плавают в холодной воде³ а акинетические пациенты могут встать и побежать, если сработает пожарная сигнализация («парадоксальная» кинезия). Также нет фундаментального дефицита в восприятии вознаграждения: крысы с поврежденными дофаминовыми путями будут потреблять пищу, помещенную им в рот, и проявлять признаки удовольствия от нее⁴ Скорее, они не будут прилагать усилий для активного получения вознаграждения. Эти и многие другие результаты установили фундаментальную связь между дофамином и мотивацией⁵ Даже замедление движений , наблюдаемое в менее тяжелых случаях болезни Паркинсона, можно рассматривать как дефицит мотивации, отражающий неявные решения о том, что не стоит тратить энергию, необходимую для более быстрых движений⁶

Затем (в 80-х годах) появились новаторские записи активности дофаминовых нейронов у обезьян во время выполнения поведенческих задач (в областях среднего мозга, проецирующих в передний мозг: вентральная тегментальная область, VTA / компактная часть черной субстанции, SNc). Среди наблюдаемых паттернов активности были короткие вспышки в ответ на стимулы, которые вызывали немедленные движения. Эта «фазовая» активность дофаминовых нейронов первоначально интерпретировалась как поддержка «поведенческой активации» и «мотивационного возбуждения» — другими словами, как активизация текущего поведения животного.

В 90-е годы произошёл радикальный сдвиг, связанный с переосмыслением фазовых всплесков дофамина как кодирования ошибок прогнозирования вознаграждения (RPE ) Идея RPE возникла в более ранних теориях обучения, и особенно в тогда ещё развивающейся области компьютерных наук — обучении с подкреплением Цель сигнала RPE — обновление значений (оценок будущих вознаграждений). Эти значения используются позже, чтобы помочь сделать выбор, который максимизирует вознаграждение. Поскольку активность дофаминовых клеток напоминала RPE, а RPE используются для обучения, стало естественным подчеркнуть роль дофамина в обучении. Позднее оптогенетические манипуляции подтвердили дофаминергическую идентичность клеток, кодирующих RPE , , и показали, что они действительно модулируют обучение , .

Идея о том, что дофамин обеспечивает сигнал обучения, прекрасно согласуется с данными литературы, свидетельствующими о том, что дофамин модулирует синаптическую пластичность в полосатом теле, основной мишени дофамина в переднем мозге. Например, тройное совпадение стимуляции глутаматом дендритного шипика полосатого тела, постсинаптической деполяризации и высвобождения дофамина приводит к росту шипика Дофаминергическая модуляция механизмов долговременного обучения помогает объяснить устойчивые поведенческие эффекты наркотических веществ, которые обладают свойством усиливать высвобождение дофамина в полосатом теле Даже выраженная акинезия при потере дофамина может быть частично объяснена такими механизмами обучения Недостаток дофамина можно рассматривать как постоянно отрицательную оценку воспринимаемой нагрузки (RPE), которая постепенно обновляет значения действий в направлении нуля. Аналогичные прогрессивные, подобные угасанию эффекты на поведение могут быть вызваны антагонистами дофамина , .

Однако идея о том, что дофамин играет решающую роль в поддержании мотивации, никуда не исчезла — напротив, она широко принимается как данность нейробиологами, изучающими поведение. Это вполне уместно, учитывая убедительные доказательства того, что функции дофамина в мотивации/движении/активности неотделимы от обучения , Менее широко признана сложность согласования этой мотивационной роли с теорией о том , что дофамин обеспечивает сигнал обучения RPE.

Мотивация «смотрит вперед»: она использует предсказания будущей награды (ценностей), чтобы соответствующим образом активизировать текущее поведение. Напротив, обучение «оглядывается назад» на состояния и действия в недавнем прошлом и обновляет их значения. Это дополнительные фазы цикла: обновленные значения могут использоваться в последующем принятии решения, если эти состояния повторно обнаруживаются, затем обновляются снова и так далее. Но с какой фазой цикла связан дофамин - использование ценностей для принятия решений (производительность) или обновление ценностей (обучение)?

В некоторых обстоятельствах легко представить, что дофамин одновременно играет обе роли. Неожиданные, предсказывающие вознаграждение сигналы являются архетипичными событиями, вызывающими активацию и высвобождение дофаминовых клеток, и такие сигналы обычно как стимулируют поведение, так и вызывают обучение ( рис. 1 ). В этой конкретной ситуации одновременно увеличиваются как предсказание вознаграждения, так и ошибки предсказания вознаграждения, но это не всегда так. В качестве примера можно привести людей и других животных, которые часто мотивированы работать ради вознаграждения, даже когда ничего неожиданного не происходит. Они могут работать все усерднее по мере приближения к вознаграждению (ценность возрастает по мере приближения вознаграждения). Суть в том, что обучение и мотивация концептуально, вычислительно и поведенчески различны, и тем не менее дофамин, похоже, выполняет обе функции.

Внешний файл, содержащий изображение, рисунок и т. Д. Имя объекта - nihms-987662-f0001.jpg

Дофамин: обновляя прошлое, бодрящий настоящее.

Вверху : круги со стрелками представляют состояния и потенциальные действия из этих состояний. Ширина стрелок указывает на усвоенные ценности выполнения каждого действия. По мере того, как состояния/действия уходят в прошлое, они становятся все менее пригодными для подкрепления. В середине : происходит выброс дофамина. Результатом является активизация действий, доступных из текущего состояния (красный), и пластичность представлений о ценности недавно выполненных действий (фиолетовый). Внизу : в результате пластичности, при следующем столкновении с этими состояниями их связанные ценности увеличиваются (ширина стрелок). Благодаря многократному опыту обучение с подкреплением может «проложить канавку» в пространстве состояний, делая определенные траектории все более вероятными. В дополнение к этой роли в обучении, активизирующая роль дофамина в выполнении действий, по-видимому, ускоряет движение по ранее усвоенным траекториям.

Ниже я критически оцениваю современные идеи о том, как дофамин способен выполнять как учебные, так и мотивационные функции. Я предлагаю обновленную модель, основанную на трех ключевых фактах: 1) высвобождение дофамина из терминалов происходит не просто в результате обжига допаминовых клеток, но также может контролироваться на местном уровне; 2) допамин влияет как на синаптическую пластичность, так и на возбудимость клеток-мишеней, что имеет определенные последствия для обучения и производительности соответственно; 3) влияние допамина на пластичность может быть включено или выключено соседними элементами цепи. Вместе эти функции могут позволить мозговым цепям переключаться между двумя различными сообщениями допамина для обучения и мотивации соответственно.

Существуют ли отдельные «фазические» и «тонические» дофаминовые сигналы, имеющие разные значения?

Часто утверждается, что обучающая и мотивационная роли дофамина проявляются в разных временных масштабах Дофаминовые клетки непрерывно («тонически») генерируют импульсы с частотой несколько раз в секунду, с occasional короткими («фазовыми») вспышками или паузами. Вспышки, особенно если они искусственно синхронизированы между дофаминовыми клетками, вызывают соответствующие быстрые увеличения уровня дофамина в переднем мозге , которые носят крайне кратковременный характер (продолжительность менее секунды ). Отдельный вклад тонической активности дофаминовых клеток в концентрацию дофамина в переднем мозге менее ясен. Некоторые данные свидетельствуют о том, что этот вклад очень мал Возможно, его достаточно для почти непрерывной стимуляции рецепторов D2 с более высоким сродством, что позволяет системе замечать короткие паузы в активности дофаминовых клеток и использовать эти паузы в качестве отрицательных ошибок прогнозирования.

Микродиализ широко используется для прямого измерения уровня дофамина в переднем мозге, хотя и с низкой временной разрешающей способностью (обычно усреднение за многие минуты). Такие медленные измерения дофамина могут быть сложны для точного сопоставления с поведением. Тем не менее, микродиализ дофамина в прилежащем ядре (NAc; вентральный/медиальный стриатум) показывает положительные корреляции с двигательной активностью и другими показателями мотивации Это широко интерпретируется как наличие медленных («тонических») изменений концентрации дофамина, и что эти медленные изменения передают мотивационный сигнал. Более конкретно, вычислительные модели предполагают, что тонические уровни дофамина отслеживают долгосрочную среднюю скорость получения вознаграждения – полезную мотивационную переменную для распределения времени и принятия решений о поиске пищи. Стоит подчеркнуть, что очень немногие работы четко определяют «тонические» уровни дофамина – обычно они просто предполагают, что концентрация дофамина медленно изменяется в течение нескольких минут, характерных для микродиализа.

Однако эта точка зрения, согласно которой «фазовый дофамин = RPE/обучение, тонический дофамин = мотивация», сталкивается со многими проблемами. Во-первых, нет прямых доказательств того, что активность тонических дофаминовых клеток обычно изменяется в течение медленных временных интервалов. Частота тонической активности не меняется при изменении мотивации , Утверждалось, что уровень тонического дофамина изменяется из-за изменения доли активных дофаминовых клеток , Но во многих исследованиях на животных, не подвергавшихся воздействию лекарств и не имевших повреждений, никогда не сообщалось о переключении дофаминовых клеток между неактивным и пассивным состояниями.

Более того, тот факт, что микродиализ измеряет уровни дофамина медленно, не означает, что уровни дофамина действительно изменяются медленно. Недавно мы исследовали дофамин в прилежащем ядре в ​​вероятностной задаче с вознаграждением, используя как микродиализ, так и быстросканирующую циклическую вольтамметрию. Мы подтвердили, что мезолимбический дофамин, измеренный с помощью микродиализа, коррелирует со скоростью получения вознаграждения (вознаграждения/мин). Однако даже при улучшенном временном разрешении микродиализа (1 мин) дофамин колебался так же быстро, как мы его измеряли: мы не обнаружили никаких доказательств наличия изначально медленного сигнала дофамина.

Используя более точное временное разрешение по-прежнему вольтамперометрии, мы наблюдали тесную связь между колебаниями допамина до секунды и мотивацией. Когда крысы выполняли последовательность действий, необходимых для достижения награды, дофамин повышался все выше и выше, достигая максимума, как только они получали награду (и быстро снижался, когда они ее потребляли). Мы показали, что дофамин сильно коррелирует с мгновенным значением состояния, определяемым как ожидаемое будущее вознаграждение, дисконтированным с ожидаемым временем, необходимым для его получения. Эта быстрая динамика дофамина может также объяснить результаты микродиализа, не вызывая отдельные сигналы дофамина в различных временных масштабах. Поскольку животные получают больше наград, они увеличивают свои ожидания будущих наград на каждом этапе последовательности испытаний. Вместо медленно меняющегося сигнала средней скорости вознаграждения корреляция между дофамином и скоростью вознаграждения лучше всего объясняется как среднее по длительности времени сбора образцов микродиализа этих быстро меняющихся значений состояния.

Такая интерпретация ценности высвобождения мезолимбического дофамина согласуется с результатами вольтамметрии других исследовательских групп, которые неоднократно обнаруживали, что высвобождение дофамина увеличивается с приближением к вознаграждению 36–38 рис . 2 ). Этот мотивационный сигнал не является по своей природе «медленным», а скорее может наблюдаться в непрерывном диапазоне временных масштабов. Хотя пики высвобождения дофамина могут длиться несколько секунд, если поведение приближения также длится несколько секунд это отражает временной ход поведения, а не внутреннюю динамику дофамина. Связь между высвобождением мезолимбического дофамина и флуктуирующей ценностью видна настолько быстро, насколько позволяет метод записи, т.е. в масштабе времени ~100 мс с использованием электродов для острой вольтамметрии .

Внешний файл, содержащий изображение, рисунок и т. Д. Имя объекта - nihms-987662-f0002.jpg

Быстрые колебания допамина сигнализируют о динамически меняющихся ожиданиях вознаграждения.

ac) Высвобождение дофамина в мезолимбической системе быстро увеличивается по мере приближения крыс к ожидаемому вознаграждению. d) Ценность, определяемая как дисконтированные во времени оценки будущего вознаграждения, увеличивается по мере приближения вознаграждения. Подсказки, указывающие на то, что вознаграждение больше, ближе или более вероятно, чем ожидалось ранее, вызывают скачки в ценности. Эти скачки от одного момента к другому представляют собой временные разностные RPE. e) Вычитание «базовых уровней» может смешивать сигналы ценности и RPE. Слева, дофамин, выровненный по сигналу, предсказывающему вознаграждение (в нулевой момент времени), с обычным вычитанием базового уровня, по-видимому, показывает, что уровень дофамина повышается, когда вознаграждение менее ожидаемо (коричневый цвет), напоминая сигнал RPE. Справа, альтернативное представление тех же данных, уравнивающее уровни дофамина после сигнала, показало бы, что уровни дофамина до сигнала зависят от ожидания вознаграждения (ценности). Дополнительный анализ показал, что представление справа ближе к истине (подробности см. в ссылке ). Панель a воспроизведена с разрешения из источника , Macmillan Publishers Limited…; панель b воспроизведена с разрешения из источника , Elsevier; панели ce воспроизведены с разрешения из источника , Macmillan Publishers Limited

Быстрые колебания уровня дофамина не просто отражают мотивацию, они также немедленно запускают мотивированное поведение. Более выраженные фазовые реакции дофаминовых клеток на триггерные сигналы предсказывают более короткое время реакции в том же самом эксперименте Оптогенетическая стимуляция дофаминовых клеток VTA повышает вероятность начала работы крыс в нашей задаче с вероятностным вознаграждением , как если бы у них было более высокое ожидание вознаграждения. Оптогенетическая стимуляция дофаминовых нейронов SNc или их аксонов в дорсальном стриатуме увеличивает вероятность движения , Важно отметить, что эти поведенческие эффекты проявляются в течение нескольких сотен миллисекунд после начала оптогенетической стимуляции. Способность сигналов, предсказывающих вознаграждение, повышать мотивацию, по-видимому, опосредована очень быстрой дофаминергической модуляцией возбудимости шиповатых нейронов NAc . Поскольку уровень дофамина быстро меняется, и эти изменения быстро влияют на мотивацию, мотивационные функции дофамина лучше описывать как быстрые («фазовые»), а не медленные («тонические»).

Более того, использование отдельных быстрых и медленных временных масштабов само по себе не решает проблему декодирования, с которой сталкиваются нейроны с дофаминовыми рецепторами. Если дофамин сигнализирует об обучении, модуляция синаптической пластичности может показаться подходящей клеточной реакцией. Но немедленное воздействие на мотивированное поведение подразумевает немедленное воздействие на спайк - например, через быстрые изменения возбудимости. Допамин может иметь оба этих постсинаптических эффекта (и даже больше), поэтому имеет ли данная концентрация дофамина определенное значение? Или это значение необходимо конструировать - например, сравнивая уровни дофамина во времени или используя другие совпадающие сигналы, чтобы определить, какие клеточные механизмы задействовать? Эта возможность обсуждается ниже.

Дает ли выброс дофамина ту же информацию, что и при сжигании дофаминовых клеток?

Связь между быстрыми колебаниями дофамина и мотивационной ценностью кажется странной, учитывая, что активность дофаминовых клеток, напротив, напоминает эффект RPE (Return-Pass Expected Episode). Более того, в некоторых исследованиях сообщалось о сигналах RPE в мезолимбическом высвобождении дофамина Важно отметить сложность интерпретации некоторых форм нейронных данных. Сигналы ценности и RPE коррелируют друг с другом – что неудивительно, поскольку RPE обычно определяется как изменение ценности от одного момента к другому («временная разница» RPE). Из-за этой корреляции крайне важно использовать экспериментальные схемы и анализы, которые различают значения ценности и значения RPE. Проблема усугубляется при использовании нейронного измерения, основанного на относительных, а не абсолютных изменениях сигнала. Вольтамметрический анализ обычно сравнивает уровень дофамина в интересующий момент времени с «базовым» уровнем, предшествующим каждому испытанию (для удаления компонентов сигнала, не зависящих от дофамина, включая зарядку электрода при каждом изменении напряжения и дрейф в течение нескольких минут). Но вычитание базового уровня может привести к тому, что сигнал ценности станет похожим на сигнал RPE. Это то, что мы наблюдали в наших собственных данных вольтамметрии ( рис. 2e ). Изменения в ожидании вознаграждения отражались в изменениях концентрации дофамина в начале каждого испытания, и эти изменения упускаются, если просто предполагать постоянный базовый уровень во всех испытаниях Таким образом, выводы о высвобождении дофамина и кодировании RPE следует рассматривать с осторожностью. Эта опасность интерпретации данных относится не только к вольтамметрии, но и к любому анализу, основанному на относительных изменениях, – потенциально включая некоторые методы фМРТ и фотометрии .

Тем не менее, нам все еще необходимо согласовать высвобождение дофамина, связанное с ценностью, в ядре NAc с постоянным отсутствием связанных с ценностью импульсов дофаминовых нейронов , даже в латеральной области VTA, которая обеспечивает дофамин ядро ​​NAc Одним из потенциальных факторов является то, что дофаминовые клетки обычно регистрируются у животных с зафиксированной головой, выполняющих задачи классического обусловливания, в то время как высвобождение дофамина обычно измеряется у животных без фиксации, активно перемещающихся в своей среде. Мы предположили, что мезолимбический дофамин может специфически указывать на ценность «работы» – что он отражает необходимость посвятить время и усилия получению вознаграждения. В соответствии с этим, уровень дофамина повышается при сигналах, указывающих на движение, но не при сигналах, указывающих на неподвижность, даже когда они указывают на аналогичное будущее вознаграждение Если – как во многих задачах классического обусловливания – нет выгоды от активной «работы», то дофаминергические изменения, указывающие на ценность работы, могут быть менее очевидными.

Ещё более важным может быть тот факт, что высвобождение дофамина может контролироваться локально в самих терминалах, и, таким образом, демонстрировать пространственно-временные паттерны, независимые от активности клеточного тела. Например, базолатеральная миндалевидная железа (BLA) может влиять на высвобождение дофамина в прилежащем ядре (NAc) даже при инактивации вентральной области покрышки (VTA) И наоборот, инактивация BLA снижает высвобождение дофамина в NAc и соответствующее мотивированное поведение, не влияя, по-видимому, на активность нейронов VTA Дофаминовые терминали имеют рецепторы для ряда нейромедиаторов, включая глутамат, опиоиды и ацетилхолин. Никотиновые рецепторы ацетилхолина позволяют стриатальным холинергическим интернейронам (CIN) быстро контролировать высвобождение дофамина , Хотя давно отмечалось, что локальный контроль высвобождения дофамина потенциально важен , , он не был включен в вычислительные модели функционирования дофамина. Я предполагаю, что динамика высвобождения дофамина, связанная с кодированием ценности, возникает в основном за счет локального контроля, даже несмотря на то, что активация дофаминовых клеток обеспечивает важные сигналы, подобные сигналам RPE, для обучения.

Как дофамин может означать как обучение, так и мотивацию без путаницы?

В принципе, сигнал, отражающий значение, также достаточен для передачи RPE, поскольку RPE, обусловленные временной разностью, представляют собой просто быстрые изменения значения ( рис. 2B ). Например, различные внутриклеточные пути в целевых нейронах могут быть по-разному чувствительны к абсолютной концентрации дофамина (представляющей значение) и к быстрым относительным изменениям концентрации (представляющим RPE). Эта схема кажется правдоподобной, учитывая сложную модуляцию дофамина в физиологии шиповатых нейронов и их чувствительность к временным паттернам концентрации кальция Однако это также кажется несколько избыточным. Если сигнал, подобный RPE, уже существует в импульсах дофаминовых клеток, его можно использовать вместо того, чтобы заново выводить RPE из сигнала, отражающего значение.

Для адекватного использования различных сигналов RPE и значений, дофамин-рецепторные цепи могут активно переключать способ интерпретации дофамина. Существуют интересные данные, свидетельствующие о том, что ацетилхолин также может выполнять эту переключающую роль. В то же время, когда дофаминовые клетки генерируют вспышки импульсов в ответ на неожиданные сигналы, CIN-нейроны демонстрируют короткие (~150 мс) паузы в генерации импульсов, которые не масштабируются с RPE Эти паузы CIN-нейронов могут быть вызваны ГАМКергическими нейронами VTA , а также клетками, связанными с «сюрпризом», в интраламинарном таламусе, и, как предполагается, действуют как сигнал ассоциативности, способствующий обучению Моррис и Бергман предположили , что холинергические паузы определяют временные окна для пластичности стриатума, в течение которых дофамин может использоваться в качестве сигнала обучения. Дофамин-зависимая пластичность постоянно подавляется механизмами, включая мускариновые рецепторы m4 на нейронах стриатума прямого пути . Модели внутриклеточной сигнализации предполагают, что во время пауз CIN отсутствие связывания m4 может действовать синергически с фазовыми всплесками дофамина, усиливая активацию PKA , тем самым способствуя синаптическим изменениям.

Таким образом, холинергические клетки стриатума хорошо приспособлены для динамического изменения значения мультиплексного дофаминергического сообщения. Во время пауз в работе CIN снятие мускариновой блокады синаптической пластичности позволило бы использовать дофамин для обучения. В другое время высвобождение из дофаминовых терминалов локально формировалось бы для влияния на текущую поведенческую активность. В настоящее время это предположение является как умозрительным, так и неполным. Было высказано предположение, что CIN интегрируют информацию от многих окружающих шиповатых нейронов для извлечения полезных сигналов на уровне сети, таких как энтропия , Но совершенно неясно, можно ли использовать динамику активности CIN для генерации сигналов ценности дофамина , а также для управления сигналами обучения, связанными с дофамином.

Означает ли дофамин то же самое во всем переднем мозге?

По мере распространения идеи RPE (Return-Password and Precision — ошибка прогнозирования) предполагалось, что дофамин является глобальным сигналом, передающим сообщение об ошибке по всей стриатальной и лобной коре головного мозга. Шульц подчеркнул, что дофаминовые клетки обезьян в VTA и SNc демонстрируют очень похожие реакции Исследования идентифицированных дофаминовых клеток также выявили довольно однородные реакции, подобные RPE, у грызунов, по крайней мере, для латеральных нейронов VTA в контексте классического обусловливания дофаминовые клетки молекулярно и физиологически разнообразны , и в настоящее время существует множество сообщений о том, что они демонстрируют разнообразные паттерны активности у животных в поведенческих экспериментах. К ним относятся фазовые увеличения активности в ответ на аверсивные события и триггерные сигналы , которые плохо согласуются со стандартной теорией RPE. Многие дофаминовые клетки демонстрируют начальную реакцию с короткой задержкой на сенсорные события, которая отражает скорее удивление или «предупреждение», чем специфическое кодирование RPE , . Этот аспект настороженности более выражен в SNc , где дофаминовые клетки проецируются в большей степени в «сенсомоторный» дорсальный/латеральный стриатум (DLS , ). Также сообщалось, что субпопуляции дофаминовых клеток SNc увеличивают или уменьшают активность в связи со спонтанными движениями, даже без внешних сигналов.

Несколько групп использовали волоконную фотометрию и кальциевый индикатор GCaMP для изучения общей активности субпопуляций дофаминовых нейронов , Дофаминовые клетки, проецирующие в дорсальный/медиальный стриатум (DMS), демонстрировали временное снижение активности в ответ на неожиданные короткие разряды, в то время как клетки, проецирующие в DLS, демонстрировали повышенную активность – что больше соответствует реакции настороженности. Различные дофаминергические реакции в разных субрегионах переднего мозга также наблюдались при использовании GCaMP для изучения активности дофаминовых аксонов и терминалей , , Используя двухфотонную визуализацию у мышей с фиксированной головой, Хоу и Домбек сообщили о фазовой дофаминовой активности, связанной со спонтанными движениями. Это преимущественно наблюдалось в отдельных дофаминовых аксонах из SNc, которые заканчивались в дорсальном стриатуме, в то время как дофаминовые аксоны VTA в NAc реагировали больше на получение вознаграждения. Другие исследователи также обнаружили связанную с вознаграждением дофаминергическую активность в NAc, при этом DMS, напротив, был больше связан с контралатеральными действиями , а задняя часть стриатума реагировала на аверсивные и новые стимулы .

Прямые измерения высвобождения дофамина также выявляют гетерогенность между субрегионами , С помощью микродиализа мы обнаружили, что дофамин коррелирует с ценностью именно в ядре прилежащего ядра и вентрально-медиальной лобной коре, а не в других медиальных частях полосатого тела (оболочка прилежащего ядра, ДМС) или лобной коре. Это интригует, поскольку, по-видимому, хорошо коррелирует с двумя «горячими точками» кодирования ценности, которые постоянно наблюдаются в исследованиях фМРТ человека , В частности, сигнал BOLD в прилежащем ядре, который тесно связан с дофаминовой сигнализацией , увеличивается с ожиданием вознаграждения (ценностью) – больше, чем с RPE .

Независимо от того, возникают ли эти пространственные паттерны высвобождения дофамина в результате активации различных субпопуляций дофаминовых клеток, локального контроля высвобождения дофамина или того и другого, они ставят под сомнение идею глобального дофаминового сигнала. Можно было бы заключить, что существует множество различных функций дофамина, например, дофамин в дорсальном стриатуме сигнализирует о «движении», а дофамин в вентральном стриатуме — о «вознаграждении» Однако я предпочитаю другой концептуальный подход. Различные подрегионы стриатума получают входные сигналы из разных кортикальных областей и, следовательно, обрабатывают разные типы информации. Тем не менее, каждый подрегион стриатума имеет общую архитектуру микросхемы, включая отдельные шиповатые нейроны с D1- и D2-рецепторами , CIN и так далее. Хотя обычно различные подрегионы стриатума (например, DLS, DMS, ядро ​​NAc) рассматриваются как отдельные области, между ними нет четких анатомических границ (оболочка NAc несколько более нейрохимически отличается). Вместо этого наблюдаются лишь плавные градиенты плотности рецепторов, пропорций интернейронов и т. д., которые больше похожи на корректировку параметров общего вычислительного алгоритма. Учитывая эту общую архитектуру, можем ли мы описать общую функцию дофамина, абстрагированную от специфической информации, обрабатываемой каждым подрегионом?

Стриатальный дофамин и выделение ограниченных ресурсов.

Я предполагаю, что различные эффекты дофамина на текущее поведение можно понимать как модуляцию решений о распределении ресурсов . В частности, дофамин дает оценку того, насколько целесообразно расходовать ограниченный внутренний ресурс, причем конкретный ресурс различается в зависимости от подрегиона полосатого тела. Для «моторного» полосатого тела (~DLS) ресурсом является движение, которое ограничено, поскольку движение требует энергии, и потому что многие действия несовместимы друг с другом Повышение уровня дофамина увеличивает вероятность того, что животное решит, что стоит тратить энергию на движение, или будет двигаться быстрее , , Следует отметить, что дофаминовый сигнал, кодирующий «движение целесообразно», будет создавать корреляции между дофамином и движением, даже без дофамина, кодирующего «движение» как таковое.

Для «когнитивного» стриатума (~ДМС) ресурсами являются когнитивные процессы, включая внимание (которое по определению имеет ограниченную емкость ) и рабочую память Без дофамина важные внешние сигналы, которые обычно провоцируют ориентировочные движения, игнорируются, как если бы считались менее достойными внимания Кроме того, целенаправленное задействование процессов когнитивного контроля требует усилий (затрат ). Дофамин – особенно в ДМС – играет ключевую роль в принятии решения о том, стоит ли прилагать эти усилия , Это может включать в себя решение о том, следует ли использовать более когнитивно сложные, обдуманные («основанные на моделях») стратегии принятия решений .

Для «мотивационного» стриатума (~NAc) одним из ключевых ограниченных ресурсов может быть время животного. Мезолимбический дофамин не требуется, когда животные выполняют простое, фиксированное действие для быстрого получения вознаграждения Но многие формы вознаграждения могут быть получены только посредством длительной работы: продолжительных последовательностей действий без вознаграждения, как, например, при поиске пищи. Выбор в пользу работы означает, что другие полезные способы проведения времени должны быть исключены. Высокий уровень мезолимбического дофамина указывает на то, что выполнение длительной, требующей усилий работы стоит того, но по мере снижения уровня дофамина животные не утруждают себя этим и могут просто готовиться ко сну .

В каждой кортико-стриатальной петле дофамин в текущем поведении играет как экономическую (связанную с распределением ресурсов), так и мотивационную роль (стоит ли тратить ресурсы ). Эти цепи не являются полностью независимыми, а имеют иерархическую, спиралевидную организацию: более вентральные участки стриатума влияют на дофаминовые клетки, которые проецируются в более дорсальные участки , Таким образом, решения о выполнении работы могут также способствовать активизации необходимых специфических, более коротких движений. Но в целом дофамин поставляет «активационные» сигналы – увеличивая вероятность принятия какого-либо решения – а не «направленные» сигналы, определяющие, как следует расходовать ресурсы .

Какова вычислительная роль дофамина в принятии решений?

Один из способов осмысления этой активационной роли — это рассмотрение «порогов» принятия решений. В некоторых математических моделях процессы принятия решений ускоряются до достижения порогового уровня, когда система принимает решение о совершении действия Более высокий уровень дофамина будет эквивалентен меньшему расстоянию до порога, так что решения принимаются быстрее. Эта идея упрощена, но позволяет делать количественные прогнозы, которые были подтверждены. Снижение порогов для движения вызовет специфическое изменение формы распределения времени реакции, как это наблюдается при введении амфетамина в сенсомоторный стриатум .

Вместо фиксированных пороговых значений, поведенческие и нейронные данные могут лучше соответствовать ситуации, когда пороговые значения снижаются со временем, как если бы решения становились все более срочными. Было высказано предположение, что выходные сигналы базальных ганглиев обеспечивают динамически развивающийся сигнал срочности, который активизирует механизмы отбора в коре головного мозга Срочность также была выше, когда будущие вознаграждения были ближе по времени, что делает эту концепцию похожей на кодирование ценности и активационную роль дофамина.

Достаточно ли такой активационной роли для описания эффектов дофамина в полосатом теле, влияющих на производительность? Это связано с давним вопросом о том, выбирают ли цепи базальных ганглиев непосредственно среди выученных действий или просто усиливают выбор, сделанный в другом месте , Существует как минимум два способа, которыми дофамин может оказывать более «направленное» воздействие. Первый — это когда дофамин действует в подрегионе мозга, который обрабатывает информацию, по своей природе являющуюся направленной. Цепи базальных ганглиев играют важную, частично латерализованную роль в ориентации и приближении к потенциальным вознаграждениям. Хвостатое ядро ​​приматов (~DMS) участвует в управлении движениями глаз в направлении контралатеральных пространственных полей Дофаминергический сигнал о том, что что-то в контралатеральном пространстве стоит того, чтобы на него ориентироваться, может объяснить наблюдаемую корреляцию между дофаминергической активностью в DMS и контралатеральными движениями , а также вращательное поведение, вызванное манипуляциями с дофамином . Второе «направленное» влияние дофамина проявляется, когда (двусторонние) поражения дофамина смещают выбор крыс в сторону вариантов с низкими усилиями/низким вознаграждением, а не вариантов с высокими усилиями/высоким вознаграждением Это может отражать тот факт, что некоторые решения принимаются скорее последовательно, чем параллельно, когда крысы (и люди) оценивают варианты по одному В таких контекстах принятия решений дофамин может по-прежнему играть принципиально активационную роль, передавая ценность рассматриваемого в данный момент варианта, который затем может быть принят или отклонен .

Активные животные принимают решения на нескольких уровнях, часто с высокой скоростью. Помимо рассмотрения отдельных решений, может быть полезно рассмотреть общую траекторию через последовательность состояний ( рис. 1 ). Облегчая переходы из одного состояния в другое, дофамин может ускорять поток вдоль выученных траекторий Это может быть связано с важным влиянием дофамина на время выполнения поведения , Одним из ключевых направлений будущих исследований является более глубокое понимание того, как механистически возникают такие эффекты дофамина на текущее поведение, изменяя обработку информации в отдельных клетках, микросхемах и крупномасштабных петлях кора головного мозга — базальные ганглии. Кроме того, я подчеркнул общие вычислительные роли дофамина в ряде мишеней стриатума, но в значительной степени пренебрег мишенями коры головного мозга, и еще предстоит выяснить, можно ли описать функции дофамина в обеих структурах в рамках одной и той же модели.

В заключение , адекватное описание дофамина объяснило бы, как дофамин может сигнализировать как об обучении, так и о мотивации в одних и тех же быстрых временных масштабах, без путаницы. Оно объяснило бы, почему высвобождение дофамина в ключевых мишенях коррелирует с ожиданием вознаграждения, даже несмотря на то, что активность дофаминовых клеток не меняется. И оно обеспечило бы единое вычислительное объяснение действия дофамина в полосатом теле и других областях, что объясняет различные поведенческие эффекты на движение, когнитивные функции и чувство времени. Некоторые конкретные идеи, представленные здесь, носят спекулятивный характер, но призваны оживить дискуссию, моделирование и новые содержательные эксперименты.

Выражение признательности.

Я благодарю многих коллег, которые предоставили проницательные комментарии к более ранним текстовым проектам, включая Кента Берриджа, Питера Даяна, Брайана Кнутсона, Джеффа Билера, Питера Редгрейва, Джона Лисмана, Джесси Голдберга и анонимных судей. Я сожалею, что ограниченность пространства не позволила обсудить многие важные предыдущие исследования. Существенную поддержку оказали Национальный институт неврологических расстройств и инсульта, Национальный институт психического здоровья и Национальный институт по борьбе со злоупотреблением наркотиками.

Ссылки:

1. Ungerstedt U Адипсия и афагия после индуцированной 6-гидроксидофамином дегенерации нигро-полосатой дофаминовой системы. Acta Physiol Scand Suppl 367, 95 – 122 (1971). [PubMed] []
2. Мешки O Пробуждения. Awakenings (1973).
3. Маршалл Дж. Ф., Левитан Д. и Стрикер Э. М. Активирующее восстановление сенсомоторных функций у крыс с дофамин-истощающими поражениями головного мозга. J Comp Physiol Psychol 90, 536 – 46 (1976). [PubMed] []
4. Berridge KC, Venier IL и Robinson TE Анализ реактивности вкуса индуцированной 6-гидроксидопамином афагии: последствия для гипотез о возбуждении и андедонии функции допамина. Behav Neurosci 103, 36 – 45 (1989). [PubMed] []
5. Саламон J и Корреа М Таинственные мотивирующие функции мезолимбического допамина. Нейрон 76, 470–485 (2012).doi:10.1016/j.neuron.2012.10.021 [Бесплатная статья PMC] [PubMed] [CrossRef] []
6. Маззони П, Христова А. и Кракауэр Ю. В. Почему бы нам не двигаться быстрее? Болезнь Паркинсона, сила движения и скрытая мотивация. J Neurosci 27, 7105 – 16 (2007) .doi: 10.1523 / JNEUROSCI.0264-07.2007 [PubMed] [CrossRef] []
7. Шульц W Реакция допаминовых нейронов среднего мозга на поведенческие триггерные стимулы у обезьян. Журнал нейрофизиологии 56, 1439 – 1461 (1986). [PubMed] []
8. Шульц W и Romo R Дофаминовые нейроны среднего мозга обезьян: непредвиденные реакции на раздражители, вызывающие немедленные поведенческие реакции. J Neurophysiol 63, 607 – 24 (1990). [PubMed] []
9. Монтегю П.Р., Даян П и Сейновски Т.Дж. Основа для мезэнцефальных дофаминовых систем, основанных на предсказательном обучении ивриту. J Neurosci 16, 1936 – 47 (1996). [PubMed] []
10. Шульц В., Апичелла П и Юнгберг Т Реакция нейронов дофамина обезьяны на поощрительные и условные стимулы во время последовательных этапов обучения задаче с отсроченным ответом. J Neurosci 13, 900 – 13 (1993). [PubMed] []
11. Саттон Р.С. и Барто А.Г. Усиление обучения: введение. Усиление обучения: введение (MIT Press: Кембридж, Массачусетс, 1998). []
12. Коэн JY, Хеслер С, Вонг Л, Лоуэлл Б.Б. и Учида Н Нейрон-специфические сигналы для вознаграждения и наказания в вентральной области. Природа 482, 85–8 (2012).doi:10.1038/nature10754 [Бесплатная статья PMC] [PubMed] [CrossRef] []
13. Эшел Н, Тиан Дж, Буквич М и Учида Н Дофаминовые нейроны имеют общую функцию ответа на ошибку предсказания вознаграждения. Nat Neurosci 19, 479–86 (2016).doi:10.1038/nn.4239 [Бесплатная статья PMC] [PubMed] [CrossRef] []
14. Стейнберг Э. Э., Кейфлин Р., Бойвин Дж. Р., Виттен И. Б., Дейссерот К и Джанак П. Х. Причинная связь между ошибками прогнозирования, дофаминовыми нейронами и обучением. Nat Neurosci (2013) .doi: 10.1038 / nn.3413 [Бесплатная статья PMC] [PubMed] [CrossRef] []
15. Хамид А.А., Петтибон Д.Р., Мабрук О.С., Хетрик В.Л., Шмидт Р., Вандер Виль К.М., Кеннеди Р.Т., Арагона Б.Дж. и Берке Д.Д. Мезолимбический дофамин сигнализирует о стоимости работы. Nat Neurosci 19, 117–26 (2016).doi:10.1038/nn.4173 [Бесплатная статья PMC] [PubMed] [CrossRef] []
16. Ягишита С, Хаяси-Такаги А, Эллис-Дэвис ГК, Уракубо Х, Исии С и Касаи Х Критическое временное окно для действия допамина на структурную пластичность дендритных шипов. Наука 345, 1616–20 (2014).doi:10.1126/science.1255514 [Бесплатная статья PMC] [PubMed] [CrossRef] []
17. Berke JD и Hyman SE Наркомания, допамин и молекулярные механизмы памяти. Нейрон 25, 515 – 32 (2000). [PubMed] []
18. Билер JA, Фрэнк MJ, МакДейд J, Александр E, Турксон S, Бернандес MS, МакГи DS и Чжуан X Роль допамин-опосредованного обучения в патофизиологии и лечении болезни Паркинсона. Ячейка ячейки 2, 1747–61 (2012).doi:10.1016/j.celrep.2012.11.014 [Бесплатная статья PMC] [PubMed] [CrossRef] []
19. Мудрый РА Допамин, обучение и мотивация. Nat Rev Neurosci 5, 483 – 94 (2004) .doi: 10.1038 / nrn1406 [PubMed] [CrossRef] []
20. Левенталь Д.К., Стоцнер С., Абрахам Р., Петтибон Дж, Демарко К. и Берке Д.Д. Диссоциируемые эффекты дофамина на обучение и работоспособность в сенсомоторном стриатуме. Базальный ганглий 4, 43–54 (2014).doi:10.1016/j.baga.2013.11.001 [Бесплатная статья PMC] [PubMed] [CrossRef] []
21. Wyvell CL и Berridge KC Интра-прилежный амфетамин увеличивает обусловленный стимул значимость вознаграждения сахарозой: увеличение вознаграждения «хотение» без усиления «симпатии» или усиление реакции. J Neurosci 20, 8122 – 30. (2000). [PubMed] []
22. Каньяр Б, Билер Дж. А., Бритт Дж. П., МакГи Д. С., Маринелли М и Чжуан Х Дофамин оценивает производительность при отсутствии нового обучения. Нейрон 51, 541 – 7 (2006) .doi: 10.1016 / j.neuron.2006.07.026 [PubMed] [CrossRef] []
23. Шайнер Т, Сеймур Б, Вундерлих К, Хилл С, Бхатия К.П., Даян П и Долан Р.Дж. Допамин и эффективность в обучающей задаче с подкреплением: свидетельство болезни Паркинсона. Мозг 135, 1871-1883 (2012). [Бесплатная статья PMC] [PubMed] []
24. McClure SM, Daw ND и Montague PR Вычислительная основа для стимула. Тенденции Neurosci 26, 423 – 8 (2003). [PubMed] []
25. Шульц W Множественные функции допамина на разных временных курсах. Annu Rev Neurosci 30, 259 – 88 (2007) .doi: 10.1146 / annurev.neuro.28.061604.135722 [PubMed] [CrossRef] []
26. Gonon F, Burie JB, Jaber M, Benoit-Marand M, Dumartin B и Bloch B Геометрия и кинетика дофаминергической передачи в полосатом теле крысы и у мышей, у которых отсутствует переносчик дофамина. Prog Brain Res 125, 291 – 302 (2000). [PubMed] []
27. Арагона Б.Дж., Кливленд Н.А., Стубер Г.Д., Дэй Д.Дж., Карелли Р.М. и Вайтман Р.М. Преимущественное усиление передачи дофамина в оболочке прилежащего ядра кокаином объясняется непосредственным увеличением числа фазальных выбросов допамина. J Neurosci 28, 8821–31 (2008).doi:10.1523/JNEUROSCI.2225-08.2008 [Бесплатная статья PMC] [PubMed] [CrossRef] []
28. Оуэссон-Уайт К.А., Ройтман М.Ф., Сомберс Л.А., Белль А.М., Кейтли Р.Б., Пил Дж.Л., Карелли Р.М. и Вайтман Р.М. Источники, способствующие средней внеклеточной концентрации дофамина в прилежащем ядре. J Neurochem 121, 252–62 (2012).doi:10.1111/j.1471-4159.2012.07677.x [Бесплатная статья PMC] [PubMed] [CrossRef] []
29. Япо С, Наир АГ, Клемент Л, Кастро ЛР, Хеллгрен Коталески Ж и Винсент П Обнаружение фазового дофамина D1 и D2 стриатальной средой колючих нейронов. J Physiol (2017) .doi: 10.1113 / JP274475 [Бесплатная статья PMC] [PubMed] [CrossRef] []
30. Фрид ЧР и Ямамото Б.К. Региональный метаболизм допамина в мозге: маркер скорости, направления и положения движущихся животных. Наука 229, 62 – 65 (1985). [PubMed] []
31. Нив Y, Доу ND, Джоэл Д и Даян П Тоник дофамин: альтернативные издержки и контроль силы реакции. Психофармакология (Berl) 191, 507–20 (2007).doi:10.1007/s00213-006-0502-4 [PubMed] [CrossRef] []
32. Штрекер Р.Е., Штейнфельс Г.Ф. и Якобс Б.Л. Активность дофаминергических единиц у свободно движущихся кошек: отсутствие связи с кормлением, сытостью и инъекциями глюкозы. Brain Res 260, 317 – 21 (1983). [PubMed] []
33. Коэн Ю.Ю., Аморосо М.В. и Учида Н. Серотонинергические нейроны сигнализируют о вознаграждении и наказании в нескольких временных масштабах. Elife 4, (2015) .doi: 10.7554 / eLife.06346 [Бесплатная статья PMC] [PubMed] [CrossRef] []
34. Флореско С.Б., Запад АР, Эш Б, Мур Н и Грейс А.А. Афферентная модуляция импульсов дофаминового нейрона дифференциально регулирует передачу тонического и фазового дофамина. Nat Neurosci 6, 968 – 73 (2003) .doi: 10.1038 / nn1103 [PubMed] [CrossRef] []
35. Грейс А.А. Нарушение регуляции дофаминовой системы в патофизиологии шизофрении и депрессии. Nature Reviews Neuroscience 17, 524 (2016) .doi: 10.1038 / nrn.2016.57 [Бесплатная статья PMC] [PubMed] [CrossRef] []
36. Филлипс П.Е., Стубер Г.Д., Хейен М.Л., Вайтман Р.М. и Карелли Р.М. Субсекундный релиз допамина способствует поиску кокаина. Природа 422, 614 – 8 (2003) .doi: 10.1038 / nature01476 [PubMed] [CrossRef] []
37. Вассум К.М., Остлунд С.Б. и Майдмент Н.Т. Фазовая мезолимбическая передача дофамина предшествует и предсказывает выполнение задачи последовательности действий, инициируемой самим собой. Biol психиатрии 71, 846–54 (2012).doi:10.1016/j.biopsych.2011.12.019 [Бесплатная статья PMC] [PubMed] [CrossRef] []
38. Хоу М.В., Тирни П.Л., Сандберг С.Г., Филлипс П.Е. и Грейбил А.М. Длительная дофаминовая сигнализация в близости полосчатых клеток и ценность отдаленных вознаграждений. Природа 500, 575–9 (2013).doi:10.1038/nature12475 [Бесплатная статья PMC] [PubMed] [CrossRef] []
39. Сато Т, Накай С, Сато Т и Кимура М Коррелированное кодирование мотивации и результата решения нейронами допамина. J Neurosci 23, 9913 – 23 (2003). [PubMed] []
40. Хоу М.В. и Домбек Д.А. Быстрая передача сигналов в различных дофаминергических аксонах во время передвижения и вознаграждения. Природа 535, 505–10 (2016).doi:10.1038/nature18942 [Бесплатная статья PMC] [PubMed] [CrossRef] []
41. Сильва JAD, Tecuapetla F, Paixão V и Коста RM Активность дофаминовых нейронов до начала действия стимулирует и оживляет будущие движения. Природа 554, 244 (2018) .doi: 10.1038 / nature25457 [PubMed] [CrossRef] []
42. Дю Гофман J и Никола С.М. Дофамин усиливает стремление к вознаграждению, стимулируя вызванную репликой возбуждение в прилежащем ядре. J Neurosci 34, 14349–64 (2014).doi:10.1523/JNEUROSCI.3492-14.2014 [Бесплатная статья PMC] [PubMed] [CrossRef] []
43. Харт А.С., Ратледж Р.Б., Глимчер П.В. и Филлипс П.Е. Фазовое высвобождение допамина в прилежащем ядре крысы симметрично кодирует термин ошибки предсказания вознаграждения. J Neurosci 34, 698–704 (2014).doi:10.1523/JNEUROSCI.2489-13.2014 [Бесплатная статья PMC] [PubMed] [CrossRef] []
44. Соареш С, Аталла Б.В. и Патон Дж.Дж. Нейроны допамина среднего мозга контролируют суждение о времени. Наука 354, 1273 – 1277 (2016) .doi: 10.1126 / science.aah5234 [PubMed] [CrossRef] []
45. Икемото С Схема вознаграждения допамина: две проекционные системы от вентрального среднего мозга до ядрового обонятельного туберкулезного комплекса. Brain Res Rev 56, 27–78 (2007).doi:10.1016/j.brainresrev.2007.05.004 [Бесплатная статья PMC] [PubMed] [CrossRef] []
46. Syed EC, Grima LL, Magill PJ, Bogacz R, Brown P и Walton ME Начало действия формирует мезолимбическое кодирование допамина будущих наград. Nat Neurosci (2015) .doi: 10.1038 / nn.4187 [Бесплатная статья PMC] [PubMed] [CrossRef] []
47. Floresco SB, Yang CR, Phillips AG и Blaha CD Базолатеральная стимуляция миндалины вызывает глутамат-рецептор-зависимый отток допамина в прилежащее ядро ​​анестезированной крысы. Eur J Neurosci 10, 1241 – 51 (1998). [PubMed] []
48. Джонс Дж.Л., Дэй Дж.Дж., Арагона Б.Дж., Уилер Р.А., Вайтман Р.М. и Карелли Р.М. Базолатеральная миндалина модулирует терминальное высвобождение дофамина в прилежащем ядре и условно реагирует. Biol психиатрии 67, 737–44 (2010).doi:S0006–3223(09)01327–4 [pii] 10.1016/j.biopsych.2009.11.006 [Бесплатная статья PMC] [PubMed] [CrossRef] []
49. Качоп Р, Матео Y, Матур Б.Н., Ирвинг Дж, Ван Х.Л., Моралес М, Ловингер Д.М. и Чир Дж.Ф. Селективная активация холинергических интернейронов усиливает постепенное высвобождение допамина в фазе: задает тон для обработки вознаграждения. Ячейка ячейки 2, 33–41 (2012).doi:10.1016/j.celrep.2012.05.011 [Бесплатная статья PMC] [PubMed] [CrossRef] []
50. Трелфелл С, Лалик Т, Платт Нью-Джерси, Дженнингс К.А., Дейссерот К и Крэгг С.Дж. Стриатальное высвобождение допамина запускается синхронизированной активностью в холинергических интернейронах. Нейрон 75, 58 – 64 (2012) .doi: 10.1016 / j.neuron.2012.04.038 [PubMed] [CrossRef] []
51. Грейс А.А. Фазовое и тоническое высвобождение дофамина и модуляция чувствительности дофаминовой системы: гипотеза этиологии шизофрении. неврология 41, 1 – 24 (1991). [PubMed] []
52. Мойер Ю.Т., Вольф Д.А. и Финкель Л.Х. Влияние дофаминергической модуляции на интегративные свойства вентральной стриатальной среды колючего нейрона. J Neurophysiol 98, 3731 – 48 (2007). [PubMed] []
53. Jędrzejewska-Szmek J, Damodaran S, Dorman DB и Blackwell KT Динамика кальция предсказывает направление синаптической пластичности в нейронах проекции колючих позвоночника. Eur J Neurosci 45, 1044–1056 (2017).doi:10.1111/ejn.13287 [Бесплатная статья PMC] [PubMed] [CrossRef] []
54. Моррис Дж, Аркадир Д, Невет А, Ваадия Е и Бергман Н Совпадающие, но отчетливые сообщения дофамина среднего мозга и полосатых тонически активных нейронов. Нейрон 43, 133 – 43 (2004). [PubMed] []
55. Браун М.Т., Тан К.Р., О'Коннор Е.С., Никоненко И., Мюллер Д. и Люшер С. Габа-проекции брюшной области в заднем отделе паузы приживают холинергические интернейроны для усиления ассоциативного обучения. Природа (2012) .doi: 10.1038 / nature11657 [PubMed] [CrossRef] []
56. Яманака К, Хори Y, Минамимото Т, Ямада Н, Мацумото Н, Эномото К, Аосаки Т, Грейбиль А. М. и Кимура М. Роль парафаскулярных ядер центромедиан таламуса и холинергических интернейронов в дорсальном стриатуме в ассоциативном обучении событиям окружающей среды. J Neural Transm (Вена) (2017).doi:10.1007/s00702-017-1713-z [Бесплатная статья PMC] [PubMed] [CrossRef] []
57. Шен В., Плоткин Дж. Л., Франкардо В., Ко В. К., Се З, Ли Кью, Фиблингер Т, Вес Дж Сигнал мускаринового рецептора M4 уменьшает дефицит стриальной пластичности в моделях дискинезии, вызванной L-DOPA. Нейрон 88, 762–73 (2015).doi:10.1016/j.neuron.2015.10.039 [Бесплатная статья PMC] [PubMed] [CrossRef] []
58. Наир АГ, Гутьеррес-Аренас О, Эрикссон О, Винсент П и Хеллгрен Коталески Ж Чувство положительных и отрицательных сигналов вознаграждения с помощью связанных с аденилатциклазой GPCR в прямом и непрямом пути полосатых средних колючих нейронов. J Neurosci 35, 14017–30 (2015).doi:10.1523/JNEUROSCI.0730-15.2015 [Бесплатная статья PMC] [PubMed] [CrossRef] []
59. Stocco A Энтропия на основе ацетилхолина в выборе ответа: модель того, как стриатальные интернейроны модулируют разведку, эксплуатацию и изменчивость ответа в процессе принятия решений. Границы в нейробиологии 6(2012). [Бесплатная статья PMC] [PubMed] []
60. Франклин NT и Франк MJ Цепь холинергической обратной связи для регулирования неопределенности популяции в полосатом теле и оптимизации обучения подкреплению. eLife 4, (2015) .doi: 10.7554 / eLife.12029 [Бесплатная статья PMC] [PubMed] [CrossRef] []
61. Нугарет С и Равель С Модуляция тонически активных нейронов стриатума обезьяны событиями, несущими информацию о силе и награде. J Neurosci 35, 15214 – 26 (2015) .doi: 10.1523 / JNEUROSCI.0039-15.2015 [PubMed] [CrossRef] []
62. Шульц W Предиктивный сигнальный сигнал дофаминовых нейронов. J Neurophysiol 80, 1 – 27 (1998). [PubMed] []
63. Ламмель С, Хетцель А, Хеккель О, Джонс I, Лисс Б и Роупер Дж Уникальные свойства мезопрефронтальных нейронов в системе двойного мезокортиколимбического дофамина. Нейрон 57, 760 – 73 (2008) .doi: 10.1016 / j.neuron.2008.01.022 [PubMed] [CrossRef] []
64. Пулин Дж. Ф., Зоу Дж., Друэн-Уэлье Дж., Ким К. Ю., Чиккетти Ф. и Аватрамани Р. Б. Определение разнообразия дофаминергических нейронов среднего мозга с помощью профилирования экспрессии одноклеточных генов. Ячейка ячейки 9, 930–43 (2014).doi:10.1016/j.celrep.2014.10.008 [Бесплатная статья PMC] [PubMed] [CrossRef] []
65. Моралес М и Марголис Э.Б. Вентральная сегментарная область: клеточная гетерогенность, связность и поведение. Nat Rev Neurosci 18, 73 – 85 (2017) .doi: 10.1038 / nrn.2016.165 [PubMed] [CrossRef] []
66. Мацумото М и Хикосака О Два типа нейронов допамина отчетливо передают положительные и отрицательные мотивационные сигналы. Природа 459, 837 – 41 (2009) .doi: nature08028 [pii] 10.1038 / nature08028 [Бесплатная статья PMC] [PubMed] [CrossRef] []
67. Паскеро Б и Тернер Р.С. Дофаминовые нейроны кодируют ошибки в прогнозировании возникновения триггера движения. Журнал нейрофизиологии 113, 1110–1123 (2014).doi:10.1152/jn.00401.2014 [Бесплатная статья PMC] [PubMed] [CrossRef] []
68. Редгрейв П, Прескотт ТиДжей и Герни К Является ли допаминный ответ с коротким временем ожидания слишком коротким, чтобы сигнализировать об ошибке вознаграждения? Тенденции Neurosci 22, 146 – 51 (1999). [PubMed] []
69. Бромберг-Мартин Е.С., Мацумото М и Хикосака О Дофамин в мотивационном контроле: награждение, отвращение и предупреждение. Нейрон 68, 815–34 (2010).doi:10.1016/j.neuron.2010.11.022 [Бесплатная статья PMC] [PubMed] [CrossRef] []
70. Додсон П.Д., Дрейер Дж.К., Дженнингс К.А., Сайед ЕС, Уэйд-Мартинс Р, Крэгг С.Дж., Болам Дж.П. и Магилл П.Дж. Репрезентация спонтанного движения дофаминергическими нейронами является избирательной по типу клеток и нарушается при паркинсонизме.. Proc Natl Изд-во АН США 113, E2180–8 (2016).doi:10.1073/pnas.1515941113 [Бесплатная статья PMC] [PubMed] [CrossRef] []
71. Лернер Т.Н., Шилянский С., Дэвидсон Т.Дж., Эванс К.Е., Бейер К.Т., Залокский К.А., Кроу А.К., Маленка Р.К., Ло Л, Томер Р и Диссерот К. Анализ неповрежденного мозга позволяет выявить различную информацию, передаваемую по цепям допамина SNc. Ячейка 162, 635–47 (2015).doi:10.1016/j.cell.2015.07.014 [Бесплатная статья PMC] [PubMed] [CrossRef] []
72. Паркер Н.Ф., Кэмерон С.М., Талиаферро Дж.П., Ли Дж, Чой Дж.Й., Дэвидсон Т.Дж., Доу Н.Д. и Виттен И.Б. Кодирование вознаграждения и выбора в терминалах дофаминовых нейронов среднего мозга зависит от стриатальной мишени. Nat Neurosci (2016) .doi: 10.1038 / nn.4287 [Бесплатная статья PMC] [PubMed] [CrossRef] []
73. Ким К.К., Ян С.Дж., Пихамурти Н., Янг Н.П., Каувар I, Дженнингс Дж.Х., Лернер Т.Н., Берндт А., Ли С.Ю., Рамакришнан С., Дэвидсон Т.Д., Иноуэ М., Бито Н. и Диссессер К. Одновременное быстрое измерение динамики цепи в нескольких местах по всему мозгу млекопитающих. Методы природы 13, 325–328 (2016).doi:10.1038/nmeth.3770 [Бесплатная статья PMC] [PubMed] [CrossRef] []
74. Менегас В, Бабаян Б.М., Учида Н и Ватабе-Учида М Противоположная инициализация новым сигналам в передаче сигналов дофамина в вентральном и заднем стриатуме у мышей. Elife 6, (2017) .doi: 10.7554 / eLife.21886 [Бесплатная статья PMC] [PubMed] [CrossRef] []
75. Браун HD, Маккатчеон Дж., Конус Дж. Дж., Рагоццино М.Е. и Ройтман М.Ф. Первичная пищевая награда и стимулы, предсказывающие награду, вызывают различные паттерны фазовой передачи дофамина по всему полосатому телу.. Европейский журнал нейронаук 34, 1997–2006 (2011).doi:10.1111/j.1460-9568.2011.07914.x [Бесплатная статья PMC] [PubMed] [CrossRef] []
76. Кнутсон Б и Грир С.М. Прогнозирующий аффект: нервные корреляции и последствия для выбора. Philos Trans R Soc Lond B Biol Sci 363, 3771–86 (2008).doi:10.1098/rstb.2008.0155 [Бесплатная статья PMC] [PubMed] [CrossRef] []
77. Бартра О, МакГвайр Дж. Т. и Кейбл Дж. В. Система оценки: основанный на координатах мета-анализ экспериментов BOLD fMRI, изучающий нейронные корреляты субъективной ценности. Neuroimage 76, 412–27 (2013).doi:10.1016/j.neuroimage.2013.02.063 [Бесплатная статья PMC] [PubMed] [CrossRef] []
78. Ференци Е.А., Залокский К.А., Листон С., Гросеник Л., Варден М.Р., Аматия Д., Катович К., Мехта Н., Патенауде Б., Рамакришнан С., Каланити П., Эткин А., Кнутсон Б., Гловер Г. Х. и Деиссерот К. Префронтальная корковая регуляция динамики всего мозга и поведение, связанное с вознаграждением. Наука 351, aac9698 (2016) .doi: 10.1126 / science.aac9698 [Бесплатная статья PMC] [PubMed] [CrossRef] []
79. Бертран-Гонсалес J, Бош С, Марото М, Матамалес М, Эрве Д, Вальжент Е и Жиро Ж.А. Противоположные паттерны активации сигнализации в экспрессирующих рецепторы D1 и D2 дофаминовых полосатых нейронов в ответ на кокаин и галоперидол. J Neurosci 28, 5671 – 85 (2008) .doi: 10.1523 / JNEUROSCI.1039-08.2008 [PubMed] [CrossRef] []
80. Редгрейв П, Прескотт ТиДжей и Герни К Базальные ганглии: решение проблемы селекции у позвоночных? неврология 89, 1009 – 23 (1999). [PubMed] []
81. Beeler JA, Frazier CR и Zhuang X Желание ограничиться бюджетом: расходы на дофамин и энергию, согласование вознаграждения и ресурсов. Фронт Интегр Нейроси 6, 49 (2012) .doi: 10.3389 / fnint.2012.00049 [Бесплатная статья PMC] [PubMed] [CrossRef] []
82. Андерсон Б.А., Кувабара Х., Вонг Д.Ф., Джин Э.Г., Рахим А., Брашич Дж.Р., Джордж Н., Фролов Б., Кортни С.М. и Янтис С. Роль допамина в ориентированном на ценности ориентированном ориентировании. Curr Biol 26, 550–5 (2016).doi:10.1016/j.cub.2015.12.062 [Бесплатная статья PMC] [PubMed] [CrossRef] []
83. Чатем CH, Фрэнк MJ и Бадре D Кортикостриатальный выход стробирования при выделении из рабочей памяти. Нейрон 81, 930–42 (2014).doi:10.1016/j.neuron.2014.01.002 [Бесплатная статья PMC] [PubMed] [CrossRef] []
84. Шенхав А., Ботвиник М.М. и Коэн Д.Д. Ожидаемое значение контроля: интегративная теория функции передней поясной извилины коры головного мозга. Нейрон 79, 217–40 (2013).doi:10.1016/j.neuron.2013.07.007 [Бесплатная статья PMC] [PubMed] [CrossRef] []
85. Аартс Е, Рулофс А, Франке Б, Рийпкема М, Фернандес Г, Хельмих Р.К. и Кулз Р Стриатальный дофамин обеспечивает связь между мотивационным и когнитивным контролем у людей: данные генетической визуализации. Нейропсихофармакологии 35, 1943–51 (2010).doi:10.1038/npp.2010.68 [Бесплатная статья PMC] [PubMed] [CrossRef] []
86. Вестбрук А и Бравер Т.С. Допамин выполняет двойную функцию в мотивации когнитивных усилий. Нейрон 89, 695–710 (2016).doi:10.1016/j.neuron.2015.12.029 [Бесплатная статья PMC] [PubMed] [CrossRef] []
87. Манохар С.Г., Чонг Т.Т., Эппс М.А., Батла А., Стамелу М., Джарман П.Р., Бхатия К.П. и Хусейн М. Вознаграждение оплачивает стоимость снижения шума в двигательном и когнитивном контроле. Curr Biol 25, 1707–16 (2015).doi:10.1016/j.cub.2015.05.038 [Бесплатная статья PMC] [PubMed] [CrossRef] []
88. Вундерлих К, Смиттенаар П и Долан Р.Дж. Допамин улучшает поведение на основе выбора модели. Нейрон 75, 418–24 (2012).doi:10.1016/j.neuron.2012.03.042 [Бесплатная статья PMC] [PubMed] [CrossRef] []
89. Никола С.М. Гипотеза гибкого подхода: объединение усилий и гипотез, отвечающих на реплики, о роли ядра accumbens дофамина в активации поведения, направленного на награду. J Neurosci 30, 16585–600 (2010).doi:10.1523/JNEUROSCI.3958-10.2010 [Бесплатная статья PMC] [PubMed] [CrossRef] []
90. Эбан-Ротшильд А, Ротшильд G, Джардино WJ, Джонс JR и де Леча L VTA допаминергические нейроны регулируют этологически релевантное поведение сна и бодрствования. Nat Neurosci (2016) .doi: 10.1038 / nn.4377 [Бесплатная статья PMC] [PubMed] [CrossRef] []
91. Хабер С. Н., Фадж Дж. Л. и Макфарланд Н. Р. Стриатонигростриатальные пути у приматов образуют восходящую спираль от раковины к дорсолатеральному стриатуму. J Neurosci 20, 2369 – 82 (2000). [PubMed] []
92. Редди BAJ и Карпентер RHS Влияние срочности на время принятия решения. Природа нейробиологии 3, 827 (2000). [PubMed] []
93. Thura D и Cisek P Базальные ганглии не выбирают цели достижения, но контролируют срочность обязательств. Нейрон (2017) .doi: 10.1016 / j.neuron.2017.07.039 [PubMed] [CrossRef] []
94. Turner RS ​​и Desmurget M Вклад базальных ганглиев в управление двигателем: энергичный наставник. Curr Opin Neurobiol 20, 704–16 (2010).doi:10.1016/j.conb.2010.08.022 [Бесплатная статья PMC] [PubMed] [CrossRef] []
95. Хикосака О, Накамура К и Накахара Х Базальные ганглии ориентируют глаза на награду. J Neurophysiol 95, 567 – 84 (2006) .doi: 10.1152 / jn.00458.2005 [PubMed] [CrossRef] []
96. Келли ПХ и Мур К.Е. Мезолимбические дофаминергические нейроны в ротационной модели нигростриатальной функции. Природа 263, 695 – 6 (1976). [PubMed] []
97. Кузены М.С., Атертон А., Тернер Л и Саламон Д.Д. Nucleus accumbens истощение дофамина изменяет относительное распределение ответов в задаче «затраты-выгоды» в T-лабиринте. Behav Brain Res 74, 189 – 97. (1996). [PubMed] []
98. Восстановить AD Викарий проб и ошибок. Nat Rev Neurosci 17, 147–59 (2016).doi:10.1038/nrn.2015.30 [Бесплатная статья PMC] [PubMed] [CrossRef] []
99. Рабинович М.И., Уэрта Р, Варона П и Афраимович В.С. Преходящая когнитивная динамика, метастабильность и принятие решений. PLoS Comput Biol 4, e1000072 (2008) .doi: 10.1371 / journal.pcbi.1000072 [Бесплатная статья PMC] [PubMed] [CrossRef] []
100. Торговец H, Харрингтон DL и Мек WH Нейронные основы восприятия и оценки времени. Annu Rev Neurosci 36, 313 – 36 (2013) .doi: 10.1146 / annurev-neuro-062012-170349 [PubMed] [CrossRef] []