Таинственные мотивирующие функции мезолимбического допамина (2012)

Джон Д. Саламоне, Мерсе Корреа

Neuron – 8 ноября 2012 г. (том 76, выпуск 3, стр. 470-485 )

Резюме

Известно, что дофамин ядра nucamus играет роль в мотивационных процессах, а дисфункции мезолимбического дофамина могут способствовать мотивационным симптомам депрессии и других расстройств, а также особенностям злоупотребления психоактивными веществами. Хотя традиционно обозначать нейроны допамина как «наградные» нейроны, это является чрезмерной обобщением, и важно различать аспекты мотивации, которые по-разному влияют на дофаминергические манипуляции. Например, пригбэнс допамин не опосредует первичную пищевую мотивацию или аппетит, но участвует в аппетитных и отвратительных мотивационных процессах, включая поведенческую активацию, усиление усилий, подход к поведению, устойчивое участие в задаче, павловские процессы и инструментальное обучение. В этом обзоре мы обсудим сложные роли допамина в поведенческих функциях, связанных с мотивацией.

Основной текст

Дофамин (ДА) в прилежащем ядре участвует в нескольких поведенческих функциях, связанных с мотивацией. Однако специфика этого участия сложна и порой трудно поддается разграничению. Важным моментом при интерпретации этих результатов является способность различать различные аспекты мотивационной функции, которые по-разному затрагиваются дофаминергическими манипуляциями. Хотя нейроны вентральной тегментальной области традиционно обозначались как «нейроны вознаграждения», а мезолимбический ДА — как «система вознаграждения», это расплывчатое обобщение не соответствует конкретным наблюдаемым результатам. Научное значение термина «вознаграждение» неясно, и его связь с такими понятиями, как подкрепление и мотивация, часто плохо определена. Фармакологические исследования и исследования истощения ДА показывают, что мезолимбический ДА имеет решающее значение для некоторых аспектов мотивационной функции, но мало или совсем не имеет значения для других. Некоторые мотивационные функции мезолимбического дофамина представляют собой области пересечения между аспектами мотивации и особенностями управления движением, что согласуется с хорошо известным участием прилежащего ядра в локомоции и связанных с ней процессах. Более того, несмотря на обширную литературу, связывающую мезолимбический дофамин с аспектами аверсивной мотивации и обучения, литературу, которая насчитывает несколько десятилетий (например, Salamone et al., 1994 ), сложившаяся тенденция заключается в том, чтобы подчеркивать дофаминергическое участие в вознаграждении, удовольствии, зависимости и обучении, связанном с вознаграждением, уделяя меньше внимания участию мезолимбического дофамина в аверсивных процессах. В данном обзоре будет рассмотрено участие мезолимбического дофамина в различных аспектах мотивации, с акцентом на эксперименты, которые нарушают передачу дофамина, особенно в прилежащем ядре.

Mesolimbic DA и мотивация: меняющийся теоретический ландшафт

По крайней мере, люди - заядлые рассказчики историй; В конце концов, мы - потомки людей, которые сидели у костра по ночам, увлеченные яркими мифами, сказками и устными историями. Человеческая память более эффективна, если случайные факты или события могут быть вплетены в содержательный гобелен связной истории. Ученые ничем не исключены. Эффективную лекцию в университете или научный семинар часто называют «хорошей историей». То же самое и с научными гипотезами и теориями. Наш мозг, кажется, жаждет порядка и согласованности мысли, предлагаемых простой и ясной научной гипотезой, подкрепленной достаточным количеством доказательств, чтобы сделать ее правдоподобной. Проблема в том, что, если последовательность рассказа усиливается за счет чрезмерного толкования одних результатов и игнорирования других? Постепенно несоответствующие части головоломки продолжают разъедать целое, в конечном итоге делая всю историю ужасно неадекватной.

Можно утверждать, что такого рода эволюция произошла в отношении гипотезы DA о «вознаграждении». Можно построить «историю», которая будет происходить следующим образом: основным симптомом депрессии является ангедония, и, поскольку DA является «передатчиком вознаграждения», который опосредует гедонические реакции, то депрессия возникает из-за уменьшения регулируемого DA переживания удовольствия. . Точно так же было высказано предположение, что наркомания зависит от переживания удовольствия, вызванного наркотиками, которые захватывают «систему вознаграждения» мозга, которая опосредована передачей DA и эволюционировала для передачи удовольствия, вызываемого естественными стимулами, такими как еда. Это даже предполагает, что блокирование рецепторов DA может предложить легко эффективное лечение зависимости. Наконец, можно также предложить «историю», построенную на предпосылке, что нейроны DA реагируют исключительно на приятные стимулы, такие как еда, и что эта активность опосредует эмоциональную реакцию на эти стимулы, которая, в свою очередь, лежит в основе аппетита к потреблению пищи. Такие истории не являются «соломенными человечками», искусственно построенными для этих отрывков. Но, к сожалению, несмотря на их популярность, ни одна из этих идей не находит полного подтверждения при внимательном изучении литературы.

Чтобы принять пример дофаминергического участия в депрессии, можно начать деконструкцию этой идеи, указав, что «анхедония» в депрессии часто неправильно интерпретируется или неправильно маркируется клиницистами (Treadway и Zald, 2011). Несколько исследований показывают, что у депрессивных людей часто наблюдается относительно нормальный самооценка переживаний с приятными стимулами и что помимо проблем с удовольствием у депрессивных людей появляются нарушения в поведенческой активации, поощрительном поведении и усилие усилий (Treadway и Zald, 2011). Действительно, большинство людей, страдающих депрессией, страдают от разрушительного созвездия мотивационных нарушений, которые включают психомоторную задержку, анергию и усталость (Demyttenaere et al., 2005; Salamone et al., 2006), и значительные данные свидетельствуют о ДА в этих симптомах (Salamone et al., 2006, Salamone et al., 2007). Эти наблюдения в сочетании с литературой указывают на то, что нет простого соответствия между DA-активностью и гедоническим опытом (например, Смит и др., 2011 г.) и исследования, связывающие DA с поведенческой активацией и усилением усилий (Salamone et al., 2007; см. обсуждение ниже), привести к выводу, что дофаминергическое вовлечение в депрессию кажется более сложным, чем позволила бы простая история.

Точно так же ясно, что значительный объем исследований по наркотической зависимости и наркомании не соответствует традиционным принципам гипотезы о вознаграждении DA. В нескольких исследованиях показано, что блокада DA-рецепторов или ингибирование синтеза DA не приводит к последовательному самоуничтожению эйфории или «высокой», вызванной наркотиками злоупотребления (Gawin, 1986; Брауер и Де Вит, 1997; Haney et al., 2001; Nann-Vernotica et al., 2001; Wachtel et al., 2002; Лейтон и др., 2005 г.; Venugopalan et al., 2011). Недавние исследования выявили индивидуальные различия в поведенческих закономерностях, выявленных крысами при павловском подходе к лечению, которые связаны с склонностью к самообслуживанию лекарств. Крысы, которые проявляют больший ответ на условные сигналы (знаковые трекеры), демонстрируют различные модели дофаминергической адаптации к обучению по сравнению с животными, которые более восприимчивы к первичному артериальному усилителю (целевые трекеры; Flagel et al., 2007). Интересно, что крысы, которые показывают больший павловский условный подход к аппетитным стимулам и демонстрируют более сильное стимулирование к рецептам лекарств, также склонны проявлять больший страх в ответ на сигналы, предсказывающие шок и больший контекстуальный страх (Морроу и др., 2011 г.). Дополнительные исследования поставили под сомнение некоторые длительные взгляды на нейронные механизмы, лежащие в основе зависимости, в отличие от первоначальных усиливающих характеристик лекарств. Становится более распространенным рассматривать зависимость от механизмов развития неоспитальных привычек, основанных на обширном введении наркотиков, которые могут быть относительно независимы от непредвиденных вспомогательных инструментов или исходных мотивационных характеристик артерий лекарств (Каливас, 2008; Белин и др., 2009). Эти новые взгляды на нейронную основу наркомании и ее потенциальное лечение вышли далеко за рамки первоначальной истории, предложенной гипотезой DA о «вознаграждении».

После десятилетий исследований и продолжения теоретических разработок была проведена существенная концептуальная реструктуризация в области исследований DA. Значительные данные свидетельствуют о том, что вмешательство в мезолимбическую передачу ДА оставляет фундаментальные аспекты мотивационного и гедонического ответа на пищу нетронутыми (Berridge, 2007; Берридж и Крингельбах, 2008; Salamone et al., 2007). Поведенческие меры, такие как точки разрыва прогрессирующего отношения и пороги самостимуляции, которые когда-то считались полезными в качестве маркеров функций «вознаграждения» или «гедонии» DA, теперь считаются отраженными процессами, связанными с напряжением, восприятием усилий связанные или альтернативные издержки, а также принятие решений (Salamone, 2006; Эрнандес и др., 2010 г.). Несколько недавних электрофизиологических работ продемонстрировали отзывчивость либо предполагаемых, либо идентифицированных вентральных тегментальных нейронов DA на отклоняющиеся стимулы (Анстром и Вудворд, 2005; Brischoux et al., 2009 г.; Мацумото и Хикосака, 2009; Бромберг-Мартин и др., 2010 г.; Шульц, 2010; Ламмель и др., 2011 г.). Многие исследователи теперь подчеркивают участие мезолимбического и нигростриального DA в обучении или обучении навыкам (Мудрый, 2004; Инь и др., 2008 г.; Белин и др., 2009), а не гедония как таковая. Эти тенденции способствовали резкому переписыванию истории дофаминергического участия в мотивации.

Мотивационные процессы: исторические и концептуальные предпосылки

Термин «мотивация» относится к понятию, широко используемому в психологии, психиатрии и нейробиологии. Как и в случае со многими психологическими концепциями, обсуждение мотивации зародилось в философии. Описывая причинные факторы, контролирующие поведение, немецкий философ Шопенгауэр (1999) рассматривал концепцию мотивации в связи с тем, что организмы должны быть в состоянии «выбирать, использовать и даже искать средства удовлетворения». Мотивация также была важной областью интереса на начальном этапе развития психологии. Ранние научные психологи, включая Вундта и Джеймса, включали мотивацию в качестве предмета в свои учебники. Необихевиористы, такие как Халл и Спенс, часто использовали мотивационные концепции, такие как стимул и влечение. Янг (1961) определил мотивацию как «процесс пробуждения действий, поддержания текущей деятельности и регулирования характера деятельности». Согласно более позднему определению, мотивация — это «совокупность процессов, посредством которых организмы регулируют вероятность, близость и доступность стимулов» ( Саламоне, 1992 ). В целом, современная психологическая концепция мотивации относится к поведенчески значимым процессам, которые позволяют организмам регулировать как внешнюю, так и внутреннюю среду ( Саламоне, 2010 ).

Возможно, основная польза концепции мотивации заключается в том, что она обеспечивает удобное обобщение и организационную структуру для наблюдаемых особенностей поведения ( Саламоне, 2010 ). Поведение направлено на определенные стимулы или от них, а также включает в себя действия, связанные с взаимодействием с этими стимулами. Организмы стремятся получить доступ к одним стимульным условиям (например, пище, воде, сексу) и избегают других (например, боли, дискомфорта) как активным, так и пассивным способом. Более того, мотивированное поведение обычно происходит в несколько фаз (Таблица 1). Конечная стадия мотивированного поведения, отражающая непосредственное взаимодействие с целевым стимулом, обычно называется фазой завершения. Слово «завершение» ( Крейг, 1918 ) относится не к «потреблению», а к «завершению», что означает «завершить» или «закончить». Учитывая, что мотивационные стимулы обычно доступны на некотором физическом или психологическом расстоянии от организма, единственный способ получить к ним доступ — это совершать действия, которые приближают их или делают их появление более вероятным. Эта фаза мотивированного поведения часто называется «аппетитивной», «подготовительной», «инструментальной», «приближенной» или «поисковой». Таким образом, исследователи иногда различают «приобретение» и «поиск» естественного стимула, такого как пища (например, Foltin, 2001 ), или подкрепляющего вещества в виде наркотиков; действительно, термин «поведение, направленное на поиск наркотиков» стал распространенным выражением в языке психофармакологии. Как обсуждается ниже, этот набор различий (например, инструментальное против потребления или поиск против приобретения) важен для понимания влияния дофаминергических манипуляций на мотивацию к естественным стимулам, таким как пища.

В дополнение к «направленным» аспектам мотивации (т. Е. Это поведение направлено в сторону или от стимулов), мотивированное поведение также, как говорят, имеет «активирующие» аспекты (Cofer и Appley, 1964; Salamone, 1988, Salamone, 2010; Паркинсон и др., 2002 г.; Таблица 1). Поскольку организмы обычно отделены от мотивационных стимулов на большие расстояния или из-за различных препятствий или затрат на ответ, участие в инструментальном поведении часто связано с работой (например, кормлением, лабиринтом, нажатием рычага). Животные должны выделять значительные ресурсы на поведение, стимулирующее поиск стимулов, что поэтому может характеризоваться значительными усилиями, то есть скоростью, настойчивостью и высоким уровнем работы. Хотя действие этих усилий иногда может быть относительно кратким (например, хищник, набрасывающийся на свою жертву), при многих обстоятельствах он должен поддерживаться в течение длительных периодов времени. Возможности, связанные с усилением, очень адаптивны, поскольку в естественной среде выживание может зависеть от степени, в которой организм преодолевает затраты времени на ответные действия или связанные с работой. По этим причинам поведенческая активация считалась фундаментальным аспектом мотивации в течение нескольких десятилетий. Психологи уже давно используют концепции стимула и стимула, чтобы подчеркнуть энергетические эффекты мотивационных условий на меры инструментального поведения, такие как скорость бега в лабиринте. Cofer и Appley, 1964 предположил, что существует механизм оживления, который может быть активирован условными раздражителями и который призван активизировать инструментальное поведение. Планируемая неконфессиональная презентация первичных мотивационных стимулов, таких как гранулы подкрепления пищи, может вызывать различные виды деятельности, в том числе пить, передвигать и управлять колесами (Роббинс и Кооб, 1980; Salamone, 1988). Несколько исследователей изучили влияние требований к работе на выполнение инструментальных задач, что в конечном итоге помогло заложить основу для разработки экономических моделей поведения оперантов (например, Hursh et al., 1988). Этиологи также использовали аналогичные концепции. Кормовые животные должны расходовать энергию, чтобы получить доступ к пище, воде или материалу для гнездования, а оптимальная теория кормления описывает, как количество усилий или времени, затрачиваемых на получение этих стимулов, является важным фактором, определяющим поведение выбора.

Между процессами управления движением и активационными аспектами мотивации существует значительная степень концептуального совпадения. Например, лишение пищи может ускорить скорость бега в лабиринте. Отражает ли это условия, связанные с мотивацией, моторикой или их сочетанием? Локомоторная активность, безусловно, контролируется нейронными системами, регулирующими движение. Тем не менее, локомоторная активность у грызунов также очень чувствительна к воздействию мотивационных условий, таких как новизна, лишение пищи или периодическое предъявление небольших пищевых гранул. Кроме того, если организм сталкивается с трудовой задачей во время выполнения инструментальных действий, он часто реагирует на эту задачу, прилагая больше усилий. Увеличение требований к соотношению в оперантных графиках, до определенного момента, может создать существенное повышающее давление на скорость реакции. Столкновение с препятствием, таким как барьер в лабиринте, может привести к тому, что грызуны увеличат свои усилия и перепрыгнут через барьер. Кроме того, предъявление павловского условного стимула, связанного с первичным мотивационным стимулом, таким как еда, может служить для инициирования приближения или усиления инструментальной активности, эффект, известный как павловский перенос на инструментальное поведение ( Colwill and Rescorla, 1988 ). Таким образом, нейронные системы, регулирующие двигательную активность, по-видимому, действуют по указанию тех нейронных систем, которые направляют поведение к определенным стимулам или от них ( Salamone, 2010 ). Конечно, термины «моторный контроль» и «мотивация» не означают одно и то же, и легко найти точки несовпадения. Тем не менее, очевидно, что существует и фундаментальное совпадение ( Salamone, 1992 , Salamone, 2010 ). В свете этого наблюдения полезно отметить, что английские слова motivation и movement в конечном итоге происходят от латинского слова movere , что означает «двигать» (т.е. moti — это причастие прошедшего времени от movere ). Подобно разграничению инструментального и потребительского поведения (или поиска и получения), дифференциация между активационными и направленными аспектами мотивации широко используется для описания эффектов дофаминергических манипуляций (таблица 1). Разнообразие мотивационных процессов является важной особенностью литературы, обсуждающей поведенческие эффекты дофаминергических манипуляций, а также литературы, посвященной динамической активности мезолимбических дофаминергических нейронов.

Диссоциативная природа воздействия помех с помощью Nucleus Accumbens DA Transmission

При попытке понять литературу о мотивационных функциях дофамина в прилежащем ядре следует учитывать несколько из упомянутых выше концептуальных принципов. С одной стороны, следует признать, что мотивационные процессы можно разделить на составляющие части, и что манипуляции с передачей дофамина в прилежащем ядре иногда способны расщеплять эти компоненты, подобно применению алмазного резца, существенно изменяя одни, оставляя другие практически неизменными ( Salamone and Correa, 2002 ; Berridge and Robinson, 2003 ; Smith et al., 2011 ). С другой стороны, необходимо также понимать, что мотивационные процессы взаимодействуют с механизмами, связанными с эмоциями, обучением и другими функциями, и что не существует точной точечной связи между поведенческими процессами и нейронными системами. Таким образом, некоторые эффекты дофаминергических манипуляций могут быть наиболее эффективно поняты с точки зрения воздействия на конкретные аспекты мотивации, двигательной функции или обучения, в то время как другие эффекты могут быть более тесно связаны с областями перекрытия этих функций. Наконец, следует также учитывать, что крайне маловероятно, что дофамин в прилежащем ядре выполняет только одну очень специфическую функцию; трудно представить себе сложный механизм, подобный мозгу млекопитающих, работающий столь простым образом. Таким образом, дофамин в прилежащем ядре, вероятно, выполняет несколько функций, и любой конкретный поведенческий или нейробиологический метод может хорошо подходить для характеристики некоторых из этих функций, но плохо подходить для других. Ввиду этого, составить целостную картину может быть непросто.

Манипуляции с мозгом могут изменять субкомпоненты поведенческого процесса весьма специфическим образом. Этот принцип оказался очень полезным в когнитивной нейробиологии и привел к важным различиям в отношении диссоциируемых процессов памяти (например, декларативная и процедурная память, рабочая и референтная память, процессы, зависящие от гиппокампа и не зависящие от него). В отличие от этого, в большей части литературы, посвященной поведенческим функциям дофамина в прилежащем ядре, наблюдается тенденция использовать довольно грубые концептуальные инструменты, то есть очень общие и расплывчатые термины, такие как «вознаграждение», для обобщения действия лекарств или других манипуляций. Действительно, термин «вознаграждение» подробно критиковался в других работах ( Cannon and Bseikri, 2004 ; Salamone, 2006 ; Yin et al., 2008 ; Salamone et al., 2012 ). Хотя термин «вознаграждение» имеет значение синонима «подкрепления», в научном контексте нет единого понимания этого термина при описании нейроповеденческих процессов; одни используют его как синоним «подкрепления», другие — как «первичную мотивацию» или «аппетит», или как завуалированный синоним «удовольствия» или «гедонии» (исторический обзор «гипотезы ангедонии» см. в Wise, 2008 ). Во многих случаях слово «вознаграждение», по-видимому, используется как общий термин, обозначающий все аспекты обучения, мотивации и эмоций, включая как условные, так и безусловные аспекты; такое использование настолько широко, что по сути бессмысленно. Можно утверждать, что чрезмерное использование термина «вознаграждение» является источником огромной путаницы в этой области. В одной статье под «вознаграждением» может подразумеваться удовольствие, в другой — под «удовольствием», а в третьей — мотивация может рассматриваться в очень общем смысле. Это три совершенно разных значения слова, что затрудняет обсуждение поведенческих функций мезолимбической дофаминовой системы. Более того, обозначение мезолимбической дофаминовой системы как «системы вознаграждения» принижает её роль в аверсивной мотивации. Возможно, самая большая проблема с термином «вознаграждение» заключается в том, что у многих читателей он вызывает ассоциации с удовольствием или гедонией, даже если автор этого не подразумевал.

В настоящем обзоре основное внимание уделено вовлечению DA-ов accumbens в особенности мотивации для естественного укрепления, такого как еда. В общем, нет никаких сомнений в том, что accumbens DA участвует в некоторых аспектах мотивации пищи; но какие аспекты? Как мы увидим ниже, эффекты интерференции с передачей DA в направлении accumbens являются высокоселективными или диссоциативными по своей природе, нарушая некоторые аспекты мотивации, оставляя других неповрежденными. Остальная часть этого раздела будет посвящена результатам экспериментов, в которых дофаминергические препараты или нейротоксические агенты используются для изменения поведенческой функции.

Хотя общепризнано, что истощение мозга переднего мозга может ухудшить еду, этот эффект тесно связан с истощениями или антагонизмом DA в сенсомоторных или моторных областях латерального или вентролатерального neostriatum, но не в ядре accumbens (Даннетт и Иверсен, 1982; Salamone et al., 1993). Недавнее исследование оптогенетики показало, что стимуляция вентральных тегментальных нейронов ГАМК, что приводит к ингибированию нейронов DA, ​​способствовало подавлению приема пищи (van Zessen et al., 2012). Тем не менее, неясно, является ли этот эффект особенно обусловленным дофаминергическими действиями, или если он зависит от аверсивных эффектов, которые также возникают при этой манипуляции (Tan et al., 2012). Фактически, опустошение и антагонизм усыпляющих DA неоднократно показывали, что они существенно не ухудшали потребление пищи (Ungerstedt, 1971; Koob et al., 1978; Salamone et al., 1993; Baldo et al., 2002; Бальдо и Келли, 2007). Основываясь на их выводах, что инъекции D1 или D2 семейные антагонисты в сердечную недостаточность или поврежденную двигателем двигательную активность, но не подавляли потребление пищи, Baldo et al., 2002 заявили, что приспосабливание DA-антагонизма «не отменяет первичной мотивации к употреблению». Недостатки Accumbens DA не привели к сокращению потребления пищи или скорости кормления и не ухудшали пищевую продуктивность, хотя аналогичные истощения вентролатерального neostriatum влияли на эти меры (Salamone et al., 1993). Кроме того, эффекты антагонистов DA или ухудшение DA в пищевом пищевом инструменте не очень напоминают действие препаратов, подавляющих аппетит (Salamone et al., 2002; Sink et al., 2008), или девальвация подкрепления, обеспечиваемая путем предвыбора (Salamone et al., 1991; Аберман и Саламон, 1999; Пардо и др., 2012 г.). Лекс и Хаубер, 2010 продемонстрировали, что крысы с дефицитом дипсинов DA чувствительны к девальвации подкрепления пищи во время инструментальной задачи. Более того, Wassum et al., 2011 показали, что антагонист DA-флопентиксола не влияет на вкусовое удовлетворение пищи или увеличение вкусовой привлекательности, вызванное повышением передачи в мотивационном состоянии, вызванным увеличением лишения пищи.

Значительное количество данных также указывает на то, что дофамин в прилежащем ядре не оказывает прямого влияния на гедонистическую реакцию на пищу. Огромный объем работ Берриджа и его коллег продемонстрировал, что системное введение антагонистов дофамина, а также истощение дофамина в целом переднем мозге или прилежащем ядре не ослабляют аппетитивную вкусовую реакцию на пищу, которая является широко признанным показателем гедонистической реакции на сладкие растворы ( Берридж и Робинсон, 1998 , Берридж и Робинсон, 2003 ; Берридж, 2007 ). Более того, подавление экспрессии транспортера дофамина ( Песинья и др., 2003 ), а также микроинъекции амфетамина в прилежащее ядро ​​( Смит и др., 2011 ), которые повышают внеклеточный уровень дофамина, не смогли усилить аппетитивную вкусовую реакцию на сахарозу. Седерхольм и др. (2002) сообщили, что рецепторы D2 в оболочке прилежащего ядра регулируют реакцию на отвращение к вкусу, и что стимуляция рецепторов D2 в стволе мозга подавляет потребление сахарозы, но ни одна из популяций рецепторов не опосредует гедонистическое проявление вкуса.

Если прилежащее ядро ​​DA не опосредует аппетит к пище как таковой или вызванные пищей гедонические реакции, то каково его участие в пищевой мотивации? Существует значительное согласие с тем, что истощение или антагонизм прилежащего DA не затрагивают основные аспекты пищевой гедонии, аппетита или первичной пищевой мотивации, но, тем не менее, влияют на критические характеристики инструментального (т. Е. Поиска пищи) поведения (Таблица 1; Рисунок 1) . Исследователи предположили, что прилежащее ядро ​​DA особенно важно для активации поведения (Koob et al., 1978; Роббинс и Кооб, 1980; Salamone, 1988, Salamone, 1992; Salamone et al., 1991, Salamone et al., 2005, Salamone et al., 2007; Calaminus и Hauber, 2007; Лекс и Хаубер, 2010), усиление усилий во время инструментального поведения (Salamone et al., 1994, Salamone et al., 2007, Salamone et al., 2012; Май и др., 2012 г.), Павлову до инструментальной передачи (Паркинсон и др., 2002 г.; Эверитт и Роббинс, 2005; Лекс и Хаубер, 2008), гибкое поведение подхода (Никола, 2010), расход энергии и регулирование (Salamone, 1987; Beeler et al., 2012), и использование обучения вознаграждения (Beeler et al., 2010). Опухоли и антагонизм Accumbens DA уменьшают спонтанную и новообразованную локомоторную активность и воспаление, а также вызванную стимуляцией активность (Koob et al., 1978; Казинс и др., 1993; Baldo et al., 2002). Такие действия, как чрезмерное употребление алкоголя, бег на колесах или двигательная активность, которые вызваны периодическим подачей кормовых гранул животным, лишенным пищи, уменьшаются из-за истощения прилежащего DA (Роббинс и Кооб, 1980; McCullough и Salamone, 1992). Кроме того, низкие дозы антагонистов DA, ​​а также антагонизм или истощение DA-штамма уменьшают усиление пищевых продуктов, реагируя на некоторые задачи, несмотря на то, что потребление пищи сохраняется в этих условиях (Salamone et al., 1991, Salamone et al., 2002; Ikemoto и Panksepp, 1996; Кох и др., 2000). Эффект от падения дистиллятов DA на усиление пищевых продуктов сильно варьируется в зависимости от требований к задаче или графика подкрепления. Если первичные эффекты дефицита пигментации DA были связаны с уменьшением аппетита к пище, то можно было бы ожидать, что график фиксированного соотношения 1 (FR1) должен быть очень чувствительным к этой манипуляции. Тем не менее, этот график относительно нечувствителен к последствиям скомпрометированной передачи ДА в аккбэнсах (Аберман и Саламон, 1999; Salamone et al., 2007; Никола, 2010). Одним из критических факторов, дающих чувствительность к эффектам отложений усыновления DA на усиленном пищевом поведении, является величина требования к соотношению (т. Е. Количество рычажных прессов, требуемых для усилителя; Аберман и Саламон, 1999; Mingote et al., 2005). Кроме того, блокада прилежащих DA-рецепторов ухудшает эффективность инструментального доступа, вызванного предъявлением сигналов (Вакабаяши и др., 2004 г.; Никола, 2010).

Способность антагонистов дофамина или истощения дофамина в прилежащем ядре различать потребление пищи и подкрепляемое пищей инструментальное поведение, или различные инструментальные задачи, не является какой-то тривиальной деталью или эпифеноменальным результатом. Скорее, это демонстрирует, что в условиях, когда подкрепляемое пищей инструментальное поведение может быть нарушено, фундаментальные аспекты пищевой мотивации, тем не менее, остаются неизменными. Ряд исследователей, писавших о фундаментальных характеристиках подкрепляющих стимулов, пришли к выводу, что стимулы, действующие как положительные подкрепления, как правило, относительно предпочтительны, или вызывают поведение приближения, целенаправленное или потребительское поведение, или создают высокую степень спроса, и что эти эффекты являются фундаментальным аспектом положительного подкрепления ( Dickinson and Balleine, 1994 ; Salamone and Correa, 2002 ; Salamone et al., 2012 ). Как указано в поведенческо-экономическом анализе, предложенном Хёршем в 1993 году : «реакция рассматривается как вторичная зависимая переменная, важная, поскольку она играет инструментальную роль в контроле потребления». Таким образом, описанные выше результаты показывают, что низкие дозы антагонистов дофамина и истощение дофамина в прилежащем ядре не нарушают фундаментальные аспекты первичной или безусловной пищевой мотивации и подкрепления, но делают животных чувствительными к некоторым особенностям инструментального требования реакции, притупляют реакцию на условные сигналы и снижают склонность животных к работе ради пищевого подкрепления.

Одним из проявлений диссоциативного характера поведенческих эффектов низких системных доз антагонистов DA и истощения или антагонизма прилежащего DA является то, что эти условия влияют на относительное распределение поведения у животных, реагирующих на задачи, которые оценивают принятие решений на основе усилий. (Salamone et al., 2007; Флореско и др., 2008 г.; Май и др., 2012 г.). Одна задача, которая использовалась для оценки влияния дофаминергических манипуляций на распределение ответов, предлагает крысам выбор между нажатием на рычаг, усиленным доставкой относительно предпочтительной пищи, или приближением и потреблением одновременно доступной, но менее предпочтительной пищи (Salamone et al., 1991, Salamone et al., 2007). В базовых или контрольных условиях обученные крысы получают большую часть своей пищи путем нажатия на рычаг и потребляют небольшое количество чау. Низко-умеренные дозы антагонистов DA, ​​которые блокируют либо D1 или D2 Подтипы семейных рецепторов вызывают существенное изменение распределения ответов у крыс, выполняющих эту задачу, уменьшая нажатие на рычаг, усиленное пищей, но существенно увеличивая потребление корма (Salamone et al., 1991; Кох и др., 2000; Sink et al., 2008). Эта задача была подтверждена в нескольких экспериментах. Дозы антагонистов DA, ​​которые производят переход от нажатия рычага к приеме чау, не влияют на общий прием пищи или изменяют предпочтение между этими двумя конкретными продуктами в тестах выбора свободного питания (Salamone et al., 1991; Кох и др., 2000). Напротив, подавители аппетита из разных классов, включая фенфлурамин и каннабиноидные антагонисты CB1 (Salamone et al., 2007; Sink et al., 2008), не удалось увеличить потребление чау в дозах, которые подавляли нажатие рычага. В отличие от эффектов антагонизма DA, предварительная кормление, которое является одним из видов девальвации подкрепления, уменьшало как нажатие рычага, так и потребление чау-чау (Salamone et al., 1991). Эти результаты показывают, что вмешательство в передачу ДА не просто снижает мотивацию или потребление первичной пищи, а вместо этого изменяет распределение ответа между альтернативными источниками пищи, которые получаются с помощью различных ответов. Эти поведенческие эффекты зависят от принимающих DA и продуцируются с помощью диффициентов DA и местных вливаний D1 или D2 семейные антагонисты в ядре или оболочке accumbens (Salamone et al., 1991; Кох и др., 2000; Nowend et al., 2001; Фаррар и др., 2010 г.; Май и др., 2012 г.).

Процедура T-лабиринта также была разработана для изучения выбора, связанного с усилиями. Для этой задачи два захвата лабиринта приводят к различным плотностям армирования (например, 4 по сравнению с 2 пищевыми гранулами или 4 по сравнению с 0), и при некоторых условиях барьер помещается в руку с более высокой плотностью пищевой арматуры налагать вызов, связанный с усилиями (Salamone et al., 1994). Когда рычаг с высокой плотностью имеет барьер на месте, а рычаг без барьера содержит меньше усилителей, ухудшение ДА или антагонизм уменьшает выбор руки с высокой стоимостью / высокой наградой и увеличивает выбор руки с низкой стоимостью / низкой наградой (Salamone et al., 1994; Denk et al., 2005; Пардо и др., 2012 г.; Май и др., 2012 г.). Когда в лабиринте не было барьера, грызуны предпочли руку с высокой плотностью подкрепления, и ни один антагонизм рецептора DA, ни поглощение ДА не изменили их выбор (Salamone et al., 1994). Когда рука с барьером содержала гранулы 4, но в другой руке не было гранул, крысы с опущенными пигментами DA все еще выбирали руку с высокой плотностью, поднимались по барьеру и потребляли гранулы. В недавнем исследовании Т-лабиринта с мышами, в то время как галоперидол уменьшал выбор руки с барьером, этот препарат не влиял на выбор, когда у обоих рук был барьер на месте (Пардо и др., 2012 г.). Таким образом, допаминергические манипуляции не изменяли предпочтения, основанные на величине усиления, и не влияли на процессы дискриминации, памяти или инструментального обучения, связанные с предпочтением руки. Барджетт и др., 2009 г. разработала задачу дисконтирования усилий T-лабиринта, в которой количество пищи в руке с высокой плотностью лабиринта уменьшалось на каждом испытании, на котором крысы выбирали эту руку. Дисконтирование усилий было изменено администрацией D1 и D2 семейные антагонисты, что сделало его более вероятным, чтобы крысы выбрали низкий уровень арматуры / низкой стоимости. Увеличение передачи ДА путем введения амфетамина блокировало эффекты SCH23390 и галоперидола, а также предвзятых крыс в сторону выбора высокоукрепляющего / дорогостоящего плеча, что согласуется с исследованиями выбора оперантов с использованием мышей DACagniard et al., 2006).

Одной из важных проблем в этой области является то, в какой степени животные с нарушенной передачей ДА чувствительны к требованиям к работе в задачах, связанных с усилиями, или к другим факторам, таким как временные задержки (например, Denk et al., 2005; Ванат и др., 2010 г.). В целом, влияние антагонизма DA на дисконтирование с задержкой оказалось довольно смешанным (Уэйд и др., 2000; Koffarnus et al., 2011), а также расширение Winstanley et al., 2005 сообщила, что дефицит DA для пациентов не влияет на дисконтирование с задержкой. Флореско и др., 2008 г. продемонстрировал, что галоперидол с антагонистом DA изменяет усилие дисконтирования, даже когда они контролируют воздействие препарата на ответ на задержки. Вакабаяши и др., 2004 г. обнаружили, что блокада ядра accumbens D1 или D2 рецепторы не ухудшали производительность при прогрессивном интервальном режиме, который включает ожидание все более и более длительных временных интервалов, чтобы получить подкрепление. Кроме того, исследования с тандемными схемами подкрепления, в которых требования соотношения связаны с требованиями временного интервала, показывают, что истощение прилежащего DA делает животных более чувствительными к требованиям дополнительных соотношений, но не делает животных чувствительными к требованиям временного интервала от 30 до 120 с (Correa et al., 2002; Mingote et al., 2005).

Таким образом, результаты исследований выбора Т-лабиринта и оперантов у грызунов подтверждают идею о том, что низкие дозы антагонистов DA и оседания DA-диета оставляют фундаментальные аспекты первичной мотивации и укрепления неизменными, но тем не менее уменьшают поведенческую активацию и заставляют животных перераспределять их инструментальные выбор ответа на основе требований к ответам задачи и выбора альтернативных вариантов затрат для получения усилителей (Salamone et al., 2007, Salamone et al., 2012). Значительные данные свидетельствуют о том, что мезолимбический DA является частью более широкой схемы, регулирующей поведенческую активацию и связанные с ней функции, которая включает в себя другие передатчики (аденозин, ГАМК; Mingote et al., 2008; Фаррар и др., 2008 г., Фаррар и др., 2010 г.; Нуньес и др., 2010 г.; Salamone et al., 2012) и области мозга (базалатеральная миндалина, передняя поясница коры головного мозга, вентральный паллидум; Уолтон и др., 2003 г.; Флореско и Ghods-Sharifi, 2007; Mingote et al., 2008; Фаррар и др., 2008 г.; Хаубер и Зоммер, 2009).

Вовлечение мезолимбического DA в аппетитную мотивацию: динамическая активность DA-систем

Хотя иногда говорят, что выделение ядра DA или активность вентральных тегментальных DA нейронов инициируется представлением положительных усилителей, таких как пищевые продукты, литература, описывающая реакцию мезолимбического DA на аппетитные раздражители, на самом деле довольно сложна (Hauber, 2010). В общем смысле ли представление пищи увеличивает активность нейронов DA или высвобождает DA-релиз? В широком диапазоне условий и на разных этапах мотивированного поведения, какие фазы или аспекты мотивации тесно связаны с подстрекательством дофаминергической активности? Ответ на эти вопросы зависит от времени измерения и изучаемых конкретных поведенческих условий. Флуктуации активности DA могут происходить в нескольких временных масштабах, и часто проводится различие между «фазической» и «тонической» активностью (Грейс, 2000; Флореско и др., 2003 г.; Goto и Grace, 2005). Электрофизиологические методы записи способны измерять быструю фазическую активность предполагаемых DA нейронов (например, Шульц, 2010), и вольтамперометрические методы (например, быстрая циклическая вольтамперометрия) записывают DA-переходные процессы, которые являются быстрыми фазическими изменениями внеклеточного DA, которые, как считается, представляют высвобождение из всплесков активности DA нейрона (например, Ройтман и др., 2004 г.; Sombers et al., 2009 г.; Браун и др., 2011). Также было высказано предположение о том, что быстрые фазовые изменения в высвобождении DA могут быть относительно независимы от обжига DA нейрона и могут вместо этого включать синхронное обжига холинергических полосатых интернейронов, которые способствуют высвобождению DA через пресинаптический механизм никотиновых рецепторов (Райс и др., 2011 г.; Threlfell et al., 2012; Surmeier и Graybiel, 2012). С другой стороны, методы микродиализа измеряют внеклеточный DA таким образом, который представляет собой чистый эффект механизмов высвобождения и поглощения, интегрированных в более крупные единицы времени и пространства относительно электрофизиологии или вольтамперометрии (например, Hauber, 2010). Таким образом, часто предполагается, что методы микродиализа измеряют «тонические» уровни DA. Тем не менее, учитывая тот факт, что микродиализ может измерять флуктуации, связанные с поведением или лекарственными средствами (например, увеличение с последующим уменьшением) во внеклеточном DA, которые имеют место в течение нескольких минут, возможно, наиболее полезно использовать термин «быстрый фазический» для разговора о быстрых изменениях активности, связанной с DA, которая может быть измерена электрофизиологией или вольтамперометрией, и «медленной фазой» применительно к изменениям, которые происходят в более медленном масштабе времени, измеренном с помощью методов микродиализа (например, Hauber, 2010; Сеговия и др., 2011 г.).

Электрофизиологические исследования показали, что представление новых или неожиданных пищевых усилителей сопровождается временным увеличением активности предполагаемых вентральных тегментальных нейронов DA, ​​но этот эффект уходит с регулярным представлением или повторным воздействием через тренировку (Schultz et al., 1993; Шульц, 2010). Используя методы вольтамперометрии для измерения быстрых фазовых изменений высвобождения DA, Ройтман и др., 2004 г. показали, что у обученных животных воздействие условного раздражителя, сигнализирующее о том, что прижим рычага приведет к доставке сахарозы, сопровождалось увеличением переходных процессов DA, ​​однако фактического представления усилителя сахарозы не было. Аналогичный вывод был опубликован много лет назад Нишино и др., 1987 г., который изучал рычаг фиксированного отношения свободного действия, нажав обезьян, и заметил, что активность предполагаемых вентральных тегментальных нейронов DA была увеличена во время нажатия рычага у обученных животных, но фактически уменьшилась во время презентации усилителя. Непредсказуемая доставка еды, а также представление сигналов, которые предсказывали доставку пищи, повышали быструю фазическую сигнализацию, измеряемую вольтамперометрией в ядре accumbens core (Браун и др., 2011). DiChiara и его коллеги показали, что при воздействии новых вкусовых продуктов транзиторно увеличивалось внеклеточное DA в оболочке ядра accumbens, измеряемое микродиализом, но этот ответ быстро приживался (например, Bassareo et al., 2002). Недавняя микродиализная бумага продемонстрировала, что представление высокоуглеводных пищевых усилителей для ранее открытых крыс не приводило к каким-либо изменениям внеклеточного DA в сердцевине или оболочке accumbens (Сеговия и др., 2011 г.). Напротив, как получение, так и поддержание прижимного рычага с фиксированным соотношением были связаны с увеличением выпуска DA (Сеговия и др., 2011 г.). Аналогичная картина была показана, когда были измерены маркеры передачи сигнала, связанные с DA (c-Fos и DARPP-32) (Сеговия и др., 2012 г.). В совокупности эти исследования не подтверждают идею о том, что представление пищи как таковое, в том числе вкусных пищевых продуктов, равномерно увеличивает выброс DA в широком диапазоне условий.

Тем не менее, значительное доказательство свидетельствует о том, что увеличение передачи ДА связано с представлением стимулов, связанных с естественными усилителями, такими как пищевые продукты, или с помощью инструментального поведения; это было замечено в исследованиях, связанных с микродиализом (Соколовский и Саламоне, 1998; Остлунд и др., 2011 г.; Hauber, 2010; Сеговия и др., 2011 г.), вольтамперометрии (Ройтман и др., 2004 г.; Браун и др., 2011; Cacciapaglia et al., 2011) и электрофизиологические записи во время реакции свободного операнта (Нишино и др., 1987 г.; Кособуд и др., 1994). Cacciapaglia et al., 2011 сообщают, что быстрое фазическое высвобождение DA в ядре accumbens, измеренное вольтамперометрией, произошло во время начала сигнала, который сигнализировал наличие подкрепления, а также нажатие на рычаг, и что возбуждающие эффекты этого фазового выброса на прилегающие нейроны затупляются инактивацией вспышки в брюшных тегментальных DA нейронах. Кроме того, значительный объем исследований электрофизиологии выявил некоторые из условий, которые активируют взрывную вспышку в предполагаемых вентральных тегментальных нейронах DA, включая представление стимулов, связанных с первичным усилителем, а также условия, которые имеют более высокую величину усиления по сравнению с ожидание, вызванное предыдущим опытом (Schultz et al., 1997). Более позднее наблюдение привело к гипотезе о том, что активность DA нейрона может представлять собой сигнал ошибки предсказания, описанный некоторыми моделями обучения (например, Rescorla and Wagner, 1972). Эта структура активности в предполагаемых DA нейронах обеспечила формальную теоретическую основу для участия быстрой фазовой передачи сигналов DA в моделях обучения подкрепления (Schultz et al., 1997; Bayer и Glimcher, 2005; Niv, 2009; Шульц, 2010).

Хотя основное внимание в настоящей работе уделяется влиянию дофаминергических манипуляций на отдельные аспекты мотивации, полезно рассмотреть важность быстрой фазической и медленной фазовой (тонизирующей) передачи сигналов для интерпретации эффектов условий, которые мешают с передачей DA. Различные шкалы дофаминергической активности могут выполнять очень разные функции, и поэтому эффекты конкретного манипулирования могут очень сильно зависеть от того, изменяет ли он быструю или медленную фазическую активность или базовые уровни DA. Исследователи использовали различные фармакологические или генетические манипуляции, чтобы дифференциально влиять на быстродействующую фазовую активность DA по сравнению с высвобождением DA в более медленных временных масштабах (Цвайфель и др., 2009 г.; Паркер и др., 2010 г.; Grieder et al., 2012) и сообщили, что эти манипуляции могут проявлять различные поведенческие эффекты. Например, Grieder et al., 2012 показали, что селективное вмешательство в фазическую активность DA препятствует вытеснению условных условных отклонений из одной острой дозы никотина, но не к отходу от хронического никотина. Напротив, блокада рецепторов D2 нарушала выражение условного отвращения во время хронического, но не острого отторжения. Цвайфель и др., 2009 г. сообщил, что селективная генетическая инактивация NMDA-рецепторов, которые притупляют взрывную вспышку в нейронах VTA DA, нарушала приобретение чувствительного к кидам аппетитного обучения, но не нарушала поведения работы по усилению питания в прогрессивном расписании. Фактически, ряд поведенческих функций, связанных с DA, сохраняется у животных с нарушенной быстрой фазной активностью DA (Цвайфель и др., 2009 г.; Wall et al., 2011; Паркер и др., 2010 г.). Эти наблюдения имеют значение для интеграции информации из исследований быстрой фазической активности с теми, которые фокусируются на эффектах антагонизма или истощения ДА. Прежде всего, они предполагают, что нужно быть осторожным в обобщении из понятий, созданных в исследованиях электрофизиологии или вольтамперометрии (например, что релиз DA действует как «обучающий сигнал») для поведенческих функций, которые нарушаются при использовании наркотиков или ДА для прерывания передачи DA. Кроме того, они показывают, что исследования быстрой фазовой активности мезолимбических DA нейронов могут объяснять условия, которые быстро увеличивают или уменьшают активность DA или обеспечивают дискретный сигнал DA, но не сообщают нам строго о широком спектре функций, выполняемых DA-передачей через множественные временные рамки или нарушения, нарушающие передачу DA.

Привлечение мезолимбического и неоспиралительного механизмов при аппетитном инструментальном обучении

Хотя мотивацию можно определить в терминах, отличающих её от других понятий, следует признать, что при всестороннем обсуждении как поведенческих характеристик, так и нейронной основы мотивации необходимо также учитывать связанные с ней функции. Мозг не имеет чётких диаграмм или разграничений, которые бы чётко разделяли основные психологические функции на дискретные, непересекающиеся нейронные системы. Таким образом, важно понимать связь между мотивационными процессами и другими функциями, такими как гомеостаз, аллостаз, эмоции, познание, обучение, подкрепление, ощущения и двигательная функция ( Саламоне, 2010 ). Например, Панксепп (2011) подчеркнул, как эмоциональные сети в мозге тесно переплетены с мотивационными системами, участвующими в таких процессах, как поиск, гнев или паника. Кроме того, поисковое/инструментальное поведение зависит не только от эмоциональных или мотивационных свойств стимулов, но и, конечно же, от процессов обучения. Животные учатся совершать определённые инструментальные реакции, которые связаны с конкретными подкрепляющими результатами. В качестве важнейшей части ассоциативной структуры инструментального обусловливания организмы должны научиться определять, какие действия приводят к каким стимулам (т. е., ассоциации «действие-результат»). Таким образом, мотивационные функции тесно переплетены с двигательными, когнитивными, эмоциональными и другими функциями ( Mogenson et al., 1980 ). Хотя настоящий обзор посвящен участию мезолимбического дофамина в мотивации к естественным подкреплениям, полезно также кратко обсудить предполагаемое участие мезолимбического дофамина в инструментальном обучении.

Можно было бы подумать, что было бы довольно просто продемонстрировать, что ядро ​​accumbens DA обеспечивает образование подкрепления или критически участвует в процессах синаптической пластичности, лежащих в основе ассоциации оперантного ответа с доставкой усилителя (т.е. ассоциаций, основанных на действии). Но эта область исследований столь же сложна и сложна для интерпретации, как рассмотренное выше мотивационное исследование. Например, Смит-Роу и Келли, 2000 показали, что одновременная блокада DA D1 и NMDA-рецепторы в сердцевине ядра ядра замедляли приобретение инструментального нажатия рычага. Кроме того, манипуляции с дескрипторами, которые влияют на консолидацию памяти, также повлияли на приобретение инструментального нажатия рычага (Эрнандес и др., 2002 г.). Тем не менее, рассматривая литературу о прилежащих ядрах и инструментальном обучении, Инь и др., 2008 г. пришел к выводу, что «приемы не являются ни необходимыми, ни достаточными для инструментального обучения». Аналогичным образом, Белин и др., 2009 отметили, что повреждения и лекарственные манипуляции с ядром прилежащего ядра могут повлиять на приобретение инструментального поведения, подкрепляемого естественными стимулами, но заявили, что «точный психологический вклад» прилежащего ядра и других структур мозга остается неясным. Хотя существует множество исследований, показывающих, что поражения клеточного тела, антагонисты DA или истощение DA могут влиять на связанные с обучением результаты в таких процедурах, как предпочтение места, нажатие на рычаг или другие процедуры, это само по себе не демонстрирует, что нейроны прилежащего ядра или мезолимбическая передача DA важна для определенных ассоциаций, лежащих в основе инструментального обучения (Инь и др., 2008 г.). Конкретные эффекты, связанные с инструментальным обучением, могут быть продемонстрированы путем оценки эффектов девальвации подкрепления или деградации непредвиденных обстоятельств, которые часто не проводятся в исследованиях фармакологии или поражения. Имея это в виду, важно отметить, что повреждения клеток тела в ядре или оболочке accumbens не изменяют чувствительность к дегенерации непредвиденных обстоятельств (Корбит и др., 2001). Лекс и Хаубер, 2010 обнаружили, что крысы с дефицитом диуретиков в ядре до сих пор чувствительны к девальвации подкрепления и предположили, что, следовательно, основной DA может не иметь решающего значения для кодирования ассоциаций действий и результатов. Несмотря на то, что неясно, является ли акцепменс DA критичным для ассоциаций между ответом и усилителем, значительные свидетельства указывают на то, что ядро ​​accumens DA важно для павловского подхода и для павловского инструментального переноса (Паркинсон и др., 2002 г.; Вивелл и Берридж, 2000; Dalley et al., 2005; Лекс и Хаубер, 2008, Лекс и Хаубер, 2010; Инь и др., 2008 г.). Такие эффекты могут обеспечить механизмы, с помощью которых условные раздражители могут оказывать активирующее воздействие на инструментальное реагирование (Роббинс и Эверитт, 2007; Salamone et al., 2007), как обсуждалось выше. Активизирующие или возбуждающие эффекты условных раздражителей могут быть фактором в усилении уже приобретенного инструментального ответа, но также могут действовать, чтобы способствовать приобретению за счет увеличения выходного сигнала ответа и изменчивости поведения, тем самым создавая предпосылки для большего количества возможностей для сопряжения ответа с подкреплением. Недавняя статья показала, что оптогенетическая стимуляция брюшных тегментальных нейронов DA не обеспечивала положительного усиления инструментального рычага, прижимая сама по себе и не влияя на потребление пищи, но усиливала появление усиленного пищевыми средствами рычага, нажимая на активный рычаг во время захвата и усиления выход ранее угашенных инструментальных ответов (Adamantidis et al., 2011).

Интересно, что, несмотря на то, что нокаут рецепторов DA D1 ослабил формирование павловского поведения приближения, нокаут рецепторов NMDA, который привел к трехкратному снижению быстрого фазового выброса дофамина, вызванного предъявлением пищевых стимулов, не замедлил формирование павловского поведения приближения ( Parker et al., 2010 ). Это указывает на то, что связь между быстрым фазовым выбросом дофамина и обучением остается неопределенной. В будущих исследованиях следует изучить эффекты манипуляций, влияющих на быструю фазовую передачу сигналов дофамина, используя процедуры, которые непосредственно оценивают обучение с подкреплением (т. е. обесценивание подкрепления и деградация условий). Кроме того, генетические и фармакологические методы, приводящие к подавлению быстрой фазовой активности дофамина, следует дополнительно оценить на предмет их воздействия на поведенческую активацию и связанные с усилием аспекты мотивации.

Вовлечение мезолимбического DA в аверсивную мотивацию и обучение: динамическая деятельность DA Systems

Беглый обзор некоторых статей в литературе DA может оставить впечатление, что мезолимбический DA избирательно участвует в гедонистических процессах, аппетитной мотивации и обучении, связанном с подкреплением, за исключением аверсивных аспектов обучения и мотивации. Однако такое мнение будет противоречить литературе. Как описано выше, значительное свидетельство указывает на то, что передача accumbens DA напрямую не опосредует гедонистические реакции на стимулы. Кроме того, существует очень большая литература, в которой показано, что мезолимбический DA участвует в аверсивной мотивации и может влиять на поведение в аверсивных процедурах обучения. Ряд различных аверсивных состояний (например, шока, хвоста, стресса сдержанности, отвратительных условных раздражителей, отвратительных лекарств, социального поражения) могут увеличить выброс DA, измеряемый методами микродиализа (Маккалоу и др., 1993; Salamone et al., 1994; Tidey и Miczek, 1996; Молодой, 2004). В течение многих лет считалось, что вентральная тегментальная активность DA нейрона не была увеличена с помощью аверсивных стимулов; однако недавние исследования показали, что электрофизиологическая активность предполагаемых или идентифицированных нейронов DA увеличивается с помощью аверсивных или стрессовых состояний (Анстром и Вудворд, 2005; Brischoux et al., 2009 г.; Мацумото и Хикосака, 2009; Бромберг-Мартин и др., 2010 г.; Шульц, 2010; Ламмель и др., 2011 г.). Хотя Ройтман и др., 2008 г. сообщил, что стимул отвратительного вкуса (хинин) уменьшал переходные процессы DA в ядре accumbens, Anstrom et al., 2009 г. наблюдал, что стресс со стороны общества сопровождался увеличением быстрой фазовой активности DA, измеряемой как электрофизиологией, так и вольтамперометрией. Неопределенность остается в отношении того, существуют ли отдельные нейроны DA, которые реагируют по-разному на аппетитные и отвратительные стимулы, и какая доля нейронов реагирует на каждую из них, но, похоже, мало кто сомневается в том, что активность мезолимбического DA может быть повышена по крайней мере в некоторых условиях отвращения, и поэтому специально не привязан к гедонии или положительному подкреплению.

Существенное количество доказательств, появившихся несколько десятилетий (Salamone et al., 1994) и продолжения недавней литературы (Faure et al., 2008; Цвайфель и др., 2011 г.) свидетельствует о том, что вмешательство в передачу DA может нарушить приобретение или выполнение поведения с отвращением. Фактически, на протяжении многих лет антагонисты DA подвергались доклиническому скринингу на антипсихотическую активность, частично основанную на их способности избегать поведения избегания (Salamone et al., 1994). Недостатки опимусов DA ухудшают нажатие рычага предотвращения удара ((Маккалоу и др., 1993). Системные или внутрикапсумные инъекции DA-антагонистов также нарушают приобретение нежелания места и отвращения вкуса (Аквас и Ди Чиара, 1994; Фену и др., 2001), а также обуздание страха (Иноуэ и др., 2000; Pezze и Feldon, 2004). Цвайфель и др., 2011 г. сообщают, что нокаут NMDA-рецепторов, который действует для уменьшения быстрого фазового DA-релиза, нарушил приобретение зависящего от бига.

Исследования на людях также продемонстрировали роль вентрального стриатума в аспектах аверсивной мотивации и обучения. У ветеранов войны с посттравматическим стрессовым расстройством наблюдалось увеличение кровотока в вентральном стриатуме/ядре прилежащего тела в ответ на предъявление аверсивных стимулов (например, звуков боя; Liberzon et al., 1999 ). Исследования с использованием методов нейровизуализации у людей показывают, что BOLD-ответы вентрального стриатума, измеренные с помощью фМРТ, увеличиваются в ответ на ошибки прогнозирования независимо от того, предсказывал ли стимул вознаграждающие или аверсивные события ( Jensen et al., 2007 ), и что аверсивные ошибки прогнозирования блокировались антагонистом дофамина галоперидолом ( Menon et al., 2007 ). Baliki et al., 2010 сообщили, что у здоровых испытуемых фазовые BOLD-ответы наблюдались как при начале, так и при окончании болевого термического стимула. Дельгадо и др., 2011 продемонстрировали, что BOLD-ответы вентрального стриатума усиливались во время аверсивного обусловливания первичным аверсивным стимулом (шоком), а также денежными потерями. ПЭТ-исследование, в котором были получены измерения вытеснения раклоприда in vivo для оценки высвобождения дофамина у людей, показало, что воздействие психосоциального стресса увеличивало маркеры внеклеточного дофамина в вентральном стриатуме таким образом, что это коррелировало с увеличением высвобождения кортизола ( Прюсснер и др., 2004 ). Таким образом, исследования с использованием методов нейровизуализации у человека также показывают, что вентральный стриатум и его мезолимбическая дофаминовая иннервация реагируют как на аверсивные, так и на аппетитивные стимулы.

Итоги и выводы

Таким образом, традиционные представления о DA как посреднике «гедонии» и тенденция приравнивать передачу DA с «вознаграждением» (и «вознаграждение» с «гедонией») уступают место акценту на дофаминергическое участие в конкретных аспектах мотивации. и процессы, связанные с обучением (рис. 2), включая поведенческую активацию, приложение усилий, подход, инициированный сигналом, прогнозирование событий и процессы Павлова. Передача DA в прилежащем ядре не оказывает сильного влияния на гедонистическую реактивность вкусов и, по-видимому, не опосредует первичную пищевую мотивацию или аппетит (Берридж и Робинсон, 1998; Саламоне и Корреа, 2002; Келли и др., 2005; Барбано и др., 2009 г.). Более того, хотя дофаминергические манипуляции могут влиять на поведенческие результаты у животных, обучающихся по учебным задачам, нет убедительных доказательств того, что принятие ДА имеет решающее значение для конкретного аспекта инструментального обучения, которое связано с ассоциацией между инструментальным действием и усиливающим результатом (Инь и др., 2008 г.). Тем не менее, accumbens DA явно важны для аспектов аппетитной, а также аверсивной мотивации (Salamone et al., 2007; Cabib и Puglisi-Allegra, 2012) и участвует в процессах обучения, по крайней мере частично, посредством процессов, которые включают в себя павловский подход и павловский инструментальный перевод (Инь и др., 2008 г.; Белин и др., 2009). Вмешательство с передачей DA в пригонке прикупит приобретение павловских ответов на подход, которые спровоцированы сигналами, которые предсказывают доставку пищи и нарушают ответы об избегании, вызванные сигналами, которые предсказывают аверсивные стимулы. Ослабление или антагонизм Accumbens DA уменьшают активизирующие эффекты условных раздражителей и делают животных очень чувствительными к затратам на инструментальные средства, связанные с работой (например, вывод графика соотношений с большими требованиями к соотношению, восхождение барьера; Salamone et al., 2007, Salamone et al., 2012; Барбано и др., 2009 г.). Таким образом, прилежащее ядро ​​DA явно участвует в аспектах мотивации и регуляции целенаправленных действий, но довольно специфическим и сложным образом, который не передается простым словом «вознаграждение». Некоторые инструментальные задачи задействуют функции, выполняемые мезолимбическим DA (например, активационные аспекты мотивации, приложение усилий), и, таким образом, нарушение мезолимбического DA легко влияет на выполнение этих задач, одновременно отвечая на другие положительно усиленные задачи или меры первичного питания. мотивации, остаются нетронутыми.

В последние несколько лет сложилась картина, согласно которой неостриатум (т. Е. Дорсальный стриатум) и его DA иннервация, по-видимому, имеют более четкую связь с обработкой инструментальных ассоциаций, чем прилежащее ядро ​​(прилежащее ядро) (Инь и др., 2008 г.). Повреждения дорсомедиального neostriatum сделали животных нечувствительными к девальвации подкрепления и деградации непредвиденных обстоятельств (Инь и др., 2005 г.). Было показано, что как поражение клеток клетки, так и высвобождение ДА в дорсолатеральном стриатуме нарушают формирование привычки (Инь и др., 2004 г.; Faure et al., 2005). Участие neostriatum в формировании привычки может быть связано с гипотетической ролью базальных ганглиев в содействии развитию последовательностей действий или «фрагментации» компонентов инструментального поведения (Graybiel, 1998; Мацумото и др., 1999 г.). Идея о переходе от вентрального полосатого тела регуляции инструментальной реакции к неостриатальным механизмам, которые регулируют формирование привычек, широко использовалась для объяснения некоторых особенностей наркозависимости (см. Белин и др., 2009), а также имеет значение для понимания эффектов природных усилителей (Сеговия и др., 2012 г.). Тем не менее, в этом контексте полезно подчеркнуть, что участие ядро ​​accumbens DA в аспектах инструментального обучения или эффективности или вовлечение неоспитального DA в регулирование кодирования ассоциаций действий и результатов или формирование привычки не означает, что эти эффекты опосредуются действиями по первичной мотивации или аппетиту к естественным усилителям, таким как еда. Например, Смит-Роу и Келли, 2000 показали, что комбинированное введение D1 антагониста и антагониста NMDA в дозах, которые нарушали захват пилингового рычага, не влияли на потребление пищи и интерпретировали этот результат как демонстрирующий отсутствие общего мотивационного эффекта этой манипуляции. Кроме того, было показано, что вмешательство в передачу ДА в дорсолатеральном неостриатуме ухудшает формирование привычки, но оставляет целенаправленный (т. Е. Мотивационно управляемый) ответный неповрежденный (Faure et al., 2005). Таким образом, участие неостриатального ДА в формировании привычки не свидетельствует о дофаминергическом опосредовании первичной пищевой мотивации или аппетита. Фактически, на потребление пищи наиболее сильно влияет истощение DA в вентролатеральном неостриатуме, и эти нарушения связаны с моторными дисфункциями, влияющими на скорость кормления и использование передней лапы во время кормления, и происходят параллельно с индукцией тремора полости рта, который имеет характеристики паркинсонического покоя. тремор (Jicha и Salamone, 1991; Salamone et al., 1993; Коллинз-Прайно и др., 2011 г.).

Хотя это не простой маркер гедонии или первичной пищевой мотивации и аппетита, DA в прилежащем ядре, по-видимому, регулирует несколько каналов информации, проходящей через это ядро, и, таким образом, участвует во множестве поведенческих процессов, связанных с аспектами мотивации. На протяжении десятилетий исследователи предполагали, что структуры базальных ганглиев действуют как регуляторы сенсомоторной функции, что не означает, что вмешательство в базальные ганглии вызывает простой паралич или двигательную неспособность, но вместо этого относится к идее, что эти структуры, включая прилежащую кость, участвуют в стробировании (т. е. установлении порога) воздействия сенсорного ввода на поведенческий вывод. По аналогии, Могенсон и др., 1980 и коллеги несколько лет назад предположили, что прилежащее ядро ​​действует как «лимбико-моторный» интерфейс, обеспечивая связь между лимбическими областями, участвующими в эмоциях и познании, и нейронными цепями, регулирующими поведенческий выход. Значительные данные из множества источников показывают, что прилежащее ядро ​​действует как ворота, фильтр или усилитель информации, проходящей через различные корковые или лимбические области на пути к различным моторным областям мозга (например, Рош и др., 2009 г.). Электрофизиологические и вольтамперометрические исследования показывают, что ядро ​​accumbens организовано в ансамбли и микросхемы специализированных нейронов, которые модулируются DA (О'Доннелл, 2003; Карелли и Вондоловски, 2003; Cacciapaglia et al., 2011). Рош и др., 2009 г. сообщил, что нейроны, находящиеся в нем, интегрируют информацию о значении ожидаемой награды с особенностями выходного сигнала двигателя (то есть скоростью реакции или выбором), которые возникают во время принятия решения. DA может установить порог для стоимостных затрат и при некоторых обстоятельствах может стать оппортунистической движущей силой для использования ресурсов (Филдс и др., 2007; Ган и др., 2010 г.; Beeler et al., 2012). Это предположение согласуется с предлагаемым участием принимающего DA в поведенческой экономике инструментального поведения, особенно с точки зрения принятия решений о затратах / выгодах (Salamone et al., 2007, Salamone et al., 2009).

Как указано выше, организмы обычно отделены от первичных мотивационных стимулов или целей препятствиями или ограничениями. Другой способ сказать это в том, что процесс участия в мотивированном поведении требует, чтобы организмы преодолевали «психологическую дистанцию» между собой и мотивационно-соответствующие стимулы. Концепция психологической дистанции - это старая идея в психологии (например, Левин, 1935; Шепард, 1957; Либерман и Форстер, 2008) и занял много разных теоретических коннотаций в разных областях психологии (например, экспериментальных, социальных, личностных и т. д.). В настоящем контексте он просто используется в качестве общей ссылки на идею о том, что объекты или события часто не являются непосредственно присутствующими или переживаемыми, поэтому организмы разделяются по нескольким измерениям (например, физическое расстояние, время, вероятность, инструментальные требования) из эти объекты или события. По-разному мезолимбический DA служит мостом, который позволяет животным проходить психологическую дистанцию, отделяющую их от объектов цели или событий. Несколько исследователей сформулировали это различными способами или подчеркнули различные аспекты процесса (Эверитт и Роббинс, 2005; Келли и др., 2005; Salamone et al., 2005, Salamone et al., 2007, Salamone et al., 2009; Филлипс и др., 2007 г.; Никола, 2010; Лекс и Хаубер, 2010; Panksepp, 2011; Beeler et al., 2012; см. рисунок 2), но многие из функций, в которых участвует accumbens DA, включая поведенческую активацию, приложение усилия во время инструментального поведения, Павловский метод инструментального переноса, реакция на условные стимулы, прогнозирование событий, гибкое подходящее поведение, поиск и энергия. расходы и регулирование важны для облегчения животным способности преодолевать препятствия и, в некотором смысле, преодолевать психологическую дистанцию. В целом прилежащее ядро ​​DA важно для выполнения активных инструментальных реакций, которые вызываются или поддерживаются условными раздражителями (Salamone, 1992), для поддержания усилий по инструментальному реагированию со временем в отсутствие первичного подкрепления (Salamone et al., 2001; Саламоне и Корреа, 2002), а также для регулирования распределения поведенческих ресурсов путем установления ограничений на инструментальные ответы, которые выбираются для обеспечения усиления на основе анализа затрат / выгод (Salamone et al., 2007, Salamone et al., 2012; Эрнандес и др., 2010 г.).

Трансляционные и клинические последствия

Параллельно с исследованиями на животных, рассмотренными выше, экспериментальные и клинические исследования с людьми также начали освещать некоторые из мотивационных функций вентрального и дорзального полосатого DA и указывают на их потенциальную клиническую значимость. Эти новые исследования людей, использующие методы визуализации, а также фармакологические методы, дали результаты, согласующиеся с идеей о том, что полосатые системы в целом и DA, в частности, участвуют в аспектах инструментального поведения, ожидании подкрепления, активации поведения и усилий, связанных процессов. Knutson et al., 2001 сообщили, что активация фМРТ accumbens была очевидна у людей, выполняющих игровую задачу, но что повышенная активность была связана с предсказанием или ожиданием вознаграждения, а не с фактическим представлением денежного вознаграждения. О'Догерти и др., 2002 г. что ожидание доставки глюкозы связано с усилением активации ФМР в средах среднего мозга и половых органов, но эти области не реагируют на доставку глюкозы. Недавние исследования в области изображений включали вентральный стриатум в принятии решений о затратах и ​​выгодах (Croxson et al., 2009; Ботвиник и др., 2009 г.; Курниаван и др., 2011 г.). Тредуэй и др., 2012 г. обнаружили, что индивидуальные различия в применении усилий у людей были связаны с маркером передачи полосатой передачи ДА. К тому же, Wardle et al., 2011 показали, что амфетамин повышает готовность людей прилагать усилия для получения вознаграждения, особенно когда вероятность вознаграждения невысока, но не влияет на влияние величины вознаграждения на готовность прилагать усилия. Недавняя работа с изображениями показала, что дозы L-ДОФА, которые усиливали полосатое представление о действиях, мотивированных аппетитом, не влияли на нейронное представление значения подкрепления (Guitart-Masip et al., 2012). В другом недавнем докладе описывается способность манипуляций с катехоламином диссоциировать между различными аспектами мотивации и эмоций у людей (Venugopalan et al., 2011). В этом исследовании доступ к курению сигарет использовался в качестве усилителя, и исследователи манипулировали DA-передачей путем кратковременного ингибирования синтеза катехоламина с истощением фенилаланина / тирозина. Ингибирование синтеза катехоламина не приводило к самоутверждению жажды сигарет или вызванных курением гедонических реакций. Тем не менее, он снизил точки разрыва прогрессивного отношения для усиления сигарет, что указывает на то, что люди с уменьшенным синтезом ДА продемонстрировали снижение готовности работать на сигареты. Кроме того, исследование изображений продемонстрировало, что человеческое ядро ​​приступов / вентральный стриатум не только реагирует на аппетитные раздражители, но также реагирует на стресс, отвращение и гиперароматическую / раздражительность (Liberzon et al., 1999; Павич и др., 2003 г.; Фан и др., 2004 г.; Прюсснер и др., 2004 г.; Левита и др., 2009 г.; Дельгадо и др., 2011 г.). В совокупности эти исследования показывают, что существует много сходств между выводами, полученными на животных моделях, и результатами, полученными в результате исследований человека, с точки зрения многих мотивационных функций мезостриальных DA-систем.

По мере того как концепции DA продолжают развиваться, исследования поведенческих функций DA будут иметь глубокие последствия для клинических исследований мотивационных дисфункций, наблюдаемых у людей с депрессией, шизофренией, токсикоманией и другими расстройствами. У людей патологические аспекты процессов активации поведения имеют значительное клиническое значение. Усталость, апатия, анергия (т. Е. Недостаточная энергия) и психомоторная отсталость являются распространенными симптомами депрессии (Марин и др., 1993; Stahl, 2002; Demyttenaere et al., 2005; Salamone et al., 2006), и аналогичные мотивационные симптомы также могут присутствовать в других психических или неврологических расстройствах, таких как шизофрения (т. е. «отвисание»), снятие стимулятора (Волков и др., 2001 г.), Паркинсонизм (Фридман и др., 2007 г.; Shore et al., 2011), рассеянный склероз (Lapierre и Hum, 2007), и инфекционное или воспалительное заболевание (Данцер и др., 2008 г.; Миллер, 2009). Значительные данные исследований как животных, так и человека показывают, что мезолимбические и полосатые DA участвуют в этих патологических аспектах мотивации (Schmidt et al., 2001; Волков и др., 2001 г.; Salamone et al., 2006, Salamone et al., 2007, Salamone et al., 2012; Миллер, 2009; Treadway и Zald, 2011). Недавняя тенденция в исследованиях в области психического здоровья заключалась в том, чтобы уменьшить акцент на традиционных диагностических категориях и вместо этого сосредоточиться на нейронных цепях, опосредующих специфические патологические симптомы (т. Е. Подход к критерию исследования домена; Моррис и Катберт, 2012). Возможно, что дальнейшие исследования мотивационных функций DA прольют свет на нейронные цепи, лежащие в основе некоторых мотивационных симптомов психопатологии, и будут способствовать разработке новых методов лечения этих симптомов, которые будут полезны при множественных расстройствах.

PDF