Распространение компонентов вознаграждения: Liking, Wanting и Learning (2010)

Награда: комментарии - у этой группы есть много исследований и обзоров, изучающих нейронные субстраты желания и симпатии. Текущая теория предполагает, что дофаминовые механизмы вызывают симпатию, а опиоидные механизмы отсутствуют. Зависимость настолько сильна, что вы продолжаете употреблять ее, несмотря на негативные последствия.


Полное исследование: рассечение компонентов вознаграждения: «симпатия», «желание» и обучение

Curr Opin Pharmacol. 2009 февраль; 9 (1): 65-73.

Опубликован онлайн 2009 Январь 21. doi: 10.1016 / j.coph.2008.12.014.

Кент С Берридж, Терри Э Робинсон и Дж. Уэйн Олдридж

Адрес факультета психологии Мичиганского университета, Анн-Арбор, 48109-1043, США

Ответственный автор: Берридж, Кент С. (Электронная почта: [email protected] )

Резюме

В последние годы достигнут значительный прогресс в изучении психологических компонентов вознаграждения и лежащих в их основе нейронных механизмов. Здесь мы кратко рассмотрим результаты исследований трех различных психологических компонентов вознаграждения: « нравится » (гедонистическое воздействие), « желание » (значимость стимула) и обучение (прогностические ассоциации и когнитивные процессы). Лучшее понимание компонентов вознаграждения и их нейробиологических субстратов может помочь в разработке более эффективных методов лечения расстройств настроения и мотивации, от депрессии до расстройств пищевого поведения, наркотической зависимости и связанных с ней компульсивных стремлений к вознаграждению.

Введение

Симпатия

Для большинства людей «награда» — это нечто желанное, поскольку она вызывает осознанное переживание удовольствия, и поэтому этот термин может использоваться для обозначения психологических и нейробиологических событий, которые вызывают субъективное удовольствие. Но данные свидетельствуют о том, что субъективное удовольствие — это лишь один из компонентов награды, и что награды могут влиять на поведение даже в отсутствие осознанного восприятия их. Действительно, интроспекция иногда может привести к путанице относительно того, насколько нравятся награды, тогда как непосредственные реакции могут быть более точными [ 1 ].

В крайних случаях даже бессознательные или неявные реакции «нравится» на гедонистические стимулы могут быть измерены в поведении или физиологии без осознанного чувства удовольствия (например, после подсознательно кратковременного проявления счастливого выражения лица или очень низкой дозы внутривенного кокаина) [ 2 , 3 ]. Таким образом, хотя это может показаться удивительным, объективные измерения реакций «нравится» на вознаграждение иногда могут обеспечить более прямой доступ к гедонистическим системам, чем субъективные отчеты.

Одной из главных задач аффективной нейронауки является определение того, какие мозговые субстраты вызывают удовольствие, будь то субъективное или объективное. Нейровизуализационные и нейронные исследования показали, что вознаграждения, варьирующиеся от сладкого вкуса до внутривенного введения кокаина, выигрыша денег или улыбки, активируют многие структуры мозга, включая орбитофронтальную кору, переднюю поясную извилину и островковую кору, а также подкорковые структуры, такие как прилежащее ядро, вентральный паллидум, вентральное покрывало и мезолимбические дофаминовые проекции, миндалевидное тело и т. д. [ 4• , 5 , 6 , 7•• , 8 , 9• , 10• , 11 – 13 ].

Но какие из этих мозговых систем на самом деле вызывают удовольствие от вознаграждения? А какие активации являются лишь коррелятами (например, из-за распространения активации сети) или последствиями удовольствия (опосредующими другие когнитивные, мотивационные, двигательные и т. д. функции, связанные с вознаграждением)? Мы и другие исследователи искали причину удовольствия в исследованиях на животных, выявляя манипуляции с мозгом, которые усиливают гедонистическое воздействие [ 6 , 14•• , 15 , 16 , 17• , 18 – 22 ].

Для изучения нейронных систем, ответственных за гедонистическое воздействие вознаграждений, мы и другие исследователи использовали объективные реакции «нравится» на сладкий вкус, такие как аффективные выражения лица новорожденных младенцев и аналогичные реакции лица орангутанов, шимпанзе, обезьян и даже крыс и мышей [ 4• , 18 , 23 , 24 ]. Сладости вызывают положительные выражения лица, выражающие «нравится» (облизывание губ, ритмичное выпячивание языка и т. д.), тогда как горький вкус, наоборот, вызывает отрицательные выражения «не нравится» (раскрытие рта и т. д.; Рисунок 1 ; Дополнительное видео 1 ). Такие реакции «нравится»–«не нравится» на вкус контролируются иерархией мозговых систем, отвечающих за гедонистическое воздействие в переднем мозге и стволе мозга, и находятся под влиянием многих факторов, изменяющих приятность, таких как голод/сытость и выученные вкусовые предпочтения или отвращения.

Рисунок 1

Пример поведенческих «симпатий» реакций и мозговых гедонистических горячих точек для чувственного удовольствия. Top: Положительные гедонистические «симпатии» реакции вызваны вкусом сахарозы от младенца и взрослой крысы (например, ритмического выпячивания языка). ...

До сих пор было найдено лишь несколько нейрохимических систем, чтобы усилить реакции «симпатии» к сладкому вкусу у крыс и только в нескольких ограниченных местах мозга. Опиоидные, эндоканнабиноидные и ГАМК-бензодиазепиновые нейротрансмиттерные системы важны для создания приятных реакций [14 ••,15,16,17 •,25,26], особенно на конкретных участках в лимбических структурах (Рисунок 1 и Рисунок 2) [15,16,17 •,21,27]. Мы назвали гедонистические горячие точки этих сайтов, потому что они способны генерировать рост в «симпатиях» реакций и, по умозаключению, удовольствие. Одна гедонистическая точка доступа для опиоидного улучшения сенсорного наслаждения расположена в ядре, находящемся в ростродорзальном квадранте его медиальной оболочки, около кубического миллиметра в объеме [14 ••,15,28].

То есть, горячая точка занимает лишь 30% объема медиальной оболочки и менее 10% всего прилежащего ядра. В пределах этой гедонистической горячей точки микроинъекция агониста мю-опиоидных рецепторов, DAMGO, удваивает или утраивает количество реакций «нравится», вызываемых вкусом сахарозы [ 14•• , 28 ]. Другая гедонистическая горячая точка находится в задней половине вентрального паллидума, где DAMGO также значительно усиливает реакции «нравится» на сладость [ 17• , 21 , 28 ]. В обеих горячих точках та же микроинъекция также удваивает «желание» пищи в смысле стимуляции пищевого поведения и потребления пищи.

Рисунок 2

Расширение mu opioid hotspot в ядре accumbens с разграничением «симпатий» к «желающим» зонам. Зеленый: вся медиальная оболочка опосредует стимулируемое опиоидами увеличение «желания» для получения пищи. ...

Вне этих горячих точек, даже в одной и той же структуре, стимуляция опиоидами вызывает совершенно разные эффекты. Например, в NAc практически во всех других местах микроинъекции DAMGO по-прежнему стимулируют «желание» к пище так же сильно, как и в горячей точке, но не усиливают «приятие» (и даже подавляют «приятие» в более задней холодной точке в медиальной оболочке, при этом все еще стимулируя потребление пищи; Рисунок 2 ). Таким образом, сравнение эффектов активности мю-опиоидных рецепторов внутри или вне горячей точки в медиальной оболочке NAc показывает, что опиоидные участки, ответственные за «приятие», анатомически отличаются от тех, которые влияют на «желание» [ 14•• , 16 ].

Эндоканнабиноиды усиливают реакции «нравится» в области NAc, которая перекрывается с мю-опиоидным участком [ 16 , 27 ]. Микроинъекция анандамида в область эндоканнабиноидов, возможно, стимулируя там рецепторы CB1, более чем вдвое увеличивает уровень реакций «нравится» на вкус сахарозы (и более чем вдвое увеличивает потребление пищи). Этот гедонистический субстрат эндоканнабиноидов может быть связан с эффектами лекарственных препаратов, таких как антагонисты эндоканнабиноидов, используемые в качестве потенциальных средств лечения ожирения или наркотической зависимости [ 16 , 29 , 30 ].

Вентральный паллидум является главной мишенью для выходов ядра прилежащего ядра, а его задняя половина содержит вторую опиоидную точку [ 17• , 21 ]. В точке паллидума микроинъекции DAMGO удваивают «пристрастие» к сахарозе и «желание» к пище (измеряемое как потребление). Напротив, микроинъекция DAMGO кпереди от точки паллидума подавляет «пристрастие» и «желание». Совершенно независимо «желание» стимулируется отдельно во всех областях вентрального паллидума путем блокады рецепторов ГАМК А посредством микроинъекции бикукуллина, не изменяя «пристрастие» ни в одной из этих областей [ 17• , 31 ].

Роль вентрального паллидума в «нравится» и «хочу» делает его особенно интересным для исследований нейронной активации, вызванной вознаграждением. У людей кокаин, секс, еда или деньги — все это активирует вентральный паллидум, включая заднюю подобласть, которая соответствует гедонистической точке у крыс [ 9• , 10• , 11 , 21 ]. В более подробных электрофизиологических исследованиях того, как нейроны в задней части вентрального паллидума кодируют гедонистические сигналы у крыс, мы обнаружили, что нейроны горячей точки активируются более энергично в ответ на сладкий вкус сахарозы, чем на неприятный соленый вкус (втрое превышающий концентрацию морской воды) [ 7•• ]. Однако само по себе различие в вызванной активности нейронов при воздействии сахарозы и соли не доказывает, что нейроны кодируют их относительное гедонистическое воздействие («нравится» против «не нравится»), а не, скажем, просто базовую сенсорную характеристику стимула (сладкое против соленого).

Однако мы дополнительно обнаружили, что нейронная активность отслеживала изменение относительной гедонистической ценности этих стимулов, когда приятность вкуса NaCl избирательно изменялась путем индукции физиологического солевого аппетита. Когда у крыс был дефицит натрия (путем введения минералокортикоидного гормона и диуретика), интенсивный соленый вкус становился поведенчески «приятным» наравне с сахарозой, и нейроны в вентральном паллидуме начинали реагировать на соль так же интенсивно, как и на сахарозу [ 7•• ] ( Рисунок 3 ). Мы считаем, что такие наблюдения указывают на то, что паттерны активности этих нейронов вентрального паллидума действительно кодируют гедонистическую «приятность» приятного ощущения, а не более простые сенсорные характеристики [ 21 , 32 ].

Рисунок 3

Нейронное кодирование «симпатии» к чувственному удовольствию сладких и соленых вкусов. Реакции обжига нейронов показаны с помощью электрода регистрации вентрального паллида на вкусы сахарозы и интенсивной соли, введенной в рот крысы. Два ...

Гедонистические точки, распределенные по всему мозгу, могут быть функционально связаны друг с другом в интегрированную иерархическую схему, объединяющую множество переднего мозга и ствола мозга, подобно множеству островов архипелага, которые торгуют друг с другом [ 21 , 24 , 27 ]. На относительно высоком уровне лимбических структур в вентральной части переднего мозга усиление «предпочтения» точками в прилежащем ядре и вентральном паллидуме может действовать совместно как единая кооперативная гетерархия, требующая единогласного «голосования» обеих точек [ 28 ]. Например, гедонистическое усиление опиоидной стимуляцией одной точки может быть нарушено блокадой опиоидных рецепторов в другой точке, хотя усиление «желания» точкой в ​​прилежащем ядре было более выраженным и сохранялось после блокады точки в вентральном паллидуме [ 28 ].

Аналогичное взаимодействие, лежащее в основе «приятных ощущений», наблюдалось после манипуляций с опиоидами и бензодиазепинами (вероятно, с участием парабрахиального ядра ствола головного мозга моста) [ 27 ]. Усиление «приятных ощущений», вызванное введением бензодиазепинов, по-видимому, требует обязательного задействования эндогенных опиоидов, поскольку оно предотвращается введением налоксона [ 33 ]. Таким образом, единая гедонистическая цепь может объединять множество нейроанатомических и нейрохимических механизмов для усиления реакций «приятных ощущений» и удовольствия.

«Хотеть»

Обычно мозг «любит» те вознаграждения, которые он «хочет». Но иногда он может просто «хотеть» их. Исследования показали, что «любовь» и «желание» вознаграждений можно разделить как психологически, так и нейробиологически. Под «желанием» мы подразумеваем мотивационную значимость , тип мотивации, который способствует приближению к вознаграждениям и их потреблению и который имеет отчетливые психологические и нейробиологические особенности. Например, мотивационная значимость отличается от более когнитивных форм желания, подразумеваемых обычным словом « желание», которые включают декларативные цели или явные ожидания будущих результатов и которые в значительной степени опосредованы корковыми цепями [ 34–37 ].

В отличие от этого, мотивационная значимость опосредуется более субкортикально ориентированными нейронными системами, включающими мезолимбические дофаминовые проекции, не требует сложных когнитивных ожиданий и более непосредственно фокусируется на стимулах, связанных с вознаграждением [ 34 , 35 , 38 ]. В таких случаях, как зависимость, включающая сенсибилизацию к стимулам, разница между мотивационной значимостью и более когнитивными желаниями иногда может приводить к тому, что можно назвать иррациональным «желанием»: то есть «желанием» того, что когнитивно нежелательно, вызванным чрезмерной мотивационной значимостью [ 39• , 40• , 41 ].

«Желание» может относиться к врожденным стимулам-поощрениям (безусловным стимулам, БСС) или к выученным стимулам, которые изначально были нейтральными, но теперь предсказывают доступность вознаграждения (павловские условные стимулы, УС) [ 38 , 40• ]. То есть УС приобретают мотивационные свойства, когда УС сочетается с получением врожденного или «естественного» вознаграждения посредством павловских ассоциаций стимул-стимул (обучение S–S). Стимулирующая значимость приписывается этим УС лимбическими механизмами, которые используют эти ассоциации в момент «желания», делая УС привлекательным и активизируя и направляя мотивированное поведение к вознаграждению [ 35 ].

Когда условный стимул обладает поощрительной значимостью, он обычно приобретает отчетливые и измеримые «желательные» свойства [ 35 , 42 ], которые могут быть активированы при физической повторной встрече с условным стимулом (хотя яркие образы сигналов вознаграждения также могут быть достаточными, особенно у людей). К «желательным» свойствам, активируемым такими сигналами вознаграждения, относятся следующие:

  1. Мотивационная магнитная особенность стимула, КС, приписываемая стимулом, становится мотивирующей увлекательной, своего рода «мотивационным магнитом», к которому приближаются, а иногда даже потребляются (Дополнительный фильм 1) [43,44 •,45]. Мотивационная магнитная особенность стимулов CS может стать настолько мощной, что CS может даже вызвать компульсивный подход [46]. Крейк кокаиновые наркоманы, например, иногда отчаянно «преследуют призраков» или царапины после того, как белые гранулы, которые они знают, не являются кокаином.
  2. Cue-triggered US 'wanting' функция, Встреча с CS для награды также вызывает «желание» для своей собственной связанной UCS, предположительно посредством передачи стимула значимости ассоциативно связанным представлениям о отсутствующей награде [34,47,48]. В лабораторных тестах на животных это проявляется в виде фазического пика стимулов, вызванных кий, в работе за отсутствующую награду (в основном, специально оцениваемой в тестах под названием PIT или Pavlovian-Instrumental Transfer, проводимых в условиях экстинкции; Рисунок 4). Ключ-вызванный «желающий» может быть весьма специфичным для ассоциированной награды или иногда перетекать более общим способом, чтобы стимулировать «желание» для других вознаграждений (возможно, когда сенсибилизированные наркоманы или пациенты с дофаминовой дисрегуляцией проявляют компульсивную азартную игру, сексуальную поведение и т. д., в дополнение к компульсивному приему наркотиков) [49,50]. Таким образом, встречи с стимулирующими стимулами могут динамически повышать мотивацию к поиску вознаграждений и увеличивать силу, с которой они стремятся, явление, которое может быть особенно важно, когда сигналы вызывают рецидив в зависимости.

    Рисунок 4

    NAc усиление амфетамина, вызванное кией «желанием». Переходные пики «желаемого» для награды сахарозой вызваны появлением 30 в павловской сахарозы в тесте Павлово-Инструментального переноса (CS +, справа). ...
  3. Условная конструкция усилителя, Стимулирование внимания также делает CS привлекательным и «разыскиваемым» в том смысле, что человек будет работать для получения самой CS, даже в отсутствие вознаграждения США. Это часто называют инструментальным условным подкреплением. Точно так же добавление CS к тому, что заработано, когда животное работает за вознаграждение в США, такое как кокаин или никотин, увеличивает вероятность того, что они работают, возможно, потому, что CS добавляет дополнительную «желаемую» цель [51]. Однако мы отмечаем, что условное подкрепление шире, чем «желание», требующее дополнительных ассоциативных механизмов для приобретения инструментальной задачи. Кроме того, альтернативные механизмы SR могут опосредовать условное подкрепление в определенных ситуациях без стимула. Это делает мотивационный магнит и вызванные кией «желательные» свойства особенно важными для идентификации чрезмерного стимула.

Расширения стимулов

  1. Действие? Прежде чем оставить психологические особенности «желания», у нас возникает соблазн предположить, что некоторые поведенческие действия или моторные программы также могут стать «разыскиваемыми», почти как стимулы стимулов, посредством формы стимула, применяемого к представлению о внутренних движениях мозга, а не к представлению внешних стимулов. Мы называем эту идею «активностью действия» или «желанием» действовать. Мы полагаем, что действие, которое мы предлагаем, может быть моторным эквивалентом стимуляции стимула стимула и опосредуется перекрывающимися системами головного мозга (например, дорзальные нигростриальные дофаминовые системы, которые перекрываются с вентральными мезолимбическими). Поколение побуждений к действию, возможно, с участием смешанных двигательных и мотивационных функций внутри неострията (структура, также известная для участия в движении), согласуется с несколькими возникающими линиями мысли о функции базальных ганглиев [52,53,54 •,55].
  2. Может ли желание быть связано с ужасом? Наконец, мы отмечаем, что стимулы могут также постигать удивительные основы мезокортиколимбических механизмов со страхом [56,57 •,58,59]. Например, взаимодействия допамина и глутамата в цепях ядра аксумнов генерируют не только желание, но и страх, организованный анатомически как аффективную клавиатуру, в которой нарушение последовательно локализованных ключей генерирует инкрементные смеси аппетитных и страшных поведений [57 •]. Кроме того, некоторые локальные «ключи» в ядре accumbens могут быть перевернуты от генерирования одной мотивации к противоположной, психологически меняющейся внешней эмоциональной атмосферой (например, переход от комфортной домашней среды к стрессовой, ярко освещенной и наполненной хриплым рок-музыкой) [56].
    Такие недавние результаты указывают на то, что нейрохимические специализации или анатомические локализации «симпатичных» или «желающих» функций, описанные выше, могут не обязательно отражать постоянно выделенные механизмы «помеченной линии», где «один субстрат = одна функция». Скорее они могут отражать специализированные аффективные способности (например, гедонистические горячие точки) или предубеждения из-за мотивирующей валентности (например, клавиатура желания-страха) их конкретных нейробиологических субстратов. Некоторые из этих субстратов могут иметь несколько функциональных режимов в зависимости от других одновременных факторов, так что они могут переключаться между генерирующими функциями так же противоположно, как желание против страха.

Нейробиологические субстраты для "желающих"

Сравнивая нейробиологию «желания» и «удовольствия», мы отмечаем, что мозговые субстраты для «желания» более широко распространены и легче активируются, чем субстраты для «удовольствия» [ 38 , 53 , 60 , 61• , 62–65 ]. Нейрохимические механизмы «желания» более многочисленны и разнообразны как в нейрохимической, так и в нейроанатомической областях, что , возможно , лежит в основе феномена «желания» вознаграждения без одинакового «удовольствия» от этого вознаграждения. В дополнение к опиоидным системам, дофамин и его взаимодействие с кортиколибическим глутаматом и другими нейрохимическими системами активируют мотивационное «желание». Фармакологические манипуляции некоторыми из этих систем могут легко изменить «желание», не изменяя «удовольствие». Например, подавление эндогенной дофаминовой нейротрансмиссии уменьшает «желание», но не «удовольствие» [ 38 , 64 ].

Напротив, усиление «желания» без «приязни» было достигнуто путем активации дофаминовых систем амфетамином или аналогичными препаратами, активирующими катехоламины, вводимыми системно или микроинъецированными непосредственно в прилежащее ядро, или путем генетической мутации, повышающей внеклеточный уровень дофамина (путем подавления дофаминовых транспортеров в синапсе) в мезокортикально-лимбических цепях, а также путем почти постоянной сенсибилизации мезокортикально-лимбических дофаминовых систем при многократном введении высоких доз вызывающих зависимость препаратов ( Рисунок 3 – Рисунок 5 ) [ 39• , 40• , 61• , 66 ]. Мы предположили, что у восприимчивых людей нейронная сенсибилизация мотивационной значимости наркотических веществ может вызывать компульсивное «желание» принимать больше наркотиков, независимо от того, нравятся ли эти же наркотики им соответственно, и таким образом способствовать развитию зависимости [ 39• , 40• , 42 ] ( Рисунок 5 ).

Рисунок 5

Модель стимулирующей сенсибилизации наркомании. Схематическая модель того, как «желание» принимать наркотики может со временем расти, независимо от «симпатии» к лекарственному удовольствию, поскольку человек становится наркоманом. Переход от случайного наркотика ...

Препарирование обучения от «желающих»: прогностические и стимулирующие свойства связанных с наградами реплик

После того как сигналы, связанные с вознаграждением, усвоены, эти сигналы предсказывают связанные с ними вознаграждения и, кроме того, вызывают мотивационное «желание» получить эти вознаграждения. Являются ли предсказание и «желание» одним и тем же? Или они включают разные механизмы? Мы считаем, что усвоенное предсказание и мотивационная значимость могут быть разделены, так же как и «нравится» и «желание» [ 37 , 38 , 39• , 41 , 46 , 61• ]. Разделение психологических функций и их нейробиологических субстратов важно для экспериментальных моделей обучения и мотивации, связанных с вознаграждением, и имеет значение для патологий, включая зависимость. Мы кратко опишем три линии доказательств из наших лабораторий, которые предполагают, что предсказательные и мотивационные свойства сигналов, связанных с вознаграждением, могут быть разделены.

Первый пример взят из экспериментов, демонстрирующих, что условные стимулы могут вызывать приближение — то есть они действуют как «мотивационный магнит», притягивая к себе индивида. Многие эксперименты показали, что когда сигнал или «знак» (УС), например, введение рычага через стену, сочетается с предъявлением вознаграждающего безусловного стимула (БС), такого как еда, животные, как правило, приближаются и взаимодействуют со сигналом [ 43 , 44• ]. Ключ к разграничению предсказания и мотивации частично заключается в природе условного рефлекса (УР) индивида [ 43 ].

Некоторые крысы будут приближаться к рычагу все быстрее и быстрее при каждом предъявлении и начнут активно взаимодействовать с ним, обнюхивая, покусывая и даже кусая его — как будто пытаясь «съесть» рычаг ( Дополнительное видео 1 ) [ 45 ]. К стимулу, предсказывающему вознаграждение в виде кокаина, также приближаются и взаимодействуют с ним, демонстрируя свой собственный паттерн возбужденного обнюхивания [ 44• ], что может объяснить способность связанных с наркотиками стимулов становиться дезадаптивными, привлекая к ним наркоманов. Такие условные реакции, направленные на сам условный стимул, называются «отслеживанием сигнала».

Однако не у всех крыс развивается условная реакция, связанная с отслеживанием сигнала. Даже в одной и той же экспериментальной ситуации у некоторых крыс развивается другая условная реакция — они учатся приближаться к «цели» (лоток с едой), а не к рычагу, когда предъявляется условный стимул, связанный с рычагом. Эта условная реакция называется «отслеживанием цели». Таким образом, с опытом крысы, отслеживающие цель, начинают приближаться к ней все быстрее и быстрее при каждом предъявлении условного стимула, связанного с рычагом, и начинают активно взаимодействовать с лотком с едой, покусывая и даже грызя его [ 43 , 44• , 45 ]. Для всех крыс условный стимул (введение рычага) имеет одинаковое предсказательное значение: он запускает как условные реакции, связанные с отслеживанием сигнала, так и условные реакции, связанные с отслеживанием цели.

Единственное различие заключается в том, куда направлена ​​условная реакция. Это предполагает, что у тех, кто следит за жестами, рычаг-условный стимул приобретает мотивационную значимость, потому что для них он привлекателен, и это подтверждается наблюдениями, что те, кто следит за жестами, также учатся выполнять новую реакцию, чтобы получить условный стимул (т.е. инструментальное условное подкрепление) [ 46 ]. У тех, кто следит за целью, условный стимул предсказывает наличие пищи и приводит к развитию условной реакции, но сам условный стимул, по-видимому, не приобретает мотивационной значимости таким образом (вместо этого, если что-то и происходит, то цель — это «желание») [ 43 , 46 ]. Такие результаты согласуются с нашим предположением, что предсказывающая вознаграждение или ассоциативная ценность усвоенного условного стимула может быть отделена от его мотивационной ценности в зависимости от того, приобретает ли он активно мотивационную значимость [ 46 ].

Вторая линия доказательств, позволяющая отделить предсказание от мотивационной значимости, получена в результате исследований нейронных кодов «желания», особенно после активации мозга, связанной с дофамином (с помощью амфетамина или предварительной сенсибилизации). Повышение уровня дофамина, по-видимому, специфически усиливает лимбическую нейронную активность в ответ на сигналы, кодирующие максимальную мотивационную значимость ( Рисунок 6 ) [ 61• ]. Напротив, активация дофамина не усиливала нейронные сигналы, кодирующие максимальное предсказание [ 61• ].

Рисунок 6

Разделение ценности стимула CS (желая) от предсказательной ценности CS (обучения) посредством мезолимбической активации (вызванной сенсибилизацией или острого введения амфетамина). Этот профильный анализ моделей обжига нейронов в брюшном паллидеме показывает сдвиги ...

Третий ряд доказательств основан на динамическом изменении «желания» условного стимула при сохранении постоянным его усвоенного предсказания. Например, стимул, предсказывающий сильную соленость, обычно «нежелателен», но может быть изменен на «желаемый» стимул при возникновении физиологического аппетита к соли. Для такого изменения мотивации не требуется никакого нового обучения, а следовательно, и изменения усвоенных предсказаний. Кроме того, необычное состояние аппетита никогда не должно было быть пережито ранее, и условный стимул не обязательно должен был быть связан с «приятным» вкусом. Тем не менее, ранее негативный условный стимул внезапно становится «желательным» в новом состоянии и способен вызывать паттерны активности нейронов, типичные для мотивационной значимости. Уже в первых испытаниях в состоянии аппетита к соли условный стимул внезапно вызывает сигналы нейронной активности, кодирующие положительное «желание», еще до того, как безусловный стимул соли был опробован как «приятный» [ 67 ]. Подобные наблюдения указывают на то, что прогностическая ценность сигнала отличается от его способности вызывать «желание», поскольку последняя требует задействования дополнительных нейронных систем для формирования мотивационной значимости и приписывания «желания» мотивационной цели.

Дополнительные исследования потребуются для определения того, как «желание» против обучения и прогнозирования анализируется в мозге. Тем не менее, имеющиеся данные свидетельствуют о том, что эти компоненты имеют четкую психологическую идентичность и различимые нейронные субстраты.

Заключение

Аффективные исследования нейробиологии «симпатии», «желания» и обучения компонентам вознаграждений показали, что эти психологические процессы в значительной степени сопоставляются с различными нейроанатомическими и нейрохимическими системами вознаграждения мозга. Это понимание может привести к лучшему пониманию того, как мозговые системы генерируют нормальную награду, а также в клинических дисфункциях мотивации и настроения. Такие применения включают, в частности, в том, как сенсибилизация мезолимбических систем может вызвать навязчивое стремление к вознаграждениям при наркомании и связанных с ними мотивационных расстройствах, в частности, искажая «желание» получить вознаграждение.

Дополнительный материал

Видео о гедоническом вкусе

Благодарности

Исследование авторов было поддержано грантами Национального института борьбы со злоупотреблением наркотиками и Национального института психического здоровья (США).

Приложение A. Дополнительные данные

Дополнительные данные, относящиеся к данной статье, можно найти в онлайн-версии по адресу doi:10.1016/j.coph. 2008.12.014.

Ссылки и рекомендуемое чтение

Бумаги, представляющие особый интерес, опубликованные в период обзора, были

• Особый интерес

• непогашенная заинтересованность

1. Schooler JW, Mauss IB. Быть счастливым и знать это: опыт и мета-осознание удовольствия. В кн .: Крингельбах М.Л., Берридж К.С., редакция. Удовольствия Мозга. Оксфордский университет; в прессе.
2. Winkielman P, Berridge KC, Wilbarger JL. Бессознательные аффективные реакции на замаскированные счастливые и злые лица влияют на потребительское поведение и ценностные суждения. Pers Soc Psychol Bull. 2005;31: 121-135. [PubMed]
3. Фишман М.В., Фольтин Р.В. Самостоятельное введение кокаина людьми: лабораторная перспектива. В: Bock GR, Whelan J, редакторы. Кокаин: научные и социальные аспекты. Симпозиум Фонда CIBA; Wiley; 1992. С. 165–180.
4. Крингельбах М.Л. Человеческая орбитофронтальная кору: связывает награду с гедонистическим опытом. Nat Rev Neurosci. 2005;6: 691-702. [PubMed]Явно и кратко описывает роль роли орбитофронтальной коры в удовольствии у людей.
5. Лекнес С., Трейси И. Общая нейробиология боли и удовольствия. Nat Rev Neurosci. 2008;9: 314-320. [PubMed]
6. Уилер Р.А., Карелли Р.М. Нейробиология удовольствия: фокусируйтесь на вентральном бледном обстреле, кодирует гедоническое вознаграждение: когда плохой вкус становится хорошим. J Neurophysiol. 2006;96: 2175-2176. [PubMed]
7. Tindell AJ, Smith KS, Pecina S, Berridge KC, Aldridge JW Ventral pallidum firing codes hedonic award: когда плохой вкус становится хорошим. J Neurophysiol. 2006;96: 2399-2409. [PubMed]Это исследование свидетельствует о том, что нейронное кодирование «симпатии» является объективной составляющей вознаграждения удовольствия за счет моделей нейронных обстрелов в брюшном паллидуме на вкусах сахарозы и соли.
8. Кнутсон Б., Виммер Г.Е., Кунен С.М., Винкельман П. Активация Nucleus accumbens опосредует влияние сигналов вознаграждения на принятие финансового риска. Neuroreport. 2008;19: 509-513. [PubMed]
9. Beaver JD, Lawrence AD, van Ditzhuijzen J, Davis MH, Woods A, Calder AJ Индивидуальные различия в награждении приводят к прогнозированию нервных откликов на изображения пищи. J Neurosci. 2006;26: 5160-5166. [PubMed]Демонстрирует, что схемы стимулирования активируются рецептами питания в людях способами, связанными с личностным признаком (BAS), которые могут быть связаны с поиском сенсаций.
10. Pessiglione M, Schmidt L, Draganski B, Kalisch R, Lau H, Dolan R, Frith C Как мозг переводит деньги в силу: исследование нейровизуализации подсознательной мотивации. Наука. 2007;316: 904-906. [PubMed]Демонстрирует в людях, что схемы стимулов мозга, включающие вентральный паллидум, активируются даже неявными стимулами вознаграждения, которые остаются ниже сознательного осознания и способны усилить мотивированное действие за вознаграждение.
11. Чилдресс А.Р., Эрман Р.Н., Ван З., Ли Й., Шортино Н., Хакун Дж., Йенс В., Су Дж., Листеруд Дж., Маркес К. и др. Прелюдия к страсти: лимбическая активация «невидимым» наркотиком и сексуальные реплики. PLoS ONE. 2008;3: e1506. [Бесплатная статья PMC] [PubMed]
12. Small DM, Veldhuizen MG, Felsted J, Mak YE, McGlone F. Отделимые субстраты для упреждающей и непревзойденной пищевой химиосенсации. Neuron. 2008;57: 786-797. [Бесплатная статья PMC] [PubMed]
13. Тоблер П., О'Доэрти Дж. П., Долан Р. Дж., Шульц В. Кодирование стоимости вознаграждения, отличное от кодирования неопределенности, связанной с отношением к риску, в системах вознаграждения людей. J Neurophysiol. 2007;97: 1621-1632. [Бесплатная статья PMC] [PubMed]
14. Peciña S, Berridge KC Гедоническое горячее пятно в оболочке окунающей оболочки: где му-опиоиды вызывают повышенное гедоническое воздействие сладости? J Neurosci. 2005;25: 11777-11786. [PubMed]Идентифицирует куби-миллиметровую «гедоническую точку» в оболочке ядра, где сигналы мюпиоидов вызывают усиление «симпатии» для чувственного удовольствия сладкого вкуса. Это исследование также показало первое доказательство анатомического отделения причинно-следственной связи опиоидов от чистых «желающих» и зон холодных зон за пределами «горячей точки».
15. Peciña S, Smith KS, Berridge KC. Гедонические горячие точки в мозге. Невролог. 2006;12: 500-511. [PubMed]
16. Малер С.В., Смит К.С., Берридж К.С. Эндоканнабиноидная гедонистическая точка для сенсорного удовольствия: анандамид в прилежащей оболочке ядра усиливает «симпатию» сладкой награды. Neuropsychopharmacology. 2007;32: 2267-2278. [PubMed]
17. Smith KS, Berridge KC. Вентральный паллидум и гедоническое вознаграждение: нейрохимические карты сахарозы «симпатия» и потребление пищи. J Neurosci. 2005;25: 8637-8649. [PubMed]Это исследование показало, что вентральный паллидум содержит куби-миллиметровую «гедоническую точку» в брюшном паллидуме для опиоидной амплификации «симпатий» к сладости, локализованной в ее задней зоне.
18. Берридж К.С., Крингельбах М.Л. Аффективная неврология удовольствия: награда у людей и животных. Психофармакология (Berl) 2008;199: 457-480. [Бесплатная статья PMC] [PubMed]
19. Печина С. Опиоидная награда «симпатия» и «хотение» в прилежащем ядре. Physiol Behav. 2008;94: 675-680. [PubMed]
20. Крингельбах М.Л. Гедонистический мозг: функциональная нейроанатомия человеческого удовольствия. В кн .: Крингельбах М.Л., Берридж К.С., редакция. Удовольствия Мозга. Оксфордский университет; в прессе.
21. Смит К.С., Тинделл А.Дж., Олдридж Дж.В., Берридж К.С. Роли вентрального паллидума в вознаграждении и мотивации. Behav Brain Res. 2009;196: 155-167. [Бесплатная статья PMC] [PubMed]
22. Икемото С. Схема вознаграждения допамина: две проекционные системы от вентрального среднего мозга до комплекса прилежащего ядра - обонятельного бугорка. Brain Res Откр. 2007;56: 27-78. [Бесплатная статья PMC] [PubMed]
23. Штейнер Дж., Глейзер Д., Хавило М.Е., Берридж К.С. Сравнительное выражение гедонистического воздействия: аффективные реакции на вкус у детей и других приматов. Neurosci Biobehav Rev. 2001;25: 53-74. [PubMed]
24. Гриль HJ, Норгрен Р. Тест на реактивность вкуса. II. Миметические реакции на вкусовые раздражители у хронических таламических и хронических децеребральных крыс. Brain Res. 1978;143: 281-297. [PubMed]
25. Джарретт М.М., Лимебер К.Л., Паркер Л.А. Влияние дельта9-тетрагидроканнабинола на вкусовые качества сахарозы, измеренные тестом на вкусовую реактивность. Physiol Behav. 2005;86: 475-479. [PubMed]
26. Zheng H., Berthoud HR. Еда для удовольствия или калорий. Curr Opin Pharmacol. 2007;7: 607-612. [Бесплатная статья PMC] [PubMed]
27. Смит К.С., Малер С.В., Печина С., Берридж К.С. Гедонические горячие точки: генерация сенсорного удовольствия в мозге. В кн .: Крингельбах М, Берридж К.С., редакция. Удовольствия Мозга. Оксфордский университет; в прессе.
28. Смит К.С., Берридж К.С. Опиоидная лимбическая цепь за вознаграждение: взаимодействие между гедоническими горячими точками прилежащего ядра и вентральным паллидумом. J Neurosci. 2007;27: 1594-1605. [PubMed]
29. Солинас М., Гольдберг С.Р., Пиомелли Д. Эндоканнабиноидная система в процессах вознаграждения головного мозга. Br J Pharmacol. 2008;154: 369-383. [Бесплатная статья PMC] [PubMed]
30. Киркхам Т. Эндоканнабиноиды и нейрохимия чревоугодия. J Neuroendocrinol. 2008;20: 1099-1100. [PubMed]
31. Шимура Т., Имаока Х., Ямамото Т. Нейрохимическая модуляция пищеварительного поведения в вентральном паллидуме. Eur J Neurosci. 2006;23: 1596-1604. [PubMed]
32. Олдридж Дж. В., Берридж К.С. Нейронное кодирование удовольствия: «розовые очки» брюшного паллидума. В кн .: Крингельбах М.Л., Берридж К.С., редакция. Удовольствия Мозга. Оксфордский университет; в прессе.
33. Ричардсон Д.К., Рейнольдс С.М., Купер С.Дж., Берридж К.С. Эндогенные опиоиды необходимы для улучшения вкусовых качеств бензодиазепина: налтрексон блокирует вызванное диазепамом увеличение «сахарозоподобного» вкуса Pharmacol Biochem Behav. 2005;81: 657-663. [PubMed]
34. Дикинсон А., Баллин Б. Гедоника: когнитивно-мотивационный интерфейс. В кн .: Крингельбах М.Л., Берридж К.С., редакция. Удовольствия Мозга. Оксфордский университет; в прессе.
35. Берридж КЦ. Награда обучения: подкрепление, стимулы и ожидания. В кн .: Медин Д.Л., редактор. Психология обучения и мотивации. том 40. Академическая пресса; 2001. pp. 223-278.
36. Доу Н.Д., Нив Й., Даян П. Основанная на неопределенности конкуренция между префронтальной и дорсолатеральной стриальными системами за поведенческий контроль. Nat Neurosci. 2005;8: 1704-1711. [PubMed]
37. Даян П., Баллин Б.В. Награда, мотивация и подкрепление обучения. Neuron. 2002;36: 285-298. [PubMed]
38. Берридж КЦ. Дискуссия о роли дофамина в вознаграждении: аргумент в пользу стимула. Психофармакология (Berl) 2007;191: 391-431. [PubMed]
39. Робинсон Т.Э., Берридж К. К. Теория стимулирующей сенсибилизации наркомании: некоторые текущие проблемы. Philos Trans R Soc Lond B Biol Sci. 2008;363: 3137-3146. [PubMed]Последнее обновление доказательств относительно теории, что наркомания частично вызвана сенсибилизацией наркотиков нервных субстратов для «желающих».
40. Робинсон Т.Э., Берридж К. К. Наркомания. Annu Rev Psychol. 2003;54: 25-53. [PubMed]Сравнивает мысль о том, что зависимость вызвана стимулирующей сенсибилизацией, с гипотезой об обучении или привычке, а также с гипотезами о склонности к отторжению или гедонистической гипотезе.
41. Berridge KC, Aldridge JW. Принятие решения, мозг и преследование гедонистических целей. Soc Cognition. 2008;26: 621-646.
42. Робинсон Т.Э., Берридж К. К.. Нейронная основа тяги к наркотикам: теория склонности к сенсибилизации. Brain Res Откр. 1993;18: 247-291. [PubMed]
43. Flagel SB, Akil H, Robinson TE. Индивидуальные различия в атрибуции стимулов к рекомендациям, связанным с вознаграждением: последствия для зависимости. Нейрофармакология. 2009;56: 139-148. [Бесплатная статья PMC] [PubMed]
44. Uslaner JM, Acerbo MJ, Jones SA, Robinson TE. Присвоение стимула значимости стимулу, который сигнализирует о внутривенном введении кокаина. Behav Brain Res. 2006;169: 320-324. [PubMed]Демонстрирует впервые в животной модели, что сигналы для таких лекарств, как кокаин, обладают свойствами «мотивационного магнита», так что сигналы вызывают подход и возбуждают исследование в парадигме автомоделирования.
45. Малер С., Берридж К. Амигдала, механизмы стимулирующей значимости. Общество неврологических тезисов. 2007
46. ​​Робинсон Т.Е., Флагель С.Б. Разделение прогнозирующих и стимулирующих мотивационных свойств сигналов, связанных с вознаграждением, путем изучения индивидуальных различий. Biol психиатрии. 2008 doi: 10.1016 / j.biopsych.2008.09.006.
47. Уивелл К.Л., Берридж К.С. Интра-прилежащий амфетамин увеличивает обусловленный стимул значимость вознаграждения сахарозой: увеличение вознаграждения «хотеть» без усиления «симпатии» или усиления реакции. J Neurosci. 2000;20: 8122-8130. [PubMed]
48. Голландия ПК. Отношения между Павловско-инструментальным переводом и усилителем девальвации. J Exp Psychol-Anim Behav Process. 2004;30: 104-117. [PubMed]
49. Эванс А.Х., Павезе Н., Лоуренс А.Д., Тай Й.Ф., Аппель С., Додер М., Брукс Д.Д., Лис А.Дж., Пиччини П. Принудительное употребление наркотиков, связанное с сенсибилизированной передачей вентрального стриального дофамина. Энн Нейрол. 2006;59: 852-858. [PubMed]
50. Кауш О. Модели злоупотребления психоактивными веществами среди патологических игроков, обращающихся за лечением. J Злоупотребление наркотиками. 2003;25: 263-270. [PubMed]
51. Шенк С., Партридж Б. Влияние условного светового стимула на самоуправление кокаином у крыс. Психофармакология (Berl) 2001;154: 390-396. [PubMed]
52. Олдридж Дж. У., Берридж К.С., Герман М., Циммер Л. Нейрональное кодирование серийного порядка: синтаксис груминга в неостриатуме. Psychol Sci. 1993;4: 391-395.
53. Волков Н.Д., Ван Г.Дж., Теланг Ф., Фаулер Дж.С., Логан Дж., Чилдресс А.Р., Джейн М., Ма Я., Вонг С. Кокаиновые сигналы и допамин в дорсальном полосатом теле: механизм тяги при кокаиновой зависимости. J Neurosci. 2006;26: 6583-6588. [PubMed]
54. Everitt BJ, Belin D, Economidou D, Pelloux Y, Dalley JW, Robbins TW Нейронные механизмы, лежащие в основе уязвимости для развития компульсивных привычек наркозависимости и зависимости. Philos Trans R Soc Lond B Biol Sci. 2008;363: 3125-3135. [PubMed]Проницательно представляет мнение в пользу идеи о том, что зависимость возникает из-за преувеличенных привычек СР из-за искажения учебного компонента вознаграждения.
55. Хабер С.Н., Фадж Дж., Макфарланд Н.Р. Стриатонигростриатальные пути у приматов образуют восходящую спираль от раковины к дорсолатеральному стриатуму. J Neurosci. 2000;20: 2369-2382. [PubMed]
56. Рейнольдс С.М., Берридж К.С. Эмоциональная среда восстанавливает валентность аппетитных и страшных функций в прилежащем ядре. Nat Neurosci. 2008;11: 423-425. [Бесплатная статья PMC] [PubMed]
57. Faure A, Reynolds SM, Richard JM, Berridge KC Мезолимбический допамин в желании и страхе: создание мотивации для генерации локализованных переломов глутамата в ядре accumbens. J Neurosci. 2008;28: 7184-7192. [PubMed]Этот эксперимент впервые демонстрирует, что допамин генерирует как положительную мотивацию стимула, так и мотивацию отрицательного страха путем взаимодействия с кортиколимбическими сигналами глутамата в анатомически специфической форме в ядре accumbens.
58. Левита Л, Далли Дж., Роббинс Т.В. Nucleus accumbens дофамин и вновь изученный страх: обзор и некоторые новые результаты. Behav Brain Res. 2002;137: 115-127. [PubMed]
59. Капур С. Как антипсихотики становятся антипсихотиками - от дофамина до выраженности психоза. Trends Pharmacol Sci. 2004;25: 402-406. [PubMed]
60. Арагона Б.Дж., Карелли Р.М. Динамическая нейропластичность и автоматизация мотивированного поведения. Изучите Mem. 2006;13: 558-559. [PubMed]
61. Tindell AJ, Berridge KC, Zhang J, Peciña S, Aldridge JW Вентральный стимулятор стимуляции паллидальных нейронов: усиление мезолимбической сенсибилизацией и амфетамином. Eur J Neurosci. 2005;22: 2617-2634. [PubMed]Первая демонстрация нейронного кодирования, что допамин и сенсибилизация усиливают «желательные» сигналы, независимо от «симпатии» или обучения компонентов вознаграждения.
62. Смит К.С., Берридж К.С., Олдридж Дж.В. Брюшные паллидные нейроны различают «симпатичные» и «желательные» высоты, вызываемые опиоидами, по сравнению с дофамином в прилежащем ядре. В тесте «Общество нейробиологии». 2007
63. Abler B, Erk S, Walter H. Активация системы вознаграждения человека модулируется однократной дозой оланзапина у здоровых людей в двойном слепом плацебо-контролируемом исследовании МРТ, связанном с событием. Психофармакология (Berl) 2007;191: 823-833. [PubMed]
64. Лейтон М. Нейробиология желания: дофамин и регуляция настроения и мотивационных состояний у человека. В кн .: Крингельбах М.Л., Берридж К.С., редакция. Удовольствия Мозга. Оксфордский университет; в прессе.
65. Salamone JD, Correa M, Mingote SM, Weber SM. Помимо гипотезы награды: альтернативные функции ядра accumbens дофамин. Curr Opin Pharmacol. 2005;5: 34-41. [PubMed]
66. Peciña S, Cagniard B, Berridge KC, Aldridge JW, Zhuang X. У мышей с гипердопаминергическими мутантами больше «желающих», но не «симпатий» к сладким наградам. J Neurosci. 2003;23: 9395-9402. [PubMed]
67. Тинделл А.Дж., Смит К.С., Берридж К.С., Олдридж Дж.В. Брюшные паллидные нейроны объединяют обучающие и физиологические сигналы, чтобы кодировать стимулирующий характер условных сигналов; Конференция общества нейронаук; 12 ноября 2005 г .; Вашингтон. 2005.