Предсказуемость модулирует реакцию человеческого мозга на вознаграждение (2001)

РЕЗУЛЬТАТЫ

После сканирования были опрошены субъекты по поводу их предпочтения для двух стимулов. Восемнадцать субъектов 25 (72%) предпочитают сок, а остальные предпочитают воду. У большинства испытуемых было особое предпочтение одному или другому, хотя мы не просили их количественно оценить это. Несмотря на то, что во время сканирования наблюдалось значительное движение головы, все переводы и вращения вокруг каждого стимула были обычно небольшими и не отличались друг от друга ни в одном из условий. Например, средний сдвиг ± SD, связанный с каждым стимулом, был 0.041 ± 0.069 мм в предсказуемом состоянии и 0.044 ± 0.069 мм в непредсказуемом состоянии (в паре t тестовое задание;p = 0.853).

Реакция головного мозга на предпочтительную жидкость показала удивительно небольшую дифференциальную активность относительно неподтвержденной жидкости (таблица1). Мы не наблюдали значительных различий в активности в классических областях вознаграждения, таких как прилежащее ядро, гиппокамп или медиальная префронтальная кора. Первичное изменение активности для предпочтительных> нежелательных произошло в соматосенсорной коре в области около рта и языка (t = 4.19, MNI-координаты, -60, -12, 16).

Основной эффект предсказуемости был существенно больше основного эффекта предпочтения (рис. 3). Для непредсказуемого пробега относительно предсказуемого пробега двусторонняя активация наблюдалась на большом пространстве медиальной орбитофронтальной коры, которая включала ядро ​​accumbens (Таблица 1). Дополнительные области активации включали большую площадь теменной коры двухсторонней и парацентральной и малой фокальной активации как в левом медиоральном ядре таламуса, так и в правом мозжечке. Поскольку ни один из этих регионов не перекрывал основной эффект предпочтения, они были максимально активированы непредсказуемыми стимулами, независимо от предпочтений. Для предсказуемого пробега относительно непредсказуемого пробега была активирована область правой верхней височной извилины, а также фокальные активации в левой предцентральной извилине и правой боковой орбитофронтальной коре.

  

Просмотреть увеличенную версию:  

• На этой странице
• В новом окне

• Скачать как слайд PowerPoint

Рис. 3.  

Основной эффект предсказуемости показал, что районы, связанные с наградами, имели более высокий ответ BOLD на непредсказуемые стимулы. A, Planes с центром в (0, 4, -4) показывают, что двустороннее ядро ​​accumbens / вентральный стриатум (НАК) и двусторонняя верхняя теменная кора более активны в предсказуемом состоянии. B, Небольшая область в правой верхней височной извилине была относительно более активирована предсказуемыми стимулами. Значение было пороговымp <0.001 и степень> 10 смежных вокселов.

Взаимодействие между предпочтением и предсказуемостью выявило области, в которых один эффект модулировал другой независимо от обоих основных эффектов. Правая изоляция, левый задний зубец и правый мозжечок показали значительное взаимодействие для контраста (предпочтительное - неподтвержденное) × (предсказуемое-непредсказуемое). Противоположный контраст (предпочтительный-неподтвержденный) × (непредсказуемо-предсказуемый) не выявил никаких активаций, значимых на p <0.001 уровень; однако небольшая область в левой верхней височной извилине (координаты MNI, -48, -4, -16) была значимой на p <0.01 уровень (t = 3.15).

Компьютерное моделирование предполагало, что непредсказуемые вознаграждения должны вызывать большее количество допамина, чем предсказуемые (рис.2 B). Когда вознаграждения предсказуемы, каждый стимул прекрасно предсказывает последующий, и сигнал ошибки, который предположительно опосредуется дофамином, постепенно уменьшается. Когда вознаграждения непредсказуемы, у системы нет возможности учиться, а ответ на каждый стимул больше.

ОБСУЖДЕНИЕ

Наши результаты продемонстрировали интересное разделение ответа мозга на предсказуемость и субъективные сообщения о предпочтениях. Реакция мозга на предпочтение была исключительно кортикальной, но ответ на предсказуемость показал определенную активацию систем вознаграждения, также известных как цель дофаминергических нейронов среднего мозга. Если мы исходим из того, что активация этих областей вознаграждения является приятной для людей, то этот вывод предполагает, что субъективный отчет о предпочтении может быть отделен от нейронных цепей, известных как мощные детерминанты условного поведения.

Как вода, так и фруктовый сок вызывали значительные активизации во всем мозге, и хотя некоторые из этих ответов были связаны с двигательными аспектами задачи, конкретные подмножества этих регионов были разложены на размеры предпочтений и предсказуемости. Эффект предпочтения ограничивался корковыми областями, связанными с сенсорной обработкой, и предпочтительный стимул приводил к большей активации в этих областях. Эти области лежат вблизи сенсомоторной коры, которая, как известно, активируется во время движения языка (Corfield и др., 1999) и глотания (Hamdy et al., 1999). В предыдущей работе, посвященной реакции мозга на движение языка, наблюдалась существенная активация мозжечка, что было заметно отсутствовало в основном эффекте предпочтения. Дифференциальный ответ головного мозга, т. Е. Предпочтительный-непредоставленный, удаляет общие области активации; поэтому отсутствие активации мозжечка указывает на то, что дифференциальные движения языка вряд ли будут причиной картины активации коры для субъективного предпочтения. Тот факт, что соматосенсорная область коррелирует с указанным предпочтением, наводит на мысль о том, что для двух стимулов произошла некоторая дифференциальная нейронная обработка. Удивительно, что это проявилось в области первичной сенсорной обработки, а не в классических областях награды. Хотя субъекты были вынуждены назначать одно вещество по сравнению с другим в качестве предпочтения, обе жидкости были выбраны специально для того, чтобы быть приятными, в отличие от того, что один из них был отвратительным. Поскольку обе жидкости были в целом приятными, эффект предпочтения, возможно, не был достаточно сильным, чтобы привести к значительной разнице в активности в регионах вознаграждения. Это было бы согласуется с выводами о том, что нейроны дофамина среднего мозга предпочтительно активируются аппетитными, а не аверсивными раздражителями (Миренович и Шульц, 1996). Тем не менее, наши находки предполагают системную дифференциацию субъективных предпочтений от простой награды, которая поддерживает предыдущие гипотезы о том, что «желание» - это не то же самое, что «нравится» (Робинсон и Берридж, 1993).

В отличие от эффекта предпочтения, непредсказуемость коррелировала как существенный основной эффект с активностью в ядре accumbens, таламусе и медиальной орбитофронтальной коре, тогда как предсказуемость была соотнесена преимущественно с активностью в правой верхней височной извилине. Бывшие регионы тесно связаны с известными участками проекции допамина (Koob, 1992; Cooper et al., 1996). Было несколько удивительно, что непредсказуемость, а не предпочтение, коррелировала с деятельностью в этих областях вознаграждения. Если бы повышенная активность в этих регионах была связана с удовольствием, то можно было бы сделать вывод, что непредсказуемые награды были более приятными, чем предсказуемые. Однако большинство испытуемых не различало различий между предсказуемыми и непредсказуемыми условиями. Если непредсказуемые награды были более приятными, чем предсказуемые, или наоборот, то это должно происходить на подсознательном уровне. Альтернативное объяснение предполагает, что дофамин высвобождается в увеличенных количествах к неожиданным наградам (Montague et al., 1996; Schultz и др., 1997;Шульц, 1998). Допамин может снижать возбудимость нейронов (Cooper et al., 1996) и может также напрямую сжимать микроциркуляцию (Krimer и др., 1998), но повышенная активность accumbens также была связана с субъективным удовольствием кокаина (Breiter et al., 1997). Эти данные свидетельствуют о том, что наше наблюдаемое увеличение активации с непредсказуемостью может быть связано с увеличением выпуска дофамина либо из-за того, что accumbens проектируется в VTA, либо потому, что он получает прогноз от VTA, любой из которых будет соответствовать результатам модели. Эта интерпретация должна быть смягчена двумя важными фактами: (1), механизмы, которые соединяли бы увеличенную допаминергическую передачу с изменениями сигнала BOLD, неизвестны, и (2) у нас нет независимой меры дофаминергической передачи, только изменения в реакции BOLD. Возможность того, что мы наблюдаем косвенные изменения дофаминергической активности, является захватывающей, но не может быть однозначно определена в эксперименте ФМР. Однако это согласуется с предыдущими выводами с использованием позитронно-эмиссионной томографии, что дофамин высвобождается в брюшную полосатую ткань в условиях денежного стимулирования (Koepp и др., 1998). В сочетании с усиливающим эффектом непредсказуемости он также согласуется с гипотетическими эффектами допамина на «усиление» нейронов (Коэн и Серван-Шрайбер, 1992), в результате чего некоторые регионы будут увеличиваться, а другие уменьшатся.

Конкретные области, активированные относительно непредсказуемостью, соответствовали регионам мозга, связанным с аппетитными функциями. В дополнение к ядру accumbens медиальная орбитофронтальная кора показала основной эффект непредсказуемости. Этот регион был показан у приматов для интеграции как полезных, так и нейтральных аспектов вкусовых ощущений и, как полагают, отражает прежде всего мотивационные значения этих стимулов (Rolls, 2000). Этот регион также содержит нейроны, которые различают относительное предпочтение вознаграждения (Трембле и Шульц, 1999). Орбитофронтальную кору, как правило, трудно изобразить с помощью МРТ из-за артефакта восприимчивости из носовых пазух (Ojemann et al., 1997). Тем не менее, регион, который мы идентифицировали, обычно превосходит и каудально к обычному месту артефакта. Этот регион ранее считался чувствительным к приятным вкусам (Francis et al., 1999). Второй регион в верхней теменной доле, вероятно, не был связан с полезными аспектами задачи, а скорее результатом изменения внимания. Ранее этот регион был вовлечен в визуоскопическое внимание, особенно во время ожиданий (Nobre et al., 1999). Другой регион в левой височной коре показал непредсказуемость пограничной значительной модуляции. В недавних экспериментах FMRI левая височная доля была связана с обработкой предсказуемости последовательных стимулов (Bischoff-Grethe и др., 2000). Здесь мы распространим эти предыдущие выводы от нейтральных стимулов на приятные стимулы, предполагая, что эта область может выполнять общий мониторинг предсказуемости независимо от валидности стимула.

Группы мозга, которые мы идентифицировали как реагирующие на непредсказуемость как прямым, так и модулярным образом, были вовлечены в ряд экспериментов по финансовому вознаграждению. Деньги могут быть полезны людям, но они усиливаются только потому, что они приобрели эти свойства посредством сложного кондиционирования. Подобно обнаружению того, что кокаин воздействует на разные нейроны, чем естественные усилители (Carelli и др., 2000), возможно, что обусловленные усилители, такие как деньги, действуют на разные нейронные системы, чем естественные подкрепления, такие как еда и вода. Активность как в брюшном полосатом теле, так и в среднем мозге коррелировала с абсолютными уровнями финансового вознаграждения (Thut и др., 1997;Delgado et al., 2000; Elliott et al., 2000; Кнутсон и др., 2000), находка заметно отсутствует в наших результатах. Как отмечалось ранее, и сок, и вода были мягко приятными, и, возможно, не было существенной разницы в абсолютной награде, хотя мы предполагали небольшую разницу в теоретической модели. Кроме того, мы не использовали каких-либо отвратительных стимулов или чего-либо, что могло быть истолковано как отрицательная награда, что также может объяснить эту разницу. Интересно, что регионы, которые мы идентифицировали как непосредственно затронутые или усиленные непредсказуемостью, соответствовали регионам, которые ранее считались чувствительными к контекстной зависимости финансового вознаграждения (Роджерс и др., 1999; Elliott et al., 2000). В частности, как субгенный цингулярный, так и медиальный таламус были сопоставлены с непредсказуемостью в нашем исследовании и были признаны зависящими от контекста Elliott et al. (2000).

Поскольку предсказуемость модулировала эффект предпочтения, важно различать потенциальные источники прогнозирования. В классическом эксперименте по кондиционированию нейтральный стимул предшествует награде. После обучения ранее нейтральный стимул становится предиктором или условным раздражителем. Поскольку имеется сравнительно мало данных об использовании оральных стимулов в МРТ, мы решили упростить эксперимент и контроль за двигательными аспектами задачи, используя два разных оральных стимула, воду и фруктовый сок. Таким образом, источник предсказания в нашем эксперименте обязательно исходил из последовательности самих стимулов. В некотором смысле это проще, чем введение другой стимульной модальности, такой как визуальный сигнал, но поскольку оба стимула были полезными, мы не можем делать никаких выводов относительно процесса кондиционирования. И теоретическая модель (Schultz и др., 1997) и нейрофизиологические данные (Schultz и др., 1992, 1993) предполагают, что прогнозы вознаграждения вычисляются в течение интервала, предшествующего доставке вознаграждения. Поскольку мы не знаем временной масштаб, по которому рассчитываются такие прогнозы, мы решили проанализировать эксперимент как просто два условия, предсказуемые и непредсказуемые. Сохраняя психологически разумный интервал между стимулами 10 сек, было недостаточно времени для устранения различий в обработке промежуточного импульса. Предположительно, такая обработка действительно происходит, и это может быть разрешено с помощью другого проекта.

Таким образом, активность в регионах вознаграждения человека может быть модулирована временной предсказуемостью первичных вознаграждений, таких как вода и сок. Эти результаты обеспечивают важную поддержку вычислительных моделей, которые постулируют, что ошибки в предсказании вознаграждения могут влиять на синаптическую модификацию и распространять эти выводы от нечеловеческих приматов к людям. Региональная специфика этой модуляции также указывает на то, что информация, воплощенная относительной предсказуемостью потока стимула, может быть формой нейронной валюты, которая может быть обнаружена с помощью МРТ.