Нейробиологические основы прогнозирования вознаграждения и оценки результатов в азартных играх (2014)

• ¹Исследовательская клиника по азартным играм, Орхусская университетская больница Орхус, Дания; Центр функциональной интегративной нейронауки, Орхусский университет Орхус, Дания; Отдел по наркомании, Кембриджский альянс здравоохранения Кембридж, Массачусетс, США; Отделение психиатрии Гарвардской медицинской школы, Гарвардский университет Кембридж, Массачусетс, США.

Расстройство, связанное с азартными играми, характеризуется стойким и повторяющимся дезадаптивным игровым поведением, которое приводит к клинически значимым нарушениям или дистрессу. Расстройство связано с дисфункциями дофаминовой системы. Коды дофаминовой системы награждают ожидание и оценку результата. Ожидание вознаграждения относится к дофаминергической активации до вознаграждения, в то время как оценка результата относится к дофаминергической активации после вознаграждения. В этой статье рассматриваются доказательства дофаминергических дисфункций в ожидании вознаграждения и оценке результатов при игровом расстройстве с двух точек зрения: модель прогнозирования вознаграждения и ошибка прогнозирования вознаграждения Вольфрама Шульца и др. и модель «хотения» и «симпатии» Терри Э. Робинсона и Кента С. Берриджа. Обе модели предлагают важные сведения об исследовании дофаминергических дисфункций при зависимости, а также предполагаются их значения для изучения дофаминергических дисфункций при игровом расстройстве.

Ошибка прогнозирования вознаграждения и прогноза вознаграждения

Прогнозирование вознаграждения относится к ожиданию вознаграждения, в то время как ошибка прогноза вознаграждения относится к оценке результатов. Прогноз предсказания вознаграждения и ошибка прогноза вознаграждения связаны с изучением свойств вознаграждения стимулов. По словам Вольфрама Шульца (2006), предсказание вознаграждения и ошибка прогноза вознаграждения происходят от Камина правило блокировки (Kamin, 1969), что предполагает, что вознаграждение, которое полностью предсказано, не способствует обучению. Стимул, который может быть полностью предсказан, не содержит новой информации, поэтому коэффициент ошибки прогноза вознаграждения, следовательно, равен нулю. Рескола и Вагнер описали так называемые Правило обучения Rescola-Wagner (Рескола и Вагнер, 1972), в котором говорится, что обучение замедляется постепенно, поскольку усиление становится более предсказуемым.

В случайных условиях двоичного результата, например, вознаграждение против вознаграждения, Ожидаемое значение (EV) - среднее значение, которое можно ожидать от данного стимула, который является линейной функцией вероятности вознаграждения. По сравнению, неопределенность, который можно определить как дисперсию (σ²) распределения вероятности (Schultz et al., 2008), представляет собой среднее квадратическое отклонение от EV, которое является обратной U-образной функцией. Среднемозговое и полосатое допамин-кодирование EV и неопределенность следуют линейным и квадратичным функциям предсказания вознаграждения, аналогичным их математическим выражениям (Fiorillo et al., 2003; Preuschoff et al., 2006; Schultz, 2006). Система допамина также кодирует отклонения в результатах от прогноза вознаграждения, то есть ошибки прогноза вознаграждения: «... дофаминовые нейроны излучают положительный сигнал (активацию), когда аппетитное событие лучше прогнозируемого, без сигнала (без изменения активности), когда аппетитный событие происходит как предсказано, а отрицательный сигнал (пониженная активность), когда аппетитное событие хуже прогнозируемого ... [и] дофаминовые нейроны показывают двунаправленное кодирование ошибок прогноза вознаграждения, следуя уравнению Дофаминовый ответ = Награда - Награда предсказуема "(Шульц, 2006, с. 99-100).

Fiorillo et al. (2003) исследовали активацию допамина в предсказании вознаграждения и ошибки прогнозирования вознаграждения в отношении EV и неопределенности (т. е. дисперсии результата). В исследовании две обезьяны подвергались воздействию стимулов с различной вероятностью вознаграждения (P = 0, P = 0.25, P = 0.5, P = 0.75 и P = 1.0). Были зарегистрированы скорость упреждающего облизывания и активация дофаминовых нейронов в брюшном среднем мозге (область A8, A9 и A10). Допаминергическое кодирование прогноза вознаграждения измерялось как фазный сигнал сразу после представления стимула, в то время как кодирование ошибки прогноза вознаграждения измерялось как фазовый сигнал сразу после исхода стимула (вознаграждение или отсутствие вознаграждения). Дофаминергическое кодирование неопределенности измеряли как устойчивый сигнал от представления стимула к результату.

Авторы сообщили о трех основных результатах. Во-первых, вероятность вознаграждения стимулов коррелировала с догоняющей скоростью лизания и ожидаемым фазическим дофаминовым ответом. Это говорит о том, что вероятность вознаграждения усиливала дофаминергическую активацию и поведенческую реакцию. Во-вторых, устойчивый ответ дофамина на неопределенность следовал за свойствами дисперсии, т. Е. Был наибольшим по отношению к стимулам с вероятностью вознаграждения 50% (P = 0.5), меньше по отношению к стимулам с P = 0.75 и P = 0.25 и наименьший по отношению к стимулам с P = 1.0 и P = 0.0. В-третьих, вознагражденные стимулы с более низкой вероятностью вознаграждения имели более высокий фазовый ответ дофамина после вознаграждения, что предполагает более высокий положительный сигнал ошибки прогноза вознаграждения; вознагражденные стимулы с более высокой вероятностью вознаграждения имели меньшую фазическую реакцию дофамина после вознаграждения, что предполагает более низкий сигнал ошибки прогноза вознаграждения.

Нейробиологические исследования азартных игр у людей подтверждают доказательства предсказания вознаграждения и ошибки прогноза вознаграждения. Abler et al. (2006) использовали функциональную магнитно-резонансную томографию (fMRI) для исследования прогноза вознаграждения и ошибки прогнозирования вознаграждения в стимулирующей задаче, где участникам было показано пять цифр, связанных с различными вероятностями вознаграждения (P = 0.0, P = 0.25, P = 0.50, P = 0.75 и P = 1.0). Результаты показали значительную опережающую активацию уровня кислорода в крови (BOLD) в NAcc, которая была пропорциональна вероятности вознаграждения. Кроме того, было значительное взаимодействие между исходом и BOLD-активацией в NAcc, где активация BOLD была выше, когда стимулы с низкой вероятностью были вознаграждены, и ниже, когда стимулы высокой вероятности были вознаграждены.

Preuschoff et al. (2006) использовали задачу угадывания карты для исследования взаимосвязи между риском и неопределенностью в отношении ожидаемой награды. Задача состояла из карт 10 от 1 до 10, где последовательно рисовались две карты. Перед нанесением второй карты участники должны были угадать, будет ли первая карта выше или ниже второй. Результаты показали, что вероятность вознаграждения была линейно связана с немедленной активацией BOLD: более высокая вероятность вознаграждения была связана с более высоким немедленным ожидаемым сигналом BOLD, а более низкая вероятность вознаграждения была связана с более низким немедленным ожидаемым сигналом BOLD. Напротив, неопределенность показала обратное U-образное отношение с поздней активацией BOLD: самые высокие догоняющие сигналы BOLD наблюдались вокруг максимальной неопределенности (P = 0.5), а самые низкие досрочные сигналы BOLD были обнаружены с максимальной достоверностью (P = 1.0 и P = 0.0).

Нейробиологические исследования подтверждают понятие дофаминергических дисфункций ожидаемого вознаграждения в азартных играх. ван Холст и др. (2012) сравнивали пациентов с расстройством азартных игр 15 с здоровым контролем 16 в исследовании fMRI, исследуя ожидаемое вознаграждение в задаче угадывания карты. Страдающие от азартных игр показали значительное увеличение активации BOLD в двустороннем вентральном полосатом теле и в левой ортофронтальной коре в сторону усиления EV. Это предполагает увеличение активации BOLD в ожидании вознаграждения. Никаких различий в активации BOLD не было найдено для оценки результатов. Linnet et al. (2012) сравнивали пациентов с расстройством азартных игр 18 и здоровых контролей 16 в исследовании позитронной эмиссионной томографии (ПЭТ) с использованием задачи Айова по азартным играм (IGT). Выделение допамина в полосатом анамнезе страдающих расстройством азартных игр показало значительную перевернутую U-кривую с вероятностью выгодной эффективности IGT. Страдающие от азартных игр с максимальной неопределенностью результата (P = 0.5) имели более выраженное высвобождение допамина, чем индивиды с показателями IGT, близкие к определенным выигрышам (P = 1.0) или определенные потери (P = 0.0). Это согласуется с понятием дофаминергического кодирования неопределенности. Не было обнаружено взаимодействия между высвобождением дофамина и неопределенностью среди здоровых субъектов контроля, что могло бы предполагать более сильное усиление азартных игр среди страдающих азартными заболеваниями. Таким образом, в случае азартных игр дофаминергическое ожидание вознаграждения и неопределенности может представлять собой дисфункциональное ожидание вознаграждения, которое усиливает поведение азартных игр, несмотря на потери.

При оценке результатов данные свидетельствуют о притуплении ответа допамина у страдающих расстройством азартных игр. Reuter et al. (2005) по сравнению с 12 азартных игр страдают люди с 12 здоровых элементов управления в задание гадания карты. Страдающие от азартных игр продемонстрировали значительно более низкий ответ BOLD в брюшном полосатом теле к победе по сравнению со здоровым контролем. Кроме того, страдающие от азартных игр выявили значительную отрицательную корреляцию между активацией BOLD и серьезностью симптомов азартных игр, что предполагает тупую оценку результатов в азартных играх.

Одним из ограничений модели ошибки прогноза вознаграждения и вознаграждения является то, что это не теория зависимости или азартных игр, как таковой. Другими словами, в то время как повышенная дофаминергическая активация к неопределенности может быть центральным механизмом в укреплении поведения в азартных играх, она не объясняет, почему некоторые люди становятся зависимыми от азартных игр, в то время как другие нет. Напротив, модель стимулирующей сенсибилизации предполагает, что аддиктивное поведение связано с комбинацией дофаминергического подкрепления и изменениями в дофаминовой системе (сенсибилизацией) после повторного воздействия препарата.

Модель стимулирующей сенсибилизации «желающих» и «симпатий»

Терри Э. Робинсон и Кент К. Берридж (Робинсон и Берридж, 1993, 2000, 2003, 2008; Берридж и Олдридж, 2008; Berridge et al., 2009) предложили стимул-сенсибилизация модель, которая отличает удовольствие («симпатию») от стимулов («желающих») от зависимости. «Желание» связано с ожиданием вознаграждения, в то время как «симпатия» связана с оценкой результатов.

Модель стимулирования-сенсибилизации фокусируется на допаминовой системе как основной нейробиологической основе зависимости. Вентральный стриатум и его основной компонент NAcc связаны с зависимостью. Изменения в системе допамина, связанные с воздействием лекарственного средства, делают мозговые цепи сверхчувствительными или «сенсибилизированными» к лекарствам или рецептам лекарств. Сенсибилизация от повторного воздействия лекарственного средства также может возникать на уровне психомоторной или локомоторной активности. Сенсибилизация связана с повышенным стимулом, который является когнитивным процессом, связанным с поиском наркотиков и употреблением наркотиков. Интенсивность («желание») относится к мотивационному состоянию, которое может быть сознательным или бессознательным, целенаправленным или нецелесообразным, приятным или непривлекательным:

«Кавычки вокруг термина« желая »служат предупреждением о признании того, что поощрительное значение означает нечто иное, чем обычный общеязычный смысл желаемого слова. Во-первых, «желание» в смысле стимулирующего ощущения не должно иметь сознательной цели или декларативной цели .... Стимулирующая значимость отделима от убеждений и декларативных целей, которые составляют когнитивные аспекты «желания» (Берридж и Олдридж, 2008, с. 8-9).

Интенсивность («желая») возрастает после многократного воздействия наркотиков и наркотиков, но удовольствие («симпатия») остается неизменным или уменьшается со временем. Модель стимулирования-сенсибилизации «желающих» и «симпатий» предлагает объяснение очевидного парадокса, что люди с расстройством употребления психоактивных веществ имеют повышенное желание употреблять наркотики, несмотря на то, что получают меньше удовольствия от их приема. Интенсивные «горячие точки» были идентифицированы в NAcc: активация в медиальной оболочке NAcc явно связана с «симпатией», тогда как активация по всему NAcc (особенно вокруг брюшного паллида) связана с «желанием» (Berridge et al., 2009).

Интенсивная сенсибилизация определяет взаимосвязь между стимулом и чувствительностью. Интенсивность стимуляции должна сочетаться с повышением чувствительности для объяснения аддиктивного поведения: увеличение связывания допамина не определяет стимулирующую сенсибилизацию, но увеличение связывания дофамина по отношению к конкретным рецептам лекарств; локомоторная активность не указывает на стимулирующую сенсибилизацию, но бегает, чтобы получить наркотики; психомоторная озабоченность не указывает на стимулирующую сенсибилизацию, но одержимость принятием наркотиков делает. Поэтому простого подкрепления поведения недостаточно для объяснения привыкания.

«Центральная идея заключается в том, что привыкание к наркотикам постоянно изменяет связанные с NAcc системы мозга, которые опосредуют основную мотивационно-мотивационную функцию, атрибуцию стимулов. Как следствие, эти нейронные цепи могут стать сверхчувствительными (или «сенсибилизированными») к специфическим лекарственным эффектам и связанным с лекарством стимулам (посредством активации ассоциациями СС). Мозговое изменение, вызванное наркотиками, называется нейронной сенсибилизацией. Мы предположили, что это ведет психологически к чрезмерному приписыванию стимулов к лекарственным препаратам, вызывая патологическое «желание» принимать наркотики »(Робинсон и Берридж, 2003, п. 36).

Берридж и Олдридж (2008) представляют собой пример подхода стимулирующей сенсибилизации к исследованиям, связанным с наркоманией. При таком подходе животных обучают в двух условиях: во-первых, животные должны работать (нажимать рычаг) для вознаграждения (например, пищевые гранулы) и должны продолжать работать, чтобы заработать награды. В отдельной тренировке животные получают награды без необходимости работать на них, где каждая награда связана с тональным звуковым сигналом для 10-30 s, который является условным стимулом (CS +). После тренировки животных тестируют в парадигме вымирания, где «желая» измеряется как количество нажатий на рычаг, которые животное желает выполнить, не получая награду. Поскольку животные не получают вознаграждений, «желание» не смешивается с потреблением вознаграждения. Ключом парадигмы является проверка изменений в поведении, когда условный слуховой стимул вводится во время различных состояний, индуцированных лекарственными средствами. В серии исследований Вивелл и Берридж (2000, 2001) показали, что крысы, которым вводили микроинъекции амфетамина в оболочке NAcc, было значительно больше рычажных прессов при введении условного слухового стимула по сравнению с крысами, которым вводили физиологические микроинъекции. В связанном эксперименте Wyvell и Berridge (2000, 2001) обнаружили, что меры симпатии (реакция лица на получение сахарной награды) не отличались от того, получали ли животные физиологические или амфетаминовые микроинъекции. Эти данные свидетельствуют о том, что амфетамин связан с увеличением «желаемого», но не с большим удовольствием («симпатией») от получения вознаграждения.

Предложения модели стимулов-сенсибилизации по увеличению «желания» и уменьшению «симпатии» к наркомании согласуются с выводами литературы по азартным играм об увеличении активации дофамина до ожидаемого вознаграждения (Fiorillo et al., 2003; Abler et al., 2006; Preuschoff et al., 2006; Linnet et al., 2011a, 2012) и притупленной активации допамина к результату награды (Reuter et al., 2005). Эти данные свидетельствуют о том, что дофаминергические дисфункции в отношении ожидаемый вознаграждения, а не фактические награды, усиливают поведение в азартных играх среди страдающих от азартных игр. Сенсибилизация системы допамина по отношению к ожидаемым вознаграждениям, а не понесенным вознаграждениям может объяснить, почему страдающие от азартных игр продолжают играть в азартные игры, несмотря на потери, и могут играть центральную роль в формировании ошибочных представлений о вероятности выигрыша от азартных игр (Benhsain et al., 2004).

Одним из ограничений модели стимулирования-сенсибилизации является то, что люди с расстройством, связанным с употреблением психоактивных веществ, имеют более низкое высвобождение допамина и низкую доступность дофаминовых рецепторов, несмотря на увеличение стимуляции-сенсибилизации:

«Однако следует признать, что текущая литература содержит противоречивые результаты о дофаминовых изменениях мозга у наркоманов. Например, сообщалось, что детоксифицированные наркоманы кокаина фактически показывают снижение вызванного высвобождения дофамина, а не повышенное сенсибилизированное увеличение, описанное выше .... Другим нахождением у людей, который кажется несовместимым с сенсибилизацией, является то, что у кокаиновых наркоманов, как сообщается, низкий уровень полосатых рецепторов дофамина D2 даже после длительного воздержания .... Это предполагает гиподопаминергическое состояние, а не сенсибилизированное состояние »(Робинсон и Берридж, 2008, п. 3140).

В то время как более низкие потенциалы связывания сообщаются при нарушениях употребления психоактивных веществ, нет никаких доказательств снижения потенциала связывания в литературе по азартным играм (Linnet, 2013). Поэтому расстройство азартных игр может служить «модельным» расстройством для модели стимулирования-сенсибилизации, поскольку азартные игры не смешиваются с приемом экзогенных веществ.

Последствия ожидаемого вознаграждения и оценки результатов в азартных играх

Модели Шульца и др. и Робинсон и Берридж предоставляют важную информацию об исследовании расстройства азартных игр. Модель ошибки прогноза вознаграждения и вознаграждения вознаграждения Шульца и др. предлагает объяснение поведенческого усиления ожидаемого вознаграждения в зависимости от того, как модель стимулирования-сенсибилизации Робинсона и Берриджа объясняет механизмы «желания» и «симпатии» к наркомании. В то же время расстройство азартных игр может служить «модельным» расстройством в решении некоторых аспектов двух моделей.

Во-первых, более низкие уровни потенциала связывания, сообщаемые в расстройстве употребления психоактивных веществ, не проявляются в расстройстве азартных игр (Linnet et al., 2010, 2011a,b, 2012; Clark et al., 2012; Boileau et al., 2013). Это может указывать на то, что стимулирующая сенсибилизация может происходить независимо от базового связывания дофамина в поддержку модели стимуляции-сенсибилизации.

Во-вторых, хотя исследования Fiorillo et al. (2003) и Preuschoff et al. (2006) поддерживают понятие устойчивой упреждающей активации допамина в сторону неопределенности, необходимы дополнительные исследования, чтобы определить, связан ли этот механизм с дофаминергическими дисфункциями в расстройстве азартных игр.

В-третьих, в литературе по изучению азартных игр предлагается усиленная активация мозга к ожиданию вознаграждения и притупляющая активация к оценке результатов. Это согласуется с предложением модели стимулирующей сенсибилизации о повышении «желания», но уменьшило «симпатию» к наркомании и понятие устойчивой упреждающей активации допамина в предсказании вознаграждения. Дофаминергическая дисфункция в ожидании вознаграждения может стать общим механизмом зависимости, поскольку она возникает в отсутствие вознаграждения. Поэтому вознаграждение за вознаграждение может иметь аналогичную функцию (dys), будь то вознаграждение за питание, наркотики или азартные игры. Дальнейшие исследования должны учитывать ожидаемое вознаграждение и оценку результатов в азартных играх.

Конфликт интересов

Автор заявляет, что исследование проводилось в отсутствие каких-либо коммерческих или финансовых отношений, которые могли бы быть истолкованы как потенциальный конфликт интересов.

Благодарности

Рекомендации