Уникальный отклик подростков на ошибки прогноза вознаграждения (2010)

Подростковый возраст - это уникальный период психологического развития, характеризующийся более рискованным выбором и действиями по сравнению с детьми и взрослыми. Это может отражать относительно раннее функциональное развитие лимбических аффективных и поощрительных систем по сравнению с префронтальной корой¹такие, что подростки, как правило, принимают неправильные решения и делают рискованный выбор чаще, чем дети (которые еще не совсем чувствительны к вознаграждениям) и взрослые (которые чувствительны к вознаграждениям, но обладают способностью контролировать побуждения, основанные на наградах).

Согласно поведенческим теориям принятия решений, выбор определяется стоимостью, назначенной каждому потенциальному выбору (значение решения)², Значение решения вычисляется системой в медиальной префронтальной коре, которая служит общим путем для представления значения^3,4, Однако, чтобы вести себя адаптивно в изменяющемся или шумном мире, эти значения должны быть обновлены на основе опыта. Сигналы ошибки прогнозирования вознаграждения отражают разницу между ожидаемым значением действия и фактическим результатом действия.⁵и кодируются фазовой активностью в мезолимбической дофаминовой системе⁶, При фМРТ они обычно наблюдаются в вентральном стриатуме, отражая дофаминергический выход (например, ⁷). Природа сигналов ошибки прогнозирования у детей или подростков неизвестна. У подростков может быть гиперчувствительный стриальный ответ на вознаграждение⁸хотя этот вывод несколько противоречив^9,10, Мы исследовали, связан ли подростковый возраст с уникальными изменениями либо в значении решения, либо в сигналах ошибки предсказания, используя вероятностную парадигму обучения.¹¹ (Рис 1; увидеть Дополнительные методы онлайн). Мы оценили как значение решения, так и сигналы ошибки предсказания в каждом испытании во время обучения, используя простую модель обучения⁵, Используя параметрический анализ МРТ, мы идентифицировали области мозга, чей ответ был модулирован в соответствии с этими сигналами, и исследовали, как этот ответ изменялся с возрастом с детства до взрослой жизни. Мы рассмотрели как линейные эффекты (которые отражают общие тенденции созревания или развития), так и квадратичные эффекты (которые отражают специфические для подростков эффекты) с возрастом. Эта работа представляет собой первое исследование этих подкомпонентов принятия решений в процессе разработки.

Рисунок 1

Экспериментальная конструкция. Здоровые участники 45 (дети 18 в возрасте 8 – 12, подростки 16 в возрасте 14 – 19 и взрослые 11 в возрасте 25 – 30) выполнили задачу вероятностного обучения во время получения МРТ. Письменное информированное согласие было получено. участники ...

Поведенчески, все участники стали более точными и более быстрыми с обучением для предсказуемых стимулов, но не для случайных стимулов (взаимодействие F (5,210) = 9.85, P<0.0001 для точности и F (5,210) = 6.60, P<0.0001 для времени отклика; Дополнительный стол 1 и Рис 1 онлайн). Важно то, что было взаимодействие вознаграждение x возраст за время отклика (F (2,42) = 5.03, P = 0.01). Последующие тесты показали, что подростки были единственной возрастной группой, которая значительно быстрее реагировала на стимулы, связанные с большим вознаграждением по сравнению с маленьким вознаграждением (t (15) = 3.24, P = 0.006; для детей t (17) = −0.32, P = 0.75 и для взрослых t (10) = 1.90, P = 0.09).

Мы смоделировали данные МРТ, чтобы позволить отдельную оценку нейронных ответов на стимул и обратную связь (Дополнительные методы и Рис 2 онлайн; Основные эффекты просмотра стимулов и получения отзывов об ответах для всего мозга см. в разделе Дополнительные рис. 3 – 4 и таблицы 2 – 3 онлайн). Мы исследовали, как нейронные корреляции с сигналами решения на основе модели (значение решения и ошибка прогноза) были связаны с возрастом.

Рисунок 2

Результаты МРТ. (а) Области, показывающие корреляцию с возрастом при коррекции на уровне всего мозга при z> 2.3, P<0.05. Области полосатого тела и угловой извилины отрицательно коррелировали с возрастом.²; потому что средний возраст² был вычтен из ...

Мы проанализировали квадратичные тенденции в положительной ошибке прогноза при обратной связи и определили две области, в которых у подростков был гиперчувствительный ответ по сравнению с другими возрастными группами - стриатум и угловая извилина. Область в медиальной префронтальной коре показала отрицательное линейное влияние возраста на значение решения по стимулу, так что у молодых участников был более сильный сигнал значения решения в этой области по сравнению с более старшими участниками; этот регион был тесно связан с целенаправленным значением стимула в предыдущей работе у взрослых (Рис. 2a)¹², Таким образом, в то время как реакция на непредсказуемую положительную обратную связь достигла своего пика в подростковом возрасте, чувствительность к значению стимула линейно снижалась с возрастом (для графиков между возрастом и каждой из вышеуказанных областей интереса [ROI], см. Дополнительный рисунок 5 онлайн).

Учитывая, что ценность решения развивается через обучение в модели, основанное на ошибках, было удивительно, что значение решения показало траекторию, связанную с возрастом, отличную от ошибки прогноза. Однако из-за структуры задачи возможно, что выбор был обусловлен другими факторами, помимо обучения с подкреплением (например, явной памятью). Чтобы прояснить результаты, мы запустили вторую модель, которая вычисляла ценность решения более интегрально, как долю предыдущих испытаний, в которых был выбран оптимальный ответ для каждого стимула (Lin, Adolphs & Rangel, неопубликовано; Дополнительные методы онлайн). Мы проанализировали значения ошибки прогнозирования из этой модели и обнаружили, что они отражают результаты нашего первоначального анализа, показывая области в полосатом теле и теменной коре, а также вентральные латеральные префронтальные области, где нейронный ответ на ошибку прогнозирования достиг пика в подростковом возрасте. Анализ значения решения из этой модели показал как линейные, так и нелинейные взаимосвязи между возрастом и нервной активностью в ряде регионов, включая боковую теменную кору и полосатое тело (Дополнительный рис. 6 и таблица 5 онлайн). Исследовательский (независимый) анализ ROI показал, что нейронный ответ на значение решения в этой модели, по-видимому, возрастал между детством и подростковым возрастом, но затем асимптотически протекал между подростковым и взрослым возрастом (Дополнительный рисунок 7 онлайн). Эти результаты продемонстрировали, что пиковая реакция на ошибки прогнозирования в подростковом возрасте была устойчивой к различным моделям, тогда как связанные с возрастом изменения в сигналах значения решения были чувствительны к спецификации модели.

На основании предыдущей работы, показавшей, что вентральный стриатум постоянно чувствителен к неожиданным положительным откликам, что отражено в сигналах ошибки прогнозирования вознаграждения на основе модели (например,⁷), мы рассмотрели локализацию ответов, связанных с ошибками прогнозирования, для каждой возрастной группы отдельно в пределах независимой анатомической области интереса, включая двусторонний хвостатый, путамен и прилежащее ядро, используя оригинальную модель обучения с подкреплением (Рис. 2b). Стриатальные области, достоверно связанные с положительной ошибкой прогноза, не перекрывались у подростков и взрослых. В то время как у взрослых в этом исследовании была активность в вентральной полосатой области, постоянно наблюдаемая в исследованиях, посвященных ошибке прогнозирования у взрослых, у подростков была активность в более дорсальной области. У детей не было активности в полосатом теле, связанной с ошибкой положительного прогноза.

Наши результаты расширяют предыдущие выводы о повышенной нейронной активности, связанной с вознаграждением, в подростковом возрасте⁸ демонстрируя, что этот вывод является специфическим для ошибки прогноза по сравнению с сигналами оценки. Различия в развитии в ответе ошибки предсказания, вероятно, отражают различия в фазовой передаче сигналов дофамина¹³, Если это правильно, это дает прямое объяснение рискованного поведения, направленного на получение вознаграждения, которое часто наблюдается у подростков. Повышенное рискованное поведение в подростковом возрасте теоретически может отражать либо сниженную чувствительность к потенциальным отрицательным результатам, либо повышенную чувствительность к потенциальным положительным результатам. Мы полагаем, что наши данные согласуются с последним: то есть, повышенные сигналы ошибки прогноза (предположительно отражающие большие сигналы допазина) отражают большее влияние положительных результатов¹⁴что, как предполагается, приведет к повышению мотивации к получению положительных результатов (и, следовательно, к большему риску). Таким образом, сверхактивный дофаминергический ответ на ошибку прогноза у подростков может привести к увеличению стремления к награде, особенно в сочетании с незрелой системой когнитивного контроля¹.

Настоящие результаты могут пролить свет на то, почему предыдущие исследования приводили к непоследовательному влиянию возраста на обработку вознаграждений. Во-первых, не во всех исследованиях сравнивались подростки как с детьми, так и со взрослыми, а это означает, что нельзя было отметить возможность нелинейных отношений с возрастом. Кроме того, определение «подросток» не было последовательным в разных исследованиях. Во-вторых, важно отметить, что вероятностная задача обучения, использованная здесь, сама по себе не была рискованной задачей по принятию решений, поэтому она отличается от других задач, используемых в литературе о вознаграждении и риске. В-третьих, наши результаты показывают, что для правильного понимания изменений в развитии при обработке вознаграждений необходимо использовать подходы, основанные на моделях, а также декомпозицию отдельных компонентов испытания (стимул, выбор и обратная связь).

Становится все более осознанным, что подростковый возраст является уникальным периодом в психологическом развитии, и что рискованное, стремящееся к вознаграждению поведение, которое происходит в этот период, может привести к значительной заболеваемости и смертности, включая случайную смерть и начало наркомании. Таким образом, понимание нервной основы принятия решений подростком является критической проблемой. В настоящей работе предполагается, что одним из факторов, способствующих поиску поощрений у подростков, может быть наличие улучшенных сигналов ошибки прогнозирования, что обеспечивает новую цель для будущих исследований этого важного периода в развитии.