報酬予測エラーに対する独特の思春期の反応(2010)

Nat Neurosci。 2010 6月; 13(6):669-71。 Epub 2010 5月16。

 

ソース

カリフォルニア大学ロサンゼルス校心理学部、米国カリフォルニア州ロサンゼルス。 [メール保護]

抽象

以前の研究では、人間の青少年は報酬に過敏である可能性があることが示されていますが、どの側面が 報いる これは処理が原因です。 判定値を分けて 予測 エラー信号とそのニューラルが見つかりました 予測 線条体のエラー信号は思春期にピークに達しましたが、神経決定値の信号は値のモデル化方法によって異なります。 これは、ドーパミン作動性の亢進を示唆しています 予測 エラー応答性が貢献します 思春期の 報いる 探しています。

思春期は心理発達のユニークな時期であり、子供や大人に比べて危険な選択と行動が増加するという特徴があります。 これは、前頭前野と比較した辺縁系感情および報酬システムの比較的早期の機能発達を反映している可能性があります1、思春期の若者は、子供(報酬にまだ十分に敏感ではない)と大人(報酬に敏感ですが、報酬主導の衝動を制御する能力を持っている)の両方よりも頻繁に悪い決断と危険な選択をする傾向があります。

行動決定理論によると、選択は、潜在的な各選択に割り当てられた値(決定値)によって決まります。2。 決定値は、値表現の共通経路として機能する内側前頭前野のシステムによって計算されます3,4。 ただし、変化するまたはノイズの多い世界で適応的に動作するには、これらの値を経験に基づいて更新する必要があります。 報酬予測エラー信号は、アクションの期待値とアクションの実際の結果との差を反映します5、および中脳辺縁系ドーパミン系の相性活動によってコード化される6。 fMRIでは、それらは通常、腹側線条体で観察され、ドーパミン作動性出力を反映します(例、 7)。 子供や青年の予測誤差信号の性質は不明です。 青年は報酬に対して過敏な線条体反応を示す場合があります8、この発見はやや矛盾しているが9,10。 確率的学習パラダイムを使用して、思春期が決定値または予測エラー信号のいずれかの一意の変化に関連するかどうかを調べました11 (図1; 湖 補足方法 オンライン)。 単純な学習モデルを使用して、学習中に各試行で決定値と予測誤差信号の両方を推定しました5。 パラメトリックfMRI分析を使用して、これらの信号に応じて応答が変調される脳領域を特定し、この応答が年齢とともに小児期から成人期にどのように変化するかを調べました。 線形効果(一般的な成熟または発達の傾向を反映する)と二次効果(思春期特有の効果を反映する)の両方を年齢とともに調べました。 この作業は、開発全体にわたる意思決定のこれらのサブコンポーネントの最初の検査を表します。

図1

実験計画。 健康な45参加者(18–8の12の子供、16–14の19の青年、11–25の30の成人)は、fMRI取得中に確率学習タスクを実行しました。 書面によるインフォームドコンセントが得られました。 参加者 ...

行動的には、すべての参加者は予測可能な刺激のトレーニングでより正確かつ高速になりましたが、ランダムな刺激の場合はそうではありません(相互作用F(5,210)= 9.85、 P精度は<0.0001、F(5,210)= 6.60、 P応答時間は0.0001未満。 補足表1 および 図1 オンライン)。 重要なのは、応答時間に対する報酬x年齢の相互作用(F(2,42)= 5.03、 P = 0.01)。 事後テストでは、小さな報酬と比較して、大きな報酬に関連する刺激に対して青年が有意に迅速に反応する唯一の年齢層であることが示されました(t(15)= 3.24、 P = 0.006; 子t(17)= −0.32の場合、 P = 0.75および成人用t(10)= 1.90、 P = 0.09)。

fMRIデータをモデル化して、刺激とフィードバックに対する神経反応を個別に推定できるようにしました(補足方法 および 図2 オンライン; 刺激を表示し、反応に関するフィードバックを受け取ることの脳全体の主な効果については、 補足図 3–4およびテーブル2–3 オンライン)。 モデルベースの決定信号(決定値と予測誤差)との神経相関が年齢にどのように関連しているかを調べました。

図2

MRIの結果。 (a)z> 2.3で全脳レベルで補正したときに年齢との相関を示す領域、 P<0.05。 線条体および角回領域は年齢と負の相関がありました2; なぜなら平均年齢2 から差し引かれました ...

フィードバックでの正の予測誤差の2次トレンドを分析し、青少年が他の年齢層と比較して過敏反応を示す2つの領域、線条体と角回を特定しました。 内側の前頭前野の領域は、刺激決定値に対する年齢の負の線形効果を示したため、若い参加者はこの領域でより古い決定者と比較してより強い決定値信号を示した。 この領域は、成人の以前の研究における目標指向の刺激値と強く関連している(図2a)12。 したがって、予測不可能な正のフィードバックへの反応は思春期にピークに達しましたが、刺激値に対する感度は年齢とともに直線的に低下しました(年齢と上記の各関心領域[ROI]のプロットについては、 補足図5 オンライン)。

モデルのエラー駆動型学習を通じて決定値が発生することを考えると、決定値が予測エラーとは異なる年齢関連の軌跡を示したことは驚くべきことでした。 ただし、タスクの構造により、強化学習以外の他の要因(明示的記憶など)によって選択が行われた可能性があります。 結果を明確にするために、各刺激に対して最適な応答が選択された以前の試行の割合として、より統合的な方法で決定値を計算するXNUMX番目のモデルを実行しました(Lin、Adolphs&Rangel、未発表。 補足方法 オンライン)。 このモデルの予測誤差値を分析したところ、線条体および頭頂皮質の領域と、思春期に予測誤差に対する神経反応がピークに達した腹側外側前頭前野の領域を示す、初期分析の結果を反映していることがわかりました。 このモデルの決定値の分析により、外側頭頂皮質および線条体を含む多くの領域で、年齢と神経活動の線形および非線形の関係が示されました(補足図6および表5 オンライン)。 探索的(非独立)ROI分析により、このモデルの決定値に対する神経反応は、小児期と青年期の間に増加するように見えたが、青年期と成人期の間に漸近する(補足図7 オンライン)。 これらの結果は、思春期のピーク予測エラー応答が異なるモデルに対してロバストであるのに対し、意思決定値シグナルの年齢に関連した変化はモデルの仕様に敏感であることを実証しました。

モデルベースの報酬予測エラー信号に反映されているように、腹側線条体が予想外の正のフィードバックに常に敏感であることを示す以前の研究に基づいています。7)、オリジナルの強化学習モデルを使用して、両側尾状核、被殻、側坐核を含む独立した解剖学的ROI内で、各年齢グループの予測エラー関連応答の局在を個別に調べました(図2b)。 正の予測誤差に有意に関連する線条体領域は、青年と成人で重複しませんでした。 この研究の成人は、成人の予測誤差を調べる研究で一貫して見られる腹側線条体領域で活動性がありましたが、青年はより背側の領域で活動性がありました。 線条体では、陽性の予測誤差に関連する活動はありませんでした。

私たちの結果は、思春期の報酬関連神経活動の増加という以前の発見を拡張します8 評価結果と比較して、この発見が予測誤差に特有であることを実証することにより。 予測エラー応答の発達上の違いは、おそらく相性ドーパミンシグナル伝達の違いを反映している13。 正しい場合、これは青少年によく見られる危険な報酬を求める行動を直接説明します。 思春期における危険な行動の増加は、理論的には、潜在的な否定的な結果に対する感受性の低下または潜在的な肯定的な結果に対する感受性の増加を反映している可能性があります。 私たちのデータは後者と一致していると考えています:つまり、予測誤差シグナルの増加(相性ドーパミンシグナルの増加を反映すると推定される)は、肯定的な結果の影響を反映しています14、ポジティブな結果を得るためのモチベーションを高めることが提案されています(したがって、より大きなリスクテイク)。 したがって、思春期における過活動的なドーパミン作動性予測エラー応答は、特に未熟な認知制御システムと組み合わせた場合、報酬を求めることの増加をもたらす可能性があります1.

現在の発見は、以前の研究が報酬処理に対する年齢の一貫性のない効果をもたらした理由に光を当てるかもしれません。 第一に、すべての研究が青少年を子どもと大人の両方と比較したわけではないため、年齢との非線形関係の可能性に注意することはできません。 さらに、「思春期」の定義は研究間で一貫していません。 第二に、ここで使用される確率的学習タスクは、リスクを伴う意思決定タスクそのものではなく、報酬やリスクテイキングの文献で使用される他のタスクとは異なることに注意することが重要です。 第三に、報酬処理の発達的変化を適切に理解するには、個々の試行コンポーネント(刺激、選択、フィードバック)の分解とともにモデルベースのアプローチを使用する必要があることを示唆しています。

思春期は心理的発達のユニークな時期であり、この時期に発生する危険で報酬を求める行動は、偶発的な死や薬物中毒の発症を含む重大な罹患率と死亡率をもたらすことがますます認識されています。 したがって、思春期の意思決定の神経基盤を理解することは重要な課題です。 現在の研究は、思春期の報酬を求める要因の1つは、予測誤差シグナルの強化である可能性があることを示唆しています。

謝辞

この研究は、国立精神衛生研究所(5R24 MH072697)、薬物乱用研究所(5F31 DA024534)、マクドネル財団、およびデラマーティン財団によってサポートされました。

脚注

著者寄稿 JRCは、実験の設計、データ収集と分析の実施、原稿の執筆を支援しました。 RFA、RMB、およびSYBが実験を設計しました。 FWSはデータ収集に貢献しました。 BJKとRAPは実験を設計し、原稿の作成を支援しました。

 

競合する利益 著者らは彼らが競合する経済的利益を持っていないと宣言しています。

参考文献

1. ケーシーBJ、ゲッツS、ガルバンA. 開発牧師 2008。28:62-77。 [PMCフリーの記事] [PubMedの]
2. カーネマンD、トヴェルスキーA. 計量経済学。 1979。47:263-91。
3. Chib VS、Rangel A、Shimjo S、O'Doherty JP。 J Neurosci。 2009。29:12315-20。 [PubMedの]
4. トムSM、フォックスCR、トレペルC、ポルドラックRA。 科学。 2007。315:515-8。 [PubMedの]
5. Rescorla RA、Wagner AR。 に: 古典的コンディショニングII:現在の研究と理論。 ブラックA、Prokasy WF、編集者。 Appleton Century Crofts; ニューヨーク、ニューヨーク:1972。 pp。64–99。
6. シュルツW、ダヤンP、モンタギューPR。 科学。 1997。275:1593-9。 [PubMedの]
7. パニョーニG、ジンクCF、モンタギューPR、バーンズGS。 Nat Neurosci。 2002。5:97-8。 [PubMedの]
8. ガルバンA、他 J Neurosci。 2006。26:6885-92。 [PubMedの]
9. ビョークJM、他 J Neurosci。 2004。24:1793-802。 [PubMedの]
10. May JC、他 BIOL精神。 2004。55:359-66。 [PubMedの]
11. Knowlton BJ、Mangels JA、Squire LR。 科学。 1996。273:1399-402。 [PubMedの]
12. ウサギTA、オドハティJ、キャメラーCF、シュルツW、ランゲルA J Neurosci。 2008。28:5623-30。 [PubMedの]
13. ダーデンヌK、マクルーアSM、ナイストロムLE、コーエンJD。 科学。 2008。319:1264-7。 [PubMedの]
14. Berridge KC、Robinson TE ブレインリサーチ 1998。28:309-69。 [PubMedの]