ギャンブル障害（2014）における報酬予測と結果評価の神経生物学的基盤

• ¹ギャンブル障害研究クリニック、オーフス大学病院、オーフス、デンマーク。 機能的に統合的な神経科学の中心、オーフス大学、オーフス、デンマーク。 ケンブリッジヘルスアライアンスケンブリッジ、マサチューセッツ州、米国; ハーバード大学ハーバード大学医学部、ケンブリッジ、マサチューセッツ州、アメリカ合衆国。

ギャンブル依存症は、持続的かつ再発性の不適応なギャンブル行動を特徴とし、臨床的に重大な障害または苦痛をもたらします。 この障害は、ドーパミンシステムの機能障害に関連しています。 ドーパミンシステムコードは、期待と結果の評価に報います。 報酬予測は報酬前のドーパミン作動性活性化を指し、結果評価は報酬後のドーパミン作動性活性化を指します。 この記事では、XNUMXつの視点からのギャンブル障害における報酬予測と結果評価におけるドーパミン作動性機能障害の証拠をレビューします：WolframSchultzらによる報酬予測と報酬予測エラーのモデル。 テリーE.ロビンソンとケントC.バーリッジによる「欲しい」と「好き」のモデル。 どちらのモデルも、依存症におけるドーパミン作動性機能障害の研究に関する重要な洞察を提供し、ギャンブル障害におけるドーパミン作動性機能障害の研究への影響が示唆されています。

報酬予測と報酬予測誤差

報酬予測は報酬の予測を指し、報酬予測誤差は結果の評価を指します。 報酬予測および報酬予測誤差は、刺激の報酬特性の学習に関連している。 Wolfram Schultzによると（2006）、報酬予測および報酬予測誤差はカミンの ブロッキングルール （カミン、 1969これは、完全に予測された報酬が学習に寄与しないことを示唆しています。 完全に予測できる刺激には新しい情報が含まれていないため、報酬予測の誤り率はゼロです。 RescolaとWagnerは、いわゆる Rescola-Wagnerの学習ルール （RescolaとWagner、 1972それは、強化がより予測されるようになるにつれて学習が次第に遅くなると述べています。

ランダムなバイナリの結果条件、例えば、報酬対無報酬では、 期待値 （EV）は与えられた刺激から期待できる平均値であり、これは報酬の確率の線形関数です。 対照的に、 不確実性これは分散（σ）として定義できます。²確率分布（Schultz et al。、 2008は、EVからの平均二乗偏差であり、逆U字型関数です。 中脳および線条体ドーパミンのEVおよび不確実性の符号化は、それらの数学的表現と同様に、報酬予測の線形および二次関数に従う（Fiorillo et al。、 2003; Preuschoffら、 2006; シュルツ、 2006） ドーパミンシステムはまた、報酬予測からの結果の逸脱、すなわち報酬予測エラーをコード化する。「…食欲がある事象が予測よりも良好である場合、ドーパミンニューロンは正のシグナルを発する（活性化）。イベントは予測通りに発生し、食欲的なイベントが予測より悪い場合には負のシグナル（活動性の低下）…ドーパミンニューロンは、以下の式に従って、報酬予測エラーの双方向コーディングを示します。 2006、ｐｐ．ＸＮＵＭＸ − ＸＮＵＭＸ）。

Fiorillo等。 （2003（EV）不確実性（すなわち結果の分散）に関連した報酬予測および報酬予測誤差におけるドーパミン活性化を調査した。 この研究では、2匹のサルがさまざまな報酬の確率で刺激を受けました。P = 0、 P = 0.25、 P = 0.5、 P = 0.75と P = 1.0） 腹側中脳（領域ＡＸＮＵＭＸ、ＡＸＮＵＭＸおよびＡＸＮＵＭＸ）における予測的ななめる速度およびドーパミンニューロンの活性化を記録した。 報酬予測のドーパミン作動性コーディングは、 フェイシック 一方、報酬提示エラーの符号化は、刺激の結果の直後の位相信号として測定された（報酬または報酬なし）。 不確実性のドーパミン作動性コーディングは、 持続する 刺激提示から結果への信号。

著者らは3つの主要な結果を報告した。 第一に、刺激の報酬確率は、予測舐め率および予測相性ドーパミン反応と相関していた。 これは、報酬の確率がドーパミン作動性活性化と行動反応を強化したことを示唆しています。 第二に、不確実性に対する持続的なドーパミン反応は分散の特性に従った、すなわち、それは50％の報酬確率を有する刺激に対して最大であった（P = 0.5）、刺激に向かって小さい P = 0.75と P = 0.25、およびとの刺激に向かって最小 P = 1.0と P = 0.0 第三に、より低い報酬確率を有する報酬刺激は、報酬後により大きな位相ドーパミン応答を示した。これは、より大きな正の報酬予測誤差信号を示唆する。 より高い報酬確率を有する報酬刺激は、報酬後のより小さい位相ドーパミン応答を有し、これはより小さな報酬予測誤差信号を示唆する。

人間におけるギャンブルの神経生物学的研究は、報酬予測と報酬予測エラーの証拠を支持しています。 Abler等。 （2006参加者が異なる報酬の確率に関連する5つの数字を示されたインセンティブ課題における報酬予測および報酬予測誤差を調査するために機能的磁気共鳴画像法（fMRI）を使用した。P = 0.0、 P = 0.25、 P = 0.50、 P = 0.75 P = 1.0） 結果は、NAccにおける有意な予測的血中酸素レベル依存性（BOLD）活性化を示し、これは報酬確率に比例した。 さらに、NAccでは転帰とBOLD活性化の間に有意な相互作用があり、BOLD活性化は低い確率の刺激が与えられたときより高く、高い確率の刺激が与えられたときより低くなった。

Preuschoff等。 （2006）予想される報酬に関してリスクと不確実性の関係を調査するためにカード推測タスクを使用しました。 タスクは10から1までの範囲の10カードから成り、そこでは2枚のカードが連続して引かれました。 2枚目のカードを引く前に、参加者は1枚目のカードが2枚目のカードより高いか低いかを推測しなければなりませんでした。 結果は、報酬確率が即時BOLD活性化と直線的に関連していることを示した：より高い報酬確率はより高い即時予測BOLDシグナルと関連し、より低い報酬確率はより低い即時予測BOLDシグナルと関連した。 対照的に、不確実性は遅いBOLD活性化と逆U字型の関係を示した：最大の不確実性の周りで最も高い予測BOLDシグナルが見られた（P 最大確信度（= 0.5）と最低の予測BOLDシグナルが見られました。P = 1.0と P = 0.0）。

神経生物学的研究は、ギャンブル障害における報酬予想のドーパミン作動性機能障害の概念を支持しています。 van Holst等。 （2012fMRI研究で15ギャンブル障害患者と16健常対照者を比較して、カード推測タスクでの報酬の見込みを調べた。 ギャンブル障害患者は、両側腹側線条体および左眼窩前頭皮質において、利得関連EVに向かってBOLD活性化の有意な増加を示した。 これは、報酬の予想に向けてのBOLDアクティベーションの増加を示唆しています。 転帰評価に関して、BOLD活性化における違いは見られなかった。 Linnet等。 （2012アイオワギャンブルタスク（IGT）を用いたポジトロンエミッショントモグラフィー（PET）研究において18ギャンブル障害患者と16健常対照者を比較した。 ギャンブル障害患者の線条体におけるドーパミン放出は、有利なIGT成績の可能性を伴う有意な逆U字曲線を示した。 結果の不確実性が最大のギャンブル障害患者P = 0.5）は特定の増加に近いIGTパフォーマンスを持つ個人よりも大きいドーパミン放出を示しました（P = 1.0）または特定の損失（P = 0.0） これは、ドーパミン作動性コーディングの不確実性の概念と一致しています。 健常対照者の間でドーパミン放出と不確実性の間に相互作用は見られず、これはギャンブル障害患者の間のギャンブル行動のより強い強化を示唆することができた。 したがって、ギャンブル障害では、報酬と不​​確実性に対するドーパミン作動性の予測は、機能的でない報酬の予測を表す可能性があり、それは損失にもかかわらずギャンブルの行動を強化します。

結果の評価において、証拠はギャンブル障害患者における鈍いドーパミン反応を示唆しています。 ロイター等。 （200512ギャンブル障害患者と12健康コントロールをカード推測タスクで比較しました。 ギャンブル障害患者は、健常者と比較して、勝利に向かって腹側線条体で有意に低いBOLD反応を示した。 さらに、ギャンブル障害患者はBOLD活性化とギャンブル症状の重症度との間に有意な負の相関を示し、これはギャンブル障害における鈍い結果の評価を示唆しています。

報酬予測および報酬予測誤差モデルの限界の1つは、それが中毒またはギャンブル障害の理論ではないということです。 それ自体。 言い換えれば、不確実性に対するドーパミン作動性活性化の増加がギャンブル行動の強化における中心的なメカニズムであるかもしれないが、一部の個人がギャンブルにはまっているのに対し、他の人はそうでない理由を説明しません。 対照的に、インセンティブ - 感作モデルは、習慣性行動がドーパミン作動性強化と反復薬物曝露後のドーパミン系への変化（感作）の組み合わせに関連していることを示唆している。

「欲しい」と「好き」のインセンティブ感作モデル

Terry E. RobinsonとKent C. Berridge（ロビンソンとBerridge、 1993, 2000, 2003, 2008; ベリッジとオルドリッジ、 2008; Berridge他、 2009）を提案している インセンティブ増感 このモデルは、中毒において喜び（「好き」）とインセンティブの際立ち（「欲しい」）を区別します。 「欲しい」は報酬の予想に関連し、「好き」は結果の評価に関連します。

インセンティブ感作モデルは、中毒の中枢神経生物学的基礎としてドーパミンシステムに焦点を当てています。 腹側線条体とその主成分であるNAccは中毒に関連しています。 薬物曝露に関連するドーパミン系の変化は、脳回路を薬物または薬物の合図に対する過敏性または「感作」にする。 薬物曝露の繰り返しによる感作も、精神運動または自発運動のレベルで起こります。 感作はインセンティブの顕著性の増加と関連しており、これは薬物探索および薬物摂取行動に関連した認知プロセスです。 インセンティブ顕著性（「欲しい」）とは、意識的または無意識的、目標志向または非目標志向、そして楽しいまたは楽しいとはいえない、動機付けの状態を指します。

「欲しい」という用語を囲む引用符は、インセンティブの顕著性が「欲しい」という言葉の一般的な一般的な意味とは異なるものを意味することを認識するための警告として役立ちます。 一つには、インセンティブの際立った意味での「欲しい」は、意識的な目標や宣言的な目標を持つ必要がないということです…。 インセンティブの際立つことは、「欲しい」という認知的側面を構成する信念や宣言的な目的から切り離すことができます（Berridge and Aldridge、 2008、ｐｐ．ＸＮＵＭＸ − ＸＮＵＭＸ）。

インセンティブの顕著性（「欲しい」）は、薬物および薬物の合図に繰り返しさらされると増加しますが、喜び（「好み」）は同じままであるか、時間の経過とともに減少します。 「欲しい」と「好き」のインセンティブ感作モデルは、薬物使用障害のある人は服用からの喜びが少ないにもかかわらず薬物に対する欲求が高まっているという明白なパラドックスの説明を提供します。 インセンティブの「ホットスポット」がNAccで識別されています。内側のNAccシェルでの活性化は「嗜好」と明確に関連していますが、NAcc全体での活性化（特に腹側淡蒼球周辺）は「欲しい」と関連しています（Berridge et al。、 2009).

インセンティブ増感は、インセンティブの顕著性と増感の関係を定義します。 中毒性行動を説明するためには、インセンティブの顕著性を感作と組み合わせる必要があります。ドーパミン結合の増加はインセンティブ感作を定義するのではなく、特定の薬物手がかりに関連したドーパミン結合の増加は定義します。 自発運動は動機付け感作を示しませんが、薬物を得るために走り回っています。 精神運動への関心はインセンティブの感作を示すものではありませんが、薬を服用することに対する強迫観念は示しています。 したがって、単純な行動の強化だけでは中毒性の行動を説明するのに不十分です。

「中心的な考えは、中毒性のある薬は根本的な動機づけ - 動機付け機能、すなわち動機付けの顕著性の帰属を仲介するNAcc関連の脳系を忍耐強く変えるということです。 結果として、これらの神経回路は、特定の薬物効果および薬物関連刺激（SS結合による活性化を介して）に対して非常に過敏（または「感作」）になる可能性があります。 薬物による脳の変化は神経感作と呼ばれます。 私たちはこれが心理的にインセンティブの顕著性を薬物関連の表現に過度に帰属させ、病理学的な「欲求」が薬物を摂取することを引き起こすことを提案した（Robinson and Berridge、 2003、p。 36）。

Berridge and Aldridge（2008）依存症の研究に対するインセンティブ感作アプローチの例を提供する。 このアプローチでは、動物は2つの条件の下で訓練されます：最初に、動物は報酬（例えば、食物ペレット）のために働く（レバーを押す）ように条件付けられ、報酬を得るために働き続けます。 別のトレーニングセッションで、動物は彼らのために働かなくても報酬を受け取ります。各報酬は条件付き刺激（CS +）である10〜30の聴覚音合図に関連付けられています。 訓練後、動物は絶滅のパラダイムでテストされ、ここで「欲しい」とは、動物が報酬を受け取ることなく実行しようとしているレバー押しの数として測定される。 動物は報酬を受け取らないので、「欲しい」は報酬の消費によって混乱することはありません。 パラダイムの鍵は、異なる薬物誘発状態の間に条件付き聴覚刺激が導入されたときの行動の変化をテストすることです。 一連の研究において、Wyvell and Berridge（2000, 2001NAcc殻にアンフェタミン微量注射を注射したラットは、生理食塩水微量注射を注射したラットと比較して、条件付き聴覚刺激を導入したときに有意に多くのてこの押圧を有することを示した。 関連する実験では、Wyvell and Berridge（2000, 2001動物が生理食塩水またはアンフェタミンの微量注射を受けたかどうかにかかわらず、好みの尺度（砂糖の報酬を受けることに対する顔の反応）は異ならないことがわかった。 これらの知見は、アンフェタミンが、手がかりが引き金となる「欲しい」の増加と関連しているが、報酬を受け取ることからの喜びの増加（「好み」）とは関連していないことを示唆している。

依存症における「欲望」の増加および「嗜好」の減少に関するインセンティブ感作モデルの提案は、予想される報酬に対するドーパミン活性化の増加に関するギャンブル障害の文献からの知見と一致している（Fiorillo et al。、 2003; Ablerら、 2006; Preuschoffら、 2006; Linnetら、 2011a, 2012そして報酬の結果に対するドーパミン活性化を鈍くした（Reuter et al。、 2005） これらの知見は、ドーパミン作動性機能障害が 予想 実際の報酬ではなく、報酬は、ギャンブル障害患者のギャンブル行動を強化します。 発生した報酬ではなく予想された報酬に対するドーパミンシステムの敏感化は、なぜ賭博障害患者が損失にもかかわらず賭博を続け、賭博からの勝利の可能性についての誤った認識の形成において中心的な役割を果たすかもしれないことを説明しうる。 2004).

インセンティブ感作モデルの限界の1つは、インセンティブ感作が増加したにもかかわらず、物質使用障害のある人はより低いドーパミン放出およびより低いドーパミン受容体利用可能性を有することである。

しかし、現在の文献には中毒者の脳内ドーパミン変化に関する矛盾する結果が含まれていることを認識しなければなりません。 例えば、解毒されたコカイン中毒者は実際には上記の増感された増加よりもむしろ誘発ドーパミン放出の減少を示すことが報告されています…。 感作と矛盾しているように思われるヒトにおけるもう一つの発見は、コカイン中毒者は長い禁断の後でさえも低レベルの線条体ドーパミンD2受容体を有すると報告されていることです…。 これは感作状態ではなく低ドーパミン作動性状態を示唆している」（Robinson and Berridge、 2008、p。 3140）。

物質使用障害においてより低い結合電位が報告されているが、ギャンブル障害の文献には結合電位の減少の証拠はない（Linnet、 2013） したがって、ギャンブルは外因性物質の摂取によって混乱しないため、ギャンブル障害はインセンティブ感作モデルの「モデル」障害として役立つ可能性があります。

ギャンブル障害における報酬予測と結果評価の意味

Schultzらによるモデル。 RobinsonとBerridgeは、ギャンブル障害の研究に関する重要な洞察を提供しています。 Schultzらによる報酬予測および報酬予測誤差モデル。 RobinsonとBerridgeによるインセンティブ感作モデルは中毒における「欲しい」と「好き」のメカニズムを説明しているが、中毒における報酬予想の行動強化の説明を提供している。 同時に、ギャンブル障害は、2つのモデルの特定の側面に対処する際の「モデル」障害として機能する可能性があります。

第一に、物質使用障害において報告されている低レベルの結合電位は、ギャンブル障害においては見られない（Linnet et al。、 2010, 2011a,b, 2012; Clarkら、 2012; Boileauら、 2013） これは、インセンティブ感作モデルを支持して、インセンティブ感作がベースラインドーパミン結合とは無関係に起こり得ることを示唆し得る。

第二に、Fiorilloらによる研究。 （2003）およびＰｒｅｕｓｃｈｏｆｆ ｅｔ ａｌ。 （2006不確実性への持続的な予測的ドーパミン活性化の概念を支持するには、このメカニズムがギャンブル障害におけるドーパミン作動性機能障害と関連しているかどうかを決定するためにより多くの研究が必要である。

第三に、ギャンブル障害の文献は、報酬の予想に向かって脳の活性化が増加し、結果の評価に向かって活性化が鈍くなっていることを示唆している。 これは、依存症における「欲している」が増加している「好み」が減少しているというインセンティブ感作モデルの提案および報酬予測における持続的な予測ドーパミン活性化の概念と一致している。 報酬の見込みにおけるドーパミン作動性機能障害は、報酬がない状態で起こるため、中毒の一般的なメカニズムを構成する可能性があります。 したがって、報酬が食べ物、薬、ギャンブルのいずれであっても、報酬の予想には同様の（機能不全の）機能があります。 さらなる研究は、ギャンブル障害における報酬の期待と結果の評価に取り組むべきです。

利益相反の声明

著者は、潜在的な利益相反として解釈される可能性がある商業的または金銭的関係がない状態で研究が行われたと宣言しています。

謝辞

参考文献