赌博疾病中奖励预期和结果评估的神经生物学基础（2014）

• ¹丹麦奥胡斯奥胡斯大学医院赌博疾病研究诊所; 丹麦奥胡斯奥胡斯大学功能综合神经科学中心; 剑桥健康联盟成瘾部剑桥，美国马萨诸塞州; 哈佛医学院精神病学系，哈佛大学剑桥，美国马萨诸塞州。

赌博性疾病的特征是持续的和反复出现的适应不良的赌博行为，这会导致临床上的重大损害或困扰。 该疾病与多巴胺系统的功能障碍有关。 多巴胺系统代码可奖励预期和结果评估。 奖励预期是指奖励前的多巴胺能激活，而结果评估是指奖励后的多巴胺能激活。 本文从两个有利的角度回顾了赌博障碍中的奖励预期和结果评估中的多巴胺能功能障碍的证据：Wolfram Schultz等人的奖励预测和奖励预测误差模型。 以及特里·罗宾逊（Terry E. Robinson）和肯特·C·贝里奇（Kent C. Berridge）的“想要”和“喜欢”模型。 两种模型都为研究成瘾中的多巴胺能功能障碍提供了重要的见识，并提出了对赌博性疾病中多巴胺能功能障碍的研究的启示。

奖励预测和奖励预测错误

奖励预测是指奖励的预期，而奖励预测误差是指结果评估。 奖励预测和奖励预测误差与刺激的奖励属性的学习相关联。 根据Wolfram Schultz（2006），奖励预测和奖励预测错误来自Kamin的 阻止规则 （卡明， 1969），这表明完全预测的奖励无助于学习。 可以完全预测的刺激不包含新信息，因此奖励预测错误率为零。 雷斯科拉和瓦格纳描述了所谓的 Rescola-Wagner学习规则 （Rescola和Wagner， 1972），其中指出随着强化物变得更加预测，学习逐渐减慢。

在随机二元结果条件中，例如，奖励与无奖励， 预期值 （EV）是给定刺激可以预期的平均值，它是奖励概率的线性函数。 相反， 不确定，可以定义为方差（σ²）概率分布（Schultz等， 2008），是EV的均方偏差，这是一个反U形函数。 EV和不确定性的中脑和纹状体多巴胺编码遵循类似于其数学表达式的奖励预测的线性和二次函数（Fiorillo等， 2003; Preuschoff等人， 2006; 舒尔茨 2006）。 多巴胺系统还编码结果与奖励预测的偏差，即奖励预测误差：“......当食欲事件好于预测时，多巴胺神经元发出正信号（激活），当食欲增加时，没有信号（活动没有变化）当一个食欲事件比预测的更糟糕时，事件发生在预测中;负面信号（活动减少）... [和]多巴胺神经元显示奖励预测错误的双向编码，遵循方程多巴胺反应=奖励发生 - 奖励预测“（Schultz， 2006，pp.99-100）。

Fiorillo等。 （2003）研究了奖励预测中的多巴胺激活和与EV和不确定性相关的奖励预测误差（即结果的方差）。 在这项研究中，两只猴子接触了具有不同奖励概率的刺激物（P = 0， P = 0.25， P = 0.5， P = 0.75和 P = 1.0）。 记录腹侧中脑（A8，A9和A10区域）的预期舔和多巴胺神经元的激活率。 奖励预测的多巴胺能编码被测量为a 局面的 在刺激呈现后立即发出信号，而奖励预测误差的编码在刺激结果（奖励或无奖励）之后立即被测量为相位信号。 不确定性的多巴胺能编码测量为a 持续 从刺激呈现到结果的信号。

作者报告了三个主要结果。 首先，刺激的奖励概率与预期舔率和预期的阶段性多巴胺反应相关。 这表明奖励概率加强了多巴胺能激活和行为反应。 第二，持续的多巴胺对不确定性的反应遵循方差的性质，即，它对于具有50％奖励概率的刺激是最大的（P = 0.5），对于刺激较小 P = 0.75和 P = 0.25，最小的刺激 P = 1.0和 P = 0.0。 第三，具有较低奖励概率的奖励刺激在奖励之后具有较大的阶段多巴胺响应，这表明较大的正奖励预测误差信号; 具有较高奖励概率的奖励刺激在奖励之后具有较小的阶段多巴胺响应，这表明较小的奖励预测误差信号。

人类赌博的神经生物学研究支持奖励预测和奖励预测错误的证据。 Abler等人。 （2006）使用功能磁共振成像（fMRI）调查激励任务中的奖励预测和奖励预测误差，其中参与者被显示与不同奖励概率相关联的五个数字（P = 0.0， P = 0.25， P = 0.50， P = 0.75，和 P = 1.0）。 结果显示NAcc中具有显着的预期血氧水平依赖性（BOLD）激活，其与奖励概率成比例。 此外，在NAcc中，结果与BOLD激活之间存在显着的相互作用，其中当低概率刺激被奖励时BOLD激活更高，而当高概率刺激被奖励时BOLD激活更低。

Preuschoff等。 （2006）使用卡片猜测任务来调查与预期奖励相关的风险和不确定性之间的关系。 该任务包括从10到1的10卡，其中两张卡连续绘制。 在绘制第二张卡之前，参与者必须猜测第一张牌是高于还是低于第二张牌。 结果显示，奖励概率与即时BOLD激活线性相关：较高的奖励概率与较高的即时预期BOLD信号相关联，较低的奖励概率与较低的即时预期BOLD信号相关联。 相比之下，不确定性表明与晚期BOLD激活呈倒U型关系：在最大不确定性附近可以看到最高的预期BOLD信号（P = 0.5）和最低预期BOLD信号在最大确定性附近被看到（P = 1.0和 P 0.0）。

神经生物学研究支持赌博障碍中奖赏预期的多巴胺能功能障碍的概念。 van Holst等。 （2012）在调查卡片猜测任务中的奖励预期的fMRI研究中，将15赌博障碍患者与16健康对照进行了比较。 赌博障碍患者在双侧腹侧纹状体和左侧眶额皮质中的BOLD激活显着增加，与增益相关的EV相关。 这表明BOLD激活对奖励预期有所增加。 在结果评估中未发现BOLD活化的差异。 Linnet等人。 （2012）使用爱荷华州赌博任务（IGT）对正电子发射断层扫描（PET）研究中的18赌博障碍患者和16健康对照进行了比较。 在赌博障碍患者的纹状体中的多巴胺释放显示出显着的倒U形曲线，具有有利的IGT表现的可能性。 患有最大结果不确定性的赌博障碍患者（P = 0.5）具有比具有接近某些增益的IGT表现的个体更大的多巴胺释放（P = 1.0）或某些损失（P = 0.0）。 这与多巴胺能编码不确定性的概念一致。 多巴胺释放与健康对照受试者之间的不确定性之间未发现相互作用，这可能表明赌博障碍患者的赌博行为更强。 因此，在赌博障碍中，对奖励和不确定性的多巴胺能预期可能代表一种功能失调的奖励预期，这加强了赌博行为，尽管有损失。

在结果评估中，证据表明在赌博障碍患者中多巴胺反应迟钝。 路透社等。 （2005在卡片猜测任务中将12赌博障碍患者与12健康对照进行了比较。 与健康对照相比，赌博障碍患者腹侧纹状体的BOLD反应显着降低。 此外，赌博紊乱患者在BOLD激活和赌博症状严重程度之间显示出显着的负相关，这表明赌博障碍的结果评估迟钝。

奖励预测和奖励预测错误模型的局限之一是它不是成瘾或赌博障碍的理论， 本身。 换句话说，虽然对不确定性的多巴胺能激活增加可能是加强赌博行为的一个中心机制，但它并不能解释为什么有些人会沉迷于赌博，而有些人却没有。 相比之下，激励 - 致敏模型表明，成瘾行为与多巴胺能增强和多次胺化系统（致敏）在重复药物暴露后的变化相结合。

“想要”和“喜欢”的激励 - 敏感模型

Terry E. Robinson和Kent C. Berridge（罗宾逊和贝里奇， 1993, 2000, 2003, 2008; 贝里奇和阿尔德里奇， 2008; Berridge等人， 2009）提出了一个 激励敏 模型，将成瘾中的快乐（“喜欢”）与激励突显（“想要”）区分开来。 “想要”与奖励的预期相关联，而“喜欢”与结果评估相关联。

激励敏感模型侧重于多巴胺系统作为成瘾的核心神经生物学基础。 腹侧纹状体及其主要成分NAcc与成瘾有关。 与药物暴露相关的多巴胺系统的变化使得大脑回路对药物或药物提示过敏或“敏感”。 反复接触药物的敏感性也可能发生在精神运动或运动活动的水平。 致敏性与激励突出性增加有关，这是与药物寻求和吸毒行为相关的认知过程。 激励突显（“缺乏”）指的是一种动机状态，可以是有意识的或无意识的，目标导向的或非目标导向的，令人愉快的或不愉快的：

“围绕”想要“这个词的引号可以作为一个警告，承认激励突显意味着与想要的词的普通共同语言意义不同的东西。 首先，激励显着意义上的“想要”不需要有意识的目标或陈述目标....... 激励显着性与构成“想要”的认知方面的信念和陈述性目标是分开的（Berridge和Aldridge， 2008，pp.8-9）。

在反复接触药物和药物提示后，激励显着性（“缺乏”）增加，而快乐（“喜欢”）保持不变或随着时间的推移而减少。 “想要”和“喜欢”的激励敏感模型提供了一个明显的悖论的解释，即具有物质使用障碍的个体尽管从服用它们获得的乐趣较少，但对药物的需求增加。 在NAcc中已经确定了激励“热点”：内侧NAcc壳中的激活与“喜欢”明显相关，而整个NAcc（特别是腹侧苍白球）的激活与“想要”相关（Berridge等， 2009).

激励敏感化定义了激励显着性和敏感性之间的关系。 激励显着性必须与致敏相结合以解释成瘾行为：多巴胺结合的增加并不能定义激励致敏，但多巴胺结合与特定药物线索相关的增加确实存在; 运动活动并不表示激励过敏，而是四处奔走以获得药物; 精神运动的关注并不表示激励过敏，但对吸毒有着迷恋。 因此，简单强化行为不足以解释成瘾行为。

“中心思想是成瘾药物持久地改变NAcc相关的大脑系统，调节基本的激励 - 动机功能，激励突显的归因。 因此，这些神经回路可能变得对特定药物作用和药物相关刺激（通过SS关联激活）持久过敏（或“敏感”）。 药物引起的大脑变化称为神经致敏。 我们提出，这会在心理上导致激励突显过度归因于与药物相关的表征，导致病态“想要”吸毒“（罗宾逊和贝里奇， 2003，P。 36）。

贝里奇和阿尔德里奇（2008提供成瘾研究的激励敏感方法的一个例子。 在这种方法中，动物在两种条件下训练：首先，动物习惯于工作（按杠杆）以获得奖励（例如，食物颗粒），并且必须坚持工作以获得奖励。 在单独的训练课程中，动物获得奖励而不必为它们工作，其中每个奖励与10-30的听觉音调提示相关联，这是条件刺激（CS +）。 在训练之后，动物在灭绝范例中进行测试，其中“想要”被测量为动物在没有获得奖励的情况下愿意执行的杠杆按压的数量。 由于动物没有得到奖励，所以“想要”不会因奖励的消耗而混淆。 范式的关键是测试在不同药物诱导状态期间引入条件听觉刺激时的行为变化。 在一系列研究中，Wyvell和Berridge（2000, 2001）表明，与注射盐水显微注射的大鼠相比，当引入条件性听觉刺激时，在NAcc壳中注射苯丙胺微注射的大鼠具有显着更多的杠杆按压。 在相关实验中，Wyvell和Berridge（2000, 2001）发现，无论动物是否接受盐水或安非他明微注射，喜欢的措施（对接受糖奖励的面部反应）没有区别。 这些研究结果表明，苯丙胺与提示引发的“欲望”增加有关，但与接受奖励的快乐（“喜欢”）无关。

激励敏感模型提出的增加“想要”和减少“喜欢”成瘾的建议与赌博障碍文献中关于多巴胺激活增加到预期奖励的结果是一致的（Fiorillo等， 2003; Abler等人， 2006; Preuschoff等人， 2006; Linnet等人， 2011a, 2012并且减少多巴胺激活到奖励的结果（Reuter等， 2005）。 这些发现表明多巴胺能功能障碍 预计 奖励，而非实际奖励，加强了赌博紊乱患者的赌博行为。 多巴胺系统对预期奖励的敏感性而不是发生的回报可以解释为什么赌博障碍患者尽管遭受损失仍继续赌博，并且可能在形成对赌博获胜可能性的错误看法中发挥核心作用（Benhsain等， 2004).

激励致敏模型的一个局限性是，尽管激励过敏增加，但是患有物质使用障碍的个体具有较低的多巴胺释放和较低的多巴胺受体可用性：

“但是，必须承认，目前的文献中含有关于成瘾者大脑多巴胺变化的相互矛盾的结果。 例如，据报道，解毒的可卡因成瘾者实际上表现出诱发的多巴胺释放的减少而不是上述的致敏性增加。 人类中另一项似乎与致敏性不一致的发现是，据报道，即使长期禁欲，可卡因成瘾者的纹状体多巴胺D2受体水平也很低...... 这表明一种低效多能性状态而不是敏感状态“（Robinson和Berridge， 2008，P。 3140）。

虽然在物质使用障碍中报告了较低的结合潜力，但没有证据表明赌博障碍文献中的结合潜力降低（Linnet， 2013）。 因此，赌博障碍可能成为激励致敏模型的“模型”障碍，因为赌博不会被摄入外源性物质所混淆。

奖励预期和结果评估对赌博障碍的影响

Schultz等人的模型。 罗宾逊和贝里奇为赌博疾病的研究提供了重要的见解。 Schultz等人的奖励预测和奖励预测误差模型。 提供了对成瘾奖励预期的行为强化的解释，而罗宾逊和贝里奇的激励敏感模型解释了成瘾中“想要”和“喜欢”的机制。 与此同时，赌博障碍可能成为解决两种模式某些方面的“模型”障碍。

首先，在物质使用障碍中报告的较低水平的结合潜力在赌博障碍中未见（Linnet等， 2010, 2011a,b, 2012; Clark等人， 2012; Boileau等人， 2013）。 这可能表明激励致敏可以独立于基线多巴胺结合而发生，以支持激励致敏模型。

其次，在Fiorillo等人的研究中。 （2003）和Preuschoff等人。 （2006）支持持续预期多巴胺激活对不确定性的观念，需要更多的研究来确定这种机制是否与赌博障碍中的多巴胺能功能障碍有关。

第三，赌博障碍文献表明，大脑激活会增加对奖励预期的影响，并且会对结果评估产生迟钝的激活。 这与激励致敏模型建议增加“缺乏”但减少成瘾中的“喜欢”以及奖励预测中持续预期多巴胺激活的概念一致。 奖励预期中的多巴胺能功能障碍可能构成成瘾的共同机制，因为它发生在没有奖励的情况下。 因此，奖励预期可能具有类似的（功能障碍）功能，奖励是食物，毒品还是赌博。 进一步的研究应该涉及赌博障碍的奖励预期和结果评估。

利益冲突声明

作者声明，该研究是在没有任何可被解释为潜在利益冲突的商业或金融关系的情况下进行的。

致谢

参考资料