以最终编辑形式发布为:
Neurosci Biobehav Rev. 2011 Apr; 35(5):1219-1236。
在线发布2010 Dec 24。 DOI: 10.1016 / j.neubiorev.2010.12.012
PMCID:PMC3395003
NIHMSID:NIHMS261816
刘勋,1,2 杰奎琳海斯顿,2 Madeleine Schrier,2 和 金帆2,3,4
可在以下位置获得发布者对本文的最终编辑版本: Neurosci Biobehav Rev
请参阅PMC中的其他文章 引用 已发表的文章。
抽象
为了更好地理解人脑中的奖励回路,我们在142神经成像研究中进行了激活似然估计(ALE)和基于参数体素的荟萃分析(PVM),该研究检查了健康成人中与奖励相关的任务中的大脑激活。 我们观察了参与奖励相关决策的几个核心脑区,包括伏隔核(NAcc),尾状核,壳核,丘脑,眶额皮质(OFC),双侧前岛叶,前(ACC)和后(扣带)扣带皮层。 ,以及下顶叶小叶和前额叶皮层(PFC)的认知控制区域。 NAcc通常由奖励处理的各个阶段(例如,预期,结果和评估)的正面和负面奖励激活。 此外,内侧OFC和PCC优先响应正面奖励,而ACC,双侧前岛叶和侧面PFC选择性地响应负面奖励。 奖励预期激活ACC,双侧前脑岛和脑干,而奖励结果更显着激活NAcc,内侧OFC和杏仁核。 因此,奖励相关决策的神经生物学理论应该考虑奖励评估和效价评估的分布和相互关联的表示。
1. 简介
人们每天都面临着无数与奖励相关的决策机会。 我们的身体,心理和社会经济福祉关键取决于我们做出的选择的后果。 因此,了解奖励相关决策的正常运作基础至关重要。 研究与奖励相关的决策的正常运作也有助于我们更好地理解当这种功能被破坏时出现的各种行为和精神障碍,例如抑郁症(Drevets,2001),药物滥用(Bechara,2005; Garavan和Stout,2005; Volkow等人,2003)和饮食失调(Kringelbach et al., 2003; Volkow和Wise,2005).
关于奖励的功能性神经影像学研究已成为一个快速发展的领域。 我们观察到该领域的神经影像研究大量增加,每月在PubMed数据库中出现数十篇相关文章。 一方面,这是令人兴奋的,因为不断增加的结果对于奖励相关决策的行为和神经机制的形式化至关重要(研究员,2004; Trepel et al., 2005)。 另一方面,结果的异质性与偶然的相反模式相结合使得难以获得人脑中的奖励电路的清晰图像。 结果的混合部分是由于各种研究小组制定的多种实验范式,旨在解决奖励相关决策的不同方面,例如奖励预期和结果之间的区别(布瑞特 et al., 2001; 克努森 et al.,2001b; 麦克卢尔 et al., 2003; 罗杰斯 et al., 2004),正面和负面奖励的估值(Liu等人,2007; Nieuwenhuis等,2005; O'Doherty等人,2003a; O'Doherty等人,2001; Ullsperger和von Cramon,2003)和风险评估(Bach等,2009; d'Acremont和Bossaerts,2008; Hsu等人,2009; Huettel,2006).
因此,将现有研究汇集在一起并检查人类大脑的核心奖励网络至关重要,从数据驱动和理论驱动的方法来检验奖励相关决策的不同方面的共性和区别。 为了实现这一目标,我们采用并比较了两种基于坐标的荟萃分析(CBMA)方法(萨利米-Khorshidi et al., 2009),激活似然估计(ALE)(Laird等,2005; Turkeltaub等,2002)和基于参数体素的荟萃分析(PVM)(Costafreda et al., 2009),以揭示大量关于奖励相关决策的神经影像学研究的一致性。 我们预计腹侧纹状体和眶额皮质(OFC),即与奖励处理相关的两个主要的多巴胺能投射区域将一直被激活。
此外,从理论驱动的角度来看,我们的目的是阐明在负责处理正面和负面奖励信息的大脑网络中是否存在区别,并且优先参与奖励预测,结果等奖励处理的不同阶段。监督和决策评估。 决策涉及替代选项的编码和表示,并比较与这些选项相关的值或实用程序。 在这些过程中,决策通常附有从结果或情绪反应到所做出的选择的正面或负面效价。 积极奖励效价是指当结果为正(例如,赢得彩票)或比我们预期更好(例如,损失的价值低于预期)时我们经历的积极主观状态(例如,幸福或满意)。 负奖励效价指的是当结果为负(例如,输掉赌博)或比我们预期的更糟(例如,股票价值增加低于预期)时我们经历的负面情绪(例如,沮丧或遗憾)。 虽然以前的研究试图区分对处理正面或负面信息敏感的奖励网络(Kringelbach,2005; 刘 et al., 2007),以及那些参与奖励预期或结果的人(克努森 et al., 2003; Ramnani et al., 2004),实证结果好坏参半。 我们的目的是通过汇集大量研究这些区别的研究来提取一致的模式。
2。 方法
2.1文献搜索和组织
2.1.1研究鉴定
两位独立的研究人员对fMRI研究的文献进行了彻底的搜索,研究了基于奖励的人类决策。 用于搜索在线引文索引服务PUBMED(通过6月2009)的术语是“fMRI”,“奖励”和“决定”(由第一位研究员),“奖励决策制定任务”,“fMRI”和“人类” “(由第二位研究员)。 这些初始搜索结果合并为总共182文章。 另一篇90文章是从第六位2009积累的第三位研究人员的参考数据库中确定的,使用“奖励”和“MRI”作为过滤标准。 我们还使用Sleuth搜索了BrainMap数据库,其中“奖励任务”和“fMRI”作为搜索词,并找到了59文章。 所有这些文章都汇集到一个数据库中,并删除了冗余条目。 然后,我们应用了几个排除标准,以进一步消除与当前研究无直接关系的文章。 这些标准是:1)非一手实证研究(例如,评论文章); 2)研究未报告标准立体定位坐标空间(Talairach或Montreal Neurological Institute,MNI)的结果; 3)使用与奖励或基于价值的决策无关的任务进行研究; 4)结构脑分析的研究(例如,基于体素的形态测量或扩散张量成像); 5)纯粹基于感兴趣区域(ROI)分析(例如,使用解剖学面罩或其他研究的坐标)进行研究; 6)特殊人群的研究,其脑功能可能偏离正常健康成人(例如,儿童,老年人或物质依赖性个体)的特征人群,尽管这些研究中报告的单独健康成人组的坐标也包括在内。 接受了在任务期间指示受试者报告决定的方法之间的可变性(即,口头,非语言按钮按压)。 这导致最终数据库中的142文章(列在 附录).
在数据提取阶段,然后根据GingerALE工具箱中实现的坐标转换,通过不同的空间归一化方案对研究进行分组(http://brainmap.org德克萨斯州圣安东尼奥市德克萨斯大学健康科学中心研究成像中心):使用FSL报告MNI坐标,使用SPM报告MNI坐标,使用其他程序报告MNI坐标,使用Brett方法将MNI坐标转换为Talairach空间,使用Talairach原生模板。 Talairach空间中的坐标列表根据其原始标准化方案转换为MNI空间。 对于Brett-Talairach列表,我们使用Brett的逆向变换将坐标转换回MNI空间(即tal2mni)(布雷特 et al., 2002)。 对于原生Talairach列表,我们使用了BrainMap的Talairach-MNI转换(即tal2icbm_other)。 通过组合MNI空间中的所有坐标以准备GingerALE中的ALE荟萃分析,创建所有研究的主列表。
2.1.2实验分类
为了检验与奖励相关决策的不同方面招募的共同和不同奖励途径的假设,我们根据两种类别分类坐标:奖励效价和决策阶段。 我们采用BrainMap数据库使用的“实验”一词来指代通常在fMRI研究中报告的个体回归或对比。 对于奖励效价,我们将实验组织成积极和消极的奖励。 在决策阶段,我们将实验分为奖励预期,结果和评估。 适合这些类别的主列表中的坐标被放入子列表中; 那些难以解释或没有明确定义的内容被省略。 下面我们列出了每个类别中的一些示例。
以下对比被归类为积极奖励的处理:受试者赢得金钱或积分的奖励(埃利奥特 et al., 2000)(成功运行期间的奖励); 避免亏钱或积分(Kim et al., 2006)(避免厌恶结果和奖励收据之间的直接比较); 赢得了两笔钱或积分中的较大一笔(克努森 et al.,2001a)(大与小奖励预期); 丢失了两笔钱或点数中的较小者(认真地 et al., 2005)(不赢$ 0.50>不赢$ 4); 在屏幕上收到令人鼓舞的文字或图形(Zalla et al., 2000)(增加“胜利”); 口中收到甜味(O'Doherty et al., 2002)(葡萄糖>中性味); 积极评估选择(刘 et al., 2007)(正确>错误),或由于成功完成任务而获得了其他任何形式的积极奖励。
分类为负奖励的实验包括受试者赔钱或分数的实验(Elliott等人,2000)(失败期间的处罚); 没赢钱或积分(认真地 et al., 2005)(不赢的不满); 赢得两笔钱或点数中的较小者(克努森 et al.,2001a)($ 1 vs. $ 50奖励); 丢失了两笔钱或点数中的较大者(克努森 et al.,2001a)(大与小惩罚预期); 否定评估选择(刘 et al., 2007)(错误>正确); 或获得任何其他负面奖励,例如口中有苦味(O'Doherty et al., 2002)(盐>中性口味)或令人沮丧的文字或图片(Zalla et al., 2000)(“失败”增加,“胜利”减少)。
奖励预期被定义为主体在做出决定之前考虑潜在选择的时间段。 例如,下注并期望在该下注中赢钱将被归类为预期(Cohen和Ranganath,2005)(高风险与低风险决策)。 奖励结果/交付被分类为主题收到所选选项反馈的时间段,例如带有“win x $”或“lost x $”字样的屏幕(比约克 et al., 2004)(增益与非增益结果)。 当反馈在随后的试验中影响受试者的决定和行为或用作学习信号时,对比度被归类为奖励评估。 例如,在初始审判中获得奖励的风险决策可能导致受试者在下一次审判中承担另一个(可能更大)的风险(Cohen和Ranganath,2005)(低风险奖励,然后是高风险与低风险决策)。 损失厌恶,人们强烈倾向于避免损失获取收益的倾向,是评估的另一个例子(Tom et al., 2007)(λ与神经损失厌恶之间的关系)。
2.2激活似然估计(ALE)
ALE的算法基于(艾柯夫 et al., 2009)。 ALE将激活点建模为以报告的坐标为中心的3D高斯分布,然后计算不同实验之间这些分布的重叠(ALE将研究中的每个对比都视为一个单独的实验)。 相对于每个研究中受试者的数量,估计了与激活灶相关的空间不确定性(即,较大的样本会产生更可靠的激活模式和定位;因此,坐标将与更紧密的高斯核卷积在一起)。 通过结合以上建模的激活图来计算整个实验中激活模式的收敛性。 通过置换程序估算代表研究中随机空间重叠产生的ALE分数的零分布。 最终,将根据真实激活坐标计算的ALE映射与来自零分布的ALE分数进行测试,从而生成表示ALE分数的p值的统计图。 然后将非参数p值转换为z得分,并在簇级别校正的p <0.05处设置阈值。
使用GingerALE 2.0进行了六种不同的ALE分析(艾柯夫 et al., 2009),一个用于所有研究的主要分析,一个用于通过积极或消极奖励以及预期,结果和评估来表征大脑激活的五个子列表中的每一个。 使用GingerALE 1.2进行两次减法ALE分析(Turkeltaub et al., 2002),一个用于正面和负面奖励之间的对比,另一个用于预期和结果之间的对比。
2.2.1所有研究的主要分析
所有142研究都包括在主要分析中,其由来自5214实验的655焦点组成(对比)。 我们使用GingerALE 2.0中实现的算法,该算法基于每个焦点的空间不确定性使用对主体间和实验间变异性的估计来对ALE进行建模。 估计受到灰质掩模的约束,并估计了实验作为随机效应因子的上述偶然聚类,而不是使用对焦点的固定效应分析(艾柯夫 et al., 2009)。 使用错误发现率(FDR)方法对生成的ALE贴图进行阈值处理,p <0.05,最小簇大小为60×2×2 mm(2个像素),共480个体素(总计XNUMX mm)。3)防止多重比较的误报。
2.2.2子列表的单独分析
还根据子列表进行了五项其他ALE分析,这些子列表将不同的实验分类为正面和负面奖励,以及奖励预期,奖励交付(结果)和选择评估。 对于积极的奖励分析,包括来自2167实验的283焦点。 负奖励分析由来自935实验的140焦点组成。 预期,结果和选择评估的分析中包括的焦点数分别是1553焦点(185实验),1977(253)和520(97)。 我们采用与上述主要分析相同的分析和阈值方法。
2.2.3减法分析
我们也有兴趣比较正向或负向奖励,奖励预期与奖励交付选择性或优先激活的大脑区域。 GingerALE 1.2用于进行这两个分析。 使用FWHM为10毫米的内核对ALE贴图进行平滑处理。 对随机分布的焦点进行了10000次模拟的置换测试,以确定ALE映射的统计显着性。 为了校正多个比较,使用FDR方法对结果ALE映射进行阈值化,p <0.05,最小簇大小为60体素。
2.3基于参数体素的荟萃分析(PVM)
我们还使用另一种元分析方法PVM分析了相同的坐标列表。 与ALE分析相比,ALE分析将研究中的不同对比视为不同的实验,PVM分析汇集了研究中所有不同对比的峰值,并为特定研究创建了单一坐标图(Costafreda et al., 2009)。 因此,PVM分析中的随机效应因素是 研究,与个人相比 实验/对比 在ALE分析中。 这进一步减少了由报告类似激活模式的多个对比的研究引起的估计偏差。 与ALE方法类似,我们使用R统计软件中实现的算法进行了六种不同的PVM分析(http://www.R-project.org)从以前的研究(Costafreda et al., 2009),一个用于所有研究的主要分析,一个用于通过奖励处理的不同方面表征大脑激活的五个子列表中的每一个。 使用相同的代码库进行了两次额外的PVM分析,以比较积极和消极奖励以及奖励预期和结果之间的比较。
2.3.1所有研究的主要分析
来自ALE分析中使用的相同5214个研究的MNI坐标(142)被转换为文本表,每个研究均由唯一的研究识别标签识别。 峰图上的计算被限制在MNI空间中的蒙版内。 首先用统一的核(ρ= 10 mm)对峰图进行平滑处理以生成摘要图,该摘要图表示报告半径为10 mm的邻域内重叠激活峰的研究数量。 接下来,运行随机效应PVM分析以估计与摘要图中每个体素相关的统计显着性。 摘要图中的研究数量已转换为报告一致激活的研究比例。 我们使用与ALE分析中相同的阈值来识别比例图的重要聚类(使用p <0.05且最小聚类大小为60体素的FDR方法)。
2.3.2子列表的单独分析
在子列表上进行了五项其他PVM分析,包括积极和消极奖励,以及奖励预期,结果和评估。 积极奖励分析包括来自2167研究的111焦点,而负奖励分析包括来自935研究的67焦点。 预期,结果和选择评估分析中包括的研究数量分别为1553焦点(65研究),1977(86)和520(39)。 我们采用与上述主要分析相同的分析和阈值方法。
2.3.3比较分析
我们还进行了两次PVM分析,以比较正面和负面奖励之间以及奖励预期和结果之间的激活模式。 首先用均匀核(ρ= 10 mm)对两个峰图(例如,一个为正,另一个为负)进行平滑,以生成摘要图,每个图代表在10 mm邻域内具有重叠激活峰的研究数量半径。 将这两个摘要图输入Fisher检验,以估计MNI空间蒙版中每个贡献体素的比值比和统计显着性p值。 由于Fisher并不是专门针对fMRI数据分析而开发的,并且在经验上不如其他方法敏感,因此我们使用相对宽松的阈值进行直接比较PVM分析,使用未经校正的p <0.01和最小簇大小为60体素(熊 et al., 1995),以纠正多重比较类型I错误。
3。 结果
3.1 ALE结果
142研究的全包分析显示,包括双侧伏隔核(NAcc),苍白球,前岛叶,外侧/内侧OFC,前扣带皮层(ACC),辅助运动区(SMA),侧面的大簇的显着激活前额叶皮层(PFC),右侧杏仁核,左侧海马,丘脑和脑干(图1A)。 其他较小的簇包括右中额叶回和左中/下额叶回,双侧下/上顶叶小叶和后扣带皮层(PCC)(表1).
积极奖励激活了上述网络的一个子集,包括双侧苍白球,前岛叶,丘脑,脑干,内侧OFC,ACC,SMA,PCC和其他额叶和顶叶区域(图1B 和 表2,也看 补充材料–图S1A)。 负面奖励显示双侧NAcc,尾状,苍白球,前岛叶,杏仁核,丘脑,脑干,延髓ACC,背内侧PFC,侧向OFC和右中下额叶回激活(图1B 和 表2,也看 补充材料–图S1B)。 通过正面奖励和负面奖励对比激活,我们发现积极奖励在很大程度上显着激活了以下区域:双侧NAcc,前岛叶,内侧OFC,海马,左壳和丘脑(图1D 和 表4)。 没有显示出更多的激活,而不是积极的奖励。
不同的奖励处理阶段在上述核心网络中共享相似的脑激活模式,包括双侧NAcc,前岛叶,丘脑,内侧OFC,ACC和背内侧PFC(图1C 和 表3,也看 补充材料–图S1C–E)。 与奖励结果相比,奖励预期显示双侧前岛叶,ACC,SMA,左下顶叶和中额叶回的更大激活(图1E 和 表5)。 结果优先激活包括双侧NAcc,尾状,丘脑和内侧/外侧OFC(表5).
3.2 PVM结果
142研究的主要分析显示双侧NAcc,前岛叶,外侧/内侧OFC,ACC,PCC,下顶叶小叶和中额叶回的显着激活(图2A 和 表6).
积极奖励激活双侧NAcc,苍白球,壳核,丘脑,内侧OFC,前体扣带皮层,SMA和PCC(图2B 和 表7,也看 补充材料–图S2A)。 在双侧NAcc和前岛叶,苍白球,ACC,SMA和中/下额叶中发现负奖励激活(图2B 和 表7,也看 补充材料–图S2B)。 正面奖励和负面奖励之间的直接对比显示,在NAcc,苍白球,内侧OFC和PCC中通过积极奖励优先激活,并且在ACC和中/下额回中通过负奖励激活更多(图2D 和 表9).
不同的奖励处理阶段类似地激活了NAcc和ACC,而他们差异地招募其他脑区域,例如内侧OFC,前岛叶和杏仁核(图2C 和 表8,也看 补充材料–图S2C–E)。 与奖励结果相比,奖励预期显示双侧前岛叶,丘脑,中央前回和下顶叶小叶的显着激活(图2E 和 表10)。 与预期相比,没有大脑区域通过奖励结果表现出更大的激活。
3.3 ALE和PVM结果的比较
目前的研究还表明,尽管ALE和PVM方法对基于坐标的数据进行了不同的处理并采用了不同的估算算法,但这两种元分析方法的单一坐标列表的结果非常相似且具有可比性(图1A-C 和 2A-C, 表11,也看 数字S1 和 S2在补充材料中)。 改进的ALE算法在GingerALE 2.0中实现, 通过设计,将实验(或对比)视为随机效应因子,这显着降低了报告更多基因座的实验与具有较少基因座的实验所引起的偏差。 然而,不同的研究包括不同数量的实验/对比。 因此,GingerALE 2.0的结果可能仍然受到偏见的影响,这种偏见对报告更多对比的研究更为重要,可能高估了交叉研究的一致性。 然而, 通过选择,用户可以将来自不同对比的坐标组合在一起,以便GingerALE 2.0可以将每个研究视为单个实验。 这是PVM实施的,将研究中所有对比的坐标汇集到单个激活图中,从而平等地权衡所有研究,以估计研究中的激活重叠。
相比之下,两个坐标列表的比较在ALE和PVM方法之间存在显着差异(表11),由于他们对研究内和交叉研究趋同的敏感性不同。 由于改进的ALE算法尚未用于减法ALE分析,我们使用了早期版本的GingerALE 1.2,它将坐标视为随机效应因子,将实验视为固定效应变量。 因此,两个列表中坐标数和实验数的差异可能会影响减法结果。 减法ALE分析偏向于列表,更多的实验反对另一个(图1D / E.)。 阳性奖励研究(来自2167实验的283焦点)明显优于阴性研究(来自935实验的140焦点)。 奖励预期(来自1553实验的185焦点)和结果(来自1977实验的253焦点)之间的差异较小,但也可能导致对结果阶段的偏倚。 另一方面,使用Fisher测试估计优势比并通过PVM分配两个列表中的一个列表中的体素似乎在检测两个列表之间的激活差异时不太敏感(图2D / E.).
4。 讨论
我们在日常生活中不断做出决定。 有些决定不涉及结果的明显正面或负面价值,而其他决定对结果的效价和我们对选择的情绪反应有重大影响。 当结果是积极的或我们的期望得到满足时,我们可能会感到高兴和满意,或者当结果为负或低于我们的预期时感到沮丧。 此外,必须在不事先了解其后果的情况下做出许多决定。 因此,我们需要能够对未来的奖励做出预测,并评估奖励价值以及获得或受到惩罚的潜在风险。 这要求我们根据预测误差的存在来评估我们的选择,并使用这些信号来指导我们的学习和未来行为。 许多神经影像学研究已经研究了与奖励相关的决策。 然而,鉴于基于价值的决策所涉及的复杂和异质的心理过程,检查促进奖励相关信息的表示和处理的神经网络并非易事。 我们观察到神经经济学领域的实证研究数量快速增长,但到目前为止,很难看出这些研究是如何汇合的,以便清楚地描绘人脑中的奖励回路。 在目前的荟萃分析研究中,我们已经展示了大量研究的一致性,并通过奖励处理的不同方面揭示了大脑激活的共同和不同模式。 在数据驱动的方式中,我们汇集了来自142研究的不同对比/实验的所有坐标,并观察了核心奖励网络,其包括NAcc,外侧/内侧OFC,ACC,前岛叶,背内侧PFC,以及侧面额顶区。 最近一项关注决策风险评估的荟萃分析研究报告了类似的奖励回路(Mohr等,2010)。 此外,从理论驱动的角度来看,我们将奖励处理的预期和结果阶段中涉及正价和负价的神经网络进行了对比,并阐明了与价相关的评估以及它们在预期和期望中的优先参与的不同神经基质。结果。
4.1核心奖励领域:NAcc和OFC
NAcc和OFC长期以来被认为是奖励处理的主要参与者,因为它们分别是两种不同的多巴胺能通路的主要投射区域,即中脑边缘和中皮层通路。 然而,仍然不知道多巴胺神经元如何在这些边缘和皮质区域中明显地调节活动。 以前的研究试图在时间阶段区分这两种结构的作用,将NAcc与奖励预期相关联,并将内侧OFC与奖励的接收联系起来(克努森 et al.,2001b; 克努森 et al., 2003; Ramnani et al., 2004)。 其他研究的结果质疑这种区别(Breiter等,2001; Delgado等,2005; 罗杰斯等人,2004)。 许多研究还暗示NAcc负责检测预测误差,这是激励学习和奖励关联中的关键信号(McClure等,2003; O'Doherty等人,2003b; Pagnoni等,2002)。 研究还发现,NAcc显示出双相反应,因此NAcc中的活性会因负预测误差而降低并降至基线以下(克努森 et al.,2001b; 麦克卢尔 et al., 2003; O'Doherty et al.,2003b)。 尽管OFC通常表现出与NAcc相似的活动模式,但人类之前的神经影像学研究表明,OFC用于将各种刺激转化为共同货币的奖励值(Arana等,2003; Cox等,2005; Elliott等人,2010; FitzGerald等人,2009; Gottfried等,2003; Kringelbach等,2003; O'Doherty等人,2001; Plassmann等,2007)。 这些发现与动物单细胞记录和病变研究获得的结果相似(Schoenbaum和Roesch,2005; Schoenbaum等,2009; Schoenbaum等,2003; Schultz等人,2000; Tremblay和Schultz,1999, 2000; Wallis,2007).
我们的整体分析表明,NAcc和OFC对一般奖励处理做出了回应(图1A 和 图2A)。 NAcc中的激活在不同阶段大部分重叠,而内侧OFC更多地调整以奖励收据(图1C / E. 和 图2C)。 这些研究结果强调,NAcc可能负责跟踪奖励的正面和负面信号,并使用它们来调节奖励关联的学习,而OFC主要监测和评估奖励结果。 需要进一步调查以更好地区分NAcc和OFC在奖励相关决策中的作用(弗兰克和克劳斯,2006; 野兔 et al., 2008).
4.2与Valence相关的评估
除了将各种奖励选项转换为共同货币并表示其奖励值之外,奖励回路中的不同大脑区域可以分别编码奖励的正和负价。 对奖励效价的直接比较显示,NAcc和内侧OFC对积极与消极奖励的反应更为积极(图1B / D. 和 图2B / D.)。 相反,前岛叶皮质参与负奖励信息的处理(图1B 和 图2B)。 这些结果证实了积极与消极奖励的内侧 - 外侧区别(Kringelbach,2005; Kringelbach和Rolls,2004),与我们之前关于奖励任务的研究中观察到的一致(刘 et al., 2007)。 ACC的子区域唯一地响应正面和负面奖励。 靠近内侧OFC的前置和头端ACC由阳性奖励激活,而尾部ACC对阴性奖励作出反应(图1B 和 图2B)。 ALE和PVM荟萃分析还显示PCC始终由积极奖励激活(图1B 和 图2B).
有趣的是,编码正负价的独立网络类似于两个反相关网络,默认模式网络和任务相关网络之间的区别(Fox等人,2005; Raichle等,2001; Raichle和Snyder,2007)。 最近的荟萃分析发现,默认模式网络主要涉及内侧前额区(包括内侧OFC)和内侧后皮质(包括PCC和前躯),任务相关网络包括ACC,岛叶和侧前额叶地区(Laird等,2009; Toro等人,2008)。 通过积极奖励在内侧OFC和PCC中激活反映了在休息状态期间通常观察到的默认模式网络,而通过负面奖励在ACC,岛叶,侧前额叶皮层中激活与任务相关网络并行。 发现这种内在的大脑功能组织会影响奖励和风险决策,并解释风险特征的个体差异(Cox等,2010).
4.3预期与结果
与结果期相比,双侧前岛叶,ACC / SMA,下顶叶小叶和脑干在预期中表现出更一致的激活(图1C / E. 和 图2C / E.)。 前脑岛和ACC先前已涉及到对照,情感和同理心(克雷格,2002, 2009; Gu等人,2010; Phan等人,2002),风险和不确定性评估(Critchley等人,2001; Kunnen和Knutson,2005; Paulus等,2003),在预期中发挥其作用。 正如最近的一项荟萃分析所揭示的那样,前脑岛一直参与风险处理,特别是在预期损失方面。Mohr等,2010)。 类似于OFC的作用,顶叶小叶与不同选择的评估相关(Sugrue et al., 2005),数值表示(科恩卡多什 et al., 2005; 哈伯德 et al., 2005)和信息集成(Gold和Shadlen,2007; Yang和Shadlen,2007)。 因此,至关重要的是,顶叶小叶参与奖励处理的预期阶段,以便计划和准备知情行动(安德森和崔,2009; Lau等人,2004a; Lau等人,2004b).
另一方面,与预期阶段相比,腹侧纹状体,内侧OFC和杏仁核在奖励结果期间显示优先激活(图1C / E. 和 图2C)。 这些模式与我们和其他研究人员之前发现的一致(Breiter等,2001; Delgado等,2005; Liu等人,2007; 罗杰斯等人,2004),在奖励预期和奖励结果中各自的作用方面,反对腹侧纹状体和内侧OFC之间的功能分离(Knutson等,2001a; Knutson等,2001b; Knutson等,2003).
4.4奖励处理的示意图
基于参与奖励决策各个方面的共同和不同网络的发现,我们提出了一个示意图,总结了奖励处理中估值和效价的分布式表示(图3)。 我们根据他们在不同过程中的角色暂时将不同的大脑区域分组,尽管每个区域可以以更复杂的方式提供多种功能并与其他大脑区域相互作用。 当面临替代选择时,每个选择都具有独特的特征,如幅度和概率,这些属性需要转换为可比较的基于价值的信息,即“共同货币”。 我们不仅要比较这些替代选择的值,还要比较事实和预测值以及与未选择的选择相关的虚构值(例如,预测误差信号)。 腹侧纹状体和内侧OFC与这种基于价值的表示有关。 还发现下顶叶小叶参与表示和比较数字信息。 此外,基于价值的决策不可避免地导致基于结果的效价和相关的情绪反应来评估选择。 虽然腹侧纹状体和内侧OFC也参与检测阳性奖励效价,但侧向OFC,前岛叶,ACC和杏仁核主要涉及负奖励效价的处理,最可能与它们在负面情绪反应中的评价作用有关。 由于通常与风险相关的负面影响,前岛叶和ACC也参与风险决策的奖励预期,特别是对于预期损失的不确定性厌恶反应。 最后,前顶部区域用于整合并对这些信号起作用以产生最佳决策(例如,赢 - 停 - 失 - 开关)。
4.5警告
需要注意几个方法上的警告。 第一个问题与报告不同研究结果的偏差有关。 一些研究纯粹基于ROI,被排除在当前研究之外。 不过,其他人则单挑或更加重视 先前的 区域通过报告与这些区域相关的更多坐标或对比。 他们可能会将结果偏向于确认“热点”。 其次,我们要谨慎对待奖励处理的不同方面的概念区分。 我们将各种对比分为不同的理论兴趣类别。 然而,在现实生活决策或许多实验任务中,这些方面并不一定有明确的分歧。 例如,对先前选择和奖励结果的评估可能与即将到来的奖励预期和决策制定相混合。 奖励处理的不同阶段没有明确的界限,使我们目前的分类开放供讨论。 尽管如此,这种假设驱动的方法非常需要(Caspers等,2010; Mohr等,2010; Richlan等,2009),补充了元分析的数据驱动性质。 与奖励决策相关的许多因素,例如风险评估和奖励类型(例如,主要与次要,货币与社会),需要额外的荟萃分析。
研究重点
- 我们对142 fMRI奖励研究进行了两组基于坐标的荟萃分析。
- 核心奖励电路包括伏核,脑岛,眶额,扣带和额顶区。
- 伏隔核由各种奖励处理阶段的正面和负面奖励激活。
- 其他地区对积极或消极的奖励,或在预期或结果期间表现出优先回应。
致谢
本研究得到了中国科学院百人计划项目,NARSAD青年研究员奖(XL)和NIH Grant R21MH083164(JF)的支持。 作者希望感谢BrainMap和Sergi G. Costafreda的开发团队为本研究提供了出色的工具。
附录
当前研究的荟萃分析中包含的文章列表。
脚注
作者贡献:XL设计并监督整个研究。 JH和MS对本研究做出了同等贡献,进行了文献检索,数据提取和组织。 JF参与了讨论和稿件准备。
发布者的免责声明: 这是未经编辑的手稿的PDF文件,已被接受发布。 作为对我们客户的服务,我们正在提供该手稿的早期版本。 在以最终的可引用形式发布之前,稿件将进行复制,排版和审查。 请注意,在制作过程中可能会发现可能影响内容的错误,以及适用于该期刊的所有法律免责声明。
参考资料