Orbitofrontal Cortex决策和药物成瘾（2006）

转到：

抽象

介绍

我们对即将发生的事件的可取性或价值形成期望的能力是我们的大部分情感和行为的基础。 实际上，通过形成这种期望，两个广泛的功能得到了至关重要的支持。 一方面，期望指导我们的直接行为，使我们能够追求目标并避免潜在的伤害。 另一方面，可以将期望与实际结果进行比较，以促进学习，从而使未来行为变得更具适应性。 这两个功能都要求在内存中保留有关预期结果的信息，以便可以将其与内部状态和当前目标的信息进行比较和集成。 这样一个综合过程产生一个信号，我们将其称为结果预期，这个术语长期用于学习理论家，以指代可能遵循特定行为的后果的内部表示[1]。 预计这种信号的中断会产生无数的困难，无论是做出适应性决定还是学习决策的负面后果。 在这篇综述中，我们首先描述了最近的证据，即眶额皮质（OFC）在结果预期的产生和使用中起着至关重要的作用。 随后，我们将讨论最近的证据，即药物成瘾特征的适应不良决定部分反映了由于药物引起的OFC和相关脑区变化导致的这种信号的破坏。

OFC和OFC依赖行为的神经活动反映了OFC在结果预期产生中的关键作用

维护信息以便可以对其进行操作，与其他信息集成然后用于指导行为的能力已被不同地描述为工作，暂存器或代表性记忆，并且它主要取决于前额皮质[2]。 在前额叶皮质中，OFC通过与边缘区域的连接，具有独特的定位，能够获得关于结果或后果的关联信息，以获得代表性记忆（框1）。 事实上，越来越多的研究表明结果的预期价值的神经相关性存在并且可能在OFC中产生。 例如，人类神经影像学研究表明，在预期预期结果期间OFC的血流量发生变化，并且预期结果的值被修改或未实现[3–6]。 这种激活似乎反映了这些项目的激励价值，并且当该信息被用于指导决策时被观察到[7]。 这些结果表明OFC中的神经元在处理这些信息时会增加活动。 因此，在预测的奖励或惩罚之前的OFC中的神经活动增加，通常反映这些结果的激励价值[8–11]。 例如，当猴子被呈现出具有不同优选奖励的视觉提示时，OFC中的神经元根据预期结果是否是该试验块内的优选或非优选奖励而选择性地激活[10]。 此外，Roesch和Olson [11]最近证明了在OFC中的射击追踪结果值的其他几个特定指标。 例如，神经元根据其预期大小，获得它所需的预期时间以及与不适当行为相关的可能厌恶后果，以不同方式进行奖励。11,12].

方框1。 大鼠和灵长类动物眶额回路的解剖学

罗斯和伍尔西[53]提出前额叶皮层可能是由丘脑底侧（MD）的预测而不是'地层类比'[54]。 该定义为定义跨物种的前额同源物奠定了基础。 然而，真正定义同源区域的功能和解剖学相似性（本框的图1）。

在大鼠中，MD可以分为三个部分[55,56]。 来自MD的内侧和中央部分的投射定义了包括眼眶区域和腹侧和背侧的粒状岛状皮质的区域[55–58]。 大鼠MD的这些区域接受来自杏仁核，内侧颞叶，腹侧苍白球和腹侧被盖区的直接传入，并且它们接受来自梨状皮质的嗅觉输入[55,56,59]。 这种连接模式类似于灵长类动物MD的内侧定位的大细胞分裂，它定义了灵长类动物的眼眶前额细分[60–62]。 因此，大鼠前额叶皮层的轨道区域中的限定区域可能接收来自丘脑的输入，其与到达灵长类动物轨道前额叶皮层非常相似。 部分地基于这种输入模式，已经提出大鼠前额叶皮质的眼眶和腺体岛状区域中的内侧和中央MD的投射场与灵长类动物眶额区域同源[55,57,63–65]。 啮齿动物的这些区域包括背侧和腹侧的颗粒状岛状皮质，以及外侧和腹外侧眶区。 这种大鼠眶额皮质（OFC）的概念不包括沿着半球内侧壁的内侧或腹内侧眶皮质。 该区域具有与MD和其他区域的连通模式，这些区域与内侧壁上的其他区域更相似。

其他重要的连接突出了大鼠OFC和灵长类动物OFC之间的相似性。 也许最值得注意的是与杏仁核（ABL）的基底外侧复合体的相互联系，这个区域被认为涉及学习的情感或动机方面[66–74]。 在灵长类动物中，这些联系被用来解释OFC或ABL受损导致的行为异常的具体相似性[14,17,75–77]。 基底外侧杏仁核与大鼠OFC区域之间的相互联系，特别是颗粒状岛状皮质[58,78–80]，表明这些结构之间的相互作用对于调节大鼠的行为功能可能同样重要。 此外，在大鼠和灵长类动物中，OFC为伏隔核提供强烈的传出投射，与来自边缘结构（如ABL和下丘脑）的神经支配重叠[81–84]。 连接OFC，边缘结构和伏隔核的特定电路呈现出惊人的物种平行，表明前脑的这些主要成分之间的功能相互作用可能相似[81,84,85].

图一

大鼠和猴子中OFC（蓝色）的解剖关系。 基于它们与背侧丘脑（MD，绿色），杏仁核（橙色）和纹状体（粉红色）的连接模式，大鼠前额叶皮质中的眼眶和腺体岛状区域与灵长类动物OFC同源。 在这两个物种中，OFC从感觉皮层和杏仁核的相关信息中获得强大的输入，并通过纹状体将输出发送到运动系统。 每个框都显示了一个代表性的冠状切面。 附加缩写：AId，背侧粒状岛叶; AIv，腹侧粒状岛; c，中央; CD，尾状; LO，侧眶; m，medial; NAc，伏隔核; rABL，延髓头端侧杏仁核; VO，腹侧眶，包括腹外侧和腹内侧眶区; 副腹侧苍白球。

这种预期活动似乎是OFC中许多任务中发射活动的共同特征，其中事件以连续的，可预测的顺序发生（框2）。 然而，重要的是，可以在没有任何信号提示的情况下观察到这些选择性应答，并且当动物知道特定提示预测特定结果时获得它们。 换句话说，这种选择性活动代表了基于经验的动物对可能结果的期望。 这些功能如图所示 图1，它显示了大鼠记录的OFC神经元的群体反应，因为他们学习和逆转新的气味歧视问题[8,9,13]。 在这个简单的任务中，老鼠必须知道一种气味预测附近流体井的奖励，而另一种气味预示惩罚。 在学习初期，OFC中的神经元响应一个而不是另一个结果。 与此同时，神经元也开始响应，期待他们的首选结果。 在许多研究中，OFC中15-20％的神经元在此任务中产生了这样的活动，在预期蔗糖或奎宁呈现时发作[8,9,13]。 这种神经群体中的活动反映了预期结果的价值，维持在我们在此定义为代表性记忆。

方框2。 Orbitofrontal活动提供了即将发生的事件的持续信号

眶额皮层（OFC）可以很好地利用关联信息来预测并发出未来事件的价值。 虽然本评论的主要内容集中在奖励之前的延迟期间的活动以隔离此信号，但该论证的逻辑扩展是OFC中的活动在整个任务执行过程中对此信号进行编码。 因此，OFC提供了关于当前状态和正在考虑的可能的行动方案的相对价值的运行评论。

这种作用在OFC神经元的取样过程中很明显，可以预测奖励或惩罚的线索[86–88]。 例如，在训练有八种气味歧视任务的大鼠中，其中四种气味与奖励相关，四种气味与非奖励相关，OFC神经元受气味线索的联想显着性的影响比实际气味标识[87]。 事实上，如果气味识别无关紧要，OFC神经元将忽略该提示的这种感官特征。 Ramus和Eichenbaum证实了这一点[89]，他们训练老鼠进行八味连续延迟的非匹配样本任务，其中与奖励相关的相关构造不是气味识别，而是提示之间的“匹配”或“不匹配”比较当前和之前的试验。 他们发现64％的响应神经元区分了这种匹配 - 不匹配的比较，而只有16％选择性地射击其中一种气味。

虽然提示选择性激发被解释为联想编码，但我们认为这种神经元活动实际上代表了对动物潜在结果的持续评估。 因此，这些神经元的选择性激发并不仅仅反映了这样一个事实：特定的线索已经与过去的特定结果可靠地联系在一起，而是反映了动物在给定当前情况下的判断，这些情况会对该关联信息起作用，导致未来的结果。 该判断表示为相对于内部目标或愿望的特定结果的值，并且这些预期不断更新。 因此，OFC中的射击实质上反映了在给定特定响应的情况下将产生的后续状态的预期值，无论该状态是主要强化物还是仅仅是朝向该最终目标的步骤。 与该提议一致，对文献的回顾表明，如果OFC提供有关未来奖励可能性的信息，OFC中的编码可以可靠地区分许多事件，甚至是那些从实际奖励交付中删除的事件（图1中的方框）。 例如，在气味识别训练中，OFC神经元在预期在气味采样之前的鼻子戳时发射。 这些神经元的反应根据最近的试验顺序而有所不同[87,90]或地方[91]预测奖励的概率很高。

图一

预期试验事件的OFC中的神经活动。 在进行八味，Go-NoGo气味辨别任务期间记录大鼠OFC中的神经元。 显示了四个不同的眶额神经元的活动，与四个不同的任务事件同步 （广告）。 活动以光栅格式显示在顶部，并作为每个面板底部的周边事件时间直方图; 每个图上的标签表示同步事件以及在光照开始（LT-ON），气味戳（OD-POK），气味开始（OD-ON），水捅（WAT-POK）或水输送之前或之后发生的任何事件（WAT-DEL）。 数字表示试验次数（n）和每秒尖峰的数量。 四个神经元各自与不同事件相关联地发射，并且每个神经元中的发射在预期该事件时增加。 经许可改编自[87].

 

图1

眶额皮质结果预期的信号。 黑条表示在标准后阶段涉及神经元优选结果的试验的反应。 白条显示对非首选结果的反应。 活动已同步 ...

在学习之后，这些神经元被预测其优选结果的线索激活，从而在做出响应之前发出预期结果的信号。 这在人口响应中很明显 图1在学习之后，响应于预测神经元群体的优选结果的气味提示，其表现出更高的活性。 这些信号将允许动物使用对可能结果的期望来指导对线索的响应并在期望被违反时促进学习。

OFC通过发出结果预期信号指导行为的观点与OFC损伤对行为的影响一致。 当使用简单关联不能选择适当的响应时，这些效果通常是显而易见的，而是要求结果预期随时间积分或在备选响应之间进行比较。 例如，对OFC造成伤害的人无法根据他们在爱荷华州赌博任务中的行为后果来适当地指导行为[14]。 在这项任务中，受试者必须从牌组中选择，牌上有不同的奖励和惩罚。 为了做出有利的选择，受试者必须能够随着时间的推移整合这些不同奖励和惩罚的价值。 具有OFC伤害的个人最初选择产生更高奖励的套牌，表明他们可以根据奖励大小使用简单的关联来指导行为; 但是，他们未能修改他们的回复，以反映这些套牌中偶尔的大额罚款。 通过在做出选择之后维持关于代表性记忆中的预期结果的值的信息的能力，将有助于整合关于偶然的概率性惩罚的信息，从而可以识别违反该期望（偶尔的惩罚）。 这种缺陷类似于OFC损伤后大鼠，猴子和人类所表现出的逆转缺陷[15–21].

这种在代表性记忆中保存预期结果信息的能力也在最近的一项研究中得到了探讨，在这项研究中，受试者在两种刺激之间作出选择，以不同的概率预测惩罚或奖励[22]。 在本研究的一部分中，受试者被给予关于他们未选择的结果的价值的反馈。 正常受试者能够利用这种反馈调节他们对自己选择的情绪，并学习在未来的试验中做出更好的选择。 例如，当他们知道自己避免了大额罚款时，一个小小的奖励使他们更快乐。 OFC受损的个人对他们选择的奖励和惩罚表现出正常的情绪反应; 然而，关于未选择结果的反馈对他们的情绪或随后的表现没有影响。 也就是说，当他们获得奖励时，他们很高兴，但如果他们被告知他们也避免了大额罚款，他们就不高兴了。 这种损害与OFC在代表性记忆中维持关联信息以比较不同结果预期的作用是一致的。 如果没有这个信号，个人就无法比较选定和未选择结果的相对价值，因此无法利用这些比较信息来调节情绪反应并促进学习。

虽然这些例子很有启发性，但更直接地证明OFC在产生预期决策方面的关键作用来指导决策制定来自强化贬值任务。 这些任务通过内部表示预期结果的价值来评估行为控制。 例如，在这个程序的巴甫洛夫版本中（图2），首先训练大鼠将轻提示与食物联系起来。 在对光进行条件响应之后，通过将其与疾病配对来降低食物的价值。 随后，在探测测试中，在非奖励消退会话中再次呈现光提示。 接受食物 - 疾病配对的动物对轻度提示的反应比非贬值对照的反应要少。 重要的是，这种响应的减少从会话开始就很明显，并且叠加在会话期间消退学习的响应的正常减少上。 响应的初始减少必须反映使用食物当前值的内部表示与原始光食协会的组合。 因此，强化物贬值任务提供了操纵和使用结果预期来指导行为的能力的直接测量。

 

图2

眶额皮质神经毒性损伤（OFC）对强化物贬值任务中的表现的影响。 （一个） 对具有OFC的双侧神经毒性损伤的对照大鼠和大鼠进行训练，以使条件刺激（CS，光）与α相关联 ...

尽管正常的条件反射和结果的贬值，OFC病变的大鼠在这种范例中未能显示任何贬值对条件反应的影响[23]。 换句话说，他们继续对光线提示做出反应，并尝试获取食物，即使它们不会消耗它们（图2）。 重要的是，OFC损伤的大鼠在测试期间显示出正常的能够消除其反应的能力，证明它们的缺陷并不能反映出一般不能抑制条件反应[24]。 相反，OFC根据预期结果的新值的内部表示在控制条件响应中具有特定的作用。 因此，学习后OFC病变继续影响这项任务的行为[25]。 在训练有素执行此任务的工具版本的猴子中也报告了类似的结果[19].

具有OFC病变的大鼠也显示下游区域的神经生理学变化，这与结果预期的丧失一致。 在一项研究中[26]，从基底外侧杏仁核中的单个单位记录反应，该区域接受来自OFC的投射，在大鼠学习和逆转前面描述的任务中的新气味辨别。 在这些情况下，OFC病变破坏通常在基底外侧杏仁核中观察到的预期射击。 此外，没有OFC输入，基底外侧杏仁核的神经元变得更加缓慢，特别是在提示 - 结果关联被逆转之后。 由于OFC病变，尤其是在逆转期间，基底外侧杏仁核的联合编码较慢，这与结果预期促进其他结构学习有关的观点是一致的，特别是当预期因反转而受到侵犯时。 因此，OFC似乎产生并代表结果预期，这些预期不仅对根据对未来的期望的行为指导起关键作用，而且对从违反这些期望的行为中学习的能力也是至关重要的。 如果没有这个信号，动物就会受到先行线索和刺激 - 反应习惯的驱使，而不是结果或目标的认知表现。

成瘾行为和结果预期

最近的研究结果表明，OFC功能的这种概念化可以提供对药物成瘾的理解。 根据 精神疾病诊断与统计手册 [27]，物质依赖的诊断要求个体表现出无法控制他或她的吸毒行为，尽管有不良后果。 这种成瘾行为的特征在于强迫性，冲动性，持续性或在药物相关线索的控制之下。 此外，尽管有成瘾者要求停止，但经常观察到它。 因此，物质依赖性的诊断需要类似于OFC损伤的大鼠，猴子和人类的行为模式。

因此，药物成瘾与OFC结构和功能的变化有关。 例如，成瘾者的成像研究一直显示OFC的血流异常[28–33]（如需优秀评论，请参阅[34]）。 酒精和可卡因成瘾者在急性戒断期间甚至长期戒烟后的OFC激活的基线测量值显示减少。 相反，在暴露于与药物相关的线索期间，成瘾者表现出OFC的过度活跃，这与他们所经历的渴望程度相关。 这些变化与吸毒成瘾者OFC依赖行为的损害有关[35–39]。 例如，酒精和可卡因滥用者在前面描述的赌博任务中表现出类似的，但平均而言并不严重，与OFC病变的个体一样。 同样，其他实验室的决策测试表明，苯丙胺滥用者需要更长时间，并且不太可能选择最有益的选择而不是对照。 但这些缺陷是否反映了某些人已经存在的成瘾易感性？ 或者它们是长期药物诱导的神经适应的结果？ 如果是这样，它们是否反映了OFC内结构和/或功能的变化，或者它们是皮质模拟网络中模仿OFC病变影响的其他变化的结果？

为了回答这些问题，有必要转向动物模型，其中成瘾药物可以以相对固定的遗传和环境背景以受控方式递送。 越来越多的此类研究表明，长期接触成瘾药物 - 尤其是精神兴奋剂 - 导致相对持久的大脑和行为改变[40–50]。 重要的是，这些影响通常在停止后几个月和与药物暴露无关的行为环境中观察到，这与假设成瘾药物改变对正常行为控制至关重要的脑回路的假设一致。 最近，一些研究证明了对OFC的影响。 例如，据报道，接受过自我管理安非他明治疗数周的大鼠一个月后OFC中的树突棘密度降低[46]。 此外，这些经历过药物治疗的大鼠在响应于食欲的器械训练时表现出较少的树突重塑。 这些发现特别值得注意，因为先前在内侧前额叶皮层，伏隔核和其他地方报道的精神兴奋剂治疗后脊柱密度增加[41]。 因此，在这些皮质边缘区域中，OFC似乎在显示药物暴露后突触可塑性降低的证据方面是独特的。

OFC的可塑性降低可能会影响OFC依赖的功能。 与这一猜想一致的是，给予可卡因治疗两周疗程的大鼠表现出OFC依赖性行为的长期损害。 具体而言，这些动物无法使用预测结果的值来指导其行为。 在一个实验中[51]，每天给大鼠注射可卡因两周。 一个月后，在Go-NoGo气味辨别任务中测试这些大鼠。 在这项任务中，老鼠学会在闻到一种气味之后前往流体端口获得蔗糖，并且在闻到第二种气味后停止进入相同的流体端口以避免奎宁。 用可卡因处理的大鼠以与盐水处理的对照相同的速率学习这些区分，但是不能像对照一样快速地获得区分的逆转。 在间歇性长期接触可卡因的灵长类动物中也表现出类似的逆转缺陷[43]。 这种逆转缺陷是OFC病变动物和人类的特征[15–21]，他们被认为反映了无法迅速改变既定行为。 我们提出OFC在支持这种快速灵活性方面的作用与其在预示结果预期方面的重要性有关[26]。 在逆向学习期间，将该信号与实际的反转结果进行比较将产生对新学习至关重要的错误信号[1]。 没有这个信号，OFC病变的老鼠会学得更慢。 正如我们已经讨论过的，这种缓慢学习的神经生理学相关性最近已在OFC损伤大鼠的基底外侧杏仁核神经元的非灵活联想编码中得到证实[26].

这种信号的丢失在第二次实验中也很明显，其中大鼠用可卡因治疗两周，然后在前面描述的巴甫洛夫强化物贬值任务中进行测试[24]。 再次，在最后一次可卡因治疗后约一个月进行测试。 这些大鼠表现出正常的调理和贬值，并且在最后的测试阶段也正常响应; 然而，贬值的可卡因治疗的大鼠没有表现出对预测线索的正常自发减少。 这种赤字（图3）与此任务中OFC病变后的缺陷相同（图2）。 这些发现与无法表明预期结果的价值是一致的。 实际上，因为在这项任务中没有关于调节正常表现所需的表示的模糊性，这里描述的缺陷明确指出可卡因治疗大鼠的结果预期丧失。

 

图3

可卡因处理对强化物贬值任务中的表现的影响（图2）。 训练盐水和可卡因处理的大鼠将条件刺激（CS，光）与无条件刺激（美国，食物）联系起来。 （一个） 超过四个会话块， ...

这种信号机制的丧失将解释成瘾者继续寻求毒品的倾向，尽管这种行为几乎不可避免地会产生负面影响，因为这会使他们无法将这种预测信息纳入他们的决策过程，也许无法向他们学习甚至反复经历这些负面后果。 虽然也可能涉及其他脑系统，但这种OFC依赖性信号的药物诱导变化本身有助于从正常目标导向行为向强迫性习惯性反应过渡。 这种转变将反映这些竞争行为控制机制之间平衡的变化。 这样的解释将适用于吸毒成瘾者的吸毒行为，也适用于几种成瘾动物模型的最新发现，其中大鼠无法阻止吸毒行为，即使不利结果取决于这种行为[45,47].

结束语

我们已经审查了最近的调查结果，以支持OFC对于表明预期结果或后果的价值至关重要的提议。 我们还讨论了这个想法如何对于理解吸毒成瘾基础的病理学非常重要。 当然，这些想法引发了更多问题。 如果OFC产生关于预期结果的信号，了解下游区域如何使用这些信号变得至关重要 - 在正常动物中，除了暴露于成瘾药物之外。 我们已经建议如何参与基底外侧杏仁核[26]。 然而，了解这些信号在伏隔核中的作用 - 以及它们如何与其他“边缘”输入相互作用 - 可能对于理解成瘾更为重要。 一些实验室正在努力解决这些重要问题。 此外，重要的是要证明药物暴露后OFC依赖行为的变化是否实际上反映了OFC中分子或神经生理功能的改变，如初步记录数据所示[52或者他们是否可能反映电路中其他地方的变化，例如伏隔核，这是一个长期上瘾的区域。 当然，任何疾病的动物模型只有在建议对病理变化采取补救措施时才有价值。 这在病变的情况下是困难的，但是可能由于药物暴露而导致的缺陷。 然而，仍有待观察是否可以进行操作以使行为正常化以及可能在药物处理的动物中鉴定的任何分子或神经生理学相关性。 我们预计未来几年将解决这些问题和更多问题（框3).

致谢

参考资料