多巴胺，时间和人类的冲动（2010）

神经科学杂志. 2010 XNUMX月XNUMX日 30;30(26):8888-96。 doi：10.1523 / JNEUROSCI.6028-09。2010.

松A1, Shiner T., 西摩B., Dolan RJ.

作者信息

抽象

无序多巴胺神经传递涉及介导一系列行为和障碍的冲动，包括成瘾，强迫性赌博，注意力缺陷/多动障碍和多巴胺失调综合症。 尽管现有的多巴胺功能理论突出了基于异常奖励学习或行为去抑制的机制，但它们没有充分说明对时间延迟的病理性超敏反应，这种超敏反应形成了在这些疾病中看到的关键行为表型。 在这里，我们提供的证据表明，多巴胺在控制未来奖励时间与其主观价值之间关系中的作用可以弥合这一解释性差距。 使用跨期选择任务，我们证明药理学增强多巴胺活性通过增加延迟对奖励值（时间贴现）及其在纹状体中的相应神经表示的增加的微小影响来增加冲动性。 这导致相对于更快的奖励，在时间上遥远的过度折扣状态。 因此，我们的研究结果揭示了多巴胺影响人类决策的新机制，可以解释与功能亢进的多巴胺系统相关的行为异常。

介绍

与异常多巴胺功能相关的自我控制和冲动的特征性丧失例如成瘾，注意力缺陷/多动障碍（ADHD）和多巴胺失调综合征等障碍（Winstanley等，2006; Dagher和Robbins，2009; O'Sullivan等人，2009）。 在后者中，用多巴胺替代疗法治疗帕金森氏病（PD）使一些患者倾向于强迫行为，这表现为过度赌博，购物，进食和其他近视行为。 然而，表征这些行为的冲动性广泛表型包含了多种不同的决策过程，这些决策过程可以在神经生物学和药理学上分离（Evenden，1999; Ho等人，1999; Winstanley等人，2004a, 2006; Dalley等，2008）。 这些包括缺乏对优势运动反应的抑制，相对于损失的奖励超重，面对决策冲突时未能减速，以及倾向于选择较小的 - 较早 - 较大的奖励。

原则上，上述某些缺陷可以通过多巴胺在奖励学习中的既定作用与多巴胺能作用有关（Redish，2004; Frank等人，2007; Dagher和Robbins，2009）。 然而，暂时性（或选择性）冲动性 - 由于对未来奖励的过度贴现，对较小的 - 较晚的奖励的偏好越小越好（Ainslie，1975; Evenden，1999; Ho等人，1999; Cardinal等，2004） - 在学习方面更难以解释，尽管它仍然是推定的多巴胺能冲动的重要特征。 事实上，跨期选择的实验室测试表明成瘾者和ADHD患者的一个亚组似乎具有异常高的时间贴现率，强烈倾向于更小的更快奖励（Sagvolden和中士，1998; Bickel和Marsch，2001; Solanto等，2001; Winstanley等，2006; Bickel等，2007）。 这就提出了一个问题，即多巴胺是否在计算奖励的时间接近度与其主观价值（即时间贴现率）之间的关系中具有特定的作用，而与其对奖励学习的既定贡献无关。

为了研究多巴胺是否调节价值的时间依赖性编码，我们将多巴胺前体1-多巴，多巴胺拮抗剂氟哌啶醇和安慰剂给予执行跨期选择任务的健康志愿者。 该任务要求受试者在不同金额之间做出真正的选择，这些金额在不同的时间段内提供，主要涉及在较小的较早与较大的后期货币奖励之间进行选择。 这些选择的特点是模型兼具时间的折扣效应和增加奖励幅度的折扣效应（边际效用递减）（Pine等人，2009）。 因此，折扣效用或延迟奖励的主观价值由折扣因数（零与一之间的数字）和奖励效用的乘积确定。 如果多巴胺调节个人在此任务中的选择，则可能反映出折现率或效用凹度/凸度的变化（请参见材料和方法），这是我们能够通过使用行为和神经生理学水平来探究的区别。功能磁共振成像（fMRI）。 此外，我们评估了多巴胺是否对决策冲突导致的放慢速度有任何影响（Frank等人，2007; Pochon等，2008）区分冲动性的全局和离散影响。

材料和方法

我们使用fMRI，而受试者选择两个不同幅度（从1到£150）和延迟（从1周到1年）的连续呈现选项（图。 1）。 每个受试者在三个不同的场合（与三种药物状况有关）执行任务。 这些选择通常较小（较早）与较大（较晚）的选择。 在实验结束时（在每个实验阶段）随机选择一个受试者的选择，并通过银行转账支付实际费用（即在指定的未来日期）。 我们使用受试者的选择来评估折扣幅度和时间。 我们评估了将效用函数（将幅度转换为效用）与标准双曲线贴现函数相结合的模型。 简而言之，就是延迟奖励的折现效用（主观价值）的函数（V）等于 D × U 哪里 D 是0和1之间的折扣因子 U 是没有折扣的效用。 D 通常是奖励延迟的双曲函数，并包含折扣率参数（K），这决定了一个人贬值未来奖励的速度。 U 是（通常）奖励幅度的凹函数，取决于个别参数（r）确定函数的凹凸性，或者增益的边际效用递减率，以及相对于较小奖励的较大的瞬时值。 更棒的 K or r，个人可能选择越快的选择越多，因此个人就越冲动（Ho等人，1999; Pine等人，2009）。 根据效用理论，选择由效用最大化原则确定，从而选择具有最大折扣效用的选项。

图1 

任务设计。 受试者被给予一组220跨期二元选择，大多数在较小的较早和较大的较晚奖励之间，其数量从1-£150以及1-52周的相关延迟变化。 注意 ...

参与者成员

在实验中包括14名右手健康志愿者（6男性; 8女性;平均年龄，21;范围，18-30）。 对受试者进行预先评估，以排除具有神经或精神疾病史的患者。 所有受试者都给出了知情同意书，该研究得到了伦敦大学伦理委员会的批准。 一名受试者在第一次治疗后退出研究，未包括在结果中。 另一个没有完成扫描仪中的最终（安慰剂）会话，但是来自所有会话的行为数据和来自两个会话的成像数据都包含在结果中。

程序和任务说明

每个受试者在三个不同的场合进行测试。 在每次到达时，给受试者一份说明书，以解释如何实施药物致盲。 然后他们完成了视觉模拟量表（邦德和莱德，1974）测量主观状态，如警觉性，随后给予一个信封，其中包含两片药丸，即1.5毫克氟哌啶醇或安慰剂。 服用第一组药片后一个半小时，受试者被给予另一个包含两个药丸的信封，这两个药丸是Madopar（含有150 mg的l-dopa）或安慰剂。 安慰剂片剂（维生素C或多种维生素）与药物无法区分。 总之，每个受试者一次接受一剂Madopar，另一次接受一剂氟哌啶醇，并且在一次治疗中两组药片均为安慰剂。 与测试阶段相关的每种药物条件的顺序在不同受试者之间是平衡的，并且实验者不知道实现双盲设计。 摄入第二组片剂后开始测试30 min。 时间目的是在测试的大约一半时间内达到药物的峰值血浆浓度。 在测试之后，受试者完成另一个（相同的）视觉模拟量表。 在1周内没有发生两次测试会话。

行为任务主要是如下所述 Pine等人。 （2009）。 每个试验包括在较小的奖励和较大的奖励之间进行选择。 选择顺序呈现，分三个阶段（图。 1）。 前两个阶段包括每个选项的详细信息，即以磅为单位的奖励幅度以及在数月和数周内收到的延迟。 在显示选项之后，第三个屏幕提示主题使用右手在选项1（首先显示的选项）或选项2之间通过按钮框进行选择。 3的延迟遵循三个阶段中的每个阶段。 只能在选择屏幕的3之后进行选择。 一旦做出选择，所选选项以蓝色突出显示。 如果有足够的时间，主题可以改变他/她的想法。 在选择阶段之后，1-4会出现抖动延迟，然后呈现1的固定十字。

该实验包括总共200试验。 选项1是50％试验中较小的奖励。 此外，我们还进行了进一步的20“捕获”试验，其中一个选项的价值更高，并且比另一个更快。 这些捕获试验大约每十个试验发生一次，并使我们能够确定受试者如何专注于该任务，假设规范是在这些选择中更喜欢较早的奖励。 每个受试者在每个测试阶段（即，每种药物条件）被给予相同的选择阵列，除了在他们的第一次测试阶段被给予不同选择集的前两个受试者之外。 选项值是使用随机生成的幅度创建的，从£1到£150以1为单位，延迟范围从1周到1年，以单周为单位（但以月和周的数字表示），再次使用随机分布。 值的这种随机性质有助于正交化幅度和延迟。 为了在较小的较早和较大的奖励之间建立选择，我们引入了一个约束条件，即较大幅度的选项应该比较小的选项延迟更多，反之亦然。 受试者被分配到两个选择阵列中的一个，这取决于他们在第一次训练中的练习试验中的反应。 这样做是为了使所呈现的选择与受试者的冲动水平相匹配。

使用抽奖进行付款以从每个测试会话中选择一个试验。 为了强加生态有效性，我们使用了一种支付系统，确保所有选择都以现实的方式进行，并产生实际后果。 这种设计的关键是随机选择实验期间做出的选择之一，并为该选择选择实际支付选项。 这是通过在与所选期权相关联的时间进行的银行转账实现的，并且由所选期权的金额组成。 在完成所有测试后，使用手动抽奖实施付款选择。 彩票中包含220编号的球，每个球代表该任务的单个试验。 选中的球对应于该测试环节的奖励试验。 在选定的试验中，受试者选择的选项的大小和延迟是通过银行转账确定和授予的。 因此，每个受试者收到的付款是通过抽奖和他们做出的选择的组合来确定的 - 这种操纵确保受试者将所有选择视为真实。 支付系统的设计使得每个受试者平均每次会话收到£75。 参与实验没有其他付款。

在拍摄对象进入扫描仪之前，他们会看到彩票机，并解释银行转账将如何实施，以向他们保证付款和选择系统是真实的。 经过六次试验的短暂练习后，他们被带入扫描仪，在那里他们分别进行了两次110试验，总共持续~50分钟。

成像程序

通过使用3-tesla Siemens Allegra仅头部MRI扫描仪进行功能成像，以获得具有血氧水平依赖性（BOLD）对比度的梯度回波T2 *加权回波平面图像（EPI）。 我们使用了一个序列来优化眶额皮质的功能敏感性（Deichmann等人，2003）。 这包括在30°倾斜取向到前扣带 - 后扣带AC-PC线的倾斜采集，以及在切片选择中施加持续时间为1 ms和幅度为-2 mT / m的准备脉冲方向。 该序列能够以36的重复时间（TR）获取3轴向切片的3 mm厚度和2.34 mm面内分辨率。 将受试者置于扫描仪内的轻型头枕中以限制在采集期间的头部运动。 功能成像数据在两个单独的610卷会话中获得。 在测试会话之后还为每个受试者获取T1加权的结构图像和场图。

行为分析

为了获得冲动选择的总体测量，我们计算了每种受试者在每种药物条件下从220试验中选择的较早选择的数量。 在所有三种药物条件下，没有做出反应的试验被排除在该总和之外。 例如，如果一名受试者在安慰剂条件下没有及时响应试验编号35，则该试验被排除在该受试者的其他两个条件下的计数之外。 这确保了在逐个试验的基础上进行比较（因为在每个测试期间给出了相同的一系列试验）并且药物对该测量的任何影响与在每种条件下做出的选择的数量无关。 使用重复测量ANOVA来寻找药物条件下该总体测量的任何差异。

参数估计

我们实施了softmax决策规则来分配概率（PO1 对于选项的每个选项，选项1）给定选项的值（VO1 对于选项1）

POi=e(VOi/β)e(VO1/β)+e(VO2/β).
(1)

VOi 根据特定的期权估值模型（见下文）表示期权的价值（即延迟奖励）。 该 β 参数表示受试者行为的随机程度（即，对每个选项的值的敏感性）。

我们使用了期权估值的贴现效用模型，我们之前曾报道过（Pine等人，2009），以使其准确地适合受试者在此任务中的选择。 该模型指出，折扣实用程序（V）奖励幅度（M）并延迟（d）可表示如下：

V=D(d)⋅U(M)=1 - e( - r⋅M)r(1+K⋅d),
(2)

哪里

D=11+K⋅d

和

U=1 - e( - r⋅M)r.

D 可以被认为是折扣因子 - 延迟相关因子（在0和1之间），通过该因子以标准双曲线方式打折效用（Mazur，1987）。 折扣率参数 K 量化个人对未来的贬值趋势，从而使一个高 K 当他们变得更加遥远时，他们会迅速贬值奖励。 U 是没有折扣的效用，由每个选项的大小决定 r，一个控制关系曲率的自由参数。 价值越大 r，实用功能越凹，哪里 r 是负的，效用函数是凸的。 更棒的 r （零以上），边际效用递减的速度越快，个体选择的冲动就越大。 请注意，根据传统的跨期选择估值模型，其中没有考虑到幅度的折扣（Mazur，1987），冲动性，由选择较小的选择权的倾向定义，仅仅是一个函数 K 所以两者可能会完美地相关联。 因此， K 通常被认为是这种特质的衡量标准。 然而，由于幅度的折扣也被证明可以决定动物和人类的选择结果（Ho等人，1999; Pine等人，2009），我们倾向于将冲动性与选择行为等同起来，因为时间贴现率与此关键指标并不完全相关。

为了计算每个模型的最大似然参数以及拟合的度量，使用最大似然估计。 每个参数（包括 β）被允许自由变化。 对于每个受试者，使用softmax公式计算从220选择（包括捕获试验）中选择的每个220选项的概率，并使用Matlab（MathWorks）中的优化函数实现。 使用在试验中选择的选项的概率计算对数似然 t (PO(t)） 从 式。 1 搜索

lnL=ΣtlnPO(t).
(3)

重复测量ANOVA用于测试贴现率的任何差异（K）和实用程序凹陷（r）跨越药物条件。

出于成像和反应时间分析的目的，进行进一步的估计，其中来自每个条件中的每个受试者的所有选择被组合在一起（如同由一个受试者做出）并被建模为规范受试者以估计规范参数值（使用上面的拟合程序，参数估计）。 执行此操作是为了减少与单一主题级别的拟合过程相关的噪声。 此外，我们不希望在分析fMRI数据时将行为差异建立到我们的回归模型中，因为我们为行为结果寻找独立证据。

成像分析

使用SPM5进行图像分析（www.fil.ion.ucl.ac.uk/spm）。 对于每个会话，丢弃前五个图像以考虑T1平衡效应。 将剩余的图像重新调整到第六卷（以校正头部运动），使用场图未经扭曲，在空间上标准化为蒙特利尔神经病学研究所（MNI）标准脑模板，并在空间上使用8 mm的三维高斯核完全平滑 - 半高宽（FWHM）（并重新采样，得到3×3×3 mm体素）。 使用1 / 128 Hz高通滤波器去除低频伪像，并且通过使用AR（1）过程的预白化来校正fMRI时间序列固有的时间自相关。

在一般线性模型的背景下使用参数调制生成单主题对比图。 我们进行了一项分析，检查了归因于不同回归量的区域BOLD响应的变化： U, D及 V 适用于所有药物条件的所有选择。 这使我们能够确定与评估和整合不同价值成分（安慰剂条件）有关的区域，并寻找药物条件下这些激活的任何差异。

U, D及 V 每个选项（每个试验两个）使用规范参数估计值计算（K 和 r）在我们的折扣实用新型的背景下，并与每个选项开始时的规范血液动力学反应函数（HRF）进行卷积。 所有起始都被建模为棒函数，并且在通过SPM5分析之前，相同模型中的所有回归量被正交化（按照上述顺序）。 为了校正运动伪影，将六个重新排列参数建模为每个分析中不感兴趣的回归量。 在另一项分析中，我们通过实施另一个回归模型，但现在删除了正交化步骤，删除了与fMRI分析中回归量正交化相关的任何潜在混淆。 这里，回归者被允许竞争方差，这样在这个更保守的模型中，任何共享的方差分量都被删除，只显示出独特的组成部分。 U, D及 V。 在这个模型下，我们再次观察到相同的差异 D 和 V 跨越药物条件，没有区别 U虽然差异的幅度减少了。

在第二级（组分析），通过随机效应分析确定了第一级指定的每个回归量显着调节的区域。 β 来自单主题对比图的图像。 当进行与左旋多巴和安慰剂试验的差异相关的对比时，我们将冲动性测量的变化（选择的较快数量的差异）作为协变量包括在内。 我们报告峰值体素水平的区域的结果 t 价值相当于 p <0.005（未校正），最小群集大小为XNUMX。 坐标从MNI数组转换为的立体定位数组 Talairach和Tournoux（1988） (http://imaging.mrc-cbu.cam.ac.uk/imaging/MniTalairach).

将结构T1图像共同配准到每个受试者的平均功能性EPI图像，并使用源自EPI图像的参数进行标准化。 通过覆盖解剖学定位来进行解剖学定位 t 在一个标准化的结构图像上的地图，平均跨主题和参考解剖图谱 Mai等人。 （2003）.

决策延迟数据

为了检验决策冲突（选择难度）对决策延迟的影响，我们通过计算折扣效用的差异来计算每个220选择的难度度量（ΔV）这两个选项。 使用折现实用新型和规范参数估计计算该度量（出于同样的原因，它们用于fMRI分析）。 然后进行线性回归以模拟每个选择的决策延迟与难度测量之间的关系。 参数估计（βs）然后用作总结统计量，并且通过单样本进行二级分析 t 测试比较 βs反对零。 对于每种药物条件下的组，分别进行该操作。 为了测试药物条件下冲突和潜伏期之间关系的任何差异，我们使用配对样本 t 试验。

成果

我们首先分析了药物操作对行为的影响，考虑了相对于所选择的较大后期选项的较小的比例，以及在每种情况下进行的总220选择。 这些数据显示，相对于安慰剂条件，在l-多巴条件下选择的更快选择的数量显着增加（平均136对比110， p = 0.013）（表1, 图。 2）。 引人注目的是，在可以进行这种比较的所有受试者中观察到这种模式。 氟哌啶醇和安慰剂条件对这种情况没有显着差异。 注意，任务由每个条件中的相同选择数组组成。

图2 

安慰剂和左旋多巴条件下的行为比较和参数估计。 a，受试者在所有三种治疗条件下执行完全相同的（220）选择，但更多时候选择较小 - 较早 - 较大 - 较晚 ...
表1 

行为结果摘要

我们接下来使用最大似然估计来找到最佳拟合参数（K 和 r）对于折扣效用模型，对于每种条件下的每个受试者，确定对这些参数中的任一个的特定效果是否介导观察到的行为冲动的增加。 通过比较控制折扣率和公用事业凹度的估计参数，发现了多巴对贴现率的特定影响，对效用凹度没有影响（表1, 图。 2及 补充表1，可在 www.jneurosci.org as 补充材料）。 因此，在l-多巴下，相对于安慰剂，观察到更高的贴现率（p = 0.01），导致未来奖励更大的贬值。 作为说明，使用组规范参数估计来绘制每种药物条件的折扣函数，可以看出，在安慰剂下，对于35奖励，其需要~150周的延迟以具有当前（主观）值。然而，100，在l-dopa下，同样的贬值发生了相同的延迟，仅延迟了15周（图。 2）。 用于成像分析的典型参数估计是0.0293 for K 和0.0019 for r （所有的价值观 K 报告的时间单位为周数。

依据 Pine等人。 （2009），每个主题（跨条件）的参数估计值大于零，揭示了时间贴现的显着影响（p <0.001）和瞬时效用的非线性度（凹度）（p <0.05）。 请注意，与传统的跨期选择模型不同（Mazur，1987），选择结果只是一个功能 K，这里使用的模型意味着选择的更快的选项的数量也取决于 r 参数（见材料与方法）（Pine等人，2009） 因此 K 它本身并不是纯粹选择冲动的量度。 此外，估计参数的准确性取决于受试者反应的随机性和一致性。 例如，受试者13的安慰剂试验中的估计参数相对于其余数据是异常的（补充表1，可在 www.jneurosci.org as 补充材料），表明此主题可能在本次会议中做出了不一致的选择。 在比较不同主题时，请注意所做出的选择越早，也取决于主题收到的选择（两个中的一个）。

此外，我们检查了决策延迟的放缓是否明显，因为选择变得越来越困难 - 随之而来的是期权价值越来越接近 - 以及这一指标是否明显存在任何群体差异。 我们进行了回归分析，以评估决策潜伏期与每项选择难度之间的关系，通过贴现效用的差异来衡量（ΔV）使用估计的参数值计算的两个选项之间。 安慰剂（p <0.001），左旋多巴（p <0.001）和氟哌啶醇（p <0.001）条件下，受试者的决策潜伏期随着Δ的增加而增加V 变小了，也就是说，随着选项之间主观价值的差异变小。 然而，在该药物条件下没有观察到总体差异。 这表明，与选择结果不同，多巴胺操作不会影响称重决定的时间量或“保持你的马匹”的能力，并证实冲动性不是单一构造的建议（Evenden，1999; Ho等人，1999; Winstanley等人，2004a; Dalley等，2008）。 这一观察符合先前的发现，即PD中的多巴胺药物状态与不同选择任务中决策潜伏期的变化无关（Frank等人，2007).

通过比较三个因素的变化来分析主观效应 邦德和莱德（1974）相对于在安慰剂条件下观察到的分数的变化，即警觉性，满足性和平静性。 在氟哌啶醇与安慰剂条件下发现差异，其中受试者在氟哌啶醇下不太警觉（p <0.05）。

为了确定如何在神经水平上表示l-多巴下增强的冲动性，我们应用了三个（正交化的）参数回归量， U, D及 V，与我们的模型所确定的每个选项对大脑成像数据的呈现方式相关。 在每个条件下，使用从所有受试者的选择中估计出的规范参数值，为每个受试者创建回归变量，以检验大脑活动在两个条件之间没有差异的原假设。

在初步分析中，我们检查了安慰剂条件下这三种回归量的相关性，以复制先前的发现（Pine等人，2009）。 我们的结果（补充结果，可在 www.jneurosci.org as 补充材料）与之前显示的那些一致 D, U及 V 所有这些都与尾状核（以及其他区域）中的活动独立相关。 这支持选项评估的分层，集成视图，其中有价值的子组件被不可编码地编码，然后组合以提供用于指导选择的总体值。

关键的fMRI分析侧重于l-dopa期间与安慰剂条件相比的期权估值的关键行为差异。 比较神经活动时 U, D及 V，两者都有显着差异 D 和 V，一个符合行为结果的发现。 具体而言，我们观察到与贴现因子相关的区域的活动增强 D 相对于安慰剂条件，在l-dopa下（图。 3a 和 补充结果，可在 www.jneurosci.org as 补充材料并且没有氟哌啶醇的作用（即，安慰剂和氟哌啶醇条件下的回归系数没有显着差异）。 这些区域包括纹状体，岛叶，亚带扣带和侧眶额皮质。 这些结果表明，作为奖励的这些区域的活动特征性降低变得更加延迟（或随着它们在时间上更接近而增加）（McClure等，2004; Tanaka等，2004; Kable和Glimcher，2007; Pine等人，2009） （也可以看看 补充结果 安慰剂，可在 www.jneurosci.org as 补充材料在相对于安慰剂条件的l-多巴中，以与行为发现平行的方式更明显，其中左旋多巴通过增加贴现率增加了对更快奖励的偏好，从而使得更快的奖励相对于后来的奖励更具吸引力。 而且，正如估计的没有显着差异一样 r 通过这些试验的参数，我们观察到没有显着差异 U l-多巴和安慰剂试验之间的活动，表明左旋多巴不影响奖励效用的编码。

图3 

响应于主观值和折扣因子（统计参数图和参数估计），l-多巴和安慰剂条件之间的神经活动的差异。 a，与折扣因子相关的区域（D）（即奖励接近度） ...

之前的学习 （Kable和Glimcher，2007; Pine等人，2009），以及对安慰剂组的单独分析，牵连纹状体区域，以及编码打折效用（V）。 比较与之相关的区域时 V与安慰剂条件相比，在l-多巴中，在尾状核，岛叶和外侧下额叶区观察到活动减少（图。 3b 和 补充结果，可在 www.jneurosci.org as 补充材料）。 该结果表明，对于给定幅度和延迟的奖励，由编码主观值（折扣效用）的区域中的活动减少由左旋多巴产生。 这种减少与增强的时间贴现相关，并导致相对于安慰剂在这种情况下选择较小的较快（冲动）选择的增加。

因为fMRI数据使用相同的一组规范参数（在所有条件下，测试零假设它们都是相同的），这些发现符合行为结果，因此增加l-dopa下的贴现率会导致 D，导致相应减少 V 因此，对更快奖励的相对偏好增加。 注意，如果单独使用多巴胺编码的折扣效用，则可以预测相反的结果，在l-多巴条件下具有更大的活性。

检查行为结果（表1, 图。 2）显示，在一些受试者中，l-多巴后的冲动性增加的程度大于其他受试者。 在此基础上，我们通过计算安慰剂和左旋多巴试验中选择的较快选择数的差异评分，对先前的对比进行了协变量分析。 该度量越大，由l-多巴诱导的冲动（贴现率）的增加越大。 通过在对比比较中将该量作为协变量回归 D 在l-dopa减去安慰剂条件下（图。 3a），我们发现与杏仁核中的活性显着相关（双侧）（图。 4）。 因为受试者的选择分数的差异可能部分地受到以下事实的影响：受试者被分配到两个可能的选择集中的一个，并且为了增加能力（能够包括更多受试者），我们重复该分析，这次使用差异估计 K 安慰剂到左旋多巴试验的价值。 这个分析的结果（见 补充结果，可在 www.jneurosci.org as 补充材料）再次表明杏仁核活动与增加程度之间存在强烈的正相关关系 K 从安慰剂到左旋多巴试验。 这些结果表明个体受试者在左旋多巴影响下对冲动的易感性受到杏仁核对奖赏的时间接近度的响应程度的调节。

图4 

胎儿间的变异性增加了l-多巴后的冲动性。 a，统计参数图显示区域表示对折扣因子的总体敏感性（在l-dopa减去安慰剂条件下）并且与其程度相关 ...

讨论

现有的多巴胺理论关注其在奖励学习中的作用，其中多巴胺被认为是调解用于更新状态值的预测误差信号，以及在决策过程中分别允许预测和控制的动作。 这些模型已用于说明异常多巴胺处理如何根据经验（即通过学习）导致冲动和成瘾行为（Redish，2004; Frank等人，2007; Dagher和Robbins，2009）。 在这里，基于奖励时间与其效用的关系，独立于反馈和学习，明确地探讨了冲动性的一个独特方面。 在跨期选择中，决策者必须在不同幅度和延迟的奖励之间进行选择。 这是通过贴现未来效用量（根据其延迟）的值来比较它们的现值来实现的。 在这个框架内，多巴胺可能以两种不同的方式增加冲动选择（Pine等人，2009），如下：由于收益的边际效用递减率增加（这将减小相对于较小幅度奖励的较大幅度的主观瞬时值），或通过增强对未来奖励的时间贴现。 我们的研究结果表明，多巴胺选择性地影响贴现率，对效用函数没有任何显着影响。 此外，这些行为结果由fMRI数据独立支持，因为左旋多巴引起的关键差异是与奖励折扣相关的区域中的神经反应的调节，因此，它们的总体主观价值，没有明显的效果。奖励的实际效用。 总之，本研究提供的证据表明，多巴胺可以控制如何将奖励的时间安排纳入其最终价值的构建中。 这表明多巴胺通过其控制人类选择的新机制，并相应地控制诸如冲动之类的特征。

我们的结果增加了冲动性不是单一构造的建议，而且冲动性的不同亚型可以在药理学和神经生物学上分离（Evenden，1999; Ho等人，1999; Winstanley等人，2004a; Dalley等，2008）。 多巴胺的影响只能通过选择结果/偏好来衡量冲动选择，但不影响审议 - “抱马”（Frank等人，2007） - 当期权被严格评估时，会发生决策冲突（Botvinick，2007; Pochon等，2008）也与反射或准备冲动有关（Evenden，1999; Clark等人，2006).

尚无人类研究证明多巴胺具有增强暂时性冲动的倾向。 先前在啮齿动物中进行的多巴胺操作在时间间隔选择中显示出不一致的效果，其中一些表明多巴胺增强导致冲动选择减少或多巴胺减弱导致增加（理查兹等人，1999; Cardinal等，2000; Wade等人，2000; Isles等，2003; Winstanley等，2003; van Gaalen等，2006; Bizot等人，2007; Floresco等，2008），而其他人证明相反，剂量依赖效应，或没有影响（Logue等人，1992; Charrier和Thiébot，1996; Evenden和Ryan，1996; 理查兹等人，1999; Cardinal等，2000; Isles等，2003; Helms等人，2006; Bizot等人，2007; Floresco等，2008）。 许多因素可能导致这些差异，即操纵是发生在学习前还是在学习后，是否在延迟期间出现提示，突触前与突触后药物作用，使用的范例，使用的药物/受体靶向，血清素的参与，尤其是药物剂量。 人际关于跨期选择的研究发现自我控制有所增加（de Wit等，2002）或没有影响（Acheson和de Wit，2008; Hamidovic等，2008）当增强多巴胺功能时。 大多数这些研究因使用单胺能刺激剂如安非他明或哌甲酯而变得复杂，这些刺激通常被认为会降低冲动性。 这些研究可能会因同时释放血清素而混淆（Kuczenski和Segal，1997），这也涉及跨期选择的调制。 具体而言，已经表明增强血清素功能可以减少跨期选择中的冲动，反之亦然（Wogar等，1993; 理查兹和塞登，1995; Poulos等人，1996; Ho等人，1999; Mobini等，2000和5-羟色胺能神经元的破坏可以阻止安非他明的影响（Winstanley等，2003）。 此外，据认为，在广泛证据的基础上，中等剂量的苯丙胺通过突触前效应减少多巴胺神经传递，这可以解释其在许多先前研究中的剂量依赖性效应以及其在中等剂量中的治疗功效（中等剂量）。推定高剂量多巴胺能ADHD（Seeman和Madras，1998, 2002; Solanto，1998, 2002; Solanto等，2001; de Wit等，2002）。 l-Dopa以前没有被用来影响冲动选择，也许为多巴胺的作用提供了更有说服力的直接证据。 尽管左旋多巴可导致去甲肾上腺素增加，并且其确切的作用方式尚未得到很好的理解，但认为去甲肾上腺素在跨期选择的调节中不发挥主要作用（van Gaalen等，2006）。 此外，l-dopa可能会导致主观效应，而这些主观效应并未被这里使用的主观尺度所吸收。

我们未能发现与推定的多巴胺能拮抗剂氟哌啶醇相比，安慰剂的冲动性相应降低，这可能反映了许多因素。 这些包括氟哌啶醇的非特异性和广泛的药理作用或剂量-一些研究表明，由于对D2自身受体的突触前作用，氟哌啶醇可能会小剂量反常地增强多巴胺（Frank和O'Reilly，2006）。 此外，药物引起的主观影响，包括警觉性的降低，可能使数据更加嘈杂。 进一步的研究应该使用更具体的多巴胺拮抗剂来评估多巴胺功能的降低是否会降低人类的冲动性。

众所周知，多巴胺对原始奖励行为具有显着影响，如接近和完善（Parkinson等，2002）。 这种影响与激励显着性的构建中的广泛作用一致（Berridge，2007; Robinson和Berridge，2008并且在学习方面本身更难以解释。 多巴胺对无条件和条件反应的调解与巴甫洛夫冲动的概念有关，其中与主要的先天价值相关的反应形成一个简单的，进化上指定的行动集，与其他控制机制并行，有时与其竞争，如习惯 - 基于目标的行动（Dayan等，2006; Seymour等人，2009）。 重要的是，这些“巴甫洛夫价值观和行动”在特征上取决于奖励的空间和时间接近度，因此，提供了一种可能的机制，通过该机制，多巴胺可以控制时间贴现的表观速率。 如果这一过程在此任务中支持多巴胺诱导的冲动性，则表明这种先天（巴甫洛夫）反应系统在比目前所理解的更广泛的背景下运作，因为此任务中的奖励是至少在1发生的次要奖励周。 这种解释与选择性多巴胺能增强系统（基于边缘区域）的观点形成鲜明对比，该系统仅重视短期奖励（McClure等，2004）。 这样的决斗系统账户很难与之前的研究相协调（Kable和Glimcher，2007; Pine等人，2009），这表明边缘地区在所有延误时都会给予奖励。

这样的说法提出了我们在数据中观察到的关于杏仁核依赖的多巴胺诱导的冲动易感性的重要问题。 在这里，杏仁核活动得到回应 D 与左旋多巴后行为变得更加冲动的程度相关。 在巴甫洛夫 - 器械转移（PIT）中，一种依赖于杏仁核和纹状体之间连接的现象（Cardinal等，2002; 西摩和多兰，2008），其表达已被多巴胺调节（Dickinson等人，2000; Lex和Hauber，2008），食欲巴甫洛夫的价值增加了​​对奖励的回应。 值得注意的是，个体对这种影响的易感性与杏仁核活动相关（Talmi等，2008），表明杏仁核可能调节主要条件和无条件奖励值对工具（基于习惯和目标导向）选择的影响程度。 如果确实如此，那么它预测在跨期选择期间同时和独立地呈现奖励 - 提示可能通过依赖于杏仁核的机制引起增强的时间冲动。 我们注意到证据表明基底外侧杏仁核病变增加了啮齿动物的选择冲动性（Winstanley等，2004b），与我们根据当前数据所预期的相反的观察结果。 相比之下，之前报道的杏仁核活动与fMRI研究中的时间贴现程度相关（霍夫曼等人，2008）。 这些问题为未来的研究提供了基础，可以系统地测试人类的这些不同预测。

最后，这些结果涉及更广泛的临床背景，并解释为什么在多巴胺失调综合征，成瘾和ADHD中观察到冲动和危险行为增加的原因，所有这些都与由纹状体多巴胺泛滥引起的高多巴胺能状态或致敏（Solanto，1998, 2002; Seeman和Madras，2002; Berridge，2007; Robinson和Berridge，2008; Dagher和Robbins，2009; O'Sullivan等人，2009）。 为了支持这篇论文， Voon等。 （2009） 发现在冲动控制障碍的PD患者中多巴胺用药状态与暂时性贴现率增加有关。 总之，这里提出的结果证明了多巴胺增强人类冲动的能力，并提供了一种新的见解，了解了多巴胺在时间贴现背景下在调节冲动选择中的作用。 这些发现表明，在决策过程中，当存在增加多巴胺活性的因素（例如奖赏的感官品质）时，人们可能会受到冲动性增强的短暂影响。

补充材料

提供信息

点击这里查看。（300K，pdf）

致谢

这项工作由一个Wellcome信托计划资助RJD资助，AP由医学研究委员会的学生支持。 我们感谢K. Friston，J。Roiser和V. Curran在计划和分析以及深入讨论方面的帮助。

参考资料

  1. Acheson A，de Wit H. Bupropion可以提高注意力，但不会影响健康年轻人的冲动行为。 Exp Clin Psychopharmacol。 2008; 16：113-123。 [考研]
  2. Ainslie G. Specious奖励：冲动和冲动控制的行为理论。 心理公牛。 1975; 82：463-496。 [考研]
  3. Berridge KC。 关于多巴胺在奖励中的作用的争论：激励显着性的案例。 心理药理学。 2007; 191：391–431。 [考研]
  4. Bickel WK，Marsch LA。 对药物依赖的行为经济理解：延迟折扣过程。 瘾。 2001; 96：73-86。 [考研]
  5. Bickel WK，Miller ML，Yi R，Kowal BP，Lindquist DM，Pitcock JA。 药物成瘾的行为和神经经济学：竞争神经系统和时间贴现过程。 药物酒精依赖。 2007; 90（Suppl 1）：S85-S91。 [PMC免费文章[考研]
  6. Bizot JC，Chenault N，HouzéB，Herpin A，David S，Pothion S，Trovero F. Methylphenidate减少幼年Wistar大鼠的冲动行为，但不能减少成年Wistar，SHR和WKY大鼠的冲动行为。 Psychopharmacology（Berl）2007; 193：215-223。 [考研]
  7. Bond AJ，Lader MH。 使用模拟量表来评定主观感受。 Br J Med。 心理学。 1974; 47：211-218。
  8. Botvinick MM。 冲突监测和决策：协调关于前扣带功能的两个观点。 认知影响行为神经科学。 2007; 7：356-366。 [考研]
  9. 红衣主教RN，Robbins TW，Everitt BJ。 d-苯异丙胺，氯氮卓，α-氟哌噻嗪和行为操作对大鼠信号和无信号延迟强化的选择的影响。 精神药理学。 2000; 152：362-375。 [考研]
  10. 红衣主教RN，Parkinson JA，J大厅，Everitt BJ。 情绪和动机：杏仁核，腹侧纹状体和前额叶皮层的作用。 Neurosci Biobehav Rev. 2002; 26：321-352。 [考研]
  11. 红衣主教RN，Winstanley CA，Robbins TW，Everitt BJ。 边缘皮质纹状体系统和延迟强化。 Ann NY Acad Sci。 2004; 1021：33-50。 [考研]
  12. Charrier D，ThiébotMH。 精神药物对大鼠反应的影响在操作范例中涉及延迟增强剂之间的选择。 Pharmacol Biochem Behav。 1996; 54：149-157。 [考研]
  13. Clark L，Robbins TW，Ersche KD，Sahakian BJ。 当前和以前的物质使用者的反射冲动。 生物精神病学。 2006; 60：515-522。 [考研]
  14. 达格A，罗宾斯TW。 人格，成瘾，多巴胺：帕金森氏病的见解。 神经元。 2009; 61：502–510。 [考研]
  15. Dalley JW，Mar AC，Economidou D，Robbins TW。 冲动的神经行为机制：额纹 - 纹状体系统和功能性神经化学。 Pharmacol Biochem Behav。 2008; 90：250-260。 [考研]
  16. Dayan P，Niv Y，Seymour B，Daw ND。 价值的不端行为和意志的纪律。 神经网络。 2006; 19：1153-1160。 [考研]
  17. Deichmann R，Gottfried JA，Hutton C，Turner R.优化EPI用于眶额皮质的fMRI研究。 神经成像。 2003; 19：430-441。 [考研]
  18. de Wit H，Enggasser JL，Richards JB。 急性给予d-苯丙胺可降低健康志愿者的冲动性。 神经精神药理学。 2002; 27：813-825。 [考研]
  19. Dickinson A，Smith J，Mirenowicz J.巴甫洛夫解散和多巴胺激动剂下的器乐学习。 Behav Neurosci。 2000; 114：468-483。 [考研]
  20. Evenden JL。 各种冲动。 精神药理学。 1999; 146：348-361。 [考研]
  21. Evenden JL，Ryan CN。 大鼠冲动行为的药理学：药物对不同延迟加强的反应选择的影响。 精神药理学。 1996; 128：161-170。 [考研]
  22. Floresco SB，Tse MT，Ghods-Sharifi S.多巴胺能和谷氨酸能量调节基于努力和延迟的决策。 神经精神药理学。 2008; 33：1966-1979。 [考研]
  23. Frank MJ，O'Reilly RC。 纹状体多巴胺在人类认知中的作用机理的机理研究：卡麦角林和氟哌啶醇的心理药理研究。 行为神经科学。 2006; 120：497-517。 [考研]
  24. Frank MJ，Samanta J，Moustafa AA，Sherman SJ。 保持你的马：冲动，深层脑刺激和帕金森病的药物治疗。 科学。 2007; 318：1309-1312。 [考研]
  25. Hamidovic A，Kang UJ，de Wit H.低中度急性剂量普拉克索对健康志愿者的冲动和认知的影响。 J Clin Psychopharmacol。 2008; 28：45-51。 [考研]
  26. Helms CM，Reeves JM，Mitchell SH。 菌株和D-苯丙胺对近交系小鼠冲动性（延迟折扣）的影响。 Psychopharmacology（Berl）2006; 188：144-151。 [考研]
  27. Ho MY，Mobini S，Chiang TJ，Bradshaw CM，Szabadi E.“冲动选择”行为的定量分析中的理论和方法：对精神药理学的影响。 精神药理学。 1999; 146：362-372。 [考研]
  28. Hoffman WF，Schwartz DL，Huckans MS，McFarland BH，Meiri G，Stevens AA，Mitchell SH。 延迟贴现依赖甲基苯丙胺的个体中的皮质激活。 精神药理学。 2008; 201：183-193。 [PMC免费文章[考研]
  29. Isles AR，Humby T，Wilkinson LS。 使用新的操作性延迟强化任务测量小鼠的冲动性：行为操纵和d-苯丙胺的影响。 Psychopharmacology（Berl）2003; 170：376-382。 [考研]
  30. Kable JW，Glimcher PW。 跨期选择中主观价值的神经关联。 Nat Neurosci。 2007; 10：1625-1633。 [PMC免费文章[考研]
  31. Kuczenski R，Segal DS。 哌甲酯对细胞外多巴胺，血清素和去甲肾上腺素的影响：与苯丙胺的比较。 J Neurochem。 1997; 68：2032-2037。 [考研]
  32. Lex A，Hauber W.多巴胺D1和D2受体在伏隔核和壳中介导巴甫洛夫仪器转移。 学习记忆。 2008; 15：483-491。 [PMC免费文章[考研]
  33. Logue AW，Tobin H，Chelonis JJ，Wang RY，Geary N，Schachter S. Cocaine减少大鼠的自我控制：初步报告。 精神药理学。 1992; 109：245-247。 [考研]
  34. Mai JK，Assheuer J，Paxinos G. Atlas of the human brain。 Ed 2学术; 圣地亚哥：2003。
  35. Mazur JE。 研究延迟加固的调整程序。 在：Commons ML，Mazur JE，Nevin JA，Rachlin H，编辑。 行为的定量分析。 V.延迟和干预事件对增强值的影响。 劳伦斯·埃尔鲍姆; Hillsdale，NJ：1987。 pp.55-73。
  36. McClure SM，Laibson DI，Loewenstein G，Cohen JD。 独立的神经系统重视即时和延迟的货币奖励。 科学。 2004; 306：503-507。 [考研]
  37. Mobini S，Chiang TJ，Al-Ruwaitea AS，Ho MY，Bradshaw CM，Szabadi E.中心5-羟基色胺耗尽对时间间隔选择的影响：定量分析。 Psychopharmacology（Berl）2000; 149：313-318。 [考研]
  38. O'Sullivan SS，Evans AH，Lees AJ。 多巴胺失调综合症：其流行病学，机制和治疗的概述。 中枢神经系统药物。 2009; 23：157-170。 [考研]
  39. Parkinson JA，Dalley JW，Cardinal RN，Bamford A，Fehnert B，Lachenal G，Rudarakanchana N，Halkerston KM，Robbins TW，Everitt BJ。 伏隔核多巴胺耗竭损害了食欲的巴甫洛夫进近行为的获得和表现：对mesoaccumbens多巴胺功能的影响。 Behav Brain Res。 2002; 137：149-163。 [考研]
  40. Pine A，Seymour B，Roiser JP，Bossaerts P，Friston KJ，Curran HV，Dolan RJ。 在人类大脑中跨越时间编码边际效用。 J Neurosci。 2009; 29：9575-9581。 [PMC免费文章[考研]
  41. Pochon JB，Riis J，Sanfey AG，Nystrom LE，Cohen JD。 决策冲突的功能成像。 J Neurosci。 2008; 28：3468-3473。 [考研]
  42. Poulos CX，Parker JL，Le AD。 Dexfenfluramine和8-OHDPAT在延迟回报范式中调节冲动：对与酒精消费相对应的影响。 Behav Pharmacol。 1996; 7：395-399。 [考研]
  43. 红色广告。 成瘾作为一个计算过程出了差错。 科学。 2004; 306：1944-1947。 [考研]
  44. 理查兹JB，Seiden LS。 5-羟色胺耗竭增加大鼠的冲动行为。 Soc Neurosci Abstr。 1995; 21：1693。
  45. Richards JB，Sabol KE，de Wit H.甲基苯丙胺对调节量程序的影响，这是一种大鼠冲动行为的模型。 精神药理学。 1999; 146：432-439。 [考研]
  46. Robinson TE，Berridge KC。 成瘾的激励致敏理论：一些当前的问题。 Philos Trans R Soc Lond B Biol Sci。 2008; 363：3137-3146。 [PMC免费文章[考研]
  47. Sagvolden T，JA中士。 注意缺陷/多动障碍 - 从脑功能障碍到行为。 Behav Brain Res。 1998; 94：1-10。 [考研]
  48. Seeman P，Madras BK。 抗过度活动药物：甲基苯噻嗪和安非他明。 Mol精神病学。 1998; 3：386-396。 [考研]
  49. Seeman P，Madras B. Methylphenidate提升静息多巴胺，降低脉冲触发的多巴胺释放：一个假设。 Behav Brain Res。 2002; 130：79-83。 [考研]
  50. Seymour B，Dolan R. Emotion，决策和杏仁核。 神经元。 2008; 58：662-671。 [考研]
  51. Seymour B，Yoshida W，Dolan R.利他主义学习。 Front Behav Neurosci。 2009; 3：23。 [PMC免费文章[考研]
  52. Solanto MV。 注意力缺陷多动障碍中兴奋剂药物作用的神经精神药理学机制：综述和整合。 Behav Brain Res。 1998; 94：127-152。 [考研]
  53. Solanto MV。 AD / HD中的多巴胺功能障碍：整合临床和基础神经科学研究。 Behav Brain Res。 2002; 130：65-71。 [考研]
  54. Solanto MV，Abikoff H，Sonuga-Barke E，Schachar R，Logan GD，Wigal T，Hechtman L，Hinshaw S，Turkel E.延迟厌恶和反应抑制作为AD / HD冲动性测量的生态有效性： AD / HD的NIMH多模式治疗研究。 J Abnorm Child Psychol。 2001; 29：215-228。 [考研]
  55. Talairach J，Tournoux P.人脑的共面立体定位图谱。 Thieme出版集团; 斯图加特：1988。
  56. Talmi D，Seymour B，Dayan P，Dolan RJ。 人类巴甫洛夫 - 器乐转移。 J Neurosci。 2008; 28：360-368。 [PMC免费文章[考研]
  57. Tanaka SC，Doya K，Okada G，Ueda K，Okamoto Y，Yamawaki S.对即时和未来奖励的预测差异性地招募皮质 - 基底神经节环。 Nat Neurosci。 2004; 7：887-893。 [考研]
  58. van Gaalen MM，van Koten R，Schoffelmeer AN，Vanderschuren LJ。 多巴胺能神经传递在冲动性决策中的重要参与。 生物精神病学。 2006; 60：66-73。 [考研]
  59. Voon V，Reynolds B，Brezing C，Gallea C，Skaljic M，Ekanayake V，Fernandez H，Potenza MN，Dolan RJ，Hallett M. Impulsive选择和多巴胺激动剂相关脉冲控制行为的反应。 Psychopharmacology（Berl）2009; 207：645-659。 [PMC免费文章[考研]
  60. Wade TR，de Wit H，Richards JB。 多巴胺能药物对延迟奖励作为大鼠冲动行为的影响。 精神药理学。 2000; 150：90-101。 [考研]
  61. Winstanley CA，Dalley JW，Theobald DE，Robbins TW。 全球5-HT消耗减弱了苯丙胺降低大鼠延迟折扣任务的冲动选择的能力。 精神药理学。 2003; 170：320-331。 [考研]
  62. Winstanley CA，Dalley JW，Theobald DE，Robbins TW。 分数冲动性：中心5-HT耗竭对不同脉冲行为测量的对比效应。 神经精神药理学。 2004a; 29：1331-1343。 [考研]
  63. Winstanley CA，Theobald DE，Cardinal RN，Robbins TW。 冲动性选择中基底外侧杏仁核和眶额皮质的对比作用。 J Neurosci。 2004b; 24：4718-4722。 [考研]
  64. Winstanley CA，Eagle DM，Robbins TW。 与ADHD相关的冲动行为模型：临床和临床前研究之间的转换。 Clin Psychol Rev. 2006; 26：379-395。 [PMC免费文章[考研]
  65. Wogar MA，Bradshaw CM，Szabadi E.上行5-羟基色胺能通路的病变对延迟强化物之间选择的影响。 精神药理学。 1993; 113：239-243。 [考研]