PMCID: PMC6358212
NIHMSID: NIHMS987662
抽象
多巴胺是学习和动机的关键调节剂。 这提出了一个问题:靶细胞如何知道增加的多巴胺是否是学习或移动的信号? 通常认为动机涉及缓慢(“强直”)多巴胺变化,而快速(“相位”)多巴胺波动传达学习的奖励预测误差。 然而,最近的研究表明,即使在亚秒级时间尺度,多巴胺也能传达动机价值并促进运动。 在这里,我描述了多巴胺如何调节持续行为的另一种说法。 与多巴胺末端受体相关的多巴胺释放与动机相关,可快速和局部地雕刻,与多巴胺细胞的发射无关。 目标神经元突然在学习和表现模式之间切换,纹状体胆碱能中间神经元提供一种候选开关机制。 多巴胺的行为影响因子区域而异,但在每种情况下,多巴胺都能提供动态估计是否值得花费有限的内部资源,例如能量,注意力或时间。
多巴胺是学习,动机或两者的信号吗?
我们对多巴胺的理解过去发生过变化,现在又在发生变化。一个关键的区别在于多巴胺对当前行为(表现)的影响和对未来行为(学习)的影响。两者都真实存在且十分重要,但在不同的时期,人们往往更倾向于其中一种,而忽略另一种。
20世纪70年代,当人们能够选择性地完全破坏多巴胺通路时,最明显的行为后果是运动能力显著下降<sup> 1</sup>。这与人类因帕金森病晚期、药物毒性或脑炎导致的多巴胺缺失引起的运动不能症状相符<sup> 2</sup>。然而,无论是大鼠还是人类,都没有表现出根本性的运动障碍。多巴胺受损的大鼠可以在冷水中游泳<sup> 3</sup>,而运动不能患者在听到火警警报时可能会起身奔跑(“反常性”运动)。他们也没有对奖励产生根本性的认知缺陷:多巴胺受损的大鼠会吃掉放在嘴里的食物,并且表现出享受的迹象<sup> 4</sup>。相反,它们不会主动付出努力去获取奖励。这些以及其他许多研究结果确立了多巴胺与动机之间的根本联系<sup> 5</sup>。即使在帕金森病病情较轻的情况下观察到的运动速度减慢,也可以被视为一种动机缺陷,反映了内在的决定,即不值得花费能量来进行更快的运动6。
随后(在 20 世纪 80 年代),研究人员开创性地记录了行为猴子(位于投射到前脑的中脑区域:腹侧被盖区,VTA / 黑质致密部,SNc)的多巴胺神经元活动。观察到的放电模式包括对刺激的短暂爆发式放电,这种放电会立即引发猴子的运动。这种“阶段性”多巴胺放电最初被解释为支持“行为激活”<sup> 7</sup>和“动机唤醒”<sup> 8</sup> ——换句话说,就是增强动物的当前行为。
20世纪90年代发生了根本性的转变,人们重新将阶段性多巴胺爆发解释为编码奖赏预测误差(RPE )<sup> 9 </sup>。这一转变基于一个关键观察:多巴胺细胞会对与未来奖赏相关的意外刺激做出反应,但如果这些刺激变得可以预期,它们通常会停止反应<sup> 10</sup>。RPE的概念起源于早期的学习理论,尤其是在当时正在发展的计算机科学领域——强化学习<sup> 11</sup>。RPE信号的作用是更新值(对未来奖赏的估计)。这些值随后会被用于帮助做出最大化奖赏的选择。由于多巴胺细胞的放电模式类似于RPE,而RPE又被用于学习,因此强调多巴胺在学习中的作用就变得顺理成章。后来的光遗传学操作证实了编码RPE的细胞的多巴胺能特性<sup>12,13 </sup> ,并表明它们确实能够调节学习<sup> 14,15 </sup>。
多巴胺提供学习信号的观点与多巴胺调节纹状体(多巴胺的主要前脑靶点)突触可塑性的文献完美契合。例如,谷氨酸刺激纹状体树突棘、突触后去极化和多巴胺释放这三重同时发生会导致树突棘生长<sup> 16</sup>。多巴胺能对长期学习机制的调节有助于解释成瘾药物的持续行为效应,这些药物都具有增强纹状体多巴胺释放的特性<sup> 17</sup>。即使是多巴胺缺失引起的严重运动不能,也可以部分地用这种学习机制来解释<sup> 18</sup>。多巴胺缺乏可以被视为一种持续负向的感知预测误差(RPE),它逐渐将行为值更新为零。多巴胺拮抗剂也能产生类似的渐进式、类似消退的行为效应<sup> 19,20 </sup>。
然而,多巴胺在持续动机中起着至关重要的作用这一观点从未消失——相反,行为神经科学家普遍认为这是理所当然的。鉴于有强有力的证据表明,多巴胺在动机/运动/活力提升方面的功能与学习是可以分离的<sup>15 , 20-23 </sup> ,这种观点是合理的。然而,人们较少关注的是,如何将这种动机作用与多巴胺提供RPE学习信号的理论相协调,这本身就是一个挑战。
动机“向前看”:它使用未来奖励(值)的预测来适当地激励当前的行为。 相比之下,学习“回顾”近期的状态和行动,并更新其价值观。 这些是周期的互补阶段:如果重新遇到这些状态,然后再次更新,则更新后的值可用于后续决策,等等。 但是周期的哪个阶段是多巴胺参与 - 使用价值来做出决策(表现),或更新价值观(学习)?
在某些情况下,很容易想象多巴胺同时扮演这两种角色。<sup> 24</sup>出乎意料的、预测奖励的线索是诱发多巴胺细胞放电和释放的典型事件,这类线索通常既能激发行为,又能促进学习()。在这种特定情况下,奖励预测和奖励预测误差会同时增加——但这并非总是如此。例如,即使几乎没有或根本没有发生什么意外,人类和其他动物也常常会为了获得奖励而努力。随着他们越来越接近奖励(奖励越临近,价值越高),他们可能会越努力地工作。关键在于,学习和动机在概念上、计算上和行为上都是不同的——然而多巴胺似乎同时发挥着这两种作用。
多巴胺:更新过去,振奋现在。
上图:带箭头的圆圈代表状态以及这些状态下可能出现的动作。箭头的宽度表示执行每个动作的学习价值。随着状态/动作逐渐淡出记忆,它们获得强化的可能性也逐渐降低。中图:多巴胺激增。其结果是,当前状态下可执行的动作(红色)得到强化,并且最近执行的动作的价值表征(紫色)也发生了可塑性变化。下图:由于这种可塑性,下次遇到这些状态时,它们相关的价值会增加(箭头宽度增加)。通过重复经验,强化学习可以在状态空间中“刻出一条轨迹”,使某些轨迹出现的可能性越来越大。除了这种学习作用之外,多巴胺的强化作用似乎还能加快沿着先前学习过的轨迹的流动。
下面我批判性地评估当前关于多巴胺如何能够实现学习和激励功能的想法。 我提出了一个更新的模型,基于三个关键事实:1)从终端释放多巴胺不仅仅是由多巴胺细胞发射引起的,但也可以局部控制; 2)多巴胺影响靶细胞的突触可塑性和兴奋性,分别对学习和表现产生明显的影响; 3)多巴胺对可塑性的影响可以通过附近的电路元件打开或关闭。 总之,这些特征可以允许脑电路在两个不同的多巴胺信息之间切换,分别用于学习和激励。
是否存在具有不同含义的单独的“阶段性”和“强直性”多巴胺信号?
人们常常认为多巴胺的学习和动机作用发生在不同的时间尺度上<sup>25</sup>。多巴胺细胞以每秒几个脉冲的频率持续(“强直性”)放电,偶尔会出现短暂的(“阶段性”)爆发或停顿。爆发,尤其是当多巴胺细胞之间的爆发人为同步时,会驱动前脑多巴胺浓度相应快速升高<sup> 26</sup>,这种升高是高度短暂的(持续时间不到一秒<sup> 27</sup>)。强直性多巴胺细胞放电对前脑多巴胺浓度的单独贡献尚不明确。一些证据表明,这种贡献非常小<sup>28</sup>。它可能足以产生对高亲和力D2受体的近乎持续的刺激,使系统能够注意到多巴胺细胞放电的短暂停顿<sup> 29 </sup>,并将这些停顿用作负向预测误差。
微透析技术已被广泛用于直接测量前脑多巴胺水平,但其时间分辨率较低(通常需要对数分钟的数据进行平均)。这种缓慢的多巴胺测量方法难以将其与行为精确关联起来。然而,伏隔核(NAc;腹侧/内侧纹状体)多巴胺的微透析结果显示,其与运动活动<sup> 30</sup>和其他动机指标<sup> 5</sup>呈正相关。这被广泛认为意味着多巴胺浓度存在缓慢的(“持续性”)变化,并且这些缓慢变化传递着动机信号。更具体地说,计算模型提出,持续性多巴胺水平与长期平均奖励率<sup> 31</sup>相关——这是一个对时间分配和觅食决策有用的动机变量。值得强调的是,很少有文献明确定义“持续性”多巴胺水平——它们通常只是假设多巴胺浓度在微透析的数分钟时间尺度上缓慢变化。
然而,这种“阶段性多巴胺=RPE/学习,持续性多巴胺=动机”的观点面临诸多问题。首先,没有直接证据表明持续性多巴胺细胞的放电频率通常会在较长的时间尺度上发生变化。持续性放电频率不会随动机的变化而变化<sup> 32,33 </sup>。有观点认为,持续性多巴胺水平的变化是由于活跃多巴胺细胞比例的变化所致<sup> 34,35 </sup>。但在许多未用药、未损伤动物的研究中,从未发现多巴胺细胞在静息状态和活跃状态之间切换。
此外,微透析技术测量多巴胺水平速度较慢并不意味着多巴胺水平的变化速度也较慢。我们近期<sup> 15</sup>利用微透析和快速扫描循环伏安法,在概率奖励任务中检测了大鼠伏隔核(NAc)的多巴胺水平。我们证实,微透析测得的中脑边缘多巴胺水平与奖励率(奖励/分钟)相关。然而,即使提高了微透析的时间分辨率(1分钟),多巴胺的波动速度仍然与我们采样时的速度一样快:我们没有观察到多巴胺信号本身变化缓慢的证据。
使用更精细的伏安法时间分辨率,我们观察到亚秒级多巴胺波动与动机之间的密切关系。 当大鼠进行实现奖励所需的一系列行动时,多巴胺越来越高,在获得奖励时达到峰值(并且随着它们的消耗而迅速下降)。 我们发现多巴胺与瞬时状态值强烈相关 - 定义为预期的未来奖励,并通过接收它所需的预期时间打折扣。 这些快速的多巴胺动力学也可以解释微透析结果,而不会在不同的时间尺度上调用单独的多巴胺信号。 随着动物获得更多奖励,它们会增加对试验序列中每个步骤的未来奖励的期望。 多巴胺和奖励率之间的相关性最好解释为在延长的微透析样品收集时间内,这些快速发展的状态值的平均值,而不是缓慢发展的平均奖励率信号。
这种对中脑边缘多巴胺释放的价值解释与其他研究小组的伏安法结果一致,他们反复发现,随着与奖励距离的增加,多巴胺释放量会逐渐增加<sup> 36-38 </sup> (图)。这种动机信号并非本质上“缓慢”,而是可以在连续的时间尺度范围内观察到。尽管当趋近行为持续数秒时,多巴胺释放的增加也可能持续数秒<sup> 38</sup>,但这反映的是行为的时间进程,而非多巴胺的内在动态变化。中脑边缘多巴胺释放与价值波动之间的关系可以在记录技术允许的最短时间内观察到,例如使用急性伏安法电极时,可在约100毫秒的时间尺度上观察到<sup> 15</sup>。
快速的多巴胺波动表明动态演变的奖励预期。
ac) 随着大鼠越来越接近预期奖励,中脑边缘系统多巴胺的释放迅速增加。d) 价值(定义为对未来奖励的时间折扣估计)随着奖励的临近而增加。提示奖励比预期更大、更近或更确定的线索会导致价值的跃升。这些从一个时刻到下一个时刻的跃升是时间差分奖励预期误差(RPE)。e) 减去“基线”可能会混淆价值和RPE信号。左图:多巴胺与奖励预测线索(零时刻)对齐,并进行了传统的基线减除,结果似乎表明,当奖励预期较低时(棕色),多巴胺水平跃升至更高水平,类似于RPE信号。右图:对相同数据进行另一种呈现方式,使线索出现后的多巴胺水平相等,结果则表明线索出现前的多巴胺水平取决于奖励预期(价值)。进一步的分析表明,右图的呈现方式更接近真实情况(详见参考文献15)。图a经许可转载自参考文献38,Macmillan Publishers Limited…;图b经许可转载自参考文献37,Elsevier;图ce经许可转载自参考文献15,Macmillan Publishers Limited。
多巴胺的快速波动不仅反映动机,还能立即驱动动机行为。多巴胺细胞对触发线索的相位反应越大,在同一次试验中的反应时间就越短<sup> 39</sup>。在我们的概率奖励任务中,对腹侧被盖区(VTA)多巴胺细胞进行光遗传学刺激,会使大鼠更有可能开始工作<sup> 15 </sup>,就像它们对奖励有更高的预期一样。对黑质致密部(SNc)多巴胺神经元或其在背侧纹状体中的轴突进行光遗传学刺激,会增加运动的概率<sup> 40,41 </sup>。关键的是,这些行为效应在光遗传学刺激开始后的几百毫秒内即可显现。奖励预测线索增强动机的能力似乎是通过对伏隔核(NAc)棘状神经元兴奋性的快速多巴胺能调节来实现的<sup> 42</sup>。由于多巴胺变化迅速,而这些多巴胺变化又会迅速影响动机,因此多巴胺的动机功能最好用快速的(“阶段性的”)来描述,而不是缓慢的(“持续性的”)。
此外,调用单独的快速和慢速时间尺度本身并不能解决具有多巴胺受体的神经元所面临的解码问题。 如果多巴胺发出学习信号,则调节突触可塑性似乎是适当的细胞反应。 但是,对动机行为的直接影响意味着对尖峰的直接影响,例如,兴奋性的快速变化。 多巴胺可以同时具有这两种突触后作用(以及更多),那么给定的多巴胺浓度是否具有特定含义? 还是需要构建这种含义-例如,通过比较跨时间的多巴胺水平,或通过使用其他同时的信号来确定参与哪个细胞机制? 这种可能性将在下面进一步讨论。
多巴胺释放是否传达与多巴胺细胞发射相同的信息?
快速多巴胺波动与动机价值之间的关系似乎很奇怪,因为多巴胺细胞的放电模式反而类似于RPE(感知感知误差)。此外,一些研究报告称,中脑边缘系统多巴胺释放中存在RPE信号<sup> 43</sup>。值得注意的是,在解释某些形式的神经数据时存在挑战。价值信号和RPE彼此相关——这并不奇怪,因为RPE通常被定义为价值从一个时刻到下一个时刻的变化(“时间差分”RPE)。由于这种相关性,使用能够区分价值和RPE的实验设计和分析方法至关重要。当使用依赖于相对而非绝对信号变化的神经测量方法时,问题会更加复杂。伏安法分析通常将某个感兴趣时间点的多巴胺与每次试验中较早的“基线”时期进行比较(以消除非多巴胺依赖的信号成分,包括每次电压扫描时的电极充电以及几分钟时间尺度上的漂移)。但是,减去基线可能会使价值信号类似于RPE信号。这是我们自身伏安法数据()中观察到的现象。奖励预期变化反映在每次试验早期多巴胺浓度的变化上,而如果假设所有试验的基线保持不变,则会忽略这些变化<sup> 15 </sup>。因此,关于多巴胺释放和 RPE 编码的结论需要谨慎对待。这种数据解读风险不仅适用于伏安法,也适用于任何依赖相对变化的分析——可能包括一些 fMRI 和光度法<sup> 44 </sup> 。
然而,我们仍然需要解释伏隔核核心区与价值相关的多巴胺释放与多巴胺神经元持续缺乏与价值相关的放电之间的矛盾<sup> 13</sup>,即使在为伏隔核核心区提供多巴胺的腹侧被盖区(VTA)内也是如此<sup> 45 </sup>。一个潜在的因素是,多巴胺细胞的活动通常是在头部固定、执行经典条件反射任务的动物身上记录的,而多巴胺的释放通常是在自由活动、积极穿梭于环境中的动物身上测量的。我们提出,中脑边缘系统的多巴胺可能特异性地指示“工作”的价值<sup> 15 </sup>——它反映了获得奖励需要投入时间和精力。与此一致的是,多巴胺会随着指示运动的信号而增加,但不会随着指示静止的信号而增加,即使这些信号指示的是类似的未来奖励<sup> 46</sup>。如果——就像许多经典条件反射任务一样——积极的“工作”没有益处,那么指示工作价值的多巴胺变化可能就不那么明显了。
更重要的是,多巴胺释放可以在神经末梢进行局部调控,从而展现出独立于细胞体放电的时空模式。例如,即使腹侧被盖区(VTA)失活,基底外侧杏仁核(BLA)仍能影响伏隔核(NAc)的多巴胺释放<sup> 47</sup>。相反,BLA失活会降低NAc的多巴胺释放和相应的动机行为,而似乎并不影响VTA的放电<sup> 48 </sup>。多巴胺神经末梢具有多种神经递质的受体,包括谷氨酸、阿片类物质和乙酰胆碱。尼古丁乙酰胆碱受体使纹状体胆碱能中间神经元(CINs)能够快速调控多巴胺的释放<sup>49 , 50 </sup>。尽管人们早已注意到多巴胺释放的局部调控可能非常重要<sup> 7 , 51</sup>,但它尚未被纳入多巴胺功能的计算模型中。我提出,与价值编码相关的多巴胺释放动态主要通过局部控制产生,即使多巴胺细胞放电为学习提供了重要的 RPE 样信号。
多巴胺如何在没有混淆的情况下意味着学习和动力?
原则上,数值信号也足以传达RPE,因为时间差分RPE本质上就是数值的快速变化()。例如,靶神经元中不同的细胞内通路可能对多巴胺的绝对浓度(代表数值)和浓度的快速相对变化(代表RPE)具有不同的敏感性。考虑到多巴胺对棘状神经元生理的复杂调节作用<sup>52</sup>及其对钙浓度时间模式的敏感性<sup>53</sup> ,这种解释似乎是合理的。然而,这似乎也有些多余。如果多巴胺细胞放电中已经存在类似RPE的信号,那么应该可以直接利用该信号,而无需从数值信号中重新推导出RPE。
为了恰当地利用不同的反应感知概率(RPE)和价值信号,多巴胺受体回路可能会主动切换其对多巴胺的解读方式。有有趣的证据表明,乙酰胆碱也可能发挥这种切换作用。当多巴胺细胞对意外线索发出爆发性放电时,认知抑制神经元(CIN)的放电会出现短暂(约150毫秒)的停顿,且这种停顿与RPE无关<sup> 54 </sup>。这些CIN的停顿可由腹侧被盖区(VTA)的GABA能神经元<sup> 55</sup>以及丘脑板内核中的“意外”相关细胞驱动,并被认为可以作为一种促进学习的关联信号<sup>56</sup>。Morris和Bergman<sup> 54</sup>提出,胆碱能的停顿定义了纹状体可塑性的时间窗口,在此期间,多巴胺可以作为学习信号。多巴胺依赖性可塑性持续受到包括直接通路纹状体神经元上的毒蕈碱M4受体在内的多种机制的抑制<sup> 57</sup>。细胞内信号传导模型表明,在 CIN 暂停期间,m4 结合的缺失可能与阶段性多巴胺爆发协同作用,增强 PKA 激活58,从而促进突触变化。
因此,纹状体胆碱能细胞能够动态地转换多重多巴胺能信息的含义。在CIN暂停期间,毒蕈碱受体对突触可塑性的阻滞解除,多巴胺便可用于学习。在其他时间,多巴胺末梢的释放会受到局部调控,从而影响正在进行的行为表现。目前,这一观点尚属推测且不够完善。有研究提出,CIN整合来自周围许多棘状神经元的信息,以提取有用的网络级信号,例如熵<sup> 59,60 </sup> 。但CIN的活动动态是否可用于生成多巴胺价值信号<sup>61</sup> ,以及调控多巴胺学习信号,目前尚不明确。
多巴胺在整个前脑中是否意味着同样的事情?
随着RPE理论的兴起,人们设想多巴胺是一种全局信号,能够向纹状体和额叶皮层目标区域传递错误信息。舒尔茨强调,猴子腹侧被盖区(VTA)和黑质致密部(SNc)的多巴胺细胞具有非常相似的反应<sup>62</sup>。对已鉴定的多巴胺细胞的研究也发现,啮齿动物中存在相当一致的RPE样反应,至少在经典条件反射情境下,外侧VTA神经元的反应如此<sup> 13 </sup> 。然而,多巴胺细胞在分子和生理上具有多样性<sup>63-65 </sup>,并且现在已有许多报告表明,它们在行为动物中表现出不同的放电模式。这些模式包括对厌恶事件<sup>66</sup>和触发线索<sup> 67</sup>的阶段性放电增加,而这些与标准的RPE解释并不相符。许多多巴胺细胞对感觉事件表现出初始的短潜伏期反应,这种反应更多地反映了惊讶或“警觉”,而非特定的RPE编码<sup> 68,69 </sup>。这种警觉特性在黑质致密部(SNc)中更为显著<sup> 69</sup>,其中多巴胺细胞更多地投射到“感觉运动”背侧/外侧纹状体(DLS ) <sup>45 , 63</sup> 。据报道,SNc的多巴胺细胞亚群也会在自发运动时增加<sup>41</sup>或减少<sup>70 </sup>放电,即使没有外部线索。
多个研究小组利用光纤光度计和钙指示剂GCaMP检测了多巴胺神经元亚群的整体活动<sup>71,72</sup>。投射到背内侧纹状体(DMS)的多巴胺细胞对突发的短暂电击表现出瞬时抑制,而投射到背外侧纹状体(DLS)的多巴胺细胞则表现出增强的活动<sup>71 </sup> ——这更符合警觉反应的特征。利用GCaMP检测多巴胺轴突和末梢的活动,也观察到了不同前脑亚区中不同的多巴胺能反应<sup> 40,72,73 </sup> 。Howe和Dombeck <sup> 40</sup>利用双光子成像技术在头部固定的小鼠中观察到了与自发运动相关的阶段性多巴胺活动。这种活动主要见于终止于背侧纹状体的黑质致密部(SNc)的单个多巴胺轴突,而伏隔核(NAc)中的腹侧被盖区(VTA)多巴胺轴突对奖赏刺激的反应更强。其他人也发现伏隔核中存在与奖赏相关的多巴胺能活动,而背外侧纹状体则更多地与对侧动作有关<sup> 72</sup>,纹状体的后尾部对厌恶性和新颖的刺激有反应<sup> 74</sup>。
多巴胺释放的直接测量也揭示了亚区之间的异质性<sup> 30,75 </sup>。利用微透析技术,我们发现多巴胺与价值感的相关性仅限于伏隔核核心区和腹内侧额叶皮层,而非纹状体的其他内侧部分(伏隔核壳部、背内侧纹状体)或额叶皮层。这很有意思,因为它似乎与人类功能磁共振成像研究<sup>76,77</sup>中一致观察到的两个价值编码“热点”区域吻合良好。特别是伏隔核的BOLD信号与多巴胺信号密切相关<sup> 78 </sup> ,其随奖励预期(价值感)的增加而增强,且增强程度高于奖励感知预期(RPE)<sup> 76 </sup>。
无论这些多巴胺释放的空间模式是源于不同多巴胺细胞亚群的放电、多巴胺释放的局部控制,还是两者兼而有之,它们都挑战了多巴胺传递全局信息的观点。人们可能会得出结论,多巴胺具有多种不同的功能,例如,背侧纹状体中的多巴胺传递“运动”信号,而腹侧纹状体中的多巴胺传递“奖赏”信号<sup> 40 </sup>。然而,我更倾向于另一种概念性方法。不同的纹状体亚区接收来自不同皮层区域的输入,因此会处理不同类型的信息。然而,每个纹状体亚区都共享一个共同的微回路结构,包括不同的D1受体和D2受体阳性棘状神经元<sup> 79 </sup>、皮质中间神经元(CINs)等等。尽管人们通常将不同的纹状体亚区(例如背外侧纹状体、背内侧纹状体、伏隔核核心)视为独立的区域,但它们之间并没有清晰的解剖学边界(伏隔核壳部在神经化学上略有不同)。相反,受体密度、中间神经元比例等方面仅存在平缓的梯度变化,这似乎更像是对共享计算算法参数的微调。鉴于这种共同的架构,我们能否描述一种通用的多巴胺功能,使其脱离每个子区域处理的具体信息?
纹状体多巴胺和有限资源的分配。
我提出,多巴胺对持续行为的各种不同影响可以理解为对资源分配决策的调节。具体而言,多巴胺能够评估消耗有限内部资源的价值,而纹状体不同亚区所代表的资源各不相同。对于“运动”纹状体(~DLS)而言,资源是运动,而运动是有限的,因为运动需要消耗能量,而且许多动作彼此不兼容<sup>80</sup>。多巴胺水平的升高会使动物更有可能认为消耗能量进行运动是值得的,或者运动速度更快<sup>6 , 40 , 81</sup> 。值得注意的是,即使多巴胺本身并不编码“运动”这一概念,编码“运动是值得的”的多巴胺信号也会导致多巴胺与运动之间存在相关性。
对于“认知”纹状体(~DMS)而言,其资源是认知过程,包括注意力(根据定义,注意力的容量有限<sup> 82</sup>)和工作记忆<sup> 83</sup>。如果没有多巴胺,通常会引发定向运动的显著外部线索会被忽略,仿佛被认为不值得关注<sup> 3 </sup>。此外,刻意调动认知控制过程需要付出努力(成本高昂<sup> 84</sup>)。多巴胺——尤其是在DMS中<sup>85</sup> ——在决定是否值得付出这种努力方面起着关键作用<sup> 86,87 </sup>。这可能包括是否采用认知要求更高、更深思熟虑的(“基于模型的”)决策策略<sup>88</sup>。
对于“动机性”纹状体(~伏隔核)而言,动物的时间可能是一种关键的有限资源。当动物执行简单的固定动作以快速获得奖励时,中脑边缘多巴胺并非必需<sup> 89</sup>。但许多形式的奖励只能通过长时间的劳动才能获得:例如觅食,需要进行一系列未获得奖励的行为。选择从事劳动意味着必须放弃其他有益的消磨时间的方式。高水平的中脑边缘多巴胺表明,从事耗时较长、需要付出努力的工作是值得的,但随着多巴胺水平的降低,动物会放弃劳动,转而准备睡觉<sup> 90 </sup> 。
在每个皮质-纹状体环路中,多巴胺对持续行为的贡献既包含经济因素(与资源分配有关),也包含动机因素(判断是否值得消耗资源<sup>81</sup>)。这些环路并非完全独立,而是具有层级式的螺旋结构:纹状体腹侧部分会影响投射到背侧部分的多巴胺细胞<sup> 5 , 91</sup>。如此一来,参与工作的决策也有助于激发所需的特定、短暂的动作。但总体而言,多巴胺提供的是“激活”信号——增加做出某些决策的可能性——而非“方向性”信号,即指定资源应该如何分配<sup> 5</sup>。
多巴胺作出决定时的计算作用是什么?
理解这种激活作用的一种方式是将其视为决策的“阈值”。在某些数学模型中,决策过程会不断增加,直至达到阈值水平,此时系统才会启动并执行某个动作<sup> 92 </sup>。较高的多巴胺水平相当于更短的阈值距离,因此决策速度更快。这种观点虽然简单,但其定量预测已被证实。降低运动阈值会导致反应时间分布形状发生特定变化,正如向感觉运动纹状体注入安非他明时所观察到的那样<sup> 20</sup>。
与固定阈值相比,行为和神经数据可能更适合描述阈值随时间推移而降低的情况,就像决策变得越来越紧迫一样。基底神经节的输出被认为提供了一种动态演化的紧迫性信号,这种信号能够激活皮层中的选择机制<sup> 93</sup>。未来奖励临近时,紧迫性也会增强,这使得这一概念类似于多巴胺的价值编码和激活作用。
这种激活作用是否足以描述纹状体多巴胺对行为表现的调节作用?这与一个长期存在的问题相关:基底神经节回路是直接在已习得的行为中进行选择<sup> 80 </sup> ,还是仅仅增强其他部位做出的选择<sup> 93,94 </sup>。多巴胺至少可以通过两种方式表现出更强的“方向性”作用。第一种方式是多巴胺作用于大脑中处理固有方向性信息的亚区。基底神经节回路在定向和接近潜在奖励方面发挥着重要的、部分侧化的作用。灵长类动物的尾状核(~DMS)参与驱动眼球运动至对侧空间<sup> 95</sup>。多巴胺能信号表明对侧空间中的某些事物值得定向,这或许可以解释观察到的DMS中多巴胺能活动与对侧运动之间的相关性<sup> 72</sup>,以及多巴胺操作引起的旋转行为<sup> 96</sup>。多巴胺的第二个“方向性”影响在(双侧)多巴胺损伤使大鼠倾向于选择低付出/低回报的选项,而不是高付出/高回报的选项时显现出来<sup>97</sup>。这可能反映了某些决策是串行的而非并行的,大鼠(和人类)一次评估一个选项<sup> 98</sup>。在这些决策情境中,多巴胺可能仍然发挥着根本性的激活作用,它传递着当前考虑选项的价值,而该选项随后可以被接受或拒绝<sup> 24 </sup> 。
活跃的动物会在多个层面上做出决策,而且通常速度很快。除了考虑单个决策之外,考察一系列状态的整体轨迹()可能有所帮助。多巴胺通过促进状态间的转换,可以加速沿已习得轨迹的流动<sup>99</sup>。这可能与多巴胺对行为时序的重要影响有关<sup> 44,100 </sup>。未来研究的一个关键前沿领域是,通过改变单个细胞、微回路和大规模皮层-基底神经节环路内的信息处理,更深入地理解多巴胺对持续行为的影响是如何产生的。此外,我强调了多巴胺在纹状体多个靶点上的共同计算作用,但很大程度上忽略了皮层靶点,多巴胺在这两个结构中的功能是否可以用同一框架来描述,还有待进一步研究。
总之,对多巴胺的充分描述能够解释多巴胺如何在相同的快速时间尺度上同时传递学习和动机信号,而不会造成混淆。它能够解释为什么关键靶点的多巴胺释放与奖励预期相关,即使多巴胺细胞的放电频率并不相关。此外,它还能提供一个统一的计算模型来解释纹状体及其他区域多巴胺的作用,从而解释其对运动、认知和时间感知的不同行为影响。本文提出的一些具体观点尚属推测,但旨在激发新的讨论、建模和深入的新实验。
致谢。
我感谢许多同事对早期的文本草稿提出了深刻的评论,包括Kent Berridge,Peter Dayan,Brian Knutson,Jeff Beeler,Peter Redgrave,John Lisman,Jesse Goldberg和匿名裁判。 我很遗憾空间限制排除了许多重要的先前研究的讨论。 国家神经疾病和中风研究所,国家精神卫生研究所和国家药物滥用研究所提供了必要的支持。
参考文献:
1.
Ungerstedt U 6-羟基多巴胺诱导的黑质纹状体多巴胺系统变性后的难治性和吞咽困难. Acta Physiol Scand Suppl 367,95-122(1971)。 [考研] [Google Scholar]
2. Sacks O. 觉醒。 觉醒 (1973)。
3.
Marshall JF,Levitan D和Stricker EM 激活诱导的感觉运动功能的恢复在具有多巴胺消耗脑损伤的大鼠中. J Comp Physiol Psychol 90,536-46(1976)。 [考研] [Google Scholar]
4.
Berridge KC,Venier IL和Robinson TE 6-羟基多巴胺诱导的吞咽困难的味觉反应性分析:对多巴胺功能的觉醒和快感缺乏症的影响. Behav Neurosci 103,36-45(1989)。 [考研] [Google Scholar]
6.
Mazzoni P,Hristova A和Krakauer JW 我们为什么不加快行动? 帕金森病,运动活力和内隐动机. 神经科学杂志 27,7105-16(2007).doi:10.1523 / JNEUROSCI.0264-07.2007 [考研[交叉引用] [Google Scholar]
8.
Schultz W和Romo R. 猴子中脑的多巴胺神经元:对刺激的反应的偶然性引起立即的行为反应. J神经生理学 63,607-24(1990)。 [考研] [Google Scholar]
9.
Montague PR,Dayan P和Sejnowski TJ 基于预测性Hebbian学习的中脑多巴胺系统框架. 神经科学杂志 16,1936-47(1996)。 [考研] [Google Scholar]
10.
Schultz W,Apicella P和Ljungberg T. 在学习延迟响应任务的连续步骤期间,猴多巴胺神经元对奖励和条件刺激的响应. 神经科学杂志 13,900-13(1993)。 [考研] [Google Scholar]
11.
Sutton RS和Barto AG 强化学习:介绍。 强化学习:介绍 (麻省理工学院出版社:剑桥,马萨诸塞州,1998)。 [Google Scholar]
12.
Cohen JY,Haesler S,Vong L,Lowell BB和Uchida N. 特定神经元类型的信号,用于腹侧被盖区域的奖励和惩罚. 自然 482, 85–8 (2012).doi:10.1038/nature10754 [PMC免费文章] [考研[交叉引用] [Google Scholar]
13.
Eshel N,Tian J,Bukwich M和Uchida N. 多巴胺神经元共享响应预测误差的共同响应函数. Nat Neurosci 19, 479–86 (2016).doi:10.1038/nn.4239 [PMC免费文章] [考研[交叉引用] [Google Scholar]
14.
Steinberg EE,Keiflin R,Boivin JR,Witten IB,Deisseroth K和Janak PH 预测错误,多巴胺神经元和学习之间的因果关系. Nat Neurosci (2013).doi:10.1038 / nn.3413 [PMC免费文章] [考研[交叉引用] [Google Scholar]
15.
Hamid AA,Pettibone JR,Mabrouk OS,Hetrick VL,Schmidt R,Vander Weele CM,Kennedy RT,Aragona BJ和Berke JD 中脑边缘多巴胺标志着工作的价值. Nat Neurosci 19, 117–26 (2016).doi:10.1038/nn.4173 [PMC免费文章] [考研[交叉引用] [Google Scholar]
16.
Yagishita S,Hayashi-Takagi A,Ellis-Davies GC,Urakubo H,Ishii S和Kasai H 多巴胺作用对树突棘结构可塑性的关键时间窗. 科学 345, 1616–20 (2014).doi:10.1126/science.1255514 [PMC免费文章] [考研[交叉引用] [Google Scholar]
17.
Berke JD和Hyman SE 成瘾,多巴胺和记忆的分子机制. 神经元 25,515-32(2000)。 [考研] [Google Scholar]
18.
Beeler JA,Frank MJ,McDaid J,Alexander E,Turkson S,Bernandez MS,McGehee DS和Zhuang X 多巴胺介导的学习在帕金森病的病理生理学和治疗中的作用. 细胞代表 2, 1747–61 (2012).doi:10.1016/j.celrep.2012.11.014 [PMC免费文章] [考研[交叉引用] [Google Scholar]
19.
聪明的RA 多巴胺,学习和动力. Nat Rev Neurosci 5,483-94(2004).doi:10.1038 / nrn1406 [考研[交叉引用] [Google Scholar]
20.
Leventhal DK,Stoetzner C,Abraham R,Pettibone J,DeMarco K和Berke JD 多巴胺对感觉运动纹状体内学习和表现的可分离作用. Basal Ganglia 4, 43–54 (2014).doi:10.1016/j.baga.2013.11.001 [PMC免费文章] [考研[交叉引用] [Google Scholar]
21.
Wyvell CL和Berridge KC 伏隔内安非他明增加蔗糖奖励的条件激励显着性:增加奖励“想要”而不增强“喜欢”或反应强化. 神经科学杂志 20,8122-30。 (2000)。 [考研] [Google Scholar]
22.
Cagniard B,Beeler JA,Britt JP,McGehee DS,Marinelli M和Zhuang X. 多巴胺在没有新学习的情况下衡量表现. 神经元 51,541-7(2006).doi:10.1016 / j.neuron.2006.07.026 [考研[交叉引用] [Google Scholar]
23.
Shiner T,Seymour B,Wunderlich K,Hill C,Bhatia KP,Dayan P和Dolan RJ 多巴胺和强化学习任务中的表现:帕金森病的证据. 大脑 135,1871-1883(2012)。 [PMC免费文章] [考研] [Google Scholar]
24.
McClure SM,Daw ND和Montague PR 激励显着性的计算基础. 趋势神经科学 26,423-8(2003)。 [考研] [Google Scholar]
25.
舒尔茨W 多种多巴胺在不同时间段起作用. Annu Rev Neurosci 30,259-88(2007).doi:10.1146 / annurev.neuro.28.061604.135722 [考研[交叉引用] [Google Scholar]
26.
Gonon F,Burie JB,Jaber M,Benoit-Marand M,Dumartin B和Bloch B 大鼠纹状体和缺乏多巴胺转运蛋白的小鼠中多巴胺能传递的几何和动力学. Prog Brain Res 125,291-302(2000)。 [考研] [Google Scholar]
27.
Aragona BJ,Cleaveland NA,Stuber GD,Day JJ,Carelli RM和Wightman RM 可卡因对伏隔核内多巴胺传递的优先增强可归因于相位多巴胺释放事件的直接增加. 神经科学杂志 28, 8821–31 (2008).doi:10.1523/JNEUROSCI.2225-08.2008 [PMC免费文章] [考研[交叉引用] [Google Scholar]
28.
Owesson-White CA,Roitman MF,Sombers LA,Belle AM,Keithley RB,Peele JL,Carelli RM和Wightman RM 有助于伏隔核中多巴胺平均细胞外浓度的来源. ĴNeurochem公司 121, 252–62 (2012).doi:10.1111/j.1471-4159.2012.07677.x [PMC免费文章] [考研[交叉引用] [Google Scholar]
29.
Yapo C,Nair AG,Clement L,Castro LR,Hellgren Kotaleski J和Vincent P 通过D1和D2纹状体中型多刺神经元检测相位多巴胺. J Physiol (2017).doi:10.1113 / JP274475 [PMC免费文章] [考研[交叉引用] [Google Scholar]
30.
Freed CR和Yamamoto BK 区域脑多巴胺代谢:移动动物的速度,方向和姿势的标记. 科学 229,62-65(1985)。 [考研] [Google Scholar]
31.
Niv Y,Daw ND,Joel D和Dayan P. 强直多巴胺:机会成本和对反应活力的控制. 精神药理学(Berl) 191, 507–20 (2007).doi:10.1007/s00213-006-0502-4 [考研[交叉引用] [Google Scholar]
32.
Strecker RE,Steinfels GF和Jacobs BL 自由移动的猫的多巴胺能单位活动:与摄食,饱腹感和葡萄糖注射无关. 脑; 260,317-21(1983)。 [考研] [Google Scholar]
33.
Cohen JY,Amoroso MW和Uchida N. 5-羟色胺能神经元在多个时间尺度上表示奖励和惩罚. 网上生活 4,(2015).doi:10.7554 / eLife.06346 [PMC免费文章] [考研[交叉引用] [Google Scholar]
34.
Floresco SB,West AR,Ash B,Moore H和Grace AA 多巴胺神经元放电的传入调节差异地调节强直和相位多巴胺传递. Nat Neurosci 6,968-73(2003).doi:10.1038 / nn1103 [考研[交叉引用] [Google Scholar]
36.
Phillips PE,Stuber GD,Heien ML,Wightman RM和Carelli RM 亚秒多巴胺释放促进可卡因寻求. 自然 422,614-8(2003).doi:10.1038 / nature01476 [考研[交叉引用] [Google Scholar]
37.
Wassum KM,Ostlund SB和Maidment NT 相位中脑边缘多巴胺信号传导先于并预测自发起作用序列任务的表现. 生物学精神病学 71, 846–54 (2012).doi:10.1016/j.biopsych.2011.12.019 [PMC免费文章] [考研[交叉引用] [Google Scholar]
38.
Howe MW,Tierney PL,Sandberg SG,Phillips PE和Graybiel AM 纹状体中延长的多巴胺信号传导发出远距离奖赏的接近度和价值. 自然 500, 575–9 (2013).doi:10.1038/nature12475 [PMC免费文章] [考研[交叉引用] [Google Scholar]
39.
Satoh T,Nakai S,Sato T和Kimura M. 多巴胺神经元的动机和决策结果的相关编码. 神经科学杂志 23,9913-23(2003)。 [考研] [Google Scholar]
41.
Silva JAD,Tecuapetla F,PaixãoV和Costa RM 动作启动前的多巴胺神经元活动可以激活并激活未来的运动. 自然 554,244(2018).doi:10.1038 / nature25457 [考研[交叉引用] [Google Scholar]
42.
du Hoffmann J和Nicola SM 多巴胺通过促进伏核中的诱发诱发激发来激发寻求奖励. 神经科学杂志 34, 14349–64 (2014).doi:10.1523/JNEUROSCI.3492-14.2014 [PMC免费文章] [考研[交叉引用] [Google Scholar]
43.
Hart AS,Rutledge RB,Glimcher PW和Phillips PE 大鼠伏核中的相位多巴胺释放对称地编码奖励预测误差项. 神经科学杂志 34, 698–704 (2014).doi:10.1523/JNEUROSCI.2489-13.2014 [PMC免费文章] [考研[交叉引用] [Google Scholar]
44.
Soares S,Atallah BV和Paton JJ 中脑多巴胺神经元控制时间的判断. 科学 354,1273-1277(2016).doi:10.1126 / science.aah5234 [考研[交叉引用] [Google Scholar]
45.
Ikemoto S. 多巴胺奖励回路:从腹侧中脑到伏隔核 - 嗅结节复合体的两个投射系统. Brain Res Rev 56, 27–78 (2007).doi:10.1016/j.brainresrev.2007.05.004 [PMC免费文章] [考研[交叉引用] [Google Scholar]
46.
Syed EC,Grima LL,Magill PJ,Bogacz R,Brown P和Walton ME 动作启动形成中脑边缘多巴胺编码的未来奖励. Nat Neurosci (2015).doi:10.1038 / nn.4187 [PMC免费文章] [考研[交叉引用] [Google Scholar]
47.
Floresco SB,Yang CR,Phillips AG和Blaha CD 基底外侧杏仁核刺激引起麻醉大鼠伏核中谷氨酸受体依赖性多巴胺外流. EUR神经科学杂志 10,1241-51(1998)。 [考研] [Google Scholar]
48.
Jones JL,Day JJ,Aragona BJ,Wheeler RA,Wightman RM和Carelli RM 基底外侧杏仁核调节伏隔核中的末端多巴胺释放并调节反应. 生物学精神病学 67, 737–44 (2010).doi:S0006–3223(09)01327–4 [pii] 10.1016/j.biopsych.2009.11.006 [PMC免费文章] [考研[交叉引用] [Google Scholar]
49.
Cachope R,Mateo Y,Mathur BN,Irving J,Wang HL,Morales M,Lovinger DM和Cheer JF 胆碱能中间神经元的选择性激活增强了累积的阶段多巴胺释放:为奖励处理设定基调. 细胞代表 2, 33–41 (2012).doi:10.1016/j.celrep.2012.05.011 [PMC免费文章] [考研[交叉引用] [Google Scholar]
50.
Threlfell S,Lalic T,Platt NJ,Jennings KA,Deisseroth K和Cragg SJ 纹状体多巴胺释放由胆碱能中间神经元中的同步活动引发. 神经元 75,58-64(2012).doi:10.1016 / j.neuron.2012.04.038 [考研[交叉引用] [Google Scholar]
51.
格雷斯AA 阶段性与强直性多巴胺释放和多巴胺系统响应性的调节:精神分裂症病因学的假设. 神经 41,1-24(1991)。 [考研] [Google Scholar]
52.
Moyer JT,Wolf JA和Finkel LH 多巴胺能调节对腹侧纹状体多刺神经元整合特性的影响. J神经生理学 98,3731-48(2007)。 [考研] [Google Scholar]
53.
Jędrzejewska-Szmek J,Damodaran S,Dorman DB和Blackwell KT 钙动力学预测纹状体多刺投射神经元中突触可塑性的方向. EUR神经科学杂志 45, 1044–1056 (2017).doi:10.1111/ejn.13287 [PMC免费文章] [考研[交叉引用] [Google Scholar]
54.
Morris G,Arkadir D,Nevet A,Vaadia E和Bergman H. 中脑多巴胺和纹状体活跃神经元的重合但不同的信息. 神经元 43,133-43(2004)。 [考研] [Google Scholar]
55.
Brown MT,Tan KR,O'Connor EC,Nikonenko I,Muller D和LüscherC 腹侧被盖区GABA预测暂停累积胆碱能中间神经元以增强联想学习. 自然 (2012).doi:10.1038 / nature11657 [考研[交叉引用] [Google Scholar]
56.
Yamanaka K,Hori Y,Minamimoto T,Yamada H,Matsumoto N,Enomoto K,Aosaki T,Graybiel AM和Kimura M 背景纹状体中丘脑和丘脑中间神经元的中心体束旁核在环境事件联想学习中的作用. J Neural Transm(维也纳) (2017).doi:10.1007/s00702-017-1713-z [PMC免费文章] [考研[交叉引用] [Google Scholar]
57.
Shen W,Plotkin JL,Francardo V,Ko WK,Xie Z,Li Q,Fieblinger T,Wess J,Neubig RR,Lindsley CW,Conn PJ,Greengard P,Bezard E,Cenci MA和Surmeier DJ M4毒蕈碱受体信号改善L-DOPA诱导的运动障碍模型中的纹状体可塑性缺陷. 神经元 88, 762–73 (2015).doi:10.1016/j.neuron.2015.10.039 [PMC免费文章] [考研[交叉引用] [Google Scholar]
58.
Nair AG,Gutierrez-Arenas O,Eriksson O,Vincent P和Hellgren Kotaleski J 在直接和间接途径纹状体中型多刺神经元中通过腺苷酸环化酶偶联的GPCR感知阳性与阴性奖赏信号. 神经科学杂志 35, 14017–30 (2015).doi:10.1523/JNEUROSCI.0730-15.2015 [PMC免费文章] [考研[交叉引用] [Google Scholar]
60.
Franklin NT和Frank MJ 一种胆碱能反馈回路,用于调节纹状体种群的不确定性并优化强化学习. eLife 4,(2015).doi:10.7554 / eLife.12029 [PMC免费文章] [考研[交叉引用] [Google Scholar]
61.
Nougaret S和Ravel S. 携带不同力量和奖励信息的事件调节猴纹状体的活跃神经元. 神经科学杂志 35,15214-26(2015).doi:10.1523 / JNEUROSCI.0039-15.2015 [考研[交叉引用] [Google Scholar]
63.
Lammel S,Hetzel A,HäckelO,Jones I,Liss B和Roeper J. 双中脑皮质边缘多巴胺系统中中脑神经元的独特性质. 神经元 57,760-73(2008).doi:10.1016 / j.neuron.2008.01.022 [考研[交叉引用] [Google Scholar]
64.
Poulin JF,Zou J,Drouin-Ouellet J,Kim KY,Cicchetti F和Awatramani RB 通过单细胞基因表达谱定义中脑多巴胺能神经元多样性. 细胞代表 9, 930–43 (2014).doi:10.1016/j.celrep.2014.10.008 [PMC免费文章] [考研[交叉引用] [Google Scholar]
65.
Morales M和Margolis EB 腹侧被盖区:细胞异质性,连通性和行为. Nat Rev Neurosci 18,73-85(2017).doi:10.1038 / nrn.2016.165 [考研[交叉引用] [Google Scholar]
66.
Matsumoto M和Hikosaka O. 两种类型的多巴胺神经元明显地传达正面和负面的动机信号. 自然 459,837-41(2009).doi:nature08028 [pii] 10.1038 / nature08028 [PMC免费文章] [考研[交叉引用] [Google Scholar]
67.
Pasquereau B和Turner RS 多巴胺神经元编码预测运动触发发生的错误. 神经生理学杂志 113, 1110–1123 (2014).doi:10.1152/jn.00401.2014 [PMC免费文章] [考研[交叉引用] [Google Scholar]
68.
Redgrave P,Prescott TJ和Gurney K. 短潜伏期多巴胺反应是否太短而不能发出信号奖励错误? 趋势神经科学 22,146-51(1999)。 [考研] [Google Scholar]
69.
Bromberg-Martin ES,Matsumoto M和Hikosaka O. 多巴胺在激励控制中:奖励,厌恶和警觉. 神经元 68, 815–34 (2010).doi:10.1016/j.neuron.2010.11.022 [PMC免费文章] [考研[交叉引用] [Google Scholar]
70.
Dodson PD,Dreyer JK,Jennings KA,Syed EC,Wade-Martins R,Cragg SJ,Bolam JP和Magill PJ 多巴胺能神经元的自发运动的表示是细胞类型选择性的并且在帕金森病中被破坏. PROC NATL美国科学院学报 113, E2180–8 (2016).doi:10.1073/pnas.1515941113 [PMC免费文章] [考研[交叉引用] [Google Scholar]
71.
Lerner TN,Shilyansky C,Davidson TJ,Evans KE,Beier KT,Zalocusky KA,Crow AK,Malenka RC,Luo L,Tomer R和Deisseroth K 完整脑分析显示SNc多巴胺子电路携带的独特信息. 手机 162, 635–47 (2015).doi:10.1016/j.cell.2015.07.014 [PMC免费文章] [考研[交叉引用] [Google Scholar]
72.
Parker NF,Cameron CM,Taliaferro JP,Lee J,Choi JY,Davidson TJ,Daw ND和Witten IB 中脑多巴胺神经元末端的奖赏和选择编码取决于纹状体靶标. Nat Neurosci (2016).doi:10.1038 / nn.4287 [PMC免费文章] [考研[交叉引用] [Google Scholar]
73.
Kim CK,Yang SJ,Pichamoorthy N,Young NP,Kauvar I,Jennings JH,Lerner TN,Berndt A,Lee SY,Ramakrishnan C,Davidson TJ,Inoue M,Bito H和Deisseroth K 同时快速测量哺乳动物大脑多个部位的电路动态. 自然方法 13, 325–328 (2016).doi:10.1038/nmeth.3770 [PMC免费文章] [考研[交叉引用] [Google Scholar]
74.
Menegas W,Babayan BM,Uchida N和Watabe-Uchida M. 对小鼠腹侧和后侧纹状体中多巴胺信号传导的新线索进行相反的初始化. 网上生活 6,(2017).doi:10.7554 / eLife.21886 [PMC免费文章] [考研[交叉引用] [Google Scholar]
75.
Brown HD,McCutcheon JE,Cone JJ,Ragozzino ME和Roitman MF 主要食物奖励和奖励预测刺激引起整个纹状体中不同的多相多巴胺信号传导模式. 神经科学的欧洲杂志 34, 1997–2006 (2011).doi:10.1111/j.1460-9568.2011.07914.x [PMC免费文章] [考研[交叉引用] [Google Scholar]
76.
Knutson B和Greer SM 预期影响:神经相关和选择的后果. Philos Trans R Soc Lond B Biol Sci 363, 3771–86 (2008).doi:10.1098/rstb.2008.0155 [PMC免费文章] [考研[交叉引用] [Google Scholar]
77.
Bartra O,McGuire JT和Kable JW 评估系统:基于坐标的BOLD fMRI实验的荟萃分析,检查主观价值的神经相关性. 影像学 76, 412–27 (2013).doi:10.1016/j.neuroimage.2013.02.063 [PMC免费文章] [考研[交叉引用] [Google Scholar]
78.
Ferenczi EA,Zalocusky KA,Liston C,Grosenick L,Warden MR,Amatya D,Katovich K,Mehta H,Patenaude B,Ramakrishnan C,Kalanithi P,Etkin A,Knutson B,Glover GH和Deisseroth K 前额皮质调节全脑电路动态和奖励相关的行为. 科学 351,aac9698(2016).doi:10.1126 / science.aac9698 [PMC免费文章] [考研[交叉引用] [Google Scholar]
79.
Bertran-Gonzalez J,Bosch C,Maroteaux M,Matamales M,HervéD,Valjent E和Girault JA 反应可卡因和氟哌啶醇的多巴胺D1和D2受体表达纹状体神经元中信号激活的反对模式. 神经科学杂志 28,5671-85(2008).doi:10.1523 / JNEUROSCI.1039-08.2008 [考研[交叉引用] [Google Scholar]
80.
Redgrave P,Prescott TJ和Gurney K. 基底神经节:选择问题的脊椎动物解决方案? 神经 89,1009-23(1999)。 [考研] [Google Scholar]
81.
Beeler JA,Frazier CR和庄X. 将愿望放在预算上:多巴胺和能量消耗,协调奖励和资源. Front Integr Neurosci 6,49(2012).doi:10.3389 / fnint.2012.00049 [PMC免费文章] [考研[交叉引用] [Google Scholar]
82.
Anderson BA,Kuwabara H,Wong DF,Gean EG,Rahmim A,BrašićJR,George N,Frolov B,Courtney SM和Yantis S 多巴胺在基于价值的注意力取向中的作用. Curr Biol 26, 550–5 (2016).doi:10.1016/j.cub.2015.12.062 [PMC免费文章] [考研[交叉引用] [Google Scholar]
83.
Chatham CH,Frank MJ和Badre D. 从工作记忆中选择时皮质纹状体输出门控. 神经元 81, 930–42 (2014).doi:10.1016/j.neuron.2014.01.002 [PMC免费文章] [考研[交叉引用] [Google Scholar]
84.
Shenhav A,Botvinick MM和Cohen JD 控制的预期值:前扣带皮层功能的综合理论. 神经元 79, 217–40 (2013).doi:10.1016/j.neuron.2013.07.007 [PMC免费文章] [考研[交叉引用] [Google Scholar]
85.
Aarts E,Roelofs A,Franke B,Rijpkema M,FernándezG,Helmich RC和Cools R 纹状体多巴胺介导人类动机和认知控制之间的界面:来自遗传成像的证据. 神经精神药理学 35, 1943–51 (2010).doi:10.1038/npp.2010.68 [PMC免费文章] [考研[交叉引用] [Google Scholar]
86.
Westbrook A和Braver TS 多巴胺在激发认知努力方面具有双重作用. 神经元 89, 695–710 (2016).doi:10.1016/j.neuron.2015.12.029 [PMC免费文章] [考研[交叉引用] [Google Scholar]
87.
Manohar SG,Chong TT,Apps MA,Batla A,Stamelou M,Jarman PR,Bhatia KP和Husain M 奖励支付运动和认知控制中的降噪成本. Curr Biol 25, 1707–16 (2015).doi:10.1016/j.cub.2015.05.038 [PMC免费文章] [考研[交叉引用] [Google Scholar]
88.
Wunderlich K,Smittenaar P和Dolan RJ 多巴胺增强基于模型的无模型选择行为. 神经元 75, 418–24 (2012).doi:10.1016/j.neuron.2012.03.042 [PMC免费文章] [考研[交叉引用] [Google Scholar]
89.
Nicola SM 灵活的方法假设:努力的统一和对伏核多巴胺在激励寻求奖励行为中的作用的线索 - 响应假设. 神经科学杂志 30, 16585–600 (2010).doi:10.1523/JNEUROSCI.3958-10.2010 [PMC免费文章] [考研[交叉引用] [Google Scholar]
90.
Eban-Rothschild A,Rothschild G,Giardino WJ,Jones JR和de Lecea L. VTA多巴胺能神经元调节与伦理学相关的睡眠 - 觉醒行为. Nat Neurosci (2016).doi:10.1038 / nn.4377 [PMC免费文章] [考研[交叉引用] [Google Scholar]
91.
Haber SN,Fudge JL和McFarland NR 灵长类动物的纹状体纹状体通路形成从壳到背外侧纹状体的上升螺旋. 神经科学杂志 20,2369-82(2000)。 [考研] [Google Scholar]
92.
Reddi BAJ和Carpenter RHS 紧迫性对决策时间的影响. 自然神经科学 3,827(2000)。 [考研] [Google Scholar]
93.
Thura D和Cisek P. 基础神经节不会选择达到目标但控制承诺的紧迫性. 神经元 (2017).doi:10.1016 / j.neuron.2017.07.039 [考研[交叉引用] [Google Scholar]
94.
特纳RS和Desmurget M. 基底神经节对运动控制的贡献:一个有活力的导师. Curr Opin Neurobiol 20, 704–16 (2010).doi:10.1016/j.conb.2010.08.022 [PMC免费文章] [考研[交叉引用] [Google Scholar]
95.
Hikosaka O,Nakamura K和Nakahara H. 基底神经节的眼睛要奖励. J神经生理学 95,567-84(2006).doi:10.1152 / jn.00458.2005 [考研[交叉引用] [Google Scholar]
96.
Kelly PH和Moore KE 黑质纹状体功能旋转模型中的中脑边缘多巴胺能神经元. 自然 263,695-6(1976)。 [考研] [Google Scholar]
97.
Cousins MS,Atherton A,Turner L和Salamone JD 伏隔核多巴胺消耗改变了T迷宫成本/收益任务中的相对响应分配. Behav Brain Res 74,189-97。 (1996)。 [考研] [Google Scholar]
99.
Rabinovich MI,Huerta R,Varona P和Afraimovich VS. 瞬态认知动力学,亚稳态和决策. PLoS Comput Biol 4,e1000072(2008).doi:10.1371 / journal.pcbi.1000072 [PMC免费文章] [考研[交叉引用] [Google Scholar]
100.
商人H,Harrington DL和Meck WH 神经基础的感知和时间估计. Annu Rev Neurosci 36,313-36(2013).doi:10.1146 / annurev-neuro-062012-170349 [考研[交叉引用] [Google Scholar]