不可分离的多巴胺动力学习和动机（2019）

从腹侧被盖区（VTA）到伏隔核（NAc）的多巴胺投射对于努力争取奖励和奖励驱动的学习至关重要。 多巴胺如何支持这两种功能尚不清楚。 多巴胺细胞突增可以编码预测错误，这是自适应行为计算理论中的重要学习信号。 相比之下，多巴胺释放随着动物接近奖励而增加，反映了奖励期望。 这种失配可能反映出行为任务的差异，多巴胺细胞突增的变化较慢或对多巴胺释放的依赖于尖峰的调节。 在这里，我们将在同一决策任务中将已确定的VTA多巴胺细胞与NAc多巴胺释放的峰值进行比较。 提示即将获得奖励的提示增加了尖峰和释放。 但是，NAc核心多巴胺释放也与动态演变的奖励期望共变，而VTA多巴胺细胞峰值却没有相应变化。 我们的结果表明，在调节多巴胺释放以实现独特功能方面存在根本差异：广播突发信号可促进学习，而局部控制可促进动力。

多巴胺与“奖励”有关 - 但究竟如何？ 一个功能涉及从意外奖励中学习。 多巴胺细胞发射的简单增加编码奖励预测误差（RPEs）^1,2,3 - 学习信号，用于优化未来的动机行为。 多巴胺操作可以影响学习，就像它们正在改变RPE一样^4,5,6，但它们也会立即影响动机行为，就像多巴胺信号奖励期望（价值）一样⁵。 此外，NAc多巴胺在动机方法期间升高，与多巴胺编码值一致^7,8,9,10,11.

除了少数例外^2,12,13在头部固定动物的经典调理过程中，已经检查过中脑多巴胺烧伤^3,14，不像前脑多巴胺释放。 因此，我们将烧制与相同条件下的释放进行比较。 我们使用光遗传标记鉴定了VTA多巴胺神经元^3,13。 为了测量NAc多巴胺释放，我们使用三种独立的方法 - 微透析，伏安法和光学传感器dLight¹⁵ - 收敛结果。 我们的主要结论是，虽然RPE标度的VTA多巴胺峰值突发提供了适合学习的多巴胺释放的突然变化，但与动机相关的单独NAc多巴胺波动独立于VTA多巴胺细胞发射而产生。

我们训练老鼠进行操作“强盗”任务⁵ （图。 1a，b）。 在每次试验中，点亮鼻孔（“ Light-on”）会提示进近和进入（“ Centre-in”）。 在可变的保持时间（0.5–1.5 s）后，白噪声（“提示”）导致大鼠退出（“中心退出”）并戳开相邻端口（“侧入”）。 在有奖励的试验中，这种“ Side-in”事件伴有食料斗咔嗒声，促使老鼠接近食道（“ Food-port-in”）以收集糖丸。 左选择和右选择各有独立的概率奖励，这些概率有时会在没有警告的情况下发生变化。 当老鼠更有可能获得奖励时，他们就会更有动力去执行任务。 这在他们的“等待时间”中很明显-从亮起到居中 - 这对前几次试验的结果很敏感（扩展数据图 1并因此与奖励率成反比（图 1b).

a，强盗任务事件。 b，示例会话。 第一行，每个区块的奖励概率（左：右）； 第二行，对勾表示每次试验的结果（高，奖励，短期，无奖励）； 第三行，泄漏积分器对报酬率的估计（黑色）和等待时间的运行平均值（青色；对数刻度倒数）； 最下面一行，同一会话中的NAc核心多巴胺（1分钟样品）。 DA，多巴胺。 c，顶部，内侧额叶皮层和纹状体的微透析位置（另见扩展数据图。 1). n =来自51只大鼠的12个探针位置，每个位置带有2个在两次实验之间降低的微透析探针。 条形颜色表示多巴胺与奖励率之间的相关性。 ACC，前扣带回皮层； dPL，背侧前皮层； vPL，腹侧前皮层； IL，下肢皮质； DMS，背侧纹状体。 多巴胺与奖赏率之间的中间，平均互相关图。 红色横条表示随机排序的时间序列的99％置信区间。 底部，神经化学物质与报酬率之间的关系（多元回归）。 不适用，去甲肾上腺素； 5-羟色胺; ACh，乙酰胆碱； GABA，γ-氨基丁酸； 谷氨酸谷氨酸; NM，去甲肾上腺素； DOPAC，3,4-二羟基苯基乙酸; 3-MT，3-甲氧基酪胺; HVA，高香草酸； 5-HIAA，5-羟基吲哚乙酸。 d，阻滞转变对奖励率（左），潜伏期（中）和NAc核心多巴胺（右）的影响。 根据经验丰富的奖励率是否增加来对过渡进行分类（n = 25）或减少（n = 33）。 数据来自所有14个测量NAc核心多巴胺的环节（每只大鼠一只，结合了新的和先前报道的数据⁵ 动物），并绘制为平均值±sem e，多巴胺与奖励率之间相关性的复合图（n = 19只大鼠，33个疗程，58个探头位置）。 此图的大脑图集轮廓经Paxinos和Watson许可于2005年复制⁵¹.

全尺寸图片

我们以前报道过⁵ NAc多巴胺释放与回报率之间的相关性，与中脑边缘多巴胺的动机作用一致¹⁶。 在这里，我们首先旨在确定是否在整个前脑靶标中观察到这种关系，与“全球广播”多巴胺信号传导一致¹⁷，或仅限于特定的次区域。 我们进一步假设这些多巴胺动力学在纹状体和皮质之间会有所不同，因为这些结构具有明显的多巴胺摄取 - 降解动力学¹⁸ 并且可以使用多巴胺来实现不同的功能^19,20.

使用微透析和高效液相色谱 - 质谱（HPLC-MS），我们调查了内侧额叶皮层和纹状体（图。 1c，扩展数据图 1）。 我们同时用21-min时间分辨率测定1神经递质和代谢物，并使用回归将化学时间序列与行为变量进行比较（扩展数据图。 2).

我们重复了奖励率和NAc多巴胺之间的相关性 - 与其他神经递质相比（图2）。 1c，d）。 然而，这种关系局限于NAc核心，并且没有在NAc壳或背内侧纹状体中保持。 与我们的假设相反，我们在额叶皮层观察到类似的空间模式：多巴胺释放与腹侧前肢皮层的回报率相关，但在更多的背侧或腹侧亚区域没有（图。 1c，e）。 虽然出乎意料，这些与价值相关的多巴胺释放的双重“热点”在人类神经影像学中具有一个有趣的平行关系：血氧水平依赖性信号与主观价值相关，特别是在NAc和腹侧内侧前额叶皮质中。²¹.

我们接下来讨论了这种与动机相关的前脑多巴胺是否来自中脑多巴胺细胞的可变发射。 NAc核心接受来自VTA侧面部分的多巴胺输入（VTA-1）^6,22,23。 在头部固定的小鼠中，据报道VTA-1多巴胺神经元对条件刺激具有均匀的RPE样反应³。 为了记录VTA-1多巴胺细胞，我们用腺相关病毒（AAV）感染VTA，用于在酪氨酸羟化酶（TH）启动子下表达Cre重组酶的大鼠中Cre依赖性通道视紫红质（AAV-DIO-ChR2）的表达（见 方法）。 Optrodes（图 2a，b记录单个单元对短暂蓝色激光脉冲的响应（图 2c，扩展数据 3, 4, 补充图1）。 我们发现27分离良好的VTA-1细胞具有可靠的短潜伏期峰值，并将其鉴定为多巴胺神经元。

a，左，光极原理图，具有16个四极体，直径约200 µm光纤。 右图，在侧向VTA中放置光极的示例。 比例尺，1毫米。 红色，多巴胺细胞标记酪氨酸羟化酶； 绿色，ChR2-EYFP； 黄色，重叠。 对于所有放置，请参见扩展数据图。 3. b，VTA多巴胺细胞峰值。 红色条表示检测到的突发和每个突发中的尖峰数（参见 方法）。 刻度，0.5 s，0.5 mV。 c，示例神经元对持续时间增加的激光脉冲的响应。 d，每个VTA单元的会话范围激发速率与尖峰宽度（半最大值）。 蓝色，标记多巴胺细胞; 紫色，一组独特的假定的非多巴胺神经元。 插图，平均波形的示例（负电压向上）。 e，在匪徒任务期间VTA多巴胺神经元的射击速率（蓝色； 1分钟框）。 延迟（青色）与奖励率相关，但触发率则不。 f，低奖励率和高奖励率积木中所有VTA神经元（蓝色，多巴胺;紫色，非多巴胺;灰色，未分类）的射击率。 没有显示出显着差异（使用1-min箱的Wilcoxon签名等级测试，全部 P 校正多个比较后> 0.05。 g，多巴胺细胞射击和奖励率之间的平均互相关显示无显着关系。 h，分析块转换时的多巴胺激发速率（与图1相同的格式）。 1d). n = 95奖励增加，76减少。 i。 尖峰间隔（ISI，左）和尖峰脉冲（右）的分布在较高和较低的奖励率区块之间保持不变（Kolmogorov-Smirnov统计：ISI，0.138， P = 0.92; 爆发，0.165， P = 0.63）。

全尺寸图片

所有多巴胺神经元均具有音调活跃性，发射速率相对较低（平均7.7 Hz，范围3.7-12.9 Hz；与与多巴胺细胞一起记录的所有VTA-XNUMX神经元相比， P <0.001单尾曼恩惠特尼检验）。 它们还具有较长的尖峰波形（P <5×10 ^{- 6}，单尾Mann-Whitney检验），虽然有例外（图。 2d），证实波形持续时间不足以作为体内多巴胺细胞的标记^3,24。 一组独特的VTA-1神经元（n = 38，来自相同的会话）具有简短的波形和较高的发射速率（> 20 Hz；平均41.3 Hz，范围20.1–97.1 Hz）不包含标记的多巴胺细胞。 我们认为这些发射速度更快的细胞是GABA能和/或谷氨酸能^3,25，并在下面将它们称为“非多巴胺”。

我们在多个行为任务中记录了相同的多巴胺细胞。 VTA-1多巴胺细胞对随机定时的食物漏斗点击反应强烈，并且当这些点击通过前面的线索更加可预测时逐渐减弱（扩展数据图。 5）。 这与Pavlovian任务中多巴胺细胞的经典RPE样编码一致^2,3,26.

根据麻醉动物的证据，以前曾认为微透析测量的多巴胺水平改变是由于多巴胺细胞的滋补放电速率改变引起的。²⁷ 和/或活性与非活性多巴胺神经元的比例²⁸。 然而，在强盗任务中，每个试验块中的强直多巴胺细胞射击对奖励率无关紧要（图2）。 2e，g）。 单个多巴胺细胞或任何其他VTA-1神经元的激发率在较高和较低奖励区块之间没有显着变化（图 2f，h; 另见参考 ²⁹ 对于头部固定小鼠的一致结果）。 多巴胺细胞发出尖峰刺激的速度也没有全面变化（图 2i）。 此外，我们没有观察到任何多巴胺细胞在活跃和非活动状态之间切换。 多巴胺细胞失活的时间比例（长刺突间隔）非常低，并且在高回报和低回报区块之间没有变化（图。 2i).

已经深入研究了VTA-NAc多巴胺投影的解剖学^6,22,23但是 - 鉴于这种明显的功能不匹配发射和释放 - 我们再次确认我们是从VTA的正确部分进行记录。 将逆行示踪剂霍乱毒素B（CTb）小剂量注射到NAc核心中导致TH的密集标记⁺ 与我们的光极记录相同的VTA-1区域内的神经元（扩展数据图。 3）。 在近似记录区域内，TH的21％⁺ 细胞也是CTb⁺这可能是低估NAc核心投射的VTA-1多巴胺细胞的比例，因为我们的示踪剂注射没有完全填充NAc核心。 因此，我们的样本 n = 27个标记的VTA多巴胺细胞（加上更多未标记的细胞）几乎可以肯定地包括NAc核心投射神经元。 最后，在另一只大鼠中，我们将AAV选择性注入NAc核心后记录了两个标记的VTA-XNUMX多巴胺细胞（扩展数据图。 3）。 两种逆行感染的细胞在所有方面都具有与其他标记的多巴胺细胞非常相似的放电模式，包括缺乏具有不同奖励率的强直性放电变化（补充图1）。 我们得出结论，强直性VTA-1多巴胺细胞放电的变化不是造成前脑多巴胺释放的动机相关变化的原因。

如某些理论所示，NAc多巴胺本身是否释放了追踪奖励率本身³⁰，这种相关性是由多巴胺释放的动态波动驱动的，这种波动太快而无法用微透析解决？ 我们在伏安法数据的基础上论证了后一种可能性⁵，但寻求确认使用可以跨越不同时间尺度的多巴胺释放的独立测量。 通过将循环置换的GFP插入多巴胺D1受体中来设计dLight1基因编码的光学多巴胺指示剂套件。¹⁵。 多巴胺的结合导致荧光的高度特异性增加（图2）。 3a）。 我们将AAV注入NAc以表达dLight1.1（来自三只大鼠的四个验证的NAc放置）或更亮的变体dLight1.3b（来自四只大鼠的六个验证的NAc放置）并通过纤维光度法监测荧光。 我们观察到明显的NAc多巴胺对巴甫洛夫奖励预测线索的反应，类似于VTA多巴胺细胞射击（扩展数据图。 5).

a，dLight1.3b的荧光响应。 插图，滴定多巴胺（n = 15个感兴趣区域（ROI）和去甲肾上腺素（n = 9）。 主要人物，沐浴用神经递质（全部 n = 12个投资回报率）。 他的组胺。 b，示例强盗会话包括归一化的NAc dLight1.3b信号（1-min频段）。 c，dLight信号随块转换而变化。 n = 35奖励率增加，45减少率。 d，dLight与奖励率之间的互相关。 e，更近的阴影部分的视图 b。 箭头：黑色，中央鼻孔； 浅红色，侧入式（奖励）； 浅蓝色，Side-in（无奖励）； 深红色，进餐（有偿）； 深蓝色，进餐口（不提供）。 下一行：积分积分者对奖励率的估计； dLight低分辨率（1分钟）； dLight高分辨率（50 Hz，绿色；五点中值滤波，黑色）； 模型状态值（青色）； 和RPE（洋红色）。 经过几次无奖励的试验后，试验初期的状态值很低，然后奖励发放唤起了积极的RPE并伴随着多巴胺的急剧增加。 连续的奖励试验减少了RPE，但增加了状态值，并伴有多巴胺的增加。 f，短时间尺度交叉相关显示dLight和值之间的密切关系，以及与RPE的较小关系。 g，模型变量与dLight之间的试验内相关性具有不同的滞后； 大约0.3 s之后，与dLight的相关性最强于dLight。 h，在所有会话中，价值的最大相关性大于RPE或奖励率。

全尺寸图片

对于强盗任务，我们首先检查了1-min箱中的dLight信号（图。 3b）用于与微透析进行比较。 我们再次看到NAc多巴胺释放与奖励率之间存在明显的关系，包括互相关和块转换分析（图2）。 3c，d）。 我们接下来仔细研究了这种关系是如何产生的。 dLight信号不是在分钟的时间尺度上缓慢变化，而是在每次试验中和之间显示出高度动态的波动（图2）。 3e）。 我们将这些波动与瞬时状态值和从强化学习模型（半马尔可夫决策过程）估计的RPE进行了比较⁵）。 正如之前报道的使用伏安法⁵，一刻一刻的NAc多巴胺与状态值显示出强烈的相关性（图 3f），当预期奖励时，可见在试验中加速（图 3e）。 我们还看到短暂增加，奖励交付次数减少，与RPE一致（下文检查）。 在每个dLight会话中，多巴胺显示出与RPE或奖励率相比更强的相关性（图。 3h，扩展数据图 6）。 状态信号和RPE的相关性在约0.3 s以后的dLight信号中最大，这与线索和传感器响应时间的神经处理引起的短暂滞后相吻合（图。 3g; 使用伏安法，我们报告了0.4–0.5 s的延迟）⁵.

我们接下来比较多巴胺细胞的发射和释放强盗任务事件。 Light-on，Go cue和奖励的外部刺激Side-in（食物漏斗点击）各自引起快速射击增加（图。 4a）。 在绝大多数多巴胺细胞中观察到这些反应（图2）。 4c），尽管不同线索的响应的相对大小因细胞而异（补充图1）。 NAc dLight信号也对这些显着线索中的每一个快速可靠地做出响应（图2）。 4b，c），与促使多巴胺释放的多巴胺细胞的爆发射击一致。

a，VTA-1多巴胺细胞的事件排列活性。 一个代表性细胞的顶部，尖刺栅格; 底部，平均穗率（n = 29）。 在所有面板中，误差带表示±sem b，事件对齐的NAc dLight。 顶级代表会议; 底部，平均（n = 10），归一化为峰值奖励侧入响应。 在整个图中，显示的是相对于在居中之前2 s结束的1 s“基线”时期的dLight信号。 注意在居中进入和食品进入之前不久，音符会增加（箭头）。 c，多巴胺细胞的累积时间分布（固体; n = 29），dLight（虚线； n = 10），以增加提示信号的发生（与基线相比，随机播放测试，10,000次随机播放， P <0.01，校正了多个比较）。 对于Light-on，仅包括<1 s的等待时间； 仅适用于侧入式奖励试验。 中值延迟时间（通过S型拟合）：点亮，触发152毫秒，dLight 266毫秒； 提示，发射67毫秒，dLight 212毫秒； 侧入式触发85毫秒，dLight 129毫秒。 非多巴胺细胞通常对提示发作无动于衷（Extended Data Fig。 8). d，独特的线索诱发，接近相关的多巴胺释放。 顶部，平均多巴胺细胞射击（n = 29）; 中等，平均dLight（n = 10）; 底部伏安法（n = 6），归一化到峰值短等待时间点灯响应。 左侧面板，等待时间<1 s，右侧，等待时间> 2 s。 数据按“开”（实心）或“居中”（虚线）对齐； 红色虚线，延迟中值。 对于更长的延迟，在“中心对准”附近的发射没有增加，但是dLight和伏安法显示出明显的增加。 e，散射图比较Light-on上对齐的峰值信号（y 轴）或中心（x 轴）。 对于每个单元，会话连接的线表示不同等待时间范围（<1 s，> 2 s）的数据。 多巴胺激发（上图）始终显示出对短时延试验的点亮响应（方差双向分析（ANOVA），比对×潜伏期交互作用， F = 7.47， P = 0.0008）。 dLight（中间），伏安（底部）信号始终更好地对准“中心输入”（针对dLight的双向方差分析：对准×延迟相互作用， F = 9.28， P = 0.0043）。 f，多巴胺在接近过程中增加，量化为斜坡角度（见 方法）。 圆圈表示单个多巴胺细胞（n = 29），dLight会话（n = 10）。

全尺寸图片

我们还看到NAc多巴胺释放明显增加，因为大鼠接近起始端口（就在中心之前）和食物端口（就在Food-port-in之前）。 这与广泛的伏安法文献非常吻合，这些文献表明，动机接近行为伴随着NAc核心多巴胺的快速增加^{5,7,8,9,10,11}。 然而，VTA-1多巴胺细胞群在这些时间没有显示相应的烧制增加（图2）。 4a; 见扩展数据 7 用于其他比较，包括非多巴胺细胞）。

为了更好地分离线索诱发的和进场相关的多巴胺活性，我们通过短（<1 s）和长（> 2 s）潜伏期将试验分开（图。 4d，e）。 多巴胺细胞射击的增加始终锁定在Light-on上的提示开始，优选用于短潜伏期试验。 所有25多巴胺细胞在点亮之后具有显着的激发速率，与中心对准的光照更好（图2）。 4e）。 相比之下，中心前NAc多巴胺释放的增加与线索诱发的多巴胺释放不同（图2）。 4d，e）。 dLight信号在长时间延迟试验（10个十分之一）之前和食物进入之前（10个疗程中有9个）进入中心之前持续增加，而多巴胺激发没有相应的增加（图。 4f).

最后，我们考虑了事件相关的多巴胺信号如何依赖于最近的奖励历史。 在每个试验的早期阶段，多巴胺细胞的激发不依赖于奖励率（图。 5a尽管奖励率对动机有影响（图 5b）。 随后，当奖励率较低时，对Side-in奖励线索的阶段性响应确实更强（图。 5a），与正RPE编码一致。 当省略这种奖励提示时，多巴胺细胞停止射击，尽管负性RPE的编码要弱得多或者不存在，无论是否在群体水平上进行检查（图2）。 5a，b）或作为单个单元格（扩展数据图。 8）。 先前已经提出在多巴胺停顿的持续时间内对负RPE进行编码³¹，但只有2个神经元中有29个被观察到。 如果通过其他方式（包括基于试验的强化学习模型（演员批判和Q学习））或简单地通过计算最近的奖励来估算奖励期望，也可以获得类似的结果（扩展数据图。 8).

a，多巴胺细胞的平均放电率（n = 29）与侧入对齐，并按奖励率细分（对数，分别为每个单元格计算）。 参与之前，活动不取决于期望的回报。 在side-in奖励（红色）和未奖励（蓝色）试验分开显示之后。 当奖励率较低时，食物点击反应会更强，这与阳性RPE的编码一致。 底部，单个多巴胺细胞的分数，其发射速率在每个时刻随奖励率而显着变化（随机测试， P <0.01，校正了多个比较）。 顶部的刻度线表示该分数明显高于机会的时间（二项式， P <0.01）。 在“ Side-in”之后，仅测试负相关-即潜在的RPE编码。 b，回归曲线用于记录多巴胺细胞的会话，显示最近的奖励历史对（log-）潜伏期（上图）和多巴胺峰值的影响。 星号表示显着的回归权重（t-测试， P <0.05）。 在Go提示前的0.5 s内（大鼠必须保持稳定的鼻子戳以进行试验），多巴胺加标不受奖励历史的影响（中）。 一旦发现结果（底部；在“ Side-in”后0.5 s内评估活动的高峰或低谷）后，这种情况就会改变，但仅适用于有奖励的试验。 c, d，与上述相同，但dLight除外（归一化为峰值响应）。 甚至在Side-in之前，多巴胺释放可靠地与奖励率一起扩展。

全尺寸图片

Side-in中的多巴胺释放也显示出阳性RPE的清晰，瞬时编码，但不显示负RPE（图2）。 5c，d）。 与烧制相比，这种轻微反应略微延迟和延长，与释放和再摄取所需的时间一致³²，但仍然是一个亚秒现象。 然而，与射击不同，每次试验早期的dLight信号在最近的试验得到奖励时更大（图。 5c），与值编码一致。 我们观察到即使在大鼠不主动移动但在等待Go提示时仍在中心端口保持鼻子戳的情况下，这种对奖励历史的依赖关系（图XNUMX）。 5d）。 总的来说，我们得出结论，NAc多巴胺释放反映了线索诱发反应和奖励期望，并且只有前者可以通过VTA-1多巴胺细胞发射很好地解释。

VTA-1为NAc核心提供了主要的多巴胺来源^6,23,24。 VTA-1多巴胺细胞，包括那些投射到NAc核心的细胞，始终显示RPE编码突发^3,12。 VTA爆发被认为对驱动NAc多巴胺特别重要³²确实，我们发现提示诱发的VTA爆发与NAc释放相匹配。 然而，我们还发现了NAc多巴胺释放的价值相关模式，这些模式不是通过在长（强直）或短（阶段）时间尺度上发射VTA-1多巴胺细胞而产生的。 其他多巴胺亚群可携带不同的信号^13,33,34，并且我们不能排除未在此处记录的多巴胺细胞亚群激发在NAc核心中产生与价值相关的多巴胺的可能性。 然而，在广泛的研究中，从未报道过任何多巴胺细胞发生与价值有关的放电。 我们的结果表明，NAc多巴胺动力学以不同的方式，在不同的时间和不同的功能受到控制，并且记录多巴胺细胞很重要，但不足以了解多巴胺信号³⁵.

多巴胺末端的释放受到局部非掺入机制的有效影响^{36,37,38,39,40}。 例如，NAc多巴胺释放受到基底外侧杏仁核的调节，即使VTA加标被药理学抑制^41,42。 几十年来已经注意到局部控制多巴胺释放可能实现与多巴胺细胞掺入不同的功能^36,43，但这尚未纳入多巴胺的理论观点。 不同的纹状体亚区域有助于不同类型的决定，并可能根据需要影响其自身的多巴胺释放⁴⁴。 多巴胺释放的控制能在多大程度上定位尚待确定。 我们测量多巴胺释放的3种方式共有的一个局限性是，它们都在至少100 µm的空间尺度上采样，而体内显微镜表明，多巴胺释放在较小的尺度上可能是异质的¹⁵.

我们的结果不支持存在任何可以介导多巴胺激发作用的单独的强直多巴胺信号。 相反，如果快速测量（使用伏安法或dLight），如果缓慢测量（使用微透析）解决为快速波动，则多巴胺移位似乎缓慢。 此外，我们自己和其他人记录了已鉴定的VTA多巴胺细胞³⁰ 提供有力的证据反对这个想法²⁹ 多巴胺细胞激发的变化驱动多巴胺释放的滋补变化。 虽然可以通过病变或药物操作来改变强直射击²⁸，我们不知道在任何行为任务中射击率的持续变化。 在预期与动机相关的事件期间，射击可能会在大约1 s的时间范围内逐渐下降^45,46。 然而，这种下降与增加多巴胺释放所需的相反，具有奖励预期，而是与一系列短暂的负面预测错误更相似⁴⁷。 虽然编码正在进行的奖励率的持续信号在计算上是有用的³⁰，多巴胺反而提供快速波动的误差和值信号。 通过多巴胺受体下游的细胞内信号传导途径，在后续步骤计算持续信号仍然是可能的。

当大鼠接近奖励时，许多研究小组观察到多巴胺释放增加^{5,7,8,9,10,11}，与编码升级奖励预期一致。 一些人认为，这些多巴胺斜率只是反映了RPE，假设大鼠要么迅速忘记了价值观⁴⁸ 或者他们有一组扭曲的状态陈述⁴⁹。 后一种观点并不支持我们的观察，即在更新的奖励预期的基础上，从试验到试验迅速调整斜坡，​​在连续奖励的短序列中变得更强，而对线索的RPE样响应变得更弱（图2）。 3e）。 更一般地说，任何多巴胺单独传递RPE（学习信号）的理论都无法解释正在进行的中脑边缘多巴胺与动力之间非常明确的联系¹⁶。 高度训练的条件刺激反应不需要NAc核心，但在决定进行耗时的工作以获得奖励时尤为重要⁵⁰。 NAc核心多巴胺似乎提供了一个重要的动态信号，表明分配时间和精力是多么值得工作^5,44，即使这种信号在VTA多巴胺细胞发射中不存在。

动物

所有动物程序均已获得密歇根大学或加利福尼亚大学旧金山动物使用和护理机构委员会的批准。 雄性大鼠（300–500 g，野生型Long-Evans或TH-Cre⁺ 具有Long-Evans背景⁵²）保持在反向12：12光：黑暗循环并在黑暗阶段测试。 除了在任务表现期间获得的食物奖励之外，每天接受15 g标准实验室大鼠食物的大鼠是温和的食物剥夺。 未进行样本量预先计算。 在实验和结果评估期间，研究人员并未对分配不知情。

行为

如前所述，在计算机控制的Med Associates操作室（最宽处25 cm×30 cm）中进行预培训和测试，每个操作室都带有一个五孔鼻孔壁。⁵。 强盗任务会话使用以下参数：块长度是35-45试验，为每个块随机选择; Go cue之前的保持期是500-1,500 ms（均匀分布）; 左右奖励概率为10，50和90％（用于电生理学，光度法，伏安法和先前报道的微透析大鼠）⁵）或20％，50％和80％（新近报道的微透析大鼠）。

使用基于时间的泄漏积分器估计当前奖励率⁵³。 每次收到奖励时，奖励率都会增加，并以参数设定的速率呈指数衰减 τ （奖励率减少~63％的时间，即1-1 / e）。 对于所有分析， τ 根据大鼠的行为选择，最大化每个疗程中奖励率和日志（潜伏期）之间的（负）相关性。 前脑多巴胺和奖赏率之间的相关性对这种选择并不高度敏感 τ （扩展数据图 1).

为了将块转换分类为奖励率的“递增”或“递减”，我们将块的最后5 min中的平均漏泄积分器奖励率与后续块的第一个8 min中的平均奖励率进行比较。

用于电生理学和光度学的大鼠还在同一手术室中执行了巴甫洛夫式进近任务，整个实验过程中都打开了房灯。 三种听觉提示（2 kHz，5 kHz和9 kHz）与食物输送的不同概率相关（大鼠间平衡）。 提示作为一系列音调点（100毫秒打开，50毫秒关闭）播放，持续时间为2.6 s，随后是500毫秒的延迟时间。 提示和不可预测的奖励交付以伪随机顺序进行，试用间隔时间可变（15-30 s，均匀分布）。

微透析

手术

用引导插管（CMA，830 9024）在皮质和纹状体中双侧植入大鼠。 一组（n = 8）收到一个针对前缘和下缘皮质的引导套管（相对于前reg的前后（AP）+3.2 mm，中外侧（ML），距大脑表面以下0.6 mm的背腹（DV）+ 1.4 mm）和另一根针对背侧纹状体和伏隔核的引导套管在相对的半球（AP + 1.3，ML 1.9和DV 3.4）中。 两种植入物均沿鼻-尾平面成5度角。 第二组（n = 4）收到一个靶向前扣带回皮层的引导套管（AP +1.6，ML 0.8和DV 0.8），另一个靶向伏骨（相对半球的核/壳位于AP +1.6，ML 1.4和DV 5.5（n = 2）或AP + 1.6，ML 1.9和DV 5.7（n = 2）。 整个大鼠的种植体侧均达到平衡。 在再训练之前，允许动物恢复一周。

化工

流动相的水，甲醇和乙腈为Burdick＆Jackson HPLC级，购自VWR（Radnor）。 除非另有说明，否则所有其他化学药品均购自Sigma Aldrich。 人工脑脊液（aCSF）包含145 mM NaCl，2.68 mM KCl，1.40 mM CaCl₂，1.01 mM MgSO₄，1.55 mM Na₂HPO₄ 和0.45 mM NaH₂PO₄，用NaOH调节pH至7.4。 加入抗坏血酸（250 nM终浓度）以减少分析物的氧化。

样品收集和HPLC-MS

在测试当天，将动物放置在操作室中并且开启室内灯。 将定制的同心聚丙烯腈膜微透析探针（1-mm透析AN69膜; Hospal）双侧插入导管中并连续灌注（Chemyx，Fusion 400），其中aCSF以2μl/ min灌注90 min以使其平衡。 在5-min基线收集后，室内灯被熄灭，提示动物有强盗任务可用性。 以1-min间隔继续样品收集并立即衍生样品⁵⁴ 用1.5 µl碳酸钠，100 mM； 1.5 µl苯甲酰氯（乙腈中的2％（v / v）苯甲酰氯）； 和1.5 µl同位素标记的内标混合物，用含有50％（v / v）硫酸的1％（v / v）乙腈稀释，并加氘化ACh和胆碱（C / D / N同位素）至终浓度为20 nM。 在30个阶段中的每个阶段中，样品系列的收集在两个探针之间以26秒的间隔交替进行，除了一个阶段中破损的膜仅产生一个系列（总共51个样品系列）。 使用Thermo Scientific UHPLC系统（Accela或Vanquish Horizo​​n连接到装有HESI II ESI探针的Quantum Ultra三重四极杆质谱仪）分析样品，并进行多反应监测。 将五微升样品注入Phenomenex核-壳联苯Kinetex HPLC色谱柱（2.1 mm×100 mm）中。 流动相A为10 mM甲酸铵和0.15％甲酸，流动相B为乙腈。 流动相的洗脱梯度为450 µl / min，如下：初始，0％B； 0.01分钟，19％B； 1分钟，26％B； 1.5分钟，75％B； 2.5分钟，100％B； 3分钟，100％B； 3.1分钟，5％B； 3.5分钟，含5％B。ThermoXcalibur QuanBrowser（Thermo Fisher Scientific）用于自动处理和积分峰。 目视检查> 100,000个峰中的每个峰，以确保正确积分。

分析

所有神经化学浓度数据均采用三点移动平均值进行平滑处理（y′= [0.25×（y-1）+ 0.5y + 0.25×（y+ 1）]）和 z-score在每个会话中标准化，以促进会话之间的比较。 对于每个目标区域，为每个会话生成互相关图，并绘制会话的平均值。 通过将一个时间序列改组100,000次并为每个会话生成相关系数的分布，可以为每个子图生成百分之一的置信边界。 使用MATLAB中的回归函数生成了多个回归模型，其中神经化学作为结果变量，行为指标作为预测变量。 在进行多重比较的Bonferroni校正后，确定了三个α水平（0.05、0.0005和0.000005）的显着回归系数（α/（21种化学物质×7个区域×9个行为回归））。 为了分析块转换，将数据分为3分钟的时间段，丢弃包含转换时间的样本。

心脏电生理学

老鼠（n = 25）植入了定制设计的可驱动光极，每个光极由16个四极杆（由12.5 µm镍铬合金丝，Sandvik制成）粘贴在200 µm光纤的侧面，并延伸到光纤尖端下方，最大长度为500 µm。 在同一手术中，我们向侧VTA（AP 1，ML 2，DV 5）或NAc核心（AP 1，ML 2，DV 134）注射了5.6 µl AAV0.8 / 7.5-EF1.6a-DIO-ChR1.6（H6.4R）-EYFP 。 使用Intan数字探头对宽带（1-9,000 Hz）脑信号进行采样（每秒30,000个样本）。 在每次记录结束时，光极至少要降低80 µm。 使用MountainSort的MATLAB实现离线隔离单个单元⁵⁵ 然后仔细的人工检查。

分类

鉴定分离的VTA-1单位是否是多巴胺能的（TH⁺），我们使用刺激相关的潜伏期测试⁵⁶。 简而言之，在每次实验结束时，我们将光电极连接到激光二极管，并提供不同宽度和频率的光脉冲序列。 对于被识别为光响应的单元，它需要达到显着性水平 P 0.001毫秒和5毫秒脉冲序列<10。 我们还比较了光诱发波形（在激光脉冲起效10 ms内）与整个会话的平均值； 所有的光诱发单位的皮尔逊相关系数均> 0.9。 从四只接受VTA-657 AAV输注的大鼠（IM1，1002单位; IM3，1003单位; IM15，1037单位; IM9，1078单位）和一只NAc核心AAV（IM-2，20单位）成功记录多巴胺神经元。 峰宽定义为对齐的平均尖峰波形中最突出的负分量的半峰全宽。 全过程激发频率> 200 Hz，峰宽<XNUMX µs的非标记VTA神经元被归类为非多巴胺细胞。 为确保我们在同一子区域内比较多巴胺和非多巴胺细胞，我们仅分析了在与至少一个带有光学标记的多巴胺细胞的会话期间记录的非多巴胺细胞。

分析

通过传统的“80 / 160模板”方法检测到尖峰突发⁵⁷：每次出现80毫秒或更小的峰值间隔，直到间隔为160毫秒或更长时间，这些峰值和随后的峰值都被视为突发的一部分。 为了比较“强音”射击与奖励率，将多巴胺尖峰计数在1分钟的区间内。 为了检查更快的变化，通过将尖峰序列与方差为20 ms的高斯核卷积来构造尖峰密度函数。 为了确定神经元对给定提示的响应速度，我们使用了40毫秒的间隔（以20毫秒为步长滑动），并针对每个时间间隔使用了随机播放测试（10,000个随机播放），将提示开始后的触发频率与提示之前的250毫秒。 提示后射击率显着（P <0.01，校正多个比较结果）大于基线激发被认为是提示反应的时间。

峰值发射率计算为在奖励试验侧入后250-ms窗口中每次试验的最大（高斯平滑）发射率，并且谷值计算为2-s窗口中的最小发射率，开始在没有报酬的试验之后一秒钟。

为了计算接近行为期间的斜坡角度，我们使用50-ms高斯核平滑了平均点火率，在每次事件之前检测0.5-s窗口中结果信号的最大/最小值（中心输入或食物输入端口）并测量连接两个极值的有符号角度。 为了比较“高”和“低”奖励区块的开火率，对于每个区段，我们在每个区块中执行了平均漏水 - 积分器奖励率的中位数分割。

伏安法和计算模型

这里显示的快速扫描循环伏安法结果重新分析了之前详细介绍的数据⁵。 使用半马尔可夫决策过程强化学习模型计算状态值和奖励预测误差的试验内估计，如前所述⁵.

测光

我们使用病毒方法来表达遗传编码的光学多巴胺传感器dLight¹⁵。 在异氟烷麻醉下，1μlAAV9-CAG-dLight（1×10¹² 每毫升病毒基因组； 将UC Davis载体核心）缓慢地（100 nl / min）通过腹侧纹状体两侧的30 µm玻璃微量移液器（AP：1.7 mm，ML：1.7 mm，DV：-7.0 mm）注射（Nanoject III，Drummond）。 在同一手术中，插入与金属套圈（Doric）相连的光纤（芯线400 µm，总直径430 µm）（目标深度比AAV高200 µm）并固定在适当位置。 在三周后收集数据，以进行dLight表达。

对于dLight激发，分别以不同的频率（分别为470 Hz和405 Hz）对蓝色（211 nm）和紫色（531 nm；对照）的LED进行正弦调制。⁵⁸）。 通过飞秒检测器（Newport，型号2151）以10 kHz采样，测量通过微型立方体滤光片（Doric）的激发和发射信号以及整体荧光。 解调产生单独的470 nm（多巴胺）和405 nm（对照）信号，然后通过最小二乘拟合将它们重新缩放⁵⁸。 分数荧光信号（dF/F），然后定义为（470–405_fit）/ 405_fit。 对于所有分析，该信号均被下采样至50 Hz，并使用五点中值滤波器进行平滑。 有关分别显示470 nm和405 nm信号的信息，请参见扩展数据。 7.

如果光纤尖端在NAc中，则光纤放置的数据包括在分析中，并且对至少一个任务提示的荧光响应具有 z-得分> 1。 这些标准排除了一只大鼠，并产生了dLight1065的三只大鼠/四次放置（IM1066-左，IM1089-双边，IM1.1-右）和四只大鼠/六次放置（IM1088-双边，IM1105-右，IM1106-双边， dLight1107b的IM1.3-right）。 dLight1.1和dLight1.3获得了相似的结果（扩展数据图 7），所以数据合并。

为了在接近行为期间计算斜坡角度，我们在每个事件（中心入口或食物进入口）之前在0.5-s窗口中检测到结果信号的最大值/最小值，并测量连接两个极值的有符号角度。

dLight1.3b的亲和力和分子特异性

如前所述进行体外测量¹⁵。 简言之，培养HEK293T（ATCC CRL＃1573）细胞并用编码由CMV启动子驱动的dlight1.3b的质粒转染，并用补充有Ca的HBSS（Life Technologies）洗涤。²⁺ （4mM）和Mg²⁺ （2 mM）成像之前。 使用40倍油基物镜在波长为710 nm / 488 nm（激发/发射）的倒置Zeiss Observer LSN513共聚焦显微镜上进行成像。 为了测试传感器的荧光响应，在至少两个独立的实验中，在延时成像过程中将神经递质直接施加到浴中。 多巴胺和去甲肾上腺素的滴定是通过进行十倍系列稀释以获得八种不同浓度而获得的。 所有其他神经递质均以三种连续浓度（100 nM，1 µM和10 µM）进行测试。 通过从新鲜配制的HBSS中的1 mM储备液中稀释获得所有神经递质浓度。 延时成像产生的原始荧光强度在斐济定量； 将每个ROI手动绘制在单个细胞的膜上。 荧光倍数变化（ΔF/F）计算为 F 峰值（四个帧的平均荧光强度）- F 基础（加入配体前平均荧光强度为四帧）/F 基础。 使用GraphPad Prism 6进行图和统计分析。 用适合获得的单位点特异性结合曲线分析数据点 K_d 值。 在盒须图中，该框覆盖25％至75％范围，并且晶须从最小值延伸至最大值。

报告摘要

有关研究设计的更多信息，请参阅 自然研究报告摘要 与本文相关联。

本研究中使用的AAV.Synapsin.dLight1.3b病毒已与Addgene（无125560; http://www.addgene.org）。 所有数据都可以通过计算神经科学数据共享网站上的协作研究获得（https://doi.org/110.6080/K0VQ30V9).

JDB可根据要求提供自定义MATLAB代码

出版商的说明： Springer Nature在发布的地图和机构隶属关系的管辖权要求方面保持中立。

我们感谢P. Dayan，H。Fields，L。Frank，C。Donaghue和T. Faust对早期版本手稿的评论，以及V. Hetrick，R。Hashim和T. Davidson的技术支持和建议。 这项工作得到了国家药物滥用研究所，国家精神卫生研究所，国家神经疾病和中风研究所，密歇根大学安娜堡分校和加州大学旧金山分校的支持。

审稿人信息

自然 感谢Margaret Rice和其他匿名审稿人对同事评审的贡献。

作者说明

1. 这些作者同样做出了贡献：Ali Mohebi，Jeffrey R. Pettibone

所属机构

1. 加州大学旧金山分校神经病学系，旧金山，加利福尼亚州，美国

   • 阿里·莫赫比
   • ，杰弗里·佩蒂伯恩（Jeffrey R.Pettibone）
   •  ＆约书亚·伯克

2. 美国罗德岛普罗维登斯布朗大学神经科学系

   • 阿里夫A.哈米德

3. 美国密歇根州安阿伯市密歇根大学化学系

   • Jenny-Marie T. Wong
   •  ＆罗伯特·肯尼迪

4. 加州大学旧金山分校神经科学研究生课程，美国加利福尼亚州旧金山

   • Leah T. Vinson
   •  ＆约书亚·伯克

5. 美国加州大学戴维斯分校加州大学医学院生物化学与分子医学系

   • Tommaso Patriarchi
   •  ＆林天

6. 加利福尼亚大学旧金山分校美国旧金山威尔神经科学研究所和卡夫利基础神经科学研究所

   • 约书亚D.伯克

捐款

AM进行并分析了电生理学和光度学，并应用了计算模型。 JRP在J.-MTW的帮助下进行并分析了微透析，RTKAAH的监督开发了行为任务和初始光度测定设置，并进行了伏安法测量。 LTV进行逆行追踪和分析。 TP和LT开发了dLight传感器并分享了专业知识。 JDB设计并监督了这项研究，并撰写了手稿。

相互竞争的利益

作者声明没有竞争利益。

通讯作者

对应 约书亚D.伯克.