习惯，强迫和成瘾的背侧纹状体电路（2019）

抽象

一捆习惯

“当我们从外在的角度看待生物时，首先触动我们的事情之一就是它们是一堆习惯“ （詹姆士， 1890）。 在威廉詹姆斯的论文“习惯”中雄辩地表达的行为自动性是我们存在的一个基本方面，对于释放我们的认知能力至关重要，因此他们可以被引导到新颖和复杂的体验，詹姆斯进一步阐述：“我们日常生活的细节越多，我们就可以交给无法自动保管的自动化，我们就越能为自己的正常工作释放更高的思想能力。“ （詹姆士， 1890）。 然而，詹姆斯也非常清楚，这些习惯的相同属性也是对我们自由的最严厉限制的原因。 “因此，习惯是社会的巨大飞轮，是最珍贵的保守派。 只有它才能使我们所有人都处于法令的范围之内......“习惯形成的主题及其在适应性和适应不良行为中的作用已被广泛审查，最全面地在最近的专题”行为科学的当前观点“（Knowlton和Diedrichsen， 2018）。 在这里，我们提供了关于习惯的神经回路基础及其更极端的对应物，强迫和成瘾的文献的简明综合，重点是纹状体回路，其主要在啮齿动物中被破译。 我们首先概述自动行为所使用的共同电路，突出背侧纹状体的重要性和对该结构的输入。 我们随后描述了用于研究习惯，强迫和成瘾的行为模型，然后在越来越高的分析分辨率下检查这些行为的神经回路基础。 我们阐述了纹状体的背外侧和背内侧分区域在行为自动化中的既定作用，然后回顾了不同纹状体输入结构的作用的复杂图像，以及特定的细胞和突触修饰。 最后，我们提出了未来研究的路线图，将新兴的分子和电路分析方法与日益详细的纹状体细胞类型多维多样性知识相结合，以分析自动行为背后的电路。

习惯，强迫和成瘾是什么以及它们如何相关？

我们直观地使用习惯一词来描述已经变得如此根深蒂固的行为，以至于我们几乎自动地执行它们，结果是自主的（詹姆斯， 1890; 迪金森， 1985; Graybiel， 2008; 罗宾斯和科斯塔， 2017），以极端的形式，可以成为强迫或成瘾。 这与目标导向的，有目的的行为形成对比，其中明确地执行动作以获得期望的结果（Valentin等， 2007; Graybiel， 2008; Gremel和Costa， 2013; 罗宾斯和科斯塔， 2017; Nonomura等人， 2018; 数字1A，B）。 目标导向和习惯行为可以通过它们对奖励贬值的不同敏感性来区分（即，降低结果的价值; 图1C）。 如果不再需要结果，有目的的行为将会减少，而惯常的表现将持续存在，因为在习惯行为的发展过程中，行为会与结果分离，而表现则由先前的刺激和/或情绪状态驱动。 因此，习惯行为与行为自动性相关，减少了对强化的依赖。 因此，习惯是由过去的经验塑造的，其特征在于计算效率和不灵活性，与目标导向行为相反，目标导向行为的特点是对未来结果的积极考虑，高计算成本和对变化环境的适应性灵活性（Daw et人， 2005）。 主要的好处来自于自动化和独立于强化，这使得大脑可以释放速率限制的注意力和决策资源。 然而，自动性也可能是有害的，潜在的适应不良习惯的发展，这种习惯极端可能导致强迫和成瘾（数字1A，B）。 强迫和成瘾的核心特征是继续追求以前有益的刺激措施，尽管目前明确与不良后果有关（Lüscher和Malenka， 2011; 沃尔科和莫拉莱斯， 2015）。 成瘾的标志，尽管受到惩罚，但仍然可以将行动表现视为习惯行为的极端（图1A-C).

习惯，强迫和成瘾的亲密关系通过这些类别的行为的巧合表达而变得更加明显。 例如，强迫症（OCD）患者也表现出习惯性行为优势的增强趋势（Gillan等， 2011, 2016）。 此外，暴露于滥用药物以及暴饮暴食的食物会增加习惯的形成（Everitt和Robbins， 2016）。 因此，可卡因成瘾者表现出更高的养成习惯倾向（Ersche等， 2016），酒精暴露加速了习惯行为的出现（Corbit et al。， 2012; Hogarth等人， 2012）。 已经表明这些行为自动化的病理状态利用重叠电路。

常见边缘电路基础强化学习与行为自动化

参与仪器学习和行为自动化（习惯，强迫和成瘾）的神经回路包括纹状体，中脑多巴胺能核和投射到纹状体的皮质区域。 这些回路是本综述文章的主要焦点，但应该注意的是，杏仁核，丘脑，苍白球和其他边缘区域是更广泛的基底神经节电路的一部分，也参与了这些行为。 人们早就知道，纹状体及其相关电路在强化学习和习惯，强迫和成瘾中发现的行为自动化的发展中起着关键作用。 由腹侧被盖区域（VTA）中脑神经元投射到腹侧纹状体组成的电路被认为是介导大脑中奖赏和奖励预测误差的主要电路。 滥用药物通过直接（例如尼古丁）或间接（例如阿片类药物）来增加中脑多巴胺神经元活性，从而增强腹侧纹状体释放部位的多巴胺信号传导，或通过直接抑制多巴胺在其释放后的再摄取（例如，可卡因;Lüscher， 2016）。 因此，许多关于药物成瘾的研究都集中在食用滥用药物后腹侧纹状体诱发的神经发育变化（Lüscher和Malenka， 2011; 狼， 2016）。 与此同时，习惯形成主要是在背侧纹状体发生变化的背景下进行研究，背部纹状体接受来自黑质黑质实验室（SN）的多巴胺能输入，而强迫的遗传小鼠模型则集中于异常的皮质纹状体电路，主要涉及背侧纹状体（Graybiel和Grafton， 2015; 史密斯和格雷比尔， 2016）。 因此，历史上在纹状体内存在分散的焦点，其中腹侧纹状体电路主要在药物成瘾的背景下进行研究，并且在目标导向和习惯性强化学习中研究背侧 - 纹状体电路。

十多年前，人们提出，从习惯到强迫/成瘾的所有这些工具行为都涉及随着习惯学习的进展从腹侧到背侧纹状体的活动，以及从背内侧纹状体到背外侧纹状体的行为自动化变为更根深蒂固的（Everitt和Robbins， 2005, 2013, 2016; Graybiel， 2008）。 皮质纹状体回路的解剖学非常适合支持这种机制，因为纹状体由通过多巴胺能 - 纹状体回路的螺旋环组成，从腹内侧到背外侧纹状体上升（Haber等， 2000; 哈伯， 2016）。 在这里，我们回顾了习惯，强迫和成瘾不仅与他们的行为自动性表型相关联的证据，而且还与产生它们的潜在神经回路和可塑性机制有关。 这篇综述文章将重点讨论背侧纹状体电路在编码行为自动性中的重要作用。

实验范式用于模拟习惯，强迫和成瘾

两种主要的实验范式主导了关于习惯的啮齿动物文献：（a）过度训练（Jog等， 1999; Graybiel， 2008; 史密斯和格雷比尔， 2014）; （b）随机间隔（RI）训练（Dickinson， 1985; Hilário等人， 2007; 罗西和尹， 2012; 罗宾斯和科斯塔， 2017）。 在这两种范例中，动物都接受了器乐学习任务的训练，在这项任务中，他们学会执行动作以获得奖励。 在过度训练中，刺激和行动（即反应）之间的关联在更多的试验过程中形成和加强，而不是学习任务所必需的。 在这种过度训练中，刺激 - 反应协会压倒了奖励结果和应急行动之间最初更强的关系（Graybiel， 2008; 史密斯和格雷比尔， 2014）。 刺激 - 反应关联的强度与反应 - 结果的强度被衡量为在奖励贬值后消退试验中学习行为表现的持续性（Dickinson， 1985; 罗西和尹， 2012）。 因此，贬值后的行动表现率被用作评估动物养成习惯的程度的度量。 在实验上，这种奖励贬值通常是通过在奖励上满足主体或将奖励与厌恶刺激配对来实现的。

尽管过度训练在实验范例和框架的简单性方面是直观且有利的，但值得注意的是，根据定义，过度训练要求实验对象执行比对照对象更多的试验。 试验数量的这种差异迫使受试者和对照之间的经验不平衡，这可能使习惯形成的神经特征的分析复杂化。 实验性地削弱行动和奖励之间的偶然性的另一种方法是RI训练（Dickinson， 1985; 罗西和尹， 2012; 罗宾斯和科斯塔， 2017）。 在RI训练中，训练动物以执行奖励的特定动作，当动物在自先前奖励的呈现之后经过随机时间间隔之后首次成功执行所需动作时，该动作变得可用。 这种范式促进了持久的习惯行为，因为主体很难在行动和结果之间建立明确的联系。 RI训练常用的参考范例是随机比率（RR）训练（Rossi和Yin， 2012），其中行动和奖励之间的意外事件更直接。 RR训练在很大程度上促进了类似的行为输出到RI训练（相似的行动速度），同时保留了目标导向行为，对贬值敏感（图1C）。 在过度训练和RI / RR范例中，行动和结果或奖励之间的偶然性受到影响，当反应结果意外事件高时产生目标导向行为，或者当反应结果意外事件低且刺激响应意外事件时产生习惯行为高。

药物成瘾在动物中以两种主要方式建模：第一种是非偶然性给药，其中药物给予动物而不依赖于动物的反应。 第二种是临时药物自我管理，药物是根据操作行为传递的，例如按下杠杆（Wolf， 2016）。 虽然非可能性可卡因管理在对可卡因暴露参数的实验控制中是有利的，但自我管理更接近于人类寻求药物的经验，其中个体寻求与药物相关的刺激并且执行先前导致药物消耗的反应（狼， 2016）。 与习惯学习类似，在药物自我管理中，可以在消退试验期间研究强迫性药物寻求，这在性能已经超过预定标准之后施加。 此外，药物自我管理还可以调查长期禁药的影响，在此期间，人们发现对药物的渴望程度增加，这种现象被称为“渴望的孵化”（Wolf， 2016).

强迫行为的啮齿动物模型主要基于追踪重复，刻板和看似无目的行为的表现，例如强迫性梳理（Ahmari， 2016）。 重要的是，类似强迫症的行为可以自发地出现，没有明确的先行刺激（Ahmari， 2016）。 这些行为主要被观察到在遗传突变啮齿动物中自然发育，而不是通过重复的器乐学习诱导。

背外侧纹状体在习惯形成和强迫症/成瘾的发展中起着关键作用

背侧纹状体经典地分为内侧面，背内侧纹状体（DMS）和侧面外侧纹状体（DLS），两者均接受大量皮质输入。 虽然感觉运动DLS接收来自躯体感觉和运动皮质区域的主要输入，但是联想DMS接收来自关联额叶皮层区域的主要输入，例如眶额皮质（OFC; Berendse等， 1979, 1992; Hintiryan等人， 2016; Hunnicutt等人， 2016）。 经典研究表明，DMS与目标导向行为有关（Yin和Knowlton， 2004; Yin等人， 2005; 尹和诺尔顿， 2006），而DLS与习惯行为有关（Balleine和Dickinson， 1998; Yin等人， 2004; 尹和诺尔顿， 2006; Graybiel， 2008; 阿玛亚和史密斯， 2018; 图1D）。 因此，在DLS病变后，目标导向行为得以维持（Yin et al。， 2004; 尹和诺尔顿， 2004, 2006），甚至在延长训练后，而对DMS的病变导致习惯行为的早期出现（Yin等， 2005; 尹和诺尔顿， 2006）。 长期以来，DLS一直与行动序列的表现有关（O'Hare等， 2018），两种先天序列，如梳理（Aldridge和Berridge， 1998），以及学习在加速旋转杆上学习平衡的后天技能（Yin等， 2009）。 这些基于病变的研究为我们目前对DMS和DLS在调节目标导向和习惯行为中的作用的理解提供了概念支架。

随后，关于DMS和DLS在习惯形成中的作用的一系列有影响的研究使用四极来跟踪背侧纹状体中神经元的活动模式，而大鼠则过度训练特定的学习任务：运行T迷宫以获得食物奖励（图1E）。 这导致了观察 任务包围 DLS中的活动模式，与习惯行为的获得同时出现。 在 任务包围 据报道，活动，高活跃的DLS神经元在行为常规的开始和终止时开始激活，这种活动模式随着过度训练而变得更强（Jog等， 1999; 巴恩斯等人， 2005; 索恩等人， 2010; 史密斯和格雷比尔， 2013; 图1E）。 重要的是，在大鼠中也观察到DLS中的任务包围或动作序列相关活动（Martiros等， 2018）和老鼠（Jin和Costa， 2010; Jin等人， 2014）在顺序杠杆按压任务期间。 在DMS中观察到一种对比现象，其中神经活动在整个行为常规的表现中更加一致地升高，特别是在获得新的器械行为的初始阶段（Yin等， 2009; 索恩等人， 2010; Gremel和Costa， 2013）。 随着动物过度训练，这种DMS活动随后消退（Yin et al。， 2009; Gremel和Costa， 2013），对应于任务包围活动在DLS中出现的时间范围。 应该注意的是，DLS中的任务包围活动是在该子区域中最活跃的神经元的子集中观察到的（Barnes等， 2005; Martiros等人， 2018）。 事实上，DLS中的大多数神经元在整个习惯程序的执行过程中表现出活动：在经过良好训练的小鼠中，习惯性地加速在跑步机上跑步以获得奖励，在整个常规过程中，神经活动参与了DLS，用不同的纹状体神经元编码不同的感觉运动特征（Rueda-orozco和Robbe， 2015).

值得注意的是，多种证据来源表明，DLS对习惯行为的控制和对目标导向行为的DMS控制可能并行发展，并且可以不同地竞争或合作以控制行动（Daw等， 2005; 尹和诺尔顿， 2006; Gremel和Costa， 2013; 史密斯和格雷比尔， 2014; Kupferschmidt等人， 2017; 罗宾斯和科斯塔， 2017）。 例如，在建立习惯行为后失去DLS可以恢复目标导向的反应（Yin和Knowlton， 2006）。 此外，DLS病变或光遗传沉默可以在训练早期加快学习（Bradfield和Balleine， 2013; Bergstrom等人， 2018），可能通过将控制权转移到目标导向系统。 因此，在习惯形成过程中发生的一个关键转变是DMS中活动的相对平静，与DLS中普遍升高的活动相一致，包括任务包围（Thorn等， 2010; Gremel和Costa， 2013).

在强迫症中，背侧纹状体也发挥着核心作用，正如对OCD遗传模型的几项研究，特别是SAPAP3 ^{- / -} 模型，表明纹状体电路中的活动被破坏，与强迫行为的表达一致。 正如随后将要讨论的那样，这些研究集中在眶额/二级运动皮质区投射的纹状体区域，包括腹内侧（Ahmari等， 2013），centromedial（Burguière等， 2013）和背侧纹状体的中央分区域（Corbit等， 2019）。 此外，有证据表明背外侧纹状体对于强迫性梳理的测序是功能性必需的，因为具有DLS病变的大鼠表达了梳理序列的刻板印象的破坏（Cromwell和Berridge， 1996; Kalueff等人， 2016).

与习惯形成和强迫症的研究相反，主要集中在背侧纹状体上，大多数关于药物成瘾的研究都集中在中脑边缘，腹侧纹状体“奖赏”途径（Lüscher和Malenka， 2011; 沃尔科和莫拉莱斯， 2015; 狼， 2016; 弗朗西斯等人， 2019）。 针对寻求毒品行为（主要是酒精和可卡因研究）的背侧纹状体研究表明，它与该次区域神经活动的内外侧转变有关（Corbit， 2018）。 大鼠中长期使用可卡因自我管理会导致可卡因寻求持续存在，即使存在积极的惩罚（Vanderschuren和Everitt， 2004）。 在这种提示可卡因自我给药期间，在背侧纹状体中检测到多巴胺释放（Ito等人， 2002），并且灭活DLS阻止了对抗药物预测线索的抗惩罚（Jonkman等， 2012）。 事实上，虽然腹侧纹状体回路中的活动对于强迫性可卡因寻求的发展显然是必不可少的，但在长期使用后，背侧 - 纹状体回路变得越来越多，以支持寻求药物（Belin和Everitt， 2008; Belin等人， 2009）。 此外，一旦背侧纹状体被接合，则存在进一步的活动转变，从以DMS为中心到以DLS为中心。 最初，寻求药物是目标导向的，并且取决于涉及DMS的网络（Corbit等， 2012; 默里等人， 2014）。 然而，长期接触后，药物寻求变得习惯，取决于DLS中的神经活动和多巴胺作用。 事实上，受过训练以控制可卡因奖励的老鼠会因训练初期和过度训练后的DLS中多巴胺受体拮抗剂的灌注而减少杠杆按压（Vanderschuren等， 2005; 默里等人， 2012）。 由于利多卡因诱导的DLS失活，在大鼠中也观察到药物寻求的减少（Zapata等， 2010）。 此外，据报道酒精暴露会使DLS中的多刺投射神经元（SPNs）失效，从而为自动化过渡提供了一种潜在的机制（Wilcox等， 2014; Patton等人， 2016）。 此外，已经证明DLS对于习惯性海洛因寻求的发展是必要的（Hodebourg等， 2018）。 此外，长期暴露于尼古丁会改变大鼠DLS的突触可塑性，扰乱内源性大麻素介导的长期抑郁症（LTD; Adermark等， 2019）。 因此，背侧纹状体，特别是DLS，与习惯性寻求药物的发展有关。 然而，应该强调的是，关于背部纹状体在药物成瘾中的作用的证据量仍然落后于已知的腹侧纹状体。 进一步的研究将有助于阐明背侧纹状体在成瘾行为中的作用。

皮质纹状体电路和其他边缘电路的行为自动化

纹状体接受来自多个皮层区域的输入（Webster， 1961; Beckstead， 1979; Hintiryan等人， 2016; Hunnicutt等人， 2016并且，纹状体的前额输入已被证明在目标导向和习惯行为中都起着重要作用（Gourley和Taylor， 2016; 史密斯和莱克斯， 2017; 阿玛亚和史密斯， 2018）。 与器械和自动行为有关的主要正面结构是前肢皮质（PL）和下肢皮质（IL）Amaya和Smith， 2018 在内侧前额叶皮层（mPFC），以及位于PFC腹侧部分的OFC。

有趣的是，mPFC的两个子结构IL和PL似乎在平衡目标和习惯，IL支持习惯行为和PL支持目标导向行为（Smith和Laiks， 2017; 阿玛亚和史密斯， 2018）。 IL展示任务包围活动，类似于在习惯学习期间在DLS中观察到的活动（Smith和Graybiel， 2013）。 此外，IL的慢性扰动破坏了习惯的获得和表达（Smith等， 2012; 史密斯和格雷比尔， 2013虽然它的光遗传学抑制破坏了习惯的表达（Smith等， 2012).

同时，大鼠PL的病变降低了他们以目标导向的方式行动的能力，使大鼠偏向于习惯行为（Balleine和Dickinson， 1998; Corbit和Balleine， 2003; Killcross和Coutureau， 2003; Balleine和O'Doherty， 2010）。 事实上，最近对大鼠的研究表明，后向DMS（pDMS）的PL输入对于目标导向学习是必要的：在缺乏这种PL-pDMS连接的大鼠中，在奖励贬值后没有减少工具响应（Hart等人， 2018a,b）。 因此，降低PL输入到DMS的强度可允许通过在DLS上会聚的感觉运动皮质纹状体电路介导的自动化的发展。 实际上，在接受可卡因自我给药的延长训练的大鼠中观察到PL神经元的活性降低; 同时，刺激PL神经元减少了这些强制性自我给药大鼠的强迫性可卡因寻求程度（Chen et al。， 2013）。 总之，这些数据强有力地表明IL中的活动对习惯行为很重要，而PL活动则有助于目标导向行为。

然而，许多报告使这种简单的IL =习惯复杂化; PL =目标导向的观点。 例如，据报道，PL参与促进濒临灭绝后恢复寻求毒品。 通过重新接触药物相关线索，药物本身消耗或压力体验，可以引发药物反应的恢复（McFarland和Kalivas， 2001; 麦克法兰等人， 2004; Gipson等人， 2013; Ma等人， 2014; Moorman等人， 2015; 古利和泰勒， 2016; McGlinchey等人， 2016）。 与此同时，有证据支持IL在推动药物提示消退学习中的作用（Peters等， 2008; Ma等人， 2014; Moorman等人， 2015; 古利和泰勒， 2016; 古特曼等人， 2017），而不是习惯表达。 总之，这些结果表明，PL通常会调节“去”信号，驱动寻求药物的反应，特别是在熄灭后的恢复过程中，而相反，IL会发出灭绝所需的“禁止”信号。在药物奖励工具学习中（Moorman等， 2015; 古利和泰勒， 2016）。 这些结果可能与习惯文献相冲突，因为IL在药物奖励范例中促进了响应的消退，并且似乎有助于习惯学习范式的响应，而PL也可以在每个范例中扮演对比的角色。 这种差异的一个可能的解释是，在寻求药物时检查mPFC（PL和IL）到纹状体的具体预测，它们是腹侧纹状体的那些（McFarland和Kalivas， 2001; 彼得斯等人， 2008; Ma等人， 2014; 古利和泰勒， 2016）。 相反，在习惯形成中，从PL / IL到背侧纹状体区域的投射得到了更多关注（Smith和Laiks， 2017; Hart等人， 2018a,b).

OFC在器乐行为中也发挥着重要作用，证据似乎支持OFC促进目标导向行为的想法。 然而，OFC是一个大的皮质结构，具有多个子区域，其在仪器行为和经济选择中的作用似乎是多变和复杂的（Stalnaker等， 2015; Gremel等人， 2016; Gardner等人， 2018; Panayi和Killcross， 2018; 周等人， 2019）。 OFC收到多感官输入（Gourley和Taylor， 2016投射到纹状体的前/中间DMS和中央区域，并且已经显示出与赋予给定刺激的奖励相关的活动（Zhou等人， 2019）。 OFC在目标导向行为期间表现出更大的活动，并且类似于DMS神经元，在随机比例杠杆按压训练期间特别活跃，当行动奖励意外事件很高时（Gremel和Costa， 2013; Gremel等人， 2016）。 OFC刺激可以增加小鼠目标导向的程度，并降低小鼠在杠杆按压中习惯驱动的程度（Gremel等， 2016）。 此外，OFC输入到DMS的内源性大麻素依赖性（eCB）-LTD使小鼠偏向习惯行为，为目标导向和习惯行为之间的竞争提供了进一步的证据 - 如果OFC-DMS途径的活性降低（例如，通过eCB-LTD），然后DLS途径盛行，促进习惯行为（Gremel等， 2016).

有趣的是，OFC-纹状体电路也与强迫性行为自动化有关。 在OCD患者中观察到尾状核（人DMS）的结构异常，连接性和活性（Carmin等， 2002; Guehl等人， 2008; Sakai等人， 2011; 范等人， 2012）。 此外，已经表征了三种OCD遗传小鼠模型（D1CT-7; SAPAP3 ^{- / -} 和 Slitrk5 ^{- / -} ），在每一个中，观察到的主要电路表型都是皮质 - 纹状体突触传递的破坏，特别是涉及来自OFC的输入（Nordstrom和Burton， 2002; Welch等人， 2007; Shmelkov等人， 2010; Burguière等人， 2013, 2015）。 实际上，内侧OFC的慢性激活导致小鼠中类似OCD的梳理行为的发展，并驱动腹内侧纹状体SPN的持续活动（Ahmari等， 2013）。 相反，已经报道了侧向OFC（10FC）的光遗传学刺激减少了强制性过度修饰的转基因小鼠的梳理行为的发生，同时激活了纹状体内的前馈抑制（Burguière等， 2013）。 此外，最近的一份报告比较了SAPAP2中横向OFC-纹状体电路活动与邻近M3皮质投影活动的比较 ^{- / -} OCD的小鼠模型。 他们在SAPAP3中发现了这一点 ^{- / -} 突变体，纹状体SPN的lOFC输入强度降低，而对纹状体SPN和快速尖峰中间神经元（FSI）的M2输入增加6倍，表明它是M2，而不是10OFC输入，驱动强迫梳理（ Corbit等人， 2019）。 同时，另一项研究发现，强制性消耗乙醇导致在乙醇戒断期间降低OFC输入到表达D1R的DMS神经元，减少目标导向行为，并导致习惯性饮酒（Renteria等， 2018）。 因此，这些近期结果中的许多结果表明OFC的低活动性与自动行为相对应，并且至少在某些情况下，激活OFC预测可以抵消这种自动性，而不是驱动它。 然而，在另一篇描述小鼠成瘾模型的文章中（基于VTA-多巴胺神经元的自我刺激），观察到从10FC到背侧纹状体中央部分的突触增强（Pascoli等， 2018）。 因此，虽然有大量文献记载OFC预测参与行为自动性中的纹状体，但OFC似乎在促进或抵制自动性方面发挥着不同的作用。 因此，需要进一步研究以阐明OFC-纹状体连接的原理及其在驱动和/或抑制自动行为中的作用。

作为纹状体的另一个主要输入来源，中脑多巴胺神经元是奖赏回路的重要组成部分，VTA和SNc中的此类神经元向纹状体，PFC和其他前脑靶标发送侧枝（Volkow和Morales， 2015; 埃弗里特和罗宾斯， 2016; Lüscher的， 2016）。 多巴胺是纹状体作用的重要调节剂，也是从目标导向到习惯行为的过渡（Graybiel， 2008; 埃弗里特和罗宾斯， 2016）。 众所周知，中脑多巴胺神经元的细胞活性在接触有益药物时会增加，这在很大程度上是由于这些多巴胺神经元的突触输入增强（Ungless等， 2001; Lammel等人， 2011; Creed等人， 2016; 弗朗西斯等人， 2019）。 在形成自然奖励（即食物奖励）习惯期间，塑性机制也参与中脑多巴胺神经元，因为随机间隔杠杆压榨习惯贬值后的习惯性反应取决于该群体的NMDA受体表达（Wang et al人， 2011).

最后，与习惯性和成瘾行为有关的另外一种纹状体相关结构是杏仁核（Lingawi和Balleine， 2012）。 从概念上讲，amygdalar连接是有趣的，因为习惯形成因压力而加剧（Dias-Ferreira等， 2009），在一个可能由杏仁 - 纹状体电路介导的过程中。 最近的一项研究表明，基底外侧和中央杏仁核（BLA和CeA）均可控制大鼠的习惯行为; 发现BLA在训练早期就参与习惯性反应，CeA在延伸训练后期产生习惯性反应中起着至关重要的作用（Murray等， 2015）。 这些杏仁回路，特别是BLA，在分配化合价方面起着关键作用，并且已被证明在食欲行为中发挥作用（Kim等， 2017虽然CeA已被证明在酒精成瘾中发挥作用（de Guglielmo等， 2019）。 两个核都没有直接连接到DLS（Murray等， 2015; Hunnicutt等人， 2016因此，杏仁核可能通过多突触连接影响DLS。 鉴于BLA神经元直接投射到腹侧纹状体，这些杏仁回路可能影响背侧纹状体电路 通过 腹侧纹状体（Murray等， 2015).

总的来说，我们专注于代表习惯性和强迫行为的关键节点的大脑区域。 然而，最终，器官行为的持续和无序表现，特别是在慢性药物使用中发生，导致奖励和注意力相关网络的改变，可能涉及其他脑结构的变化，例如腹侧海马和岛状皮层（Everitt和Robbins） ， 2016）。 涉及更广泛的基底神经节回路的其他关键结构也可能在编码行为自动化中起重要作用。 例如，丘脑向纹状体发出显着的投射（Hunnicutt等， 2016从丘脑核到DMS的特定投射对于目标导向的行为灵活性是必要的（Bradfield等， 2013; Díaz-Hernández等人， 2018).

纹状体细胞类型，微电路及其对习惯和强迫的特定贡献

在纹状体中，绝大多数神经元（> 90％）是SPN，它们在表达多巴胺D1受体（Drd1）的直接途径SPN（dSPN；直接投射到中脑核，黑质网状结构或SNr）上大致均分，以及Globus Pallidus internus或GPi）和表达Drd2的间接途径SPN（iSPN；投射到Globus Pallidus externus或GPe； Kreitzer和Malenka， 2008; 伯克等人， 2017）。 纹状体还包含中间神经元群，包括胆碱能（ChAT）和表达Parvalbumin的快速中间神经元（PV + FSI）（Kreitzer和Malenka， 2008; 伯克等人， 2017).

在过去十年中，已经在破译dSPNs与iSPN在运动行为，行动启动和强化学习中的作用方面取得了进展，所有这些都被结合起来产生习惯性和强迫性行为。 十年前，一项开创性的研究证实了该领域的普遍假设，即直接途径中的dSPN有助于促进行为/行为，而间接途径中的iSPN抑制行为（Kravitz等， 2010; Bariselli等人， 2019）。 然而，现在显而易见的是，dSPN和iSPN在行动开始时同时被激活（Cui等， 2013; Tecuapetla等人， 2014, 2016因此，iSPNs的作用似乎比简单的广泛行为抑制更复杂（Tecuapetla等， 2016; Vicente等人， 2016; 帕克等人， 2018; Bariselli等人， 2019）。 此外，最近观察到dSPN和iSPN的局部集中簇中的活动模式与特定行为相对应，如左转或右转（Barbera等， 2016; 克劳斯等人， 2017; Markowitz等人， 2018; 帕克等人， 2018）。 尽管如此，一些研究发现dSPNs在动作启动期间的激活时间比iSPN更短（Sippy等， 2015; 奥黑尔等人， 2016）。 同时，其他研究表明，dSPN激活可以增强特定作用模式的表现（Sippy等， 2015; Vicente等人， 2016），虽然iSPN激活可能会更普遍地弱化行动（Vicente等， 2016）在某些情况下，并抑制其他人的行动表现（Kravitz等， 2010; Sippy等人， 2015）。 因此，dSPN和iSPN都可能参与习惯的学习和执行，dSPN活动可能会促进行动表现，而iSPN活动可能会发挥特定行动的抑制和/或许可作用（Zalocusky et人， 2016; 帕克等人， 2018; Bariselli等人， 2019）。 这些SPN途径在仪器学习过程中如何协调和修改仍然是一个积极研究的主题（Bariselli等， 2019).

除了SPN之外，最近对啮齿动物的研究也暗示了FSI在习惯的发展中的作用（Thorn和Graybiel， 2014; 奥黑尔等人， 2017; Martiros等人， 2018）。 例如，FSI在杠杆按压电机序列模式的中间阶段是活动的，当活动时 任务包围 SPN减少了（Martiros等， 2018）。 在强迫行为的背景下，在一个OCD鼠标模型中（SAPAP3 ^{- / -} ），观察到纹状体PV神经元数量减少，导致前馈抑制减少，可能减少对皮质 - 纹状体输入的抑制（Burguière等， 2013）。 在患有Tourette综合征的患者中也报道了纹状体PV神经元的减少（Kalanithi等， 2005），一种仪式化，重复性行为的综合症。 此外，据报道，小鼠中纹状体PV中间神经元的选择性消融导致增加的刻板修饰，这是啮齿动物中OCD样行为的量度（Kalueff等， 2016）。 在所有这些例子中，FSI中间神经元的活性降低导致SPN活性增加，可能导致自动行为的促进。 此外，纹状体胆碱能中间神经元在调节SPN可塑性方面也起着重要作用（Augustin等， 2018并且被认为是介导丘脑对目标导向行为中涉及的纹状体回路的影响（Bradfield等， 2013; Peak等人， 2019).

用于行为自动化的边缘电路的突触和分子变化

在成瘾的背景下，在确定滥用药物如何影响中脑边缘 - 纹状体奖励系统中的突触可塑性方面取得了重大进展，涉及VTA和腹侧纹状体或伏核（NAc）。 其他地方（Citri和Malenka， 2008; Lüscher和Malenka， 2011; Lüscher的， 2016; 狼， 2016; 弗朗西斯等人， 2019）。 然而，在本次审查的背景下，有几个重要的原则值得一提。 首先，VTA和NAc的突触可塑性机制涉及多巴胺和NMDAR受体依赖的长期可塑性（Ungless等， 2001; Saal等人， 2003; 康拉德等人， 2008; Lüscher和Malenka， 2011; 狼， 2016）。 其次，这些变化是输入特异性的，发生在VTA或NAc神经元的特定突触输入上（Lammel等， 2011; Ma等人， 2014; MacAskill等人， 2014; Pascoli等人， 2014; 狼， 2016; Barrientos等人， 2018）。 最后，暴露于滥用药物后的可塑性受到动态调节（Thomas等， 2001; Kourrich等人， 2007; Lüscher和Malenka， 2011; 狼， 2016）。 VTA-NAc电路中的这些细胞和突触可塑性规则可以为DLS电路中塑性机制如何进行提供有用的模板。

关注背侧纹状体和自然奖励习惯，已经根据行为自动性观察到突触调节，主要是在皮质纹状体突触。 实际上，目标导向行为的获得与DMS内皮质纹状体突触的突触可塑性相关，增强了对dSPNs的传递，同时削弱了对iSPN的输入（Shan et al。， 2014）。 同时，在习惯性小鼠的小鼠脑切片中，观察到dSPNs和背侧纹状体中的iSPNs的输入被加强，尽管dSPNs的输入被激活且具有更短的潜伏期，而且习惯抑制与仅dSPN的活性降低相关。 （O'Hare等人， 2016）。 此外，观察到来自次级运动皮层的谷氨酸能突触到DLS dSPNs（而非iSPNs），通过学习简单序列得到加强（Rothwell等， 2015）。 所有这些研究都表明选择性修饰皮质纹状体-dSPN突触。 然而，在学习旋转棒平衡技术的过程中，发现DLS中iSPNs的突触强度随着训练而增强，对于获得熟练的平衡至关重要（Yin et al。， 2009），所以皮质纹状体-iSPN突触也很重要。 在迄今为止提到的研究中，记录的突触变化是突触后的。 然而，一项优雅的研究，也研究了旋转棒平衡过程中小鼠的纹状体输入，发现学习诱导的活动与mPFC和M1皮质纹状体神经元的突触前末端的活动差异，表明在学习过程中突触前终端特有的神经发育变化。 （Kupferschmidt等人， 2017）。 在强迫症的情况下，在通过mESPC频率测量的Sapap3突变小鼠中，其表现出增加的梳理，观察到皮质纹状体突触向dSPN（但不是iSPN）的突触传递减少（Wan等人， 2013）。 这一发现与大部分学到的技能/习惯文献一致。 总之，在学习目标导向和习惯行为期间，观察到在背侧纹状体中发生突触变化，大多数分别加强对DMS和DLS神经元的输入。 显然，还有更多的研究要做，以破译纹状体内细胞类型特异性突触的修饰，例如输入到纹状体中的dSPN，iSPN和局部中间神经元，从而解释习惯和强迫是如何产生的。

面向前方

在这篇综述文章中，我们总结了负责学习习惯，成瘾和强迫症的重叠的以纹状体为中心的重叠电路，突出了从DMS到DLS的过渡，因为行为变得更加自动化。 考虑到这个总体框架，我们研究了关于行为自动化机制的未来方向，并提出我们目前对纹状体电路组织的不同特征的理解如何与新的分子工具相结合，以提供对该领域中心问题的深入了解。 一个关键问题是在背侧纹状体内给定自动行为的表现是如何分散的？ 如果自动转换涉及从DMS到DLS中心电路的转换，那么在内侧和外侧位置同时编码相同的SR行为，还有哪些特定的细胞和突触对应于给定关联的存储？

一个令人信服的假设是纹状体神经元簇的远程输入/输出连接（和局部电路结构）定义其对编码给定SR行为关联的募集（例如，将听觉线索与杠杆按压响应相关联）。 最近，已经认识到局部集中的SPN群中dSPN和iSPN活性的独特模式与特定行为的表现相关（Barbera等， 2016; 克劳斯等人， 2017; Markowitz等人， 2018并且，个体DLS神经元在习惯表现期间表现出感觉运动相关活动（Rueda-orozco和Robbe， 2015）。 众所周知，根据皮层输入，不同的纹状体亚区域在重叠的地形区域中组织（Beckstead， 1979; Berendse等人， 1979; Hintiryan等人， 2016; Hunnicutt等人， 2016）。 因此，存在多个不同的维度，纹状细胞可以沿着这些维度分类（描述为尺寸，层或“面具”） 图2）。 可以通过其空间位置定义纹状体细胞（图2A），其神经递质/细胞类型身份（图2B），它的连接性（图2C）或其行为关联（图2D）。 预期这些维度的交集将定义编码特定动作的纹状体集合。 因此，创建和加强给定行为SR关联的推定要求可能是加强负责特定感觉输入的表示的皮层神经元与纹状体中的动作相关细胞之间的特定连接。 纹状体的体感组织，最近已被强调（Robbe， 2018），表明不同的行为利用地形上分散的纹状体神经元集合。 然而，这些不同的集合很可能使用局部电路组织和可塑性的共同规则（Bamford等， 2018; Bariselli等人， 2019）由纹状体的相对均匀的细胞类型组成决定。

在另一个窗口打开

图2

纹状体神经元的功能定义。 （广告） 描述纹状体神经元的不同尺寸/层/'掩模'。 （A） 纹状体分区域。 （B） 分子/遗传：主要纹状体细胞类型包括Drd1 + SPNs，Drd2 + SPNs，PV + FSIs，ChAT +胆碱能中间神经元和中间神经元群体的几种其他重要亚型。 （C） Homuncular：纹状体细胞优先接受来自皮质不同区域的输入。 对应于特定身体部位的感觉运动输入映射到改编自Robbe的纹状体的特定区域（2018). （D） 任务特异性募集：显示由特定行为序列（行为A与行为B）募集的分离的神经元簇。

为了全面映射编码给定特定SR关联的精确电路，实现立即早期基因（IEG）表达的大规模映射（使用FISH和单细胞RNA-seq）将是非常宝贵的。 迄今为止，许多研究已经使用四极管记录或钙成像检查了单个脑区域的神经活动，其中可以监测至多数百个细胞。 使用scRNAseq，smFISH和类似的分子技术，可以加速对基底神经节相关神经元群体中神经元活动的无偏识别及其遗传特性，然后采用定向记录神经元活动的方法确定神经元群体（Jun等， 2017）。 这些实验将有助于在基底神经节电路中定位特定行为的进展。 找到特定的连通性连续路径将是特别令人兴奋的：即，从通过相关纹状体细胞子集的不同皮层输入，最后到下游脑区域中的独特输出。

这一成就将使研究人员能够在行为自动性中提出关于细胞和突触可塑性的关键问题。 由于纹状体由重复的微电路元件组成，因此对于纹状体内的各种动作的编码可能存在共同的规则。 一些主要问题是：在编码习惯，强迫或成瘾期间，dSPN或iSPN的活动是否在更大程度上被调制？ 表示相同行为的dSPN和iSPN是否位于相同的本地集中的群集中？ 如果是这样，他们是否会争夺对相同行为的控制权，或者iSPN主要起到抑制竞争行为的作用（Tecuapetla等， 2016; Vicente等人， 2016; Bariselli等人， 2019)?

一旦定义的SR迹线的集合表示已经清楚划分，它将加速对微电路组织和可塑性的规则的调查，最近通过隔离纹状体内特定听觉刺激的痕迹已部分实现（Xiong等人， 2015; 陈等人， 2019）。 除了一些值得注意的例外（例如，Gremel和Costa， 2013），大多数研究主要研究了习惯训练的动物与对照动物之间的电路特性的差异。 理想情况下，人们可以定位，记录和操纵行为相关的特定子集（图2D; Markowitz等人， 2018; Bariselli等人， 2019）纹状体细胞根据其解剖学/“humuncular”投影模式（数字2A，B; Hintiryan等人， 2016; Hunnicutt等人， 2016并将它们与同一动物中相邻（任务无关）的神经元进行比较。

为了实现这一目标，人们可以通过利用活动依赖性，细胞特异性靶向方法（如TRAP小鼠）获得参与特定SR关联的细胞的遗传途径（Guenthner等， 2013; 罗等人， 2018; 图2D）。 同样，基于连接的细胞靶向（Schwarz等， 2015; 罗等人， 2018），将实现具有特定输入/输出结构的纹状体神经元的遗传访问（图2C）。 然后，交叉遗传技术将允许以这些两个维度的重叠为目标，具有子区域和细胞类型分辨率。 采用这些遗传技术将允许研究人员识别由特定SR诱导的纹状体内的细胞特异性内在和突触可塑性。

接下来，重要的是测试遗传靶向神经元中活动模式的必要性，以编码和激活特定行为。 例如，在习惯性提示杠杆按压的发展过程中，纹状细胞在杠杆按压过程中是否有必要表现出这种行为？ 使用光遗传学和化学方法与细胞特异性靶向工具相结合，可以测试特定整体或突触型的活动是否对于给定的自动行为是必不可少的，以及整体的激活是否可以诱导它。

最后，从具有基因突变的人类获得的证据迅速增加（Hancock等， 2018）和不良的生活经历（Corbit， 2018; Wirz等人， 2018）易患强迫性和成瘾性疾病，为理解行为自动化的机制提供了进一步的机会。 在这里，使用CRISPR来模拟模型生物中的人类疾病可以促进建模中的实质性进展并且可能逆转习惯行为的病理性障碍。 我们预计，增加神经回路对自动行为的洞察将推进对人类疾病的治疗。 药物成瘾研究的最新进展可以作为这方面的指导，因为最近的治疗方法是基于对暴露于滥用药物引起的可塑性的电路水平理解而开发的（Creed等， 2015; Lüscher等人， 2015; Terraneo等人， 2016).

习惯形成，表达和相关障碍是行为神经科学中最基本的主题，并且在该领域已经取得了重大进展。 我们预计，未来十年对皮质 - 基底神经节电路在支持行为自动化中的作用的研究将涉及整合创新的分子技术并覆盖纹状体组织的不同解剖和功能表征。 这种组合的高分辨率方法将有助于精确定位特定的电路和突触，以及在巨大的皮质 - 基底神经节电路中定义微电路功能的基本规则，从而驱动习惯，强迫和成瘾的发展和表达。

作者贡献

DL，BG和AC撰写了手稿。

利益冲突声明

作者声明，研究是在没有任何可被解释为潜在利益冲突的商业或金融关系的情况下进行的。

脚注

参考资料