Aféierung

"Mir hunn zouginn datt mir mächteg waren iwwer eis Sucht - datt eist Liewen onmanéierbar ginn ass" seet déi éischt Tenet vum Narcotics Anonymous 12-Schrëtt Programm [1]. Dëst beliicht wéi mächteg Sucht sech selwer fannen wann et drëm geet Drogen ze widderstoen, obwuel se wëssen datt Drogen huelen e falsche Wee vun Handlung ass [2]-[4]. Tatsächlech ass d'Markenzeeche vun der Sucht compulsive Sich no den Drogen och op d'Käschte vun evident negativ Konsequenzen [5]. Eng Ënnerschrëft vu sou engem pathologesche Verhalen gëtt evident a kontrolléiert Experimenter, wou Sucht e charakteristesche "selbstbeschriwwene Feeler" weisen: eng Inkonsistenz tëscht der potenter Verhalensreaktioun op Drogen-assoziéierte Choixen an dem relativ nidderegen subjektiven Wäert deen den Sucht fir d'Drogen mellt. [4], [6], [7]. Wann kombinéiert mat dem Verloscht vun inhibitorescher kognitiver Kontroll iwwer Verhalen, no längerer Belaaschtung fir Drogen, kann dës Divergenz tëscht de kognitiven Pläng an de konsolidéierte Gewunnechten zu engem Iwwergang vum Casual zu compulsive Drogen-Sich Verhalen féieren. [8].

De Verloscht vu kognitiver Kontroll a selbstbeschriwwene Feeler hunn bis elo eng prinzipiell Erklärung vu formelle Modeller vun der Sucht entlooss [9]-[13]. Virdrun computational Theorien vun Drogenofhängeger Sucht, meeschtens am Verstäerkung Léier Kader poséiert, gesinn Sucht als e pathologeschen Zoustand vun der Gewunnecht Léieren (Stimulus-Äntwert) System [9]-[13]. Déi zentral Hypothese hannert all dëse Modeller ass datt den pharmakologeschen Effekt vun Drogen op Dopamin-Signaliséierung, vermeintlech e Stimulus-Äntwert Léiersignal droen, zu enger gradueller Iwwerverstäerkung vun esou Associatiounen resultéiert. Dësen Effekt féiert am Tour zu compulsive Drogen-Sich Gewunnechten. Obwuel dës reduzéiert Sicht vun der Sucht e puer Aspekter vum Phänomen erfaasst huet, weist e wuessende Konsens an der Suchtliteratur un datt verschidde Léiersystemer an der Pathologie involvéiert sinn. Nëmmen esou e méi komplext Bild dat kognitiv Gehirn enthält, souwéi niddereg-Niveau Gewunnecht Prozesser, kann d'Varietéit vun Sucht-ähnlechen Behuelen erklären [8], [14].

An dësem Pabeier adoptéiere mir eng hierarchesch Verstäerkung Léieren Approche [15] wou Entscheedungen op verschiddene Abstraktiounsniveauen vertruede sinn, an enger kognitiv-ze-motorescher Hierarchie. Mir huelen un datt eng Kaskade vun Dopamin-ofhängeg Léiersignaler Niveaue vun der Hierarchie verbënnt [16]. Mir huelen weider un datt Drogen vu Mëssbrauch pharmakologesch de Kommunikatiounsmechanismus tëscht Abstraktiounsniveauen kapéieren. Baséierend op dësen Viraussetzungen, weisen mir datt déi gemellt kognitiv Dissonanz bei Sucht entsteet am hierarchesche Verstäerkungs-Léierkader wann chronesch Drogenexpositioun d'Wäertléiere iwwer d'Entscheedungshierarchie stéiert. Dës Stéierung resultéiert zu enger pathologescher Iwwerbewäertung vun Drogenwahlen bei nidderegen Niveau Gewunnechte Prozesser an dréit doduerch gewéinlech Drogen-Sich Verhalen. Mir weisen dann datt "net gär" awer compulsive Drogen-Sich kann erkläert ginn als Drogen-hijacked niddereg-Niveau Gewunnecht Prozesser dominéieren Verhalen, iwwerdeems gesond kognitiv Systemer op den Top representativ Niveauen Kontroll iwwer Verhalen verléieren. Ausserdeem beweise mir datt de proposéierte Modell rezent Beweiser iwwer séier vs. verspéiten Entwécklung vun Drogen-cue-elicitéierten Dopamin-Eflux am ventralen vs dorsalen Striatum respektiv, wéi och d'Ofhängegkeet vun dësem Muster op Dopamin-Spiralschalter.

Materialien an Methoden

Preliminaries

Am Aklang mat enger räich kognitiv Psychologie Literatur, eis hierarchesch Verstäerkung Léieren [15], [18] Kader geet dovunner aus, datt en abstrakte kognitiven Plang wéi "Téi ze brauen" kann an eng Sequenz vun Aktiounen op nidderegen Niveau gebrach ginn: Waasser kachen, Téi an de Pot setzen, asw.. Esou Zersetzung geet weider bis konkret Motor-Niveau Äntwerten um niddregsten Niveau vun der Hierarchie (Figure 1A). Neurobiologesch sinn déi verschidden Niveaue vun der Entscheedungshierarchie vu kognitiven bis motoresche Niveauen laanscht d'rostro-caudal Achs vun der Cortico-Basal Ganglia (BG) Circuit vertrueden. [19]-[21]. Dëse Circuit besteet aus e puer parallele geschlossene Schleifen tëscht dem Frontal Cortex an der Basalganglia [22], [23] (Figure 1B). Wärend déi anterior Schleifen méi abstrakt Representatioun vun Handlungen ënnersträichen, codéieren déi caudal Schleifen, déi aus sensoresch-motoresche Cortex an dorsolateraler Striatum besteet, niddereg-Niveau Gewunnechten. [19]-[21].

eroflueden:

• PPT

  PowerPoint Slide

• PNG

  méi grouss Biller (1.06MB)

• TIFF

  ursprénglecht Bild (1.56MB)

Figure 1. Hierarchesch Organisatioun vum Verhalen an de Cortico-BG Circuit.

A, E Beispill vun enger Décisioun Hierarchie fir zwou alternativ Choixën: Drogenofhängeger vs Liewensmëttel. All Handlungsverlaf ass op verschiddene Abstraktiounsniveauen vertruede, vermeintlech kodéiert a verschiddene Cortico-BG Loops. Jiddereng vun den zwou Zorte vu Belounung sichen kéint eng Strof vun der Magnitude 16 verfollegen. B, Glutamatergesch Verbindungen aus verschiddene prefrontale Gebidder projizéieren op striatal Ënnerregiounen a projizéieren dann zréck op de PFC duerch de Pallidum an den Thalamus, a bilden e puer parallele Schleifen. Duerch de striato-nigro-striatal Dopaminnetz beaflossen d'ventral Regiounen vum Striatum déi méi dorsal Regiounen. vmPFC, ventral medial prefrontal Cortex; OFC, orbital frontal cortex; dACC, dorsal anterior cingulate cortex; SMC, sensoresch-motoresch cortex; VTA, ventral tegmental Beräich; SNc, substantia nigra pars compacta. Figure 1B Geännert vum Ref 21.

Doi: 10.1371 / journal.pone.0061489.g001

Bannent dësem Circuit signaliséiert déi phasesch Aktivitéit vu Midbrain Dopamin (DA) Neuronen, déi op de Striatum projizéieren, de Feeler tëscht virausgesot a kritt Belounungen, an doduerch Stimulatiounsreaktioun verstäerkt Informatioun. [24]. Dës DAergesch Projektioune bilden eng kaskadéierend seriell Konnektivitéit, déi déi méi ventral Regioune vum Striatum mat progressiv méi dorsalen Regiounen duerch déi sougenannte "spiraling" Verbindungen verbënnt. [25]-[27] (Figure 1B). Funktionell, sou eng Feed-Forward Organisatioun, déi d'Rostral mat de caudal Cortico-BG-Schleifen verbënnt, erlaabt eng geriichtte Kupplung vu grober bis feine Representatioune. Deementspriechend ginn d'DA-Spirale hypothetiséiert fir en neurobiologesche Substrat fir d'progressiv Ofstëmmung vum Belounungsprediktiounsfehler duerch déi méi héich Niveauen vun der Hierarchie ze bidden (Kodéierung vum abstrakte Wëssen iwwer de Wäert vun de Verhalensoptiounen). Dëse Feeler gëtt dann benotzt fir Aktiounswäerter op méi detailléierte Niveauen ze aktualiséieren [16]. An anere Wierder, d'DA Spiralen erlaben d'abstrakt kognitiv Niveau vun der Bewäertung fir d'Léieren an de méi detailléierte Action-Bewäertungsprozesser ze guidéieren.

Theorie Skizz

Am Sënn vun der computational Theorie vun Verstäerkung Léieren [28] (RL), den Agent (an eisem Fall eng Persoun oder en Déier) léiert informéiert Handlungswahlen ze maachen andeems se säi fréiere geschätzte Wäert aktualiséieren, , fir all Staat-Aktiounspaar, , wann eng Belounung gëtt vum Agent zu Zäit kritt als Resultat vun enger Aktioun am kontextuellen Zoustand (Stimulatioun) . De Wäert gëtt aktualiséiert andeems de Belounungsprediktiounsfehlersignal berechnen. Dëst Signal hänkt net nëmmen vun der direkt kritt Belounung of (), awer och op de Wäert vum neie Staat an deem den Agent op en Enn kënnt, nodeems dës Aktioun gemaach gouf. Gezeechent vun , dës temporär fortgeschratt Wäertfunktioun duerstellt d'Zomm vun zukünfteg Belounungen, déi d'Déier erwaart aus dem resultéierende Staat ze kréien, , weider. De Prognosefehler kann duerch déi folgend Equatioun berechent ginn:

(1)

Intuitiv berechent d'Prognosefehlersignal d'Diskrepanz tëscht dem erwaarten an dem realiséierte belountende Wäert vun enger Handlung. An enger hierarchescher Entscheedungsstruktur awer, anstatt d'Léieren -Wäerter onofhängeg op verschiddene Niveauen, méi abstrakt Niveauen kënnen d'Léiersignal ofstëmmen, dat op méi nidderegen Niveauen berechent gëtt. Zënter méi héije Niveauen vun der Hierarchie eng méi abstrakt Duerstellung vun Ëmweltbedéngungen duerstellen, geschitt d'Léiere méi séier an dësen Niveauen. Dëst ass wéinst der relativ niddereger Dimensioun vun der abstrakter Representatioun vum Verhalen: en Aktiounsplang kann als eenzeg Schrëtt (eng Dimensioun) um Topniveau vun der Hierarchie an als multiple detailléiert Aktiounen (Multidimensioune) op den ënneschten Niveauen duergestallt ginn. vun der Hierarchie. Den Topniveau Wäert vun dësem Aktiounsplang géif séier geléiert ginn am Verglach mat den detailléierte Niveauen, wou d'Belounungsfehler all déi detailléiert Handlungsschrëtt musse propagéieren. Also, d'Ofstëmmung vun den ënneschten Niveau Wäerter duerch d'Wäertinformatioun vun de méi héije Niveauen kann d'Konvergenz vun dëse Wäerter beschleunegen. Ee statistesch effiziente Wee fir dat ze maachen ass unzehuelen datt fir d'Prognosefehlersignal ze berechnen -th Niveau vun der Abstraktioun, , déi temporär fortgeschratt Wäertfunktioun, , kënnt vun engem méi héijen Abstraktiounsniveau, [16]:

(2)

Fir d'Optimalitéit ze erhalen, kann d'Gleichung 2 benotzt ginn fir de Prognosfehler ze berechnen nëmme wann déi lescht konstitutiv primitiv Handlung vun enger abstrakter Optioun ausgefouert gëtt (kuckt Figur S1 an Datei S1). An anere Fäll geschitt d'Wäertléiere op verschiddene Niveauen onofhängeg, wéi an der Equatioun 1. A béide Fäll gëtt d'Léiersignal dann fir d'Aktualiséierung vun de fréiere Wäerter um entspriechende Niveau benotzt:

(3)
wou ass de Léierrate. Dës Form vun Inter-Niveau Informatiounsaustausch ass biologesch plausibel well et d'Spiralstruktur vun der DA Circuit reflektéiert, d'Informatioun erof an d'Hierarchie an der ventro-dorsal Richtung droen. Zur selwechter Zäit, duerch méi abstrakt Niveauen guidéiert ze ginn, beschleunegt d'Léieren wesentlech, d'Héichdimensionalitéit vum Wäertléieren op detailléierte Niveauen erliichtert [16].

An dësem Pabeier weisen mir datt d'Interaktioun tëscht enger modifizéierter Versioun vum Modell entwéckelt gouf [16] an déi spezifesch pharmakologesch Auswierkunge vun Drogen vu Mëssbrauch op den dopaminergesche System kënnen Suchtbezunnen Daten op radikal verschidde Skalen vun der Analyse erfaassen: Verhalens- a Circuit-Niveau neurobiologesch. Als éischt bréngt den neie Modell eng méiglech erklärt Erklärung fir verschidde faszinéierend Verhalensaspekter, déi mat der Sucht un Drogen verbonne sinn (zB de selbstbeschriwwene Feeler [4], [6], [7]). Zweetens kënne mir eng breet Palette vu Beweiser iwwer d'Dynamik vun der Drogen-evokéierter Dopamin Verëffentlechung berechnen [17].

Mir änneren de Modell presentéiert an [16] wéi follegt. Mir maachen de Modell méi effizient wat d'Aarbechtsspeicherkapazitéit ugeet andeems se ersat ginn mat , an der Equatioun 2, well déi zwee Wäerter op deeselwechte konstante Niveau konvergéieren (kuckt Figur S2 an Datei S1, fir computational an neurobiologesch Basis):

(4)

Hei ass ass déi relativ abstrakt Optioun an ass déi lescht primitiv Handlung an der Verhalenssequenz déi dës Optioun voll fëllt. Ähnlech, ass de belount Wäert vun , mat abegraff (de belountende Wäert vun ).

Entscheedend deelen déi verschidde Medikamenter, déi vu Mënschen mëssbraucht ginn, eng fundamental Eegeschafte vun der pharmakologescher Erhéijung vun Dopamin Konzentratioun am Striatum. [29]. Deementspriechend integréiere mir dësen pharmakologeschen Effekt vum Medikament andeems Dir eng positiv Bias bäidréit, , (kuck och [9]-[12]) zum Prévisiounsfehlersignal gedroe vun Dopaminneuronen (kuckt Figur S3 in Datei S1, fir computational an neurobiologesch Basis):

(5)

hei erfaasst den direkten pharmakologeschen Effekt vum Medikament op den DA System, an ass säi Verstäerkungswäert wéinst den euphorigeneschen Effekter (kuckt Datei S1 fir zousätzlech Informatiounen).

Wärend d'Equatioune 3 an 5 zesummen de computational Mechanismus definéieren fir d'Wäerter an eisem Modell ze aktualiséieren, hypothese mir och datt en Onsécherheetsbaséierte Konkurrenzmechanismus den Abstraktiounsniveau bestëmmt, deen d'Verhalen kontrolléiert. Dëst ass inspiréiert vum Mechanismus proposéiert an [29] fir Schiedsrichter tëscht der Gewunnecht an Zil-Direkter Systemer. An dësem Respekt, op all Entscheedungspunkt, kontrolléiert nëmmen den Abstraktiounsniveau mat der héchster Sécherheet bei der Schätzung vum Wäert vun de Choixen d'Verhalen. Wann dësen Niveau d'Entscheedung getraff huet fir ze handelen, ginn all déi ënnescht Niveauen vun der Hierarchie vun dësem dominante Niveau ofgesat fir déi gewielte Handlung als eng Sequenz vu primitive Motorreaktiounen ëmzesetzen (kuckt Datei S1 fir zousätzlech Informatiounen; Abbildung S4 Datei S1; Bild S5 in Datei S1). Wann Dir de Belounungsfeedback vun der Ëmwelt kritt, ginn d'Wäerter op all Niveau aktualiséiert. Dësen Onsécherheet-baséiert Schiedsrichter Mechanismus virausgesot datt als abstrakt Prozesser méi flexibel sinn, si hunn super Wäert-Approximatioun Kapazitéit während de fréie Stadien vum Léieren an domat, Kontroll Verhalen an dëse Stadien. Wéi och ëmmer, well déi abstrakt Niveauen eng grober Representatioun vun der Ëmwelt benotzen (zB wéinst enger relativ klenger Zuel vu Basisfunktiounen), ass hir ultimativ Wäertapproximatiounsfäegkeet net sou präzis wéi déi vun detailléierte Niveauen. An anere Wierder, no extensiv Training ass d'Sécherheet verbonne mat de geschätzte Wäerter méi niddereg fir déi ënnescht Niveauen vun der Hierarchie am Verglach zu den ieweschte Niveauen. Also, mat progressivem Léieren, iwwerhuelen déi ënnescht Niveauen vun der Hierarchie d'Kontroll iwwer d'Aktiounsauswiel, well hir Onsécherheet lues a lues erofgeet. Dëst ass am Aklang mat e puer Zeilen vu Beweiser déi eng progressiv Dominanz vun der dorsal iwwer de ventrale Striatum an der Kontroll iwwer d'Droge-Sich weisen (wéi och d'Sich no natierleche Belounungen) [8], [30], [31].

Resultater

Hierarchie Bewäertung Inkonsistenz entsteet ënner Drogen awer net natierlech Belounungen

Am Géigesaz zu de fréiere Verstäerkung Léierbaséiert Berechnungsmodeller vun der Sucht [9]-[13] déi op enger eenzeger Entscheedungssystem Approche baséieren, ass eise Kont op engem Multiple-interagéierende System Kader gebaut. Als Resultat, obwuel d'Form vum Modeller vum Medikament op d'Prognosefehlersignal an eisem Modell ähnlech ass wéi déi virdrun [9]-[12], et féiert zu grondsätzlech aner Konsequenzen. D'medikamentinduzéiert transient Dopaminerhéijung erhéicht den direkten Prognosefehler op all Niveau vun der Hierarchie a féiert als Resultat eng Bias, , iwwer den Transfert vu Wëssen vun engem Abstraktiounsniveau op deen nächsten, laanscht d'grof-to-fein Richtung vun der Hierarchie. Dës Bias verursaacht den asymptotesche Wäert vun der Drogesicht op engem bestëmmten Niveau Eenheeten méi héich wéi déi vun enger méi abstrakter Schicht (Figure 2B). D'Akkumulation vun dësen Ënnerscheeder laanscht d'rostro-caudal Achs induzéiert progressiv bedeitend Differenzen am Wäert vun Drogen-Sich Verhalen tëscht den Top an ënnen Extremer vun der Hierarchie. Also, och wann se vun enger staarker Strof gefollegt ginn, bleift de Wäert vum Drogen-assoziéierten Verhalen positiv op de Low-Level Motor Loops, wärend et negativ op kognitiven Niveauen gëtt. An anere Wierder, de Modell virausgesot datt d'Akkumulation vum Drogeneffekt iwwer DA-Spiralen d'Drogen-Sich-Wäert op Motor-Niveau Gewunnechten op esou héich Amplitude erhéicht, datt och eng staark natierlech Strof net fäeg ass et genuch ze reduzéieren. Mir proposéieren datt dëst d'Inkonsistenz tëscht kognitiven an nidderegen Niveau Evaluatioun vun Drogenbezunnen Verhalen an Sucht erkläert. An anere Wierder, proposéiere mir datt compulsive Medikamenter Sich an déi wesentlech reduzéiert Elastizitéit op assoziéiert Käschten staamt aus dem pharmakologeschen Effekt vum Medikament, deen den Dopamin-ofhängege Mechanismus kapéiert, deen d'Informatioun tëscht den Niveauen vun der Entscheedungshierarchie transferéiert.

eroflueden:

• PPT

  PowerPoint Slide

• PNG

  méi grouss Biller (289KB)

• TIFF

  ursprénglecht Bild (471KB)

Figure 2. Motivatioun fir Iessen vs Drogen op verschiddene Abstraktiounsniveauen (Simulatiounsresultater).

An den éischten 150 Prozesser wou keng Strof no der Belounung follegt, konvergéiert de Wäert vun der Sich no natierleche Belounungen op allen Niveauen op 10 (A). Am Fall vum Medikament ass awer den direkten pharmakologeschen Effekt vum Medikament (, gesat op) Resultater am asymptotesche Wäert op all Niveau ze sinn Eenheeten méi héich wéi déi vun engem méi héijen Abstraktiounsniveau (B). Also, wann se duerch Bestrofung gefollegt ginn, wärend kognitiv Loops korrekt en negativen Wäert fir Drogen-Sich Wiel zouginn, Motor-Niveau Loops fannen Drogen-Sich wënschenswäert (positive Wäert). D'Kéiren an dëser Figur weisen d'Evolutioun vu Wäerter an "eent" simuléiert Déier an domat war keng statistesch Analyse applicabel.

Doi: 10.1371 / journal.pone.0061489.g002

Wärend Drogen, an eisem Modell, zu enger onbalancéierter Bewäertung iwwer Niveauen resultéieren, konvergéiert de Wäert vun natierleche Belounungen zum selwechte Wäert iwwer all Niveauen, wéinst dem Mangel un engem direkten pharmakologeschen Effekt op DA Signalmechanismus (). Dofir gëtt weder Inkonsistenz nach Iwwerbewäertung op detailléierte Niveauen am Fall vun natierleche Belounungen observéiert (Figure 2A). Iwwerwäertung vun Drogen-Sich Äntwerten op nidderegen Niveauen vun der Hierarchie soll zu anormal Präferenz vun Drogen iwwer natierlech Belounungen Resultat, an iwwer-Engagement an Drogenofhängeger Aktivitéiten.

Differential Dopamin reagéiert am ventralen versus dorsalen Striatum op Drogen-assoziéiert Cues

Neurobiologesch, differenziell Rollen vun de striatal Ënnerregiounen an der Acquisitioun an dem Ausdrock vun Drogen-Sich Verhalen huet d'Mëttpunkt an der Suchtfuerschung geholl. Konvergéierende Beweiser aus verschiddene Fuerschungslinne suggeréieren datt de Verhalensiwwergang vu Fräizäit- an compulsive Drogekonsum eng neurobiologesch Verréckelung vun der Bewäertung vum ventralen an den dorsolaterale Striatum reflektéiert. [8], [33], [34], entspriechend enger Verréckelung vu kognitiven op detailléierte Niveauen an eisem Modell. Konsequent mat eisem Modell, DA Spiralnetz, deen de ventralen a progressiv méi dorsale Regioune vum Striatum verbënnt, gëtt gewisen eng pivotal Roll an dësem Iwwergang ze spillen [25].

An enger Schlëssel rezent Etude Willuhn et al. [17] bewäert d'Muster vun der Dopamin-Verëffentlechung als Äntwert op Drogen-assoziéiert Zeechen am ventralen an dorsolateralen Striatum vu Ratten während dräi Wochen Kokain erliewen. Mat Hëllef vu schnelle Scan zyklesch Voltammetrie war déi kritesch Beobachtung datt cue-induzéiert DA Efflux am ventralen Striatum entsteet och no ganz limitéierter Ausbildung. Am Géigesaz, huet den dorsolaterale Striatum cue-ausgeléist DA Efflux nëmmen no extensiv Ausbildung gewisen, an d'Entwécklung vun dësem Verëffentlechungsmuster verschwonnen wann de ventrale Striatum an der ipsilateraler Hemisphär blesséiert gouf.

Zënter der temporärer Resolutioun vun der Schnellscanner Voltammetrie subsecond Schwankungen an der Konzentratioun erfaasst, soll dat observéiert Muster vum DA-Eflux un "phasesch" DA-Signaliséierung zougeschriwwe ginn an domat, zum Viraussoe-Feeler-Signal, laut der RL-Theorie vum Dopamin [24]. No der RL Theorie ass d'Prognosefehlersignal beim Observatioun vun engem onerwaarten Reiz gläich mam belountende Wäert deen dee Reiz virausgesot. Dofir ass cue-induzéiert DA Verëffentlechung gläichwäerteg mam Wäert virausgesot vun deem Cue.

An dësem Respekt liwwert eisen hierarchesche Kader eng formell Erklärung fir d'Differentialmuster vu ventralen versus dorsalen striatalen DA Efflux gemellt am [17]. De Wäert virausgesot vum Drogen-assoziéierten Cue op den abstrakte kognitiven Niveauen vun der Hierarchie erhéicht séier an de fréie Stadien vum Training (Figure 2B), wéinst der gerénger Dimensioun vum Léierproblem op héijen Abstraktiounsniveauen. Als Resultat weist eise Modell datt den cue-induzéierten DA Efflux am ventralen Striatum sollt observéiert ginn och no limitéierter Ausbildung (Figure 3). Op de méi detailléierte Representatiounsniveauen ass de Léierprozess awer lues (Figure 2B), wéinst der héijer Dimensioun vum Problemraum, wéi och d'Ofhängegkeet vum Léieren op méi abstrakte Niveauen duerch DA-Spiralen. Dofir sollt cue-induzéiert DA Efflux am dorsolaterale Striatum sech lues a lues entwéckelen an nëmmen no extensiv Training observéiert ginn (Figure 3).

eroflueden:

• PPT

  PowerPoint Slide

• PNG

  méi grouss Biller (447KB)

• TIFF

  ursprénglecht Bild (896KB)

Figure 3. Dopamin Efflux a verschiddene striatal Ënnerregiounen als Äntwert op Drogen-assoziéiert Zeechen (Simulatiounsresultater).

Am Aklang mat experimentellen Donnéeën [17], De Modell weist (lénks Kolonn) datt an der Äntwert op Drogen-assoziéiert Zeeche gëtt et Dopamin-Eflux am ventralen Striatum, no limitéierter an extensiv Ausbildung. A méi dorsolaterale Ënnerregiounen, awer, cue-elizéiert DA-Eflux wäert sech lues a lues am Laf vum Léieren entwéckelen. De Modell prognostizéiert (zweet Kolonn vu riets) datt dës verspéiten Entwécklung vum cue-elizéierten DA Efflux am dorsalen Striatum hänkt vun der DA-ofhängeger Serien Konnektivitéit of, déi d'Ventral mat dem dorsalen Striatum verbënnt. Dat ass, als Resultat vun der Trennung vun den DA Spiralen, wärend d'cue-elizéiert DA Äntwert intakt bleift am ventrale Striatum, reduzéiert se wesentlech am dorsolaterale Striatum. Ausserdeem virausgesot de Modell (drëtt Kolonn vu riets) ähnlech Resultater fir cue-induzéiert DA Efflux am dorsolaterale Striatum fir de Fall vu lesionéierten ventralen Striatum. Schlussendlech, wann no extensiv Drogen-Cee Pairing an intakt Déieren, eng Strof follegt Drogen, de Modell virausgesot (riets Kolonn) datt Drogenbezunnen Cue Resultater an der Inhibitioun vum ventralen Been vun DA Spiralen, och no limitéierter Ausbildung. A méi dorsal Regiounen fällt d'DA-Eflux awer lues während dem Léieren erof, awer wäert positiv bleiwen, och no extensiv Drogen-Strof Pairing. D'Daten, déi an dëser Figur presentéiert ginn, ginn aus "eent" simuléierten Déier kritt an dofir war keng statistesch Analyse applicabel.

Doi: 10.1371 / journal.pone.0061489.g003

Ausserdeem erkläert eise Modell d'Beweiser an [17] datt sou eng verspéit Entwécklung vum cue-elizéierten DA Efflux am dorsolaterale Striatum hänkt vum ventralen Striatum of (Figure 3). An eisem Modell, eng simuléiert unilateral Läsioun vum ventralen Striatum (den abstrakte Bewäertungsniveau am Modell) reduzéiert den Drogen-Cue-virausgesot Wäert op detailléierte Niveauen an der ipsilateraler Hemisphär wesentlech erof an doduerch reduzéiert den Niveau vum Cue-induzéierten DA Efflux wesentlech. Fir d'Läsioun vum ventralen Striatum ze modelléieren, fixéiere mir einfach de Wäert vun all Reizen um héchsten Niveau vun der Hierarchie op Null.

Ähnlech virausgesot eise Modell datt d'Entwécklung vu phasescher DA-Signaliséierung am dorsolaterale Striatum hänkt vun der Integritéit vum DA-Spiralkrees of.Figure 3). Tatsächlech schneidt eng Trennung am DA-Spiralkreeslaf an eisem Modell d'Kommunikatioun iwwer Abstraktiounsniveauen, wat ofwiesselnd d'Akkumulation vun der Drogen-induzéierter Bias op d'Verstäerkungssignal verhënnert, laanscht d'Niveaue vun der Entscheedungshierarchie. Fir d'Trennung an der DA-ofhängeger Serienschaltung vu ventralen bis dorsalen Striatum ze modelléieren, klemme mir all Abstraktiounsniveau fir d'Prognosefehlersignal lokal ze berechnen (wéi an der Equatioun 3), ouni de Wäert vum temporär fortgeschrattene Staat vum direkt méi héijen ze kréien. Niveau vun der Abstraktioun.

Ausserdeem virausgesot de Modell datt d'Muster vum cue-elizéierten DA Efflux ännert wann no enger extensiv Ausbildung mat Kokain a Kokain assoziéierten Zeechen, wéi am uewe genannten Experiment, ufänkt d'Kokain Liwwerung mat enger staarker Strof ze koppelen. Mir virauszesoen datt den DA Efflux als Äntwert op de Kokain-assoziéierten Cue séier ënner der Baseline am ventralen Striatum erofgeet. Am dorsolaterale Striatum sollt d'cue-induzéiert DA Verëffentlechung awer iwwer d'Basislinn bleiwen (Figure 3) mat enger méiglecher verspéiter partieller Ofsenkung. Dëst beweist de positiven subjektiven Wäert un den Drogenreiz op detailléierte Niveauen, trotz negativen (ënner der Baseline) Wäerter op kognitiven Niveauen. Et ass bemierkenswäert datt dës Prognose vun der Virgab hänkt datt d'Strof vum Gehir einfach als negativ Belounung behandelt gëtt. Dës Virgab ass e bësse kontrovers: et gëtt kloer vun experimentellen Studien ënnerstëtzt [35], awer och anescht diskutéiert vun aneren [14], [36]. Ausser dës Prognose sinn aner Aspekter vum Modell net ofhängeg ob d'Strof vun Dopamin oder vun engem anere Signalsystem kodéiert ass.

D'Trainingsregime benotzt vum Willuhn et al. [34] ass net genuch ausgebaut fir compulsive Drogen-Sich Verhalen ze produzéieren, charakteriséiert duerch Onsensibilitéit fir Drogen-assoziéiert Strofe [37], [38]. Also, eng Schlësselfro fir ze beäntweren ass wat ass d'Relatioun tëscht verspéiten Entwécklung vun der cue-induzéierter DA Äntwert an DLS, a spéider Entwécklung vu compulsive Äntwert. No eisem Modell erfuerdert compulsive Verhalen net nëmmen déi exzessiv Bewäertung vun der Drogenwahl op nidderegen Niveauen vun der Hierarchie, awer och d'Transfert vu Kontroll iwwer Verhalen vum abstrakte kognitiven an den nidderegen Niveau Gewunnechte Prozesser. D'Zäitskala vun dësen zwee Prozesser sinn nëmmen deelweis vuneneen ofhängeg: den Iwwerbewäertungsprozess hänkt vum Prognosefehlersignal of, während den Transfert vun der Verhalenskontroll och vun de relativen Onsécherheeten an der Wäertschätzung hänkt. Dofir kann d'Iwwerwäertung vun Drogen-assoziéierten Hiweiser op nidderegen Niveauen vun der Hierarchie d'Verréckelung vun der Kontroll iwwer Verhalen vun uewe bis ënnen vun der Hierarchie virausgoen. Déi exakt Zäitskala vun deenen zwee Prozesser hänkt vum Léierrate an dem Geräischer inherent op de verschiddenen Niveauen of, respektiv (kuckt Datei S1 fir zousätzlech Informatiounen). An anere Wierder, et ass méiglech datt den cue-induzéierten Dopamin-Eflux an der DLS wesentlech entwéckelen kann ier d'compulsive Drogen-Sich verhalensweis manifestéiert ass.

Behuelen Implikatioune vun der inkonsequent Bewäertung fir Drogen versus natierlech Belounungen

Verhalensweis, an eisem Modell, wann d'Strof mat Drogen an de fréie Stadien vun der fräiwëlleger Drogekonsum gepaart ass, gëtt den abstrakte Wäert vun der Drogen-sicht Äntwert séier negativ. Unzehuelen datt d'Droge-Sich duerch abstrakt Niveauen während dëse fréie Stadien kontrolléiert gëtt, mécht d'negativ abstrakt Evaluatioun vun der Drogenwahl de Sujet net gewëllt dee Verlaf vun der Handlung méi laang ze erliewen. Dëst wäert d'Konsolidéierung vu staarken nidderegen Niveau Präferenz fir Drogen iwwer Zäit verhënneren. Also erkläert de Modell d'Elastizitéit vun den Drogenwahlen un d'Käschte während de fréie Stadien vum Drogenkonsum, awer net no chronescher Benotzung. Konsequent, Déiermodeller vun der Sucht weisen datt d'Onsensibilitéit vun Drogen-Sich Reaktiounen op schiedlech Konsequenzen, déi mat Drogen verbonne sinn, nëmmen no längerer Drogen Selbstverwaltung entwéckelt, awer net limitéiert Drogenverbrauch. [37], [38]. Am Géigesaz zu eiser Theorie, fréiere Berechnungsmodeller vun der Sucht [9], [10] sinn am direkte Widdersproch mat dësem Kierper vu Beweiser, well se viraussoen datt negativ Verhalensresultater, déi direkt nom Drogenverbrauch folgen, kee motivational Effekt hunn och an de ganz fréie Stadien vum Drogen erliewen (kuckt Datei S1 fir zousätzlech Informatiounen).

Eise Modell berücksichtegt weider d'Optriede vum Blockéierungseffekt fir Drogenresultater [39]. Blockéieren ass e Konditiounsphänomen, wou d'virdrun Pairing vun engem Stimulus A mat engem Resultat d'Bildung vun der Associatioun tëscht engem anere Stimulus B mat deem Resultat an enger spéider Trainingsphase blockéiert, wou souwuel A wéi B virun der Liwwerung vum Resultat presentéiert ginn. [40]. Resultater vun der Simulatioun vun eisem Modell an engem Pavlovian experimentellen Design (kuckt Datei S1 fir Ergänzungsinformatioun iwwer d'Pavlovian Versioun vum Modell) weist datt fir béid Fäll vun natierleche Belounungen an Drogen, wann de geschätzte Wäert op engem gewëssen Niveau vun der Hierarchie säi stännegen Zoustand erreecht (anstatt onbegrenzt ze wuessen), kee weider Léieren geschitt op deem Niveau, well d'Prognosefehlersignal op Null erofgaang ass (Figure 4). Also, en neie Reiz mat der scho virausgesoter Belounung assoziéiert gëtt blockéiert. Verhalensbeweiser déi e Blockéierungseffekt weisen, verbonne mat Drogen an natierleche Verstäerker [39] gouf als grousst Argument benotzt fir de virdru proposéierten Dopamin-baséiert Berechnungsmodell vun der Sucht ze kritiséieren [9]. Hei hu mir gewisen datt d'Fokussioun op d'hierarchesch Natur vun de Representatioune an d'dorsal-ventral spiralend Dopamin-Schleiforganisatioun tatsächlech fir d'Blockéierungsdaten ka berücksichtegen, an doduerch dës Kritik ëmgoen (kuckt Datei S1 fir zousätzlech Informatiounen).

eroflueden:

• PPT

  PowerPoint Slide

• PNG

  méi grouss Biller (360KB)

• TIFF

  ursprénglecht Bild (615KB)

Figure 4. Spär Effekt fir natierlech vs Drogenofhängeger Belounungen.

De Modell virausgesot datt Blockéierung geschitt fir natierlech Belounungen (A) an Drogen (B), nëmmen wann déi initial Trainingsperiod "extensiv" ass, sou datt den éischte Reiz de Wäert vum Resultat komplett virausgesot. No "moderéierten" Ausbildung, kognitiv Niveauen, déi méi flexibel sinn, viraussoen d'Wäerter voll a blockéieren doduerch weider Léieren. Wéi och ëmmer, d'Léieren ass nach ëmmer aktiv an de Prozesser op nidderegen Niveau wann déi zweet Trainingsphase (simultan Presentatioun vu béide Reizen) ufänkt. Also, eise Modell virausgesot datt moderéiert initial Ausbildung an engem Blockéierungsexperiment mat natierleche Belounungen och zu kognitiven / Verhalens Inkonsistenz resultéiert. D'Daten, déi an dëser Figur presentéiert ginn, ginn aus "eent" simuléierten Déier kritt an dofir war keng statistesch Analyse applicabel.

Doi: 10.1371 / journal.pone.0061489.g004

Wéi virdru scho gesot, weisen e puer Zeilen vun Beweiser eng progressiv Dominanz vun der Dorsal iwwer de ventralen Striatum an der Kontroll iwwer Verhalen am Laf vum Léieren [8], [31], [32]. Interpretéiert op engem Hannergrond vun dëse Beweiser, erklärt déi onbalancéiert Drogen-Sich Bewäertung uechter d'Hierarchie och d'Süchter hir net erfollegräich Efforte fir d'Drogenverbrauch ze reduzéieren no laanger Erfahrung mat Drogen, wann d'Kontroll iwwer Drogenbezunnen Choixen vu kognitiv op niddereg verréckelt ass. Niveau Gewunnecht Prozesser. Dës Iwwerhand vun Drogen-dominéierte Prozesser féiert natierlech zu Verhalensonelastizitéit zu Drogen-assoziéierten Käschten (zwanghaft Drogen-Sich), méiglecherweis mat selbstbeschriwwene Feeler begleet. Fir de Fall vun natierleche Belounungen, awer, prognostizéiert eise Modell datt och wann d'Verhalensinelastizitéit am Laf vum Léieren eropgeet, well keng Bewäertungsinkonsistenz iwwer d'Niveaue vun der Hierarchie entwéckelt, Strofe verbonne mat der Belounung schlussendlech d'Belounungssich hemmen.

Eise Modell konzentréiert sech op d'Evaluatioun vun Aktiounen an enger "viraussiichtlech gegebene" Entscheedungshierarchie, a léisst ofgesi wéi d'abstrakt Optiounen an hir entspriechend niddereg-Niveau-Subroutinen am Ufank während der Entwécklung entdeckt ginn. D'Entdeckung vun der Entscheedungshierarchie gëtt proposéiert als en bottom-up-Prozess ze sinn, erreecht andeems se Sequenzen vun nidderegen Handlungen zesummenzéien a méi abstrakt Optiounen konstruéieren [41]. Dëse Prozess, vermeintlech eng Verréckelung vun der dorsal op de ventralen Striatum ënnergaangen ass, ass an der Géigendeel Richtung vum Konkurrenzmechanismus, deen hei proposéiert gëtt, fir d'Kontroll iwwer d'Verhalen ze huelen.

Diskussioun

De wuessende Kierper vu Beweiser iwwer d'differenziell Roll vu verschiddene striatal Ënnerregiounen an der Sucht gëtt normalerweis am Kader vun der gewéinlecher vs. [8], [14], [34]. Déi hierarchesch Entscheedungsmethod Approche déi mir hei benotzen ass komplementar zu sou Dual-System Konten. Wou d'Dual-Prozess Approche sech mat verschiddenen Algorithmen beschäftegt (Modellfräi vs. Modellbasis [30]) fir en eenzege Problem ze léisen, konzentréiert den hierarchesche RL Kader op verschidde Representatioune vum selwechte Problem op verschiddene Niveauen vun der temporärer Abstraktioun. An der Theorie kann entweder e gewéinlechen oder e zielgeriichten Algorithmus all eenzel vun dëse verschiddene Representatioune vum Problem léisen. An eisem Modell geschitt d'Akkumulation vun Drogen-induzéierte Viraussetzungen iwwer DA-Spiralen an engem Ëmfeld wou de Wäertschätzungsalgorithmus modellfräi ass (Gewunnecht léieren). Wéi och ëmmer, dëst schléisst d'Existenz vu modellbaséierte Systemer net aus, déi op den Topniveauen vun der Hierarchie schaffen. Et kann een einfach de PFC-ofhängeg Zil-direkter Bewäertung an Entscheedungssystem an de Modell integréieren andeems Dir unhuelen datt Aktiounen op den héchsten Abstraktiounsniveauen vun engem Zilgeriichte System evaluéiert ginn. Wärend sou eng Komplikatioun d'Natur vun de Resultater an dësem Manuskript net ännert, ass seng zousätzlech Flexibilitéit an der Erklärung vun aneren Aspekter vun der Sucht op zukünfteg Studien iwwerlooss. Tatsächlech, an eisem Modell, onofhängeg ob en Zil-direkt System existéiert oder net, wiisst d'Diskrepanz am asymptotesche Wäert vun der Drogesicht tëscht den zwee Extremer vun der Hierarchie mat der Unzuel vun Entscheedungsniveauen, déi vum "Gewunnecht" Prozess regéiert ginn. .

Am Liicht vun eiser Theorie kann de Réckwee als Erhuelung vun dormanten motoresch-Niveau maladaptive Gewunnechten ugesi ginn, no enger Period vun der Dominanz vu kognitiven Niveauen. Tatsächlech kann ee sech virstellen datt als Resultat vun der kognitiver Therapie (bei mënschlechen Sucht) oder gezwongener Ausstierwen (bei Déieremodeller vun Abstinenz), den héije Wäert vun der Drogesicht um detailléierten Niveau vun der Hierarchie net geläscht gëtt, mee dormant gëtt wéinst d'Kontroll zréck op kognitiv Niveauen ze réckelen. Zënter Drogenbezunnen Verhalen ass sensibel fir negativ Konsequenzen op abstrakte Niveauen, dofir kann d'Droge-Sich vermeit ginn soulaang wéi héich-Niveau kognitiv Prozesser d'Kontroll vum Verhalen dominéieren. Et kann souguer spekuléieren datt déi populär 12 Schrëtt Programmer (zB Anonyme Alkoholiker, Anonyme Narkotika, etc) deelweis funktionnéieren andeems d'Participanten explizit verlaangen datt se d'Inkonsistenz vun hirem Drogenrelatéierte Liewensstil zouginn, an doduerch den abstrakte kognitiven Niveauen erméiglechen explizit Kontroll iwwer hiren Drogen auszeüben. Verhalen. Stressvoll Bedéngungen oder nei Belaaschtung fir Drogen (Priming) kënnen als Risikofaktoren ugesi ginn, déi d'Dominanz vun abstrakte Niveauen iwwer Verhalen schwächen, wat zu der Erhuelung vun Drogen-sicht Äntwerte kann resultéieren (wéinst den latenten héijen net-kognitiven Wäerter). ).

Zesummegefaasst proposéiere mir e kohärent Kont fir e puer, anscheinend disparate Phänomener charakteristesch fir Drogenofhängeger. Eise Modell liwwert e normative Kont fir Daten iwwer d'differential Rollen vun de ventralen vs dorsalen striatal Circuiten an der Drogen-sich Acquisitioun a Gewunnecht Leeschtung, wéi och d'selektiv Roll vun der Feed-Forward DA Konnektivitéit fir Effekter vum Medikament versus natierleche Verstäerker. Virun allem, mir weisen wéi d'Drogen-induzéiert Pathologie a ventral-zu-dorsal DA Signaler, déi d'motivatiounsinformatioun erofgoen kognitiv Representatiounshierarchie dréit, kéint zu Diskordanz tëscht Abstrakter hir abstrakt Haltung vis-à-vis vun Drogen sichen a wat se tatsächlech maachen. Natierlech gëtt eise Modell net, an ass net geduecht, e komplette Bilan vun der Drogenofhängeger. Aner onerklärten Aspekter vun der Sucht z'erklären erfuerdert vill aner Gehirsystemer ze integréieren, déi bewisen sinn datt se vun Drogen vu Mëssbrauch betraff sinn [42]. Wéi esou Systemer am formelle Berechnungsnetz ze integréieren bleift en Thema fir weider Enquête.

Informatioun ënnerstëtzen

Datei S1.

Bild S1,Eng Probe Entscheedungshierarchie mat fënnef Abstraktiounsniveauen. Bild S2, De korrespondéierte neurale Circuit fir déi dräi diskutéiert Wäertléieralgorithmen ass eng hierarchesch Entscheedungsstruktur. A, Mat engem einfachen TD-Léieralgorithmus (Equatioun S7) gëtt d'Prognosefehlersignal an all Abstraktiounsniveau onofhängeg vun aneren Niveauen berechent. B, Am Modell proposéiert vum Haruno a Kawato (4) (Equatioun S8), kënnt de Wäert vun der temporär fortgeschratt Staat vun engem méi héije Niveau vun Abstraktioun. C, an eisem Modell (Equatioun S9) gëtt de Wäert vum temporär fortgeschrattene Staat mat enger Kombinatioun vun der Belounung an dem Q-Wäert vun der duerchgefouerter Handlung op engem méi héijen Abstraktiounsniveau ersat. Bild S3, Eise Modell prognostizéiert verschidde Handlungsplazen vun Drogen op der Belounungs-Léierkreeslaf: Siten 1 bis 3. Drogen, déi Siten 4 bis 6 beaflossen, am Géigesaz, wäerten net zu de Verhalens- an neurobiologesche Mustere resultéieren, déi duerch Simulatioun vum Modell fir Drogen produzéiert ginn, awer wäert Resultater ähnlech zu de Fall vun natierleche belount produzéiere. Bild S4, D'Aufgab déi benotzt gëtt fir den Onsécherheetsbaséierte Konkurrenzmechanismus tëscht den Niveauen vun der Hierarchie ze simuléieren fir d'Kontroll iwwer d'Verhalen ze huelen. Bild S5, Simulatiounsresultat, weist graduell Verréckelung vu Kontroll iwwer Verhalen vu méi héijen op méi nidderegen Niveauen vun der Hierarchie. Q(s,a) an USA) weisen de geschätzte Wäert an d'Onsécherheet vun de Staat-Aktiounsparen, respektiv.

Doi: 10.1371 / journal.pone.0061489.s001

(PDF)