úvod

„Priznali sme, že sme boli bezmocní nad našou závislosťou - že naše životy sa stali nezvládnuteľnými“, uvádza sa v prvom princípe programu narkotík Anonymous 12-step. [1], Toto poukazuje na to, ako sa bezmocní závislí ocitnú, keď príde na odolnosť voči drogám, napriek tomu, že vedia, že užívanie drog je nesprávny postup [2]-[4], V skutočnosti je charakteristickým znakom závislosti nútené hľadanie liekov, a to aj za cenu zjavných nepriaznivých dôsledkov [5], Podpis takéhoto patologického správania je zrejmý v kontrolovaných experimentoch, kde závislí ľudia vykazujú charakteristickú „samopísanú chybu“: nekonzistentnosť medzi silnou reakciou na správanie spojené s voľbami spojenými s drogami a relatívne nízkou subjektívnou hodnotou, ktorú narkoman hlási pre liek. [4], [6], [7], V kombinácii so stratou inhibičnej kognitívnej kontroly nad správaním po tejto dlhotrvajúcej expozícii drogám môže táto odchýlka medzi kognitívnymi plánmi a konsolidovanými návykmi viesť k prechodu od náhodného k nutkavému správaniu pri hľadaní drog. [8].

Strata kognitívnej kontroly a chyba opísaná v opise doteraz unikli principiálnemu vysvetleniu formálnymi modelmi závislosti. [9]-[13], Predchádzajúce počítačové teórie závislosti na drogách, väčšinou predstavované v rámci posilňovacieho vzdelávacieho rámca, vnímajú závislosť ako patologický stav systému návykových návykov (stimul-reakcia). [9]-[13]. Ústrednou hypotézou všetkých týchto modelov je, že farmakologický účinok liekov na dopamínovú signalizáciu, ktorý údajne nesie vyučovací signál stimul-odpoveď, vedie k postupnému nadmernému posilňovaniu týchto asociácií. Tento účinok zase vedie k nutkavým návykom pri hľadaní drog. Aj keď tento obmedzený pohľad na závislosť zachytil niektoré aspekty tohto javu, rastúci konsenzus v literatúre o závislostiach naznačuje, že do patológie je zapojených viac systémov učenia. Iba taký komplexnejší obraz, ktorý zahŕňa kognitívne procesy mozgu a obvyklé procesy na nízkej úrovni, môže vysvetliť rozmanitosť správania podobného závislosti [8], [14].

V tomto článku prijímame prístup založený na hierarchickom posilňovaní [15] kde sú rozhodnutia zastúpené na rôznych úrovniach abstrakcie, v kognitívnej až motorickej hierarchii. Predpokladáme, že kaskáda vzdelávacích signálov závislých od dopamínu spája úrovne hierarchie spolu [16], Ďalej predpokladáme, že drogy zneužívania farmakologicky unesú komunikačný mechanizmus medzi úrovňami abstrakcie. Na základe týchto predpokladov ukazujeme, že hlásená kognitívna disonancia u závislých sa objavuje v rámci hierarchického posilňovacieho vzdelávacieho rámca, keď chronická expozícia liekom naruší učenie hodnôt v hierarchii rozhodovania. Toto narušenie má za následok patologické nadhodnotenie výberu liekov pri obvyklých procesoch na nízkej úrovni, a teda vedie k obvyklému správaniu pri hľadaní drog. My potom ukážeme, že „nepáčilo“, ale nutkavé hľadanie liekov možno vysvetliť ako návykové procesy unesené drogami na nízkej úrovni, zatiaľ čo zdravé kognitívne systémy na najvyššej úrovni reprezentácie strácajú kontrolu nad správaním. Ďalej demonštrujeme, že navrhovaný model môže zodpovedať najnovším dôkazom o rýchlom verzus oneskorenom vývoji efluxu dopamínu vyvolaného liečivom vo ventrálnom verzus dorzálnom striatu, ako aj o závislosti tohto modelu na špirálovitých obvodoch dopamínu.

Materiály a metódy

predkola

V súlade s bohatou kognitívnou psychologickou literatúrou sa naše hierarchické posilňovanie učenia [15], [18] rámec predpokladá, že abstraktný kognitívny plán, ako je „varenie čaju“, sa môže rozdeliť do sledu činností na nižšej úrovni: vriaca voda, vloženie čaju do kvetináča atď. Takéto rozkladanie pokračuje dovtedy, kým konkrétne reakcie na úrovni motora na najnižšej úrovni hierarchia (Obrázok 1A). Neurobiologicky sú rôzne úrovne hierarchie rozhodovania od kognitívnych po motorické úrovne zastúpené pozdĺž rostrokatudálnej osi okruhu kortiko-bazálnych ganglií (BG). [19]-[21], Tento obvod sa skladá z niekoľkých paralelných uzavretých slučiek medzi čelnou kôrou a bazálnymi gangliami [22], [23] (Obrázok 1B). Zatiaľ čo predné slučky sú základom abstraktnejšej reprezentácie dejov, kaudálne slučky pozostávajúce zo zmyslovo-motorickej kôry a dorsolaterálneho striata kódujú návyky na nízkej úrovni. [19]-[21].

Na stiahnutie:

• PPT

  Slideshow PowerPoint

• PNG

  zväčšiť obrázok (1.06MB)

• TIFF

  pôvodný obrázok (1.56MB)

Obrázok 1. Hierarchická organizácia správania a kortiko-BG obvod.

A, Príklad hierarchie rozhodnutí pre dve alternatívne možnosti: droga vs. jedlo. Každý priebeh účinku je znázornený na rôznych úrovniach abstrakcie, pravdepodobne kódovanej v rôznych slučkách kortiko-BG. Pri hľadaní každého z týchto dvoch druhov odmien by mohlo nasledovať potrestanie veľkosti 16. B, Glutamatergické spojenia z rôznych prefrontálnych oblastí sa premietajú do striatálnych podoblastí a potom sa premietajú späť do PFC cez pallidum a thalamus a vytvárajú niekoľko paralelných slučiek. Prostredníctvom striato-nigro-striatálnej dopamínovej siete ovplyvňujú ventrálne oblasti striatu viac chrbtových oblastí. vmPFC, ventrálna stredná prefrontálna kôra; OFC, orbitálna čelná kôra; dACC, dorzálna predná cingulačná kôra; SMC, senzoricko-motorická kôra; VTA, ventrálna tegmentálna oblasť; SNc, substantia nigra pars compacta. Obrázok 1B Upravené z odkazu 21.

doi: 10.1371 / journal.pone.0061489.g001

V rámci týchto obvodov signalizuje fázová aktivita neurónov dopamínu stredného mozgu (DA) premietajúcich do striatu chybu medzi predpokladanými a prijatými odmenami, čím nesie informácie podporujúce stimuláciu a odpoveď. [24], Tieto DAergické projekcie tvoria kaskádové sériové pripojenie spájajúce viac ventrálnych oblastí striata s progresívne viac dorzálnymi regiónmi prostredníctvom takzvaných „špirálovitých“ spojení [25]-[27] (Obrázok 1B). Z funkčného hľadiska takáto predbežná organizácia spájajúca rostrálne a kaudálne kortiko-BG slučky umožňuje priame spojenie z hrubých na jemné zobrazenia. Preto sa predpokladá, že DA špirály poskytujú neurobiologický substrát na progresívne ladenie chyby predikcie odmeny vyššími úrovňami hierarchie (kódovanie abstraktných znalostí o hodnote možností správania). Táto chyba sa potom používa na aktualizáciu akčných hodnôt na podrobnejších úrovniach [16], Inými slovami, špirály DA umožňujú, aby abstraktné kognitívne úrovne oceňovania viedli vzdelávanie v podrobnejších procesoch oceňovania akcií.

Teória náčrt

Z hľadiska výpočtovej teórie posilňovacieho učenia [28] (RL), agent (v našom prípade osoba alebo zviera) sa učí robiť informované rozhodnutia o výbere aktualizáciou svojej predchádzajúcej odhadovanej hodnoty, , pre každú dvojicu stav-akcia, , keď je to odmena je prijatý agentom v čase v dôsledku vykonania akcie v kontextovom stave (stimul) , Hodnota sa aktualizuje výpočtom signálu chyby predpovede odmeny. Tento signál nezávisí iba od okamžitej odmeny (), ale tiež o hodnote nového stavu, v ktorom agent skončí po vykonaní tejto akcie. Označené , táto dočasne pokročilá funkcia hodnôt predstavuje súčet budúcich odmien, ktoré zviera očakáva od výsledného stavu, , ďalej. Predikčnú chybu možno vypočítať podľa nasledujúcej rovnice:

(1)

Intuitívne, signál chyby predpovede vypočíta rozpor medzi očakávanou a realizovanou odmeňovacou hodnotou akcie. V hierarchickej štruktúre rozhodovania však nie je potrebné sa učiť - nezávisle od seba na rôznych úrovniach, abstraktnejšie úrovne môžu vyladiť vyučovací signál vypočítaný na nižších úrovniach. Pretože vyššie úrovne hierarchie predstavujú abstraktnejšiu reprezentáciu environmentálnych nepredvídaných udalostí, učenie sa na týchto úrovniach prebieha rýchlejšie. Je to kvôli relatívnej nízkej dimenzii abstraktného znázornenia správania: akčný plán môže byť reprezentovaný ako jeden krok (jedna dimenzia) na najvyššej úrovni hierarchie a ako viacero podrobných akcií (viac dimenzií) na nižších úrovniach. hierarchie. Najvyššia hodnota tohto akčného plánu by sa rýchlo zistila v porovnaní s podrobnými úrovňami, pri ktorých by bolo potrebné, aby chyby v odmene museli šíriť všetky podrobné kroky. Vyladenie hodnôt nižšej úrovne informáciami o hodnotách z vyšších úrovní tak môže urýchliť konvergenciu týchto hodnôt. Jedným zo štatisticky efektívnych spôsobov, ako to urobiť, je predpokladať, že na výpočet signálu chyby predikcie na - tretia úroveň abstrakcie, , funkcia časovo pokročilých hodnôt, , pochádza z jednej vyššej úrovne odberu, [16]:

(2)

Z dôvodu zachovania optimality sa rovnica 2 môže použiť na výpočet predikčnej chyby iba vtedy, keď sa vykoná posledná primitívna akcia zložky abstraktnej možnosti (pozri obrázok S1 v Súbor S1). V iných prípadoch sa učenie hodnôt na rôznych úrovniach vyskytuje nezávisle, ako v rovnici 1. V oboch prípadoch sa potom učiaci signál použije na aktualizáciu predchádzajúcich hodnôt na zodpovedajúcej úrovni:

(3)
kde je miera učenia. Táto forma zdieľania informácií na viacerých úrovniach je biologicky prijateľná, pretože odráža špirálovitú štruktúru obvodov DA, ktoré prenášajú informácie hierarchiou smerom dole. Zároveň, keď sa riadi abstraktnejšími úrovňami, výrazne zrýchľuje učenie, zmierňuje vysokorozmernosť hodnotového vzdelávania na podrobných úrovniach. [16].

V tomto článku uvádzame, že interakcia medzi modifikovanou verziou modelu vyvinutého v roku 2007 [16] a špecifické farmakologické účinky zneužívaných drog na dopaminergný systém môžu zachytávať údaje o závislostiach v radikálne odlišných mierkach analýzy: na neurobiologickej úrovni správania a na úrovni obvodu. Po prvé, nový model prináša možné presvedčivé vysvetlenie niekoľkých zaujímavých aspektov správania spojených so závislosťou od drog (napr. Samoopísaná chyba). [4], [6], [7]). Po druhé, môžeme zodpovedať za celý rad dôkazov týkajúcich sa dynamiky uvoľňovania dopamínu vyvolaného liečivom [17].

Modifikujeme model uvedený v [16] nasledovne. Vylepšujeme model z hľadiska kapacity pracovnej pamäte výmenou s , v rovnici 2, pretože tieto dve hodnoty konvergujú na rovnakú stálu úroveň (pozri obrázok S2 v Súbor S1pre výpočtové a neurobiologické základy):

(4)

Tu, je relatívne abstraktná možnosť a je posledná primitívna akcia v sekvencii správania, ktorá túto možnosť vyplní. podobne je obohacujúca hodnota , ktoré zahŕňa (výnosná hodnota ).

Je dôležité, že rôzne drogy zneužívané ľuďmi majú základnú vlastnosť farmakologicky zvyšujúcej sa koncentrácie dopamínu v striate [29], Preto začleňujeme tento farmakologický účinok lieku pridaním pozitívnej predpojatosti, , (pozri tiež [9]-[12]) na signál chyby predpovede prenášaný dopamínovými neurónmi (pozri obrázok S3 v Súbor S1pre výpočtové a neurobiologické základy):

(5)

Tu - zachytáva priamy farmakologický účinok lieku na systém DA a - je jeho posilňujúca hodnota v dôsledku euforigenických účinkov (pozri Súbor S1 ďalšie informácie).

Zatiaľ čo rovnice 3 a 5 spolu definujú výpočtový mechanizmus na aktualizáciu hodnôt v našom modeli, predpokladáme tiež, že konkurenčný mechanizmus založený na neistote určuje úroveň abstrakcie, ktorá riadi správanie. Toto sa inšpiruje mechanizmom navrhnutým v roku 2007 [29] na rozhodcovské konanie medzi zvyčajnými a cieľovo orientovanými systémami. V tomto ohľade správanie v každom rozhodujúcom bode ovplyvňuje iba úroveň abstrakcie s najvyššou istotou. Akonáhle sa táto úroveň rozhodne konať, táto dominantná úroveň zavedie všetky nižšie úrovne hierarchie, aby vybranú akciu implementovala ako sekvenciu primitívnych motorických odpovedí (pozri časť Súbor S1 pre doplňujúce informácie; Obrázok S4 v Súbor S1; Obrázok S5 v Súbor S1). Po získaní spätnej väzby na odmenu z prostredia sa aktualizujú hodnoty na všetkých úrovniach. Tento arbitrážny mechanizmus založený na neistote predpovedá, že keďže abstraktné procesy sú flexibilnejšie, majú vynikajúcu schopnosť aproximácie hodnoty počas počiatočných štádií učenia, a teda kontrolujú správanie v týchto štádiách. Pretože však abstraktné úrovne používajú hrubé zobrazenie prostredia (napr. Kvôli tomu, že obsahujú relatívne malý počet základných funkcií), ich schopnosť aproximácie konečných hodnôt nie je tak presná ako u podrobných úrovní. Inými slovami, po rozsiahlom školení je istota spojená s odhadovanými hodnotami nižšia pre nižšie úrovne hierarchie v porovnaní s hornými úrovňami. S progresívnym vzdelávaním teda nižšie úrovne hierarchie preberajú kontrolu nad výberom akcií, pretože ich neistota sa postupne znižuje. Toto je v súlade s niekoľkými dôkazmi, ktoré preukazujú progresívne dominantné postavenie chrbtice nad ventrálnym striatom pri kontrole nad vyhľadávaním drog (ako aj hľadaním prírodných odmien). [8], [30], [31].

výsledky

V prípade drog sa objavuje nekonzistentnosť pri oceňovaní hierarchie, ale nie prirodzené výhody

Na rozdiel od predchádzajúceho posilnenia výpočtových modelov závislosti založených na učení [9]-[13] ktoré sú založené na systémovom prístupe s jedným rozhodnutím, je náš účet postavený na rámci viacerých systémov. Výsledkom je, že aj keď je forma modelovania účinku lieku na signál chyby predikcie v našom modeli podobná ako u predchádzajúcich [9]-[12], má to zásadne odlišné dôsledky. Dočasné zvýšenie dopamínu vyvolaného liekom zvyšuje okamžitú chybu v predikcii na každej úrovni hierarchie a v dôsledku toho strháva zaujatosť, , o prenose vedomostí z jednej úrovne abstrakcie na ďalšiu, pozdĺž hrubého až jemného smeru hierarchie. Táto predpojatosť spôsobuje asymptotickú hodnotu hľadania liekov na danej úrovni jednotky vyššie ako jednotka jednej abstraktnej vrstvy (Obrázok 2B). Hromadenie týchto nezrovnalostí pozdĺž rostro-kaudálnej osi postupne vyvoláva významné rozdiely v hodnote správania pri hľadaní drog medzi hornými a dolnými extrémami hierarchie. Preto aj keď bude nasledovať silný trest, hodnota správania spojeného s drogami zostáva pozitívna v nízkoúrovňových motorových slučkách, zatiaľ čo na kognitívnych úrovniach bude negatívna. Inými slovami, model predpovedá, že akumulácia účinku liečiva počas DA špirál zvyšuje hodnotu hľadania drog pri návykoch na úrovni motorov na takú veľkú amplitúdu, že ani silný prirodzený trest nebude schopný ho dostatočne znížiť. Navrhujeme, aby sa tým vysvetlil nesúlad medzi kognitívnym a nízkoúrovňovým hodnotením správania súvisiaceho s drogami u závislých. Inými slovami, navrhujeme, že kompulzívne vyhľadávanie liekov a výrazne znížená elasticita s tým spojenými nákladmi vyplývajú z farmakologického účinku lieku, ktorý unesie mechanizmus závislý od dopamínu, ktorý prenáša informácie medzi úrovne hierarchie rozhodovania.

Na stiahnutie:

• PPT

  Slideshow PowerPoint

• PNG

  zväčšiť obrázok (289KB)

• TIFF

  pôvodný obrázok (471KB)

Obrázok 2. Motivácia pre jedlo verzus liek pri rôznych úrovniach abstrakcie (výsledky simulácie).

V prvých pokusoch s 150om, kde žiadny trest nenasleduje odmenu, hodnota hľadania prírodných odmien na všetkých úrovniach konverguje k 10 (A). V prípade lieku je však priamy farmakologický účinok lieku (, nastavený na) vedie k asymptotickej hodnote na každej úrovni jednotky vyššie ako jedna vyššia úroveň odberu (B). Keď teda nasleduje trest, zatiaľ čo kognitívne slučky správne priraďujú negatívnej hodnote voľbe pri hľadaní drog, slučky na motorickej úrovni považujú hľadanie drog za žiaduce (kladná hodnota). Krivky na tomto obrázku ukazujú vývoj hodnôt u „jedného“ simulovaného zvieraťa, a preto nebola použitá žiadna štatistická analýza.

doi: 10.1371 / journal.pone.0061489.g002

Kým lieky, v našom modeli, vedú k nerovnovážnemu hodnoteniu na rôznych úrovniach, hodnota prírodných úžitkov sa zbližuje s rovnakými hodnotami na všetkých úrovniach v dôsledku absencie priameho farmakologického účinku na mechanizmus signalizácie DA (). V dôsledku toho sa v prípade prírodných odmien nebude pozorovať ani nezrovnalosť, ani nadhodnotenie na podrobných úrovniach (Obrázok 2A). Nadhodnotenie reakcií pri hľadaní drog na nižších úrovniach hierarchie by malo mať za následok abnormálne uprednostňovanie drog pred prírodnými výhodami a nadmerné zapojenie sa do činností súvisiacich s drogami.

Diferenčný dopamín reagujúci na ventrálne verzus dorzálne striatu na narážky spojené s liekom

Neurobiologicky sa vo výskume závislostí dostali do popredia diferenciálne úlohy striatálnych podoblastí pri získavaní a vyjadrovaní správania pri hľadaní drog. Konvergencia dôkazov z rôznych smerov výskumu naznačuje, že behaviorálny prechod z rekreačného na kompulzívne užívanie drog odráža neurobiologický posun ocenenia z ventrálneho do dorsolaterálneho striata. [8], [33], [34], čo zodpovedá posunu z kognitívnych na podrobné úrovne v našom modeli. V súlade s naším modelom sa ukazuje, že špirálovitá sieť DA spájajúca ventrálne s progresívnejšími dorzálnymi regiónmi striata hrá pri tomto prechode kľúčovú úlohu. [25].

V nedávnej kľúčovej štúdii Willuhn a kol. [17] hodnotil vzorec uvoľňovania dopamínu v reakcii na narážky spojené s liekom vo ventrálnom a dorsolaterálnom striate potkanov počas troch týždňov po kokaíne. Pri použití rýchlej skenovacej cyklickej voltametrie bolo kritickým pozorovaním to, že odtok DA vyvolaný narážkou vo ventrálnom striatume sa objavuje aj po veľmi obmedzenom tréningu. Na rozdiel od toho dorsolaterálne striatum ukázalo eflux DA vyvolaný narážkou až po rozsiahlom tréningu a vývoj tohto modelu uvoľňovania zmizol, keď bol ventrálny striatum poškodený na ipsilaterálnej hemisfére.

Pretože časové rozlíšenie rýchlej skenovacej voltametrie zachytáva subsekundové výkyvy v koncentrácii, pozorovaný vzorec efluxu DA by sa mal pripísať „fázovej“ signalizácii DA, a teda podľa signálu predikčnej chyby, podľa RL teórie dopamínu. [24], Podľa teórie RL je predikčný chybový signál pri pozorovaní neočakávaného stimulu rovný prospešnej hodnote, ktorú tento stimul predpovedá. Preto je uvoľňovanie DA vyvolané narážkou ekvivalentné hodnote predpokladanej týmto narážaním.

V tomto ohľade náš hierarchický rámec poskytuje formálne vysvetlenie rozdielového modelu efektu DA ventrálneho verzus dorzálneho striatalu, ktorý je uvedený v [17], Hodnota predpovedaná narážkou spojenou s drogami na abstraktných kognitívnych úrovniach hierarchie sa rýchlo zvyšuje vo veľmi skorých štádiách odbornej prípravy (Obrázok 2B) kvôli nízkej dimenzii problému učenia pri vysokej úrovni abstrakcie. Výsledkom je, že náš model ukazuje, že odtok DA vyvolaný narážkou by sa mal pozorovať vo ventrálnom striatu aj po obmedzenom tréningu (Obrázok 3). Na podrobnejších úrovniach zastúpenia je však proces učenia pomalý (Obrázok 2B), kvôli vysokej dimenzii problémového priestoru, ako aj závislosti od učenia sa na abstraktnejších úrovniach prostredníctvom DA špirál. Následkom toho by sa eflux DA vyvolaný narážkou v dorsolaterálnom striatu mal rozvíjať postupne a byť pozorovateľný až po rozsiahlom tréningu (Obrázok 3).

Na stiahnutie:

• PPT

  Slideshow PowerPoint

• PNG

  zväčšiť obrázok (447KB)

• TIFF

  pôvodný obrázok (896KB)

Obrázok 3. Výtok dopamínu v rôznych striatálnych podoblastiach v reakcii na narážky spojené s liekom (výsledky simulácie).

V súlade s experimentálnymi údajmi [17], model ukazuje (ľavý stĺpec), že v reakcii na narážky spojené s liekom bude po ventilovom striatume po obmedzenom a rozsiahlom zaškolení dochádzať k efluxu dopamínu. Vo viac dorsolaterálnych podoblastiach sa však počas výučby bude postupne vyvíjať cue-vyvolaný DA výtok. Model predpovedá (druhý stĺpec sprava), že tento oneskorený vývoj cue-vyvolaného efluxu DA v dorzálnom striatume závisí od sériovej konektivity závislej od DA, ktorá spája ventrál s dorzálnym striatom. To znamená, že v dôsledku odpojenia špirály DA, zatiaľ čo narážka vyvolaná DA je vo ventrálnom striatume nedotknutá, v dorsolaterálnom striatu sa výrazne znižuje. Navyše model predpovedá (tretí stĺpec sprava) podobné výsledky pre cue-indukovaný DA eflux v dorsolaterálnom striatu v prípade poškodeného ventrálneho striata. A konečne, ak po extenzívnom párovaní návykových látok u neporušených zvierat dôjde k potrestaniu, model predpovedá (pravý stĺpec), že narážka súvisiaca s liekom vedie k inhibícii ventrálnej nohy DA špirál aj po obmedzenom tréningu. Vo viac dorzálnych oblastiach sa však výtok DA počas učenia pomaly znižuje, ale zostane pozitívny, a to aj po rozsiahlom párovaní trestov za drogy. Údaje uvedené na tomto obrázku sú získané z „jedného“ simulovaného zvieraťa, a preto nebola použitá žiadna štatistická analýza.

doi: 10.1371 / journal.pone.0061489.g003

Ďalej náš model vysvetľuje dôkazy v [17] že takýto oneskorený vývoj cue-vyvolaného efluxu DA v dorsolaterálnom striatu závisí od ventrálneho striata (Obrázok 3). V našom modeli simulovaná jednostranná lézia ventrálneho striatu (úroveň abstraktného hodnotenia v modeli) významne znižuje predpovedanú hodnotu lieku v detailoch na podrobných úrovniach v ipsilaterálnej hemisfére, a teda výrazne znižuje úroveň efektu DA vyvolaného narážkou. Aby sme modelovali léziu ventrálneho striata, jednoducho opravíme hodnotu všetkých podnetov na najvyššej úrovni hierarchie na nulu.

Podobne náš model predpovedá, že vývoj fázovej DA signalizácie v dorsolaterálnom striatu závisí od integrity spirálového obvodu DA (Obrázok 3). V skutočnosti odpojenie v špirálovom obvode DA v našom modeli prerušuje komunikáciu medzi úrovňami abstrakcie, čo zase zabraňuje akumulácii liekom indukovanej systematickej chyby na zosilňovacom signáli pozdĺž úrovní rozhodovacej hierarchie. Na modelovanie rozpojenia v DA-závislých sériových obvodoch ventrálneho na dorzálne striatum, zovládame každú úroveň abstrakcie, aby sme vypočítali signál chyby predikcie lokálne (ako v rovnici 3) bez toho, aby sme dostali hodnotu dočasne pokročilého stavu z bezprostredne vyššieho úroveň abstrakcie.

Model okrem toho predpovedá, že vzorec efluxu DA vyvolaného podnetom sa zmení, ak po rozsiahlom tréningu s podnetmi spojenými s kokaínom a kokaínom, ako v predchádzajúcom experimente, jeden začne párovať dodanie kokaínu so silným trestom. Predpovedáme, že odtok DA v reakcii na narúšanie spojené s kokaínom by sa mal vo ventrálnom striatu rýchlo znížiť pod východiskovú hodnotu. V dorsolaterálnom striatu by však malo uvoľňovanie DA vyvolané tágu zostať nad východiskovou hodnotou (Obrázok 3) s možným oneskoreným čiastočným znížením. To naznačuje priradenie pozitívnej subjektívnej hodnoty stimulu lieku na podrobné úrovne, napriek negatívnym (pod východiskovým) hodnotám na kognitívnych úrovniach. Je pozoruhodné, že táto predpoveď závisí od predpokladu, že mozog zaobchádza s trestom jednoducho ako s negatívnou odmenou. Tento predpoklad je trochu kontroverzný: jednoznačne ho podporujú experimentálne štúdie [35], ale prediskutovali aj iní [14], [36], Okrem tejto predpovede ostatné aspekty modelu nezávisia od toho, či je trest kódovaný dopamínom alebo iným signalizačným systémom.

Tréningový režim používaný Willuhnom a kol. [34] nie je dostatočne rozšírená na vyvolávanie nutkavého správania pri hľadaní drog, ktoré sa vyznačuje necitlivosťou na tresty spojené s drogami [37], [38], Kľúčovou otázkou, na ktorú je potrebné odpovedať, je teda aký je vzťah medzi oneskoreným vývojom DA vyvolanej podnetom v DLS a oneskoreným vývojom kompulzívnej reakcie. Podľa nášho modelu vyžaduje kompulzívne správanie nielen nadmerné ocenenie voľby drogy na nízkej úrovni hierarchie, ale aj prenos kontroly nad správaním z abstraktnej kognitívnej formy na obvyklé procesy na nízkej úrovni. Časová škála týchto dvoch procesov je na sebe iba čiastočne závislá: proces nadhodnotenia závisí od signálu predikčnej chyby, zatiaľ čo prenos riadenia správania závisí aj od relatívnych neistôt pri odhade hodnoty. Nadhodnotenie podnetov spojených s drogami na nízkej úrovni hierarchie teda môže predchádzať posunu kontroly nad správaním z hora naspodku hierarchie. Presné časové škály týchto dvoch procesov závisia od rýchlosti učenia a hluku spojeného s rôznymi úrovňami (pozri Súbor S1 ďalšie informácie). Inými slovami je pravdepodobné, že výtok dopamínu vyvolaný narážkou v DLS sa môže významne vyvíjať skôr, ako sa behaviorálne prejaví nutkavé hľadanie liekov.

Dôsledky nejednotného oceňovania liekov proti prírodným výhodám v správaní

V našom modeli, pokiaľ je trest spojený s drogou v počiatočných fázach dobrovoľného užívania drog, abstraktná hodnota odpovede na hľadanie drog sa rýchlo stáva negatívnou. Za predpokladu, že vyhľadávanie liekov je počas týchto raných štádií riadené abstraktnými hladinami, negatívne abstraktné hodnotenie voľby drog spôsobí, že subjekt nebude ochotný tento postup ďalej prežívať. Tým sa v priebehu času zabráni konsolidácii silných preferencií na nízkej úrovni pred drogami. Model teda vysvetľuje elasticitu výberu liekov k nákladom v počiatočných fázach konzumácie drogy, ale nie po chronickom použití. Podľa živočíšnych modelov závislosti sa tak necitlivosť reakcií pri hľadaní drog na škodlivé následky spojené s drogou vyvíja až po dlhodobom samopodávaní, nie však obmedzenom užívaní drog. [37], [38], Na rozdiel od našej teórie, staršie výpočtové modely závislosti [9], [10] sú v priamom rozpore s týmto súborom dôkazov, pretože predpovedajú, že nepriaznivé behaviorálne výsledky, ktoré bezprostredne nasledujú po užívaní drog, nemajú motivačný účinok ani vo veľmi skorých štádiách užívania drog (pozri pozri časť 4.8). Súbor S1 ďalšie informácie).

Náš model ďalej vysvetľuje výskyt blokujúceho účinku na výsledky liekov [39], Blokovanie je kondičný jav, keď predchádzajúce spárovanie stimulu A s výsledkom blokuje vytváranie asociácie medzi iným stimulom B s týmto výsledkom v následnej tréningovej fáze, kde sú A a B prezentované pred doručením výsledku [40], Výsledky simulácie nášho modelu v Pavlovianskom experimentálnom návrhu (pozri Súbor S1 pre doplnkové informácie o Pavlovianovej verzii modelu) ukazuje, že v prípade prírodných výhod a drog, keď odhadovaná hodnota na určitej úrovni hierarchie dosiahne svoj stabilný stav (a nie bez obmedzenia), nedochádza k ďalšiemu učeniu sa úroveň, pretože signál chyby predikcie klesol na nulu (Obrázok 4). Blokovanie priradenia nového stimulu k už predpovedanej odmene bude zablokované. Dôkaz správania ukazujúci blokujúci účinok spojený s liečivami a prírodnými zosilňovačmi [39] sa používa ako hlavný argument na kritiku predtým navrhovaného výpočtového modelu závislosti na dopamíne [9], Tu sme ukázali, že zameranie sa na hierarchickú reprezentáciu reprezentácií a usporiadanie dorzál-ventrálnej špirálovitej dopamínovej slučky môže v skutočnosti zodpovedať za blokovacie údaje, čím sa obchádza táto kritika (pozri Súbor S1 ďalšie informácie).

Na stiahnutie:

• PPT

  Slideshow PowerPoint

• PNG

  zväčšiť obrázok (360KB)

• TIFF

  pôvodný obrázok (615KB)

Obrázok 4. Blokujúci účinok pri prírodných a liekových výhodách.

Model predpovedá, že k blokovaniu dochádza v prípade prírodných odmien (A) a drog (B), iba ak je počiatočné obdobie odbornej prípravy „rozsiahle“, takže prvý stimul úplne predpovedá hodnotu výsledku. Po „miernom“ tréningu, kognitívne úrovne, ktoré sú flexibilnejšie, plne predpovedajú hodnoty, a tým blokujú ďalšie vzdelávanie. Učenie je však stále aktívne v nízkoúrovňových procesoch, keď sa začína druhá fáza tréningu (simultánna prezentácia oboch stimulov). Náš model teda predpovedá, že mierny počiatočný tréning v blokovacom experimente s prirodzenými výhodami bude mať tiež za následok kognitívnu / behaviorálnu nekonzistentnosť. Údaje uvedené na tomto obrázku sú získané z „jedného“ simulovaného zvieraťa, a preto nebola použitá žiadna štatistická analýza.

doi: 10.1371 / journal.pone.0061489.g004

Ako už bolo spomenuté, niekoľko línií dôkazov ukazuje progresívne dominantné postavenie chrbtice nad ventrálnym striatom pri kontrole správania v priebehu učenia. [8], [31], [32]. Vykladané na pozadí týchto dôkazov, nevyvážené ocenenie pri hľadaní drog v celej hierarchii tiež vysvetľuje neúspešné snahy závislých obmedziť užívanie drog po dlhodobých skúsenostiach s drogami, keď sa kontrola nad možnosťami súvisiacimi s drogami presunula z kognitívnej na nízko úrovni obvyklých procesov. Táto prevaha procesov, v ktorých dominujú drogy, prirodzene vedie k nepružnosti správania v súvislosti s nákladmi súvisiacimi s drogami (nutkavé hľadanie drog), ktoré pravdepodobne sprevádzajú chyby, ktoré sami opíšu. V prípade prirodzených odmien však náš model predpovedá, že aj keď sa elasticita správania v priebehu učenia zvyšuje, pretože na úrovniach hierarchie nevzniká nekonzistentnosť v hodnotení, tresty spojené s odmenou nakoniec bránia v hľadaní odmeny.

Náš model sa zameriava na hodnotenie činností v „pravdepodobne danej“ hierarchii rozhodnutí a ponecháva stranou to, ako sa počas vývoja objavujú abstraktné možnosti a ich zodpovedajúce podprogramy na nízkej úrovni. Objavenie hierarchie rozhodovania sa navrhuje ako proces zdola nahor, ktorý sa dosiahne spojením sekvencií akcií na nízkej úrovni a vytvorením abstraktnejších možností. [41], Tento proces, ktorý údajne prechádza z dorzálneho na ventrálne striatum, je v opačnom smere, ako je tu navrhnutý mechanizmus súťaže, na prevzatie kontroly nad správaním.

Diskusia

Rastúci počet dôkazov o rozdielnej úlohe rôznych striatálnych podoblastí v závislosti je obvykle interpretovaný v rámci obvyklej vs. cielenej dichotómie. [8], [14], [34], Hierarchický rozhodovací prístup, ktorý tu používame, je doplnkom k takýmto duálnym systémovým účtom. Zatiaľ čo prístup založený na dvojitom procese sa zaoberá rôznymi algoritmami (bez modelu verzus modelová základňa) [30]) na vyriešenie jedného problému sa hierarchický rámec RL zameriava na rôzne reprezentácie toho istého problému na rôznych úrovniach časovej abstrakcie. Teoreticky môže zvyčajný alebo cielený algoritmus vyriešiť každú z týchto rôznych reprezentácií problému. V našom modeli dochádza k akumulácii predsudkov vyvolaných liekmi počas DA špirál v prostredí, v ktorom je algoritmus odhadu hodnoty bez modelu (návykové vzdelávanie). To však nevylučuje existenciu systémov založených na modeloch pracujúcich na najvyšších úrovniach hierarchie. Dá sa jednoducho začleniť systém hodnotenia a rozhodovania zameraný na PFC do modelu za predpokladu, že akcie na najvyšších úrovniach abstrakcie sú hodnotené systémom zameraným na ciele. Aj keď takáto komplikácia nemení povahu výsledkov prezentovaných v tomto rukopise, jej ďalšia flexibilita pri vysvetľovaní ďalších aspektov závislosti je ponechaná na budúce štúdie. V našom modeli, bez ohľadu na to, či existuje systém zameraný na priame ciele, alebo nie, v skutočnosti rozdiel medzi asymptotickou hodnotou hľadania drog medzi dvoma extrémami hierarchie narastá s počtom rozhodovacích úrovní riadených „obvyklým“ procesom. ,

Vo svetle našej teórie možno relaps vnímať ako oživenie spiacich maladaptívnych návykov na motorickej úrovni po období dominancie kognitívnych úrovní. V skutočnosti si možno predstaviť, že v dôsledku kognitívnej terapie (u ľudí závislých) alebo núteného vyhynutia (u zvieracích modelov abstinencie) sa vysoká hodnota hľadania drog na podrobnej úrovni hierarchie nezhasne, ale stane sa spánkovou v dôsledku presunúť kontrolu späť na kognitívne úrovne. Pretože správanie súvisiace s drogami je citlivé na nepriaznivé následky na abstraktných úrovniach, je možné vyhýbať sa vyhľadávaniu liekov, pokiaľ ovládaniu správania dominujú kognitívne procesy na vysokej úrovni. Dá sa dokonca špekulovať, že krok programy populárne 12 (napr Anonymní alkoholici, Narkotiká Anonymné atď) pracujú sčasti výslovne vyžadujú účastníkmi pripustiť rozpor svojho života súvisiacej s drogami, a tým posilnenie abstraktné kognitívne úrovne vykonávať explicitné kontrolu nad svojimi správanie. Stresové stavy alebo opakovaná expozícia drogám (priming) sa môžu považovať za rizikové faktory, ktoré oslabujú dominanciu abstraktných úrovní nad správaním, čo môže viesť k opätovnému výskytu reakcií pri hľadaní drog (kvôli latentným vysokým kognitívnym hodnotám). ).

V súhrne navrhujeme koherentný popis niekoľkých, zjavne nesúrodých javov charakteristických pre drogovú závislosť. Náš model poskytuje normatívny účet pre údaje o rozdielnych rolách ventrálnych vs. dorzálnych striatálnych obvodov pri získavaní liekov a návykových návykoch, ako aj o selektívnej úlohe spätnej väzby DA pre účinky lieku oproti prírodným posilňovačom. Najdôležitejšie je, že ukážeme, ako by patológia vyvolaná drogami vo ventrálno-dorzálnych DA signáloch, ktoré prenikajú z motivačných informácií do hierarchie kognitívnych reprezentácií, mohla viesť k nesúladu medzi abstraktnými postojmi závislých k hľadaniu drog a tým, čo skutočne robia. Je zrejmé, že náš model neposkytuje a ani nemá v úmysle poskytovať úplný prehľad o drogovej závislosti. Vysvetlenie ďalších nevysvetlených aspektov závislosti si vyžaduje začlenenie mnohých ďalších mozgových systémov, u ktorých sa preukázalo, že sú ovplyvňované zneužívaním drog [42], Ako začleniť takéto systémy do formálnej počítačovej siete, zostáva témou ďalšieho skúmania.

podporujúce informácie

Súbor S1.

Obrázok S1,Vzorová hierarchia rozhodovania s piatimi úrovňami abstrakcie. Obrázok S2, Zodpovedajúci nervový obvod pre tri diskutované algoritmy na učenie hodnôt je hierarchická rozhodovacia štruktúra. A, Použitím jednoduchého algoritmu TD-learning (rovnica S7) sa signál predikčnej chyby v každej úrovni abstrakcie počíta nezávisle od ostatných úrovní. B, V modeli, ktorý navrhli Haruno a Kawato (4) (rovnica S8), hodnota dočasne pokročilého stavu pochádza z jednej vyššej úrovne abstrakcie. C, v našom modeli (rovnica S9) je hodnota dočasne pokročilého stavu nahradená kombináciou odmeny a Q-hodnoty vykonanej akcie pri vyššej úrovni abstrakcie. Obrázok S3, Náš model predpovedá rôzne stránky pôsobenia drog v systéme učenia sa odmeňovania: weby 1 až 3. Naproti tomu lieky ovplyvňujúce miesta 4 až 6 nebudú mať za následok behaviorálne a neurobiologické vzorce vytvárané simuláciou modelu pre lieky, ale budú mať výsledky podobné prípadu prírodných odmien. Obrázok S4, Úloha použitá na simuláciu konkurenčného mechanizmu založeného na neistote medzi úrovňami hierarchie na prevzatie kontroly nad správaním. Obrázok S5, Výsledok simulácie ukazuje postupný posun kontroly nad správaním z vyšších na nižšie úrovne hierarchie. Q (S, A) a USA) ukazujú odhadovanú hodnotu a neistotu párov štát - akcia.

doi: 10.1371 / journal.pone.0061489.s001

(PDF)