Bevezetés

„Beismertük, hogy tehetetlenek vagyunk függőségünk felett - hogy az életünk kezelhetetlenné vált” - mondja a Kábítószer Anonim 12 lépésű program első tétele. [1]. Ez rávilágít arra, hogy az erőtlen függők hogyan találják magukat a drogokkal szembeni ellenállásban, annak ellenére, hogy tudják, hogy a kábítószer-fogyasztás helytelen cselekedet. [2]-[4]. Valójában a függőség egyik legfontosabb eleme a kábítószerek kényszeres keresése, még a nyilvánvaló káros következmények árán is [5]. Az ilyen kóros viselkedés jele nyilvánvalóvá válik olyan ellenőrzött kísérletekben, ahol a függõk jellemzõ „önmagukban elkövetett hibát” mutatnak: következetlenség van a droggal kapcsolatos választásokkal kapcsolatos erõteljes viselkedési válasz és a viszonylag alacsony szubjektív érték között, amelyet a rabja jelent a drogért [4], [6], [7]. A viselkedés gátló kognitív kontrolljának elvesztésével kombinálva, elhúzódó kábítószer-expozíció után, ez a különbség a kognitív tervek és a konszolidált szokások között átmenetet eredményezhet a hétköznapi és a kényszeres drogkereső magatartás között. [8].

A kognitív kontroll elvesztése és az ön által leírt hiba eddig elkerülte az alapelvek magyarázatát a függőség formális modelljeivel [9]-[13]. A kábítószer-függőség korábbi számítási elméletei, többnyire az erősítő tanulási kereten belül, a függőséget a szokás-tanulási (stimulus-válasz) rendszer kóros állapotának tekintik. [9]-[13]. Mindezen modellek mögött álló központi hipotézis az, hogy a gyógyszerek dopamin jelátvitelre gyakorolt ​​farmakológiai hatása, amely állítólag inger-válasz tanító jelet hordoz, az ilyen asszociációk fokozatos túlzott megerősödését eredményezi. Ez a hatás viszont kényszeres drogkeresési szokásokhoz vezet. Míg ez a csökkent függőség-nézet megragadta a jelenség néhány aspektusát, az addiktológiai szakirodalomban egyre növekvő konszenzus azt jelzi, hogy több tanulási rendszer is részt vesz a patológiában. Csak egy ilyen összetettebb kép, amely magában foglalja az agy kognitív és alacsony szintű szokásos folyamatait, megmagyarázhatja a függőség-szerű viselkedés sokféleségét [8], [14].

Ebben a cikkben hierarchikus megerősítő tanulási megközelítést alkalmazunk [15] ahol a döntéseket az absztrakció különböző szintjein mutatják be, a kognitív-motoros hierarchiában. Feltételezzük, hogy a dopamin-függő tanulási szakaszok egymáshoz kapcsolják a hierarchia szinteit [16]. Feltételezzük továbbá, hogy a visszaélés elleni gyógyszerek farmakológiailag eltérítik az absztrakció szintjei közötti kommunikációs mechanizmust. Ezen feltevések alapján megmutatjuk, hogy a szenvedélybetegek bejelentett kognitív disszonanciája a hierarchikus megerősítő tanulási keretben merül fel, amikor a krónikus gyógyszer-expozíció megzavarja az értéktanulást a döntési hierarchiában. Ez a zavar az alacsony szintű szokásos folyamatok során a kábítószer-választások kóros túlértékelését eredményezi, és ezáltal fokozza a szokásos kábítószer-kereső magatartást. Ezt követően bebizonyítottuk, hogy a „nem tetszett”, de kényszeres drogkeresés azzal magyarázható, hogy a kábítószer-eltérítéssel kiváltott alacsony szintű szokásos folyamatok dominálnak a viselkedésben, míg az egészséges kognitív rendszerek a reprezentációs szint felső szintjén elveszítik az irányítást a viselkedés felett. Megmutatjuk továbbá, hogy a javasolt modell figyelembe veszi a gyógyszer-dákinnal kiváltott dopamin kiáramlásának a ventrális és a hátsó striatumban történt gyors és késleltetett fejlődésének legfrissebb bizonyítékait, valamint ennek a mintának a dopamin spirális áramlástól való függését.

Anyagok és módszerek

előzmények

A gazdag kognitív pszichológia irodalommal összhangban, a hierarchikus megerősítő tanulásunkkal [15], [18] A keretrendszer feltételezi, hogy egy olyan elvont kognitív terv, mint például a „teafőzés”, alacsonyabb szintű tevékenységek sorozatára bontható: forrásban lévő víz, tea behelyezése a fazékba stb. Az ilyen bomlás addig folytatódik, amíg a motoros szintre adott válaszok a hierarchia (1A ábra). Neurobiológiai szempontból a döntési hierarchia különböző szintjeit a kognitív és motoros szintektől a cortico-basal ganglia (BG) áramkör rostro-caudalis tengelye mentén mutatjuk be. [19]-[21]. Ez az áramkör több párhuzamos zárt hurkból áll, amelyek a frontális kéreg és a bazális ganglionok között vannak [22], [23] (1B ábra). Míg az elülső hurkok a tevékenységek absztrakt abszolút ábrázolásán alapulnak, addig az érzékszervi motoros kéregből és a dorsolateralis striatumból álló caudal hurkok alacsony szintű szokásokat kódolnak [19]-[21].

Letöltés:

• PPT

  PowerPoint dia

• PNG

  nagyobb kép (1.06MB)

• TIFF

  eredeti kép (1.56MB)

Ábra 1. A viselkedés hierarchikus szervezete és a cortico-BG kör.

A, Példa a két alternatív döntési hierarchiára: drog vs. étel. Az egyes cselekvési módok az absztrakció különböző szintjein vannak ábrázolva, állítólag különböző cortico-BG hurkokban kódolva. A jutalom mindkét típusának megkeresése az 16 nagyságrendű büntetést vonhatja maga után. B, A különféle prefrontalis területekről származó glutamatergikus kapcsolatok kihúzódnak a striatális alrégiókba, majd a pallidumon és a thalamuson keresztül visszajutnak a PFC-be, több párhuzamos hurkot képezve. A striato-nigro-striatális dopamin hálózaton keresztül a striatum ventrális régiói befolyásolják a háti régiókat. vmPFC, ventrális medialis prefrontalis kéreg; OFC, orbitális frontális kéreg; dACC, dorsalis anterior cingulate cortex; SMC, szenzoros-motoros kéreg; VTA, ventrális taktikai terület; SNc, lényegében nigra pars compacta. 1B ábra Módosítva a ref. 21-től.

doi: 10.1371 / journal.pone.0061489.g001

Ezen áramkörön belül a középső agy dopamin (DA) idegsejtek fázisos aktivitása, amely a striatumra vetül ki, jelzi a hibát a becsült és a kapott jutalmak között, ezáltal stimulus-választ erősítő információt hordozva [24]. Ezek a DAergikus vetületek egy lépcsőzetes soros összeköttetést alkotnak, amely összeköti a striatum ventralisabb régióit és az úgynevezett "spirális" kapcsolatok révén fokozatosan több hátsó régiót. [25]-[27] (1B ábra). Funkcionálisan az ilyen előre-továbbító szervezet, amely összeköti a rostral és a caudalis cortico-BG hurkokat, lehetővé teszi a durva és finom ábrázolások közötti irányított kapcsolást. Ennek megfelelően a DA spirálokat feltételezzük, hogy neurobiológiai szubsztrátot képezzenek a jutalom-előrejelzési hiba fokozatos hangolására a hierarchia magasabb szintjein keresztül (a viselkedési lehetőségek értékével kapcsolatos absztrakt tudást kódolva). Ezt a hibát ezután felhasználják a műveleti értékek részletesebb szintű frissítésére [16]. Más szavakkal, a DA spirálok lehetővé teszik az értékelés elvont kognitív szintjeit, hogy a tanulást a részletesebb akció-értékelési folyamatokban vezesse.

Elméleti vázlat

A megerősítő tanulás számításelmélete szempontjából [28] (RL), az ügynök (esetünkben egy személy vagy állat) megtanulja megalapozott cselekvési döntéseket hozni az előzetes becsült érték frissítésével, , minden állam-cselekvéspárra, , amikor jutalom az ügynök időben megkapja egy művelet végrehajtásának eredményeként kontextuális állapotban (inger) . Az érték frissül a jutalom-előrejelzési hibajel kiszámításával. Ez a jel nem csak a pillanatnyilag kapott jutalomtól függ (), hanem az új állapot értékén is, amelybe az ügynök a művelet végrehajtása után kerül. Tagadta , ez az időben előrehaladott értékfüggvény a jövőbeni jutalmak összegét képviseli, amelyet az állat várhatóan kap a kapott állapotból, , tovább. Az előrejelzési hibát a következő egyenlettel lehet kiszámítani:

(1)

Intuitív módon az előrejelzési hibajel kiszámítja az eltérést a művelet várható és realizált jutalmazási értéke között. Hierarchikus döntési struktúrában azonban ahelyett, hogy megtanulnánk a -értékei különbözõ szinteken függetlenül értendõk, az elvont szintek beállíthatják az alacsonyabb szinteken kiszámított tanítási jelet. Mivel a hierarchia magasabb szintjei a környezeti események absztrakt elválasztását tükrözik, a tanulás ezeken a szinteken gyorsabb. Ennek oka a viselkedés absztrakt ábrázolásának viszonylag alacsony dimenziója: a cselekvési tervet egyetlen lépésként (egy dimenzióként) lehet bemutatni a hierarchia legfelső szintjén, és több részletes műveletként (több dimenzió) az alsó szinten a hierarchiában. Ennek a cselekvési tervnek a legmagasabb szintjét gyorsan meg lehet tanulni, összehasonlítva a részletes szintekkel, ahol a jutalmazási hibáknak az összes részletes cselekvési lépés visszatekintésére lenne szükség. Így az alacsonyabb szintű értékek hangolása a magasabb szintű értékinformációkkal felgyorsíthatja ezen értékek konvergenciáját. Ennek statisztikailag hatékony módja annak feltételezése, hogy a predikciós hibajel kiszámításához a - az absztrakció szintje, , az időben előrehaladott értékfüggvény, , az absztrakció egy magasabb szintjéből származik, [16]:

(2)

Az optimalitás megőrzése érdekében az 2 egyenlet csak akkor használható az előrejelzési hiba kiszámításához, ha elvégzik egy elvont opció utolsó alkotóelemi primitív műveletét (lásd az S1 ábrát a Fájl S1). Más esetekben az értéktanulás különböző szinteken függetlenül történik, mint az 1 egyenletnél. Mindkét esetben az oktatási jelet használják az előző értékek frissítésére a megfelelő szinten:

(3)
ahol a tanulási arány. Az inter-szintű információ-megosztásnak ez a formája biológiailag megvalósítható, mivel tükrözi a DA áramkör spirális struktúráját, az információt a hierarchiában a ventro-dorsalis irányban irányítva. Ugyanakkor az elvont szintek irányítása jelentősen felgyorsítja a tanulást, enyhítve az értéktanulás magas dimenzióját részletes szinteken [16].

Ebben a cikkben megmutatjuk, hogy a modell módosított változata közötti interakciót az [16] és a visszaélés gyógyszereinek a dopaminerg rendszerre gyakorolt ​​speciális farmakológiai hatásai radikálisan eltérő elemzési skálán rögzíthetik a függőséggel kapcsolatos adatokat: viselkedési és áramlási szintű neurobiológiai. Először is, az új modell egy lehetséges magyarázatot hoz a kábítószer-függőséggel kapcsolatos számos érdekes viselkedési szempontra (pl. Az önmaga által leírt hiba) [4], [6], [7]). Másodszor, a bizonyítékok széles skáláját nyilvánosságra hozhatjuk a gyógyszer által kiváltott dopamin felszabadulásának dinamikájával kapcsolatban [17].

Módosítottuk az [16] alábbiak szerint. A modell cseréjével hatékonyabbá tesszük a memóriakapacitást val vel , az 2 egyenletben, mivel a két érték ugyanazon állandó szintre konvergál (lásd az S2 ábrát a Fájl S1, számítási és neurobiológiai alapon):

(4)

Itt, a viszonylag elvont lehetőség, és az utolsó primitív művelet a viselkedési sorrendben, amely teljes mértékben kitölti ezt a lehetőséget. Hasonlóképpen, a jutalmazó értéke , Amely magában foglalja (jutalmazási értéke: ).

Lényeges, hogy az emberek által visszaéltek különféle gyógyszerei alapvető tulajdonsággal bírnak, mivel a striatumban növelik a dopamin koncentrációját. [29]. Ennek megfelelően beépítjük a gyógyszer ezen farmakológiai hatását pozitív torzítás hozzáadásával, , (Lásd még [9]-[12]) a dopamin neuronok által hordozott predikciós hibajelhez (lásd az S3 ábrát a Fájl S1, számítási és neurobiológiai alapon):

(5)

Itt - rögzíti a gyógyszernek a DA rendszerre gyakorolt ​​közvetlen farmakológiai hatását, és - a megerősítő értéke az eufogenikus hatások miatt (lásd Fájl S1 kiegészítő információk).

Míg az 3 és az 5 egyenletek együttesen határozzák meg a modellünkben szereplő értékek frissítéséhez szükséges számítási mechanizmust, feltételezzük azt is, hogy egy bizonytalanságon alapuló versenymechanizmus határozza meg az absztrakció szintjét, amely a viselkedést szabályozza. Ezt a 2006 - ban javasolt mechanizmus ihlette [29] a szokásos és a célközpontú rendszerek közötti választottbíróságra. Ebben a tekintetben minden döntési ponton csak az absztrakció szintje ellenőrzi a viselkedést a legbiztosabban a választások értékének becslésekor. Miután ez a szint meghozta a cselekvési döntést, ezt a domináns szintet a hierarchia minden alsó szintjére telepíti a kiválasztott művelet primitív motoros válaszok sorozataként történő végrehajtására (lásd: Fájl S1 kiegészítő információk; S4 ábra Fájl S1; S5 ábra Fájl S1). Miután megkapta a jutalom-visszacsatolást a környezettől, az értékek minden szinten frissülnek. Ez a bizonytalanságon alapuló választottbírósági mechanizmus azt jósolja, hogy mivel az absztrakt folyamatok rugalmasabbak, kiváló érték-közelítési képességgel rendelkeznek a tanulás korai szakaszában, és így ezekben a szakaszokban ellenőrzési viselkedést mutatnak. Mivel azonban az absztrakt szintek durván ábrázolják a környezetet (pl. Mivel viszonylag kevés alapfunkciót tartalmaznak), a végső érték-közelítési képességük nem olyan pontos, mint a részletes szintek. Más szavakkal, kiterjedt képzés után a becsült értékekkel kapcsolatos bizonyosság alacsonyabb a hierarchia alsó szintjein, mint a felső szinteknél. Így a progresszív tanulással a hierarchia alsóbb szintjei veszik át a művelet kiválasztásának irányítását, mivel bizonytalanságuk fokozatosan csökken. Ez egybeesik számos olyan bizonyítékkal, amely a hátsó mellkas felől fokozatosan uralkodó dominanciát mutat a kábítószer-keresés (valamint a természetes jutalom keresése) irányításában [8], [30], [31].

Eredmények

A hierarchia értékelési inkonzisztenciája a drogok során jelentkezik, de nem a természetes haszon

A függőség korábbi megerősítésével, tanuláson alapuló számítási modellekkel ellentétben [9]-[13] amelyek egyetlen döntési rendszeren alapuló megközelítésen alapulnak, fiókunk egy több interakcióval működő rendszer kereteire épül. Ennek eredményeként, bár modellünkben a gyógyszer modellezésének predikciós hibajelre gyakorolt ​​hatása hasonló a korábbiakhoz [9]-[12], alapvetően eltérő következményekkel jár. A gyógyszer által kiváltott átmeneti dopamin-növekedés növeli az azonnali előrejelzési hibát a hierarchia minden szintjén, és ennek eredményeként torzítással jár, , a tudás átadására az absztrakció egyik szintjéről a következőre, a hierarchia durva-finom iránya mentén. Ez az elfogultság okozza a drogkeresés aszimptotikus értékét egy adott szinten egységek magasabbak, mint egy még elvont rétegnél (2B ábra). Ezeknek az eltéréseknek a rostro-caudalis tengely mentén történő felhalmozódása fokozatosan szignifikáns különbségeket indukál a kábítószer-kereső magatartás értékében a hierarchia felső és alsó szélsőségei között. Így még a szigorú büntetés után is a drogokkal összefüggő viselkedés értéke alacsony szintű motoros hurkoknál pozitív marad, míg kognitív szinten negatívvá válik. Más szavakkal: a modell azt jósolja, hogy a gyógyszerhatás felhalmozódása a DA spirálok felett olyan nagy amplitúdóval növeli a drogkeresési értéket motoros szokásoknál, hogy még egy erõteljes természetes büntetés sem fogja csökkenteni azt kellõ mértékben. Javasoljuk, hogy ez magyarázza az addiktív kábítószerrel kapcsolatos magatartás kognitív és alacsony szintű értékelése közötti ellentmondást. Más szavakkal azt javasoljuk, hogy a kényszeres gyógyszerkeresés és a kapcsolódó költségek jelentősen csökkentett rugalmassága abból származik, hogy a drog farmakológiai hatása eltéríti a dopaminfüggő mechanizmust, amely az információt átadja a döntési hierarchia szintjei között.

Letöltés:

• PPT

  PowerPoint dia

• PNG

  nagyobb kép (289KB)

• TIFF

  eredeti kép (471KB)

Ábra 2. Az étel és a gyógyszer motivációja az absztrakció különböző szintjein (szimulációs eredmények).

Az első 150-próbákban, amelyekben a büntetés nem követi a jutalmat, a természetes jutalom elérésének értéke minden szinten konvergál az 10-szel (A). A gyógyszer esetében azonban a gyógyszer közvetlen farmakológiai hatása (, állítva) az aszimptotikus értéket eredményez minden szinten egység magasabb, mint egy magasabb absztrakciós szintnél (B). Így amikor a büntetés követi, míg a kognitív hurkok helyesen adnak negatív értéket a drogkereső választásnak, a motoros szintű hurkok a drogkeresést kívánatosnak (pozitív értéket) tekintik. Az ábrán látható görbék az értékek alakulását mutatják az „egy” szimulált állatokban, így statisztikai elemzés nem volt alkalmazható.

doi: 10.1371 / journal.pone.0061489.g002

Míg a gyógyszerek a modellünkben a szintek közötti kiegyensúlyozatlan értékelést eredményeznek, a természetes haszon értéke minden szintre ugyanazon az értéken konvergál, mivel a DA jelző mechanizmusára nincs közvetlen farmakológiai hatás (). Következésképpen sem a természetes jutalmak esetén nem figyelhetők meg következetlenségek és a részletes értékek túlértékelése (2A ábra). A kábítószer-kereső válaszok túlértékelése a hierarchia alacsonyabb szintjeinél a gyógyszerek abnormális előnyben részesítését kell eredményeznie a természetes haszonnal szemben, és a kábítószerrel kapcsolatos tevékenységek túlzott mértékű elkötelezettségét.

Diferenciális dopamin, amely a ventrális és a hátsó striatumban reagál a gyógyszerrel kapcsolatos jelzésekre

Neurobiológiai szempontból a striatális alrégiók differenciált szerepei a drogkereső magatartás megszerzésében és kifejezésében központi szerepet játszottak a függőség kutatásában. A kutatás különböző vonalaiból származó összehasonlító bizonyítékok azt sugallják, hogy a rekreációs és kényszeres gyógyszeres kezelés közötti viselkedésbeli átmenet tükrözi az értékelés neurobiológiai elmozdulását a ventrálisról a dorsolateral striatumra [8], [33], [34], ami megfelel a modellben a kognitív és a részletes szintek közötti váltásnak. A modellünkkel összhangban a DA spirális hálózat, amely összeköti a ventrálist a striatum fokozatosan hátsó részeivel, kulcsszerepet játszik ebben az átmenetben [25].

A legújabb kulcsfontosságú tanulmányban Willuhn et al. [17] felbecsülte a dopamin felszabadulásának mintáját a patkányok ventrális és dorsolateralis striatumában a gyógyszerrel összefüggő jelzésekre adott válaszként három hét kokain-gyakorlat során. Gyors pásztázású ciklikus voltammetria alkalmazásával a kritikus megfigyelés az volt, hogy dákó által kiváltott DA kiáramlás a ventrális striatumban még nagyon korlátozott edzés után is megjelenik. Ezzel szemben a dorsolateral striatum csak kiterjedt edzés után mutatott dákó által kiváltott DA-kiáramlást, és ennek a felszabadulási mintázatnak a kialakulása eltűnt, amikor a ventrális striatumot az ipsilaterális féltekén megsérültek.

Mivel a gyors letapogatású voltammetria időbeli felbontása megragadja a koncentráció alszekundumbeli ingadozásait, a DA kiáramlás megfigyelt mintáját a „fázisos” DA jelzésnek, és így a predikciós hibajelnek kell tulajdonítani, a dopamin RL elmélete szerint [24]. Az RL elmélete szerint a predikciós hibajel egy váratlan inger megfigyelésekor egyenlő azzal a jutalmazási értékkel, amelyet az inger előre jelez. Ezért a dák által indukált DA felszabadulás egyenértékű az adott dákó által előrejelzett értékkel.

Ebből a szempontból a hierarchikus keretünk formális magyarázatot ad a ventrális és a háti striatális DA kiáramlás különbségének mintájára, amely a [17]. A gyógyszerrel összefüggő vám előrejelzett értéke a hierarchia absztrakt kognitív szintjén gyorsan növekszik a képzés nagyon korai szakaszában (2B ábra), mivel a magas szintű absztrakció miatt a tanulási probléma alacsony dimenziójú. Ennek eredményeként modellünk azt mutatja, hogy a dák által kiváltott DA kiáramlást korlátozott edzés után is meg kell figyelni a ventrális striatumban (ábra 3). A képviselet részletesebb szintjén azonban a tanulási folyamat lassú (2B ábra), a problématerület nagydimenziós dimenziója, valamint az absztraktabb szintű tanulás függése miatt DA spirálok révén. Következésképpen a dózis által kiváltott DA kiáramlásnak a dorsolateralis striatumban fokozatosan kell fejlődnie, és csak kiterjedt edzés után megfigyelhetővé válhat (ábra 3).

Letöltés:

• PPT

  PowerPoint dia

• PNG

  nagyobb kép (447KB)

• TIFF

  eredeti kép (896KB)

Ábra 3. Dopamin kiáramlás különböző striatális alrégiókban a gyógyszerrel összefüggő jelzésekre adott válaszként (szimulációs eredmények).

A kísérleti adatokkal összhangban [17], a modell azt mutatja (bal oszlop), hogy a gyógyszerrel összefüggő jelzésekre válaszul dopamin efflux következik be a ventrális striatumban, korlátozott és kiterjedt edzés után. Több dorsolaterális alrégióban azonban a dákó által kiváltott DA kiáramlás fokozatosan alakul ki a tanulás során. A modell azt jósolja (második oszlop jobbról), hogy a dák által kiváltott DA kiáramlás késleltetett kifejlődése a hátsó striatumban az DA függő soros kapcsolattól függ, amely a ventilátort összekapcsolja a háti striatummal. Vagyis a DA spirálok leválasztása eredményeként, míg a dákó által kiváltott DA válasz érintetlen marad a ventrális striatumban, a dorsolateral striatumban jelentősen csökken. Ezenkívül a modell (harmadik oszlop jobb oldalról) hasonló eredményeket jósol a dák által indukált DA kiáramláshoz a dorsolateralis striatumban a sérült ventrális striatum esetében. Végül, ha az érintetlen állatokban a kiterjedt kábítószer-párosítást követően egy büntetés követi a gyógyszert, akkor a modell előrejelzi (jobb oszlop), hogy a gyógyszerrel kapcsolatos dák gátolja a DA spirálok ventrális lábát, még korlátozott edzés után is. A hátsó régiókban azonban a DA kiáramlás lassan csökken a tanulás során, de pozitív marad, még kiterjedt kábítószer-büntetés párosítás után is. Az ábrán bemutatott adatok „egy” szimulált állatból származnak, tehát statisztikai elemzés nem volt alkalmazható.

doi: 10.1371 / journal.pone.0061489.g003

Ezenkívül modellünk magyarázza a [17] hogy a dák által kiváltott DA kiáramlás ilyen késleltetett kialakulása a dorsolateral striatumban a ventrális striatumtól függ (ábra 3). Modellünkben a ventrális striatum szimulált egyoldalú sérülése (a modell absztrakt értékelési szintje) az ipszilaterális féltekén részletesen jelentősen csökkenti a gyógyszerjel-előrejelzett értéket, és így jelentősen csökkenti a dák által indukált DA-kiáramlás szintjét. A ventrális striatum léziójának modellezéséhez egyszerűen nullára rögzítjük az összes inger értékét a hierarchia legmagasabb szintjén.

Hasonlóképpen, modellünk előrejelzi, hogy a fázisos DA jelátvitel kialakulása a dorsolateral striatumban a DA spirális áramkör integritásától függ (ábra 3). Valójában, a modellünkben a DA spirális áramkör leválasztása megszakítja a kommunikációt az absztrakció szintjein, ami viszont megakadályozza a gyógyszer által kiváltott torzulások felhalmozódását a megerősítő jelnél a döntési hierarchia szintje mentén. A ventrális és a hátsó striatum DA függő soros áramkörében a leválasztás modellezéséhez rögzítjük az absztrakció minden egyes szintjét, hogy helyben kiszámítsuk a predikciós hibajelet (az 3 egyenlethez hasonlóan) anélkül, hogy az időbeli előrehaladás értékét megkapnánk a közvetlenül a felső az absztrakció szintje.

Ezenkívül a modell azt jósolja, hogy a dákó által kiváltott DA-kiáramlás mintája megváltozik, ha a kokainnal és a kokainnal kapcsolatos jelekkel folytatott kiterjedt edzés után, mint például a fenti kísérletben, a kokainszállítás egy erős büntetéssel párosul. Arra számítunk, hogy a DA kiáramlása a kokainhoz kapcsolódó dákra adott válasznak gyorsan a ventralis striatumban a kiindulási érték alá csökken. A dorsolateral striatumban azonban a dák által indukált DA felszabadulásnak a kiindulási szint felett kell maradnia (ábra 3) egy lehetséges késleltetett részleges csökkentéssel. Ez azt jelzi, hogy a gyógyszeres stimulushoz pozitív szubjektív értéket kell hozzárendelni részletes szinten, annak ellenére, hogy a kognitív szintek negatív (a kiindulási szint alatt vannak). Figyelemre méltó, hogy ez az előrejelzés azon a feltételezésen múlik, hogy az agy pusztán negatív jutalomként kezeli-e a büntetést. Ez a feltételezés némileg ellentmondásos: egyértelműen alátámasztják a kísérleti tanulmányok [35], de mások is másként tárgyalták [14], [36]. E predikció kivételével a modell más szempontjai nem függenek attól, hogy a büntetést dopamin kódolja-e vagy más jelzőrendszer.

A Willuhn et al. Által alkalmazott edzési rend. [34] nem terjed ki kellő mértékben a kényszerítő kábítószer-kereső magatartásra, amelyet a drogokkal összefüggő büntetések iránti érzékenység jellemez [37], [38]. Így a megválaszolandó kulcskérdés az, hogy milyen kapcsolat van a dák által indukált DA válasz késleltetett kialakulása a DLS-ben és a kényszeres válasz késői kialakulása között. Modellünk szerint a kényszeres viselkedés nemcsak a gyógyszerválasztás túlzott mértékű értékelését követeli meg a hierarchia alacsony szintjein, hanem a viselkedés feletti kontroll áthelyezését az absztrakt kognitív és az alacsony szintű szokásos folyamatok között is. E két folyamat időszaka csak részben függ egymástól: a túlértékelési folyamat függ az előrejelzési hibajeltől, míg a viselkedéskontroll átadása az értékbecslés relatív bizonytalanságaitól is függ. Ezért a gyógyszerrel összefüggő utalások túlértékelése a hierarchia alacsony szintjeinél megelőzheti a viselkedés feletti ellenőrzés elmozdulását a hierarchia fentről aljára. A két folyamat pontos idő skálája a különböző szinteken tanuló aránytól és a zajtól függ (lásd Fájl S1 kiegészítő információk). Más szavakkal: valószínű, hogy a DLS-ben a dákmin-indukált dopamin-kiáramlás jelentősen kialakulhat, még mielőtt a kényszeres gyógyszerkeresés viselkedésbeli megnyilvánulása megtörténik.

A drogokkal szembeni következetlen értékelés természetes viselkedéssel és viselkedésével kapcsolatos viselkedési következményei

Magatartási szempontból, ha modellünkben, ha a büntetést párosítjuk a kábítószerrel az önkéntes kábítószer-használat korai szakaszában, akkor a kábítószer-kereső válasz absztrakt értéke gyorsan negatívvá válik. Feltételezve, hogy a kábítószer-keresést ezekben a korai szakaszokban az elvont szintek szabályozzák, a gyógyszerválasztás negatív elvont értékelése miatt az alany nem hajlandó tovább megtapasztalni ezt a cselekedetet. Ez megakadályozza az erős alacsony szintű preferenciák konszolidációját az idő múlásával. Így a modell magyarázza a gyógyszerválasztás rugalmasságát a költségekkel szemben a kábítószer-fogyasztás korai szakaszában, de nem a krónikus használat után. A függőség állati modelljei következetesen azt mutatják, hogy a kábítószer-kereső reakciók érzéketlensége a kábítószerrel kapcsolatos káros következményekre csak a gyógyszer hosszabb időn át történő önfelhasználása után alakul ki, de nem korlátozott [37], [38]. Elméletünkkel ellentétben a függőség korábbi számítási modelljei [9], [10] közvetlen ellentmondásban vannak ezzel a bizonyítékokkal, mivel azt jósolják, hogy a kábítószer-használatot közvetlenül követő káros viselkedési kimeneteleknek nincs motiváló hatása még a kábítószer-használat nagyon korai szakaszában sem (lásd a Fájl S1 kiegészítő információk).

Modellünk további beszámolót ad a kábítószer-kimeneteleket gátló hatás előfordulásáról [39]. A blokkolás egy kondicionáló jelenség, amikor egy A stimulus és az eredmény korábbi párosítása blokkolja a különféle B inger és az eredmény közötti társulás kialakulását egy későbbi edzési szakaszban, ahol mind az A, mind a B bemutatásra kerül az eredmény átadása előtt. [40]. Modellünk szimulációjának eredményei egy pavloviai kísérleti tervben (lásd Fájl S1 a modell pavloviai verziójáról szóló kiegészítő információkért) azt mutatja, hogy mind a természetes haszon, mind a drogok esetében, amikor a hierarchia egy bizonyos szintjén a becsült érték eléri egyensúlyi állapotát (ahelyett, hogy határtalanul növekedne), akkor nem folytatódik további tanulás szintre, mivel az előrejelzési hibajel nullára csökkent (ábra 4). Így blokkolódik az új stimulus társítása a már előrejelzett jutalommal. Viselkedési bizonyítékok, amelyek blokkoló hatást mutatnak mind a gyógyszerekkel, mind a természetes erősítőkkel kapcsolatban [39] fő érvként használták fel a függőség korábban javasolt dopamin alapú számítási modelljét [9]. Itt megmutattuk, hogy a reprezentációk és a hátsó-ventrális spirális dopamin hurok szervezetének hierarchikus természetére való összpontosítás valójában a blokkoló adatoknak tudható be, ezáltal megkerülve ezt a kritikát (lásd: Fájl S1 kiegészítő információk).

Letöltés:

• PPT

  PowerPoint dia

• PNG

  nagyobb kép (360KB)

• TIFF

  eredeti kép (615KB)

Ábra 4. Blokkoló hatás a természetes és a gyógyszeres hasznokhoz.

A modell előrejelzése szerint a blokkolás természetes haszon érdekében történik (A) és gyógyszerek (B), csak akkor, ha a kezdeti edzési időszak „kiterjedt”, oly módon, hogy az első inger teljes mértékben megjósolja az eredmény értékét. A „közepes” edzés után a rugalmasabb kognitív szintek teljes mértékben megjósolják az értékeket, és így blokkolják a további tanulást. A tanulás azonban továbbra is aktív az alacsony szintű folyamatokban, amikor a második edzési szakasz (mindkét inger egyidejű bemutatása) megkezdődik. Így modellünk azt jósolja, hogy a természetes jutalmakkal járó blokkoló kísérlet közepes kezdeti edzése kognitív / viselkedési inkonzisztenciát is eredményez. Az ábrán bemutatott adatok „egy” szimulált állatból származnak, tehát statisztikai elemzés nem volt alkalmazható.

doi: 10.1371 / journal.pone.0061489.g004

Mint korábban említettem, számos bizonyíték mutatja a hátsó fokozatos dominanciáját a ventrális striatum felett a viselkedés feletti ellenőrzés során a tanulás során. [8], [31], [32]. Ezen bizonyítékok hátterében értelmezve, a hierarchiában az egyensúlyhiányos kábítószer-keresés értékelése magyarázza a szenvedélybetegek sikertelen erőfeszítéseit a kábítószer-használat visszaszorítására a hosszas kábítószer-tapasztalat után, amikor a kábítószerrel kapcsolatos választások ellenőrzése a kognitívról az alacsony szintű megszokott folyamatok. A kábítószer-uralta folyamatok ilyen fölénye természetesen vezet a viselkedés rugalmatlanságához a kábítószerrel összefüggő költségekhez (kényszeres drogkeresés), amely valószínűleg önmaga által leírt hibával jár együtt. A természetes jutalmak esetében azonban modellünk azt jósolja, hogy bár a viselkedés rugalmatlansága növekszik a tanulás során, mivel a hierarchia szintjein belül nem alakul ki értékelési-következetlenség, a jutalomhoz kapcsolódó büntetések végül gátolják a jutalomkeresést.

Modellünk a cselekvések értékelésére összpontosít egy „feltehetően adott” döntési hierarchiában, és hagyja figyelmen kívül azt, hogy az absztrakt lehetőségeket és azok megfelelő alacsony szintű alprogramjait miként fedezik fel a fejlesztés során. A döntési hierarchia felfedezését alulról felfelé irányuló folyamatnak javasolják, amelyet úgy lehet megvalósítani, hogy az alacsony szintű műveletek sorozatait összefűzi és elvont lehetőségeket épít fel. [41]. Ez a folyamat, amely állítólag áttételt mutat a hátsó felől a ventrális striatumba, a viselkedés feletti irányítás átvételével az itt javasolt versenymechanizmus ellenkező irányába halad.

Megbeszélés

A különféle striatális alrégiók eltérő függőségben betöltött szerepének növekvő bizonyítékát általában a szokásos és a cél-irányú dichotómia keretein belül értelmezik. [8], [14], [34]. Az itt alkalmazott hierarchikus döntéshozatali megközelítés kiegészíti az ilyen kettős rendszerű számlákat. Míg a kettős folyamat megközelítés különböző algoritmusokkal foglalkozik (modellmentes vs. modell alap [30]) egyetlen probléma megoldására a hierarchikus RL keret ugyanazon probléma különböző ábrázolására összpontosít, az időbeli absztrakció különböző szintjein. Az elméletben akár egy szokásos, akár egy célközpontú algoritmus meg tudja oldani a probléma ezen különféle ábrázolásait. Modellünkben a gyógyszer-indukált torzítások felhalmozódása a DA-spirálok felett olyan környezetben történik, ahol az értékbecslési algoritmus modellmentes (szokásos tanulás). Ez azonban nem zárja ki a modell-alapú rendszerek létezését, amelyek a hierarchia legfelső szintjén működnek. A PFC-függő, célirányos értékelési és döntési rendszert egyszerűen be lehet építeni a modellbe, feltételezve, hogy az absztrakció legmagasabb szintjén végzett tevékenységeket egy célorientált rendszer értékeli. Noha az ilyen komplikáció nem változtatja meg a kéziratban bemutatott eredmények jellegét, ennek további rugalmassága a függőség más szempontjainak magyarázatakor a jövőbeni tanulmányok marad. Valójában modellünkben, függetlenül attól, hogy létezik-e cél-közvetlen rendszer vagy sem, a kábítószer-keresés aszimptotikus értékének eltérése a hierarchia két szélsősége között a „szokásos” folyamat által szabályozott döntési szintek számával növekszik .

Elméletünk fényében a visszaesés úgy tekinthető, mint a szunnyadó motoros szintű rosszul alkalmazkodó szokások újjáéledése, a kognitív szintek domináns periódusa után. Valójában el lehet képzelni, hogy a kognitív terápia (emberfüggőknél) vagy a kényszerű kihalás (az absztinencia állati modelljei) eredményeként a hierarchia részletes szintjén a kábítószer-keresés magas értéke nem tűnik el, hanem szunnyadóvá válik. az irányítás visszatérése a kognitív szintre. Mivel a kábítószerrel kapcsolatos magatartás absztrakt szinten érzékeny a káros következményekre, ennélfogva elkerülhető a kábítószer-keresés, mindaddig, amíg a magatartás ellenőrzésében magas szintű kognitív folyamatok dominálnak. Azt is feltehetik, hogy a népszerű 12 lépésprogramok (pl. Névtelen alkoholisták, anonim kábítószerek stb.) Részben úgy működnek, hogy kifejezetten megkövetelik a résztvevőktől, hogy elismerjék kábítószerrel kapcsolatos életmódjuk következetlenségét, ezáltal felhatalmazva az absztrakt kognitív szinteket, hogy kifejezetten ellenőrzést gyakoroljanak viselkedés. A stresszes körülmények vagy a gyógyszer újbóli kitettsége (alapozás) olyan kockázati tényezőknek tekinthetők, amelyek gyengítik az absztrakt szintek dominanciáját a viselkedés felett, ami a gyógyszer-keresési válaszok újbóli megjelenését eredményezheti (a rejtett magas nem kognitív értékek miatt) ).

Összefoglalva, a kábítószer-függőségre jellemző, nyilvánvalóan eltérő jelenségek koherens ismertetését javasoljuk. Modellünk normatív beszámolót szolgáltat a ventralis és a dorzális striatális áramköröknek a gyógyszerkeresés megszerzésében és a szokások teljesítésében játszott különbözõ szerepeirõl, valamint az elõre elõrejelzõ DA-kapcsolat szelektív szerepérõl a gyógyszer és a természetes erõsítõk hatásaival szemben. A legfontosabb az, hogy megmutassuk, hogyan vezethet a kábítószer által kiváltott patológia a ventrális-dorzális DA-jelekben a motivációs információkat a kognitív reprezentációs hierarchiában lefelé csorgatva a diszkriminánsok kábítószer-kereséssel kapcsolatos absztrakt hozzáállása és a tényleges tevékenységük közötti különbségekhez. Nyilvánvaló, hogy modellünk nem, és nem is célja, teljes körűen beszámolni a kábítószer-függőségről. A függőség egyéb megmagyarázhatatlan aspektusainak megmagyarázásához sok más agyi rendszer beiktatására van szükség, amelyekről kimutatták, hogy a bántalmazás kábítószerei befolyásolják [42]. Az ilyen rendszerek beépítése a formális számítási hálózatba továbbra is további vizsgálat tárgya.

segítő információ

Fájl S1.

S1 ábra,Minta döntési hierarchia öt absztrakciós szinttel. S2 ábra, A három megvitatott értéktanulási algoritmus megfelelő idegi áramköre hierarchikus döntési struktúra. A, Egy egyszerű TD-tanulási algoritmus (S7 egyenlet) alkalmazásával a predikciós hibajel minden absztrakciós szintnél kiszámításra kerül más szintektől. B, A Haruno és Kawato által javasolt modellben (4) (S8 egyenlet) az időben előrehaladott állapot értéke az absztrakció egy magasabb szintjéből származik. C, modellünkben (S9 egyenlet) az időben előrehaladott állapot értékét a végrehajtott művelet jutalma és Q-értéke kombinációjával helyettesítjük egy magasabb absztrakciós szinten. S3 ábra, Modellünk előre jelzi a drogok különböző hatásait a jutalom-tanulási körön: az 1 – 3 helyek. Az 4 – 6 helyeket érintő gyógyszerek ezzel szemben nem vezetnek a drogok modelljének szimulációjával létrehozott viselkedési és neurobiológiai mintákhoz, hanem a természetes jutalmakhoz hasonló eredményekhez vezetnek. S4 ábra, A bizonytalanságon alapuló versenymechanizmus szimulálására szolgáló feladat a viselkedés feletti ellenőrzés hierarchiája szintjein belül. S5 ábra, Szimulációs eredmény, amely a viselkedés feletti fokozatos irányú eltolódást mutatja a hierarchia magasabb szintjeiről alsóbb szintre. Q (s, a) és a USA) mutatják be az állapot-cselekvés párok becsült értékét és bizonytalanságát.

doi: 10.1371 / journal.pone.0061489.s001

(PDF)