Sissejuhatus

„Me tunnistasime, et me oleme oma sõltuvuse üle jõuetu - et meie elu on muutunud juhitamatuks”, näitab narkootikumide anonüümse 12-etapi programmi esimest tõekspidamist [1]. See juhib tähelepanu sellele, kuidas võimas narkomaanid satuvad narkootikumide vastu, kuigi teavad, et narkootikumide võtmine on vale tegevussuund [2]-[4]. Tegelikult on sõltuvuse tunnuseks narkootikumide kompulsiivne otsimine isegi ilmsete kahjulike tagajärgede tõttu [5]. Sellise patoloogilise käitumise allkiri ilmneb kontrollitud katsetes, kus sõltlastel on iseloomulik “ise kirjeldatud viga”: ebakõla narkootikumidega seotud valiku tugeva käitumusliku reaktsiooni ja sõltuvust puudutava suhteliselt madala subjektiivse väärtuse vahel [4], [6], [7]. Koos kognitiivse kognitiivse kontrolli vähenemisega käitumise pärast pärast pikaajalist kokkupuudet ravimitega võib see kognitiivsete plaanide ja konsolideeritud harjumuste erinevus põhjustada ülemineku juhuslikust kompulsiivsele narkootikumide otsimise käitumisele [8].

Kognitiivse kontrolli kaotamine ja enesekirjutatud viga on seni kaotanud põhimõttelise selgituse sõltuvuse formaalsete mudelitega. [9]-[13]. Varasemad arvutuslikud uimastisõltuvuse teooriad, mis on peamiselt seotud tugevdamise õppe raamistikuga, näevad sõltuvust harjumuste õppimise patoloogilise seisundina [9]-[13]. Kõigi nende mudelite keskne hüpotees on see, et ravimite farmakoloogiline mõju dopamiini signaalimisele, mis väidetavalt kannab stiimuli-reaktsiooni õpetussignaali, põhjustab selliste seoste järkjärgulist üle tugevdamist. See efekt viib omakorda sunniviisiliste uimastite otsimise harjumusteni. Ehkki see sõltuvuse vähendatud vaade on haaranud nähtuse mõningaid aspekte, näitab sõltuvusalases kirjanduses kasvav üksmeel, et patoloogias on seotud mitu õppesüsteemi. Ainult selline keerulisem pilt, mis hõlmab aju kognitiivseid ja madalal tasemel harjumuspäraseid protsesse, saab selgitada sõltuvussarnase käitumise mitmekesisust [8], [14].

Käesolevas dokumendis võtame vastu hierarhilise tugevdamise õppimise lähenemisviisi [15] kus otsused on esindatud erinevatel abstraktsioonitasanditel, kognitiiv-motoorne hierarhia. Eeldame, et dopamiinist sõltuvate õppesignaalide kaskaad ühendab hierarhia tasemed koos [16]. Samuti eeldame, et kuritarvitamise ravimid haaravad farmakoloogiliselt abstraktsioonitaseme vahelise sidemehhanismi. Nende eelduste põhjal näitame, et sõltuvuses esinevate kognitiivsete dissonantside teke on hierarhilise tugevdamise õppe raamistikus, kui krooniline narkootikumide ekspositsioon häirib otsuste hierarhia väärtuse õppimist. See häire põhjustab ravimite valikute patoloogilist ülehindamist madalatasemel tavapärastel protsessidel ja seega juhib tavapärast narkootikumide otsimise käitumist. Siis demonstreerime, et „ei meeldinud”, kuid kompulsiivne narkootikumide otsimine on seletatav narkootikumidega kaaperdatud madala taseme tavapäraste protsessidega, mis domineerivad käitumises, samas kui terved kognitiivsed süsteemid kaotavad kontrolli käitumise üle. Lisaks näitame, et kavandatav mudel võib võtta arvesse hiljutisi tõendeid ravimi tekitatud dopamiini väljavoolu kiirest või hilinenud arengust ventraalses ja dorsaalses striatumis, samuti selle mudeli sõltuvust dopamiini spiraalsest ahelast.

Materjalid ja meetodid

Eelkäijad

Kooskõlas rikkaliku kognitiivse psühholoogia kirjandusega on meie hierarhiline tugevdamise õppimine [15], [18] raamistik eeldab, et abstraktset kognitiivset plaani, nagu „õlletehas“, võib jagada madalama tasandi toimingute järjekorda: keeva veega, tee pannile panemisega jne. Selline lagunemine kulgeb kuni konkreetse mootori taseme vastuseni madalaima taseme juures. hierarhia (Joonis 1A). Neurobioloogiliselt on otsuste hierarhia erinevad tasemed kognitiivsest kuni mootori tasemeni esindatud piki Cortico-Basal ganglioni (BG) ahela rostro-caudal telge [19]-[21]. See ahel koosneb mitmest paralleelsest suletud ahelast eesmise ajukoorme ja basaalganglioni vahel [22], [23] (Joonis 1B). Kui eesmised silmused on tegevuste abstraktsema kujutamise aluseks, siis aju-motoorsest ajukoorest ja dorsolateraalsest striatumist koosnevad kaudsed silmused kodeerivad madala taseme harjumusi [19]-[21].

Lae:

• PPT

  PowerPointi slaid

• PNG

  suurem pilt (1.06MB)

• TIFF

  originaalpilt (1.56MB)

Joonis 1. Käitumise hierarhiline korraldus ja cortico-BG ahel.

A, Näide otsuste hierarhiast kahe alternatiivse valiku jaoks: ravim vs toit. Iga tegevussuund on esindatud erinevatel abstraktsetel tasemetel, mida kodeeritakse väidetavalt erinevatel cortico-BG silmustel. Mõlemat liiki tasu otsimine võib järgida 16i suurust. B, Glutamatergilised ühendused erinevatest prefrontaalsetest aladest projektivad striatilisse alampiirkonda ja seejärel tagasi PFC-sse läbi pallidumi ja talamuse, moodustades mitu paralleelset silmusahelat. Striato-nigro-striataalse dopamiini võrgustiku kaudu mõjutavad striatumi ventraalsed piirkonnad rohkem dorsaalseid piirkondi. vmPFC, ventraalne mediaalne prefrontaalne ajukoor; OFC, orbitaalne eesmine ajukoor; dACC, dorsaalne anterior cingulate cortex; SMC, sensoorne motoorne ajukoor; VTA, ventral tegmental area; SNc, materia nigra pars compacta. Joonis 1B Muudetud alates ref 21.

doi: 10.1371 / journal.pone.0061489.g001

Selles ahelas signaalib striatumile väljaulatuvate keskjoonte dopamiini (DA) neuronite faasiline aktiivsus ennustatud ja saadud hüvede vahelist viga, mis omakorda kannab stiimul-vastuse tugevdavat teavet [24]. Need DAergilised projektsioonid moodustavad astmelise seeriaühenduse, mis ühendab striatumi ventraalsemaid piirkondi järk-järgult rohkemate dorsaalsete piirkondadega nn „spiraalsete” ühenduste kaudu [25]-[27] (Joonis 1B). Funktsionaalselt võimaldab selline ettepoole suunatud organisatsioon, mis ühendab rostraalset ja caudal cortico-BG silmusid, suunatavat sidestamist jämedast kuni peeneni esitluseni. Järelikult eeldatakse, et DA-spiraalid annavad neurobioloogilise substraadi tasu ennustamisvea järkjärguliseks häälestamiseks hierarhia kõrgemate tasemete poolt (kodeerivad abstraktsed teadmised käitumisvalikute väärtuse kohta). Seda viga kasutatakse siis tegevusväärtuste ajakohastamiseks üksikasjalikumatel tasanditel [16]. Teisisõnu võimaldavad DA-spiraalid hinnata abstraktset kognitiivset taset, et suunata õppimist üksikasjalikumates tegevuste hindamise protsessides.

Teooria visand

Tugevdamise õppimise arvutusteooria [28] (RL), õpib agent (meie puhul inimene või loom) tegema teadlikke tegevusvõimalusi, ajakohastades selle eelnevat eeldatavat väärtust, , iga riikliku tegevuse paari kohta, , kui tasu on agendi poolt vastu võetud tegevuse tulemusena kontekstuaalses olekus (stiimul) . Väärtus värskendatakse tasu ennustusvea signaali arvutamisel. See signaal ei sõltu mitte ainult koheselt saadud tasust (), aga ka uue riigi väärtuse kohta, milleni agent jõuab, pärast seda, kui tegu on tehtud. Tähistatud nimega see ajaline edasijõudnud väärtusfunktsioon esindab tulevaste hüvede summat, mida loom loodab saada saadud riigist, , edasi. Ennustusviga võib arvutada järgmise võrrandi abil:

(1)

Intuitiivselt arvutab ennustusvea signaal lahknevuse eeldatava ja realiseeritud tasuvuse väärtuse vahel. Hierarhilise otsuste struktuuris aga mitte selle õppimiseks -väärtus sõltumatult erinevatel tasanditel, abstraktsemad tasemed võivad häälestada madalamal tasemel arvutatud õpetussignaali. Kuna hierarhia kõrgemad tasemed kujutavad endast keskkonnakaitseküsimuste abstraktsemat esindatust, toimub õppimine nendel tasanditel kiiremini. See on tingitud käitumise abstraktse esindatuse suhtelisest madalmõõtmelisusest: tegevuskava võib esitada ühe sammuna (üks mõõde) hierarhia ülemisel tasandil ja mitme üksikasjaliku meetmena (mitmed mõõtmed) madalamal tasemel hierarhia. Selle tegevuskava kõrgeima taseme väärtust õpitakse kiiresti, võrreldes üksikasjalike tasanditega, kus tasu vead peaksid levitama kõiki üksikasjalikke samme. Seega võib madalamate väärtuste häälestamine väärtuse informatsiooniga kõrgematest tasanditest kiirendada nende väärtuste lähenemist. Üks statistiliselt tõhus viis seda teha on oletada, et prognoosivea signaali arvutamiseks - veevõtu tase, , ajaliselt arenenud väärtuse funktsioon, , pärineb ühest kõrgemast abstraktsioonist, [16]:

(2)

Optimaalsuse säilitamiseks võib võrrandit 2 kasutada prognoosivea arvutamiseks ainult siis, kui teostatakse abstraktse valiku viimane koostisosa (vt joonis S1 Fail S1). Muudel juhtudel toimub väärtuse õppimine erinevatel tasanditel iseseisvalt, nagu võrrandis 1. Mõlemal juhul kasutatakse õpetussignaali eelnevate väärtuste ajakohastamiseks vastaval tasemel:

(3)
kus on õppimise määr. Selline tasanditevaheline teabevahetus on bioloogiliselt usutav, kuna see peegeldab DA-ahelate spiraalset struktuuri, mis kannab informatsiooni alla hierarhias ventro-dorsaalses suunas. Samal ajal kiirendab abstraktsemate tasandite juhtimine märkimisväärselt õppimist, leevendab väärtusliku õppe kõrgetasemelisust üksikasjalikel tasanditel [16].

Selles dokumendis näitame, et modelleeritud modifitseeritud versiooni interaktsioon on välja töötatud [16] ja dopamiinergilisele süsteemile kuritarvitatavate ravimite spetsiifilised farmakoloogilised mõjud võivad hõlmata sõltuvusega seotud andmeid radikaalselt erinevates analüüsimahudes: käitumuslikud ja ahelataseme neurobioloogilised. Esiteks, uus mudel toob kaasa võimaliku mõistliku selgituse mitmete intrigeerivate käitumisaspektide kohta, mis on seotud narkootikumide sõltuvusega (nt ise kirjeldatud viga) [4], [6], [7]). Teiseks, me võime arvestada mitmesuguste tõendusmaterjalidega, mis puudutavad dopamiini vabanemise dünaamikat [17].

Me muudame mudelit, mis on esitatud [16] järgnevalt. Me muudame mudeli töömälu mahtu tõhusamaks, asendades selle koos , võrrandis 2, kuna need kaks väärtust lähenevad samale püsivale tasemele (vt joonis S2 Fail S1, arvutus- ja neurobioloogilisel alusel):

(4)

Siin on suhteliselt abstraktne valik ja on viimane primitiivne tegevus käitumisjärjestuses, mis täidab selle valiku. Samamoodi on tasuv väärtus , mis sisaldab (tasuv väärtus ).

Oluline on see, et inimeste poolt kuritarvitatavatel erinevatel ravimitel on põhiline omadus dopamiini kontsentratsiooni farmakoloogilisel suurendamisel striatumis. [29]. Sellest tulenevalt lisame selle ravimi farmakoloogilise toime positiivse eelarvamuse lisamisega, , (Vaata ka [9]-[12]) dopamiini neuronite poolt edastatavale prognoosivigade signaalile (vt joonis S3 sisse. \ t Fail S1, arvutus- ja neurobioloogilisel alusel):

(5)

Siin fikseerib ravimi otsese farmakoloogilise toime DA süsteemile ja on selle tugevdav väärtus eufooriliste mõjude tõttu (vt. \ t Fail S1 lisateabe saamiseks).

Kuigi võrrandid 3 ja 5 defineerivad koos arvutusmehhanismi meie mudeli väärtuste uuendamiseks, siis oletame ka, et ebakindlusel põhinev konkurentsimehhanism määrab käitumise kontrolli all oleva abstraktsiooni taseme. See on inspireeritud 2006. \ Taastal välja pakutud mehhanismist. \ T [29] vahekohtumenetlus harilike ja eesmärgipäraste süsteemide vahel. Selles mõttes kontrollib käitumine igas otsustuspunktis ainult abstraktsiooni tase, millel on suurim kindlus valiku väärtuse hindamisel. Kui see tase on otsustanud tegutseda, rakendab see domineeriv tase kõiki hierarhia madalamaid tasemeid, et rakendada valitud toimingut primitiivsete mootorivastuste jadana (vt Fail S1 täiendava teabe saamiseks; Joonis S4 sisse Fail S1; Joonis S5 sisse Fail S1). Keskkonnast saadud tasu tagasiside saamisel uuendatakse väärtusi kõigil tasanditel. See ebakindlusel põhinev vahekohtumehhanism ennustab, et abstraktsed protsessid on paindlikumad, neil on õppimise varajases staadiumis kõrgem väärtuse lähendamise võime ja seega nende käitumise kontroll. Kuid kuna abstraktsed tasemed kasutavad keskkonda jämedalt (nt suhteliselt väikese arvu põhifunktsioonide sisalduse tõttu), ei ole nende lõpliku väärtuse lähendamise võime nii täpne kui üksikasjalikel tasemetel. Teisisõnu, pärast ulatuslikku koolitust on hinnanguliste väärtustega seotud kindlus madalam hierarhia madalamate tasemete puhul võrreldes ülemise tasemega. Seega, progressiivse õppega, võtavad hierarhia madalamad tasemed üle tegevuse valiku üle, kuna nende ebakindlus väheneb järk-järgult. See on kooskõlas mitmete tõendusmaterjalidega, mis näitavad, et seljaaju domineerivus on ventral striatum, mis kontrollib narkootikumide otsimist (samuti otsib looduslikke hüvesid) [8], [30], [31].

Tulemused

Hierarhia hindamise ebajärjekindlus ilmneb narkootikumide, kuid mitte looduslike hüvede all

Erinevalt varasematest tugevdamise õppepõhistest arvutamise mudelitest sõltuvus [9]-[13] mis põhinevad ühe otsusega süsteemil põhineval lähenemisviisil, põhineb meie konto mitmekordse suhtlusega süsteemide raamistikul. Selle tulemusena on modelleeritud ravimi mõju prognoosivea signaalile meie mudelis sarnane eelmistele [9]-[12]See toob kaasa põhimõtteliselt erinevad tagajärjed. Ravimi poolt indutseeritud mööduv dopamiini tõus suurendab vahetu prognoosimisviga hierarhia igal tasandil ja selle tulemusel kaasneb diagonaal, , teadmiste ülekandmisest ühest abstraktsustasandist teise, hierarhia jämedalt suunda. See eelis põhjustab narkootikumide otsimise asümptootilise väärtuse teatud tasemel rohkem kui üks abstraktne kiht (Joonis 2B). Nende lahknevuste kogunemine piki rostro-cauda telge põhjustab järk-järgult olulisi erinevusi ravimite otsimise käitumise väärtuses hierarhia ülemise ja alumise ääre vahel. Seega, isegi kui sellele järgneb tugev karistus, jääb ravimiga seotud käitumise väärtus madala taseme mootoriliinidele positiivseks, samal ajal kui see muutub kognitiivsel tasemel negatiivseks. Teisisõnu prognoosib mudel, et narkootikumide toime kogunemine DA-spiraalidele suurendab narkootikumide otsimise väärtust mootori tasandil harjumustes nii kõrgele amplituudile, et isegi tugev loomulik karistus ei suuda seda piisavalt vähendada. Soovitame, et see selgitab narkootikumidega seotud käitumise kognitiivse ja madala taseme hindamise vahelist vastuolu. Teisisõnu, me pakume välja, et kompulsiivne narkootikumide otsimine ja sellega seotud kulude oluliselt vähenenud elastsus tulenevad ravimi farmakoloogilisest toimest, mis ründab dopamiinist sõltuvat mehhanismi, mis edastab informatsiooni otsuste hierarhia tasemete vahel.

Lae:

• PPT

  PowerPointi slaid

• PNG

  suurem pilt (289KB)

• TIFF

  originaalpilt (471KB)

Joonis 2. Toidu vs motivatsioon erinevatel abstraktsetel tasemetel (simulatsiooni tulemused).

Esimeses 150i uuringus, kus karistust ei maksta, läheneb kõigi tasandite looduslike hüvede väärtus 10ile (A). Ravimi puhul on aga ravimi otsene farmakoloogiline toime (, seatud) annab asümptootilise väärtuse igal tasandil ühikuid kõrgem kui ühe kõrgema abstraktsiooni tasemel (B). Seega, kui järgneb karistus, samas kui kognitiivsed silmused annavad narkootikumide otsimise valikule negatiivse väärtuse, leiavad mootoritaseme ahelad soovivat narkootikumide otsimist (positiivne väärtus). Selle näitaja kõverad näitavad väärtuste arengut ühel simuleeritud loomal ja seega ei olnud statistiline analüüs kohaldatav.

doi: 10.1371 / journal.pone.0061489.g002

Kuigi uimastid annavad meie mudelis tasakaalu tasakaalustamata hindamise, läheneb looduslike hüvede väärtus kõigil tasanditel samale väärtusele, kuna puudub otsene farmakoloogiline mõju DA-signalisatsioonimehhanismile (). Sellest tulenevalt ei ole looduslike hüvede puhul täheldatud ebajärjekindlust ega ülehindamist üksikasjalikul tasandil.Joonis 2A). Narkootikumide otsimise vastuste ülemäärane hindamine hierarhia madalamal tasemel peaks viima narkootikumide ebanormaalsele eelistamisele looduslike hüvede suhtes ja ülemäärase osalusega uimastitega seotud tegevustes.

Diferentsiaalne dopamiin, mis reageerib ventraalses ja dorsaalses striatumis ravimiga seotud märkide suhtes

Neurobioloogiliselt on narkomaaniliste uuringute keskseks osaks olnud striaalsete allpiirkondade diferentseeritud rollid narkootikumide otsimise käitumise omandamisel ja väljendamisel. Erinevate uurimistööde põhjal saadud tõendite ühildamine näitab, et käitumuslik üleminek uimastitarbimisest kompulsiivsele uimastitarbimisele peegeldab hindamise neurobioloogilist nihet ventralisest dorsolateraalsele striatumile [8], [33], [34], mis vastab meie mudeli üleminekule kognitiivsest üksikasjalikule tasemele. Kooskõlas meie mudeliga on näidatud, et sellel üleminekul on kesksel kohal DA-spiraalivõrk, mis ühendab striatumi ventraalset ja järjest enam dorsaalset piirkonda [25].

Hiljutises uuringus Willuhn jt. [17] hinnati dopamiini vabanemise mustrit vastusena ravimiga seotud märkidele rottide ventraalses ja dorsolateraalses striatumis kolme nädala jooksul kokaiini ilmnemisel. Kiire skaneeriva tsüklilise voltammeetria abil leiti, et kriitiline indutseeritud DA-väljavool ventralises striatumis tekib isegi pärast väga piiratud koolitust. Seevastu näitas dorsolateraalne striatum löögiga vallandatavat DA-väljavoolu alles pärast ulatuslikku koolitust ja selle vabanemismustri kujunemine kadus, kui ventraalne striatum oli ipsilateraalses poolkeras kahjustatud.

Kuna kiire skaneerimisega voltammeetria ajaline lahutus määrab kontsentratsiooni alamkategooria kõikumised, tuleks DA efflux täheldatud muster omistada DA faasilisele signaalimisele ja seega prognoosivea signaalile vastavalt dopamiini RL-teooriale [24]. RL-i teooria kohaselt on ootamatu stiimuli jälgimisel prognoosivigade signaal võrdne selle stimuleeriva ennustuse väärtusega. Seetõttu on kiiega indutseeritud DA vabanemine samaväärne selle kiiega ennustatud väärtusega.

Seoses sellega annab meie hierarhiline raamistik ametliku selgituse ventraalse ja dorsaalse striatraalse DA efflux diferentseerumise kohta. [17]. Ravimiga seotud kihi poolt hierarhia abstraktsetes kognitiivsetes tasemetes ennustatav väärtus suureneb kiiresti koolituse varases staadiumis (Joonis 2B) tänu õpiprobleemi madalale mõõtmelisusele kõrge abstraktsiooni tasemel. Selle tulemusena ilmneb meie mudelist, et löögiga indutseeritud DA-väljavool tuleb jälgida vatsakehas isegi pärast piiratud koolitust (Joonis 3). Esinduse üksikasjalikumal tasemel on õppeprotsess siiski aeglane (Joonis 2B) probleemset ruumi suure mõõtmelisuse tõttu, samuti sõltuvust abstraktsemate tasemete õppimisest DA-spiraalide kaudu. Järelikult peaks dueolateraalses striatumis esinev kii-indutseeritud DA-väljavool arenema järk-järgult ja muutuma nähtavaks alles pärast ulatuslikku väljaõpet (Joonis 3).

Lae:

• PPT

  PowerPointi slaid

• PNG

  suurem pilt (447KB)

• TIFF

  originaalpilt (896KB)

Joonis 3. Dopamiini väljavool erinevatel striatsioonilistel alampiirkondadel vastusena ravimiga seotud märkidele (simulatsiooni tulemused).

Kooskõlas katseandmetega [17], näitab mudel (vasak veerg), et vastusena ravimiga seotud vihjetele on pärast piiratud ja ulatuslikku väljaõpet ventral striatumis dopamiini väljavool. Rohkem dorsolateraalsetel alampiirkondadel areneb õppimise käigus järk-järgult ka dekolteeritud DA-väljavool. Mudel prognoosib (teine ​​veerg paremalt), et see viivitusega DA-väljavoolu edasiminek dorsaalses striatumis sõltub DA-sõltuvast seeriaühendusest, mis seob ventraali dorsaalse striatumiga. See tähendab, et DA-spiraalide lahtiühendamise tulemusena, samas kui cue-elected DA-vastus jääb ventraalses striatumis puutumata, väheneb see oluliselt dorsolateraalses striatumis. Veelgi enam, mudel ennustab (kolmas veerg paremalt) sarnaseid tulemusi löögiga indutseeritud DA väljavoolu korral dorsolateraalses striatumis kahjustatud ventraalse striatumi puhul. Lõpuks, kui pärast ulatuslikke narkootikumide sidumist tervetes loomades järgib karistus ravimit, ennustab mudel (parem veerg), et ravimiga seotud kii põhjustab DA-spiraalide vatsakeha pärssimist isegi pärast piiratud koolitust. Dorsaalsetes piirkondades aga väheneb DA-väljavool õppimise ajal aeglaselt, kuid jääb positiivseks isegi pärast ulatuslikku narkootikumide karistamise sidumist. Selles joonises esitatud andmed on saadud ühest simuleeritud loomast ja seega ei olnud statistiline analüüs kohaldatav.

doi: 10.1371 / journal.pone.0061489.g003

Lisaks selgitab meie mudel tõendeid [17] et selline viivitusega tingitud DA-väljavoolu edasilükkamine dorsolateraalses striatumis sõltub kõhu striatumist (Joonis 3). Meie mudelis vähendab ventraalse striatumi simuleeritud ühepoolne kahjustus (mudeli abstraktne hindamistase) ipsilateraalse poolkera üksikasjalikel tasemetel ravimi prognoositavat väärtust märkimisväärselt ja seega vähendab märkimisväärselt luude indutseeritud DA effluxi taset. Ventraalse striatumi kahjustuse modelleerimiseks fikseerime lihtsalt kõigi stiimulite väärtuse hierarhia kõrgeimal tasemel nullini.

Samamoodi ennustab meie mudel, et faasilise DA signaalimise arendamine dorsolateraalses striatumis sõltub DA-spiraalse ahela terviklikkusest (Joonis 3). Tegelikult vähendab meie mudeli lahtiühendamine DA-spiraalses ahelas abstraktsioonitasemeid, mis omakorda takistab ravimi poolt esilekutsutud nihke tekkimist tugevdussignaalile piki otsuste hierarhia taset. Ventraalse ja dorsaalse striatumi DA-sõltuva seeriaahela katkestamise modelleerimiseks klammerdame iga abstraktsiooni taset, et arvutada prognoosivigade signaal kohalikult (nagu võrrandis 3), saamata ajaliselt edasijõudnud oleku väärtust kohe kõrgemast väärtusest abstraktsiooni tase.

Lisaks prognoosib mudel, et dünaamilise eritunnuse efekti muster muutub, kui pärast ulatuslikku kokaiini ja kokaiiniga seotud vihjeid, nagu ülaltoodud katses, hakkab kokaiini kohaletoimetamine tugevalt karistama. Me prognoosime, et DA-väljavool vastusena kokaiiniga seotud kihis peaks ventraalse striatumi puhul kiiresti langema allapoole lähtejoont. Dorsolateraalse striatumi korral peaks kihi poolt indutseeritud DA vabanemine siiski jääma baastasemest kõrgemale (Joonis 3) koos võimaliku hilinenud osalise vähenemisega. See näitab positiivse subjektiivse väärtuse määramist narkootikumide stiimulile üksikasjalikel tasemetel, hoolimata negatiivsetest (allpool algväärtust) väärtustest kognitiivsetel tasemetel. Tähelepanuväärne on see, et see prognoos sõltub eeldusest, et aju kohtleb karistust lihtsalt negatiivse tasuna. See eeldus on mõnevõrra vastuoluline: seda toetavad selgelt eksperimentaalsed uuringud [35], mida ka teised arutasid [14], [36]. Välja arvatud see prognoos, ei sõltu mudeli muud aspektid sellest, kas karistust kodeerib dopamiin või mõni muu signalisatsioonisüsteem.

Willuhn et al. [34] ei laiene piisavalt narkootikumide otsimise käitumisele, mida iseloomustab tundlikkus narkootikumidega seotud karistuste suhtes [37], [38]. Seega on põhiküsimus, millele tuleb vastata, milline on suhe DLS-i tekitatud indutseeritud DA-reaktsiooni edasilükatud arengu ja kompulsiivse reageerimise hilise arengu vahel. Meie mudeli kohaselt ei nõua kompulsiivne käitumine mitte ainult uimastivaliku ülemäärast hindamist hierarhia madalal tasemel, vaid ka kontrolli üle käitumise üle abstraktsest kognitiivsest madalatasemelisele tavapärasele protsessile. Nende kahe protsessi ajaline skaala on üksteisest ainult osaliselt sõltuv: ülehindamise protsess sõltub prognoosivea signaalist, samas kui käitumise kontrolli ülekandmine sõltub ka suhtelisest ebakindlusest väärtuse hindamisel. Seega võib uimastitega seotud märkide ülemäärane hindamine hierarhia madalatel tasemetel enne käitumise kontrolli üleviimist ülevalt hierarhia alumisse asendisse. Kahe protsessi täpne ajakava sõltub õppetasemest ja vastavalt erinevatele tasanditele omast mürast (vt. \ T Fail S1 lisateabe saamiseks). Teisisõnu on tõenäoline, et DLS-is tekitatud kihi poolt indutseeritud dopamiini väljavool võib märkimisväärselt areneda enne, kui kompulsiivne ravimite otsimine on käitumuslikult avaldunud.

Ravimite ebajärjekindla hindamise ja looduslike hüvede käitumuslikud tagajärjed

Käitumuslik, meie mudelis, kui karistus on seotud narkootikumidega vabatahtliku uimastitarbimise varases staadiumis, muutub narkootikumide otsimise vastuse abstraktne väärtus kiiresti negatiivseks. Eeldades, et narkootikumide otsimine on nende varajaste etappide ajal abstraktsete tasemete kontrolli all, muudab narkootikumide valiku negatiivne abstraktne hindamine subjekti soovimatuks seda toimingut enam kogeda. See hoiab ära tugevate madalate tasemete eelistamise ravimite suhtes aja jooksul. Seega selgitab mudel ravimite valiku elastsust ravimite tarbimise varases staadiumis, kuid mitte pärast kroonilist kasutamist. Järjekindlalt näitavad sõltuvuse loommudelid, et narkootikumide otsimise vastus tundmatule kahjulikele tagajärgedele tekib alles pärast pikaajalist ravimite iseseisvat manustamist, kuid mitte piiratud narkootikumide tarvitamist. [37], [38]. Erinevalt meie teooriast on varasemad arvutuslikud sõltuvusmudelid [9], [10] on otseses vastuolus selle tõendusmaterjaliga, kuna nad ennustavad, et narkootikumide tarvitamist kohe järgivatel ebasoodsatel käitumistulemustel ei ole motiveerivat mõju isegi uimastite kogumise alguses. Fail S1 lisateabe saamiseks).

Meie mudel kajastab veelgi ravimitulemuste blokeeriva toime esinemist [39]. Blokeerimine on konditsionaalne nähtus, kus A-stiimuli eelnev sidumine tulemusega blokeerib seose moodustumise erinevate stiimulite B vahel selle tulemusega järgneval koolitusetapil, kus nii A kui ka B on esitatud enne tulemuse esitamist. [40]. Meie mudeli simulatsiooni tulemused Pavlovia eksperimentaalses disainis (vt. \ T Fail S1 täiendava teabe saamiseks mudeli Pavlovia versiooni kohta) näitab, et nii looduslike hüvede kui ka narkootikumide puhul, kui hinnanguline väärtus hierarhia teataval tasemel jõuab püsiva olekuni (mitte kasvama piiramatult), ei toimu edasist õppimist. tasemel, kuna ennustusvea signaal on langenud nullini (Joonis 4). Seega blokeeritakse uue stiimuli seostamine juba ennustatud tasuga. Käitumuslikud tõendid, mis näitavad nii ravimite kui ka looduslike tugevdajate blokeerivat toimet [39] on kasutatud peamise argumendina, et kritiseerida varem kavandatud dopamiinipõhist sõltuvuse sõltumatuse mudelit [9]. Siin näitasime, et keskendumine esinduste hierarhilisele iseloomule ja dorsaal-ventraalse spiraalse dopamiini silmusorganisatsioonile võib tegelikult blokeerimisandmeid arvesse võtta, vältides seega seda kriitikat (vt Fail S1 lisateabe saamiseks).

Lae:

• PPT

  PowerPointi slaid

• PNG

  suurem pilt (360KB)

• TIFF

  originaalpilt (615KB)

Joonis 4. Blokeeriv toime looduslikele ja narkootikumide hüvedele.

Mudel ennustab, et blokeerimine toimub looduslike hüvede puhul (A) ja ravimid (B) ainult siis, kui esialgne koolitusperiood on “ulatuslik”, nii et esimene stiimul ennustab täielikult tulemuse väärtust. Pärast mõõdukat koolitust ennustavad paindlikumad kognitiivsed tasemed väärtusi täielikult ja seega blokeerivad edasise õppe. Õppimine on siiski madala tasemega protsessides aktiivne, kui algab teine ​​treeningfaas (mõlema stiimuli samaaegne esitamine). Seega ennustab meie mudel, et mõõdukas algkoolitus looduslike hüvedega blokeerimiskatses toob kaasa ka kognitiivse / käitumusliku vastuolu. Selles joonises esitatud andmed on saadud ühest simuleeritud loomast ja seega ei olnud statistiline analüüs kohaldatav.

doi: 10.1371 / journal.pone.0061489.g004

Nagu eelnevalt mainitud, näitavad mitmed tõendusmaterjalid dorsaalide järkjärgulist domineerimist ventraalse striatumi üle käitumise kontrollimisel õppimise käigus [8], [31], [32]. Nende tõendite taustal tõlgendatuna selgitab narkootikumide otsimise tasakaalustamatus kogu hierarhias ka sõltlaste ebaõnnestunud jõupingutusi uimastitarbimise vähendamiseks pärast pikaajalist kogemust uimastitega, kui kontroll uimastitega seotud valikute üle on nihkunud kognitiivsetelt madala tasemel harjumuspärased protsessid. See uimastite domineerivate protsesside ülimuslikkus põhjustab loomulikult käitumuslikku elastsust ravimitega seotud kulude tekkeks (sundravi otsimine), millega tõenäoliselt kaasneb ka enda kirjeldatud viga. Loomulike hüvede puhul ennustab meie mudel siiski seda, et kuigi käitumise elastsus õppimise käigus suureneb, kuna hierarhia tasanditel ei teki hindamis-vastuolusid, pärsivad preemiaga seotud karistused lõpuks preemiaotsinguid.

Meie mudel keskendub tegevuste hindamisele „eeldatavasti antud” otsuste hierarhias ja jätab kõrvale, kuidas abstraktsed valikud ja nende vastavad madalatasemelised alamprogrammid arenduse käigus esialgu avastatakse. Otsustamishierarhia avastamist tehakse ettepanekuks alt-üles protsessiks, mis saavutatakse, jagades kokku madala taseme tegevuste jadad ja koostades abstraktsemad valikud [41]. See protsess, mis väidetavalt liigub seljaajult ventralisele striatumile, on siin pakutud konkurentsimehhanismi vastupidises suunas käitumise kontrollimiseks.

Arutelu

Kasvava hulga tõendeid erinevate striatsiala piirkondade diferentseeritud rolli kohta sõltuvuses tõlgendatakse tavaliselt tavalise ja eesmärgipärase dikotoomia raames [8], [14], [34]. Siin kasutatav hierarhiline otsustamisviis täiendab selliseid kahesüsteemseid kontosid. Arvestades, et kahes protsessis kasutatav lähenemisviis käsitleb erinevaid algoritme (mudelivaba vs. mudel-alus) [30]) ühe probleemi lahendamiseks keskendub hierarhiline RL raamistik sama probleemi erinevatele esitlustele ajalise abstraktsiooni erinevatel tasanditel. Teoreetiliselt võib kas tavaline või eesmärgipõhine algoritm lahendada kõik need probleemi erinevused. Meie mudelis esineb ravimi poolt esilekutsutud diagonaalide kogunemine DA-spiraalide suhtes sellises keskkonnas, kus väärtuse hindamise algoritm on mudelivaba (harjumuse õppimine). See ei välista siiski mudelipõhiste süsteemide olemasolu, mis töötavad hierarhia tipptasemel. PFC-sõltuva eesmärgipõhise hindamis- ja otsustamissüsteemi saab lihtsalt lisada mudelisse, eeldades, et abstraktsiooni kõrgeimal tasemel toiminguid hinnatakse eesmärgipõhise süsteemi abil. Kuigi selline komplikatsioon ei muuda käesolevas käsikirjas esitatud tulemuste olemust, jääb selle täiendav paindlikkus teiste sõltuvuse aspektide selgitamisel tulevastele uuringutele. Tegelikult kasvab meie mudelis, olenemata sellest, kas on olemas otsene otsesüsteem või mitte, lahknevus narkootikumide otsimise asümptootilise väärtuse vahel hierarhia kahe äärmuse vahel koos „tavapärase” protsessiga reguleeritavate otsustasemete arvuga .

Meie teooria valguses võib retsidiivi pidada kognitiivsete tasemete domineerimise perioodi järel seisvate mootoritaseme maladaptive harjumuste taaselustamiseks. Tegelikult võib ette kujutada, et kognitiivse teraapia (inimeste sõltuvuses) või sunniviisilise väljasuremise tagajärjel (abstinensuse loommudelitel) ei lõppenud uimastite otsimise kõrge väärtus hierarhia üksikasjalikul tasemel, vaid muutub seisvaks kontrolli suunamine kognitiivsele tasemele. Kuna uimastitega seotud käitumine on abstraktsel tasemel tundlik ebasoodsate tagajärgede suhtes, on võimalik vältida narkootikumide otsimist, kui käitumise kontrollis domineerivad kõrgetasemelised kognitiivsed protsessid. Võib isegi spekuleerida, et populaarsed 12i sammu programmid (nt anonüümsed alkohoolikud, anonüümsed narkootikumid jne) töötavad osaliselt, nõudes osalejatelt selgesõnaliselt oma narkootikumidega seotud elustiili vastuolu tunnistamist, andes abstraktsetele kognitiivsetele tasanditele selgesõnalise kontrolli oma käitumist. Stressi tingimusi või uimastiga kokkupuutumist (praimimine) võib pidada riskiteguriteks, mis nõrgendavad abstraktsete tasemete domineerimist käitumise üle, mis võib põhjustada uimastite otsimise vastuste tekkimist (varjatud kõrge mittekognitiivsete väärtuste tõttu) ).

Kokkuvõtteks pakume välja mitme uimastisõltuvusele iseloomuliku nähtuse ühtse ülevaate. Meie mudel pakub normatiivset teavet andmete kohta, mis käsitlevad ventraalsete ja seljaaju striataalsete ahelate erinevusi rollide otsimisel uimastite otsimisel ja harjumuste täitmisel, samuti ettepoole suunatud DA ühenduvuse valikulist rolli ravimite ja looduslike tugevdajate mõju osas. Kõige tähtsam on see, kuidas me näitame, kuidas uimastitest põhjustatud patoloogia ventraalsest seljaaju DA signaalides motivatsiooniteabe kognitiivsesse esindushierarhiasse viimiseks võib viia ebakõlasse sõltlaste abstraktsete hoiakute vahel narkootikumide otsimises ja selles, mida nad tegelikult teevad. Ilmselgelt ei anna meie mudel narkootikumide sõltuvusest täielikku ülevaadet ega ole mõeldud selleks. Sõltuvuse muude seletamatute aspektide selgitamine nõuab paljude teiste ajusüsteemide kaasamist, mida kuritarvitamise ravimid on tõestanud [42]. Selliste süsteemide lisamine formaalsesse arvutivõrku jääb edasise uurimise teemaks.

Tugiteave

Fail S1.

Joonis S1,Valimi otsuste hierarhia, milles on viis abstraktset taset. Joonis S2, Kolme arutatud väärtuse õppimise algoritmi vastav närvikontroll on hierarhiline otsustusstruktuur. A, Kasutades lihtsat TD-õppe algoritmi (võrrand S7) arvutatakse prognoosivea signaal igas abstraktsioonitasandis teistest tasanditest sõltumatult. B, Haruno ja Kawato (4) (võrrand S8) poolt väljapakutud mudelis saadakse ajaliselt edasijõudnud riigi väärtus ühest kõrgemast abstraktsiooni tasemest. C, meie mudelis (võrrand S9) asendatakse ajaliselt arenenud oleku väärtus sooritatud tegevuse tasu ja Q-väärtuse kombinatsiooniga kõrgemal abstraktsioonitasemel. Joonis S3, Meie mudel ennustab erinevates narkootikumide toimekohtades tasu-õppe ahelas: saidid 1 kuni 3. 4-i 6-i mõjutavad ravimid seevastu ei too kaasa käitumis- ja neurobioloogilisi mudeleid, mis on saadud narkootikumide mudeli simuleerimisega, vaid annavad tulemusi, mis on sarnased looduslike hüvedega. Joonis S4, Ülesanne, mida kasutati ebakindluspõhise konkurentsimehhanismi simuleerimiseks hierarhia tasandite vahel käitumise kontrollimiseks. Joonis S5, Simulatsioonitulemus, mis näitab järkjärgulist üleminekut käitumise üle kõrgemale hierarhia madalamale tasemele. Q (s) ja U (s) näidata vastavalt oleku-tegevuse paaride hinnangulist väärtust ja määramatust.

doi: 10.1371 / journal.pone.0061489.s001

(PDF)