Nesubalansuota sprendimų hierarchija priklausomybėse, atsirandančiose iš narkotikų užgrobtų dopamino spiralinės grandinės (2013)

 

  • Mehdi Keramati paštas,
     
  • Borisas Gutkinas

 

Abstraktus

Nepaisant to, kad ilgalaikiai narkomanai aiškiai nori mesti rūkyti, jie yra bejėgiai atsispirti narkotikams, nors žino, kad narkotikų vartojimas gali būti žalingas veiksmas. Toks neatitikimas tarp aiškių žinių apie neigiamas pasekmes ir kompulsyvaus elgesio modelių yra kognityvinis/elgesio konfliktas, kuris yra pagrindinė priklausomybės savybė. Neurobiologiškai lemiamą vaidmenį kompulsyviam narkotikų ieškant vaidina diferencinės užuominos sukeltas aktyvumas skirtinguose striataliniuose subregionuose, taip pat dopamino ryšys, besitęsiantis iš ventralinių striatalinių regionų į nugaros sritis. Tačiau funkcinis mechanizmas, integruojantis šiuos neurofarmakologinius stebėjimus su aukščiau minėtu kognityviniu / elgesio konfliktu, nežinomas. Čia pateikiame oficialų skaičiavimo paaiškinimą dėl narkotikų sukelto kognityvinio nenuoseklumo, kuris yra akivaizdus narkomanų „savaime apibūdintoje klaidoje“. Mes parodome, kad priklausomybę sukeliantys narkotikai palaipsniui sukelia motyvacinį šališkumą narkotikų paieškai žemo lygio įprastų sprendimų procesuose, nepaisant žemo abstraktaus šio elgesio pažinimo vertinimo. Ši patologija atsiranda hierarchinio sustiprinimo mokymosi sistemoje, kai lėtinis vaisto poveikis farmakologiškai sukelia patologiškai nuolatinius fazinius dopamino signalus. Tokiu būdu vaistas užgrobia dopaminergines spirales, kurios kaskaduoja sustiprinimo signalus žemyn ventro-nugarinės žievės-striato hierarchija. Neurobiologiškai mūsų teorija rodo greitą vaistų sukelto dopamino ištekėjimo ventraliniame striatum vystymąsi ir uždelstą atsaką nugaros juostoje. Mūsų teorija taip pat rodo, kaip šis atsako modelis labai priklauso nuo dopamino spiralinės grandinės. Elgsenos požiūriu mūsų sistema paaiškina laipsnišką narkotikų ieškojimo nejautrą su narkotikais susijusioms bausmėms, narkotikų vartojimo pasekmių blokavimo reiškinį ir nuolatinį narkomanų pirmenybę narkotikams, o ne natūraliems atlygiams. Modelis siūlo patikrinamas prognozes ir, be to, sudaro sąlygas suvokti priklausomybę kaip hierarchinių sprendimų priėmimo procesų patologiją. Šis požiūris papildo tradicinį priklausomybės aiškinimą kaip įprastų ir į tikslą nukreiptų sprendimų sistemų sąveiką.

Įvadas

„Pripažinome, kad esame bejėgiai dėl savo priklausomybės – kad mūsų gyvenimas tapo nevaldomas“, – teigiama pirmajame anoniminių narkomanų 12 žingsnių programos principe. [1]. Tai atskleidžia, kaip bejėgiai narkomanai atsiduria priešindamiesi narkotikams, nepaisant žinojimo, kad narkotikų vartojimas yra neteisingas veiksmas. [2]-[4]. Tiesą sakant, priklausomybės požymis yra priverstinis narkotikų ieškojimas net ir akivaizdžių neigiamų pasekmių kaina. [5]. Tokio patologinio elgesio požymis tampa akivaizdus kontroliuojamuose eksperimentuose, kuriuose narkomanai demonstruoja būdingą „savarankišką klaidą“: neatitikimą tarp stiprios elgsenos reakcijos į su narkotikais susijusius pasirinkimus ir santykinai mažos subjektyvios vertės, kurią narkomanas praneša apie narkotikus. [4], [6], [7]. Kartu su slopinančia kognityvine elgesio kontrole, po ilgo narkotikų poveikio šis pažinimo planų ir susiformavusių įpročių skirtumas gali lemti perėjimą nuo atsitiktinio į kompulsyvų narkotikų ieškojimo elgesį. [8].

Kognityvinės kontrolės praradimas ir savaime apibūdinta klaida iki šiol buvo išvengta principinio paaiškinimo formaliais priklausomybės modeliais. [9]-[13]. Ankstesnėse kompiuterinėse priklausomybės nuo narkotikų teorijose, dažniausiai pateiktose mokymosi sustiprinimo sistemoje, priklausomybė laikoma patologine įpročio mokymosi (stimulo-atsako) sistemos būsena. [9]-[13]. Pagrindinė visų šių modelių hipotezė yra ta, kad farmakologinis vaistų poveikis dopamino signalizacijai, tariamai pernešantis stimulo ir atsako mokymo signalą, lemia laipsnišką tokių asociacijų stiprėjimą. Šis poveikis savo ruožtu sukelia priverstinius narkotikų paieškos įpročius. Nors šis sumažėjęs požiūris į priklausomybę užfiksavo kai kuriuos reiškinio aspektus, didėjantis sutarimas priklausomybės literatūroje rodo, kad patologijoje dalyvauja kelios mokymosi sistemos. Tik toks sudėtingesnis vaizdas, apimantis smegenų pažinimo ir žemo lygio įprastinius procesus, gali paaiškinti priklausomybę panašaus elgesio įvairovę. [8], [14].

Šiame darbe taikome hierarchinį mokymosi stiprinimo metodą [15] kai sprendimai pateikiami skirtinguose abstrakcijos lygiuose, kognityvinėje – motorinėje hierarchijoje. Manome, kad nuo dopamino priklausomų mokymosi signalų kaskada susieja hierarchijos lygius [16]. Be to, darome prielaidą, kad piktnaudžiavimo vaistais farmakologiškai pažeidžiamas komunikacijos mechanizmas tarp abstrakcijos lygių. Remdamiesi šiomis prielaidomis, parodome, kad praneštas kognityvinis narkomanų disonansas atsiranda hierarchinio mokymosi sustiprinimo sistemoje, kai lėtinis narkotikų poveikis sutrikdo vertybių mokymąsi visoje sprendimų hierarchijoje. Šis sutrikimas lemia patologinį vaistų pasirinkimo pervertinimą esant žemo lygio įprastiems procesams ir todėl skatina įprastą narkotikų ieškojimo elgesį. Tada parodome, kad „nemėgstamą“, bet priverstinį narkotikų ieškojimą galima paaiškinti kaip narkotikų užgrobtus žemo lygio įprasti procesai, dominuojantys elgesyje, o sveikos kognityvinės sistemos aukščiausiame reprezentaciniame lygmenyje praranda elgesio kontrolę. Be to, mes parodome, kad siūlomas modelis gali paaiškinti naujausius įrodymus apie greitą arba uždelstą vaistų sukelto dopamino ištekėjimo vystymąsi ventraliniame ir nugariniame striatum, taip pat šio modelio priklausomybę nuo dopamino spiralinės grandinės.

Medžiagos ir metodai

Preliminariai

Suderinama su turtinga kognityvinės psichologijos literatūra, mūsų hierarchinis mokymasis sustiprina [15], [18] sistemoje daroma prielaida, kad abstraktų pažinimo planą, pvz., „arbatos virimą“, galima suskaidyti į žemesnio lygio veiksmų seką: vandens virimą, arbatos įdėjimą į puodą ir pan. Toks skaidymas vyksta tol, kol konkretūs motorinio lygio atsakai žemiausiame arbatos lygyje. hierarchija (Pav. 1A). Neurobiologiškai skirtingi sprendimų hierarchijos lygiai nuo kognityvinio iki motorinio lygio yra pavaizduoti išilgai žievės-bazinių ganglijų (BG) grandinės rostro-kaudalinės ašies. [19]-[21]. Ši grandinė susideda iš kelių lygiagrečių uždarų kilpų tarp priekinės žievės ir bazinių ganglijų [22], [23] (Pav. 1B). Nors priekinės kilpos yra abstraktesnio veiksmų vaizdavimo pagrindas, uodegos kilpos, susidedančios iš sensorinės-motorinės žievės ir nugaros šoninio striatumo, koduoja žemo lygio įpročius. [19]-[21].

miniatiūrų

1 pav. Hierarchinis elgesio organizavimas ir kortiko-BG grandinė.

A, Dviejų alternatyvių pasirinkimų sprendimų hierarchijos pavyzdys: vaistas prieš maistą. Kiekvienas veiksmas yra vaizduojamas skirtingais abstrakcijos lygiais, tariamai užkoduotas skirtingose ​​kortiko-BG kilpose. Dėl kiekvieno iš dviejų atlygio rūšių gali būti skirta 16 balų bausmė. B, Glutamaterginės jungtys iš skirtingų prefrontalinių sričių išsikiša į striatalinius subregionus, o vėliau per blyškiąją ertmę ir talamą projektuoja atgal į PFC, sudarydamos kelias lygiagrečias kilpas. Per striato-nigro-striatalinį dopamino tinklą ventraliniai striatum regionai daro įtaką labiau nugarinėms sritims. vmPFC, ventralinė medialinė prefrontalinė žievė; OFC, orbitinė priekinė žievė; dACC, nugaros priekinė cingulinė žievė; SMC, sensorinė-motorinė žievė; VTA, ventralinė tegmentinė sritis; SNc, substantia nigra pars compacta. Pav. 1B Pakeistas iš 21 nuorodos.

doi: 10.1371 / journal.pone.0061489.g001

Šioje grandinėje tarpinių smegenų dopamino (DA) neuronų, išsikišančių į striatumą, fazinis aktyvumas signalizuoja apie numatyto ir gauto atlygio paklaidą, tokiu būdu perduodant stimulą ir atsaką stiprinančią informaciją. [24]. Šios DAerginės projekcijos sudaro pakopinį nuoseklų ryšį, jungiantį labiau ventralinius striatumo regionus su vis daugiau nugaros sritimis per vadinamąsias „spiralines“ jungtis. [25]-[27] (Pav. 1B). Funkciniu požiūriu toks nukreipimo į priekį organizavimas, jungiantis rostralines ir uodegines kortiko-BG kilpas, leidžia nukreipti ryšį nuo grubių iki smulkių vaizdų. Atitinkamai, hipotezė, kad DA spiralės yra neurobiologinis substratas laipsniškam atlygio prognozavimo klaidos derinimui aukštesniuose hierarchijos lygiuose (koduojančios abstrakčias žinias apie elgesio variantų vertę). Tada ši klaida naudojama veiksmo reikšmėms atnaujinti detalesniais lygiais [16]. Kitaip tariant, DA spiralės leidžia abstrakčiams pažintiniams vertinimo lygiams vadovauti mokymuisi detalesniuose veiksmų vertinimo procesuose.

Teorijos eskizas

Kalbant apie pastiprinimo mokymosi skaičiavimo teoriją [28] (RL), agentas (mūsų atveju asmuo arba gyvūnas) išmoksta priimti pagrįstus veiksmus, atnaujindamas savo išankstinę numatomą vertę, , kiekvienai būsenos ir veiksmų porai, , kai atlygis agentas gauna laiku kaip veiksmo atlikimo rezultatas kontekstinėje būsenoje (stimulas) . Vertė atnaujinamas apskaičiuojant atlygio numatymo klaidos signalą. Šis signalas priklauso ne tik nuo akimirksniu gauto atlygio (), bet ir naujos būsenos vertę, į kurią agentas patenka po to, kai buvo atliktas šis veiksmas. Žymima , ši laikinai išplėstinė vertės funkcija parodo būsimų atlygių, kurių gyvūnas tikisi gauti iš gautos būsenos, sumą, , toliau. Numatymo paklaidą galima apskaičiuoti pagal šią lygtį:


(1)

Intuityviai numatymo klaidos signalas apskaičiuoja neatitikimą tarp laukiamos ir realizuotos veiksmo atlygio vertės. Tačiau hierarchinėje sprendimų struktūroje, o ne mokantis -reikšmes nepriklausomai skirtinguose lygiuose, abstraktesni lygiai gali suderinti mokymo signalą, apskaičiuotą žemesniuose lygiuose. Kadangi aukštesni hierarchijos lygiai yra abstraktesnis aplinkos nenumatytų atvejų vaizdas, tuose lygiuose mokymasis vyksta greičiau. Taip yra dėl santykinai žemo abstrakčios elgesio vaizdavimo dimensijos: veiksmų planas gali būti pavaizduotas kaip vienas žingsnis (viena dimensija) aukščiausiame hierarchijos lygyje ir kaip keli detalūs veiksmai (kelios dimensijos) žemesniuose lygiuose. hierarchijos. Aukščiausio lygio šio veiksmų plano vertė būtų išmokta greitai, palyginti su išsamiais lygiais, kai atlygio klaidos turėtų būti grąžintos į visus išsamius veiksmų veiksmus. Taigi žemesnio lygio reikšmių derinimas pagal verčių informaciją iš aukštesnių lygių gali pagreitinti šių verčių konvergenciją. Vienas statistiškai efektyvus būdas tai padaryti yra manyti, kad numatymo klaidos signalui apskaičiuoti - abstrakcijos lygis, , laikinos vertės funkcija, , kilęs iš vieno aukštesnio abstrakcijos lygio, [16]:


(2)

Siekiant išsaugoti optimalumą, 2 lygtis gali būti naudojama numatymo paklaidai apskaičiuoti tik tada, kai atliekamas paskutinis abstrakčios parinkties sudedamasis primityvus veiksmas (žr. S1 pav. Failas S1). Kitais atvejais vertės mokymasis skirtinguose lygiuose vyksta nepriklausomai, kaip ir 1 lygtyje. Abiem atvejais mokymo signalas naudojamas ankstesnėms atitinkamo lygio reikšmėms atnaujinti:


(3)
kur yra mokymosi greitis. Ši informacijos mainų tarp lygių forma yra biologiškai tikėtina, nes ji atspindi spiralinę DA grandinės struktūrą, pernešdama informaciją hierarchija žemyn ventro-nugaros kryptimi. Tuo pačiu metu, vadovaujantis abstraktesniais lygmenimis, mokymasis žymiai pagreitėja, sumažinant aukštą vertybių mokymosi detalumą. [16].

Šiame darbe parodome, kad sąveika tarp modifikuotos modelio versijos, sukurtos m [16] ir specifinis farmakologinis piktnaudžiavimo narkotikais poveikis dopaminerginei sistemai gali užfiksuoti su priklausomybe susijusius duomenis radikaliai skirtingomis analizės skalėmis: elgesio ir grandinės lygio neurobiologinėmis. Pirma, naujasis modelis pateikia galimą įtikinamą kelių intriguojančių elgsenos aspektų, susijusių su priklausomybe nuo narkotikų (pvz., savęs apibūdintos klaidos) paaiškinimą. [4], [6], [7]). Antra, galime pateikti daugybę įrodymų, susijusių su vaistų sukelto dopamino išsiskyrimo dinamika [17].

Modifikuojame pateiktą modelį [16] taip. Pakeisdami modelį padarome efektyvesnį darbo atminties talpos požiūriu su , 2 lygtyje, nes abi vertės susilieja į tą patį pastovų lygį (žr. S2 pav. Failas S1, skaičiavimo ir neurobiologiniam pagrindui):


(4)

Čia yra gana abstraktus variantas ir yra paskutinis primityvus veiksmas elgesio sekoje, kuris visiškai užpildo šią parinktį. Panašiai, yra naudinga vertė , Kuri apima (apdovanojama vertė ).

Svarbiausia, kad įvairūs narkotikai, kuriais piktnaudžiauja žmonės, turi pagrindinę savybę – farmakologiškai didina dopamino koncentraciją juostoje. [29]. Atitinkamai, mes įtraukiame šį farmakologinį vaisto poveikį, pridėdami teigiamą šališkumą, , (taip pat žr [9]-[12]) į numatymo klaidos signalą, kurį perduoda dopamino neuronai (žr. S3 paveikslą). Failas S1, skaičiavimo ir neurobiologiniam pagrindui):


(5)

Čia fiksuoja tiesioginį farmakologinį vaisto poveikį DA sistemai ir yra jo sustiprinanti vertė dėl euforogeninio poveikio (žr Failas S1 dėl papildomos informacijos).

Nors 3 ir 5 lygtys kartu apibrėžia skaičiavimo mechanizmą mūsų modelio reikšmėms atnaujinti, mes taip pat manome, kad neapibrėžtumu pagrįstas konkurencijos mechanizmas lemia abstrakcijos lygį, kuris kontroliuoja elgesį. Tai įkvėpė pasiūlytas mechanizmas [29] arbitražui tarp įprastos ir į tikslą nukreiptos sistemos. Šiuo atžvilgiu kiekviename sprendimo taške elgesį valdo tik abstrakcijos lygis, turintis didžiausią tikrumą vertinant pasirinkimų vertę. Kai šis lygis priims sprendimą veikti, visi žemesni hierarchijos lygiai bus panaudoti šiame dominuojančiame lygyje, kad pasirinktas veiksmas būtų įgyvendintas kaip primityvių motorinių reakcijų seka (žr. Failas S1 dėl papildomos informacijos; S4 pav Failas S1; S5 pav Failas S1). Gavus atlygio grįžtamąjį ryšį iš aplinkos, atnaujinamos visų lygių reikšmės. Šis neapibrėžtumu pagrįstas arbitražo mechanizmas numato, kad kadangi abstraktūs procesai yra lankstesni, jie turi geresnes vertės aproksimavimo galimybes ankstyvosiose mokymosi stadijose ir tokiu būdu kontroliuoja elgesį šiuose etapuose. Tačiau kadangi abstrakčiuose lygiuose naudojamas grubus aplinkos vaizdas (pvz., dėl santykinai mažo bazinių funkcijų skaičiaus), jų galutinės vertės aproksimavimo galimybė nėra tokia tiksli kaip detalių lygių. Kitaip tariant, po išsamaus mokymo su apskaičiuotomis reikšmėmis susijęs tikrumas žemesniuose hierarchijos lygiuose yra mažesnis, palyginti su viršutiniais lygiais. Taigi, progresyvaus mokymosi metu žemesni hierarchijos lygiai perima veiksmų pasirinkimo kontrolę, nes jų neapibrėžtumas palaipsniui mažėja. Tai sutampa su keletu įrodymų, rodančių laipsnišką nugaros dominavimą virš ventralinio striatum, kontroliuojant narkotikų ieškojimą (taip pat ir natūralaus atlygio siekimą). [8], [30], [31].

rezultatai

Hierarchijos vertinimo nenuoseklumas išryškėja kalbant apie vaistus, bet ne dėl natūralių atlygių

Priešingai nei ankstesni sustiprinti mokymu pagrįsti priklausomybės skaičiavimo modeliai [9]-[13] kurios yra pagrįstos vieno sprendimo sistemos metodu, mūsų paskyra sukurta remiantis kelių sąveikaujančių sistemų sistema. Dėl to, nors vaisto poveikio prognozavimo klaidos signalui modeliavimo forma mūsų modelyje yra panaši į ankstesnius. [9]-[12], tai sukelia iš esmės skirtingas pasekmes. Narkotikų sukeltas laikinas dopamino padidėjimas padidina tiesioginę numatymo klaidą kiekviename hierarchijos lygyje ir dėl to atsiranda šališkumo, , apie žinių perdavimą iš vieno abstrakcijos lygio į kitą hierarchijos kryptimi nuo stambios iki smulkios. Dėl šio šališkumo atsiranda asimptotinė narkotikų paieškos vertė tam tikru lygiu vienetais didesnis nei dar vieno abstraktaus sluoksnio (Pav. 2B). Šių neatitikimų kaupimasis išilgai rostro-kaudalinės ašies palaipsniui sukelia reikšmingus narkotikų ieškojimo elgesio vertės skirtumus tarp viršutinio ir apatinio hierarchijos kraštutinumų. Taigi, net jei po to seka griežta bausmė, su narkotikais susijusio elgesio vertė išlieka teigiama žemo lygio motorinėse kilpose, o kognityviniame lygmenyje ji tampa neigiama. Kitaip tariant, modelis prognozuoja, kad vaisto poveikio kaupimasis per DA spirales padidina narkotikų ieškojimo vertę motorinio lygio įpročiuose iki tokios didelės amplitudės, kad net stipri natūrali bausmė negalės jos pakankamai sumažinti. Manome, kad tai paaiškina nesuderinamumą tarp kognityvinio ir žemo lygio narkomanų elgesio, susijusio su narkomanija, vertinimo. Kitaip tariant, siūlome, kad kompulsinis narkotikų ieškojimas ir žymiai sumažėjęs elastingumas susijusioms išlaidoms kiltų dėl farmakologinio vaisto poveikio, kuris užgrobia nuo dopamino priklausomą mechanizmą, kuris perduoda informaciją tarp sprendimų hierarchijos lygių.

miniatiūrų

2 pav. Motyvacija maistui ir narkotikai skirtinguose abstrakcijos lygiuose (modeliavimo rezultatai).

Per pirmuosius 150 bandymų, kai po atlygio neskiriama bausmė, natūralaus atlygio siekimo vertė visais lygiais suartėja iki 10 (A). Tačiau, kalbant apie vaistą, tiesioginis farmakologinis vaisto poveikis (, nustatytas į) nustato asimptotinę reikšmę kiekviename lygyje vienetai, didesni nei vieno aukštesnio abstrakcijos lygio (B). Taigi, kai seka bausmė, o kognityvinės kilpos teisingai priskiria neigiamą reikšmę narkotikų ieškojimo pasirinkimui, motorinio lygio kilpos narkotikų ieškojimą laiko pageidaujamu (teigiama reikšmė). Šiame paveiksle pateiktos kreivės rodo „vieno“ modeliuojamo gyvūno verčių raidą, todėl statistinė analizė nebuvo taikoma.

doi: 10.1371 / journal.pone.0061489.g002

Nors mūsų modelyje vaistai sukelia nesubalansuotą vertinimą visuose lygiuose, natūralaus atlygio vertė susilieja į tą pačią vertę visuose lygiuose, nes nėra tiesioginio farmakologinio poveikio DA signalizacijos mechanizmui (). Todėl natūralaus atlygio atveju nebus pastebėtas nei nenuoseklumas, nei pervertinimas išsamiais lygmenimis (Pav. 2A). Pervertinus atsakymus į narkotikų paieškas žemesniuose hierarchijos lygiuose, turėtų atsirasti neįprastai pirmenybė narkotikams, o ne natūraliems atlygiams, ir pernelyg didelis įsitraukimas į su narkotikais susijusią veiklą.

Diferencinis dopamino atsakas į ventralinį ir nugarinį striatumą į su vaistais susijusius signalus

Neurobiologiniu požiūriu priklausomybės tyrimų centre atsidūrė skirtingi striatalinių subregionų vaidmenys įsigyjant ir išreiškiant narkotikų ieškojimo elgesį. Suvienodinti skirtingų tyrimų krypčių įrodymai rodo, kad elgsenos perėjimas nuo pramoginio prie kompulsinio narkotikų vartojimo atspindi neurobiologinį vertinimo poslinkį nuo ventralinio iki dorsolaterinio striatum. [8], [33], [34], atitinkantį mūsų modelio perėjimą nuo pažinimo į detalų lygį. Remiantis mūsų modeliu, įrodyta, kad DA spiralinis tinklas, jungiantis pilvą su vis labiau nugarinėmis juostelės sritimis, atlieka pagrindinį vaidmenį šiame perėjime. [25].

Pagrindiniame neseniai atliktame tyrime Willuhn ir kt. [17] įvertino dopamino išsiskyrimo pobūdį, reaguojant į su narkotikais susijusius signalus žiurkių ventraliniame ir dorsolateriniame striate per tris kokaino vartojimo savaites. Naudojant greito nuskaitymo ciklinę voltamperometriją, kritinis pastebėjimas buvo tas, kad užuominos sukeltas DA ištekėjimas ventraliniame striatum atsiranda net po labai riboto treniruočių. Priešingai, dorsolaterinis striatumas parodė signalų sukeltą DA ištekėjimą tik po intensyvių treniruočių, o šio išsiskyrimo modelio raida išnyko, kai ventralinis striatumas buvo pažeistas ipsilateraliniame pusrutulyje.

Kadangi greito nuskaitymo voltamperometrijos laikinoji skiriamoji geba užfiksuoja posekundinius koncentracijos svyravimus, pastebėtas DA ištekėjimo modelis turėtų būti priskirtas „faziniam“ DA signalizavimui, taigi ir prognozavimo klaidos signalui pagal RL dopamino teoriją. [24]. Remiantis RL teorija, prognozavimo klaidos signalas stebint netikėtą dirgiklį yra lygus atlyginimo vertei, kurią tas stimulas numato. Todėl signalo sukeltas DA išleidimas yra lygiavertis tos užuominos prognozuojamai vertei.

Šiuo atžvilgiu mūsų hierarchinė sistema pateikia oficialų skirtingą ventralinio ir nugaros striatalinio DA ištekėjimo modelio paaiškinimą, apie kurį pranešta [17]. Su narkotikais susijusio užuominos nuspėjama vertė abstrakčiuose kognityviniuose hierarchijos lygiuose sparčiai didėja labai ankstyvose mokymo stadijose (Pav. 2B), dėl mažo mokymosi problemos dimensijos esant dideliam abstrakcijos lygiui. Dėl to mūsų modelis rodo, kad užuominų sukeltas DA ištekėjimas turėtų būti stebimas ventraliniame striatum net ir po ribotos treniruotės (3 pav). Tačiau detalesniuose vaizdavimo lygiuose mokymosi procesas yra lėtas (Pav. 2B), dėl didelio probleminės erdvės dimensijos, taip pat mokymosi priklausomybės abstraktesniais lygmenimis per DA spiralę. Vadinasi, užuominų sukeltas DA ištekėjimas į dorsolaterinį striaumą turėtų vystytis palaipsniui ir būti pastebimas tik po ilgo treniruočių (3 pav).

miniatiūrų

3 pav. Dopamino ištekėjimas skirtinguose striataliniuose subregionuose, reaguojant į su vaistais susijusius signalus (modeliavimo rezultatai).

Atitinka eksperimentinius duomenis [17], modelis rodo (kairysis stulpelis), kad reaguojant į su narkotikais susijusius signalus, po riboto ir intensyvaus mokymo ventraliniame striatum bus dopamino ištekėjimas. Tačiau labiau dorsolateriniuose subregionuose užuominų sukeltas DA išsiliejimas palaipsniui vystysis mokymosi metu. Modelis numato (antras stulpelis iš dešinės), kad šis uždelstas užuominų sukelto DA ištekėjimo vystymasis nugaros juostoje priklauso nuo DA priklausomo nuoseklaus ryšio, jungiančio ventralinę dalį su nugaros striatum. Tai reiškia, kad dėl DA spiralių atjungimo, nors užuominų sukeltas DA atsakas lieka nepakitęs ventraliniame striatum, jis žymiai sumažėja dorsolateriniame striatum. Be to, modelis prognozuoja (trečias stulpelis iš dešinės) panašius rezultatus dėl užuominos sukelto DA ištekėjimo dorsolateriniame striatum, jei pažeistas ventralinis striatumas. Galiausiai, jei po plataus vaisto ir signalo poravimo nepažeistiems gyvūnams, po vaisto vartojama bausmė, modelis numato (dešinysis stulpelis), kad su vaistais susijęs signalas slopina DA spiralių ventralinę koją, net ir po ribotos treniruotės. Tačiau labiau nugariniuose regionuose DA ištekėjimas mokymosi metu mažėja lėtai, tačiau išliks teigiamas net ir po plataus narkotikų ir bausmės poravimosi. Šiame paveikslėlyje pateikti duomenys gauti iš „vieno“ imituoto gyvūno, todėl statistinė analizė nebuvo taikoma.

doi: 10.1371 / journal.pone.0061489.g003

Be to, mūsų modelis paaiškina įrodymus [17] kad toks uždelstas užuominų sukelto DA ištekėjimo vystymasis dorsolateriniame striatum priklauso nuo ventralinio striatumo (3 pav). Mūsų modelyje imituotas vienašalis ventralinio striatumo pažeidimas (abstraktus įvertinimo lygis modelyje) žymiai sumažina vaisto užuominos nuspėjamą vertę detaliuose lygiuose ipsilateraliniame pusrutulyje ir taip žymiai sumažina užuominos sukelto DA ištekėjimo lygį. Norėdami modeliuoti ventralinio striatumo pažeidimą, visų dirgiklių, esančių aukščiausiame hierarchijos lygyje, vertę tiesiog nustatome iki nulio.

Panašiai mūsų modelis prognozuoja, kad fazinio DA signalizacijos vystymasis dorsolateriniame striatum priklauso nuo DA spiralinės grandinės vientisumo (3 pav). Tiesą sakant, mūsų modelio DA spiralinės grandinės atjungimas nutraukia ryšį tarp abstrakcijos lygių, o tai savo ruožtu neleidžia kauptis vaistų sukeltam sustiprinimo signalo paklaidai sprendimų hierarchijos lygiuose. Norėdami modeliuoti atsijungimą nuo DA priklausomoje ventralinio ir nugaros striatumo nuosekliojoje grandinėje, užfiksuojame kiekvieną abstrakcijos lygį, kad apskaičiuotume numatymo klaidos signalą lokaliai (kaip 3 lygtyje), negaudami laikinai pažengusios būsenos vertės iš iš karto aukštesnės. abstrakcijos lygis.

Be to, modelis prognozuoja, kad užuominų sukelto DA ištekėjimo modelis pasikeis, jei po išsamių treniruočių su kokainu ir su kokainu susijusiais ženklais, kaip ir anksčiau minėtame eksperimente, kokaino pristatymas bus pradėtas derinti su stipria bausme. Prognozuojame, kad DA ištekėjimas, reaguojant į su kokainu susijusį signalą, turėtų greitai sumažėti žemiau pradinio lygio ventraliniame striatum. Tačiau dorsolateriniame striatumyje užuominų sukeltas DA išsiskyrimas turėtų išlikti virš pradinio lygio (3 pav) su galimu uždelstu daliniu sumažėjimu. Tai rodo teigiamos subjektyvios vertės priskyrimą narkotikų stimului išsamiais lygiais, nepaisant neigiamų (žemesnių nei pradinio lygio) verčių pažinimo lygiu. Pastebėtina, kad ši prognozė priklauso nuo prielaidos, kad bausmę smegenys traktuoja tiesiog kaip neigiamą atlygį. Ši prielaida yra šiek tiek prieštaringa: ją aiškiai patvirtina eksperimentiniai tyrimai [35], tačiau kiti taip pat aptarė kitaip [14], [36]. Išskyrus šią prognozę, kiti modelio aspektai nepriklauso nuo to, ar bausmė užkoduota dopamino, ar kitos signalizacijos sistemos.

Treniruočių režimas, kurį naudojo Willuhn ir kt. [34] nėra pakankamai išplėstas iki kompulsyvaus narkotikų ieškojimo elgesio, kuriam būdingas nejautrumas su narkotikais susijusioms bausmėms [37], [38]. Taigi pagrindinis klausimas, į kurį reikia atsakyti, yra tai, koks yra ryšys tarp uždelsto užuominų sukelto DA atsako vystymosi DLS ir vėlyvo kompulsinio atsako vystymosi. Pagal mūsų modelį, kompulsyvus elgesys reikalauja ne tik pernelyg didelio vaistų pasirinkimo vertinimo žemuose hierarchijos lygiuose, bet ir elgesio kontrolės perkėlimo iš abstraktaus pažinimo į žemo lygio įprastinius procesus. Šių dviejų procesų laiko skalė tik iš dalies priklauso vienas nuo kito: pervertinimo procesas priklauso nuo prognozavimo klaidos signalo, o elgesio kontrolės perdavimas taip pat priklauso nuo santykinių vertės vertinimo neapibrėžčių. Vadinasi, su narkotikais susijusių ženklų pervertinimas žemuose hierarchijos lygiuose gali būti anksčiau nei elgesio kontrolė perkeliama iš hierarchijos viršaus į apačią. Tikslios dviejų procesų laiko skalės priklauso atitinkamai nuo mokymosi greičio ir triukšmo, būdingo įvairiems lygiams (žr. Failas S1 dėl papildomos informacijos). Kitaip tariant, tikėtina, kad užuominų sukeltas dopamino ištekėjimas DLS gali gerokai išsivystyti prieš pasireiškus kompulsiniam narkotikų ieškojimui.

Nenuoseklaus narkotikų ir natūralaus atlygio vertinimo pasekmės elgesiui

Kalbant apie elgseną, mūsų modelyje, jei bausmė yra suporuota su narkotikais ankstyvose savanoriško narkotikų vartojimo stadijose, abstrakti reakcija į narkotikų paieškas tampa neigiama. Darant prielaidą, kad šiose ankstyvosiose stadijose narkotikų ieškojimas yra kontroliuojamas abstrakčiais lygmenimis, neigiamas abstraktus narkotikų pasirinkimo įvertinimas verčia subjektą nebenorėti patirti tokio elgesio. Tai užkirs kelią stipriam mažo lygio pirmenybės vaistams konsolidavimui laikui bėgant. Taigi modelis paaiškina vaistų pasirinkimo elastingumą sąnaudoms ankstyvosiose narkotikų vartojimo stadijose, bet ne po lėtinio vartojimo. Nuosekliai priklausomybės su gyvūnais modeliai rodo, kad narkotikų ieškojimo atsako į žalingas pasekmes, susijusias su narkotikais, nejautrumas išsivysto tik po ilgo savarankiško vaisto vartojimo, bet neapsiribojant narkotikų vartojimu. [37], [38]. Priešingai nei mūsų teorija, ankstesni priklausomybės skaičiavimo modeliai [9], [10] tiesiogiai prieštarauja šiam įrodymų rinkiniui, nes jie prognozuoja, kad neigiamos elgsenos pasekmės, atsirandančios iškart po narkotikų vartojimo, neturi motyvuojančio poveikio net labai ankstyvose narkotikų vartojimo stadijose (žr. Failas S1 dėl papildomos informacijos).

Mūsų modelis taip pat atsižvelgia į blokuojantį poveikį vaistų rezultatams [39]. Blokavimas yra sąlyginis reiškinys, kai išankstinis stimulo A susiejimas su rezultatu blokuoja susiejimą tarp skirtingo dirgiklio B su tuo rezultatu vėlesnėje treniruočių fazėje, kai tiek A, tiek B pateikiami prieš pateikiant rezultatą. [40]. Mūsų modelio modeliavimo Pavlovo eksperimentiniame projekte rezultatai (žr Failas S1 papildomos informacijos apie Pavlovo modelio versiją) rodo, kad tiek natūralių atlygių, tiek narkotikų atveju, kai apskaičiuota vertė tam tikrame hierarchijos lygyje pasiekia pastovią būseną (o ne neribotai auga), toliau mokomasi. lygiu, nes prognozavimo klaidos signalas sumažėjo iki nulio (4 pav). Taigi naujo stimulo susiejimas su jau numatytu atlygiu bus užblokuotas. Elgesio įrodymai, rodantys blokuojantį poveikį, susijusį su vaistais ir natūraliais stiprintuvais [39] buvo naudojamas kaip pagrindinis argumentas kritikuojant anksčiau pasiūlytą dopamino priklausomybės skaičiavimo modelį [9]. Čia mes parodėme, kad sutelkiant dėmesį į vaizdų hierarchinį pobūdį ir nugaros ir pilvo spiralinę dopamino kilpos organizavimą, iš tikrųjų galima paaiškinti blokuojančius duomenis, taip apeinant šią kritiką (žr. Failas S1 dėl papildomos informacijos).

miniatiūrų

4 pav. Blokuojantis poveikis natūraliems ir vaistams skirtiems atlygiams.

Modelis numato, kad blokavimas įvyksta dėl natūralaus atlygio (A) ir narkotikai (B), tik tuo atveju, jei pradinis mokymo laikotarpis yra „ilgas“, kad pirmasis stimulas visiškai nuspėtų rezultato vertę. Po „vidutinio“ mokymosi, lankstesni pažinimo lygiai visiškai numato vertybes ir taip blokuoja tolesnį mokymąsi. Tačiau mokymasis vis dar aktyvus žemo lygio procesuose, kai prasideda antrasis mokymo etapas (vienu metu pateikiami abu dirgikliai). Taigi mūsų modelis prognozuoja, kad vidutinio sunkumo pradinis mokymas blokuojant eksperimentą su natūraliais atlygiais taip pat sukels pažinimo / elgesio nenuoseklumą. Šiame paveikslėlyje pateikti duomenys gauti iš „vieno“ imituoto gyvūno, todėl statistinė analizė nebuvo taikoma.

doi: 10.1371 / journal.pone.0061489.g004

Kaip minėta anksčiau, keletas įrodymų rodo laipsnišką nugaros dominavimą prieš ventralinį striatumą kontroliuojant elgesį mokymosi metu. [8], [31], [32]. Remiantis šiais įrodymais, nesubalansuotas narkotikų ieškojimo vertinimas visoje hierarchijoje taip pat paaiškina nesėkmingas narkomanų pastangas sumažinti narkotikų vartojimą po ilgos patirties vartojant narkotikus, kai su narkotikais susijusių pasirinkimų kontrolė perėjo iš pažinimo į žemą. lygmens įprasti procesai. Ši narkotikų dominuojamų procesų viršenybė natūraliai lemia elgsenos neelastingumą su narkotikais susijusioms išlaidoms (kompulsyvus narkotikų ieškojimas), greičiausiai kartu su savaime aprašyta klaida. Tačiau, kalbant apie natūralų atlygį, mūsų modelis prognozuoja, kad nors elgsenos neelastingumas didėja mokymosi eigoje, nes hierarchijos lygiuose neatsiranda vertinimo ir nesuderinamumo, su atlygiu susijusios bausmės galiausiai trukdys siekti atlygio.

Mūsų modelis orientuojasi į veiksmų vertinimą „tariamai duotoje“ sprendimų hierarchijoje ir palieka nuošalyje tai, kaip kūrimo metu iš pradžių atrandamos abstrakčios parinktys ir jas atitinkančios žemo lygio paprogramės. Siūloma, kad sprendimų hierarchijos atradimas būtų procesas iš apačios į viršų, atliekamas sujungiant žemo lygio veiksmų sekas ir sukuriant abstraktesnes parinktis. [41]. Šis procesas, kuris tariamai pereina iš nugaros į ventralinį striatumą, yra priešinga čia siūlomam konkurencijos mechanizmui, siekiant kontroliuoti elgesį.

Diskusija

Vis daugiau įrodymų apie skirtingą skirtingų striatalinių subregionų vaidmenį priklausomybės srityje paprastai aiškinama įprastos ir į tikslą nukreiptos dichotomijos rėmuose. [8], [14], [34]. Čia naudojamas hierarchinis sprendimų priėmimo metodas papildo tokias dviejų sistemų paskyras. Tuo tarpu dviejų procesų metodas susijęs su skirtingais algoritmais (be modelio, palyginti su modelio pagrindu [30]) sprendžiant vieną problemą, hierarchinė RL sistema sutelkia dėmesį į skirtingus tos pačios problemos vaizdus skirtinguose laiko abstrakcijos lygiuose. Teoriškai kiekvieną iš šių skirtingų problemos vaizdų gali išspręsti įprastas arba į tikslą nukreiptas algoritmas. Mūsų modelyje vaistų sukeltų paklaidų kaupimasis per DA spiralę vyksta aplinkoje, kurioje vertės įvertinimo algoritmas yra be modelio (įpročio mokymasis). Tačiau tai neatmeta modeliais pagrįstų sistemų, veikiančių aukščiausiuose hierarchijos lygiuose, egzistavimo. Į modelį galima paprasčiausiai įtraukti nuo PFC priklausomą į tikslą nukreiptą vertinimo ir sprendimų sistemą, darant prielaidą, kad aukščiausiuose abstrakcijos lygiuose esantys veiksmai vertinami į tikslą nukreipta sistema. Nors tokia komplikacija nekeičia šiame rankraštyje pateiktų rezultatų pobūdžio, dėl to atsirandantis papildomas lankstumas aiškinant kitą priklausomybės aspektą paliekamas būsimiems tyrimams. Tiesą sakant, mūsų modelyje, nepaisant to, ar tiesioginio tikslo sistema egzistuoja, ar ne, narkotikų ieškojimo asimptotinės vertės neatitikimas tarp dviejų hierarchijos kraštutinumų didėja didėjant sprendimų lygių skaičiui, kurį valdo „įprastinis“ procesas. .

Remiantis mūsų teorija, atkrytį galima vertinti kaip snaudžiančių motorinio lygio netinkamo prisitaikymo įpročių atgimimą po kognityvinių lygių dominavimo laikotarpio. Tiesą sakant, galima įsivaizduoti, kad dėl kognityvinės terapijos (žmonių narkomanams) arba priverstinio išnykimo (gyvūnų abstinencijos modeliuose) didelė narkotikų paieškos vertė detaliame hierarchijos lygmenyje neišnyksta, o tampa neaktyvi. kad kontrolė būtų grąžinta į pažinimo lygmenis. Kadangi su narkotikais susijęs elgesys yra jautrus neigiamoms pasekmėms abstrakčiu lygmeniu, todėl narkotikų paieškos galima išvengti tol, kol aukšto lygio pažinimo procesai dominuoja elgesio kontrolėje. Galima net spėlioti, kad populiarios 12 žingsnių programos (pvz., anoniminiai alkoholikai, anoniminiai narkotikai ir kt.) iš dalies veikia aiškiai reikalaujant, kad dalyviai pripažintų savo su narkotikais susijusio gyvenimo būdo nenuoseklumą, taip įgalindami abstrakčius pažinimo lygius aiškiai kontroliuoti savo gyvenimą. elgesį. Stresinės sąlygos arba pakartotinis narkotikų poveikis (priminimas) gali būti laikomi rizikos veiksniais, kurie susilpnina abstrakčių lygių dominavimą prieš elgesį, o tai gali sukelti narkotikų ieškojimo atsakų atsiradimą (dėl latentinių aukštų nekognityvinių vertybių). ).

Apibendrinant, mes siūlome nuoseklų kelių, akivaizdžiai skirtingų reiškinių, būdingų priklausomybei nuo narkotikų, aprašymą. Mūsų modelyje pateikiami normatyviniai duomenys apie skirtingą ventralinės ir nugarinės juostelės grandinių vaidmenį ieškant narkotikų ir įpročio veiksmingumą, taip pat selektyvų perduodamo DA ryšio vaidmenį narkotikų ir natūralių stiprintuvų poveikiui. Svarbiausia, kad parodome, kaip narkotikų sukelta patologija ventralinėje ir nugarinėje DA signaluose, nukreipianti motyvacinę informaciją žemyn kognityvinės reprezentacijos hierarchijoje, gali sukelti neatitikimą tarp narkomanų abstraktaus požiūrio į narkotikų ieškojimą ir to, ką jie iš tikrųjų daro. Akivaizdu, kad mūsų modelis nepateikia ir nėra skirtas visapusiškai aprašyti priklausomybę nuo narkotikų. Norint paaiškinti kitus nepaaiškinamus priklausomybės aspektus, reikia įtraukti daug kitų smegenų sistemų, kurios, kaip įrodyta, yra paveiktos piktnaudžiavimo narkotikais. [42]. Kaip tokias sistemas įtraukti į formalų skaičiavimo tinklą, tebėra tolesnio tyrimo tema.

Pagalbinė informacija

Failas_S1.pdf
 

S1 paveikslas,Pavyzdinė sprendimų hierarchija su penkiais abstrakcijos lygiais. S2 paveikslas, Atitinkama trijų aptartų vertės mokymosi algoritmų neuroninė grandinė yra hierarchinė sprendimų struktūra. A, Naudojant paprastą TD mokymosi algoritmą (lygtis S7), prognozės klaidos signalas kiekviename abstrakcijos lygyje apskaičiuojamas nepriklausomai nuo kitų lygių. B, Haruno ir Kawato (4) pasiūlytame modelyje (S8 lygtis) laike pažengusios būsenos reikšmė gaunama iš vieno aukštesnio abstrakcijos lygio. C, mūsų modelyje (lygtis S9) laike pažengusios būsenos reikšmė pakeičiama atlygio ir Q vertės už atliktą veiksmą aukštesniu abstrakcijos lygiu deriniu. S3 paveikslas, Mūsų modelis numato skirtingas narkotikų veikimo vietas atlygio mokymosi grandinėje: 1–3 vietas. Priešingai, vaistai, veikiantys 4–6 vietas, nesukels elgesio ir neurobiologinių modelių, sukurtų imituojant narkotikų modelį, bet duos rezultatų, panašių į natūralaus atlygio atveju. S4 paveikslas, Užduotis, naudojama imituojant neapibrėžtumu pagrįstą konkurencijos mechanizmą tarp hierarchijos lygių, kad būtų galima kontroliuoti elgesį. S5 paveikslas, Modeliavimo rezultatas, rodantis laipsnišką elgesio kontrolės perėjimą iš aukštesnio į žemesnį hierarchijos lygmenį. Q(s,a) ir U(s,a) parodykite atitinkamai įvertintą būsenos ir veiksmo porų vertę ir neapibrėžtį.

Failas S1.

S1 paveikslas,Pavyzdinė sprendimų hierarchija su penkiais abstrakcijos lygiais. S2 paveikslas, Atitinkama trijų aptartų vertės mokymosi algoritmų neuroninė grandinė yra hierarchinė sprendimų struktūra. A, Naudojant paprastą TD mokymosi algoritmą (lygtis S7), prognozės klaidos signalas kiekviename abstrakcijos lygyje apskaičiuojamas nepriklausomai nuo kitų lygių. B, Haruno ir Kawato (4) pasiūlytame modelyje (S8 lygtis) laike pažengusios būsenos reikšmė gaunama iš vieno aukštesnio abstrakcijos lygio. C, mūsų modelyje (lygtis S9) laike pažengusios būsenos reikšmė pakeičiama atlygio ir Q vertės už atliktą veiksmą aukštesniu abstrakcijos lygiu deriniu. S3 paveikslas, Mūsų modelis numato skirtingas narkotikų veikimo vietas atlygio mokymosi grandinėje: 1–3 vietas. Priešingai, vaistai, veikiantys 4–6 vietas, nesukels elgesio ir neurobiologinių modelių, sukurtų imituojant narkotikų modelį, bet duos rezultatų, panašių į natūralaus atlygio atveju. S4 paveikslas, Užduotis, naudojama imituojant neapibrėžtumu pagrįstą konkurencijos mechanizmą tarp hierarchijos lygių, kad būtų galima kontroliuoti elgesį. S5 paveikslas, Modeliavimo rezultatas, rodantis laipsnišką elgesio kontrolės perėjimą iš aukštesnio į žemesnį hierarchijos lygmenį. Q(s,a) ir U(s,a) parodykite atitinkamai įvertintą būsenos ir veiksmo porų vertę ir neapibrėžtį.

doi: 10.1371 / journal.pone.0061489.s001

(PDF)

Padėka

Dėkojame S. Ahmedui ir P. Dayanui už kritiškas diskusijas, o M. Reinoudui, D. Redishui, N. Daw, E. Koechlinui ir A. Dezfouli už komentarus apie rankraštį.

Autoriaus įnašai

Sugalvojo ir suprojektavo eksperimentus: MK. Eksperimentus atliko: MK. Išanalizavo duomenis: MK BG. Reagentai/medžiagos/analizės įrankiai: MK. Parašė referatą: MK BG.

Nuorodos

  1. 1. Anoniminiai narkotikai (2008). 6-asis leidimas Pasaulio paslaugų biuras.
  2. 2. Goldstein A (2001) Priklausomybė: nuo biologijos iki narkotikų politikos. Oksfordo universiteto leidykla, JAV.
  3. 3. Volkow ND, Fowler JS, Wang GJ, Swanson JM (2004) Dopaminas piktnaudžiavimo narkotikais ir priklausomybės atvejais: vaizdo tyrimų rezultatai ir gydymo pasekmės. Molekulinė psichiatrija 9: 557–569. doi: 10.1038/sj.mp.4001507. Raskite šį straipsnį internete
  4. 4. Stacy AW, Wiers RW (2010) Netiesioginis pažinimas ir priklausomybė: paradoksalaus elgesio paaiškinimo įrankis. Metinė klinikinės psichologijos apžvalga 6: 551–575. doi: 10.1146 / annurev.clinpsy.121208.131444. Raskite šį straipsnį internete
  5. 5. Psichikos sutrikimų diagnostikos ir statistikos vadovas (DSM-IV) (2000). 4-asis leidimas Vašingtonas, DC: Amerikos psichiatrų asociacija.
  6. 6. Lamb RJ, Preston KL, Schindler CW, Meisch RA, Davis F ir kt. (1991) Stiprinamasis ir subjektyvus morfino poveikis po narkomanų: dozės ir atsako tyrimas. Farmakologijos ir eksperimentinės terapijos žurnalas, 259: 1165–1173. Raskite šį straipsnį internete
  7. 7. Goldstein RZ, Woicik PA, Moeller SJ, Telang F, Jayne M ir kt. (2010) Aktyvių kokaino vartotojų pomėgis ir noras gauti atlygį nuo narkotikų ir ne narkotikų: STRAP-R klausimynas. Psichofarmakologijos žurnalas 24: 257–266. doi: 10.1177/0269881108096982. Raskite šį straipsnį internete
  8. 8. Everitt BJ, Robbins TW (2005) Neuroninės sistemos, sustiprinančios priklausomybę nuo narkotikų: nuo veiksmų iki įpročių iki prievartos. Nature Neuroscience 8: 1481–1489. doi: 10.1038 / nn1579. Raskite šį straipsnį internete
  9. 9. Redish AD (2004) Priklausomybė kaip skaičiavimo procesas nuėjo klaidingai. Mokslas 306: 1944–1947. doi: 10.1126 / science.1102384. Raskite šį straipsnį internete
  10. 10. Dezfouli A, Piray P, Keramati MM, Ekhtiari H, Lucas C ir kt. (2009) Neurokompiuterinis priklausomybės nuo kokaino modelis. Neural Computation 21: 2869–2893. doi: 10.1162/neco.2009.10-08-882. Raskite šį straipsnį internete
  11. 11. Piray P, Keramati MM, Dezfouli A, Lucas C, Mokri A (2010) Individualūs nucleus accumbens dopamino receptorių skirtumai numato į priklausomybę panašaus elgesio vystymąsi: skaičiavimo metodas. Neuroninis skaičiavimas 22: 2334–2368. doi: 10.1162/NECO_a_00009. Raskite šį straipsnį internete
  12. 12. Dayan P (2009) Dopaminas, mokymosi stiprinimas ir priklausomybė. Pharmacopsychiatry 42: 56–65. doi: 10.1055 / s-0028-1124107. Raskite šį straipsnį internete
  13. 13. Takahashi Y, Schoenbaum G, Niv Y (2008) Kritikų nutildymas: supratimas apie kokaino jautrinimo poveikį dorsolateriniam ir ventraliniam striatumui aktoriaus / kritiko modelio kontekste. Frontiers in Neuroscience 2: 86–99. doi: 10.3389 / neuro.01.014.2008. Raskite šį straipsnį internete
  14. 14. Redish AD, Jensen S, Johnson A (2008) Vieninga priklausomybės sistema: sprendimų priėmimo proceso pažeidžiamumas. The Behavioral and Brain Sciences 31: 415–487. doi: 10.1017 / S0140525X0800472X. Raskite šį straipsnį internete
  15. 15. Botvinick MM (2008) Hierarchiniai elgesio modeliai ir prefrontalinė funkcija. Kognityvinių mokslų kryptys 12: 201–208. doi: 10.1016 / j.tics.2008.02.009. Raskite šį straipsnį internete
  16. 16. Haruno M, Kawato M (2006) Heterarchinis sustiprinimo mokymosi modelis, skirtas kelių kortiko-striatų kilpų integracijai: fMRI tyrimas stimuliuojančių veiksmų ir atlygio asociacijos mokymuisi. Neuroniniai tinklai 19: 1242–1254. doi: 10.1016 / j.neunet.2006.06.007. Raskite šį straipsnį internete
  17. 17. Willuhn I, Burgeno LM, Everitt BJ, Phillips PEM (2012) Hierarchinis fazinio dopamino signalizacijos įdarbinimas striatumoje kokaino vartojimo progresavimo metu. Proceedings of the National Academy of Sciences 109: 20703–20708. doi: 10.1073 / pnas.1213460109. Raskite šį straipsnį internete
  18. 18. Botvinick MM, Niv Y, Barto AC (2009) Hierarchiškai organizuotas elgesys ir jo nerviniai pagrindai: sustiprinimo mokymosi perspektyva. Pažinimas 113: 262–280. doi: 10.1016 / j.cognition.2008.08.011. Raskite šį straipsnį internete
  19. 19. Badre D, D'Esposito M (2009) Ar priekinės skilties rostro-kaudalinė ašis yra hierarchinė? Nature Reviews Neuroscience 10: 659–669. doi: 10.1038 / nrn2667. Raskite šį straipsnį internete
  20. 20. Koechlin E, Ody C, Kouneiher F (2003) Kognityvinės kontrolės architektūra žmogaus prefrontalinėje žievėje. Mokslas 302: 1181–1185. doi: 10.1126 / science.1088545. Raskite šį straipsnį internete
  21. 21. Badre D, Hoffman J, Cooney JW, D'Esposito M (2009) Hierarchiniai pažinimo kontrolės trūkumai po žmogaus priekinės skilties pažeidimo. Nature neuroscience 12: 515–522. doi: 10.1038 / nn.2277. Raskite šį straipsnį internete
  22. 22. Alexander GE, DeLong MR, Strick PL (1986) Lygiagretus funkciškai atskirtų grandinių, jungiančių bazinius ganglijas ir žievę, organizavimas. Annual Review of Neuroscience 9: 357–381. doi: 10.1146 / annurev.neuro.9.1.357. Raskite šį straipsnį internete
  23. 23. Aleksandras GE, Crutcher MD, DeLong MR (1990) Bazinės ganglijos-talamokortikinės grandinės: lygiagretūs substratai motorinėms, okulomotorinėms, prefrontalinėms ir limbinėms funkcijoms. Progress in Brain Research 85: 119–146. Raskite šį straipsnį internete
  24. 24. Schultz W, Dayan P, Montague PR (1997) Neuroninis prognozavimo ir atlygio substratas. Mokslas 275: 1593–1599. doi: 10.1126 / science.275.5306.1593. Raskite šį straipsnį internete
  25. 25. Belin D, Everitt BJ (2008) Kokaino ieškojimo įpročiai priklauso nuo dopamino priklausomo nuoseklaus ryšio, jungiančio pilvą su nugaros striatum. Neuron 57: 432–441. doi: 10.1016 / j.neuron.2007.12.019. Raskite šį straipsnį internete
  26. 26. Haber SN, Fudge JL, McFarland NR (2000) Primatų striatonigrostrialiniai keliai sudaro kylančią spiralę nuo apvalkalo iki nugaros šoninio striatum. The Journal of Neuroscience 20: 2369–2382. Raskite šį straipsnį internete
  27. 27. Haber SN (2003) Primatų baziniai ganglijos: lygiagrečiai ir integraciniai tinklai. Journal of Chemical Neuroanatomy 26: 317-330. doi: 10.1016/j.jchemneu.2003.10.003. Raskite šį straipsnį internete
  28. 28. Sutton RS, Barto AG (1998) Stiprinimo mokymasis: įvadas. Kembridžas: ​​MIT spauda.
  29. 29. Di Chiara G, Imperato A (1988) Narkotikai, kuriais piktnaudžiauja žmonės, pirmiausia padidina sinapsinio dopamino koncentraciją laisvai judančių žiurkių mezolimbinėje sistemoje. Proceedings of the National Academy of Sciences of the United States of the United States 85: 5274–5278. doi: 10.1073 / pnas.85.14.5274. Raskite šį straipsnį internete
  30. 30. Daw ND, Niv Y, Dayan P (2005) Neapibrėžtumu pagrįsta konkurencija tarp prefrontalinės ir dorsolaterinės striatalinės sistemos elgesio kontrolei. Nature Neuroscience 8: 1704–1711. doi: 10.1038 / nn1560. Raskite šį straipsnį internete
  31. 31. Vanderschuren LJMJ, Ciano PD, Everitt BJ (2005) Nugaros striatum dalyvavimas ieškant kokaino su užuomina. The Journal of Neuroscience 25: 8665–8670. doi: 10.1523 / JNEUROSCI.0925-05.2005. Raskite šį straipsnį internete
  32. 32. Volkow ND, Wang GJ, Telang F, Fowler JS, Logan J ir kt. (2006) Kokaino užuominos ir dopaminas nugaros juostoje: priklausomybės nuo kokaino potraukio mechanizmas. The Journal of Neuroscience 26: 6583–6588. doi: 10.1523 / JNEUROSCI.1544-06.2006. Raskite šį straipsnį internete
  33. 33. Kalivas PW, Volkow ND (2005) Neuroninis priklausomybės pagrindas: motyvacijos ir pasirinkimo patologija. The American Journal of Psychiatry 162: 1403–1413. doi: 10.1176 / appi.ajp.162.8.1403. Raskite šį straipsnį internete
  34. 34. Belin D, Jonkman S, Dickinson A, Robbins TW, Everitt BJ (2009) Lygiagretūs ir interaktyvūs mokymosi procesai baziniuose ganglijose: priklausomybės supratimo svarba. Elgesio smegenų tyrimai 199: 89–102. doi: 10.1016 / j.bbr.2008.09.027. Raskite šį straipsnį internete
  35. 35. Matsumoto M, Hikosaka O (2009) Dviejų tipų dopamino neuronai aiškiai perteikia teigiamus ir neigiamus motyvacinius signalus. Nature 459: 837–841. doi: 10.1038 / nature08028. Raskite šį straipsnį internete
  36. 36. Frank MJ, Surmeier DJ (2009) Ar substantia nigra dopaminerginiai neuronai skiria atlygį nuo bausmės? Journal of Molecular Cell Biology 1: 15–16. doi: 10.1093/jmcb/mjp010. Raskite šį straipsnį internete
  37. 37. Vanderschuren LJMJ, Everitt BJ (2004) Narkotikų ieškojimas tampa kompulsyvus po ilgo kokaino vartojimo. Mokslas 305: 1017–1019. doi: 10.1126 / science.1098975. Raskite šį straipsnį internete
  38. 38. Deroche-Gamonet V, Belin D, Piazza PV (2004) Įrodymai, kad žiurkės elgiasi į priklausomybę. Mokslas 305: 1014–1017. doi: 10.1126 / science.1099020. Raskite šį straipsnį internete
  39. 39. Panlilio LV, Thorndike EB, Schindler CW (2007) Kokaino suporuoto stimulo kondicionavimo blokavimas: hipotezės, kad kokainas nuolat duoda signalą apie didesnį nei tikėtasi atlygį, tikrinimas. Farmakologija, biochemija ir elgesys 86: 774–777. doi: 10.1016 / j.pbb.2007.03.005. Raskite šį straipsnį internete
  40. 40. Kamin L (1969) Nuspėjamumas, netikėtumas, dėmesys ir sąlygiškumas. In: Campbell BA, Church RM, redaktoriai. Bausmė ir nepadorus elgesys. Niujorkas: Appleton-Century-Crofts. 279–296 p.
  41. 41. Dezfouli A, Balleine BW (2012) Įpročiai, veiksmų sekos ir mokymasis sustiprinti. Europos neuromokslų žurnalas 35: 1036–1051. doi: 10.1111 / j.1460-9568.2012.08050.x. Raskite šį straipsnį internete
  42. 42. Koob GF, Le Moal M (2005) Priklausomybės neurobiologija. San Diegas: Academic Press