Ievads

“Mēs atzinājāmies, ka esam bezspēcīgi pār mūsu atkarību - ka mūsu dzīve ir kļuvusi nevaldāma”, teikts Narkotiku anonīma 12 soļu programmas pašā pirmajā principā. [1]. Tas parāda, cik bezspēcīgi narkomāni nonāk pretojoties narkotikām, lai arī zina, ka narkotiku lietošana ir nepareiza rīcība. [2]-[4]. Faktiski atkarības pazīme ir piespiedu narkotiku meklēšana pat uz acīmredzamu nelabvēlīgu seku rēķina [5]. Šādas patoloģiskas uzvedības pazīmes kļūst redzamas kontrolētos eksperimentos, kur narkomāni uzrāda raksturīgu “paša aprakstītu kļūdu”: neatbilstība starp spēcīgu uzvedības reakciju uz narkotiku izraisītām izvēlēm un salīdzinoši zemo subjektīvo vērtību, ko atkarīgais ziņo par narkotikām [4], [6], [7]. Kombinējoties ar uzvedības kavējošās kognitīvās kontroles zaudēšanu, pēc ilgstošas ​​narkotiku iedarbības šī atšķirība starp izziņas plāniem un konsolidētajiem ieradumiem var izraisīt pāreju no gadījuma rakstura uz kompulsīvu narkotiku meklēšanu [8].

Kognitīvās kontroles zaudēšana un pašu aprakstītā kļūda līdz šim ir izvairījusies no principiāla skaidrojuma ar atkarības formāliem modeļiem [9]-[13]. Iepriekšējās narkotiku atkarības aprēķināšanas teorijas, kas lielākoties tika izvirzītas mācīšanās pastiprināšanas ietvaros, atkarību uzskata par ieraduma apguves (stimulēšanas un reakcijas) sistēmas patoloģisko stāvokli. [9]-[13]. Visu šo modeļu galvenā hipotēze ir tāda, ka zāļu farmakoloģiskā ietekme uz dopamīna signalizāciju, kas, domājams, satur stimulējošas reakcijas mācīšanas signālu, pakāpeniski pārmērīgi pastiprina šādas asociācijas. Šis efekts savukārt izraisa piespiedu narkotiku meklēšanas paradumus. Lai gan šis samazinātais atkarības viedoklis ir uztvēris dažus parādības aspektus, pieaugošā vienprātība atkarības literatūrā norāda, ka patoloģijā ir iesaistītas vairākas mācīšanās sistēmas. Tikai tik sarežģītāka aina, kas ietver smadzeņu kognitīvos, kā arī zema līmeņa ieraduma procesus, var izskaidrot atkarībai līdzīgas uzvedības dažādību [8], [14].

Šajā rakstā mēs izmantojam hierarhiskas pastiprināšanas mācīšanās pieeju [15] kur lēmumi tiek pārstāvēti dažādos abstrakcijas līmeņos, kognitīvi-motora hierarhijā. Mēs pieņemam, ka no dopamīna atkarīgo mācību signālu kaskāde savieno hierarhijas līmeņus [16]. Turklāt mēs pieņemam, ka ļaunprātīgas narkotikas farmakoloģiski nolauž komunikācijas mehānismu starp abstrakcijas līmeņiem. Balstoties uz šiem pieņēmumiem, mēs parādām, ka ziņotā kognitīvā disonanse atkarīgajiem parādās hierarhiskās pastiprināšanas mācīšanās sistēmā, kad hroniska narkotiku iedarbība traucē vērtību mācīšanos lēmumu pieņemšanas hierarhijā. Šis traucējums rada patoloģisku zāļu izvēles pārāk augstu novērtējumu zemā līmeņa ieradumos un tādējādi veicina narkotiku meklēšanu. Pēc tam mēs parādām, ka “nepatika”, bet kompulsīva narkotiku meklēšana ir izskaidrojama ar narkotiku nolaupītiem zema līmeņa ieradumiem, kas dominē uzvedībā, savukārt veselīgas izziņas sistēmas augstākajā reprezentācijas līmenī zaudē kontroli pār uzvedību. Turklāt mēs parādām, ka piedāvātais modelis var ņemt vērā jaunākos pierādījumus par strauju vai novēlotu zāļu izraisītas dopamīna izplūdes attīstību attiecīgi ventrālajā un muguras striatumā, kā arī šī modeļa atkarību no dopamīna spirālveida shēmas.

Materiāli un metodes

Sākotnēji

Saskaņā ar bagātīgo izziņas psiholoģijas literatūru mūsu hierarhiskās pastiprināšanas mācīšanās [15], [18] ietvarstruktūrā tiek pieņemts, ka abstrakts izziņas plāns, piemēram, “tējas pagatavošana”, var tikt sadalīts zemāka līmeņa darbību secībā: ūdens vārīšana, tējas ievietošana katlā utt. Šāda sadalīšanās turpinās, līdz konkrētas motora līmeņa reakcijas zemākajā līmeņa līmenī hierarhija (Attēls 1A). Neirobioloģiski dažādie lēmumu pieņemšanas hierarhijas līmeņi no kognitīvā līdz motoriskajam līmenim tiek attēloti gar kortikos-bazālo gangliju (BG) ķēdes rozododālo asi [19]-[21]. Šī ķēde sastāv no vairākām paralēlām slēgtām cilpām starp frontālo garozu un bazālajām ganglijām [22], [23] (Attēls 1B). Tā kā priekšējās cilpas veido abstraktāku darbību attēlojumu, mandelētās cilpas, kas sastāv no maņu-motora garozas un dorsolateral striatum, kodē zema līmeņa ieradumus [19]-[21].

Lejupielādēt:

• PPT

  PowerPoint slaids

• PNG

  lielāks attēls (1.06MB)

• TIFF

  oriģinālais attēls (1.56MB)

Skaitlis 1. Uzvedības hierarhiskā organizācija un kortiko-BG shēma.

A, Lēmumu hierarhijas piemērs divām alternatīvām izvēlēm: zāles pret pārtiku. Katrs darbības virziens tiek attēlots dažādos abstrakcijas līmeņos, domājams, kodēts dažādās kortiko-BG cilpās. Par katra no šiem atlīdzības veidiem var pieprasīt soda pakāpi 16. B, Glutamaterģiski savienojumi no dažādām prefrontālajām zonām veidojas uz striatālajiem apakšreģioniem un pēc tam caur pallidumu un talamusu projicējas atpakaļ uz PFC, veidojot vairākas paralēlas cilpas. Caur striato-nigro-striatal dopamīna tīklu striatum ventrālie reģioni ietekmē muguras rajonus. vmPFC, ventrālais mediālais prefrontālais garozs; OFC, orbitālais priekšējais garozs; dACC, muguras priekšējā cingulāta garoza; SMC, maņu-motora garozas; VTA, ventrālā taktiskā zona; SNc, substantia nigra pars compacta. Attēls 1B Pārveidots no atsauces 21.

doi: 10.1371 / journal.pone.0061489.g001

Šajā shēmā vidējā smadzeņu dopamīna (DA) neironu, kas projicējas uz striatum, fāziskā aktivitāte signalizē par kļūdu starp prognozēto un saņemto atalgojumu, tādējādi nodrošinot stimulu un reakciju pastiprinošu informāciju [24]. Šīs DAerģiskās projekcijas veido kaskādes seriālo savienojamību, savienojot striatuma ventrālākos reģionus ar pakāpeniski vairāk muguras reģioniem, izmantojot tā sauktos ″ spirālveida ″ savienojumus. [25]-[27] (Attēls 1B). Funkcionāli šāda plūsmas pārsūtīšanas organizācija, kas savieno rostral ar kaulveida kortico-BG cilpām, ļauj virzītai savienošanai no rupjas līdz smalkai attēlojumam. Attiecīgi DA spirāles tiek izvirzītas hipotēzes, lai nodrošinātu neirobioloģisku substrātu atlīdzības prognozēšanas kļūdas pakāpeniskai noregulēšanai pēc augstākajiem hierarhijas līmeņiem (kodē abstraktas zināšanas par uzvedības iespēju vērtību). Pēc tam šī kļūda tiek izmantota, lai atjauninātu darbības vērtības detalizētākos līmeņos [16]. Citiem vārdiem sakot, DA spirāles ļauj iegūt abstraktus kognitīvos vērtēšanas līmeņus, lai vadītu mācīšanos detalizētākos darbības vērtēšanas procesos.

Teorijas skice

Armatūras mācīšanās skaitļošanas teorijas ziņā [28] (RL), aģents (mūsu gadījumā persona vai dzīvnieks) iemācās izdarīt apzinātu rīcību, atjaunojot tā iepriekš aprēķināto vērtību, katram stāvokļa un darbības pārim, , kad atlīdzība ir saņemts aģents laikā darbības veikšanas rezultātā konteksta stāvoklī (stimuls) . Vērtība tiek atjaunināts, aprēķinot atlīdzības prognozēšanas kļūdas signālu. Šis signāls ir atkarīgs ne tikai no uzreiz saņemtā atalgojuma (), bet arī pēc jaunā stāvokļa vērtības, kurā aģents nonāk, pēc šīs darbības veikšanas. Noliedzis šī īslaicīgi uzlabotā vērtības funkcija atspoguļo to nākotnes atlīdzību summu, kuras dzīvnieks cer saņemt no iegūtā stāvokļa, , uz priekšu. Prognozes kļūdu var aprēķināt, izmantojot šādu vienādojumu:

(1)

Intuitīvi prognozēšanas kļūdas signāls aprēķina neatbilstību starp paredzamo un realizēto darbības atalgojuma vērtību. Tomēr hierarhiskā lēmumu struktūrā nevis jāmācās -novērtē patstāvīgi dažādos līmeņos, abstraktāki līmeņi var noregulēt mācību signālu, kas aprēķināts zemākajos līmeņos. Tā kā augstākie hierarhijas līmeņi abstraktāk atspoguļo vides apstākļus, mācīšanās notiek šajos līmeņos ātrāk. Tas ir saistīts ar uzvedības abstraktā attēlojuma relatīvi zemo dimensiju: ​​rīcības plānu var attēlot kā vienu soli (vienu dimensiju) hierarhijas augšējā līmenī un kā vairākas detalizētas darbības (vairākas dimensijas) zemākajos līmeņos. no hierarhijas. Šī rīcības plāna augstākā līmeņa vērtība tiktu ātri iemācīta, salīdzinot ar sīki izstrādātajiem līmeņiem, kur atlīdzības kļūdām vajadzētu atkārtot visas detalizētās darbības darbības. Tādējādi zemāka līmeņa vērtību noregulēšana pēc vērtības informācijas no augstākiem līmeņiem var paātrināt šo vērtību konverģenci. Viens statistiski efektīvs veids, kā to izdarīt, ir domāt, ka, lai aprēķinātu prognozēšanas kļūdas signālu pie - abstrakcijas līmenis, , laika ziņā uzlabotā vērtības funkcija, , nāk no viena augstāka līmeņa abstrakcijas, [16]:

(2)

Lai saglabātu optimālumu, vienādojumu 2 var izmantot, lai aprēķinātu prognozēšanas kļūdu tikai tad, kad tiek veikta pēdējā abstrakta opcijas primārā darbība (sk. S1 attēlu). Fails S1). Citos gadījumos vērtības mācīšanās dažādos līmeņos notiek neatkarīgi, kā vienādojumā 1. Abos gadījumos mācību signālu izmanto, lai atjauninātu iepriekšējās vērtības attiecīgajā līmenī:

(3)
kur ir mācīšanās ātrums. Šī starplīmeņu informācijas apmaiņas forma ir bioloģiski ticama, jo tā atspoguļo DA shēmas spirālveida struktūru, kas satur informāciju lejup pa hierarhiju ventilācijas-muguras virzienā. Tajā pašā laikā vairāk abstraktu līmeņu vadīšana ievērojami paātrina mācīšanos, mazinot vērtības apguves augsto dimensiju detalizētos līmeņos. [16].

Šajā rakstā mēs parādām, ka mijiedarbība starp modificēto versiju, kas izstrādāta 2007. \ T [16] un ļaunprātīgas lietošanas narkotiku specifiskā farmakoloģiskā iedarbība uz dopamīnerģisko sistēmu var uztvert ar atkarību saistītus datus radikāli atšķirīgās analīzes pakāpēs: uzvedības un ķēdes līmeņa neirobioloģiskajos. Pirmkārt, jaunais modelis rada iespējamu pārliecinošu skaidrojumu vairākiem intriģējošiem uzvedības aspektiem, kas saistīti ar atkarību no narkotikām (piemēram, pašraksturota kļūda) [4], [6], [7]). Otrkārt, mēs varam ņemt vērā plašu pierādījumu klāstu par dopamīna atbrīvošanu no narkotikām [17].

Mēs modificējam attēlā redzamo modeli [16] sekojoši. Mēs padarām modeli efektīvāku attiecībā uz darba atmiņas ietilpību, aizstājot to ar , 2 vienādojumā, jo abas vērtības konverģē uz to pašu stabilu līmeni (sk. S2 attēlu). Fails S1, skaitļošanas un neirobioloģiskā pamata):

(4)

Lūk, ir salīdzinoši abstraktā iespēja un ir pēdējā primitīvā darbība uzvedības secībā, kas aizpilda šo opciju. Līdzīgi, ir atalgojošā vērtība , kas iekļauj (atlīdzības vērtība ).

Būtiski ir tas, ka dažādām narkotikām, ko ļaunprātīgi lietojuši cilvēki, ir būtiska dopamīna koncentrācijas farmakoloģiski palielināšanās strijā. [29]. Attiecīgi mēs iekļaujam šo zāļu farmakoloģisko efektu, pievienojot pozitīvu novirzi, , (Skatīt arī [9]-[12]) uz prognozēšanas kļūdu signālu, ko pārvadā dopamīna neironi (sk. S3 attēlu. \ t Fails S1, skaitļošanas un neirobioloģiskā pamata):

(5)

Šeit atspoguļo zāļu tiešo farmakoloģisko iedarbību uz DA sistēmu un ir tās pastiprinošā vērtība euforēno efektu dēļ (skatīt. \ t Fails S1 papildu informāciju).

Kaut arī vienādojumi 3 un 5 kopā definē skaitļošanas mehānismu, lai atjauninātu mūsu modeļa vērtības, mēs arī pieņemam, ka uz nenoteiktību balstīts konkurences mehānisms nosaka abstrakcijas līmeni, kas kontrolē uzvedību. Tas ir iedvesmojies no 2006. \ T [29] šķīrējtiesai starp pastāvīgajām un mērķtiecīgajām sistēmām. Šajā ziņā katrā lēmumu pieņemšanas brīdī uzvedību kontrolē tikai abstrakcijas līmenis ar visaugstāko noteiktību, novērtējot izvēles vērtību. Kad šis līmenis ir pieņēmis lēmumu rīkoties, visi dominējošie līmeņi izvietos visus zemākos hierarhijas līmeņus, lai īstenotu izvēlēto darbību kā primitīvu motoru atbilžu secību (skat. Fails S1 papildu informācijai; S4 attēls Fails S1; S5 attēls Fails S1). Saņemot atgriezenisko saiti no vides, visu līmeņu vērtības tiek atjauninātas. Ar šo nenoteiktību balstītais šķīrējtiesas mehānisms paredz, ka, tā kā abstrakti procesi ir elastīgāki, viņiem ir augstāka vērtību tuvināšanas spēja mācību sākumposmā un tādējādi kontrolējot uzvedību šajos posmos. Tomēr, tā kā abstraktajos līmeņos tiek izmantota rupja vides reprezentācija (piemēram, tā satur relatīvi nelielu skaitu pamatfunkciju), to galīgās vērtības tuvināšanas spēja nav tik precīza kā detalizētu līmeņu vērtība. Citiem vārdiem sakot, pēc plašas apmācības noteiktība, kas saistīta ar aplēstajām vērtībām, ir zemāka hierarhijas zemākajos līmeņos, salīdzinot ar augšējiem līmeņiem. Tādējādi, pakāpeniski apgūstot hierarhijas zemākos līmeņus, pārņem kontroli pār darbību atlasi, jo to nenoteiktība pakāpeniski samazinās. Tas ir vienisprātis ar vairākiem pierādījumiem, kas liecina par pakāpenisku dorsāla dominēšanu pret vēdera striju, kontrolējot narkotiku meklēšanu (kā arī meklē dabiskus atlīdzības) [8], [30], [31].

rezultāti

Hierarhijas novērtēšanas neatbilstība rodas narkotiku, bet ne dabisko atlīdzību dēļ

Atšķirībā no iepriekšējiem ar atkarību balstītiem mācīšanās balstītiem skaitļošanas modeļiem [9]-[13] kuru pamatā ir viena lēmuma sistēmas pieeja, mūsu konts ir balstīts uz vairāku sistēmu mijiedarbības sistēmu. Rezultātā, lai arī zāļu modelēšanas ietekme uz prognozēšanas kļūdas signālu mūsu modelī ir līdzīga iepriekšējām [9]-[12], tas rada fundamentāli atšķirīgas sekas. Zāļu izraisīta pārejoša dopamīna palielināšanās palielina tūlītēju prognozēšanas kļūdu katrā hierarhijas līmenī un līdz ar to rada novirzi, , par zināšanu nodošanu no viena abstrakcijas līmeņa uz otru, pa hierarhijas rupjgaldu. Šī neobjektivitāte izraisa narkotiku meklēšanas asimptotisko vērtību noteiktā līmenī vienības, kas ir augstākas par vienu abstraktu slāni (Attēls 2B). Šo nesakritību uzkrāšanās gar rostro-caudālo asi pakāpeniski izraisa būtiskas atšķirības narkotiku meklēšanas paradumu vērtībā starp hierarhijas augšējiem un apakšējiem galējiem punktiem. Tādējādi, pat ja tam seko spēcīgs sods, ar narkotikām saistītās uzvedības vērtība zema līmeņa motoru cilpās saglabājas pozitīva, bet kognitīvajos līmeņos tā kļūst negatīva. Citiem vārdiem sakot, modelis prognozē, ka narkotiku efekta uzkrāšanās DA spirāļiem palielina narkotiku meklējuma vērtību motoru līmeņa ieradumos tādā augstā amplitūdā, ka pat spēcīgs dabisks sods to nevarēs pietiekami samazināt. Mēs iesakām, ka tas izskaidro pretrunas starp narkotiku izraisīto uzvedību kognitīvo un zemo līmeni. Citiem vārdiem sakot, mēs ierosinām, ka kompulsīvo zāļu meklējumi un ievērojami mazāka saistīto izmaksu elastība izriet no zāļu farmakoloģiskās iedarbības, kas nolaupa dopamīna atkarīgo mehānismu, kas nodod informāciju starp lēmumu pieņemšanas hierarhijas līmeņiem.

Lejupielādēt:

• PPT

  PowerPoint slaids

• PNG

  lielāks attēls (289KB)

• TIFF

  oriģinālais attēls (471KB)

Skaitlis 2. Pārtikas un zāļu motivācija dažādos abstrakcijas līmeņos (simulācijas rezultāti).

Pirmajos 150 izmēģinājumos, kuros netiek piemērots sods, dabisko atlīdzību meklējuma vērtība visos līmeņos saplūst ar 10 (A). Tomēr narkotiku gadījumā narkotiku tiešā farmakoloģiskā iedarbība (\ t, iestatīts uz) rada asimptotisko vērtību katrā līmenī vienības, kas ir augstākas par vienu augstāku abstrakcijas līmeni (B). Tādējādi, kad seko sods, bet kognitīvās cilpas pareizi piešķir negatīvu vērtību narkotiku meklēšanai, motoru līmeņa cilpas atrod vēlamo narkotiku meklēšanu (pozitīva vērtība). Šajā attēlā redzamās līknes parāda vērtību attīstību vienā modelētā dzīvniekā, un tādēļ statistiskā analīze nebija piemērojama.

doi: 10.1371 / journal.pone.0061489.g002

Lai gan narkotikas mūsu modelī noved pie nevienlīdzīga novērtējuma visos līmeņos, dabisko atlīdzību vērtība visos līmeņos konverģē uz to pašu vērtību, jo nav tiešas farmakoloģiskas ietekmes uz DA signalizācijas mehānismu (). Līdz ar to dabisku atlīdzību gadījumā netiks novērota nekonsekvence vai pārvērtēšana detalizētā līmenī.Attēls 2A). Narkotiku meklējošu reakciju pārvērtēšana zemākos hierarhijas līmeņos novestu pie tā, ka narkotikas tiek novirzītas neparasti, salīdzinot ar dabisko atlīdzību, un pārmērīgu iesaistīšanos ar narkotikām saistītās darbībās.

Diferenciāls dopamīns, kas reaģē vēdera dobumā pret muguras striatumu ar zālēm, kas saistītas ar zālēm

Neirobioloģiski, striatāla apakšreģionu diferencētās lomas narkotiku meklēšanas uzvedības iegūšanā un izpausmē ir atkarīgas no atkarības pētījumiem. Pierādījumu salīdzināšana no dažādām pētījumu līnijām liecina, ka uzvedības pāreja no atpūtas uz kompulsīvo narkotiku lietošanu atspoguļo neirobioloģisko vērtēšanas novirzi no ventrāla uz dorsolaterālo striatumu [8], [33], [34], kas atbilst pārejai no kognitīviem uz detalizētiem līmeņiem mūsu modelī. Saskaņā ar mūsu modeli DA pārejas tīklam, kas savieno ventrālo un pakāpeniski vairāk striju dorālo reģionu, ir izšķiroša nozīme šajā pārejā [25].

Nesenā pētījumā Willuhn et al. [17] novērtēja dopamīna izdalīšanās modeli, reaģējot uz narkotiku izraisītiem norādījumiem žurkām vēdera un dorsolaterālā striatumā trīs nedēļas pēc kokaīna lietošanas. Izmantojot ātrās skenēšanas ciklisko voltammetriju, kritiskais novērojums bija tāds, ka cue inducēta DA izplūde vēdera strijā parādās pat pēc ļoti ierobežotas apmācības. Pretstatā tam, dorsolaterālā striatum parādīja dūmu izraisītu DA izplūdi tikai pēc plašas apmācības, un šī atbrīvošanās modeļa attīstība izzuda, kad vēdera strijs tika bojāts ipsilaterālajā puslodē.

Tā kā ātrās skenēšanas voltammetrijas laika izšķirtspēja atspoguļo apakšgrupas koncentrācijas svārstības, novērotais DA efflux modelis jāpiešķir “fāziskai” DA signalizācijai un līdz ar to prognozēšanas kļūdu signālam saskaņā ar LR teoriju dopamīna \ t [24]. Saskaņā ar LR teoriju prognozēšanas kļūdas signāls, kad tiek ievērots negaidīts stimuls, ir vienāds ar atalgojošo vērtību, ko šis stimuls prognozē. Tāpēc kijas izraisīta DA izdalīšanās ir ekvivalenta vērtībai, ko paredzēja šī bižele.

Šajā ziņā mūsu hierarhiskā struktūra sniedz formālu skaidrojumu par vēdera pret dorsālo striatālu DA izplūdes diferenciālo raksturu [17]. Vērtība, ko ar narkotikām saistītā cue prognozē hierarhijas abstraktajos kognitīvajos līmeņos, strauji palielinās mācību sākumposmā (Attēls 2B), pateicoties zemai mācību problēmas dimensijai augstā abstrakcijas līmenī. Rezultātā mūsu modelis rāda, ka cue-inducēta DA izplūde jāievēro vēdera strijā pat pēc ierobežotas apmācības (Skaitlis 3). Detalizētākos pārstāvības līmeņos mācīšanās process ir lēns (Attēls 2B), ņemot vērā problemātiskās telpas lielo dimensiju, kā arī mācīšanās atkarību no abstraktākiem līmeņiem, izmantojot DA spirāles. Līdz ar to dūņu izraisītā DA izplūde dorsolaterālā striatumā pakāpeniski jāattīstās un jākļūst novērojama tikai pēc plašas apmācības (Skaitlis 3).

Lejupielādēt:

• PPT

  PowerPoint slaids

• PNG

  lielāks attēls (447KB)

• TIFF

  oriģinālais attēls (896KB)

Skaitlis 3. Dopamīna izplūde dažādos striatāla apakšreģionos, reaģējot uz ar narkotikām saistītām norādēm (simulācijas rezultāti).

Saskaņā ar eksperimentālajiem datiem [17], modelis rāda (kreisā sleja), ka, reaģējot uz ar narkotikām saistītām norādēm, pēc ierobežotas un plašas apmācības būs vērojama dopamīna izplūde vēdera strijā. Tomēr vairākos dorsolaterālos apakšreģionos mācīšanās gaitā pakāpeniski attīstīsies cue-elicited DA efflux. Modelis prognozē (otrā sleja no labās puses), ka šī aizkavētā dēlveidīgā DA izplūdes attīstība muguras striatumā ir atkarīga no DA atkarīgā sērijas savienojuma, kas savieno ventrālu ar dorsālo striatumu. Tas nozīmē, ka DA spirāļu atvienošanas rezultātā, bet cue-izsauktā DA atbilde vēdera strijā paliek neskarta, tā ievērojami samazinās dorsolaterālā striatumā. Turklāt modelis prognozē (trešajā slejā no labās puses) līdzīgus rezultātus dūņu izraisītajai DA izplūdei dorsolaterālajā striatumā, ja ir bojāts ventrāls striatums. Visbeidzot, ja pēc ilgstošas ​​zāļu cue savienošanas neskartos dzīvniekos sods seko medikamentam, modelis paredz (labajā kolonnā), ka ar narkotikām saistītais cue izraisa DA spirāļu ventrālās kājas inhibēšanu pat pēc ierobežotas apmācības. Tomēr vairākos mugurkaula reģionos mācīšanās laikā DA izplūde lēnām samazinās, bet saglabāsies pozitīva pat pēc plašas narkotiku soda savienošanas. Šajā attēlā sniegtie dati ir iegūti no “viena” imitēta dzīvnieka un līdz ar to statistiskā analīze nebija piemērojama.

doi: 10.1371 / journal.pone.0061489.g003

Turklāt mūsu modelis izskaidro pierādījumus [17] tas, ka šāda aizkavēta lāse izdalīta DA izplūde dorsolaterālā striatumā ir atkarīga no vēdera striatuma (\ tSkaitlis 3). Mūsu modelī simulētais ventrālā striatuma vienpusējs bojājums (abstrakts vērtējuma līmenis modelī) būtiski samazina narkotiku cue prognozēto vērtību detalizētos līmeņos ipsilēles puslodē un tādējādi ievērojami samazina džudu izraisīto DA izplūdes līmeni. Lai modelētu ventrālā striatuma bojājumu, mēs vienkārši fiksējam visu stimulu vērtību augstākajā hierarhijas līmenī līdz nullei.

Tāpat mūsu modelis prognozē, ka fāziskās DA signalizācijas attīstība dorsolaterālajā striatumā ir atkarīga no DA spirāles ķēdes integritātes (Skaitlis 3). Faktiski, atdalot DA spirālveida ķēdi mūsu modelī, tiek samazināta komunikācija pa abstrakcijas līmeņiem, kas savukārt novērš narkotiku izraisīto aizspriedumu uz pastiprinājuma signāla uzkrāšanos lēmumu pieņemšanas hierarhijas līmenī. Lai modelētu atdalīšanu no ventrālās uz dorsālo striatumu DA atkarīgā sērijas shēmā, mēs nospiežam katru abstrakcijas līmeni, lai aprēķinātu prognozēšanas kļūdu signālu lokāli (kā 3 vienādojumā), nesaņemot īslaicīgi attīstītās valsts vērtību no tūlītējās augstākās vērtības abstrakcijas līmenis.

Turklāt modelis prognozē, ka cue-izsaukto DA izplūdes modelis mainīsies, ja pēc plašas apmācības ar kokaīna un kokaīna lietošanu saistītām norādēm, kā tas ir iepriekš minētajā eksperimentā, sākas kokaīna piegāde ar spēcīgu sodu. Mēs prognozējam, ka DA izplūde, reaģējot uz ar kokaīnu saistīto bišu, strauji samazinās zem sākotnējā stāvokļa vēdera dobumā. Tomēr dorsolaterālā striatumā, cue izraisīta DA izdalīšanās būtu jāpaliek virs bāzes līnijas (Skaitlis 3) ar iespējamu aizkavētu daļēju samazinājumu. Tas norāda uz pozitīvā subjektīvās vērtības piešķiršanu narkotiku stimulam detalizētā līmenī, neskatoties uz negatīvām (zemākām) vērtībām kognitīvajos līmeņos. Jāatzīmē, ka šī prognoze ir atkarīga no pieņēmuma, ka smadzeņu sods tiek apstrādāts vienkārši kā negatīvs atalgojums. Šis pieņēmums ir nedaudz pretrunīgs: to skaidri apstiprina eksperimentālie pētījumi [35], bet arī citi apsprieda [14], [36]. Izņemot šo prognozi, citi modeļa aspekti nav atkarīgi no tā, vai sodu kodē dopamīns vai cita signalizācijas sistēma.

Willuhn et al. [34] nav pietiekami paplašināts, lai radītu kompulsīvas narkotiku meklēšanas uzvedību, ko raksturo nejutīgums pret ar narkotikām saistītiem sodiem [37], [38]. Līdz ar to galvenais jautājums, uz kuru jāatbild, ir saikne starp aizkavētu DA reakcijas attīstību DLS un novēlotu kompulsīvo reakciju attīstību. Saskaņā ar mūsu modeli kompulsīvā uzvedība prasa ne tikai pārmērīgu narkotiku izvēles novērtēšanu zemā hierarhijas līmenī, bet arī kontroles pārvedumu no abstraktajiem kognitīvajiem līdz zemākā līmeņa ierastajiem procesiem. Šo divu procesu laika skala ir tikai daļēji atkarīga viens no otra: pārvērtēšanas process ir atkarīgs no prognozēšanas kļūdas signāla, savukārt uzvedības kontroles nodošana ir atkarīga arī no relatīvās nenoteiktības vērtības novērtēšanā. Līdz ar to ar narkotiku lietošanu saistīto rādītāju pārmērīga novērtēšana zemā hierarhijas līmenī var notikt pirms pārejas no uzvedības uz augšu no hierarhijas apakšas. Precīzs abu procesu laika skalas ir atkarīgas no mācīšanās ātruma un dažādiem līmeņiem raksturīgā trokšņa (sk. \ T Fails S1 papildu informāciju). Citiem vārdiem sakot, visticamāk, ka dūmu izraisītā dopamīna izplūde DLS var ievērojami attīstīties, pirms kompulsīvā zāļu meklējumi parādās uzvedībā.

Neatbilstošās narkotiku vērtēšanas atšķirības pret dabisko labumu - uzvedība

Uzvedībā, mūsu modelī, ja sods ir savienots ar narkotikām brīvprātīgo narkotiku lietošanas sākumposmā, narkotiku meklēšanas reakcijas abstrakta vērtība strauji kļūst negatīva. Pieņemot, ka šo agrīno stadiju laikā narkotiku meklēšanu kontrolē abstrakti līmeņi, narkotiku izvēles negatīvs abstrakts novērtējums padara subjektu nevēlēšanos piedzīvot šo rīcību. Tas novērsīs spēcīgas zema līmeņa preferenču konsolidāciju laika gaitā pret narkotikām. Tādējādi modelis izskaidro zāļu izvēles elastību ar izmaksām narkotiku lietošanas sākumposmā, bet ne pēc hroniskas lietošanas. Konsekventi dzīvnieku atkarības modeļi rāda, ka narkotiku meklējumos nejutīgums pret kaitīgām sekām, kas saistītas ar narkotikām, attīstās tikai pēc ilgstošas ​​zāļu pašpārvaldes, bet ne tikai ar narkotiku lietošanu. [37], [38]. Atšķirībā no mūsu teorijas agrākie atkarības aprēķināšanas modeļi [9], [10] ir tiešā pretrunā ar šo pierādījumu kopumu, jo tās paredz, ka nelabvēlīgi uzvedības rezultāti, kas uzreiz seko narkotiku lietošanai, nav motivējoša iedarbība pat ļoti agrīnā narkotiku lietošanas stadijā (skat. Fails S1 papildu informāciju).

Mūsu modelis arī atspoguļo bloķējošo iedarbību uz narkotikām [39]. Bloķēšana ir kondicionējošs fenomens, kad A stimulatora iepriekšēja savienošana ar iznākumu bloķē asociācijas veidošanos starp dažādiem stimuliem B ar šo iznākumu nākamajā apmācības fāzē, kur A un B tiek uzrādīti pirms iznākuma saņemšanas [40]. Mūsu modeļa simulācijas rezultāti Pavlovijas eksperimentālajā projektā (skatīt. \ T Fails S1 lai iegūtu papildinformāciju par parauga Pavlovijas versiju), redzams, ka abu veidu dabas atlīdzību un narkotiku gadījumos, kad paredzamā vērtība noteiktā hierarhijas līmenī sasniedz stabilu stāvokli (nevis palielinās neierobežoti), tālākā mācīšanās nenotiek. līmenis, jo prognozes kļūdas signāls ir samazinājies līdz nullei (Skaitlis 4). Tādējādi tiks bloķēta jauna stimula piesaistīšana jau iepriekš prognozētajai atlīdzībai. Uzvedības pierādījumi, kas parāda bloķējošu efektu, kas saistīts gan ar medikamentiem, gan ar dabīgiem pastiprinātājiem [39] ir izmantots kā galvenais arguments, lai kritizētu iepriekš ierosināto atkarības atkarīgo dopamīna modeli [9]. Šeit mēs parādījām, ka koncentrēšanās uz reprezentāciju hierarhisko raksturu un dorsālo ventrālo spirālveida dopamīna cilpu organizāciju faktiski var ņemt vērā bloķēšanas datus, tādējādi apejot šo kritiku (skatīt Fails S1 papildu informāciju).

Lejupielādēt:

• PPT

  PowerPoint slaids

• PNG

  lielāks attēls (360KB)

• TIFF

  oriģinālais attēls (615KB)

Skaitlis 4. Bloķēšanas efekts dabiskai un narkotiku atlīdzībai.

Modelis paredz, ka bloķēšana notiek dabisku atlīdzību gadījumā (A) un narkotikas (B), tikai tad, ja sākotnējais apmācības periods ir “plašs”, tādejādi pirmais stimuls pilnībā prognozē iznākuma vērtību. Pēc “mērenām” mācībām kognitīvie līmeņi, kas ir elastīgāki, pilnībā paredz vērtības un tādējādi bloķē tālāku mācīšanos. Tomēr mācīšanās joprojām ir aktīva zema līmeņa procesos, kad sākas otrā apmācības fāze (abu stimulu vienlaicīga prezentācija). Tādējādi mūsu modelis paredz, ka mērena sākotnējā apmācība bloķējošā eksperimentā ar dabiskiem ieguvumiem radīs arī kognitīvo / uzvedības nekonsekvenci. Šajā attēlā sniegtie dati ir iegūti no “viena” imitēta dzīvnieka un līdz ar to statistiskā analīze nebija piemērojama.

doi: 10.1371 / journal.pone.0061489.g004

Kā minēts iepriekš, vairāki pierādījumu veidi liecina, ka dorsāls dominē pār vēdera striju, kontrolējot uzvedību mācīšanās gaitā. [8], [31], [32]. Interpretējot uz šo pierādījumu fona, nelīdzsvarotais narkotiku meklēšanas novērtējums hierarhijā arī izskaidro narkomānu neveiksmīgos centienus samazināt narkotiku lietošanu pēc ilgstošas ​​pieredzes ar narkotikām, kad kontrole pār narkotikām saistīto izvēli ir pārgājusi no kognitīvās uz zemu narkotiku līmeni. līmeņa ierastie procesi. Šis narkotiku dominējošo procesu pārākums, protams, noved pie uzvedības neelastības ar narkotikām saistītās izmaksās (piespiedu narkotiku meklēšana), kas, iespējams, ir saistīta ar pašu aprakstītu kļūdu. Attiecībā uz dabiskām atlīdzībām mūsu modelis paredz, ka, kaut arī uzvedības neelastība mācīšanās laikā palielinās, tā kā nevienam vērtēšanas-neatbilstības līmenim hierarhijas līmeņos neveidojas, ar atlīdzību saistītie sodi galu galā kavēs atalgojuma meklējumus.

Mūsu modelis ir vērsts uz darbību novērtēšanu “varbūtēji dotā” lēmumu hierarhijā un atstāj malā to, kā attīstīšanas laikā sākotnēji tiek atklātas abstraktās iespējas un to atbilstošie zemākā līmeņa subroutīni. Lēmuma hierarhijas atklāšana tiek ierosināta kā augšupējs process, ko veic, sadalot zemu līmeņu darbību secības un izveidojot abstraktākas iespējas [41]. Šis process, kas, domājams, pāriet no muguras uz ventrālo striatumu, ir pretējā virzienā, kāds ir šeit piedāvātajam konkurences mehānismam, lai kontrolētu uzvedību.

diskusija

Pieaugošais pierādījumu skaits par dažādu striatrijas apakšreģionu atkarību no atkarības parasti tiek interpretēts pastāvīgās vai mērķtiecīgās dichotomijas ietvaros [8], [14], [34]. Hierarhiskā lēmumu pieņemšanas pieeja, kuru mēs šeit izmantojam, ir papildinājums šādiem divsistēmu kontiem. Tā kā divu procesu pieeja attiecas uz dažādiem algoritmiem (bez modeļa un modeļa bāzes [30]), lai atrisinātu vienu problēmu, hierarhiskā RL sistēma koncentrējas uz dažādām viena un tā paša problēmas pārstāvniecībām dažādos laika abstrakcijas līmeņos. Teorētiski, vai nu pastāvīgais, vai mērķtiecīgais algoritms var atrisināt katru no šiem dažādajiem problēmas risinājumiem. Mūsu modelī narkotiku izraisīto aizspriedumu uzkrāšanās DA spirāļos notiek tādā vidē, kur vērtības novērtēšanas algoritms ir bez modeļa (ieraduma mācīšanās). Tomēr tas neizslēdz to, ka pastāv uz sistēmām balstītas sistēmas, kas darbojas hierarhijas augstākajos līmeņos. PFC atkarīgo mērķa vērtēšanas un lēmumu sistēmu vienkārši var iekļaut modelī, pieņemot, ka darbības augstākajā abstrakcijas līmenī novērtē mērķtiecīga sistēma. Lai gan šāda komplikācija nemaina šajā manuskripā sniegto rezultātu raksturu, tā turpmākā elastība citu atkarības aspektu skaidrošanā ir atstāta nākotnes pētījumos. Patiesībā, mūsu modelī, neatkarīgi no tā, vai pastāv tieša vai tieša sistēma, narkotiku meklēšanas asimptotiskās vērtības atšķirība starp abām hierarhijas galējībām pieaug ar lēmumu pieņemšanas līmeņu skaitu, ko regulē „pastāvīgais” process .

Ņemot vērā mūsu teoriju, recidīvu var uzskatīt par neaktīvu motoru līmeņa maladaptīvu ieradumu atdzimšanu pēc kognitīvo līmeņu dominēšanas perioda. Faktiski var iedomāties, ka kognitīvās terapijas (cilvēka atkarību gadījumā) vai piespiedu izzušanas rezultātā (dzīvnieku atturības modeļos) narkotiku meklējuma augstā vērtība hierarhijas detalizētajā līmenī nav dzēsta, bet kļūst mierīga kontrolēt atpakaļ kognitīvos līmeņos. Tā kā ar narkotikām saistīta uzvedība ir jutīga pret nelabvēlīgām sekām abstraktā līmenī, narkotiku meklēšanu var novērst, kamēr augsta līmeņa kognitīvie procesi dominē uzvedības kontrolē. Var pat spekulēt, ka populārās 12 soļu programmas (piem., Anonīmas anonīmi, anonīmas narkotikas uc) darbojas daļēji, skaidri pieprasot dalībniekiem atzīt, ka viņu dzīvesveids ir pretrunīgs, tādējādi ļaujot abstraktajiem kognitīvajiem līmeņiem izteikt savu kontroli pār viņu uzvedību. Stresa apstākļus vai atkārtotu iedarbību uz narkotikām (gruntēšanu) var uzskatīt par riska faktoriem, kas vājina abstrakto līmeņu dominēšanu uzvedībā, kas var novest pie atbildes reakcijas uz narkotikām (sakarā ar latentajām augstajām ne-kognitīvajām vērtībām) ).

Apkopojot, mēs piedāvājam saskaņotu pārskatu par vairākām acīmredzami atšķirīgām parādībām, kas raksturīgas narkomānijai. Mūsu modelis sniedz normatīvu kontu datiem par ventrālās un muguras striatālās ķēdes atšķirīgajām lomām narkotiku meklēšanā un ieradumu izpildē, kā arī par barības padeves DA savienojamības selektīvo lomu zāļu iedarbībai pret dabiskajiem pastiprinātājiem. Vissvarīgākais ir tas, ka mēs parādām, kā zāļu izraisīta patoloģija vēdera-muguras DA signālos, kas motivācijas informāciju nomāc kognitīvās pārstāvības hierarhijā, varētu izraisīt nesaskaņu starp atkarīgo abstrakto attieksmi pret narkotiku meklēšanu un to, ko viņi faktiski dara. Acīmredzot mūsu modelis nesniedz pilnīgu pārskatu par narkotiku atkarību un nav domāts tam. Lai izskaidrotu citus neizskaidrojamus atkarības aspektus, ir jāiekļauj daudzas citas smadzeņu sistēmas, kuras, kā pierādīts, ietekmē ļaunprātīgas narkotikas [42]. Turpmākās izpētes jautājums joprojām ir par to, kā iekļaut šādas sistēmas oficiālajā skaitļošanas tīklā.

Atbalsta informācija

Fails S1.

S1 attēls,Parauga lēmumu hierarhija ar pieciem abstrakcijas līmeņiem. S2 attēls, Atbilstošā neirālā ķēde trim apspriestajiem vērtību mācīšanās algoritmiem ir hierarhiska lēmuma struktūra. A, Izmantojot vienkāršu TD-mācīšanās algoritmu (vienādojumu S7), prognozēšanas kļūdu signāls katrā abstrakcijas līmenī tiek aprēķināts neatkarīgi no citiem līmeņiem. B, Haruno un Kawato (4) (vienādojums S8) piedāvātajā modelī laikietilpīgā stāvokļa vērtība nāk no viena augstāka abstrakcijas līmeņa. C, mūsu modelī (S9 vienādojums) laika ziņā progresīvā stāvokļa vērtība ir aizstāta ar veikto darbību atalgojuma un Q vērtības kombināciju augstākā abstrakcijas līmenī. S3 attēls, Mūsu modelis prognozē dažādas narkotiku darbības vietas atalgojuma mācīšanās shēmā: vietnes 1 uz 3. Savukārt 4 uz 6 iedarbību ietekmējošās zāles neradīs uzvedības un neirobioloģiskos modeļus, kas rodas, modelējot narkotiku modeli, bet radīs līdzīgus rezultātus dabisko atlīdzību gadījumā. S4 attēls, Uzdevums, ko izmantoja, lai modelētu neskaidrību balstītu konkurences mehānismu starp hierarhijas līmeņiem, lai kontrolētu uzvedību. S5 attēls, Simulācijas rezultāts, kas parāda pakāpenisku kontroli pār uzvedību no augstākas uz zemākiem hierarhijas līmeņiem. Q (s) un ASV) uzrāda attiecīgi stāvokļa pāru aplēsto vērtību un nenoteiktību.

doi: 10.1371 / journal.pone.0061489.s001

(PDF)