Introduksjon

«Vi innrømmet at vi var maktesløse overfor avhengigheten vår – at livene våre hadde blitt uhåndterlige», heter det aller første prinsippet i Anonyme Narkomanes 12-trinnsprogram [1] . Dette belyser hvordan maktesløse rusavhengige befinner seg når det gjelder å motstå narkotika, til tross for at de vet at narkotikabruk er en feil handlingsplan [2] – [4] . Faktisk er kjennetegnet på avhengighet tvangsmessig søken etter narkotika, selv på bekostning av åpenbare negative konsekvenser [5] . Et tegn på slik patologisk atferd blir tydelig i kontrollerte eksperimenter der rusavhengige viser en karakteristisk «selvbeskrevet feil»: en inkonsekvens mellom den sterke atferdsresponsen mot narkotikarelaterte valg og den relativt lave subjektive verdien som rusavhengigen rapporterer for stoffet [4] , [6] , [7] . Når det kombineres med tap av hemmende kognitiv kontroll over atferd, etter langvarig eksponering for narkotika, kan denne divergensen mellom de kognitive planene og de konsoliderte vanene resultere i en overgang fra tilfeldig til tvangsmessig narkotikasøkende atferd [8].

Tap av kognitiv kontroll og selverklærte feil har så langt unngått en prinsipiell forklaring fra formelle avhengighetsmodeller [9] – [13] . Tidligere beregningsteorier om rusavhengighet, hovedsakelig plassert innenfor rammeverket av forsterkningslæring, ser på avhengighet som en patologisk tilstand i vanelæringssystemet (stimulus-respons) [9] – [13] . Den sentrale hypotesen bak alle disse modellene er at den farmakologiske effekten av legemidler på dopaminsignalering, som angivelig bærer et stimulus-respons-læringssignal, resulterer i gradvis overforsterkning av slike assosiasjoner. Denne effekten fører igjen til tvangsmessige rusmiddelsøkende vaner. Selv om dette reduserte synet på avhengighet har fanget opp noen aspekter av fenomenet, indikerer en økende konsensus i avhengighetslitteraturen at flere læringssystemer er involvert i patologien. Bare et slikt mer komplekst bilde som inkluderer hjernens kognitive, så vel som lavnivå vanemessige prosesser, kan forklare variasjonen av avhengighetslignende atferd [8] , [14].

I denne artikkelen benytter vi en hierarkisk tilnærming til forsterkende læring [15] der beslutninger representeres på ulike abstraksjonsnivåer, i et kognitivt-til-motorisk hierarki. Vi antar at en kaskade av dopaminavhengige læringssignaler knytter nivåer i hierarkiet sammen [16] . Vi antar videre at misbruksmidler farmakologisk kaprer kommunikasjonsmekanismen mellom abstraksjonsnivåer. Basert på disse antagelsene viser vi at den rapporterte kognitive dissonansen hos rusavhengige oppstår innenfor det hierarkiske rammeverket for forsterkende læring når kronisk rusmiddeleksponering forstyrrer verdilæring på tvers av beslutningshierarkiet. Denne forstyrrelsen resulterer i en patologisk overvurdering av rusmiddelvalg ved lavnivå vaneprosesser og dermed driver vanemessig rusmiddelsøkende atferd. Vi demonstrerer deretter at "mislikt", men tvangsmessig rusmiddelsøking kan forklares som rusmiddelkaprede lavnivå vaneprosesser som dominerer atferd, mens sunne kognitive systemer på de øverste representasjonsnivåene mister kontroll over atferd. Videre demonstrerer vi at den foreslåtte modellen kan ta hensyn til nyere bevis på rask vs. forsinket utvikling av medikamentfremkalt dopamin-effluks i henholdsvis ventral vs. dorsal striatum, samt avhengigheten av dette mønsteret av dopamin-spiralkretser.

Materialer og metoder

forutsetninger

I samsvar med en rikholdig litteratur om kognitiv psykologi antar vårt hierarkiske rammeverk for forsterkende læring [15] , [18] at en abstrakt kognitiv plan som «å brygge te» kan deles inn i en sekvens av handlinger på lavere nivå: koke vann, sette te i kannen, osv. Slik nedbrytning fortsetter inntil konkrete motoriske responser på det laveste nivået i hierarkiet ( figur 1A ). Nevrobiologisk er de ulike nivåene av beslutningshierarki fra kognitive til motoriske nivåer representert langs den rostro-kaudale aksen til kortiko-basale ganglier (BG)-kretsen [19] – [21] . Denne kretsen består av flere parallelle lukkede løkker mellom frontal cortex og basalganglier [22] , [23] ( figur 1B ). Mens de fremre løkkene ligger til grunn for mer abstrakt representasjon av handlinger, koder de kaudale løkkene, som består av sensorisk-motorisk cortex og dorsolateral striatum, for lavnivåvaner [19] – [21].

Nedlasting:

• PPT

  PowerPoint-lysbilde

• PNG

  større bilde ( 1.06 MB )

• TIFF

  originalbilde ( 1.56 MB )

Figur 1. Hierarkisk organisering av atferd og cortico-BG-kretsen.

A , Et eksempel på et beslutningshierarki for to alternative valg: medikament vs. mat. Hvert handlingsforløp er representert på forskjellige abstraksjonsnivåer, angivelig kodet i forskjellige cortico-BG-løkker. Å søke hver av de to belønningstypene kan følge en straff på magnitude 16. B , Glutamaterge forbindelser fra forskjellige prefrontale områder projiserer til striatale subregioner og projiserer deretter tilbake til PFC gjennom pallidum og thalamus, og danner flere parallelle løkker. Gjennom striato-nigro-striatale dopaminnettverket påvirker de ventrale regionene av striatum de mer dorsale regionene. vmPFC, ventral medial prefrontal cortex; OFC, orbital frontal cortex; dACC, dorsal anterior cingulate cortex; SMC, sensorisk-motorisk cortex; VTA, ventral tegmental area; SNc, substantia nigra pars compacta. Figur 1B Modifisert fra ref 21.

doi: 10.1371 / journal.pone.0061489.g001

Innenfor denne kretsen signaliserer den fasiske aktiviteten til dopamin (DA)-nevroner i mellomhjernen som projiserer til striatum feilen mellom forutsagte og mottatte belønninger, og bærer dermed stimulus-respons-forsterkende informasjon [24] . Disse DAergiske projeksjonene danner en kaskaderende seriell konnektivitet som forbinder de mer ventrale områdene av striatum med gradvis flere dorsale regioner gjennom de såkalte "spiralformede" forbindelsene [25] – [27] ( figur 1B ). Funksjonelt sett tillater en slik feed-forward-organisering som forbinder de rostrale til kaudale cortico-BG-løkkene, rettet kobling fra grove til fine representasjoner. Følgelig antas DA-spiralene å gi et nevrobiologisk substrat for den progressive justeringen av belønningsprediksjonsfeilen av de høyere nivåene i hierarkiet (som koder for den abstrakte kunnskapen om verdien av atferdsalternativer). Denne feilen brukes deretter til å oppdatere handlingsverdier på mer detaljerte nivåer [16] . Med andre ord tillater DA-spiralene at de abstrakte kognitive nivåene av verdsettelse veileder læringen i de mer detaljerte handlingsverdisettelsesprosessene.

Teori skisse

I form av beregningsteori om forsterkningsopplæring [28] (RL), agent (i vårt tilfelle en person eller et dyr) lærer å gjøre informerte handlingsvalg ved å oppdatere sin tidligere estimerte verdi, , for hvert state-action-par, , når en belønning er mottatt av agenten i tide som et resultat av å utføre en handling i kontekstuell tilstand (stimulus) . Verdien oppdateres ved å beregne belønningsforutsigelsesfeil signalet. Dette signalet avhenger ikke bare av øyeblikkelig mottatt belønning (), men også på verdien av den nye staten, slutter agenten i, etter at handlingen er utført. Betegnet av , representerer denne temporært avanserte verdifunksjon summen av fremtidige belønninger som dyret forventer å motta fra den resulterende tilstanden, , videre. Forutsigelsesfeilen kan beregnes av følgende ligning:

(1)

Intuitivt beregner prediksjonsfeilssignalet uoverensstemmelsen mellom den forventede og den realiserte givende verdien av en handling. I en hierarkisk beslutningsstruktur, i stedet for å lære -Vurderer uavhengig på forskjellige nivåer, kan mer abstrakte nivåer justere undervisningssignalet beregnet på lavere nivåer. Siden høyere nivåer av hierarkiet representerer en mer abstrakt representasjon av miljømessige hendelser, oppstår læring raskere på disse nivåene. Dette skyldes den relative lavdimensionaliteten av den abstrakte oppførelsen av atferd: En handlingsplan kan representeres som et enkelt trinn (en dimensjon) på toppnivået i hierarkiet og som flere detaljerte handlinger (flere dimensjoner) på lavere nivåer av hierarkiet. Den øverste nivåverdien av denne handlingsplanen vil bli lært raskt i forhold til de detaljerte nivåene der belønningsfeilene vil trenge å tilbakeprodusere alle de detaljerte handlingene. Dermed kan innstillingen av verdiene fra de høyere nivåene redusere konvergensen av disse verdiene ved å justere lavere nivåverdier. En statistisk effektiv måte å gjøre det på er å anta det for å beregne prediksjonsfeilssignalet på -nivå av abstraksjon , den temporært avanserte verdifunksjonen, , kommer fra en høyere grad av abstraksjon, [16]:

(2)

For å bevare optimalitet kan ligning 2 brukes til å beregne prediksjonsfeilen bare når den siste primitive handlingen i et abstrakt alternativ utføres (se figur S1 i fil S1 ). I andre tilfeller skjer verdilæring på forskjellige nivåer uavhengig, som i ligning 1. I begge tilfeller brukes læringssignalet deretter til å oppdatere de tidligere verdiene på det tilsvarende nivået:

(3)
hvor er læringsfrekvensen. Denne form for informasjonsdeling på mellomnivå er biologisk trolig fordi den reflekterer spiralstrukturen til DA-kretsen, som bærer informasjonen nedover hierarkiet i ventro-dorsalretningen. Samtidig blir styring av mer abstrakte nivåer akselerert betydelig, lindring av høyverdimensjonen av verdiinnlæring på detaljerte nivåer [16].

I denne artikkelen viser vi at samspillet mellom en modifisert versjon av modellen utviklet i [16] og de spesifikke farmakologiske effektene av rusmidler på det dopaminerge systemet kan fange opp avhengighetsrelaterte data på radikalt forskjellige analyseskalaer: atferdsmessig og nevrobiologisk på kretsnivå. For det første gir den nye modellen en mulig overbevisende forklaring på flere spennende atferdsmessige aspekter knyttet til rusavhengighet (f.eks. den selvbeskrevne feilen [4] , [6] , [7] ). For det andre kan vi redegjøre for et bredt spekter av bevis angående dynamikken i den legemiddelfremkalte dopaminfrigjøringen [17].

Vi modifiserer modellen som presenteres i [16] som følger. Vi gjør modellen mer effektiv når det gjelder arbeidshukommelseskapasitet ved å bytte ut med , i ligning 2, siden de to verdiene konvergerer til samme stabile nivå (se figur S2 i Fil S1, for beregning og neurobiologisk grunnlag):

(4)

Her er det relativt abstrakte alternativet og er den siste primitive handlingen i oppførselssekvensen som fyller dette alternativet. På samme måte, er den givende verdien av , Som omfatter (den givende verdien av ).

Viktigst, de forskjellige stoffene som mishandles av mennesker, deler en grunnleggende egenskap av farmakologisk økende dopaminkonsentrasjon i striatumet [29]. Følgelig innarbeider vi denne farmakologiske effekten av legemidlet ved å legge til en positiv forspenning, , (se også [9]-[12]) til prediksjonsfeil signalet båret av dopaminneuroner (se figur S3 i Fil S1, for beregning og neurobiologisk grunnlag):

(5)

Her fanger den direkte farmakologiske effekten av stoffet på DA-systemet, og er dens forsterkende verdi på grunn av euphorigeniske effekter (se Fil S1 for tilleggsinformasjon).

Selv om ligning 3 og 5 sammen definerer beregningsmekanismen for å oppdatere verdiene i modellen vår, antar vi også at en usikkerhetsbasert konkurransemekanisme bestemmer abstraksjonsnivået som kontrollerer atferd. Dette er inspirert av mekanismen foreslått i [29] for arbitrering mellom de vanemessige og målrettede systemene. I denne forbindelse er det ved hvert beslutningspunkt bare abstraksjonsnivået med høyest sikkerhet i estimering av verdien av valg som kontrollerer atferd. Når dette nivået har tatt beslutningen om å handle, vil alle de lavere nivåene i hierarkiet bli utplassert av dette dominerende nivået for å implementere den valgte handlingen som en sekvens av primitive motoriske responser (se fil S1 for tilleggsinformasjon; figur S4 i fil S1 ; figur S5 i fil S1 ). Når belønningstilbakemeldingen fra omgivelsene mottas, oppdateres verdiene på alle nivåer. Denne usikkerhetsbaserte arbitreringsmekanismen forutsier at etter hvert som abstrakte prosesser er mer fleksible, har de overlegen verditilnærmingsevne i de tidlige stadiene av læring, og dermed kontrollerer de atferd på disse stadiene. Men siden de abstrakte nivåene bruker en grov representasjon av miljøet (f.eks. fordi de inneholder et relativt lite antall basisfunksjoner), er deres evne til å tilnærme den endelige verdien ikke like presis som for detaljerte nivåer. Med andre ord, etter omfattende trening er sikkerheten knyttet til de estimerte verdiene lavere for de lavere nivåene i hierarkiet sammenlignet med de øvre nivåene. Med progressiv læring tar dermed de lavere nivåene i hierarkiet over kontrollen over handlingsvalget, ettersom usikkerheten deres gradvis avtar. Dette er i samsvar med flere bevislinjer som viser en progressiv dominans av det dorsale over det ventrale striatum i kontrollen over søk etter medikamenter (samt søken etter naturlige belønninger) [8] , [30] , [31].

Resultater

Hierarki verdsettelse inkonsekvens fremkommer under narkotika, men ikke naturlige belønninger

I motsetning til tidligere forsterkningsbaserte læringsbaserte beregningsmodeller av avhengighet [9]-[13] som er basert på en enkelt beslutningssystem-tilnærming, bygger kontoen vår på et rammeverk med flere interagerende systemer. Som et resultat, selv om formen for modellering av medikamentets effekt på prediksjonsfeilsignalet i vår modell er lik den forrige [9]-[12], resulterer det i fundamentalt forskjellige konsekvenser. Den medisin-induserte forbigående dopaminforhøyelse øker den umiddelbare prediksjonsfeilen på hvert nivå av hierarkiet, og som et resultat medfører en forspenning, , på overføring av kunnskap fra ett nivå av abstraksjon til det neste, langs grove-til-fine retning av hierarkiet. Denne bias forårsaker den asymptotiske verdien av narkotikasøkende på et gitt nivå å være enheter høyere enn for et mer abstrakt lag (Figur 2B). Akkumuleringen av disse avvikene langs rostro-caudal-aksen fremkaller gradvis signifikante forskjeller i verdien av narkotikasøkende atferd mellom topp- og bunnekstremier i hierarkiet. Således, selv når etterfulgt av sterk straff, er verdien av medikamentassosiert atferd positiv ved lavnivåmotorløkkene, mens den blir negativ på kognitive nivåer. Med andre ord forutsetter modellen at akkumulering av narkotikapåvirkning over DA-spiraler øker narkotikasøkende verdi på motornivåvaner til en slik høy amplitude at selv en sterk naturlig straff ikke vil kunne redusere den tilstrekkelig. Vi foreslår at dette forklarer inkonsekvensen mellom kognitiv og lavt nivå evaluering av narkotikarelaterte atferd hos rusmisbrukere. Med andre ord foreslår vi at kompulsiv rusmiddelsøk og den betydelig reduserte elastisiteten til tilhørende kostnader stammer fra den farmakologiske effekten av stoffet som kapsler den dopamin-avhengige mekanismen som overfører informasjonen mellom nivåene av beslutningshierarkiet.

Nedlasting:

• PPT

  PowerPoint-lysbilde

• PNG

  større bilde ( 289 KB )

• TIFF

  originalbilde ( 471 KB )

Figur 2. Motivasjon for mat vs. legemiddel på ulike abstraksjonsnivåer (simuleringsresultater).

I de første 150-prøvene hvor ingen straff følger belønningen, verdier verdien av å søke naturlige belønninger på alle nivåer til 10 (A). For stoffet, men den direkte farmakologiske effekten av stoffet (, satt til) resulterer i asymptotisk verdi på hvert nivå å være enheter høyere enn for et høyere abstraksjonsnivå (B). Når kognitive sløyfer på riktig måte tilordner en negativ verdi til medisinssøkende valg, følger etterfølgelsen av straffen, at motornivåsløyfer finner ønskelig (positiv verdi) medikamentsøkende. Kurvene i denne figuren viser utviklingen av verdier i "ett" simulert dyr og dermed var ingen statistisk analyse anvendelig.

doi: 10.1371 / journal.pone.0061489.g002

Mens narkotika, i vår modell, resulterer i ubalansert verdsettelse på tvers av nivåer, samler verdien av naturlige belønninger seg til samme verdi på alle nivåer, på grunn av mangel på en direkte farmakologisk effekt på DA-signalmekanismen (). Følgelig blir det ikke observert inkonsekvens eller overvaluering på detaljerte nivåer når det gjelder naturlige fordeler (Figur 2A). Overvurdering av narkotikasøkende svar på lavere nivåer av hierarkiet bør resultere i unormal preferanse av narkotika over naturlige fordeler, og over-engasjement i narkotikarelaterte aktiviteter.

Differensial dopamin reagerer i ventral kontra dorsal striatum til narkotikarelaterte tegn

Nevrobiologisk sett har de striatale subregionenes differensielle roller i tilegnelse og uttrykk av rusmiddelsøkende atferd blitt sentrale i avhengighetsforskning. Konvergerende bevis fra ulike forskningslinjer tyder på at den atferdsmessige overgangen fra rekreasjonsmessig til tvangsmessig rusmiddelbruk gjenspeiler et nevrobiologisk skifte i verdsettelse fra det ventrale til det dorsolaterale striatum [8] , [33] , [34] , som tilsvarer et skifte fra kognitive til detaljerte nivåer i vår modell. I samsvar med vår modell vises det at DA-spiralnettverket som forbinder det ventrale til gradvis flere dorsale regioner av striatum, spiller en sentral rolle i denne overgangen [25].

I en viktig nylig studie vurderte Willuhn et al. [17] mønsteret av dopaminfrigjøring som respons på medikamentassosierte signaler i det ventrale og dorsolaterale striatum hos rotter i løpet av tre uker med kokainbruk. Ved bruk av hurtigskanningssyklisk voltammetri var den kritiske observasjonen at signalindusert DA-effluks i det ventrale striatum oppstår selv etter svært begrenset trening. I motsetning til dette viste det dorsolaterale striatum signalutløst DA-effluks først etter omfattende trening, og utviklingen av dette frigjøringsmønsteret forsvant når det ventrale striatum ble skadet i den ipsilaterale hemisfæren.

Siden den tidsmessige oppløsningen til hurtigskanningsvoltammetri fanger opp subsekundsfluktuasjoner i konsentrasjon, bør det observerte mønsteret av DA-effluks tilskrives "fasisk" DA-signalering og dermed prediksjonsfeilsignalet, i henhold til RL-teorien om dopamin [24] . I følge RL-teorien er prediksjonsfeilsignalet ved observasjon av en uventet stimulus lik den belønningsverdien som den stimulusen forutsier. Derfor er signalindusert DA-frigjøring ekvivalent med verdien som er forutsagt av den signalen.

I denne forbindelse gir vårt hierarkiske rammeverk en formell forklaring på det differensielle mønsteret av ventral versus dorsal striatal DA-effluks rapportert i [17] . Verdien predikert av den medikamentassosierte signalen på de abstrakte kognitive nivåene i hierarkiet øker raskt i de svært tidlige stadiene av treningen ( figur 2B ), på grunn av lav dimensjonalitet i læringsproblemet ved høye abstraksjonsnivåer. Som et resultat viser modellen vår at den signalinduserte DA-effluksen bør observeres i det ventrale striatum selv etter begrenset trening ( figur 3 ). På de mer detaljerte representasjonsnivåene er imidlertid læringsprosessen langsom ( figur 2B ), på grunn av høy dimensjonalitet i problemrommet, samt avhengighet av læring på mer abstrakte nivåer gjennom DA-spiraler. Følgelig bør signalindusert DA-effluks i det dorsolaterale striatum utvikle seg gradvis og bli observerbar først etter omfattende trening ( figur 3 ).

Nedlasting:

• PPT

  PowerPoint-lysbilde

• PNG

  større bilde ( 447 KB )

• TIFF

  originalbilde ( 896 KB )

Figur 3. Dopaminutstrømning ved forskjellige striatale subregioner som respons på medikamentassosierte signaler (simuleringsresultater).

I tråd med eksperimentelle data [17] viser modellen (venstre kolonne) at det som respons på medikamentassosierte signaler vil være dopaminutstrømning i det ventrale striatum, etter begrenset og omfattende trening. I mer dorsolaterale subregioner vil imidlertid signalfremkalt DA-utstrømning utvikle seg gradvis i løpet av læringen. Modellen forutsier (andre kolonne fra høyre) at denne forsinkede utviklingen av signalfremkalt DA-utstrømning i dorsal striatum avhenger av den DA-avhengige serielle tilkoblingen som forbinder ventralt med dorsal striatum. Det vil si at som et resultat av å frakoble DA-spiralene, mens signalfremkalt DA-respons forblir intakt i det ventrale striatum, avtar den betydelig i det dorsolaterale striatum. Dessuten forutsier modellen (tredje kolonne fra høyre) lignende resultater for signalindusert DA-utstrømning i dorsolateralt striatum for tilfellet med lesjonert ventral striatum. Til slutt, hvis det etter omfattende paring av medikament og straff følger medikamentet, forutsier modellen (høyre kolonne) at medikamentrelatert signal resulterer i hemming av det ventrale benet til DA-spiraler, selv etter begrenset trening. I mer dorsale regioner avtar imidlertid DA-effluks sakte under læring, men vil forbli positiv, selv etter omfattende paring av medikament og straff. Dataene som presenteres i denne figuren er hentet fra "ett" simulert dyr, og derfor var ingen statistisk analyse anvendelig.

doi: 10.1371 / journal.pone.0061489.g003

Videre forklarer modellen vår bevisene i [17] om at en slik forsinket utvikling av signalindusert DA-effluks i det dorsolaterale striatum avhenger av det ventrale striatum ( figur 3 ). I modellen vår reduserer en simulert ensidig lesjon av det ventrale striatum (det abstrakte verdsettelsesnivået i modellen) den signalinduserte verdien for legemidlet betydelig på detaljerte nivåer i den ipsilaterale hemisfæren, og reduserer dermed nivået av signalindusert DA-effluks betydelig. For å modellere lesjon av det ventrale striatum, fikserer vi ganske enkelt verdien av alle stimuli på det høyeste nivået i hierarkiet til null.

På samme måte forutsier modellen vår at utviklingen av fasisk DA-signalering i det dorsolaterale striatum avhenger av integriteten til DA-spiralkretsen ( figur 3 ). Faktisk kutter en frakobling i DA-spiralkretsen i modellen vår kommunikasjonen på tvers av abstraksjonsnivåer, som igjen forhindrer akkumulering av medikamentindusert bias på forsterkningssignalet, langs nivåene i beslutningshierarkiet. For å modellere frakoblingen i den DA-avhengige serielle kretsen fra ventral til dorsal striatum, klemmer vi hvert abstraksjonsnivå for å beregne prediksjonsfeilsignalet lokalt (som i ligning 3), uten å motta verdien av den temporalt avanserte tilstanden fra det umiddelbart høyere abstraksjonsnivået.

Videre forutsier modellen at mønsteret av signalfremkalt DA-effluks vil endre seg hvis man etter omfattende trening med kokain og kokainassosierte signaler, som i eksperimentet ovenfor, begynner å parre kokainleveringen med en sterk straff. Vi forutsier at DA-effluksen som respons på den kokainassosierte signalen raskt bør avta under baseline i det ventrale striatum. I det dorsolaterale striatum bør imidlertid signalindusert DA-frigjøring holde seg over baseline ( figur 3 ) med en mulig forsinket delvis reduksjon. Dette indikerer å tildele positiv subjektiv verdi til stoffstimulusen på detaljerte nivåer, til tross for negative (under baseline) verdier på kognitive nivåer. Det er verdt å merke seg at denne forutsigelsen avhenger av antagelsen om at straff behandles av hjernen ganske enkelt som en negativ belønning. Denne antagelsen er noe kontroversiell: den støttes tydelig av eksperimentelle studier [35] , men diskuteres også på annen måte av andre [14] , [36] . Bortsett fra denne forutsigelsen, avhenger ikke andre aspekter ved modellen av om straff er kodet av dopamin eller av et annet signalsystem.

Treningsregimet som brukes av Willuhn et al. [34] er ikke tilstrekkelig utvidet til å produsere tvangsmessig rusmiddelsøkende atferd, karakterisert ved ufølsomhet for rusrelaterte straffer [37] , [38] . Et sentralt spørsmål som må besvares er derfor hva forholdet er mellom forsinket utvikling av signalindusert DA-respons ved DLS og sen utvikling av tvangsmessig respons. I følge vår modell krever tvangsmessig atferd ikke bare overdreven verdsettelse av rusmiddelvalg på lave nivåer i hierarkiet, men også overføring av kontroll over atferd fra de abstrakte kognitive til de lavnivå vanemessige prosessene. Tidsskalaen for disse to prosessene er bare delvis avhengige av hverandre: overvurderingsprosessen avhenger av prediksjonsfeilsignalet, mens overføringen av atferdskontroll også avhenger av den relative usikkerheten i verdiestimering. Derfor kan overvurderingen av rusmiddelassosierte signaler på lave nivåer i hierarkiet gå forut for forskyvningen av kontroll over atferd fra toppen til bunnen av hierarkiet. De nøyaktige tidsskalaene for de to prosessene avhenger av henholdsvis læringshastigheten og støyen som er iboende på de forskjellige nivåene (se fil S1 for tilleggsinformasjon). Med andre ord er det sannsynlig at den signalinduserte dopaminutstrømningen i DLS kan utvikle seg betydelig før den tvangsmessige rusmiddelsøkingen manifesterer seg atferdsmessig.

Behavioral implikasjoner av inkonsekvent verdsettelse for narkotika mot naturlige belønninger

Atferdsmessig blir den abstrakte verdien av responsen på rusmiddelsøking i vår modell raskt negativ hvis straff kombineres med rusmiddelbruk i de tidlige stadiene av frivillig rusmiddelbruk. Forutsatt at rusmiddelsøking kontrolleres av abstrakte nivåer i disse tidlige stadiene, gjør negativ abstrakt evaluering av rusmiddelvalg subjektet uvillig til å oppleve denne handlingen lenger. Dette vil forhindre konsolidering av sterk lavnivåpreferanse for rusmidler over tid. Dermed forklarer modellen elastisiteten til rusmiddelvalg i forhold til kostnader i de tidlige stadiene av rusmiddelforbruk, men ikke etter kronisk bruk. Dyremodeller av avhengighet viser konsekvent at ufølsomhet i rusmiddelsøkende responser for skadelige konsekvenser forbundet med rusmidler først utvikler seg etter langvarig selvadministrasjon av rusmidler, men ikke begrenset rusmiddelbruk [37] , [38] . I motsetning til vår teori er tidligere beregningsmodeller av avhengighet [9] , [10] i direkte motsetning til denne bevismengden, siden de forutsier at negative atferdsutfall som umiddelbart følger rusmiddelbruk, ikke har noen motivasjonseffekt selv i de aller tidlige stadiene av rusmiddelerfaring (se fil S1 for tilleggsinformasjon).

Modellen vår tar videre hensyn til forekomsten av blokkerende effekt for medikamentutfall [39] . Blokkering er et betingingsfenomen der forutgående paring av en stimulus A med et utfall blokkerer dannelsen av assosiasjon mellom en annen stimulus B med det utfallet i en påfølgende treningsfase, der både A og B presenteres før levering av utfallet [40] . Resultater av simulering av modellen vår i et pavlovsk eksperimentelt design (se fil S1 for tilleggsinformasjon om den pavlovske versjonen av modellen) viser at for begge tilfeller av naturlige belønninger og medikamenter, når den estimerte verdien på et visst nivå i hierarkiet når sin stabile tilstand (i stedet for å vokse ubegrenset), skjer det ingen ytterligere læring på det nivået, siden prediksjonsfeilsignalet har sunket til null ( figur 4 ). Dermed vil assosiering av en ny stimulus med den allerede forutsagte belønningen bli blokkert. Atferdsmessige bevis som viser en blokkerende effekt assosiert med både medikament- og naturlige forsterkere [39] har blitt brukt som et hovedargument for å kritisere den tidligere foreslåtte dopaminbaserte beregningsmodellen for avhengighet [9] . Her viste vi at det å fokusere på den hierarkiske naturen til representasjoner og dorsal-ventral spiralformet dopaminløkkeorganisering faktisk kan forklare blokkeringsdataene, og dermed omgå denne kritikken (se fil S1 for tilleggsinformasjon).

Nedlasting:

• PPT

  PowerPoint-lysbilde

• PNG

  større bilde ( 360 KB )

• TIFF

  originalbilde ( 615 KB )

Figur 4. Blokkerende effekt for naturlig vs. medikamentell belønning.

Modellen forutsier at blokkering skjer for naturlige belønninger ( A ) og medikamenter ( B ), bare hvis den innledende treningsperioden er «omfattende», slik at den første stimulusen fullt ut forutsier verdien av utfallet. Etter «moderat» trening forutsier mer fleksible kognitive nivåer verdiene fullt ut og blokkerer dermed videre læring. Læring er imidlertid fortsatt aktiv i prosesser på lavt nivå når den andre treningsfasen (samtidig presentasjon av begge stimuli) starter. Dermed forutsier modellen vår at moderat innledende trening i et blokkeringseksperiment med naturlige belønninger også vil resultere i kognitiv/atferdsmessig inkonsekvens. Dataene som presenteres i denne figuren er hentet fra «ett» simulert dyr, og derfor var ingen statistisk analyse anvendelig.

doi: 10.1371 / journal.pone.0061489.g004

Som nevnt tidligere, viser flere bevislinjer en progressiv dominans av dorsalstriatum over ventralstriatum i kontrollen over atferd i løpet av læring [8] , [31] , [32] . Tolket på bakgrunn av disse bevisene, forklarer den ubalanserte verdsettelsen av rusmiddelsøking på tvers av hierarkiet også rusavhengiges mislykkede forsøk på å redusere rusmiddelbruk etter langvarig erfaring med rusmidler, når kontrollen over rusmiddelrelaterte valg har skiftet fra kognitive til lavnivå vaneprosesser. Denne overlegenheten av rusmiddeldominerte prosesser fører naturlig til atferdsmessig inelastisitet i forhold til rusmiddelassosierte kostnader (tvangsmessig rusmiddelsøking), sannsynligvis ledsaget av selverklærte feil. Når det gjelder naturlige belønninger, forutsier imidlertid modellen vår at selv om atferdsmessig inelastisitet øker i løpet av læring, vil straffer forbundet med belønning til slutt hemme belønningssøking ettersom det ikke utvikles noen verdsettelsesinkonsekvens på tvers av hierarkiets nivåer.

Modellen vår fokuserer på evaluering av handlinger i et «antagelig gitt» beslutningshierarki, og ser bort fra hvordan de abstrakte alternativene og deres tilhørende lavnivå-subrutiner initialt oppdages under utviklingen. Å oppdage beslutningshierarkiet foreslås å være en bottom-up-prosess, oppnådd ved å sette sammen sekvenser av lavnivå-handlinger og konstruere mer abstrakte alternativer [41] . Denne prosessen, som visstnok gjennomgår et skifte fra dorsal til ventral striatum, er i motsatt retning av konkurransemekanismen som foreslås her, for å ta kontroll over atferd.

Diskusjon

Den økende mengden bevis på den differensielle rollen til ulike striatale subregioner i avhengighet tolkes vanligvis innenfor rammeverket av en habituell vs. målrettet dikotomi [8] , [14] , [34] . Den hierarkiske beslutningstakingstilnærmingen vi bruker her er komplementær til slike to-system-beregninger. Mens den to-prosess-tilnærmingen omhandler ulike algoritmer (modellfri vs. modellbasert [30] ) for å løse et enkelt problem, fokuserer det hierarkiske RL-rammeverket på ulike representasjoner av det samme problemet på ulike nivåer av tidsmessig abstraksjon. I teorien kan enten en habituell eller en målrettet algoritme løse hver av disse ulike representasjonene av problemet. I vår modell skjer akkumuleringen av medikamentinduserte skjevheter over DA-spiraler i en setting der verdiestimeringsalgoritmen er modellfri (vanelæring). Dette utelukker imidlertid ikke eksistensen av modellbaserte systemer som fungerer på de øverste nivåene i hierarkiet. Man kan ganske enkelt innlemme det PFC-avhengige målrettede verdsettelses- og beslutningssystemet i modellen ved å anta at handlinger på de høyeste abstraksjonsnivåene evalueres av et målrettet system. Selv om en slik komplikasjon ikke endrer arten av resultatene som presenteres i dette manuskriptet, overlates den påfølgende ekstra fleksibiliteten i å forklare andre aspekter ved avhengighet til fremtidige studier. Faktisk, i vår modell, uavhengig av om et målrettet system eksisterer eller ikke, vokser avviket i den asymptotiske verdien av narkotikasøking mellom de to ytterpunktene av hierarkiet med antall beslutningsnivåer styrt av den "vanemessige" prosessen.

I lys av vår teori kan tilbakefall betraktes som gjenoppliving av sovende maladaptive vaner på motornivå, etter en periode med dominans av kognitive nivåer. Faktisk kan man forestille seg at som et resultat av kognitiv terapi (i menneskelige narkomane) eller tvungen utryddelse (i dyremodeller av abstinens), blir høy verdi av narkotikasøkende på det detaljerte nivået i hierarkiet ikke slukket, men blir sovende på grunn av å skifte kontroll tilbake til kognitive nivåer. Siden narkotikarelatert atferd er følsom for negative konsekvenser på abstrakte nivåer, kan derfor narkotikasøking unngås så lenge kognitive prosesser på høyt nivå dominerer kontroll over atferd. Man kan til og med spekulere på at de populære 12-trinnene (for eksempel alkoholister, anonymistiske anledninger osv.) Delvis virker ved at deltakerne uttrykkelig skal innrømme inkonsekvensen av deres narkotikarelaterte livsstil, og derved gi de abstrakte kognitive nivåene mulighet til å utøve eksplisitt kontroll over deres oppførsel. Stressige forhold eller re-eksponering for medikament (priming) kan betraktes som risikofaktorer som svekker dominans av abstrakte nivåer over atferd, noe som kan resultere i gjenoppvekst av narkotikasøkende responser (på grunn av de latente høye ikke-kognitive verdiene ).

Oppsummert foreslår vi en sammenhengende redegjørelse for flere, tilsynelatende ulike fenomener som er karakteristiske for rusavhengighet. Modellen vår gir en normativ redegjørelse for data om de differensielle rollene til de ventrale vs. dorsale striatale kretsene i tilegnelse av rusmiddelsøking og vaneutførelse, samt den selektive rollen til feed-forward DA-konnektivitet for effekter av rusmiddel versus naturlige forsterkere. Viktigst av alt viser vi hvordan den rusmiddelinduserte patologien i ventral-til-dorsale DA-signaler som siver den motivasjonsmessige informasjonen nedover kognitivt representasjonshierarkium, kan føre til uoverensstemmelse mellom rusavhengiges abstrakte holdninger til rusmiddelsøking og hva de faktisk gjør. Modellen vår gir åpenbart ikke, og er heller ikke ment å, gi en fullstendig redegjørelse for rusavhengighet. Å forklare andre uforklarlige aspekter ved avhengighet krever at man innlemmer mange andre hjernesystemer som er vist å være påvirket av rusmidler [42] . Hvordan man kan innlemme slike systemer i det formelle beregningsnettverket er fortsatt et tema for videre undersøkelse.

støttende informasjon

Fil S1.

Figur S1, Et eksempel på et beslutningshierarki med fem abstraksjonsnivåer. Figur S2, Den tilsvarende nevrale kretsen for de tre diskuterte verdilæringsalgoritmene er en hierarkisk beslutningsstruktur. A, Ved å bruke en enkel TD-læringsalgoritme (ligning S7) beregnes prediksjonsfeilsignalet i hvert abstraksjonsnivå uavhengig av andre nivåer. B, I modellen foreslått av Haruno og Kawato (4) (ligning S8) kommer verdien av den tidsmessig avanserte tilstanden fra et høyere abstraksjonsnivå. C, i vår modell (ligning S9) erstattes verdien av den tidsmessig avanserte tilstanden med en kombinasjon av belønningen og Q-verdien til den utførte handlingen på et høyere abstraksjonsnivå. Figur S3, Vår modell predikerer forskjellige virkningssteder for legemidler på belønningslæringskretsen: stedene 1 til 3. Legemidler som påvirker stedene 4 til 6, derimot, vil ikke resultere i de atferdsmessige og nevrobiologiske mønstrene som produseres ved simulering av modellen for legemidler, men vil produsere resultater som ligner på tilfellet med naturlige belønninger. Figur S4, Oppgaven som brukes for å simulere den usikkerhetsbaserte konkurransemekanismen mellom nivåene i hierarkiet for å ta kontroll over atferd. Figur S5, Simuleringsresultat, som viser gradvis forskyvning av kontroll over atferd fra høyere til lavere nivåer i hierarkiet. Q(s,a) og U(s,a) viser henholdsvis den estimerte verdien og usikkerheten til tilstand-handling-parene.

doi: 10.1371 / journal.pone.0061489.s001

(PDF)