Ongebalanseerde Besluit Hiërargie In Verslaafdes Uit Dwelmgekaapte Dopamien Spiraalstroomkring (2013)

 

  • Mehdi Keramati pos,
     
  • Boris Gutkin

 

Abstract

Ondanks die feit dat hulle uitdruklik wil ophou, vind verslaafdes op lang termyn hulself magteloos om dwelms te weerstaan, alhoewel hulle weet dat dwelmgebruik 'n skadelike manier kan wees. Sodanige teenstrydigheid tussen die eksplisiete kennis van negatiewe gevolge en die kompulsiewe gedragspatrone verteenwoordig 'n kognitiewe / gedragskonflik wat 'n sentrale kenmerk van verslawing is. Neurobiologies speel differensiële cue-geïnduseerde aktiwiteit in verskillende striatale substreke, sowel as die dopamienverbinding wat van ventrale striatale streke na die dorsale streke draai, kritieke rolle in dwelmversoek. Die funksionele meganisme wat hierdie neurofarmakologiese waarnemings integreer met die bogenoemde kognitiewe / gedragskonflik, is egter onbekend. Hier gee ons 'n formele berekeningsverklaring vir die dwelm-geïnduseerde kognitiewe teenstrydigheid wat sigbaar is in die verslaafdes se 'selfbeskrewe fout'. Ons wys dat verslawende middels geleidelik 'n motiverende vooroordeel tot dwelmsoek op lae-vlak gewone besluitnemingsprosesse lewer, ondanks die lae abstrakte kognitiewe waardasie van hierdie gedrag. Hierdie patologie kom na vore binne die hiërargiese versterkingsleerraamwerk wanneer chroniese blootstelling aan die geneesmiddel farmakologies voortduur, aanhoudende fasiese dopamienseine. Daardeur kap die middel die dopaminerge spirale wat die versterkingsseine omlaag in die ventro-dorsale kortiko-striatale hiërargie. Neurobiologies is ons teorie verantwoordelik vir 'n vinnige ontwikkeling van dopamienuitvloeiing in die ventrale striatum en 'n vertraagde reaksie in die dorsale striatum. Ons teorie toon ook aan hoe hierdie responspatroon krities afhang van die dopamien-spiraalbaan. Gedragsmatig verklaar ons raamwerk geleidelike ongevoeligheid van dwelm-soek na dwelm-geassosieerde strawwe, die blokkerende verskynsel vir dwelmuitkomste en die volgehoue ​​voorkeur vir dwelms bo natuurlike belonings deur verslaafdes. Die model stel voorspelbare voorspellings voor en verder stel dit die toneel vir 'n beskouing van verslawing as 'n patologie van hiërargiese besluitnemingsprosesse. Hierdie siening is aanvullend tot die tradisionele interpretasie van verslawing as interaksie tussen gewone en doelgerigte besluitstelsels.

Inleiding

"Ons het erken dat ons magteloos was oor ons verslawing - dat ons lewens onbeheerbaar geword het", is die eerste beginsel van die Narcotics Anonymous 12-stap program [1]. Dit beklemtoon hoe magtelose verslaafdes hulself vind wanneer dit kom by dwelmmiddels, ondanks die wete dat dwelmopname 'n verkeerde loopbaan is [2]-[4]. Trouens, die kenmerk van verslawing is kompulsief op soek na die dwelms, selfs ten koste van klaarblyklike nadelige gevolge [5]. 'N Handtekening van so 'n patologiese gedrag word duidelik in beheerde eksperimente waar verslaafdes 'n kenmerkende "selfbeskrewe fout" toon: 'n teenstrydigheid tussen die kragtige gedragsrespons teenoor dwelmverwante keuses en die relatief lae subjektiewe waarde wat die verslaafde vir die dwelm rapporteer [4], [6], [7]. In kombinasie met die verlies van inhibitiewe kognitiewe beheer oor gedrag, na langdurige blootstelling aan dwelms, kan hierdie afwyking tussen die kognitiewe planne en die gekonsolideerde gewoontes lei tot 'n oorgang van toevallige tot kompulsiewe dwelm-soekende gedrag [8].

Die verlies aan kognitiewe beheer en selfbeskrewe fout het tot dusver 'n beginselverklaring deur formele modelle van verslawing ontlont [9]-[13]. Vorige berekeningsteorieë van dwelmverslawing, hoofsaaklik binne die versterkingsleerraamwerk, beskou verslawing as 'n patologiese toestand van die gewoonte-leerstelsel (stimulus-respons) -stelsel [9]-[13]. Die sentrale hipotese agter al die modelle is dat die farmakologiese effek van geneesmiddels op dopamien-sein, vermoedelik 'n stimulus-respons-onderrigsein dra, gelei het tot geleidelike oorversterking van sulke assosiasies. Hierdie effek lei weer tot dwelmverslaafde gewoontes. Alhoewel hierdie verminderde beskouing van verslawing sommige aspekte van die verskynsel vasgelê het, dui 'n groeiende konsensus in die verslawingliteratuur aan dat verskeie leerstelsels by die patologie betrokke is. Slegs so 'n meer komplekse prentjie wat die brein se kognitiewe, sowel as lae-vlak gewone prosesse insluit, kan die verskeidenheid verslawing-agtige gedrag verklaar. [8], [14].

In hierdie vraestel neem ons 'n hiërargiese versterkingsleerbenadering aan [15] waar besluite op verskillende vlakke van abstraksie verteenwoordig word, in 'n kognitiewe-tot-motor-hiërargie. Ons neem aan dat 'n kaskade van dopamien-afhanklike leerseine die vlakke van die hiërargie saam verbind [16]. Ons aanvaar verder dat dwelms van mishandeling die kommunikasiemeganisme tussen abstraksievlakke farmakologies oorneem. Op grond van hierdie aannames wys ons dat die gerapporteerde kognitiewe dissonansie by verslaafdes na vore kom in die hiërargiese versterkingsleerraamwerk wanneer chroniese dwelmblootstelling waarde-leer versteur oor die besluithiërargie. Hierdie ontwrigting lei tot 'n patologiese oorwaardiging van dwelmkeuses by lae-vlak gewone prosedures en dryf dus gewone dwelmversoekende gedrag. Ons demonstreer dan dat "ontevrede", maar kompulsiewe dwelmnavorsing verklaar kan word as dwelmgekaapte, lae-vlak-gewone prosesse wat dominante gedrag verrig, terwyl gesonde kognitiewe stelsels op die top verteenwoordigende vlakke beheer oor gedrag verloor. Verder demonstreer ons dat die voorgestelde model kan rekenskap gee van onlangse bewyse van die vinnige versus vertraagde ontwikkeling van dopamien-effekte van dopamien in die ventrale versus dorsale striatum, sowel as die afhanklikheid van hierdie patroon op dopamien spiraalstroombane.

Materiaal en metodes

Voorbereidsels

In ooreenstemming met 'n ryk kognitiewe sielkunde literatuur, ons hiërargiese versterkingsleer [15], [18] raamwerk veronderstel dat 'n abstrakte kognitiewe plan soos brouerthee gebreek kan word in 'n reeks laer-vlak aksies: kookwater, tee in die pot, ens. Sodanige ontbinding verloop tot konkrete motorvlakresponse op die laagste vlak van die hiërargie (Figuur 1A). Neurobiologies word die verskillende vlakke van beslissingshiërargie van kognitiewe tot motoriese vlakke voorgestel langs die rostro-kaudale as van die cortico-basale ganglia (BG) kring [19]-[21]. Hierdie kring bestaan ​​uit verskeie parallelle geslote lusse tussen die frontale korteks en die basale ganglia [22], [23] (Figuur 1B). AANGESIEN die anterior lusse meer abstrakte voorstelling van aksies onderlê, is die caudale lusse, bestaande uit sensoriese-motoriese korteks en dorsolaterale striatum, kode vir lae vlakke [19]-[21].

thumbnail

Figuur 1. Hiërargiese organisasie van gedrag en die cortico-BG stroombaan.

A, 'N Voorbeeld van 'n besluit hiërargie vir twee alternatiewe keuses: dwelm vs voedsel. Elke verloop van aksie word op verskillende vlakke van abstraksie voorgestel, wat vermoedelik by verskillende cortico-BG-lusse gekodeer word. Om elkeen van die twee soorte beloning te soek, kan 'n straf van grootte 16 volg. B, Glutamatergiese verbindings van verskillende prefrontale gebiede projekteer na striatale subregio's en dan terug na die PFC deur die pallidum en thalamus, wat verskeie parallelle lusse vorm. Deur die striato-nigro-striatale dopamienetwerk beïnvloed die ventrale streke van die striatum die meer dorsale streke. vmPFC, ventrale mediale prefrontale korteks; OFC, orbitale frontale korteks; dACC, dorsale anterior cingulêre korteks; SBS, sensoriese-motoriese korteks; VTA, ventrale tegmentale area; SNC, substantia nigra pars compacta. Figuur 1B Gewysig van ref 21.

doi: 10.1371 / journal.pone.0061489.g001

Binne hierdie kringloop word die fasiese aktiwiteit van midbrain dopamien (DA) neurone wat na die striatum uitsteek, die fout tussen voorspelde en ontvang belonings aangedui, en sodoende die stimulus-respons versterkende inligting [24]. Hierdie DAergiese projeksies vorm 'n kaskade seriële konnektiwiteit wat die meer ventrale streke van die striatum verbind tot progressief meer dorsale streke deur die sogenaamde "spiraal" verbindings [25]-[27] (Figuur 1B). Funksioneel, so 'n voortsetting-organisasie wat die rostrale met caudale cortico-BG-lusse verbind, laat gerigte koppeling van grof tot fyn voorstellings toe. Gevolglik word die DA-spirale veronderstel om 'n neurobiologiese substraat te verskaf vir die progressiewe afstemming van die beloningsvoorspellingsfout deur die hoër vlakke van die hiërargie (wat die abstrakte kennis oor die waarde van gedragsopsies inskryf). Hierdie fout word dan gebruik vir die opdatering van aksiewaardes op meer gedetailleerde vlakke [16]. Met ander woorde, die DA-spirale maak voorsiening vir die abstrakte kognitiewe vlakke van waardasie om die leer in die meer gedetailleerde aksie-waarderingsprosesse te rig.

Teoretiese skets

In terme van die berekeningsteorie van versterkingsleer [28] (RL), die agent (in ons geval 'n persoon of 'n dier) leer om ingeligte aksie-keuses te maak deur sy vooraf beraamde waarde op te dateer, , vir elke staatsaksie-paar, , wanneer 'n beloning word deur die agent betyds ontvang as gevolg van 'n aksie in die kontekstuele toestand (stimulus) . Die waarde word opgedateer deur die beloningsvoorspellingsfout sein te bereken. Hierdie sein hang nie net van die oombliklike ontvangsbeloning nie (), maar ook op die waarde van die nuwe staat wat die agent beland, nadat die aksie uitgevoer is. Aangedui deur , verteenwoordig hierdie tydelik gevorderde waardefunksie die som van toekomstige belonings wat die dier van die resulterende staat verwag, , Voorwaarts. Die voorspellingsfout kan bereken word deur die volgende vergelyking:


(1)

Intuïtief bereken die voorspellingsfout sein die verskil tussen die verwagte en die gerealiseerde belonende waarde van 'n aksie. In 'n hiërargiese besluitstruktuur, eerder as om die -waarde onafhanklik op verskillende vlakke, meer abstrakte vlakke kan die onderrig sein bereken op laer vlakke afstem. Aangesien hoër vlakke van die hiërargie 'n meer abstrakte voorstelling van omgewingsvoorsienings verteenwoordig, leer leer vinniger op daardie vlakke. Dit is as gevolg van die relatiewe lae-dimensionaliteit van die abstrakte voorstelling van gedrag: 'n aksieplan kan as 'n enkele stap (een dimensie) op die boonste vlak van die hiërargie en as veelvoudige gedetailleerde aksies (veelvoudige dimensies) op die laer vlakke voorgestel word van die hiërargie. Die toppuntwaarde van hierdie aksieplan sal vinnig geleer word in vergelyking met die gedetailleerde vlakke waar die beloningsfoute nodig sou wees om al die gedetailleerde aksie-stappe terug te propageer. Sodoende kan die laer vlakwaardes deur die waardeinligting van die hoër vlakke die konvergensie van hierdie waardes versnel. Een statisties doeltreffende manier om dit te doen is om dit te veronderstel vir die berekening van die voorspellingsfout sein by die -die vlak van abstraksie , die tydelik gevorderde waarde funksie, , kom van een hoër vlak van abstraksie, [16]:


(2)

Om optimaliteit te bewaar, kan vergelyking 2 slegs gebruik word om die voorspellingsfout te bereken wanneer die laaste samestellende primitiewe aksie van 'n abstrakte opsie uitgevoer word (sien Figuur S1 in Lêer S1). In ander gevalle vind waarde leer op verskillende vlakke onafhanklik plaas, soos in vergelyking 1. In beide gevalle word die onderrigsein dan gebruik om die vorige waardes op die ooreenstemmende vlak op te dateer:


(3)
waar is die leerkoers. Hierdie vorm van inter-vlak inligting-sharing is biologies geloofwaardig aangesien dit die spiraalstruktuur van die DA-stroombaan weerspieël, wat die inligting in die hiërargie in die ventro-dorsale rigting dra. Terselfdertyd word gelei deur meer abstrakte vlakke aansienlik versnel leer, verlig die hoë-dimensionaliteit van waarde leer op gedetailleerde vlakke [16].

In hierdie vraestel wys ons dat die interaksie tussen 'n gewysigde weergawe van die model ontwikkel het [16] en die spesifieke farmakologiese effekte van dwelmmiddels op die dopaminerge sisteem kan verslawingsverwante data op radikaal verskillende analise toon: gedrags- en baanvlak neurobiologies. Eerstens bring die nuwe model 'n moontlike aanduiding vir verskeie intrigerende gedragsaspekte wat verband hou met verslawing aan dwelms (bv. Die selfbeskrewe fout [4], [6], [7]). Tweedens kan ons rekenskap gee van 'n wye verskeidenheid bewyse aangaande die dinamika van die dopamien-vrygestelde dopamien-vrystelling [17].

Ons verander die model wat aangebied word [16] soos volg. Ons maak die model doeltreffender in terme van werkgeheue kapasiteit deur te vervang met , in vergelyking 2, aangesien die twee waardes konvergeer tot dieselfde bestendige vlak (sien Figuur S2 in Lêer S1, vir berekenings- en neurobiologiese basis):


(4)

Hier, is die relatief abstrakte opsie en is die laaste primitiewe aksie in die gedragsreeks wat hierdie opsie volvul. Net so, is die lonende waarde van , wat insluit (die lonende waarde van ).

Die verskillende dwelms wat deur mense misbruik word, deel 'n fundamentele eienskap van farmakologies toenemende dopamien konsentrasie binne die striatum [29]. Gevolglik neem ons hierdie farmakologiese effek van die geneesmiddel in deur 'n positiewe vooroordeel, , (sien ook [9]-[12]) na die voorspellingsfout sein gedra deur dopamienneurone (sien Figuur S3 in Lêer S1, vir berekenings- en neurobiologiese basis):


(5)

hier vang die direkte farmakologiese effek van geneesmiddel op die DA-stelsel, en is die versterkingswaarde daarvan as gevolg van die euforeniese effekte (sien Lêer S1 vir aanvullende inligting).

Terwyl vergelykings 3 en 5 saam die berekeningsmeganisme definieer om die waardes in ons model by te werk, stel ons ook voor dat 'n onsekerheidsgebaseerde mededingingsmeganisme die vlak van abstraksie bepaal wat gedrag beheer. Dit word geïnspireer deur die voorgestelde meganisme [29] vir arbitrasie tussen die gewone en doelgerigte stelsels. In hierdie opsig beheer slegs die vlak van abstraksie met die hoogste sekerheid by die bepaling van die waarde van keuses op gedrag. Sodra hierdie vlak die besluit geneem het om op te tree, sal al die laer vlakke van die hiërargie deur hierdie dominante vlak ontplooi word om die geselekteerde aksie as 'n reeks primitiewe motoriese reaksies te implementeer (sien Lêer S1 vir aanvullende inligting; Figuur S4 in Lêer S1; Figuur S5 in Lêer S1). By ontvangs van die beloning terugvoer van die omgewing, word die waardes op alle vlakke opgedateer. Hierdie onsekerheidsgebaseerde arbitrasiemeganisme voorspel dat as abstrakte prosesse meer buigsaam is, hulle oor superieure waarde-benaderingsvermoë beskik gedurende die vroeë stadiums van leer en dus beheergedrag in hierdie stadiums. Aangesien abstrakte vlakke egter 'n growwe voorstelling van die omgewing gebruik (bv. As gevolg van 'n relatief klein aantal basiese funksies), is hul uiteindelike waarde benaderingsvermoë nie so akkuraat as dié van gedetailleerde vlakke nie. Met ander woorde, na uitgebreide opleiding is die sekerheid wat verband hou met die beraamde waardes laer vir die laer vlakke van die hiërargie in vergelyking met die boonste vlakke. Dus, met die progressiewe leer, neem die laer vlakke van die hiërargie die beheer oor die aksie seleksie oor, aangesien hul onsekerheid geleidelik afneem. Dit is in ooreenstemming met verskeie lyne van bewyse wat 'n progressiewe oorheersing van die dorsale oor die ventrale striatum toon in die beheer oor dwelmsnavraag (sowel as op soek na natuurlike belonings) [8], [30], [31].

Results

Hiërargie waardasie inkonsekwentheid kom onder dwelm, maar nie natuurlike belonings nie

In teenstelling met die vorige versterkings-leergebaseerde berekeningsmodelle van verslawing [9]-[13] wat gebaseer is op 'n enkelbesluitstelselbenadering, is ons rekening gebaseer op 'n meervoudige-interaksie-stelselraamwerk. As gevolg hiervan, hoewel die effek van die modellering van die geneesmiddel op die voorspellingsfoutsein in ons model soortgelyk is aan die vorige [9]-[12], dit lei tot fundamenteel verskillende gevolge. Die dwelm-geïnduseerde oorgang dopamienverhoging verhoog die onmiddellike voorspellingsfout op elke vlak van die hiërargie en lei tot 'n vooroordeel, , oor die oordrag van kennis van een vlak van abstraksie na die volgende, langs die grof-tot-fyn rigting van die hiërargie. Hierdie vooroordeel veroorsaak dat die asymptotiese waarde van dwelmnavorsing op 'n gegewe vlak wees eenhede hoër as die van een meer abstrakte laag (Figuur 2B). Die ophoping van hierdie verskille langs die rostro-kaudale as lei geleidelik tot betekenisvolle verskille in die waarde van dwelm-soekende gedrag tussen die boonste en onderste uiterste van die hiërargie. Dus, selfs as gevolg van 'n sterk straf, bly die waarde van dwelmverwante gedrag positief by die lae-vlak motorlusse, terwyl dit negatief op kognitiewe vlakke word. Met ander woorde, die model voorspel dat die ophoping van geneesmiddel-effek oor DA-spiraal dwelm-soekende waarde op motoriese gewoontes verhoog tot so 'n hoë amplitude dat selfs 'n sterk natuurlike straf dit nie voldoende sal verminder nie. Ons stel voor dat dit die teenstrydigheid tussen kognitiewe en laevlak-evaluering van dwelmverwante gedrag in verslaafdes verklaar. Met ander woorde, ons stel voor dat kompulsiewe dwelmsoektog en die aansienlik verminderde elastisiteit tot die gepaardgaande koste voortspruit uit die farmakologiese effek van die geneesmiddel wat die dopamien-afhanklike meganisme kap wat die inligting onder die vlakke van besluithiërargie oordra.

thumbnail

Figuur 2. Motivering vir voedsel teen dwelms op verskillende vlakke van abstraksie (simulasie resultate).

In die eerste 150-proewe waar geen straf die beloning volg nie, kom die waarde van natuurlike belonings op alle vlakke saam na 10 (A). Vir die geval van dwelm, is die direkte farmakologiese effek van dwelm (, stel na) lei tot die asymptotiese waarde op elke vlak om te wees eenhede hoër as dié van een hoër vlak van abstraksie (B). Dus, as gevolg van straf, terwyl kognitiewe loops korrek 'n negatiewe waarde toeken vir die keuse van dwelms, vind motorlusse lusse die gewenste positiewe waarde. Die krommes in hierdie figuur toon die evolusie van waardes in "een" gesimuleerde dier en dus was geen statistiese analise van toepassing nie.

doi: 10.1371 / journal.pone.0061489.g002

Terwyl dwelms in ons model lei tot ongebalanseerde waardasie oor vlakke, verval die waarde van natuurlike belonings tot dieselfde waarde oor alle vlakke, weens die gebrek aan 'n direkte farmakologiese effek op DA seinmeganisme (). Gevolglik sal geen teenstrydigheid of oorwaardering op gedetailleerde vlakke waargeneem word vir natuurlike beloning (Figuur 2A). Oorwaardeer van dwelm-soekende antwoorde op laer vlakke van die hiërargie moet lei tot abnormale voorkeure van dwelms oor natuurlike belonings, en oormatige betrokkenheid by dwelmverwante aktiwiteite.

Differensiële dopamien reageer in die ventrale versus dorsale striatum na dwelmverwante leidrade

Neurobiologies, differensiële rolle van die striatale subregio's in die verkryging en uitdrukking van dwelm-soekende gedrag het die middelste stadium in verslawing ondersoek. Oorwegende bewyse uit verskillende navorsingslyne dui daarop dat die gedragsoorgang van ontspannings tot kompulsiewe dwelmgebruik 'n neurobiologiese verskuiwing van waardasie van die ventrale tot die dorsolaterale striatum weerspieël. [8], [33], [34], wat ooreenstem met 'n verskuiwing van kognitiewe tot gedetailleerde vlakke in ons model. In ooreenstemming met ons model, word DA-spiraalnetwerk wat die ventrale verbind tot progressief meer dorsale streke van die striatum, getoon om 'n sleutelrol in hierdie oorgang te speel. [25].

In 'n belangrike onlangse studie, Willuhn et al. [17] beoordeel die patroon van dopamien vrystelling in reaksie op dwelmverwante leidrade in die ventrale en dorsolaterale striatum van rotte gedurende drie weke van kokaïen. Met behulp van vinnige-skandering-sikliese voltammetrie, was die kritieke waarneming dat cue-geïnduceerde DA-effek in die ventrale striatum na selfs beperkte opleiding ontstaan. In teenstelling hiermee het die dorsolaterale striatum slegs na effense opleiding 'n uitwerking op die DA-effek veroorsaak, en die ontwikkeling van hierdie vrylatingpatroon het verdwyn toe die ventrale striatum in die ipsilaterale halfrond lesionized was.

Aangesien die temporale resolusie van vinnige scan voltammetrie subskondse fluktuasies in konsentrasie vang, moet die waargenome patroon van DA efflux toegeskryf word aan "fasiese" DA sein en dus na die voorspellingsfout sein, volgens die RL-teorie van dopamien [24]. Volgens die RL-teorie is die voorspellingsfoutsein om 'n onverwagte stimulus te waarneem, gelyk aan die belonende waarde wat daardie stimulus voorspel. Daarom, Cue-geïnduseerde DA-vrystelling is gelykstaande aan die waarde wat deur daardie koepel voorspel word.

In hierdie opsig verskaf ons hiërargiese raamwerk 'n formele verduideliking vir die differensiaalpatroon van ventrale versus dorsale striatale DA efflux wat in [17]. Die waarde wat deur die dwelmverwante kuier by die abstrakte kognitiewe vlakke van die hiërargie voorspel word, verhoog vinnig in die baie vroeë stadiums van opleiding (Figuur 2B), as gevolg van die lae dimensionaliteit van die leerprobleem by hoë vlakke van abstraksie. As gevolg hiervan, toon ons model dat die cue-geïnduceerde DA efflux in die ventrale striatum waargeneem moet word, selfs na beperkte opleiding (Figuur 3). By die meer gedetailleerde vlakke van verteenwoordiging is die leerproses egter stadig (Figuur 2B), as gevolg van die hoë-dimensionaliteit van die probleemruimte, sowel as afhanklikheid van leer op meer abstrakte vlakke deur DA-spirale. Gevolglik moet cue-geïnduceerde DA-efflux in die dorsolaterale striatum geleidelik ontwikkel en word eers waargeneem na uitgebreide opleiding (Figuur 3).

thumbnail

Figuur 3. Dopamien efflux by verskillende striatale subregio's in reaksie op dwelmverwante leidrade (simulasie resultate).

In lyn met eksperimentele data [17], toon die model (linkerkolom) dat dopamien efflux in die ventrale striatum, na beperkte en uitgebreide opleiding, in reaksie op dwelmverwante leidrade sal wees. In meer dorsolaterale subregio's, sal die uitgelate DA-efflux egter geleidelik ontwikkel gedurende die loop van leer. Die model voorspel (tweede kolom van regs) dat hierdie vertraagde ontwikkeling van Cue-elicited DA efflux in dorsale striatum hang af van die DA-afhanklike seriële konnektiwiteit wat die ventrale aan die dorsale striatum verbind. Dit is as gevolg van die ontkoppeling van die DA-spirale, terwyl die DA-reaksie in die ventrale striatum ongeskonde bly, verminder dit aansienlik in die dorsolaterale striatum. Verder, die model voorspel (derde kolom van regs) soortgelyke resultate vir cue-geïnduceerde DA efflux in dorsolaterale striatum vir die geval van letsel ventrale striatum. Laastens, as die dwelmverwante kuier ná die uitgebreide dwelmkoppeling in ongeskonde diere 'n straf volg, word die model voorspel In meer dorsale gebiede verminder DA-efflux egter stadig tydens die leer, maar bly positief, selfs na uitgebreide dwelmmisparings. Die data wat in hierdie figuur aangebied word, word verkry uit "een" gesimuleerde dier en dus was geen statistiese analise van toepassing nie.

doi: 10.1371 / journal.pone.0061489.g003

Verder verduidelik ons ​​model die bewyse in [17] dat so 'n vertraagde ontwikkeling van cue-elicited DA efflux in die dorsolaterale striatum hang af van die ventrale striatum (Figuur 3). In ons model verminder 'n gesimuleerde eensydige letsel van die ventrale striatum (die abstrakte waardasievlak in die model) die dwelm-voorspelde waarde op gedetailleerde vlakke in die ipsilaterale halfrond en verminder dus die vlak van cue-geïnduceerde DA-effek aansienlik. Om die letsel van die ventrale striatum te modelleer, stel ons eenvoudig die waarde van alle stimuli op die hoogste vlak van die hiërargie tot nul.

Net so, ons model voorspel dat die ontwikkeling van fasiese DA sein in die dorsolaterale striatum afhang van die integriteit van die DA-spiraalbaan (Figuur 3). Trouens, 'n verbreking in die DA-spiraalbaan in ons model sny die kommunikasie oor vlakke van abstraksie, wat weer die ophoping van die dwelmgeïnduceerde vooroordeel op die versterkings sein voorkom, langs die vlakke van die besluithiërargie. Om die ontkoppeling in die DA-afhanklike seriële kringloop van ventrale na dorsale striatum te modelleer, klem ons elke vlak van abstraksie om die voorspellingsfout sein plaaslik te bereken (soos in vergelyking 3), sonder dat die waarde van die temporaal gevorderde toestand vanaf die onmiddellik hoër vlak van abstraksie.

Daarbenewens het die model voorspel dat die patroon van cue-elicited DA efflux sal verander as na 'n uitgebreide opleiding met kokaïen- en kokaïenverwante leidrade, begin mens die kokaïenlewering met 'n sterk straf koppel. Ons voorspel dat die DA efflux in reaksie op die kokaïenverwante kuik vinnig onder die basislyn in die ventrale striatum moet afneem. In die dorsolaterale striatum moet die Cue-geïnduceerde DA-vrystelling egter bo die basislyn bly (Figuur 3) met 'n moontlike vertraagde gedeeltelike afname. Dit dui daarop dat positiewe subjektiewe waarde aan die geneesmiddelstimulus op gedetailleerde vlakke toegeken word ten spyte van negatiewe (onder basislyn) waardes op kognitiewe vlakke. Dit is opmerklik dat hierdie voorspelling afhang van die veronderstelling dat straf deur die brein bloot behandel word as 'n negatiewe beloning. Hierdie aanname is ietwat omstrede: dit word duidelik ondersteun deur eksperimentele studies [35], maar ook anders bespreek deur ander [14], [36]. Behalwe vir hierdie voorspelling, hang ander aspekte van die model nie af van die vraag of straf deur dopamien of deur 'n ander seinstelsel gekodeer word nie.

Die opleidingskema wat gebruik word deur Willuhn et al. [34] word nie voldoende uitgebrei tot die vervaardiging van kompulsiewe dwelm-soekende gedrag nie, gekenmerk deur ongevoeligheid vir dwelmverwante strawwe [37], [38]. Dus, 'n sleutelvraag wat beantwoord moet word, is wat is die verband tussen vertraagde ontwikkeling van Cue-geïnduceerde DA respons in DLS, en die laat ontwikkeling van kompulsiewe reaksie. Volgens ons model vereis kompulsiewe gedrag nie net die oormatige waardasie van dwelmkeuse op lae vlakke van die hiërargie nie, maar ook die oordrag van beheer oor gedrag vanaf die abstrakte kognitiewe tot die lae-vlak gewone prosesse. Die tydskaal van hierdie twee prosesse is slegs deels van mekaar afhanklik: die oorwaardasieproses hang af van die voorspellingsfout sein, terwyl die oordrag van gedragsbeheer ook afhang van die relatiewe onsekerhede in waardeberaming. Die oorwaardasie van dwelmverwante leidrade by lae vlakke van die hiërargie kan dus die verskuiwing van beheer oor gedrag van bo na onder van die hiërargie voorafgaan. Die presiese tydskale van die twee prosesse hang af van die leersyfer en die geraas inherent op die verskillende vlakke, onderskeidelik (sien Lêer S1 vir aanvullende inligting). Met ander woorde, dit is waarskynlik dat die cue-geïnduceerde dopamien-efflux in die DLS aansienlik kan ontwikkel voordat die kompulsiewe dwelm-opsporing gedragsmoontlik is.

Gedragsimplikasies van die teenstrydige waardasie vir dwelms teenoor natuurlike belonings

Gedragsmatig, in ons model, as straf in die vroeë stadiums van vrywillige dwelmgebruik gepaard gaan met straf, word die abstrakte waarde van dwelm-soekende reaksie negatief vinnig. As dit aanvaar word dat dwelmsnavorsing in hierdie vroeë stadiums deur abstrakte vlakke beheer word, sal negatiewe abstrakte evaluering van dwelmkeuse die vak onwillig maak om daardie aksieverloop nie meer te ervaar nie. Dit sal verhoed dat konsolidasie van sterk lae vlakke voorkeur na dwelms oor tyd verloop. Die model verduidelik dus die elastisiteit van dwelmkeuse vir koste gedurende die vroeë stadiums van dwelmverbruik, maar nie na chroniese gebruik nie. Konsekwent toon diermodelle van verslawing dat insensitiwiteit van dwelm-soekende antwoorde op skadelike gevolge wat met dwelm verband hou, eers ontwikkel ná langdurige dwelm-selfadministrasie, maar nie beperk tot dwelmgebruik nie. [37], [38]. In teenstelling met ons teorie, vroeëre berekeningsmodelle van verslawing [9], [10] is in direkte teenstrydigheid met hierdie bewyse aangesien hulle voorspel dat nadelige gedragsuitkomste wat dwelmgebruik dadelik volg, geen motivering het nie, selfs in die vroeë stadiums van dwelmmiddels. Lêer S1 vir aanvullende inligting).

Ons model maak ook voorsiening vir die voorkoms van die blokkerende effek vir geneesmiddeluitkomste [39]. Blokkering is 'n kondisioneringsverskynsel waar voorafgaande koppeling van 'n stimulus A met 'n uitkoms die vorming van assosiasie tussen 'n ander stimulus B met daardie uitkoms in 'n daaropvolgende opleidingsfase blokkeer, waar beide A en B voor die aflewering van die uitkoms aangebied word. [40]. Resultate van die simulering van ons model in 'n Pavlovian eksperimentele ontwerp (sien Lêer S1 vir aanvullende inligting oor die Pavlovian-weergawe van die model) toon dat vir beide gevalle van natuurlike belonings en dwelms, wanneer die beraamde waarde op 'n sekere vlak van die hiërargie sy bestendige toestand bereik (eerder as om onbeweeglik te groei), vind daar geen verdere leer plaas nie vlak, aangesien die voorspellingsfout sein na nul verminder het (Figuur 4). Dus sal 'n nuwe stimulus met die reeds voorspelde beloning geassosieer word. Gedragsgetuienis wat 'n blokkerende effek toon wat geassosieer word met beide dwelm- en natuurlike versterkers [39] is as 'n belangrike argument gebruik om die voorheen voorgestelde dopamien-gebaseerde berekeningsmodel van verslawing te kritiseer [9]. Hier het ons getoon dat die fokus op die hiërargiese aard van voorstellings en dorsale ventrale spiraalende dopamienlusorganisasies in werklikheid rekening kan hou met die blokkeerdata, en sodoende hierdie kritiek omzeil (sien Lêer S1 vir aanvullende inligting).

thumbnail

Figuur 4. Blokkerende effek vir natuurlike vergelyking teen medisyne.

Die model voorspel dat blokkering plaasvind vir natuurlike belonings (A) en dwelms (B), slegs as die aanvanklike oefentydperk 'uitgebreid' is, sodat die eerste stimulus die waarde van die uitslag ten volle voorspel. Na 'n 'matige' opleiding voorspel die kognitiewe vlakke wat meer buigsaam is, die waardes ten volle, en sodoende word verdere leer geblokkeer. Leer is egter steeds aktief in lae-vlak prosesse wanneer die tweede opleidingsfase (gelyktydige aanbieding van beide stimuli) begin. Ons model voorspel dus dat matige aanvanklike opleiding in 'n blokkerende eksperiment met natuurlike belonings ook kognitiewe / gedragsinkonsekwentheid tot gevolg sal hê. Die gegewens wat in hierdie figuur aangebied word, is verkry van 'n 'gesimuleerde dier en dus was geen statistiese analise van toepassing nie.

doi: 10.1371 / journal.pone.0061489.g004

Soos voorheen genoem, toon 'n aantal bewyslyne 'n progressiewe oorheersing van die dorsaal oor die ventrale striatum in die beheer oor gedrag gedurende die loop van die leer. [8], [31], [32]. Die ongebalanseerde waardesyfer van dwelms in die hiërargie word geïnterpreteer op 'n agtergrond van hierdie bewyse, en verklaar ook verslaafdes se onsuksesvolle pogings om dwelmgebruik te verminder na lang ervaring met dwelms, toe beheer oor dwelmverwante keuses van kognitief na laag verander het. gebruik gewone prosesse. Hierdie heerskappy van dwelm-gedomineerde prosesse lei natuurlik tot gedragsonelastisiteit ten opsigte van dwelmverwante koste (dwingende dwelm-soek), waarskynlik gepaard met 'n fout wat self beskryf word. Vir die geval van natuurlike belonings voorspel ons model egter dat alhoewel gedragsonelastisiteit toeneem in die loop van die leer, aangesien geen waardasie-teenstrydigheid oor die vlakke van die hiërargie ontwikkel nie, sal straf wat verband hou met beloning uiteindelik beloning soek.

Ons model fokus op die evaluering van handelinge in 'n “vermoedelik gegewe” besluithiërargie, en laat die weg van die manier hoe die abstrakte opsies en hul ooreenstemmende lae-vlak subroutines aanvanklik tydens ontwikkeling ontdek word. Die ontdekking van die hiërargie van die besluit word voorgestel dat dit 'n onder-na-bo-proses is, wat bewerkstellig word deur volgorde van laevlak-aksies saam te snoei en meer abstrakte opsies op te stel. [41]. Hierdie proses, wat vermoedelik 'n verskuiwing van die rug na die ventrale striatum ondergaan, is in die teenoorgestelde rigting van die mededingingsmeganisme wat hier voorgestel word om beheer oor gedrag te neem.

Bespreking

Die groeiende bewysmateriaal oor die verskil in die rol van verskillende striatale subregio's in verslawing word gewoonlik geïnterpreteer in die raamwerk van gewone teenoor doelgerigte digotomie. [8], [14], [34]. Die hiërargiese besluitnemingsbenadering wat ons hier gebruik, is aanvullend tot sulke dubbele stelselrekeninge. Terwyl die tweeprosesbenadering verskillende algoritmes handel (modelvry versus modelbasis) [30]) vir die oplos van 'n enkele probleem, fokus die hiërargiese raamwerk op verskillende voorstellings van dieselfde probleem op verskillende vlakke van tydelike abstraksie. In teorie kan óf 'n gewoonte- óf 'n doelgerigte algoritme elk van hierdie verskillende voorstellings van die probleem oplos. In ons model vind die opeenhoping van geneesmiddel-geïnduseerde vooroordele oor DA-spirale plaas in 'n omgewing waar die waardeberaming-algoritme modelvry is (gewoonte-leer). Dit sluit egter nie die bestaan ​​uit van modelgebaseerde stelsels wat op die boonste vlakke van die hiërargie werk nie. 'N Mens kan eenvoudig die PFC-afhanklike doelgerigte waardasie- en besluitnemingstelsel in die model inkorporeer deur aan te neem dat aksies op die hoogste abstraksievlakke deur 'n doelgerigte stelsel beoordeel word. Alhoewel sulke komplikasies nie die aard van die resultate wat in hierdie manuskrip aangebied word, verander nie, word die daaropvolgende bykomende buigsaamheid in die verduideliking van ander aspekte van verslawing aan toekomstige studies oorgelaat. In ons model, ongeag of daar 'n doelgerigte stelsel bestaan ​​al dan nie, groei die verskil in die asimptotiese waarde van dwelm-soeke tussen die twee uiterstes van die hiërargie met die aantal beslissingsvlakke wat beheer word deur die 'gewone' proses .

In die lig van ons teorie, kan terugval gesien word as 'n herlewing van slapende motoriese vlak-wanaanpassingsgewoontes, na 'n periode van oorheersing van kognitiewe vlakke. In werklikheid kan 'n mens jou voorstel dat as gevolg van kognitiewe terapie (by menslike verslaafdes) of gedwonge uitsterwing (in diere-modelle van onthouding), die hoë waarde van dwelm-soek op die gedetailleerde vlak van die hiërargie nie geblus word nie, maar dormant raak om die beheer terug te skuif na kognitiewe vlakke. Aangesien dwelmverwante gedrag sensitief is vir nadelige gevolge op abstrakte vlakke, kan dwelm-soeke vermy word solank kognitiewe prosesse op hoë vlak die beheer oor gedrag oorheers. 'N Mens kan selfs bespiegel dat die gewilde 12-stapprogramme (byvoorbeeld Anoniem Alkoholiste, Narkotika Anoniem, ens.) Deels werk deur die deelnemers uitdruklik te verplig om die teenstrydigheid van hul dwelmverwante lewenstyl toe te laat en sodoende die abstrakte kognitiewe vlakke te bemagtig om eksplisiete beheer oor hul gedrag. Stresvolle toestande of herblootstelling aan geneesmiddels (priming) kan beskou word as risikofaktore wat die oorheersing van abstrakte vlakke oor gedrag verswak, wat kan lei tot die heropkoms van reaksies op dwelmmiddels (as gevolg van die latente hoë nie-kognitiewe waardes) ).

Samevattend stel ons 'n samehangende verslag voor vir verskeie, blykbaar uiteenlopende verskynsels wat kenmerkend is van dwelmverslawing. Ons model bied 'n normatiewe weergawe van data oor die differensiële rolle van die ventrale versus dorsale striatale stroombane in die verkryging van geneesmiddels en die prestasie van gewoontes, sowel as die selektiewe rol van die DA-verbinding vir die effekte van dwelm teenoor natuurlike versterkers. Die belangrikste is dat ons aantoon hoe die dwelm-geïnduseerde patologie in ventrale tot dorsale DA-seine die motiveringsinligting in die kognitiewe voorstellingshiërargie laat val, kan lei tot onenigheid tussen verslaafdes se abstrakte houding teenoor dwelmversoek en wat hulle eintlik doen. Dit is duidelik dat ons model nie volledig bedoel is oor dwelmverslawing nie en dat dit nie bedoel is nie. Om ander onverklaarbare aspekte van verslawing te verduidelik, moet baie ander breinstelsels opgeneem word wat getoon word dat hulle deur dwelmmiddels geraak word [42]. Hoe om sulke stelsels in die formele rekenaarnetwerk te inkorporeer, bly 'n onderwerp vir verdere ondersoek.

Ondersteunende inligting

File_S1.pdf
 

Figuur S1,'N Voorbeeldhiërargie met vyf vlakke van abstraksie. Figuur S2, Die ooreenstemmende neurale kring vir die drie bespreekte waardeleeralgoritmes is 'n hiërargiese besluitnemingstruktuur. A, Met behulp van 'n eenvoudige TD-leeralgoritme (vergelyking S7) word die voorspellingsfoutsein in elke abstraksievlak onafhanklik van ander vlakke bereken. B, In die model voorgestel deur Haruno en Kawato (4) (vergelyking S8), kom die waarde van die tydelik gevorderde toestand uit een hoër vlak van abstraksie. C, in ons model (vergelyking S9) word die waarde van die tydelik gevorderde toestand vervang met 'n kombinasie van die beloning en die Q-waarde van die uitgevoerde handeling op 'n hoër abstraksievlak. Figuur S3, Ons model voorspel verskillende werkplekke van geneesmiddels op die beloning-leerkring: webwerwe 1 tot 3. In teenstelling, sal geneesmiddels wat 4 tot 6 beïnvloed, nie lei tot die gedrags- en neurobiologiese patrone wat deur simulasie van die geneesmiddelmodel vervaardig word nie, maar resultate soortgelyk aan natuurlike belonings lewer. Figuur S4, Die taak wat gebruik word om die onsekerheidsgebaseerde mededingingsmeganisme te simuleer tussen die vlakke van die hiërargie om beheer oor gedrag te neem. Figuur S5, Simulasie-resultaat, wat geleidelike verskuiwing van beheer oor gedrag van hoër na laer vlakke van die hiërargie toon. Q (s, a) en U (s, a) toon die geraamde waarde en onsekerheid van die toestand-aksiepare onderskeidelik.

Lêer S1.

Figuur S1,'N Voorbeeldhiërargie met vyf vlakke van abstraksie. Figuur S2, Die ooreenstemmende neurale kring vir die drie bespreekte waardeleeralgoritmes is 'n hiërargiese besluitnemingstruktuur. A, Met behulp van 'n eenvoudige TD-leeralgoritme (vergelyking S7) word die voorspellingsfoutsein in elke abstraksievlak onafhanklik van ander vlakke bereken. B, In die model voorgestel deur Haruno en Kawato (4) (vergelyking S8), kom die waarde van die tydelik gevorderde toestand uit een hoër vlak van abstraksie. C, in ons model (vergelyking S9) word die waarde van die tydelik gevorderde toestand vervang met 'n kombinasie van die beloning en die Q-waarde van die uitgevoerde handeling op 'n hoër abstraksievlak. Figuur S3, Ons model voorspel verskillende werkplekke van geneesmiddels op die beloning-leerkring: webwerwe 1 tot 3. In teenstelling, sal geneesmiddels wat 4 tot 6 beïnvloed, nie lei tot die gedrags- en neurobiologiese patrone wat deur simulasie van die geneesmiddelmodel vervaardig word nie, maar resultate soortgelyk aan natuurlike belonings lewer. Figuur S4, Die taak wat gebruik word om die onsekerheidsgebaseerde mededingingsmeganisme te simuleer tussen die vlakke van die hiërargie om beheer oor gedrag te neem. Figuur S5, Simulasie-resultaat, wat geleidelike verskuiwing van beheer oor gedrag van hoër na laer vlakke van die hiërargie toon. Q (s, a) en U (s, a) toon die geraamde waarde en onsekerheid van die toestand-aksiepare onderskeidelik.

doi: 10.1371 / journal.pone.0061489.s001

(PDF)

Erkennings

Ons bedank S. Ahmed en P. Dayan vir kritiese besprekings, en M. Reinoud, D. Redish, N. Daw, E. Koechlin en A. Dezfouli vir die kommentaar op die manuskrip.

Skrywer Bydraes

Die eksperimente bedink en ontwerp: MK. Die eksperimente uitgevoer: MK. Ontleed die data: MK BG. Reagense / materiale / analise-instrumente: MK. Het die koerant geskryf: MK BG.

Verwysings

  1. 1. Narkotika anoniem (2008). 6de uitg. Wêrelddienskantoor.
  2. 2. Goldstein A (2001) Verslawing: Van Biologie tot Geneesmiddelbeleid. Oxford University Press, VSA.
  3. 3. Volkow ND, Fowler JS, Wang GJ, Swanson JM (2004) Dopamien in dwelmmisbruik en verslawing: resultate uit beeldstudies en behandelingsimplikasies. Molekulêre psigiatrie 9: 557 – 569. doi: 10.1038 / sj.mp.4001507. Vind hierdie artikel aanlyn
  4. 4. Stacy AW, Wiers RW (2010) Implisiete kognisie en verslawing: 'n instrument om paradoksale gedrag te verklaar. Jaarlikse oorsig van kliniese sielkunde 6: 551 – 575. doi: 10.1146 / annurev.clinpsy.121208.131444. Vind hierdie artikel aanlyn
  5. 5. Diagnostiese en statistiese handleiding vir geestesversteurings (DSM-IV) (2000). 4de uitg. Washington, DC: American Psychiatric Association.
  6. 6. Lamb RJ, Preston KL, Schindler CW, Meisch RA, Davis F, et al. (1991) Die versterking en subjektiewe effekte van morfien by postverslaafdes: 'n dosis-responsstudie. Die Tydskrif vir Farmakologie en Eksperimentele Terapeutika 259: 1165 – 1173. Vind hierdie artikel aanlyn
  7. 7. Goldstein RZ, Woicik PA, Moeller SJ, Telang F, Jayne M, et al. (2010) Liefde en gebrek aan dwelm- en nie-dwelmbeloning by aktiewe kokaïengebruikers: die STRAP-R-vraelys. Tydskrif vir psigofarmakologie 24: 257 – 266. doi: 10.1177/0269881108096982. Vind hierdie artikel aanlyn
  8. 8. Everitt BJ, Robbins TW (2005) Neurale stelsels vir versterking van dwelmverslawing: van aksies tot gewoontes tot dwang. Natuurneurowetenskap 8: 1481 – 1489. doi: 10.1038 / nn1579. Vind hierdie artikel aanlyn
  9. 9. Redish AD (2004) Verslawing as 'n berekeningsproses verkeerd geloop. Wetenskap 306: 1944 – 1947. doi: 10.1126 / science.1102384. Vind hierdie artikel aanlyn
  10. 10. Dezfouli A, Piray P, Keramati MM, Ekhtiari H, Lucas C, et al. (2009) 'n Neurkomputerende model vir kokaïenverslawing. Neurale berekening 21: 2869 – 2893. doi: 10.1162 / neco.2009.10-08-882. Vind hierdie artikel aanlyn
  11. 11. Piray P, Keramati MM, Dezfouli A, Lucas C, Mokri A (2010) Individuele verskille in nucleus accumbens dopamienreseptore voorspel die ontwikkeling van verslawing-agtige gedrag: 'n berekeningsbenadering. Neurale berekening 22: 2334 – 2368. doi: 10.1162 / NECO_a_00009. Vind hierdie artikel aanlyn
  12. 12. Dayan P (2009) Dopamien, versterkingsleer en verslawing. Farmakopsychiatrie 42: 56 – 65. doi: 10.1055 / s-0028-1124107. Vind hierdie artikel aanlyn
  13. 13. Takahashi Y, Schoenbaum G, Niv Y (2008) Die kritici stilgemaak: die gevolge van kokaïne-sensibilisering op dorsolaterale en ventrale striatum verstaan ​​in die konteks van 'n akteur / kritikermodel. Grense in neurowetenskap 2: 86 – 99. doi: 10.3389 / neuro.01.014.2008. Vind hierdie artikel aanlyn
  14. 14. Redish AD, Jensen S, Johnson A (2008) 'n Eenvormige raamwerk vir verslawing: kwesbaarhede in die besluitnemingsproses. Die gedrags- en breinwetenskappe 31: 415 – 487. doi: 10.1017 / S0140525X0800472X. Vind hierdie artikel aanlyn
  15. 15. Botvinick MM (2008) Hiërargiese modelle van gedrag en prefrontale funksie. Neigings in kognitiewe wetenskappe 12: 201 – 208. doi: 10.1016 / j.tics.2008.02.009. Vind hierdie artikel aanlyn
  16. 16. Haruno M, Kawato M (2006) Heterargiese versterkingsleermodel vir integrasie van veelvuldige kortikostriatale lusse: fMRI-ondersoek in stimulus-aksie-beloning assosiasieleer. Neurale netwerke 19: 1242 – 1254. doi: 10.1016 / j.neunet.2006.06.007. Vind hierdie artikel aanlyn
  17. 17. Willuhn I, Burgeno LM, Everitt BJ, Phillips PEM (2012) Hiërargiese werwing van fasiese dopamienignaal in die striatum tydens die progressie van kokaïengebruik. Verrigtinge van die Nasionale Akademie vir Wetenskappe 109: 20703 – 20708. doi: 10.1073 / pnas.1213460109. Vind hierdie artikel aanlyn
  18. 18. Botvinick MM, Niv Y, Barto AC (2009) Hiërargies georganiseerde gedrag en sy neurale grondslae: 'n versterkende leerperspektief. Kognisie 113: 262-280. doi: 10.1016 / j.cognition.2008.08.011. Vind hierdie artikel aanlyn
  19. 19. Badre D, D'Esposito M (2009) Is die rostro-kaudale as van die frontale lob hiërargies? Natuurresensies Neurowetenskap 10: 659–669. doi: 10.1038 / nrn2667. Vind hierdie artikel aanlyn
  20. 20. Koechlin E, Ody C, Kouneiher F (2003) Die argitektuur van kognitiewe beheer in die menslike prefrontale korteks. Wetenskap 302: 1181-1185. doi: 10.1126 / science.1088545. Vind hierdie artikel aanlyn
  21. 21. Badre D, Hoffman J, Cooney JW, D'Esposito M (2009) Hiërargiese kognitiewe beheertekorte na skade aan die menslike frontale lob. Natuurneurowetenskap 12: 515-522. doi: 10.1038 / nn.2277. Vind hierdie artikel aanlyn
  22. 22. Alexander GE, DeLong MR, Strick PL (1986) Parallelle organisasie van funksioneel gesegregeerde stroombane wat basale ganglia en korteks verbind. Jaarlikse oorsig van Neurowetenskap 9: 357-381. doi: 10.1146 / annurev.neuro.9.1.357. Vind hierdie artikel aanlyn
  23. 23. Alexander GE, Crutcher MD, DeLong MR (1990) Basale ganglia-talamokortiese bane: parallelle substrate vir motor-, oculomotoriese, prefrontale en limbiese funksies. Vordering in Breinnavorsing 85: 119-146. Vind hierdie artikel aanlyn
  24. 24. Schultz W, Dayan P, Montague PR (1997) 'n Neurale substraat van voorspelling en beloning. Wetenskap 275: 1593-1599. doi: 10.1126 / science.275.5306.1593. Vind hierdie artikel aanlyn
  25. 25. Belin D, Everitt BJ (2008) Kokaïen soek gewoontes hang af van dopamien afhanklike seriële konnektiwiteit wat die ventrale verbind met die dorsale striatum. Neuron 57: 432-441. doi: 10.1016 / j.neuron.2007.12.019. Vind hierdie artikel aanlyn
  26. 26. Haber SN, Fudge JL, McFarland NR (2000) Striatonigrostriatale Paaie in Primates Vorm 'n Stygende Spiraal vanaf die Skulp na die Dorsolaterale Striatum. Die Tydskrif vir Neurowetenskap 20: 2369-2382. Vind hierdie artikel aanlyn
  27. 27. Haber SN (2003) Die primale basale ganglia: parallelle en integrerende netwerke. Blaar van Chemiese Neuroanatomie 26: 317-330. doi: 10.1016 / j.jchemneu.2003.10.003. Vind hierdie artikel aanlyn
  28. 28. Sutton RS, Barto AG (1998) Versterkingsleer: 'n Inleiding. Cambridge: MIT Press.
  29. 29. Di Chiara G, Imperato A (1988) Dwelms wat deur mense misbruik word, verhoog die sinaptiese dopamien konsentrasies in die mesolimbiese stelsel van vrybewegende rotte. Verrigtinge van die Nasionale Akademie van Wetenskappe van die Verenigde State van Amerika 85: 5274-5278. doi: 10.1073 / pnas.85.14.5274. Vind hierdie artikel aanlyn
  30. 30. Daw ND, Niv Y, Dayan P (2005) Onsekerheidsgebaseerde kompetisie tussen prefrontale en dorsolaterale striatale stelsels vir gedragsbeheer. Natuur Neurowetenskap 8: 1704-1711. doi: 10.1038 / nn1560. Vind hierdie artikel aanlyn
  31. 31. Vanderschuren LJMJ, Ciano PD, Everitt BJ (2005) Betrokkenheid van die dorsale striatum in cue-controlled cocaine soek. Die Tydskrif vir Neurowetenskap 25: 8665-8670. doi: 10.1523 / JNEUROSCI.0925-05.2005. Vind hierdie artikel aanlyn
  32. 32. Volkow ND, Wang GJ, Telang F, Fowler JS, Logan J et al. (2006) Kokaïen leidrade en dopamien in dorsale striatum: meganisme van drang in kokaïenverslawing. Die Tydskrif vir Neurowetenskap 26: 6583-6588. doi: 10.1523 / JNEUROSCI.1544-06.2006. Vind hierdie artikel aanlyn
  33. 33. Kalivas PW, Volkow ND (2005) Die neurale basis van verslawing: 'n patologie van motivering en keuse. Die Amerikaanse Tydskrif vir Psigiatrie 162: 1403-1413. doi: 10.1176 / appi.ajp.162.8.1403. Vind hierdie artikel aanlyn
  34. 34. Belin D, Jonkman S, Dickinson A, Robbins TW, Everitt BJ (2009) Parallelle en interaktiewe leerprosesse binne die basale ganglia: relevansie vir die begrip van verslawing. Gedragsorgnavorsing 199: 89-102. doi: 10.1016 / j.bbr.2008.09.027. Vind hierdie artikel aanlyn
  35. 35. Matsumoto M, Hikosaka O (2009) Twee tipes dopamienneuron toon duidelik positiewe en negatiewe motiverings seine. Natuur 459: 837-841. doi: 10.1038 / nature08028. Vind hierdie artikel aanlyn
  36. 36. Frank MJ, Surmeier DJ (2009) Onderskei substantia nigra dopaminerge neurone tussen beloning en straf? Tydskrif van Molekulêre Selbiologie 1: 15-16. doi: 10.1093 / jmcb / mjp010. Vind hierdie artikel aanlyn
  37. 37. Vanderschuren LJMJ, Everitt BJ (2004) Dwelmsoek word kompulsief na langdurige kokaïen-selfadministrasie. Wetenskap 305: 1017-1019. doi: 10.1126 / science.1098975. Vind hierdie artikel aanlyn
  38. 38. Deroche-Gamonet V, Belin D, Piazza PV (2004) Bewys vir verslawingagtige gedrag in die rot. Wetenskap 305: 1014-1017. doi: 10.1126 / science.1099020. Vind hierdie artikel aanlyn
  39. 39. Panlilio LV, Thorndike EB, Schindler CW (2007) Blokkering van kondisionering na 'n kokaïenpaar-stimulus: die hipotese toets dat kokaïen voortdurend 'n sein van groter as verwagte beloning lewer. Farmakologie, Biochemie en Gedrag 86: 774-777. doi: 10.1016 / j.pbb.2007.03.005. Vind hierdie artikel aanlyn
  40. 40. Kamin L (1969) Voorspelbaarheid, verrassing, aandag en kondisionering. In: Campbell BA, Church RM, redakteurs. Straf en aversiewe gedrag. New York: Appleton-Century-Crofts. pp. 279-296.
  41. 41. Dezfouli A, Balleine BW (2012) Gewoontes, aksie-opeenvolgings en versterkingsleer. Die Europese tydskrif van neurowetenskap 35: 1036-1051. doi: 10.1111 / j.1460-9568.2012.08050.x. Vind hierdie artikel aanlyn
  42. 42. Koob GF, Le Moal M (2005) Neurobiologie van Verslawing. San Diego: Akademiese Pers