Beloningsgestuurd leren voorbij dopamine in de nucleus accumbens: de integratieve functies van cortico-basale ganglia-netwerken (2008)

Eur J Neurosci. 2008 Oct;28(8):1437-48. doi: 10.1111/j.1460-9568.2008.06422.x.

Yin HH1, Ostlund SB, Balleine BW.

Abstract

Hier betwisten we de opvatting dat beloningsgestuurd leren alleen wordt beheerst door de mesoaccumbens-route die voortkomt uit dopaminergische neuronen in het ventrale tegmentale gebied en naar de nucleus accumbens projecteert. Deze algemeen geaccepteerde opvatting gaat ervan uit dat beloning een monolithisch concept is, maar recent werk heeft anders gesuggereerd. Het lijkt nu dat in beloningsgestuurd leren de functies van ventrale en dorsale striata, en de cortico-basale ganglia-circuits die daarmee verbonden zijn, kunnen worden losgemaakt. Terwijl de nucleus accumbens noodzakelijk is voor de verwerving en expressie van bepaalde aantrekkelijke Pavloviaanse responsen en bijdraagt ​​aan de motiverende controle van instrumentele prestaties, is het dorsale striatum noodzakelijk voor de verwerving en uitdrukking van instrumentale acties. Dergelijke bevindingen suggereren het bestaan ​​van meerdere onafhankelijke, maar interactieve functionele systemen die zijn geïmplementeerd in itererende en hiërarchisch georganiseerde cortico-basale ganglia-netwerken die zich bezighouden met appetitief gedrag, variërend van Pavloviaanse benaderingsreacties tot doelgerichte instrumentale acties die worden gecontroleerd door onvoorziene gebeurtenissen.

sleutelwoorden: striatum, dopamine, basale ganglia, leren, nucleus accumbens, beloning

In de recente literatuur is het gebruikelijk geworden om een ​​monolithisch concept van 'beloning' uniform toe te passen op appetitief gedrag, of om iets aan te duiden dat goed is voor het organisme (meestal vanuit het perspectief van de onderzoeker), of door elkaar gebruikt met oudere termen zoals 'versterking' of 'stimulans'. Deze stand van zaken wordt aangemoedigd door, zo niet het gevolg van, de focus op een enkel neuraal substraat voor 'beloning' waarbij dopamine (DA) vrijkomt in de nucleus accumbens (Berke en Hyman, 2000; Grace et al., 2007).

Het verband tussen de mesoaccumbens-route en de beloning, die decennia geleden werd erkend, is nieuw leven ingeblazen door meer recent bewijs dat het fasische DA-signaal codeert voor een beloningsvoorspellingsfout, die vermoedelijk dient als een onderwijssignaal in associatieve learning (Schultz et al., 1997). Volgens de meest populaire interpretatie, net zoals er een enkel signaal is voor beloning, is er dus een enkel signaal voor beloningsgestuurd leren, wat in dit geval betekent dat er een verband is tussen een stimulus en een beloning (Montague et al., 2004). De vraag hoe dit type leren adaptief gedrag beheerst, is echter verwaarloosd; er wordt eenvoudigweg aangenomen dat het dopaminesignaal voldoende is voor zowel voorspellend leren als de voorwaardelijke reacties die daardoor worden veroorzaakt, en voor doelgerichte acties die worden geleid door hun associatie met beloning. Dientengevolge is de focus van het meeste onderzoek op het gebied van beloning en verslaving DA-signalering en gerelateerde plasticiteit in de mesoaccumbens-route (Berridge en Robinson, 1998; Hyman et al., 2006; Grace et al., 2007).

Deze kijk op het beloningsproces, zoals steeds meer wordt erkend (Cardinal et al., 2002; Balleine, 2005; Everitt en Robbins, 2005; Hyman et al., 2006), is zowel ontoereikend als misleidend. Het is ontoereikend omdat noch de verwerving noch de uitvoering van doelgerichte acties kan worden verklaard in termen van de associatieve processen die het stimuleren van stimulusbeloning bemiddelen. Het is bovendien misleidend, omdat de exclusieve focus op activiteit in de mesoaccumbensroute, die noch noodzakelijk noch voldoende is voor doelgerichte acties, de aandacht heeft afgeleid van de meer fundamentele kwestie van precies wat doelgerichte acties zijn en hoe ze worden geïmplementeerd. door de hersenen. Inderdaad, volgens convergerende gegevens uit verschillende experimentele benaderingen, kan wat eerder een enkel beloningsmechanisme leek te zijn, in feite meerdere processen omvatten met verschillende gedragseffecten en neurale substraten (Corbit et al., 2001; O'Doherty et al., 2004; Yin et al., 2004; Delgado et al., 2005; Yin et al., 2005b; Haruno en Kawato, 2006a; Tobler et al., 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler et al., 2007).

Hier proberen we enkele van de problemen in verband met het huidige mesoaccumbens-model bloot te leggen en in plaats daarvan een ander model van op beloning gebaseerd leren voor te stellen. We zullen stellen dat het striatum een ​​zeer heterogene structuur is die kan worden verdeeld in ten minste vier functionele domeinen, die elk fungeren als een hub in een duidelijk functioneel netwerk met andere corticale, thalamische, pallidale en midbrain componenten. De integratieve functies van deze netwerken, variërend van de productie van onvoorwaardelijke responsen opgewekt door beloning tot de controle van doelgerichte acties, kunnen worden losgemaakt en bestudeerd met behulp van hedendaagse gedragstests.

Voorspelling en controle

De mesoaccumbens-route wordt vaak verondersteld noodzakelijk te zijn voor het verwerven van een verband tussen beloning en omgevingsstimuli die die beloning voorspellen. In sommige van de experimenten waarbij de fasische activiteit van DA-cellen werd onderzocht die werden opgewekt door beloning, werden bijvoorbeeld apen getraind om een ​​stimulus te associëren met de afgifte van sap (Waelti et al., 2001) en vervolgens reageren op de stimulus met een voorwaardelijke respons (CR) - anticiperende likken. Het liken van de aap kan doelgericht zijn, omdat het gelooft dat het nodig is om sap te verkrijgen. Als alternatief kan likken worden opgewekt door de antecedente stimulus waarmee sap is geassocieerd. Welke van deze determinanten van het likken van de apen is het controleren van het gedrag in een bepaalde situatie is niet bekend a priorien kan niet worden bepaald door oppervlakkige waarneming; het kan alleen worden bepaald met behulp van tests die speciaal voor dit doel zijn ontworpen. Deze tests, die vele decennia in beslag hebben genomen om zich te ontwikkelen, vormen de kern van de belangrijkste moderne ontwikkelingen in de studie van leren en gedrag (Tabel 1). Uit het gebruik van deze tests, die we hieronder zullen bespreken, weten we nu dat dezelfde gedragsreactie - of het nu gaat om ambulante nadering, oriënteren of drukken op een hendel - kan voortkomen uit meerdere invloeden die experimenteel dissocieerbaar zijn.

Tabel 1  

Beloninggestuurd leren

Ongevoeligheid voor de centrale ambiguïteit in de feitelijke determinanten van gedrag is dus het grootste probleem met de huidige neurowetenschappelijke analyse van op beloning gebaseerd leren. To begrijp de betekenis van dit probleem, het is noodzakelijk om de verschillen te waarderen tussen hoe voorspellend (of Pavloviaans) leren en doelgericht (of instrumenteel) leerbeheersingsgevoelig gedrag. Inderdaad, te oordelen naar hoe vaak deze twee processen zijn samengevoegd in de literatuur over beloning, lijkt een korte herziening van dit onderscheid een nuttig startpunt voor onze discussie.

In een appetitieve pavloviaanse conditionering, is de beloning (de onvoorwaardelijke stimulus of de VS) gepaard met een stimulus (conditionele stimulus of CS), ongeacht het gedrag van het dier, terwijl bij instrumenteel leren de beloning afhankelijk is van de acties van de dieren. De kritische vraag in beide situaties is echter of de stimulus-beloning-associatie of de actie-beloningsassociatie gedrag regelt.

Zo eenvoudig als het lijkt, deze vraag ontweek onderzoekers vele decennia grotendeels omdat de gedragsreacties in deze situaties identiek kunnen lijken.

Zodoende kunnen de voorwaardelijke responsen (CR's) die worden beheerst door de Pavlovische stimulus-beloning-associatie vaak een fineer van doelgerichtheid over hen hebben. Zelfs speekselvloed, Pavlov's oorspronkelijke CR, had door zijn honden kunnen worden geproduceerd als een opzettelijke poging om inname te vergemakkelijken. Juist vanwege deze ambiguïteit wordt de meest voor de hand liggende verklaring - namelijk dat in de Pavloviaanse conditionering de stimulus-uitkomstassociatie wordt geleerd, terwijl bij instrumentele conditionering de actie-uitkomstassociatie wordt geleerd - vele decennia lang geen ondersteuning werd geboden (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Niettemin, hoewel veel Pavlovische CR's autonoom of consumerend zijn, zijn andere CR's, zoals benaderingsgedrag ten opzichte van een beloning, niet zo gemakkelijk gekarakteriseerd (Rescorla en Solomon, 1967); inderdaad, ze kunnen gemakkelijk worden aangezien voor instrumentale acties (Brown en Jenkins, 1968; Williams en Williams, 1969; Schwartz en Gamzu, 1977). We weten nu dat, ondanks een oppervlakkige overeenkomst, Pavlovische CR's en doelgerichte instrumentale acties verschillen in de representatieve structuur die de prestaties van de respons regelt (Schwartz en Gamzu, 1977).

Het meest directe middel om vast te stellen of de uitvoering van een respons wordt gemedieerd door een stimulusbeloning of een actie-beloning verband, is om de specifieke contingentieregelprestaties te onderzoeken. Het voorbeeld van salivatie is hier leerzaam. Sheffield (1965) getest of speekselvloed in Pavlovian conditioning werd beheerst door zijn relatie tot beloning of door de stimulus-beloning vereniging. In zijn experiment ontvingen honden koppelingen tussen een toon en een voedselbeloning (Sheffield, 1965). Echter, als de honden kwijlden tijdens de toon, dan werd het voedsel niet afgeleverd op die proef. Deze regeling handhaafde een Pavloviaanse relatie tussen de toon en het voedsel, maar schafte elke directe associatie tussen speekselproductie en voedsellevering af. Als de speekselvloed een actie zou zijn die wordt beheerst door de relatie tot voedsel, dan zouden de honden moeten ophouden met speeksel - ze zouden zelfs nooit speekselvloed op de toon moeten krijgen. Sheffield ontdekte dat het duidelijk de Pavloviaanse toon-voedselrelatie was die de salivatie CR controleerde. Gedurende de loop van meer 800-toonvoer-paren, hebben de honden speekselvloed op de toon gekregen en onderhouden, hoewel dit resulteerde in het verlies van het grootste deel van het voedsel dat ze hadden kunnen verkrijgen door niet te kwijlen. Een vergelijkbare conclusie werd door anderen bereikt in studies met mensen (Pithers, 1985) en andere dieren (Brown en Jenkins, 1968; Williams en Williams, 1969; Holland, 1979); in alle gevallen lijkt het erop dat, ondanks hun grote verscheidenheid, de Pavloviaanse antwoorden niet worden beheerst door hun relatie tot de beloning - dwz door de onvoorziene gebeurtenis-uitkomst.

De term contingentie verwijst naar de voorwaardelijke relatie tussen een gebeurtenis 'A' en een andere, 'B', zodat het voorkomen van B afhangt van A. Een dergelijke relatie kan gemakkelijk worden afgebroken door B te presenteren in afwezigheid van A. Dit Experimentele manipulatie, aangeduid als contingentie-degradatie, wordt vaak uitgevoerd door een beloning te presenteren onafhankelijk van de voorspellende stimulus of de actie. Hoewel deze benadering oorspronkelijk werd ontwikkeld om de Pavlovische conditionering te bestuderen (Rescorla, 1968), is de achteruitgang van de instrumentele contingentie ook een algemeen hulpmiddel geworden (Hammond, 1980). Wanneer deze contingenties direct worden gemanipuleerd, wordt de inhoud van het leren geopenbaard: bijvoorbeeld in autoshaping wordt een Pavloviaans CR 'vermomd' omdat een instrumentale actie wordt verstoord door manipulaties van de Pavlovian in plaats van de instrumentale contingentie (Schwartz en Gamzu, 1977).

Doelgerichte instrumentale acties worden gekenmerkt door twee criteria: 1) gevoeligheid voor veranderingen in de waarde van de uitkomst, en 2) gevoeligheid voor veranderingen in de contingentie tussen actie en uitkomst (Dickinson, 1985; Dickinson en Balleine, 1993). Gevoeligheid voor uitkomstdevaluatie alleen, moet het worden benadrukt, is niet voldoende om een ​​reactie als doelgericht te karakteriseren, omdat sommige Pavlovische reacties ook gevoelig kunnen zijn voor deze manipulatie (Holland en Rescorla, 1975). De uitvoering van doelgerichte instrumentale acties is echter ook gevoelig voor manipulaties van de actie-uitkomst-contingentie, terwijl Pavlovische responsen gevoelig zijn voor manipulaties van de onvoorziene onvoorziene omstandigheden (Rescorla, 1968; Davis en Bitterman, 1971; Dickinson en Charnock, 1985). Een belangrijke uitzondering is echter te vinden in het geval van gewoonten (zie hieronder), die meer overeenkomen met Pavloviaanse responsen in hun relatieve ongevoeligheid voor veranderingen in de instrumentele contingentie, maar ook ongevoelig zijn voor uitkomstdevaluatie omdat de uitkomst niet deel uitmaakt van de representatiestructuur die de prestaties regelt (cf. Dickinson, 1985 en hieronder voor verdere discussie).

Samenvattend is het dan van het grootste belang dat een bepaald antwoord duidelijk wordt gedefinieerd in termen van de controlerende contingentie in plaats van door de responsvorm of de gedragstaak die wordt gebruikt om het vast te stellen. Zonder de controlerende contingentie in een bepaalde situatie te onderzoeken, is het waarschijnlijk dat het gedrag en de neurale processen die het gedrag bemiddelen, niet goed worden omschreven. Uiteindelijk, zoals we zullen beweren, zijn het de feitelijke controlerende onvoorziene omstandigheden, verworven door het leren en geïmplementeerd door verschillende neurale systemen, die het gedrag controleren, hoewel ze hetzelfde 'laatste gemeenschappelijke pad' kunnen delen. De centrale uitdaging is dus om verder te gaan dan de schijn om het onderliggende contingentie controlerende gedrag bloot te leggen (voor een samenvatting zie Tabel 1). Om te beweren dat specifieke neurale structuren specifieke psychologische capaciteiten bemiddelen, bijvoorbeeld doelgerichtheid, moet de status van het gedrag worden beoordeeld met de juiste gedragstests. Anders doen is verwarring uitdagen als groepen discussiëren over de juiste neurale determinanten, terwijl ze niet erkennen dat hun gedragstaken verschillende verschijnselen kunnen meten. Wat er uiteindelijk toe doet, is wat het dier feitelijk leert, niet wat de onderzoeker gelooft dat het dier leert, en wat het dier feitelijk leert, kan alleen worden onthuld door testen die de inhoud van het leren direct onderzoeken.

Het instrumentale onderscheid van Pavlovian zou triviaal zijn geweest, als het dier hetzelfde wist te leren (zeg een verband tussen de stimulus en de beloning) ongeacht de experimentele regelingen. Gebruik makend van de meest gebruikelijke meetmethoden die de neurowetenschappen tegenwoordig ter beschikking staan, is er eenvoudigweg geen manier om dit te vertellen. Zo beweren onderzoekers vaak dat ze doelgericht gedrag bestuderen zonder te onderzoeken of het gedrag in kwestie inderdaad op het doel is gericht. Hoewel algemeen wordt verondersteld dat verschillende soorten van leren het gevolg zijn van het gebruik van verschillende 'taken' of 'paradigma's', geven onderzoekers vaak niet voldoende argumenten voor hun aannames.

Een klassiek voorbeeld van dit probleem is het gebruik van doolhoven om het leren te bestuderen. Een probleem met doolhofexperimenten en gerelateerde testen, zoals geconditioneerde plaatsvoorkeur, is de moeilijkheid om de invloed van de Pavlovian (stimulusbeloning) en de instrumentele (actiebeloning) onvoorziene omstandigheden op gedrag dissociëren (Dickinson, 1994; Yin en Knowlton, 2002). Dus, een beweging door een T-doolhof om voedsel te krijgen, zou een reactiestrategie kunnen weerspiegelen (links afslaan) of eenvoudigweg een geconditioneerde benadering van een extra-doolhof oriëntatiepunt dat wordt bestuurd door de cue-food associatie (Restle, 1957). Een manier om te testen of de laatste een rol speelt bij de uitvoering, is door het doolhof om te keren; nu moeten reactieleerlingen doorgaan naar links te draaien terwijl degenen die extra-doolhof aanwijzingen gebruiken, naar rechts moeten gaan. Maar zijn diegenen die nog steeds echt naar links blijven draaien met behulp van een responsstrategie of ze benaderen slechts enkele intra-maze cue geassocieerd met eten? Het is niet eenvoudig om er achter te komen, omdat de gebruikelijke controles voor Pavlovian controle van gedrag niet eenvoudig kunnen worden toegepast in doolhofstudies. Een van deze, de bidirectionele controle, stelt vast dat dieren de controle over een bepaald antwoord kunnen uitoefenen door de omkering van de richting van dat antwoord te eisen om een ​​beloning te verdienen (Hershberger, 1986; Heyes en Dawson, 1990). Jammer genoeg, in een doolhof, kan reactieomkering nog steeds niet voldoende zijn om een ​​actie als doelgericht vast te stellen, omdat omkering kan worden bereikt door de bestaande stimulus-beloningsrelatie uit te schakelen en deze door een andere te vervangen. Bijvoorbeeld, een rat die een bepaalde intra-doolhof cue nadert, kan leren, tijdens het omkeren, dat het niet langer gepaard gaat met beloning, maar dat er een andere stimulus is, wat resulteert in het verwerven van een aanpak CR naar de nieuwe stimulus. Daardoor kunnen ze blijkbaar hun reactie terugdraaien zonder ooit de respons-beloningconventie te hebben gecodeerd. Omdat deze mogelijkheid niet in de praktijk kan worden getest, is het gebruik van doolhoven, plaatsvoorkeurprocedures of eenvoudige locomotorische taken om doelgerichte leerprocessen te bestuderen bijzonder gevaarlijk en zal dit waarschijnlijk resulteren in een verkeerde typering van de processen die gedrag sturen, samen met de specifieke rol van een neuraal Processen waarvan is vastgesteld dat ze erbij betrokken zijn (Smith-Roe en Kelley, 2000; Hernandez et al., 2002; Atallah et al., 2007).

Nucleus accumbens is niet noodzakelijk voor instrumenteel leren

De tekortkomingen van de huidige gedragsanalyse worden met name duidelijk in de studie van de nucleus accumbens. Veel studies hebben gesuggereerd dat deze structuur van cruciaal belang is voor het verwerven van doelgerichte acties (Hernandez et al., 2002; Ga naar en gratie, 2005; Hernandez et al., 2005; Pothuizen et al., 2005; Taha and Fields, 2006; Atallah et al., 2007; Cheer et al., 2007; Lerchner et al., 2007). Maar deze conclusie is grotendeels gebaseerd op metingen van een verandering in de prestaties alleen, met behulp van taken waarin het contingent controlerende gedrag dubbelzinnig is. Hoewel de waarneming dat een manipulatie de verwerving van een bepaalde gedragsreactie schaadt, op een leerachterstand kan duiden, kunnen ze ook een effect op de initiatie of motivatie van de reactie weerspiegelen. Een waardevermindering in de verwerving van hefboompersing kan bijvoorbeeld vaak een effect op de prestaties weerspiegelen in plaats van op leren (Smith-Roe en Kelley, 2000). Acquisitiecurven alleen, aangezien onvolledige representaties van een leerproces, voorzichtig moeten worden geïnterpreteerd (Gallistel et al., 2004). Helaas wordt het onderscheid tussen leren en prestaties, misschien wel de oudste les in het bestuderen van leren, tegenwoordig vaak genegeerd.

Een gedetailleerdere analyse geeft aan dat de accumbens niet noodzakelijk noch voldoende is voor instrumenteel leren. Laesies van de accumbens-schaal veranderen de gevoeligheid van de prestaties niet voor de uitkomstevaluatie (de Borchgrave et al, 2002; Corbit et al, 2001) of instrumentele verslechtering van de onvoorziene omstandigheden (Corbit et al, 2001), terwijl laesies van de accumbens-kern de gevoeligheid voor devaluatie hebben verminderd zonder de gevoeligheid van de rat voor selectieve degradatie van de instrumentele contingentie te beïnvloeden (Corbit et al., 2001). Andere studies die het effect van accumbensmanipulaties op de verwerving van een nieuwe respons in onderzoeken naar geconditioneerde versterking beoordelen, hebben consequent een effect gevonden op prestaties gerelateerd aan prestaties, met name de verbetering van de prestaties van amfetamine, maar niet op de verwerving van reacties op zich (Parkinson et al, 1999). Evenzo vonden een systematische studie door Cardinal en Cheung ook geen effect van accumbens kernlaesies bij het verkrijgen van een hefboompersrespons onder een continu versterkingsschema; aangetaste acquisitie werd alleen waargenomen bij vertraagde versterking (Cardinal en Cheung, 2005).

Hoewel de accumbens niet de instrumentele contingentie codeert (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001), suggereert veel bewijs dat het een fundamentele rol speelt in instrumentaal prestatie, een rol die we nu beter kunnen definiëren in het licht van recent werk. Zoals geconcludeerd door verschillende studies, is de accumbens van cruciaal belang voor bepaalde types van appetitive pavloviaanse conditionering, en bemiddelt zowel de niet-specifieke excitatory effecten die beloning-gerelateerde signalen kunnen hebben op de instrumentele prestaties, als de uitkomst-specifieke vooroordelen op de geproduceerde respons selectie door dergelijke signalen. Laesies van de kern of van het anterieure cingulaat, een belangrijke bron van corticale input in de kern, of een ontkoppeling tussen deze twee structuren, schaden de verwerving van Pavloviaans naderingsgedrag (Parkinson et al., 2000). Lokale infusie van een D1-achtige dopamine-receptorantagonist of een NMDA-glutamaatreceptorantagonist onmiddellijk na de training verminderde ook deze vorm van leren zonder de prestatie te beïnvloeden (Dalley et al., 2005). Deze gegevens komen overeen met maatregelen van in vivo neurale activiteit. Carelli en collega's ontdekten bijvoorbeeld dat neuronen in de accumbens-kern hun activiteit systematisch kunnen veranderen tijdens het leren van een Pavloviaanse autoshaping-taak (Day et al., 2006; Dag en Carelli, 2007).

Neuronen in de schaal regio lijken te zijn afgestemd op beloningen en aversieve stimuli, zelfs vóór elke leerervaring; ze zijn ook in staat om antwoorden op CS's te ontwikkelen die deze uitkomsten voorspellen (Roitman et al., 2005). Werk van Berridge en collega's bovendien heeft de mogelijkheid vergroot dat bepaalde regio's binnen de nucleus accumbens-schaal en in het stroomafwaartse ventrale pallidum kunnen worden gekarakteriseerd als 'hedonistische hotspots'. Deze gebieden moduleren directe onvoorwaardelijke hedonische reacties op beloningen, zoals smaakreactiviteit. Agonisten van opioïde receptoren in deze gebieden kunnen bijvoorbeeld de innamelijke smaakreactiviteit van sucrose aanzienlijk versterken. Dergelijke sterk gelokaliseerde regio's zijn echter ingebed in bredere netwerken die geen rol spelen in consummatiegevoelig gedrag (Taha and Fields, 2005; Pecina et al., 2006; Taha and Fields, 2006).

Het onderscheid in de relatieve rollen van kern en schaal lijkt te liggen tussen voorbereidend en consumerend begaafd gedrag, respectievelijk, dat gemakkelijk kan worden aangepast door ervaring door verschillende soorten pavloviaanse conditionering. Voorbereidende reacties zoals de aanpak houden verband met algemene emotionele kwaliteiten van de uitkomst, terwijl het consumerende gedrag wordt gekoppeld aan meer specifieke sensorische eigenschappen; ze zijn ook differentieel ontvankelijk voor verschillende soorten CS, bijv. voorbereidende responsen worden eerder geconditioneerd met een stimulus met een lange duur (Konorski, 1967; Dickinson en Dearing, 1979; Balleine, 2001; Dickinson en Balleine, 2002).

In elk geval is het bewijsmateriaal dat de accumbens impliceert in sommige aspecten van de Pavloviaanse conditionering overweldigend. Het is echter niet de enige betrokken structuur, en andere netwerken, zoals die met de verschillende amygdaloid-kernen, lijken ook een centrale rol te spelen in zowel de voorbereidende als de consumptieve componenten van de Pavlovische conditoning. (Balleine en Killcross, 2006).

Een functie die duidelijk kan worden toegeschreven aan de accumbens is de integratie van Pavloviaanse invloeden op instrumentaal gedrag. Pavlovische CR's, inclusief die welke de activering van centrale motivationele toestanden weerspiegelen, zoals hunkering en opwinding, kunnen een sterke invloed uitoefenen op de uitvoering van instrumentale acties (Trapold en Overmier, 1972; Lovibond, 1983; Holland, 2004). Bijvoorbeeld, een CS die zelfstandig voedsellevering voorspelt, kan het instrumenteel reageren op hetzelfde voedsel verhogen. Dit effect wordt vaak bestudeerd met behulp van het Pavlovian-instrumentele overdrachtsparadigma (PIT). In PIT krijgen dieren afzonderlijke Pavloviaanse en instrumentale trainingsfasen, waarin ze zelfstandig leren om een ​​keu te associëren met voedsel en een hendel voor hetzelfde voedsel in te drukken. Vervolgens wordt bij sondeproeven de keu aangeboden met de beschikbare hefboom en de verhoging van responspercentages in de aanwezigheid van de CS wordt gemeten. Twee vormen van PIT zijn geïdentificeerd; één gerelateerd aan het over het algemeen opwindende effect van beloningsgerelateerde signalen en een tweede meer selectief effect op keuzeprestaties geproduceerd door de voorspellende status van een keu met betrekking tot één specifieke beloning in tegenstelling tot anderen. De accumbens-schaal is noodzakelijk voor deze laatste uitkomstspecifieke vorm van PIT, maar is niet noodzakelijk voor de eerste, meer algemene vorm, noch voor gevoeligheid voor uitkomstdevaluatie; de laesies van de accumbens-kern daarentegen verminderen de gevoeligheid voor zowel uitkomstdevaluatie als de algemene vorm van PIT, maar laten intacte uitkomstspecifieke PIT over (Corbit et al., 2001; (Balleine en Corbit, 2005).

Een recent onderzoek gaf verder inzicht in de rol van de accumbens-schaal in uitkomstspecifieke PIT (Wiltgen et al., 2007). Gecontroleerde expressie van actief calcium / calmoduline-afhankelijk proteïne kinase II (CaMKII) in het striatum had geen invloed op instrumenteel of Pavloviaans leren, maar schafte specifieke PIT af. Dit tekort aan PIT was niet permanent en kon worden ongedaan gemaakt door de transgenexpressie met doxycycline uit te schakelen, wat aantoont dat het tekort alleen in verband stond met de prestaties. Het kunstmatig verhogen van het niveau van CaMKII in het striatum blokkeert daarom de uitkomstspecifieke overdracht van stimulerende motivatie van het Pavlovian naar het instrumentale systeem. Interessant is dat het inschakelen van het CaMKII-transgen ook de prikkelbaarheid van neuronen in de accumbens-schaal verminderde, zonder de basale transmissie of synaptische sterkte te beïnvloeden.

Het dorsale striatum

Het dorsale striatum, ook bekend als neostriatum of caudate-putamen, ontvangt gigantische projecties van de zogenaamde neocortex. Het kan verder worden onderverdeeld in een associatieve regio, die bij knaagdieren meer mediaal en continu is met het ventrale striatum, en een sensorimotorisch gebied dat lateraalder is (Groenewegen et al., 1990; Joel en Weiner, 1994). Als geheel wordt het dorsale striatum geïnnerveerd door DA-cellen van de substantia nigra pars compacta (SNc) en ontvangt het slechts magere projecties van de VTA DA-neuronen (Joel en Weiner, 2000). Eerdere studies over het dorsale striatum waren voornamelijk gericht op de rol ervan bij het leren van stimulusrespons (SR) -gewoonten (Miller, 1981; Wit, 1989). Deze zienswijze is gebaseerd op de wet van effect, volgens welke een beloning een SR-verband tussen de omgevingsstimuli en de respons versterkt of versterkt, waardoor de neiging om die respons uit te voeren toeneemt in aanwezigheid van die stimuli (Thorndike, 1911; Hull, 1943; Miller, 1981). Aldus wordt aangenomen dat de corticostriatale route SR-vorming medieert, waarbij DA fungeert als het versterkingssignaal (Miller, 1981; Reynolds en Wickens, 2002).

SR-modellen hebben het voordeel dat ze een spaarzame regel bevatten om leren in prestaties te vertalen. Een model gebaseerd op actiegerelateerde verwachtingen daarentegen is gecompliceerder omdat de overtuiging "actie A leidt tot uitkomst O" niet noodzakelijkerwijs vertaald hoeft te worden in actie (Guthrie, 1935; Mackintosh, 1974); dergelijke informatie kan zowel worden gebruikt om 'A' uit te voeren als om 'A' te vermijden. Om deze reden meden de traditionele theorieën de meest voor de hand liggende verklaring - namelijk dat dieren een actie-uitkomst-contingentie kunnen verwerven die keuzegedrag begeleidt. De laatste decennia is de wet van effect echter aanzienlijk herzien (Adams, 1982; Colwill en Rescorla, 1986; Dickinson, 1994; Dickinson et al., 1996). TDe resultaten van veel studies hebben aangetoond dat instrumentele acties echt doelgericht kunnen zijn, dat wil zeggen gevoelig zijn voor veranderingen in beloningswaarde en de oorzakelijke werkzaamheid van de actie. (zie Dickinson & Balleine, 1994; 2002; Balleine, 2001 voor beoordelingen). Niettemin kunnen zelfs nieuw verworven acties in de loop van uitgebreide training onder constante omstandigheden relatief automatisch en stimulusgestuurd worden - een proces dat bekend staat als gewoontevorming (Adams en Dickinson, 1981; Adams, 1982; Yin et al., 2004). De aldus gedefinieerde gewoonten, die automatisch worden opgewekt door antecedente stimuli, worden niet beheerst door de verwachting of representatie van de uitkomst; ze zijn bijgevolg ongevoelig voor veranderingen in de uitkomstwaarde. Vanuit dit perspectief is de wet van effect daarom een ​​speciaal geval dat alleen van toepassing is op gewoontegedrag.

De huidige classificatie van instrumentaal gedrag verdeelt het in twee klassen. TDe eerste klas omvat doelgerichte acties die worden bestuurd door de instrumentele contingentie; het tweede, gebruikelijke gedrag dat ongevoelig is voor veranderingen in de uitkomstwaarde (Tabel 1). Met behulp van gedragstesten zoals uitkomstdevaluatie en degradatie van instrumentele contingentie, stelde Yin et al een functionele dissociatie vast tussen de sensorimotor (dorsolaterale striatum, DLS) en associatieve regio's (dorsomediaal striatum, DMS) van het dorsale striatum (Yin en Knowlton, 2004; Yin et al., 2004, 2005; Yin et al., 2005b; Yin et al., 2006a). Laesies van de DLS belemmerden de ontwikkeling van gewoonten, resulterend in een meer doelgerichte modus van gedragscontrole. Laesies van de DMS hebben het tegenovergestelde effect en resulteren in een overgang van doelgerichte naar gewone controle. Yin et al concludeerden daarom dat de DLS en DMS functioneel gedissocieerd kunnen worden in termen van het type associatieve structuren dat ze ondersteunen: de DLS is van cruciaal belang voor de vorming van gewoonten, terwijl de DMS cruciaal is voor het verwerven en uiten van doelgerichte acties. Deze analyse voorspelt dat onder bepaalde omstandigheden (bijv. Uitgebreide training) de controle over acties kan verschuiven van het DMS-afhankelijke systeem naar het DLS-afhankelijke systeem, een conclusie die in grote lijnen overeenkomt met de aanzienlijke literatuur over primaten, inclusief menselijke neuroimaging (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi et al., 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno en Kawato, 2006a, b; Lohrenz et al., 2007; Tobler et al., 2007). Er moet natuurlijk aan worden herinnerd tDe fysieke locatie (bijv. dorsaal of ventrale) alleen kan geen betrouwbare leidraad zijn bij het vergelijken van het striatum van de knaagdieren en het striatum van de primaat; dergelijke vergelijkingen moeten met de nodige voorzichtigheid worden gemaakt, na zorgvuldige afweging van de anatomische connectiviteit.

De effecten van dorsale striatale laesies kunnen worden vergeleken met die van accumbens-laesies (Smith-Roe en Kelley, 2000; Atallah et al., 2007). Zoals reeds vermeld, zijn de standaardtests voor het vaststellen van een gedrag als 'doelgericht' uitkomstdevaluatie en degradatie van de actie-uitkomst-contingentie (Dickinson en Balleine, 1993). Laesies van het DMS maken het gedrag ongevoelig voor beide manipulaties (Yin et al., 2005b), terwijl laesies van de accumbens-kern of schil (Corbit et al., 2001). Bovendien worden de sondetests van deze gedragstesten typisch uitgevoerd in extinctie, zonder de beloning, om te beoordelen wat het dier heeft geleerd zonder besmetting door nieuw leren. Ze tasten dus rechtstreeks het gedrag van de representatie van structuurstructuren af. Als aanvullende experimentele controle is het vaak nuttig om een ​​afzonderlijke devaluatietest uit te voeren waarbij beloningen daadwerkelijk worden afgeleverd, de zogenaamde 'beloonde test'. Laesies van de DMS hebben de gevoeligheid voor de uitkomstdevaluatie van de beloonde test niet afgeschaft, zoals verwacht mag worden, aangezien de afgifte van een gedevalueerd resultaat afhankelijk van een actie de actie kan onderdrukken onafhankelijk van actie-uitkomst codering. Beschadigingen van de accumbens shell hadden daarentegen geen nadelige invloed op de gevoeligheid voor de uitkomstdevaluatie van de extinctie- of de beloonde test, terwijl accumbens kernlaesies de gevoeligheid voor devaluatie bij beide testen afschaften (Corbit et al., 2001). De gevoeligheid voor contingentie-degradatie werd echter niet beïnvloed door een van de laesies, wat aantoont dat de ratten na accumbens-laesies konden coderen en actie-uitkomstrepresentaties konden ophalen.

De rol van dopamine: mesolimbisch versus nigrostriataal

Sinds de baanbrekende studies over de fasische activiteit van DA-neuronen bij apen, is een algemene veronderstelling in het veld dat alle DA-cellen zich in wezen op dezelfde manier gedragen (Schultz, 1998a; Montague et al., 2004). Echter, de beschikbare gegevens, evenals de anatomische connectiviteit, suggereren anders. In feite kan de bovenstaande analyse van functionele heterogeniteit in het striatum ook worden uitgebreid naar de DA-cellen in de middenhersenen.

DA-cellen kunnen worden onderverdeeld in twee hoofdgroepen: VTA en substantia nigra pars compacta (SNc). Hoewel de projectie van de VTA to accumbens is het middelpunt geweest van aandacht op het gebied van beloningsgerelateerd leren, het veel massaler nigrostriatale pad is relatief verwaarloosd, met aandacht vooral gericht op zijn rol bij de ziekte van Parkinson. Actueel denken over de rol van DA bij het leren is sterk beïnvloed door het voorstel dat de fasische activiteit van DA-cellen een beloningsvoorspel-erro weerspiegeltr (Ljungberg et al., 1992; Schultz, 1998b). IkIn de meest gebruikelijke Pavloviaanse conditioningtaak die Schultz en collega's gebruiken, schieten deze neuronen in reactie op beloning (VS), maar met leren wordt de door de VS opgeroepen activiteit verplaatst naar de CS. Wanneer de VS wordt weggelaten na het leren, vertonen de DA-cellen een korte depressie in activiteit op het verwachte tijdstip van aflevering (Waelti et al., 2001; Fiorillo et al., 2003; Tobler et al., 2003). Dergelijke gegevens vormen de basis van verschillende computationele modellen (Schultz et al., 1997; Schultz, 1998b; Brown et al., 1999; Montague et al., 2004).

Gegeven meerdere controleniveaus in de mechanismen van synthese en afgifte, kan de toename van DA-neuronen niet worden gelijkgesteld met DA-afgifte, hoewel men zou verwachten dat deze twee maatregelen sterk gecorreleerd zijn. Inderdaad, zoals blijkt uit een recente studie van Carelli en collega's met behulp van fast-scan cyclische voltammetrie, De werkelijke DA-afgifte in de accumbens-kern lijkt te zijn gecorreleerd aan een voorspellingsfout in de appetitieve Pavloviaanse conditionering (Day et al., 2007). Ze vonden een fasisch DA-signaal in de accumbens-kern onmiddellijk na ontvangst van de sucrose-beloning in de Pavloviaanse autoshaping. Na uitgebreide Pavloviaanse conditionering werd dit signaal echter niet meer gevonden na de beloning zelf, maar in plaats daarvan verschoven naar de CS. Deze bevinding ondersteunt de oorspronkelijke hypothese van de 'voorspellingsfout'. Het is ook consistent met eerder werk dat verminderde prestaties van de Pavlovian CR toonde na DA-receptorantagonisme of DA-depletie in de accumbens-kern (Di Ciano et al., 2001; Parkinson et al., 2002). Eén observatie uit de studie is echter nieuw en van aanzienlijk belang: na uitgebreide conditionering met een CS + die beloning voorspelt en een CS- die beloning niet voorspelt, werd er ook een vergelijkbaar, hoewel kleiner, DA-signaal waargenomen na de CS- het vertoonde ook onmiddellijk een lichte dip (500 ~ 800 milliseconden na het begin van de cue) na de initiële piek (Day et al, 2007, Figuur 4). In deze fase van het leren benaderen dieren bijna nooit de CS-, maar benaderen ze consistent de CS +. Het fasische DA-signaal onmiddellijk na de voorspeller speelt dus mogelijk geen oorzakelijke rol bij het genereren van de naderingsreactie, omdat het aanwezig is zelfs in de afwezigheid van het antwoord. Of een dergelijk signaal nog steeds nodig is om de stimulus-beloning te leren, blijft onduidelijk, maar de waargenomen fasische reactie op de CS- wordt zeker niet voorspeld door een van de huidige modellen.

Interessant is dat de lokale uitputting van DA de prestaties op deze taak schaadt (Parkinson et al., 2002). Terwijl een fasisch DA-signaal wordt waargenomen na de CS-, die helemaal geen CRs genereert, doet het verdwijnen van zowel fasische als tonische DA door lokale uitputting de prestaties van CRs afnemen. Een dergelijk patroon suggereert dat een fasisch DA-signaal in de accumbens niet nodig is voor de uitvoering van de Pavlovische CR, maar een rol kan spelen bij het leren, terwijl een langzamer, meer tonisch DA-signaal (vermoedelijk opgeheven in uitputtingstudies) belangrijker is voor de prestaties van de naderingsreactie (Cagniard et al., 2006; Yin et al., 2006b; Niv et al., 2007). Deze mogelijkheid moet nog worden getest.

Hoewel er geen direct bewijs is voor een causale rol van het fasische DA-signaal in leren, heeft de hypothese van 'voorspellingsfout' toch veel aandacht getrokken, omdat het juist het type onderwijssignaal is dat wordt gebruikt in prominente leermodellen, zoals het Rescorla-Wagner-model en de real-time uitbreiding ervan het temporele verschilversterkende leeralgoritme (Schultz, 1998b). Volgens deze interpretatie wordt het aanleren van eetlust bepaald door het verschil tussen ontvangen en verwachte beloning (of tussen twee temporeel opeenvolgende beloningsvoorspellingen). Een dergelijk onderwijssignaal wordt gereguleerd door negatieve feedback van alle voorspellers van de beloning (Schultz, 1998b). Als er geen beloning volgt op de voorspeller, wordt het negatieve feedbackmechanisme ontmaskerd als een dip in de activiteit van de DA-neuronen. Leren betekent dus de geleidelijke vermindering van de voorspellingsfout.

De elegantie van het onderwijssignaal in deze modellen heeft misschien iets afgeleid van de anatomische realiteit. In de studie van Day et al (2007), het DA-signaal in de accumbens komt meestal van cellen in de VTA, maar het lijkt onwaarschijnlijk dat andere DA-cellen, met geheel andere anatomische connectiviteit, hetzelfde reactieprofiel zouden vertonen en hetzelfde signaal zouden leveren. Een gradiënt in wat het signaal van de DA-cellen waarschijnlijker is, aangezien DA-cellen naar verschillende striatale gebieden met geheel verschillende functies projecteren, en op hun beurt ook afzonderlijke negatieve feedbacksignalen uit verschillende striatale gebieden ontvangen (Joel en Weiner, 2000; Wickens et al., 2007). De mechanismen van opname en afbraak, evenals de presynaptische receptoren die de afgifte van dopamine reguleren, vertonen ook aanzienlijke variatie in het striatum (Cragg et al., 2002; Rijst en Cragg, 2004; Wickens et al., 2007; Rijst en Cragg, 2008).

We stellen daarom voor dat de mesoaccumbens-route een beperktere rol speelt bij het leren van Pavlovia, bij het verkrijgen van de waarde van toestanden en stimuli, terwijl de nigrostriatale route belangrijker is voor instrumenteel leren, bij het verkrijgen van de waarden van acties. THet fasische DA-signaal kan verschillende voorspellingsfouten coderen in plaats van een enkele voorspellingsfout, zoals momenteel wordt aangenomen. Drie bewijslijnen ondersteunen dit argument. Ten eerste, genetische uitputting van DA in het nigrostriatale pad schaadt de verwerving en uitvoering van instrumentale acties, terwijl uitputting van DA in mesolimbische route niet (Sotak et al., 2005; Robinson et al., 2007). Ten tweede kunnen DA-cellen in de SNc de waarde van acties coderen, vergelijkbaar met cellen in hun striatische doelgebied (Morris et al., 2006). Ten derde schaadt selectieve laesie van de nigrostriatale projectie van de DLS de vorming van gewoonten (Faure et al., 2005).

Recent werk van Palmiter en collega's toonde aan dat genetisch gemanipuleerde DA-deficiënte muizen ernstig aangetast zijn in instrumenteel leren en presteren, maar hun prestaties zouden kunnen worden hersteld door L-DOPA-injectie of door virale genoverdracht naar de nigrostriatale route (Sotak et al., 2005; Robinson et al., 2007). Daarentegen was DA-restauratie in het ventrale striatum niet noodzakelijk om het instrumentele gedrag te herstellen. Hoewel de manier waarop DA-signalen instrumenteel leren mogelijk maken een open vraag blijft, is een voor de hand liggende mogelijkheid dat het de waarde van zelf-geïnitieerde acties kan coderen, dwz hoeveel beloning wordt voorspeld gezien een bepaalde manier van handelen.

Het dorsale striatum, als geheel, bevat de hoogste expressie van DA-receptoren in de hersenen en ontvangt de meest massale dopaminerge projectie. De DA-projectie naar de DMS kan een andere rol spelen bij het leren dan de projectie naar de DLS, omdat deze twee regio's significant verschillen in het temporele profiel van DA-afgifte, opname en degradatie (Wickens et al., 2007). We veronderstellen dat de DA-projectie naar de DMS van de mediale SNc cruciaal is voor actie-uitkomst leren, terwijl de DA-projectie naar de DLS van de laterale SNC van cruciaal belang is voor de vorming van gewoonten. Mocht dit waar zijn, dan zou men moeten verwachten dat DA-cellen in de SNc de fout in beloningsvoorspelling coderen op basis van zelf gegenereerde acties - instrumentele voorspellingsfout - in plaats van die op basis van de CS. Voorlopig bewijs ter ondersteuning van deze bewering komt uit een recente studie door Morris et al., Die registreerde van SNc-neuronen tijdens een instrumentele leertaak (Morris et al., 2006). Apen werden getraind om hun armen te bewegen als reactie op een discriminerende stimulus (S.D) die de juiste beweging en de kans op beloning aangeeft. De SD opgewekte fasische activiteit in de DA neuronen die overeenkomen met de actiewaarde op basis van de verwachte kans op een beloning van een bepaalde actie. Het meest interessant is, hoewel het DA-antwoord op de SD vermeerderd met actiewaarde, was het omgekeerde waar van het DA-antwoord op de beloning zelf, consistent met het idee dat deze neuronen codeerden voor een voorspellingsfout die met die waarde geassocieerd was. Het is niet verrassend dat bekend is dat het primaire striatale doelwit van deze cellen, de caudate nucleus, neuronen bevat die actiewaarden coderen (Samejima et al., 2005). Opgemerkt moet echter worden dat deze studie geen gedragstaken heeft gebruikt die de waarde van acties ondubbelzinnig inschatten. Een duidelijke voorspelling van ons model is dat fasische DA-activiteit de uitvoering van acties zal vergezellen, zelfs bij afwezigheid van een expliciete SD. We voorspellen bijvoorbeeld burst-bursting van nigral DA-neuronen op het moment van een zelf-geïnitieerde actie die een beloning oplevert.

Naar onze mening weerspiegelt het DA-signaal van mesoaccumbens de waarde van de CS, maar weerspiegelt het nigrostriatale signaal, misschien van die neuronen die naar de DMS projecteren, de waarde van de actie zelf, of van een willekeurige SD die deze waarde voorspelt. Bovendien lijkt zowel instrumentaal als Pavloviaans leren een vorm van negatieve feedback te bevatten om het effectieve onderwijssignaal te beheersen. In feite zijn de directe projecties van het striatum naar de DA-neuronen van de middenhersenen (Figuur 2) lang voorgesteld als de neurale implementatie van dit soort negatieve feedback (Houk et al., 1995), en de sterkte en aard van de remmende input kan aanzienlijk variëren van regio tot regio.

Figuur 2  

De cortico-basale ganglia-netwerken

Een voorspellingsfout, volgens de huidige modellen, is een lerend signaal dat bepaalt hoeveel er gebeurt. Zolang het aanwezig is, gaat het leren door. Hoe voor de hand liggend deze claim ook is, een voorspellingsfout voor actiewaarde, hoewel syntactisch vergelijkbaar met de Pavloviaanse voorspellingsfout, heeft unieke kenmerken die niet uitgebreid zijn onderzocht. In traditionele modellen zoals het Rescorla-Wagner-model, dat uitsluitend de Pavloviaanse conditionering behandelt (hoewel met beperkt succes), is de belangrijkste eigenschap de negatieve feedback die de voorspellingsfout regelt. Deze uitvoer vertegenwoordigt de verkregen voorspelling, meer bepaald de som van alle huidige voorspellers, zoals gevangen door de samengestelde stimuli die typisch worden gebruikt in blokkeringsexperimenten (Rescorla, 1988). Het is deze optelling van beschikbare voorspellers om een ​​globale foutterm vast te stellen die de belangrijkste innovatie is in deze klasse van modellen. Voor instrumentele acties lijken individuele fouttermijnen echter waarschijnlijker, omdat het moeilijk is om te zien hoe de negatieve feedback de waarde van meerdere acties tegelijkertijd zou voorstellen wanneer slechts één actie tegelijkertijd kan worden uitgevoerd. Natuurlijk bestaan ​​er een aantal mogelijke oplossingen. Bijvoorbeeld, gegeven een bepaalde toestand (experimenteel geïmplementeerd door een afzonderlijke SD), zouden de mogelijke actiescursussen inderdaad tegelijkertijd kunnen worden weergegeven als verworven voorspellingen. Maar de grootste moeilijkheid met instrumentele voorspellingsfouten heeft te maken met de aard van de actie zelf. Een Pavloviaanse voorspelling volgt automatisch de presentatie van de stimulus, die onafhankelijk is van het organisme. Een instrumentele voorspellingsfout moet betrekking hebben op het element van controle, omdat de voorspelling zelf actie-contingent is en een weloverwogen actie spontaan wordt uitgezonden op basis van het streven van de dieren naar de gevolgen van handelen in plaats van opgewekt door antecedente stimuli. Uiteindelijk is het juist een algemene verwaarlozing van de spontane aard van doelgerichte acties, zowel in de neurowetenschappen als in de psychologie, die het onderscheid tussen Pavloviaanse en instrumentele leerprocessen en de aard van de betrokken voorspellingsfouten heeft vervaagd. Daarom moet nog worden vastgesteld welk type negatieve feedbacksignaal, indien aanwezig, de verwerving van actiewaarden reguleert (Dayan en Balleine, 2002).

Tenslotte heeft recent werk ook de nigrostriatale projectie geïmpliceerd van de laterale SNc naar DLS specifiek in gewoontevorming. Faure et al. Hebben de DA-cellen die naar DLS projecteren selectief beschadigen met behulp van 6-OHDA en vonden dat deze manipulatie verrassend weinig effect heeft op de snelheid van het indrukken van de hendel, hoewel het de vorming van gewoonten belemmerde, zoals gemeten met behulp van uitkomstdevaluatie (Faure et al., 2005). Dat wil zeggen, gelaedeerde dieren reageerden op een doelgerichte manier, hoewel de training in een controlegroep gewoon gedrag genereerde dat ongevoelig was voor uitkomstdevaluatie. Lokale DA-depletie is dan vergelijkbaar met excitotoxische laesies van de DLS, in die zin dat beide manipulaties de gewoontevorming vertragen en de verwerving van doelgerichte acties bevorderen (Yin et al., 2004). Een fasisch DA-signaal dat van cruciaal belang is voor de vorming van gewoonten is al goed beschreven door het effectieve versterkingssignaal in hedendaagse algoritmen voor temporeel verschilversterking, geïnspireerd door het werk van Hull en Spence (Hull, 1943; Spence, 1947, 1960; Sutton en Barto, 1998).

Cortico-basale ganglia-netwerken

Tot nu toe hebben we de functionele heterogeniteit binnen het striatum besproken, maar het zou misleidend zijn om te suggereren dat elk striataal gebied de actie-uitkomst-contingentie zou kunnen vertalen in de uitvoering van een actie als zodanig. Veeleer zijn de hersenhelften georganiseerd als itererende functionele eenheden bestaande uit cortico-basale ganglia-netwerken (Swanson, 2000; Zahm, 2005). THet striatum, dat het instappunt van de volledige basale ganglia is, fungeert als een uniek knooppunt in het cortico-basale netwerk van ganglionnetwerken, dat corticale, thalamische en midbrain-inputs kan integreren. Zoals hierboven beschreven, hoewel het een continue structuur is, lijken verschillende striatale gebieden deel te nemen aan verschillende functionele netwerken, bijv. De accumbens fungeert als een hub in het limbische netwerk en de DLS in het sensorimotorische netwerk. Vanwege de intrinsieke eigenschappen van dergelijke netwerken is echter geen enkele component van deze structuur stroomopwaarts of stroomafwaarts in enige absolute zin; het thalamocorticale systeem is bijvoorbeeld zowel de bron van een belangrijke input voor het striatum als het doelwit van zowel de striato-pallidale als striato-nigrale paden.

Hoewel parallel lopende basale ganglia-lussen al lang worden herkend (Alexander et al., 1986), benadrukken we verschillende functionele rollen van deze circuits op basis van operationeel gedefinieerde representatieve structuren en op interacties tussen circuits bij het genereren van integratief gedrag. Op basis hiervan kunnen ten minste vier van dergelijke netwerken worden onderscheiden: de limbische netwerken met respectievelijk de schil en de kern van de accumbens, het associatieve netwerk met het associatieve striatum (DMS) en het sensorimotorische netwerk met het sensorimotorische striatum (DLS). Hun functies variëren van het bemiddelen van de controle over appetijtelijke Pavloviaanse UR's en CR's tot instrumentale acties (Figuur 1).

Figuur 1  

Grote functionele domeinen van het striatum. Een illustratie van het striatum van een coronale sectie die de helft van de hersenen laat zien (Paxinos en Franklin, 2003). Merk op dat deze vier functionele domeinen anatomisch continu zijn en ruwweg overeenkomen met wat ...

Zoals reeds vermeld, bestaat het ventrale striatum meestal uit de nucleus accumbens, die verder kan worden verdeeld in de schaal en de kern, die elk deelnemen aan een duidelijk functioneel netwerk. De corticale (glutamaterge) projecties naar de schaal komen voort uit infralimbische, centrale en laterale orbitale cortex, terwijl de projecties naar de kern voortkomen uit meer dorsale middellijngebieden van de prefrontale cortex zoals de ventrale en dorsale prelimbische en anterior cingulate cortices (Groenewegen et al., 1990; Zahm, 2000, 2005). Binnen deze functie-netwerken suggereert het bovenstaande bewijsmateriaal dat de shell betrokken is bij UR's voor beloningen en de verwerving van consumptieve CR's; de kern van verkennend gedrag, met name de verwerving en expressie van Pavloviaanse benaderingsreacties. Ten minste twee grote netwerken kunnen dan worden onderscheiden binnen het grotere ventrale of limbische cortico-basale ganglia netwerk, één voor consumptie en de andere voor voorbereidend gedrag en hun modificatie door Pavloviaanse conditionering (Figuur 1).

Het dorsale striatum kan op dezelfde manier worden verdeeld in ten minste twee belangrijke regio's, associatief en sensorimotorisch, met een duidelijk functioneel netwerk dat aan elk van deze gebieden is gekoppeld. Het associatieve striatum (caudaat en delen van het voorste putamen bij primaten) bevat neuronen die vuren in afwachting van respons-voorwaardelijke beloningen en hun vuren verandert in overeenstemming met de omvang van de verwachte beloning (Hikosaka et al., 1989; Hollerman et al., 1998; Kawagoe et al., 1998). In het associatieve netwerk zijn de prefrontale en pariëtale associatiecortices en hun doelwit in de DMS betrokken bij een vluchtig geheugen, zowel prospectief, in de vorm van uitkomstverwachtingen, als retrospectief, als een record van recente uitschotkopieën (Konorski, 1967). Het sensorimotorische niveau, aan de andere kant, bestaat uit de sensorimotorische cortices en hun doelen in de basale ganglia. De uitgangen van dit circuit zijn gericht op motorische cortices en hersenstammotornetwerken. Neurale activiteit in het sensorimotorische striatum wordt over het algemeen niet gemoduleerd door de verwachte beloning, en vertoont meer bewegingsgerelateerde activiteit dan neuronen in het associatieve striatum (Kanazawa et al., 1993; Kimura et al., 1993; Costa et al., 2004). Ten slotte is er naast de mediaal-laterale gradiënt sprake van significante functionele heterogeniteit langs de anterior-posterior-as van het dorsale striatum, hoewel er momenteel niet voldoende gegevens beschikbaar zijn om een ​​gedetailleerde classificatie toe te staan ​​(Yin et al., 2005b).

Studies hebben zich tot nu toe alleen gericht op de corticale en striatale componenten van deze netwerken. In het algemeen hebben laesies van een corticaal gebied vergelijkbare effecten als laesies van het striatale doelwit (Balleine en Dickinson, 1998; Corbit en Balleine, 2003; Yin et al., 2005b). Maar andere componenten in het netwerk kunnen soortgelijke functies behouden. Bijvoorbeeld, laesies van de mediodorsale nucleus van de thalamus, een component van het associatieve netwerk, bleken de gevoeligheid voor uitkomstdevaluatie en onvoorziene-waardevermindering op ongeveer dezelfde manier af te schaffen als laesies voor het DMS en de prelimbische cortex (Corbit et al., 2003). Dus hoewel ons algemene model soortgelijke gedragstekorten voorspelt na schade aan elke component van een netwerk, suggereert het ook, voor elke gegeven structuur zoals pallidum of thalamus, meerdere functionele domeinen.

Interactie tussen netwerken

Onder de meeste omstandigheden lijken Pavloviaans en instrumentaal leren parallel te verlopen. Fenomenen zoals PIT laten echter zien in hoeverre deze anderszins onderscheiden processen een wisselwerking kunnen hebben. Nadat onafhankelijke functionele systemen zijn afgebakend, is de volgende stap om te begrijpen hoe deze systemen worden gecoördineerd om gedrag te genereren. Een aantrekkelijk voorstel, in overeenstemming met recent anatomisch werk, is dat de hierboven geschetste netwerken hiërarchisch georganiseerd zijn, die elk dienen als een labiele, functionele tussenpersoon in de hiërarchie, waardoor informatie van het ene niveau naar het andere kan worden verspreid. In het bijzonder suggereren de recent ontdekte spiraalverbindingen tussen het striatum en de middenhersenen een anatomische organisatie die mogelijk interacties tussen netwerken kan implementeren (Figuur 2). Zoals waargenomen door Haber en collega's sturen striatale neuronen direct remmende projecties naar DA-neuronen waaruit zij reciproke DA-projecties ontvangen, en projecteren ook DA-neuronen die op hun beurt naar een ander striataal gebied projecteren (Haber et al., 2000). Deze projecties maken feed-forward propagatie van informatie in slechts één richting mogelijk, van de limbische netwerken tot associatieve en sensomotorische netwerken. Een Pavloviaanse voorspelling (verworven waarde van de CS) zou bijvoorbeeld het effectieve onderwijssignaal op limbisch niveau kunnen verminderen, terwijl het DA-signaal toevallig op het volgende niveau wordt versterkt. De annulering van het effectieve onderwijssignaal wordt normaal geïmplementeerd door een negatief feedbacksignaal via een remmende projectie, bijvoorbeeld van de GABAergic medium spiny projection neurons van het striatum naar de DA neuronen. Ondertussen, zoals gesuggereerd door de anatomische organisatie (Haber et al., 2000; Haber, 2003), de potentiëring van het DA-signaal voor het aangrenzende cortico-basale ganglia-netwerk (het volgende niveau in de hiërarchie) zou kunnen worden geïmplementeerd via disinhibitory-projecties (dwz GABAergic striatale projectie-neuronen voor nigrale GABAergic-interneuronen voor DA-neuronen). Zo kan de geleerde waarde van het limbische netwerk worden overgedragen aan het associatieve netwerk, waardoor gedragsaanpassing kan worden verfijnd en versterkt met elke iteratie (Ashby, 1960). Dit model voorspelt daarom de progressieve betrokkenheid van verschillende neurale netwerken tijdens verschillende stadia van leren, een suggestie ondersteund door een verscheidenheid aan gegevens (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt en Robbins, 2005; Yin en Knowlton, 2005; Belin en Everitt, 2008).

Verschijnselen die de interactie van verschillende functionele processen vereisen, zoals PIT, vormen een vruchtbare testbasis voor dergelijke modellen. Het hiërarchische model is inderdaad in overeenstemming met recente experimentele bevindingen over PIT. Volgens het model worden Pavlovian-instrumentale interacties gemedieerd door wederzijdse verbindingen tussen het striatum en DA-neuronen. DA lijkt cruciaal te zijn voor algemene overdracht, die wordt afgeschaft door DA-antagonisten en lokale inactivatie van de VTA (Dickinson et al., 2000; Murschall en Hauber, 2006); overwegende dat lokale infusie van amfetamine, die vermoedelijk het DA-gehalte doet toenemen, de accumbens aanzienlijk kan verbeteren (Wyvell en Berridge, 2000). Aan de andere kant is de rol van ventrale striatale dopamine bij specifieke overdracht minder duidelijk. Er zijn aanwijzingen dat het mogelijk wordt gespaard na inactivatie van de VTA (Corbit et al., 2007) maar als Corbit en Janak (2007) onlangs is gerapporteerd, specifieke overdracht is afgeschaft door inactivatie van de DLS, wat suggereert dat dit aspect van stimuluscontrole over actieselectie de nigrostriatale projectie zou kunnen inhouden (Corbit en Janak, 2007). Overeenstemmend met het hiërarchische perspectief, Corbit en Janak (2007) ontdekte ook dat, terwijl DLS-inactivatie het selectieve excitatoire effect van Paloviaanse signalen afwees (veel zoals is waargenomen na laesies van accumbens-omhulling door Corbit et al, 2001), deactiveerde de DMS alleen de uitkomst-selectiviteit van de overdracht en leek het algemene prikkelende effect van deze signalen te behouden, een trend die ook wordt waargenomen na laesies van mediodorsale thalamus, die deel uitmaakt van het associatief cortico-basale ganglia netwerk (Ostlund en Balleine, 2008). Op basis van deze voorlopige resultaten lijkt de DMS alleen specifieke overdracht te bemiddelen, terwijl de DLS wellicht nodig is voor zowel de specifieke en algemene opwindende effecten van Pavloviaanse signalen op instrumentale acties.

Interessant is dat het limbische striatum uitgebreid naar DA-cellen projecteert die naar het dorsale striatum projecteren (Nauta et al., 1978; Nauta, 1989); de dopaminergische projecties naar het striatum en de striatale projecties terug naar de middenhersenen zijn zeer asymmetrisch (Haber, 2003). Het limbische striatum krijgt beperkte input van DA-neuronen en stuurt toch uitgebreide output naar een veel grotere set DA-neuronen, en het tegenovergestelde geldt voor het sensorimotorische striatum. De limbische netwerken bevinden zich dus in een perfecte positie om de associatieve en sensorimotorische netwerken te besturen. Hier is de neuroanatomie het eens met gedragsgegevens dat de Pavloviaanse facilitatie van instrumentaal gedrag veel sterker is dan het omgekeerde; inderdaad, aanzienlijk bewijs suggereert dat instrumentale acties de neiging hebben om Pavloviaanse CR's te remmen in plaats van te prikkelen - een bevinding die nog steeds wacht op een neurobiologische verklaring (Ellison en Konorski, 1964; Williams, 1965).

Conclusies

Het hiërarchische model dat hier wordt besproken, moet worden opgemerkt, is heel verschillend van andere modellen die uitsluitend afhankelijk zijn van de cortex en langeafstandsverbindingen tussen corticale gebieden (Fuster, 1995). Het bevat de bekende componenten en connectiviteit van de hersenen, eerder dan het te zien als een potpourri van corticale modules die op een of andere onbepaalde manier een breed scala aan cognitieve functies implementeren. Het vermijdt ook veronderstellingen, overgenomen van 19th eeuw neurologie, dat de hersenschors in het algemeen, en de prefrontale cortex in het bijzonder, op de een of andere manier een 'hogere' homunculaire eenheid vormt die de hele hersenen regelt (Miller en Cohen, 2001).

Verder kunnen uit het huidige model verschillende specifieke voorspellingen worden afgeleid: (i) Er moeten duidelijke voorspellingsfouten zijn voor zelf gegenereerde acties en voor toestanden / stimuli met eigenschappen die hun verschillende neurale substraten en functionele rollen weerspiegelen. (ii) De pallidale en thalamische componenten van elk afzonderlijk cortico-basaal ganglia netwerk zullen naar verwachting ook nodig zijn voor het type gedragscontrole dat wordt verondersteld voor elk netwerk, niet alleen voor de corticale en striatale componenten. (iii) Er zou een progressieve betrokkenheid moeten zijn van verschillende neurale netwerken gedurende verschillende stadia van leren. (iv) Accumbens-activiteit kan direct DA-neuronen controleren en op zijn beurt dorsale striatale activiteit. Gebaseerd op een rapport van Holland (2004) suggererend dat PIT toeneemt met instrumentele training, zal deze 'limbische' controle van de associatieve en sensorimotorische netwerken naar verwachting toenemen met uitgebreide training.

Zonder gedetailleerde gegevens is het nog te vroeg om een ​​formeel account van het hiërarchische model aan te bieden. Niettemin moet de bovenstaande discussie duidelijk maken dat de huidige versies van de mesoaccumbens-beloningshypothese berusten op problematische veronderstellingen over de aard van het beloningsproces en het gebruik van ontoereikende gedragsmaatregelen. Univerende principes, altijd het doel van de wetenschappelijke onderneming, kunnen alleen worden gebaseerd op de realiteit van experimentele gegevens, hoe onpraktisch deze ook mogen zijn. Omdat de functie van de hersenen uiteindelijk het genereren en beheersen van gedrag is, zal gedetailleerde gedragsanalyse de sleutel zijn tot het begrijpen van neurale processen, net zoals een grondige beschrijving van aangeboren en verworven immuniteit de opheldering van het immuunsysteem mogelijk maakt. Hoewel het schijnbaar een truïsme is, kan het nauwelijks genoeg worden benadrukt dat we hersenmechanismen kunnen begrijpen voor zover hun functies nauwkeurig worden beschreven en gemeten. Wanneer de studie van de neurale functie gebaseerd is op experimenteel vastgestelde psychologische capaciteiten, bijvoorbeeld de weergave van voorwaardelijke voorvallen en onvoorspelbaarheid van prikkels, worden de bekende anatomische organisatie en fysiologische mechanismen in een nieuw licht geplaatst, leidend tot de formuleringen van nieuwe hypothesen en het ontwerp van nieuwe experimenten. Als een eerste stap in deze richting hopen we dat het hier besproken kader zal dienen als een nuttig uitgangspunt voor toekomstig onderzoek.

Dankwoord

We willen graag David Lovinger bedanken voor nuttige suggesties. HHY werd ondersteund door de afdeling Intramuraal Klinisch en Basisonderzoek van de NIH, NIAAA. SBO wordt ondersteund door NIH-subsidie ​​MH 17140 en BWB door NIH verleent MH 56446 en HD 59257.

Referenties

  1. Adams CD. Variaties in de gevoeligheid van instrumentele respons om de devaluatie te versterken. Kwartaalbericht van de experimentele psychologie. 1982; 33b: 109-122.
  2. Adams CD, Dickinson A. Reactie van instrumenten na versterking devaluatie. Quarterly Journal of Experimental Psychology. 1981, 33: 109-122.
  3. Alexander GE, DeLong MR, Strick PL. Parallelle organisatie van functioneel gescheiden circuits die basale ganglia en cortex met elkaar verbinden. Annu Rev Neurosci. 1986, 9: 357-381. [PubMed]
  4. Ashby WR. Ontwerp voor een brein. tweede druk. Chapman & Hall; 1960.
  5. Atallah HE, Lopez-Paniagua D, Rudy JW, O'Reilly RC. Afzonderlijke neurale substraten voor het leren van vaardigheden en prestaties in het ventrale en dorsale striatum. Nat Neurosci. 2007; 10: 126–131. [PubMed]
  6. Balleine BW. Stimuleringsprocessen bij instrumentele conditionering. In: Mowrer RR, Klein SB, editors. Handboek van hedendaagse leertheorieën. Mahwah, NJ, VS: Lawrence Erlbaum Associates, Inc., Publishers; 2001. pp. 307-366.
  7. Balleine BW. Neurale bases van voedsel zoeken: affect, opwinding en beloning in corticostriatolimbische circuits. Physiol Behav. 2005, 86: 717-730. [PubMed]
  8. Balleine BW, Dickinson A. Doelgerichte instrumentale actie: contingentie en incentive leren en hun corticale substraten. Neurofarmacologie. 1998, 37: 407-419. [PubMed]
  9. Balleine BW, Corbit LH. Laesies van accumbens-kern en schaal produceren dissocieerbare effecten op de algemene en uitkomstspecifieke vormen van Paloviaanse-instrumentale overdracht; Jaarlijkse bijeenkomst van de Society for Neuroscience; 2005.
  10. Balleine BW, Killcross S. Parallelle incentieverwerking: een geïntegreerd beeld van de amygdala-functie. Trends Neurosci. 2006, 29: 272-279. [PubMed]
  11. Belin D, Everitt BJ. Cocaine zoekende gewoonten hangen af ​​van Dopamine-afhankelijke seriële connectiviteit Het koppelen van de Ventral met de Dorsal Striatum. Neuron. 2008, 57: 432-441. [PubMed]
  12. Berke JD, Hyman SE. Verslaving, dopamine en de moleculaire mechanismen van het geheugen. Neuron. 2000, 25: 515-532. [PubMed]
  13. Berridge KC, Robinson TE. Wat is de rol van dopamine bij belonen: hedonische impact, beloningsleren of incentive-salience? Brain Res Brain Res Rev. 1998; 28: 309-369. [PubMed]
  14. Bolles R. Versterking, verwachting en leren. Psychologisch overzicht. 1972, 79: 394-409.
  15. Brown J, Bullock D, Grossberg S. Hoe de basale ganglia parallelle stimulerende en remmende leertrajecten gebruiken om selectief te reageren op onverwacht lonende signalen. J Neurosci. 1999, 19: 10502-10511. [PubMed]
  16. Brown PL, Jenkins HM. Automatisch vormgeven van de sleutelpik van de duif. Journal of the Experimental analysis of Behavior. 1968; 11: 1-8. [PMC gratis artikel] [PubMed]
  17. Cagniard B, Beeler JA, Britt JP, McGehee DS, Marinelli M, Zhuang X. Dopamine schaalt de prestaties in afwezigheid van nieuw leren. Neuron. 2006, 51: 541-547. [PubMed]
  18. Kardinaal RN, Cheung TH. Nucleus accumbens kernlaesies vertragen instrumenteel leren en presteren met vertraagde versterking bij de rat. BMC Neurosci. 2005, 6: 9. [PMC gratis artikel] [PubMed]
  19. Kardinaal RN, Parkinson JA, Hall J, Everitt BJ. Emotie en motivatie: de rol van de amygdala, het ventrale striatum en de prefrontale cortex. Neurosci Biobehav Rev. 2002; 26: 321-352. [PubMed]
  20. Juich JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM toe. Gecoördineerde accumulatie van dopamine-afgifte en neurale activiteit stimuleert doelgericht gedrag. Neuron. 2007, 54: 237-244. [PubMed]
  21. Colwill RM, Rescorla RA. Associatieve structuren in instrumenteel leren. In: Bower G, redacteur. De psychologie van leren en motivatie. New York: Academic Press; 1986. pp. 55-104.
  22. Corbit LH, Balleine BW. De rol van prelimbische cortex bij instrumentele conditionering. Gedrag Brain Res. 2003, 146: 145-157. [PubMed]
  23. Corbit LH, Janak PH. Inactivatie van het laterale maar niet mediale dorsale striatum elimineert de opwindende impact van Pavloviaanse stimuli op instrumentele respons. J Neurosci. 2007, 27: 13977-13981. [PubMed]
  24. Corbit LH, Muir JL, Balleine BW. De rol van de nucleus accumbens bij instrumentele conditionering: bewijs van een functionele dissociatie tussen accumbens-kern en shell. Journal of Neuroscience. 2001, 21: 3251-3260. [PubMed]
  25. Corbit LH, Muir JL, Balleine BW. Laesies van mediodorsale thalamus en anterieure thalamische kernen produceren dissocieerbare effecten op instrumentele conditionering bij ratten. Eur J Neurosci. 2003, 18: 1286-1294. [PubMed]
  26. Corbit LH, Janak PH, Balleine BW. Algemene en uitkomst-specifieke vormen van Pavlovian-instrumentale overdracht: het effect van verschuivingen in motivationele toestand en inactivatie van het ventrale tegmentale gebied. Eur J Neurosci. 2007, 26: 3141-3149. [PubMed]
  27. Costa RM, Cohen D, Nicolelis MA. Differentiële corticostriatale plasticiteit tijdens snel en langzaam leren van motorische vaardigheden bij muizen. Curr Biol. 2004, 14: 1124-1134. [PubMed]
  28. Cragg SJ, Hille CJ, Greenfield SA. Functionele domeinen in het dorsale striatum van de niet-menselijke primaat worden gedefinieerd door het dynamische gedrag van dopamine. J Neurosci. 2002, 22: 5705-5712. [PubMed]
  29. Dalley JW, Laane K, Theobald DE, Armstrong HC, Corlett PR, Chudasama Y, Robbins TW. Tijd-beperkte modulatie van appetitief Pavlovisch geheugen door D1 en NMDA-receptoren in de nucleus accumbens. Proc Natl Acad Sci US A. 2005; 102: 6189-6194. [PMC gratis artikel] [PubMed]
  30. Davis J, Bitterman ME. Differentiële versterking van ander gedrag (DRO): vergelijking van een juk-controle. Journal of the Experimental analysis of Behavior. 1971, 15: 237-241. [PMC gratis artikel] [PubMed]
  31. Dag JJ, Carelli RM. De nucleus accumbens en Pavlovian belonen het leren. Neuroloog. 2007, 13: 148-159. [PMC gratis artikel] [PubMed]
  32. Dag JJ, Wheeler RA, Roitman MF, Carelli RM. Nucleus accumbens neuronen coderen voor Pavloviaans benaderingsgedrag: bewijs van een autoshaping paradigma. Eur J Neurosci. 2006, 23: 1341-1351. [PubMed]
  33. Dag JJ, Roitman MF, Wightman RM, Carelli RM. Associatief leren zorgt voor dynamische verschuivingen in dopamine-signalering in de nucleus accumbens. Nat Neurosci. 2007, 10: 1020-1028. [PubMed]
  34. Dayan P, Balleine BW. Beloning, motivatie en leerversterking. Neuron. 2002, 36: 285-298. [PubMed]
  35. Delgado MR, Stenger VA, Fiez JA. Motivatie-afhankelijke responsen in de nucleïneus caudatus. Cereb Cortex. 2004, 14: 1022-1030. [PubMed]
  36. Delgado MR, Miller MM, Inati S, Phelps EA. Een fMRI-studie van beloningsgerelateerd leerproces. NeuroImage. 2005, 24: 862-873. [PubMed]
  37. Di Ciano P, Cardinal RN, Cowell RA, Little SJ, Everitt BJ. Differentiële betrokkenheid van NMDA-, AMPA / kaïnaat- en dopaminereceptoren in de nucleus accumbens-kern bij de verwerving en uitvoering van het pavloviaanse naderingsgedrag. J Neurosci. 2001, 21: 9471-9477. [PubMed]
  38. Dickinson A. Acties en gewoonten: de ontwikkeling van gedragsautonomie. Filosofische transacties van de Royal Society. 1985; B308: 67-78.
  39. Dickinson A. Instrumentale conditionering. In: Mackintosh NJ, redacteur. Dierlijk leren en cognitie. Orlando: Academisch; 1994. pp. 45-79.
  40. Dickinson A, Dearing MF. Apperitief-aversieve interacties en remmende processen. In: Dickinson A, Boakes RA, editors. Mechanisme van leren en motivatie. Hillsadale, NJ: Lawrence Erlbaum Associates; 1979.
  41. Dickinson A, Charnock DJ. Onvoorziene effecten met gehandhaafde instrumentele versterking. Quarterly Journal of Experimental Psychology. Vergelijkende en fysiologische psychologie. 1985; 37: 397-416.
  42. Dickinson A, Balleine B. Acties en antwoorden: de dubbele psychologie van gedrag. In: Eilan N, McCarthy RA, et al., Redacteuren. Ruimtelijke weergave: problemen in filosofie en psychologie. Malden, MA, VS: Blackwell Publishers Inc .; 1993. pp. 277-293.
  43. Dickinson A, Balleine B. De rol van leren bij de werking van motivatiesystemen. In: Pashler H, Gallistel R, redacteuren. Steven's handbook of experimentele psychologie (3e ed.), Vol. 3: Leren, motivatie en emotie. New York, NY, VS: John Wiley & Sons, Inc .; 2002. blz. 497-533.
  44. Dickinson A, Smith J, Mirenowicz J. Dissociatie van Pavlovian en instrumenteel incentive leren onder dopamine-antagonisten. Gedrag Neurosci. 2000, 114: 468-483. [PubMed]
  45. Dickinson A, Campos J, Varga ZI, Balleine B. Bidirectionele instrumentele conditionering. Quarterly Journal of Experimental Psychology: Comparative & Physiological Psychology. 1996; 49: 289-306. [PubMed]
  46. Ellison GD, Konorski J. Afscheiding van de speeksel- en motorische reacties bij instrumentele conditionering. Wetenschap. 1964, 146: 1071-1072. [PubMed]
  47. Everitt BJ, Robbins TW. Neurale versterkingssysteem voor drugsverslaving: van acties tot gewoonten tot dwang. Nat Neurosci. 2005, 8: 1481-1489. [PubMed]
  48. Faure A, Haberland U, Conde F, El Massioui N. Afwijking van het nigrostriatale dopaminesysteem verstoort de vorming van stimulusresponsievorming. J Neurosci. 2005, 25: 2771-2780. [PubMed]
  49. Fiorillo CD, Tobler PN, Schultz W. Discrete codering van beloningskans en onzekerheid door dopamineneuronen. Wetenschap. 2003, 299: 1898-1902. [PubMed]
  50. Fuster JM. Geheugen in de hersenschors. Cambridge: MIT-pers; 1995.
  51. Gallistel CR, Fairhurst S, Balsam P. De leercurve: implicaties van een kwantitatieve analyse. Proc Natl Acad Sci US A. 2004; 101: 13124-13131. [PMC gratis artikel] [PubMed]
  52. Ga naar Y, Grace AA. Dopaminerge modulatie van limbische en corticale aandrijving van nucleus accumbens in doelgericht gedrag. Nat Neurosci. 2005, 8: 805-812. [PubMed]
  53. Grace AA, Floresco SB, Goto Y, Lodge DJ. Regulatie van het vuren van dopaminerge neuronen en controle van doelgericht gedrag. Trends Neurosci. 2007, 30: 220-227. [PubMed]
  54. Groenewegen HJ, Berendse HW, Wolters JG, Lohman AH. De anatomische relatie van de prefrontale cortex met het striatopallidal systeem, de thalamus en de amygdala: bewijs voor een parallelle organisatie. Prog Brain Res. 1990, 85: 95-116. discussie 116-118. [PubMed]
  55. Guthrie ER. De psychologie van leren. New York: Harpers; 1935.
  56. Haber SN. Basale ganglia van de primaten: parallelle en integratieve netwerken. J Chem Neuroanat. 2003, 26: 317-330. [PubMed]
  57. Haber SN, Fudge JL, McFarland NR. Striatonigrostriatale routes in primaten vormen een opgaande spiraal van de schaal naar het dorsolaterale striatum. J Neurosci. 2000, 20: 2369-2382. [PubMed]
  58. Hammond LJ. Het effect van contingentie op de appetijtelijke conditionering van vrij-operant gedrag. Journal of the Experimental Analysis of Behavior. 1980, 34: 297-304. [PMC gratis artikel] [PubMed]
  59. Haruno M, Kawato M. Heterarchical reinforcement-learning model voor integratie van meerdere cortico-striatale lussen: fMRI-onderzoek in stimulus-actie-beloning associatie leren. Neural Netw. 2006a; 19: 1242-1254. [PubMed]
  60. Haruno M, Kawato M. Verschillende neurale correlaten van beloningsverwachting en beloningsverwachting in het putamen en caudate nucleus tijdens stimulus-actie-beloning associatie leren. J Neurophysiol. 2006b; 95: 948-959. [PubMed]
  61. Haruno M, Kuroda T, Doya K, Toyama K, Kimura M, Samejima K, Imamizu H, Kawato M. Een neuraal correlaat van op beloning gebaseerd gedragsonderwijs in caudate nucleus: een functioneel magnetisch resonantiebeeldvormingsonderzoek van een stochastische beslissingsopdracht. J Neurosci. 2004, 24: 1660-1665. [PubMed]
  62. Hernandez PJ, Sadeghian K, Kelley AE. Vroege consolidatie van instrumenteel leren vereist eiwitsynthese in de nucleus accumbens. Nat Neurosci. 2002, 5: 1327-1331. [PubMed]
  63. Hernandez PJ, Andrzejewski ME, Sadeghian K, Panksepp JB, Kelley AE. AMPA / kaïnaat-, NMDA- en dopamine D1-receptorfunctie in de nucleus accumbens-kern: een contextbeperkte rol in de codering en consolidatie van instrumentaal geheugen. Leer Mem. 2005, 12: 285-295. [PMC gratis artikel] [PubMed]
  64. Hershberger WA. Een benadering door het kijkglas. Dierlijk leren en gedrag. 1986; 14: 443-451.
  65. Heyes CM, Dawson GR. Een demonstratie van observationeel leren bij ratten met behulp van een bidirectionele controle. The Quarterly Journal of Experimental Psychology. 1990, 42 (1) 59-71. [PubMed]
  66. Hikosaka O, Sakamoto M, Usui S. Functionele eigenschappen van aap caudate neuronen. III. Activiteiten die verband houden met de verwachting van doelwit en beloning. J Neurophysiol. 1989, 61: 814-832. [PubMed]
  67. Holland PC. Relaties tussen Pavloviaanse-instrumentele overdracht en versterking van devaluatie. J Exp Psychol Anim Behav-proces. 2004, 30: 104-117. [PubMed]
  68. Holland PC, Rescorla RA. Het effect van twee manieren om de ongeconditioneerde stimulus te devalueren na de eerste en tweede-orde-appetitieve conditionering. J Exp Psychol Anim Behav-proces. 1975, 1: 355-363. [PubMed]
  69. Hollerman JR, Tremblay L, Schultz W. Invloed van beloningsverwachtingen op gedragsgerelateerde neuronale activiteit in primaatstriatum. J Neurophysiol. 1998, 80: 947-963. [PubMed]
  70. Houk JC, Adams JL, Barto AG. Een model van hoe de basale ganglia neurale signalen genereren en voorspellen die wapening voorspellen. In: Houk JC, JD, DB, editors. Modellen van informatieverwerking in de basale ganglia. Cambridge, MA: MIT Press; 1995. pp. 249-270.
  71. Romp C. Principes van gedrag. New York: Appleton-Century-Crofts; 1943.
  72. Hyman SE, Malenka RC, Nestler EJ. Neurale verslavingsmechanismen: de rol van beloningsgerelateerd leren en geheugen. Annu Rev Neurosci. 2006, 29: 565-598. [PubMed]
  73. Jedynak JP, Uslaner JM, Esteban JA, Robinson TE. Methamfetamine-geïnduceerde structurele plasticiteit in het dorsale striatum. Eur J Neurosci. 2007, 25: 847-853. [PubMed]
  74. Joel D, Weiner I. De organisatie van de basale ganglia-thalamocorticale circuits: open onderling verbonden in plaats van gesloten gescheiden. Neuroscience. 1994, 63: 363-379. [PubMed]
  75. Joel D, Weiner I. De verbindingen van het dopaminergische systeem met het striatum bij ratten en primaten: een analyse met betrekking tot de functionele en compartimentele organisatie van het striatum. Neuroscience. 2000, 96: 451-474. [PubMed]
  76. Jueptner M, Frith CD, Brooks DJ, Frackowiak RS, Passingham RE. Anatomie van motorisch leren. II. Subcorticale structuren en leren door vallen en opstaan. J Neurophysiol. 1997a; 77: 1325-1337. [PubMed]
  77. Jueptner M, Stephan KM, Frith CD, Brooks DJ, Frackowiak RS, Passingham RE. Anatomie van motorisch leren. I. Frontale cortex en aandacht voor actie. J Neurophysiol. 1997b; 77: 1313-1324. [PubMed]
  78. Kanazawa I, Murata M, Kimura M. Rollen van dopamine en zijn receptoren bij het genereren van choreische bewegingen. Adv Neurol. 1993, 60: 107-112. [PubMed]
  79. Kawagoe R, Takikawa Y, Hikosaka O. Verwachting van beloning moduleert cognitieve signalen in de basale ganglia. Nat Neurosci. 1998, 1: 411-416. [PubMed]
  80. Kimura M, Aosaki T, Ishida A. Neurofysiologische aspecten van de differentiële rollen van het putamen en caudate nucleus in vrijwillige beweging. Adv Neurol. 1993, 60: 62-70. [PubMed]
  81. Konorski J. Integratieve activiteit van de hersenen. Chicago: University of Chicago Press; 1967.
  82. Lerchner A, La Camera G, Richmond B. Weten zonder te doen. Nat Neurosci. 2007, 10: 15-17. [PubMed]
  83. Ljungberg T, Apicella P, Schultz W. Antwoorden van dopamine-neuronen bij het leren van gedragsreacties. J Neurophysiol. 1992, 67: 145-163. [PubMed]
  84. Lohrenz T, McCabe K, Camerer CF, Montague PR. Neurale handtekening van fictieve leer signalen in een sequentiële investeringstaak. Proc Natl Acad Sci US A. 2007; 104: 9493-9498. [PMC gratis artikel] [PubMed]
  85. Lovibond PF. Facilitering van instrumenteel gedrag door een Pavlovische, appetijt geconditioneerde stimulus. J Exp Psychol Anim Behav-proces. 1983, 9: 225-247. [PubMed]
  86. Mackintosh NJ. De psychologie van dierenleren. Londen: Academic Press; 1974.
  87. Miller EK, Cohen JD. Een integratieve theorie van de prefrontale cortexfunctie. Annu Rev Neurosci. 2001, 24: 167-202. [PubMed]
  88. Miller R. Betekenis en doel in de intacte hersenen. New York: Oxford University Press; 1981.
  89. Miyachi S, Hikosaka O, Lu X. Differentiële activering van striatale neuronen van apen in de vroege en late stadia van procedureel leren. Exp Brain Res. 2002, 146: 122-126. [PubMed]
  90. Miyachi S, Hikosaka O, Miyashita K, Karadi Z, Rand MK. Differentiële rollen van aap striatum bij het leren van sequentiële handbewegingen. Exp Brain Res. 1997, 115: 1-5. [PubMed]
  91. Montague PR, Hyman SE, Cohen JD. Computationele rollen voor dopamine in gedragscontrole. Natuur. 2004, 431: 760-767. [PubMed]
  92. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midnight dopamine-neuronen coderen beslissingen voor toekomstige actie. Nat Neurosci. 2006, 9: 1057-1063. [PubMed]
  93. Murschall A, Hauber W. Inactivatie van het ventrale tegmentale gebied schafte de algemene opwindende invloed van Pavloviaanse aanwijzingen op instrumentale prestaties af. Leer Mem. 2006, 13: 123-126. [PubMed]
  94. Nauta WJ, Smith GP, Faull RL, Domesick VB. Efferente verbindingen en nigrale afferenten van de nucleus accumbens septi in de rat. Neuroscience. 1978, 3: 385-401. [PubMed]
  95. Nauta WJH. Reciprocale verbindingen van het corpus striatum met de hersenschors en het limbisch systeem: een veel voorkomend substraat voor beweging en gedachten? In: Mueller, redacteur. Neurologie en psychiatrie: een ontmoeting van geesten. Basel: Karger; 1989. pp. 43-63.
  96. Niv Y, Daw ND, Joel D, Dayan P. Tonic dopamine: alternatieve kosten en de controle van de reactievermogen. Psychopharmacology (Berl) 2007; 191: 507-520. [PubMed]
  97. O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Dissocieerbare rollen van ventrale en dorsale striatum bij instrumentele conditionering. Wetenschap. 2004, 304: 452-454. [PubMed]
  98. Ostlund SB, Balleine BW. Differentiële betrokkenheid van de basolaterale amygdale en mediodorsale thalamus bij instrumentale actieselectie. J Neurosci. 2008, 28: 4398-4405. [PMC gratis artikel] [PubMed]
  99. Parkinson JA, Willoughby PJ, Robbins TW, Everitt BJ. Ontkoppeling van de cortex anterior cingulate en nucleus accumbens verslechtert het Pavloviaanse benaderingsgedrag: verder bewijs voor limbische corticaal-ventrale striatopallidal-systemen. Gedrag Neurosci. 2000, 114: 42-63. [PubMed]
  100. Parkinson JA, Dalley JW, Cardinal RN, Bamford A, Fehnert B, Lachenal G, Rudarakanchana N, Halkerston KM, Robbins TW, Everitt BJ. Nucleus accumbens dopamine-uitputting schaadt zowel de verwerving als de prestaties van het appetite Pavlovian-benaderingsgedrag: implicaties voor de dopaminefunctie van mesoaccumbens. Gedrag Brain Res. 2002, 137: 149-163. [PubMed]
  101. Paxinos G, Franklin K. Het muizenbrein in stereotaxische coördinaten. New York: Academic Press; 2003.
  102. Pecina S, Smith KS, Berridge KC. Hedonische hotspots in de hersenen. Neuroloog. 2006, 12: 500-511. [PubMed]
  103. Pothuizen HH, Jongen-Relo AL, Feldon J, Yee BK. Dubbele dissociatie van de effecten van selectieve nucleus accumbens kern en shell laesies op impulsief keuzegedrag en opvallend leren bij ratten. Eur J Neurosci. 2005, 22: 2605-2616. [PubMed]
  104. Rescorla RA. Waarschijnlijkheid van shock in aanwezigheid en afwezigheid van CS bij angstconditionering. J Comp Physiol Psychol. 1968, 66: 1-5. [PubMed]
  105. Rescorla RA. Gedragsstudies van Pavlovische conditionering. Annu Rev Neurosci. 1988, 11: 329-352. [PubMed]
  106. Rescorla RA, Solomon RL. Two-process learning theory: relaties tussen Pavloviaanse conditionering en instrumenteel leren. Psychol Rev. 1967; 74: 151-182. [PubMed]
  107. Restle F. Discriminatie van signalen in doolhoven: een oplossing voor de vraag “plaats versus antwoord”. Psychologische recensie. 1957; 64: 217. [PubMed]
  108. Reynolds JN, Wickens JR. Dopamine-afhankelijke plasticiteit van corticostriatale synapsen. Neural Netw. 2002, 15: 507-521. [PubMed]
  109. Rice ME, Cragg SJ. Nicotine versterkt beloningsgerelateerde dopaminesignalen in striatum. Nat Neurosci. 2004, 7: 583-584. [PubMed]
  110. Rice ME, Cragg SJ. Dopamine-spillover na kwantitatieve vrijmaking: heroverweging van dopamine-overdracht in de nigrostriatale route. Brain Res Rev. 2008 [PMC gratis artikel] [PubMed]
  111. Robinson S, Rainwater AJ, Hnasko TS, Palmiter RD. Virale herstel van dopamine signalering naar het dorsale striatum herstelt instrumentele conditionering voor dopamine-deficiënte muizen. Psychopharmacology (Berl) 2007; 191: 567-578. [PubMed]
  112. Roitman MF, Wheeler RA, Carelli RM. Nucleus accumbens neuronen zijn aangeboren afgestemd op belonende en aversieve smaakstimuli, coderen hun voorspellers en zijn gekoppeld aan motorvermogen. Neuron. 2005, 45: 587-597. [PubMed]
  113. Samejima K, Ueda Y, Doya K, Kimura M. Vertegenwoordiging van actiespecifieke beloningswaarden in het striatum. Wetenschap. 2005, 310: 1337-1340. [PubMed]
  114. Schultz W. Het fasische beloningsignaal van dopamine-neuronen van primaten. Adv Pharmacol. 1998a; 42: 686-690. [PubMed]
  115. Schultz W. Voorspellend beloningssignaal van dopamine-neuronen. J Neurophysiol. 1998b; 80: 1-27. [PubMed]
  116. Schultz W, Dayan P, Montague PR. Een neuraal substraat van voorspelling en beloning. Wetenschap. 1997, 275: 1593-1599. [PubMed]
  117. Schwartz B, Gamzu E. Pavlovian controle van operant gedrag. In: Honig W, Staddon JER, redacteuren. Handboek van operant gedrag. New Jersey: Prentice Hall; 1977. pp. 53-97.
  118. Sheffield FD. Relatie tussen klassieke en instrumentale conditionering. In: Prokasy WF, redacteur. Klassieke conditionering. New York: Appleton-Century-Crofts; 1965. pp. 302-322.
  119. Skinner B. Het gedrag van organismen. New York: Appleton-Century-Crofts; 1938.
  120. Smith-Roe SL, Kelley AE. Gelijktijdige activering van NMDA- en dopamine D1-receptoren in de nucleus accumbens-kern is vereist voor appetitief instrumenteel leren. J Neurosci. 2000, 20: 7737-7742. [PubMed]
  121. Sotak BN, Hnasko TS, Robinson S, Kremer EJ, Palmiter RD. Ontregeling van dopamine-signalering in het dorsale striatum remt de voeding. Brain Res. 2005, 1061: 88-96. [PubMed]
  122. Spence K. De rol van secundaire versterking bij uitgesteld belonen. Psychologisch overzicht. 1947, 54: 1-8.
  123. Spence K. Gedragstheorie en leren. Englewood Cliffs, NJ: Prentice-Hall; 1960.
  124. Sutton RS, Barto AG. Reinforcement Learning. Cambridge: MIT Press; 1998.
  125. Swanson LW. Cerebrale hemisfeer regulering van gemotiveerd gedrag. Brain Res. 2000, 886: 113-164. [PubMed]
  126. Taha SA, Fields HL. Codering van eetbaarheid en appetitief gedrag door verschillende neuronale populaties in de nucleus accumbens. J Neurosci. 2005, 25: 1193-1202. [PubMed]
  127. Taha SA, Fields HL. Remmingen van nucleus accumbens neuronen coderen voor een poortsignaal voor gedrag gericht op beloning. J Neurosci. 2006, 26: 217-222. [PubMed]
  128. Thorndike EL. Dierlijke intelligentie: experimentele studies. New York: Macmillan; 1911.
  129. Tobler PN, Dickinson A, Schultz W. Codering van voorspelde beloningsmislating door dopamine-neuronen in een geconditioneerd inhibitie-paradigma. J Neurosci. 2003, 23: 10402-10410. [PubMed]
  130. Tobler PN, O'Doherty JP, Dolan RJ, Schultz W.Menselijk neuraal leren is afhankelijk van beloningsvoorspellingsfouten in het blokkeringsparadigma. J Neurophysiol. 2006; 95: 301-310. [PMC gratis artikel] [PubMed]
  131. Tobler PN, O'Doherty JP, Dolan RJ, Schultz W. Beloningswaardecodering verschilt van risicoattitude-gerelateerde onzekerheidscodering in menselijke beloningssystemen. J Neurophysiol. 2007; 97: 1621-1632. [PMC gratis artikel] [PubMed]
  132. Trapold MA, Overmier JB. Klassieke conditionering II: huidig ​​onderzoek en theorie. Appleton-Century-Crofts; 1972. Het tweede leerproces in instrumenteel leren; pp. 427-452.
  133. Tricomi EM, Delgado MR, Fiez JA. Modulatie van caudate-activiteit door actieconventie. Neuron. 2004, 41: 281-292. [PubMed]
  134. Waelti P, Dickinson A, Schultz W. Dopamine-responsen voldoen aan de basisaannames van formele leertheorie. Natuur. 2001, 412: 43-48. [PubMed]
  135. White NM. Een functionele hypothese betreffende de striatale matrix en patches: bemiddeling van SR-geheugen en beloning. Life Sci. 1989, 45: 1943-1957. [PubMed]
  136. Wickens JR, Budd CS, Hyland BI, Arbuthnott GW. Striatale bijdragen aan beloning en besluitvorming: regionale variaties in een herhaalde verwerkingsmatrix begrijpen. Ann NY Acad Sci. 2007, 1104: 192-212. [PubMed]
  137. Williams DR. Klassieke conditionering en stimulerende motivatie. In: Prokasy WF, redacteur. Klassieke conditionering. New York: Appleton-Century-Crofts; 1965. pp. 340-357.
  138. Williams DR, Williams H. Automaintenance in the pigeon: aanhoudend pikken ondanks contingente niet-versterking. Journal of the Experimental analysis of Behavior. 1969, 12: 511-520. [PMC gratis artikel] [PubMed]
  139. Wiltgen BJ, Law M, Ostlund S, Mayford M, Balleine BW. De invloed van Pavloviaanse aanwijzingen op de instrumentale uitvoering wordt gemedieerd door CaMKII-activiteit in het striatum. Eur J Neurosci. 2007, 25: 2491-2497. [PubMed]
  140. Wyvell CL, Berridge KC. Intra-accumbens amfetamine verhoogt de geconditioneerde incentive salience van sucrose-beloning: verhoging van beloning "willen" zonder verbeterde "liking" of responsversterking. J Neurosci. 2000, 20: 8122-8130. [PubMed]
  141. Yin HH. Afdeling Psychologie. Los Angeles: UCLA; 2004. De rol van het dorsale striatum in doelgerichte acties.
  142. Yin HH, Knowlton BJ. Reinforcer-devaluatie heft geconditioneerde cue-voorkeur op: bewijs voor stimulus-stimulusassociaties. Gedrag Neurosci. 2002, 116: 174-177. [PubMed]
  143. Yin HH, Knowlton BJ. Bijdragen van striatale subregio's aan plaatsings- en responsleren. Leer Mem. 2004, 11: 459-463. [PMC gratis artikel] [PubMed]
  144. Yin HH, Knowlton BJ. Verslaving en leren. In: Stacy A, editor. Handboek van impliciete cognitie en verslaving. Thousand Oaks: Sage; 2005.
  145. Yin HH, Knowlton BJ, Balleine BW. Laesies van het dorsolaterale striatum behouden de uitkomstverwachting, maar verstoren de gewoontevorming in instrumenteel leren. Eur J Neurosci. 2004, 19: 181-189. [PubMed]
  146. Yin HH, Knowlton BJ, Balleine BW. Blokkering van NMDA-receptoren in het dorsomediale striatum voorkomt actie-uitkomst leren bij instrumentele conditionering. Eur J Neurosci. 2005a; 22: 505-512. [PubMed]
  147. Yin HH, Knowlton BJ, Balleine BW. Inactivatie van dorsolaterale striatum verbetert de gevoeligheid voor veranderingen in de actie-uitkomst-contingentie bij instrumentele conditionering. Gedrag Brain Res. 2006a; 166: 189-196. [PubMed]
  148. Yin HH, Zhuang X, Balleine BW. Instrumenteel leren bij hyperdopaminerge muizen. Neurobiol Learn Mem. 2006b; 85: 283-288. [PubMed]
  149. Yin HH, Ostlund SB, Knowlton BJ, Balleine BW. De rol van het dorsomediale striatum bij instrumentele conditionering. Eur J Neurosci. 2005b; 22: 513-523. [PubMed]
  150. Zahm DS. Een integrerend neuroanatomisch perspectief op sommige subcorticale substraten van adaptief reageren met de nadruk op de nucleus accumbens. Neurosci Biobehav Rev. 2000; 24: 85-105. [PubMed]
  151. Zahm DS. De evoluerende theorie van functioneel-anatomische 'macrosystemen' van de basale voorhersenen. Neurosci Biobehav Rev. 2005 [PubMed]