Beloningsgestuurd leren voorbij dopamine in de nucleus accumbens: de integratieve functies van cortico-basale ganglia-netwerken (2008)

In de recente literatuur is het gebruikelijk geworden om een ​​monolithisch concept van 'beloning' uniform toe te passen op appetitief gedrag, of het nu gaat om alles wat goed is voor het organisme (meestal vanuit het perspectief van de experimentator), of dat het door elkaar wordt gebruikt met oudere termen zoals 'bekrachtiging' of 'incentive'. Deze situatie wordt in de hand gewerkt door, of is wellicht zelfs een gevolg van, de focus op één enkel neuraal substraat voor 'beloning', namelijk de afgifte van dopamine (DA) in de nucleus accumbens ( Berke en Hyman, 2000 ; Grace et al., 2007 ).

De link tussen de mesoaccumbensbaan en beloning, die decennia geleden al werd erkend, is nieuw leven ingeblazen door recent bewijs dat het fasische DA-signaal een beloningsvoorspellingsfout codeert, die vermoedelijk dient als een leersignaal bij associatief leren ( Schultz et al., 1997 ). Volgens de meest gangbare interpretatie is er, net zoals er één signaal is voor beloning, ook één signaal voor beloningsgestuurd leren, wat in dit geval een associatie tussen een stimulus en een beloning betekent ( Montague et al., 2004 ). De vraag hoe dit type leren adaptief gedrag aanstuurt, is echter verwaarloosd; er wordt simpelweg aangenomen dat het dopaminesignaal voldoende is voor zowel voorspellend leren en de daaruit voortvloeiende conditionele responsen, als voor doelgerichte acties die worden gestuurd door hun associatie met beloning. Het onderzoek op het gebied van beloning en verslaving richt zich daarom voornamelijk op DA-signalering en de daarmee samenhangende plasticiteit in de mesoaccumbens-route ( Berridge en Robinson, 1998 ; Hyman et al., 2006 ; Grace et al., 2007 ).

Deze kijk op het beloningsproces, zoals steeds meer wordt erkend (Cardinal et al., 2002; Balleine, 2005; Everitt en Robbins, 2005; Hyman et al., 2006), is zowel ontoereikend als misleidend. Het is ontoereikend omdat noch de verwerving noch de uitvoering van doelgerichte acties kan worden verklaard in termen van de associatieve processen die het stimuleren van stimulusbeloning bemiddelen. Het is bovendien misleidend, omdat de exclusieve focus op activiteit in de mesoaccumbensroute, die noch noodzakelijk noch voldoende is voor doelgerichte acties, de aandacht heeft afgeleid van de meer fundamentele kwestie van precies wat doelgerichte acties zijn en hoe ze worden geïmplementeerd. door de hersenen. Inderdaad, volgens convergerende gegevens uit verschillende experimentele benaderingen, kan wat eerder een enkel beloningsmechanisme leek te zijn, in feite meerdere processen omvatten met verschillende gedragseffecten en neurale substraten (Corbit et al., 2001; O'Doherty et al., 2004; Yin et al., 2004; Delgado et al., 2005; Yin et al., 2005b; Haruno en Kawato, 2006a; Tobler et al., 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler et al., 2007).

In dit artikel proberen we enkele problemen met het huidige mesoaccumbens-model aan het licht te brengen en een ander model voor beloningsgestuurd leren voor te stellen. We betogen dat het striatum een ​​zeer heterogene structuur is die kan worden onderverdeeld in ten minste vier functionele domeinen, die elk fungeren als een knooppunt in een afzonderlijk functioneel netwerk met andere corticale, thalamische, pallidale en middenhersenencomponenten . De integratieve functies van deze netwerken, variërend van het produceren van onvoorwaardelijke responsen die door beloning worden opgeroepen tot de controle van doelgerichte acties, kunnen worden onderscheiden en bestudeerd met behulp van hedendaagse gedragstests.

Voorspelling en controle

Er wordt vaak aangenomen dat de mesoaccumbens-route noodzakelijk is voor het verwerven van een associatie tussen beloning en omgevingsstimuli die die beloning voorspellen. In sommige experimenten die de fasische activiteit van DA-cellen als gevolg van beloning onderzochten, werden apen bijvoorbeeld getraind om een ​​stimulus te associëren met het geven van sap ( Waelti et al., 2001 ) en vervolgens op de stimulus te reageren met een geconditioneerde respons (CR) – anticiperend likken. Het likken van de aap zou doelgericht kunnen zijn, omdat hij gelooft dat het nodig is om sap te verkrijgen. Het likken kan echter ook worden uitgelokt door de voorafgaande stimulus waarmee sap wordt geassocieerd. Welke van deze bepalende factoren het likgedrag van de apen in een bepaalde situatie beheerst , is niet a priori bekend en kan niet worden vastgesteld door oppervlakkige observatie; dit kan alleen worden vastgesteld met behulp van tests die specifiek voor dit doel zijn ontworpen. Deze tests, die vele decennia in ontwikkeling zijn geweest, vormen de kern van de belangrijkste moderne vooruitgang in de studie van leren en gedrag ( Tabel 1 ). Door het gebruik van deze tests, die hieronder worden besproken, weten we nu dat dezelfde gedragsreactie – of het nu gaat om het lopen naar een object, oriëntatie of het indrukken van een hendel – kan voortkomen uit meerdere invloeden die experimenteel van elkaar te onderscheiden zijn.

  

Tabel 1

Beloninggestuurd leren

Het gebrek aan aandacht voor de fundamentele onduidelijkheid in de daadwerkelijke bepalende factoren van gedrag is dan ook het voornaamste probleem van de huidige neurowetenschappelijke analyse van beloningsgestuurd leren. Om de betekenis van dit probleem te begrijpen, is het noodzakelijk de verschillen te kennen tussen de manier waarop voorspellend (of Pavloviaans) leren en doelgericht (of instrumenteel) leren appetitief gedrag sturen. Gezien hoe vaak deze twee processen in de literatuur over beloning door elkaar worden gehaald, lijkt een korte herziening van dit onderscheid een nuttig uitgangspunt voor onze discussie.

In een appetitieve pavloviaanse conditionering, is de beloning (de onvoorwaardelijke stimulus of de VS) gepaard met een stimulus (conditionele stimulus of CS), ongeacht het gedrag van het dier, terwijl bij instrumenteel leren de beloning afhankelijk is van de acties van de dieren. De kritische vraag in beide situaties is echter of de stimulus-beloning-associatie of de actie-beloningsassociatie gedrag regelt.

Zo eenvoudig als het lijkt, deze vraag ontweek onderzoekers vele decennia grotendeels omdat de gedragsreacties in deze situaties identiek kunnen lijken.

De geconditioneerde responsen (CR's) die worden aangestuurd door de Pavloviaanse stimulus-beloningsassociatie, kunnen dus vaak een schijn van doelgerichtheid hebben. Zelfs speekselproductie, Pavlovs oorspronkelijke CR, zou door zijn honden kunnen zijn opgewekt als een bewuste poging om de voedselinname te vergemakkelijken. Juist vanwege deze ambiguïteit kreeg de meest voor de hand liggende verklaring – namelijk dat bij Pavloviaanse conditionering de stimulus-uitkomstassociatie wordt aangeleerd, terwijl bij instrumentele conditionering de actie-uitkomstassociatie wordt aangeleerd – decennialang weinig steun ( Skinner, 1938 ; Ashby, 1960 ; Bolles, 1972 ; Mackintosh, 1974 ). Niettemin, hoewel veel Pavloviaanse CR's autonoom of consumptief van aard zijn, zijn andere CR's, zoals toenaderingsgedrag naar een beloning, niet zo gemakkelijk te karakteriseren ( Rescorla en Solomon, 1967 ). Ze kunnen inderdaad gemakkelijk worden aangezien voor instrumentele acties ( Brown en Jenkins, 1968 ; Williams en Williams, 1969 ; Schwartz en Gamzu, 1977 ). We weten nu dat, ondanks een oppervlakkige gelijkenis, Pavloviaanse geconditioneerde responsen en doelgerichte instrumentele acties verschillen in de representatieve structuur die de uitvoering van de respons controleert ( Schwartz en Gamzu, 1977 ).

De meest directe manier om vast te stellen of de uitvoering van een respons wordt gemedieerd door een stimulus-belonings- of een actie-beloningsassociatie, is door de specifieke contingentie te onderzoeken die de uitvoering controleert. Het voorbeeld van speekselproductie is hier leerzaam. Sheffield (1965) onderzocht of speekselproductie bij Pavloviaanse conditionering werd gecontroleerd door de relatie met de beloning of door de stimulus-beloningsassociatie. In zijn experiment kregen honden koppelingen tussen een toon en een voedselbeloning ( Sheffield, 1965 ). Als de honden echter speeksel produceerden tijdens de toon, werd het voedsel in die proef niet gegeven. Deze opstelling behield een Pavloviaanse relatie tussen de toon en het voedsel, maar schafte elke directe associatie tussen speekselproductie en voedseltoediening af. Als de speekselproductie een actie was die werd gecontroleerd door de relatie met het voedsel, dan zouden de honden moeten stoppen met speekselproductie – sterker nog, ze zouden helemaal geen speekselproductie bij de toon moeten ontwikkelen. Sheffield ontdekte dat het duidelijk de Pavloviaanse toon-voedselrelatie was die de speeksel-CR controleerde. Tijdens meer dan 800 koppelingen tussen toon en voedsel ontwikkelden en behielden de honden speekselproductie bij het horen van de toon, ook al resulteerde dit erin dat ze het grootste deel van het voedsel misliepen dat ze anders hadden kunnen krijgen. Een vergelijkbare conclusie werd getrokken door anderen in studies met mensen (Pithers, 1985) en andere dieren ( Brown en Jenkins, 1968 ; Williams & Williams, 1969 ; Holland, 1979); in alle gevallen lijkt het erop dat Pavloviaanse reacties, ondanks hun grote variatie, niet worden gestuurd door hun relatie tot de beloning, oftewel door de contingentie tussen actie en uitkomst.

De term contingentie verwijst naar de voorwaardelijke relatie tussen een gebeurtenis 'A' en een andere, 'B', waarbij het optreden van B afhangt van A. Een dergelijke relatie kan gemakkelijk worden verstoord door B aan te bieden in afwezigheid van A. Deze experimentele manipulatie, contingentieverstoring genoemd, wordt vaak uitgevoerd door een beloning aan te bieden onafhankelijk van de voorspellende stimulus of de actie. Hoewel deze benadering oorspronkelijk werd ontwikkeld om Pavloviaanse conditionering te bestuderen ( Rescorla, 1968 ), is instrumentele contingentieverstoring ook een veelgebruikt instrument geworden ( Hammond, 1980 ). Wanneer deze contingenties direct worden gemanipuleerd, wordt de inhoud van het leerproces onthuld: bijvoorbeeld bij autoshaping wordt een Pavloviaanse geconditioneerde respons (CR), 'vermomd' als een instrumentele actie, verstoord door manipulaties van de Pavloviaanse in plaats van de instrumentele contingentie ( Schwartz en Gamzu, 1977 ).

Doelgerichte instrumentele acties worden gekenmerkt door twee criteria: 1) gevoeligheid voor veranderingen in de waarde van de uitkomst, en 2) gevoeligheid voor veranderingen in de contingentie tussen actie en uitkomst ( Dickinson, 1985 ; Dickinson en Balleine, 1993 ). Gevoeligheid voor devaluatie van de uitkomst alleen is, zo moet worden benadrukt, niet voldoende om een ​​reactie als doelgericht te karakteriseren, omdat sommige Pavloviaanse reacties ook gevoelig kunnen zijn voor deze manipulatie ( Holland en Rescorla, 1975 ). De uitvoering van doelgerichte instrumentele acties is echter ook gevoelig voor manipulaties van de actie-uitkomstcontingentie, terwijl Pavloviaanse reacties gevoelig zijn voor manipulaties van de stimulus-uitkomstcontingentie ( Rescorla, 1968 ; Davis en Bitterman, 1971 ; Dickinson en Charnock, 1985 ). Een belangrijke uitzondering hierop vormen echter gewoonten (zie hieronder), die meer lijken op Pavloviaanse reacties in hun relatieve ongevoeligheid voor veranderingen in de instrumentele contingentie, maar ook ongevoelig zijn voor devaluatie van de uitkomst, omdat de uitkomst geen deel uitmaakt van de representatieve structuur die de prestatie controleert (vgl. Dickinson, 1985 en hieronder voor verdere bespreking).

Samenvattend is het dus van het grootste belang dat een bepaalde reactie duidelijk wordt gedefinieerd in termen van de sturende contingentie, in plaats van door de vorm van de reactie of de gedragstaak die gebruikt is om deze te bewerkstelligen. Zonder de sturende contingentie in een gegeven situatie te onderzoeken, is de kans groot dat zowel het gedrag als de neurale processen die het gedrag blijken te mediëren, verkeerd worden gekarakteriseerd. Uiteindelijk, zoals we zullen betogen, zijn het de feitelijke sturende contingenties, verworven door leren en geïmplementeerd door verschillende neurale systemen, die het gedrag controleren, hoewel ze mogelijk dezelfde 'uiteindelijke gemeenschappelijke route' delen. De centrale uitdaging is dus om verder te kijken dan de schijn en de onderliggende contingentie die het gedrag controleert te ontdekken (zie Tabel 1 voor een samenvatting ). Om te kunnen stellen dat specifieke neurale structuren specifieke psychologische capaciteiten mediëren, bijvoorbeeld doelgerichtheid, moet de status van het gedrag worden beoordeeld met de juiste gedragstests. Anders ontstaat er verwarring, omdat groepen discussiëren over de juiste neurale determinanten, terwijl ze niet erkennen dat hun gedragstaken mogelijk verschillende fenomenen meten. Uiteindelijk gaat het erom wat het dier daadwerkelijk leert, niet wat de experimentator denkt dat het dier leert. En wat het dier werkelijk leert, kan alleen worden onthuld door middel van tests die de inhoud van het leerproces rechtstreeks onderzoeken.

Het instrumentale onderscheid van Pavlovian zou triviaal zijn geweest, als het dier hetzelfde wist te leren (zeg een verband tussen de stimulus en de beloning) ongeacht de experimentele regelingen. Gebruik makend van de meest gebruikelijke meetmethoden die de neurowetenschappen tegenwoordig ter beschikking staan, is er eenvoudigweg geen manier om dit te vertellen. Zo beweren onderzoekers vaak dat ze doelgericht gedrag bestuderen zonder te onderzoeken of het gedrag in kwestie inderdaad op het doel is gericht. Hoewel algemeen wordt verondersteld dat verschillende soorten van leren het gevolg zijn van het gebruik van verschillende 'taken' of 'paradigma's', geven onderzoekers vaak niet voldoende argumenten voor hun aannames.

Een klassiek voorbeeld van dit probleem is het gebruik van doolhoven om leerprocessen te bestuderen. Een probleem met doolhofexperimenten en verwante tests, zoals geconditioneerde plaatsvoorkeur, is de moeilijkheid om experimenteel de invloed van de Pavloviaanse (stimulus-beloning) en de instrumentele (actie-beloning) contingenties op gedrag te scheiden ( Dickinson, 1994 ; Yin en Knowlton, 2002 ). Zo zou het bewegen door een T-doolhof om voedsel te bemachtigen een responsstrategie kunnen weerspiegelen (linksaf slaan) of simpelweg een geconditioneerde benadering van een oriëntatiepunt buiten het doolhof, gestuurd door de associatie tussen de aanwijzing en het voedsel ( Restle, 1957 ). Een manier om te testen of dit laatste een rol speelt in de prestatie, is door het doolhof om te keren; nu zouden responslerenden linksaf moeten blijven slaan, terwijl degenen die aanwijzingen buiten het doolhof gebruiken rechtsaf zouden moeten slaan. Maar gebruiken degenen die linksaf blijven slaan werkelijk een responsstrategie, of benaderen ze slechts een aanwijzing binnen het doolhof die met voedsel is geassocieerd? Het is niet eenvoudig om dit te achterhalen, omdat de gebruikelijke controlemechanismen voor Pavloviaanse gedragscontrole niet gemakkelijk toepasbaar zijn in doolhofstudies. Een van deze controlemechanismen, de bidirectionele controle, stelt dat dieren controle kunnen uitoefenen over een bepaalde respons door de richting van die respons om te keren om een ​​beloning te verkrijgen ( Hershberger, 1986 ; Heyes en Dawson, 1990 ). Helaas is in een doolhof responsomkering mogelijk nog steeds niet voldoende om een ​​actie als doelgericht te bestempelen, omdat omkering kan worden bereikt door de bestaande stimulus-beloningsrelatie te verbreken en te vervangen door een andere. Een rat die bijvoorbeeld een bepaalde aanwijzing in het doolhof nadert, kan tijdens de omkering leren dat deze aanwijzing niet langer gekoppeld is aan een beloning, maar dat een andere stimulus dat wel is, waardoor een geconditioneerde respons (CR) wordt aangeleerd voor de nieuwe stimulus. Zo kunnen ze hun respons ogenschijnlijk omkeren zonder ooit de respons-beloningscontingentie te hebben gecodeerd. Omdat deze mogelijkheid in de praktijk niet getest kan worden, is het gebruik van doolhoven, plaatsvoorkeursprocedures of eenvoudige locomotorische taken om doelgerichte leerprocessen te bestuderen bijzonder riskant en zal het waarschijnlijk leiden tot een verkeerde karakterisering van de processen die gedrag controleren, evenals de specifieke rol van eventuele neurale processen die daarbij betrokken blijken te zijn ( Smith-Roe en Kelley, 2000 ; Hernandez et al., 2002 ; Atallah et al., 2007 ).

Nucleus accumbens is niet noodzakelijk voor instrumenteel leren

De tekortkomingen van de huidige gedragsanalyse worden met name duidelijk bij onderzoek naar de nucleus accumbens. Veel studies hebben gesuggereerd dat deze structuur cruciaal is voor het aanleren van doelgerichte acties ( Hernandez et al., 2002 ; Goto en Grace, 2005 ; Hernandez et al., 2005 ; Pothuizen et al., 2005 ; Taha en Fields, 2006 ; Atallah et al., 2007 ; Cheer et al., 2007 ; Lerchner et al., 2007 ). Deze conclusie is echter grotendeels gebaseerd op metingen van een verandering in prestatie, met behulp van taken waarbij de contingentie die het gedrag controleert, ambigu is. Hoewel de observatie dat een manipulatie de verwerving van een bepaalde gedragsreactie belemmert, kan wijzen op een leerstoornis, kan het ook een effect op de initiatie van de reactie of de motivatie weerspiegelen. Een stoornis in de verwerving van het indrukken van een hendel kan bijvoorbeeld vaak een effect op de prestatie weerspiegelen in plaats van op het leerproces ( Smith-Roe en Kelley, 2000 ). Verwervingscurves alleen, als onvolledige weergave van elk leerproces, moeten met de nodige voorzichtigheid worden geïnterpreteerd ( Gallistel et al., 2004 ). Helaas wordt het onderscheid tussen leren en presteren, misschien wel de oudste les in de leerwetenschap, tegenwoordig vaak genegeerd.

Een meer gedetailleerde analyse wijst uit dat de nucleus accumbens noch noodzakelijk noch voldoende is voor instrumenteel leren. Beschadigingen aan de schil van de nucleus accumbens veranderen de gevoeligheid van de prestatie voor devaluatie van de uitkomst niet (de Borchgrave et al, 2002; Corbit et al, 2001 ) of voor de afname van de instrumentele contingentie ( Corbit et al , 2001 ), terwijl is gebleken dat beschadigingen aan de kern van de nucleus accumbens de gevoeligheid voor devaluatie verminderen zonder de gevoeligheid van de ratten voor selectieve afname van de instrumentele contingentie te beïnvloeden ( Corbit et al., 2001 ). Andere studies die het effect van manipulaties aan de nucleus accumbens op de verwerving van een nieuwe respons in studies naar geconditioneerde bekrachtiging onderzochten, vonden consequent een effect op de beloningsgerelateerde prestatie, met name de verbetering van de prestatie door amfetamine, maar niet op de verwerving van de respons zelf (Parkinson et al, 1999). Evenzo vond een systematische studie van Cardinal en Cheung ook geen effect van beschadigingen aan de kern van de nucleus accumbens op de verwerving van een hendeldrukrespons onder een continu bekrachtigingsschema; Een verstoorde verwerving werd alleen waargenomen bij uitgestelde bekrachtiging ( Cardinal en Cheung, 2005 ).

Hoewel de nucleus accumbens de instrumentele contingentie niet codeert (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001 ), suggereert aanzienlijk bewijs dat het een fundamentele rol speelt in instrumentele prestaties , een rol die we nu beter kunnen definiëren in het licht van recent onderzoek. Zoals verschillende studies hebben geconcludeerd, is de nucleus accumbens cruciaal voor bepaalde vormen van appetitieve Pavloviaanse conditionering en bemiddelt het zowel de niet-specifieke excitatoire effecten die beloningsgerelateerde signalen kunnen hebben op instrumentele prestaties, als de uitkomstspecifieke vertekeningen in de responsselectie die door dergelijke signalen worden geproduceerd. Beschadigingen aan de nucleus accumbens, of aan de anterieure cingulate cortex, een belangrijke bron van corticale input naar de nucleus accumbens, of een disconnectie tussen deze twee structuren, belemmeren de verwerving van Pavloviaans toenaderingsgedrag ( Parkinson et al., 2000 ). Lokale infusie van een D1-achtige dopaminereceptorantagonist of een NMDA-glutamaatreceptorantagonist direct na de training verstoorde deze vorm van leren ook zonder de prestaties te beïnvloeden ( Dalley et al., 2005 ). Deze gegevens komen overeen met metingen van in vivo neurale activiteit. Carelli en collega's ontdekten bijvoorbeeld dat neuronen in de nucleus accumbens hun activiteit systematisch kunnen veranderen tijdens het leren van een Pavloviaanse autoshaping-taak ( Day et al., 2006 ; Day en Carelli, 2007 ).

Neuronen in de schil van de nucleus accumbens lijken afgestemd te zijn op beloningen en aversieve stimuli, zelfs vóórdat er sprake is van leerervaring; ze zijn ook in staat om reacties op geconditioneerde stimuli te ontwikkelen die deze uitkomsten voorspellen ( Roitman et al., 2005 ). Bovendien heeft onderzoek van Berridge en collega's de mogelijkheid geopperd dat bepaalde gebieden binnen de schil van de nucleus accumbens en in het stroomafwaarts gelegen ventrale pallidum gekarakteriseerd kunnen worden als 'hedonische hotspots'. Deze gebieden moduleren direct onvoorwaardelijke hedonische reacties op beloningen, zoals smaakreactiviteit. Agonisten van opioïde receptoren in deze gebieden kunnen bijvoorbeeld de smaakreactiviteit bij het eten van sucrose aanzienlijk versterken. Dergelijke sterk gelokaliseerde gebieden zijn echter ingebed in bredere netwerken die geen rol spelen in consumptief appetitief gedrag ( Taha en Fields, 2005 ; Pecina et al., 2006 ; Taha en Fields, 2006 ).

Het onderscheid in de relatieve rollen van kern en schil lijkt te liggen tussen respectievelijk voorbereidend en consumerend appetitief gedrag, dat gemakkelijk kan worden gemodificeerd door ervaring via verschillende vormen van Pavloviaanse conditionering. Voorbereidende reacties, zoals toenadering, zijn gekoppeld aan algemene emotionele kwaliteiten van de uitkomst, terwijl consumerend gedrag gekoppeld is aan meer specifieke sensorische kwaliteiten; ze zijn ook verschillend vatbaar voor verschillende soorten geconditioneerde stimuli (CS), bijvoorbeeld, voorbereidende reacties worden gemakkelijker geconditioneerd met een stimulus met een lange duur ( Konorski, 1967 ; Dickinson en Dearing, 1979 ; Balleine, 2001 ; Dickinson en Balleine, 2002 ).

In elk geval is het bewijs dat de nucleus accumbens betrokken is bij bepaalde aspecten van Pavloviaanse conditionering overweldigend. Het is echter niet de enige structuur die hierbij betrokken is, en andere netwerken, zoals die met de verschillende amygdala-kernen, lijken ook een centrale rol te spelen in zowel de voorbereidende als de voltooiende componenten van Pavloviaanse conditionering ( Balleine en Killcross, 2006 ).

Een functie die duidelijk aan de nucleus accumbens kan worden toegeschreven, is de integratie van Pavloviaanse invloeden op instrumenteel gedrag. Pavloviaanse geconditioneerde responsen (CR's), waaronder die welke de activering van centrale motivationele toestanden weerspiegelen, zoals hunkering en opwinding, kunnen een sterke invloed uitoefenen op de uitvoering van instrumentele handelingen ( Trapold en Overmier, 1972 ; Lovibond, 1983 ; Holland, 2004 ). Een geconditioneerde stimulus (CS) die onafhankelijk voedseltoediening voorspelt, kan bijvoorbeeld de instrumentele respons voor datzelfde voedsel verhogen. Dit effect wordt vaak bestudeerd met behulp van het Pavloviaans-instrumentele transferparadigma (PIT). In PIT ondergaan dieren afzonderlijke Pavloviaanse en instrumentele trainingsfasen, waarin ze onafhankelijk van elkaar leren een signaal te associëren met voedsel en op een hendel te drukken voor datzelfde voedsel. Vervolgens wordt in testfasen het signaal gepresenteerd met de hendel beschikbaar, en wordt de verhoging van de responsfrequentie in aanwezigheid van de CS gemeten. Er zijn twee vormen van PIT geïdentificeerd; Een van de effecten houdt verband met het algemeen opwekkende effect van beloningsgerelateerde signalen, terwijl een tweede, meer selectief effect op de keuzeprestaties wordt veroorzaakt door de voorspellende waarde van een signaal ten opzichte van één specifieke beloning in tegenstelling tot andere. De nucleus accumbens shell is noodzakelijk voor deze laatste uitkomstspecifieke vorm van PIT, maar is niet noodzakelijk voor de eerste, meer algemene vorm, noch voor de gevoeligheid voor uitkomstdevaluatie; daarentegen verminderen laesies van de nucleus accumbens core de gevoeligheid voor zowel uitkomstdevaluatie als de algemene vorm van PIT, maar laten de uitkomstspecifieke PIT intact ( Corbit et al., 2001 ; Balleine en Corbit, 2005 ).

Een recent onderzoek heeft meer inzicht gegeven in de rol van de nucleus accumbens shell bij uitkomstspecifieke PIT ( Wiltgen et al., 2007 ). Gecontroleerde expressie van actief calcium/calmodulin-afhankelijk proteïnekinase II (CaMKII) in het striatum had geen invloed op instrumenteel of Pavloviaans leren, maar schafte specifieke PIT af. Dit tekort in PIT was niet permanent en kon worden hersteld door de transgene expressie uit te schakelen met doxycycline, wat aantoont dat het tekort alleen verband hield met de prestatie. Het kunstmatig verhogen van het CaMKII-niveau in het striatum blokkeert dus de uitkomstspecifieke overdracht van motivationele prikkels van het Pavloviaanse naar het instrumentele systeem. Interessant genoeg bleek het inschakelen van het CaMKII-transgeen ook de prikkelbaarheid van neuronen in de nucleus accumbens shell te verminderen, zonder de basale transmissie of synaptische sterkte te beïnvloeden.

Het dorsale striatum

Het dorsale striatum, ook wel neostriatum of caudate-putamen genoemd, ontvangt massale projecties vanuit de zogenaamde neocortex. Het kan verder worden onderverdeeld in een associatief gebied, dat bij knaagdieren meer mediaal ligt en in verbinding staat met het ventrale striatum, en een sensorimotorisch gebied dat meer lateraal ligt ( Groenewegen et al., 1990 ; Joel en Weiner, 1994 ). Over het geheel genomen wordt het dorsale striatum geïnnerveerd door DA-cellen uit de substantia nigra pars compacta (SNc) en ontvangt het slechts geringe projecties van de VTA DA-neuronen ( Joel en Weiner, 2000 ). Eerder onderzoek naar het dorsale striatum richtte zich voornamelijk op de rol ervan bij stimulus-respons (SR) gewoonte-leren ( Miller, 1981 ; White, 1989 ). Deze visie is gebaseerd op de wet van het effect, volgens welke een beloning de associatie tussen de omgevingsstimuli en de uitgevoerde respons versterkt, waardoor de neiging om die respons uit te voeren toeneemt in aanwezigheid van die stimuli ( Thorndike, 1911 ; Hull, 1943 ; Miller, 1981 ). Men denkt dus dat de corticostriatale route de leerprocessen van de associatie tussen de omgevingsstimuli en de respons bemiddelt, waarbij dopamine (DA) als bekrachtigingssignaal fungeert ( Miller, 1981 ; Reynolds en Wickens, 2002 ).

SR-modellen hebben als voordeel dat ze een beknopte regel bevatten voor het vertalen van leren naar prestatie. Een model gebaseerd op actiegerelateerde verwachtingen is daarentegen complexer, omdat de overtuiging "Actie A leidt tot Uitkomst O" niet noodzakelijkerwijs hoeft te worden omgezet in actie ( Guthrie, 1935 ; Mackintosh, 1974 ); informatie van dit soort kan zowel worden gebruikt om 'A' uit te voeren als om 'A' te vermijden. Om deze reden hebben traditionele theorieën de meest voor de hand liggende verklaring verworpen, namelijk dat dieren een actie-uitkomstcontingentie kunnen verwerven die hun keuzegedrag stuurt. De afgelopen decennia is de wet van het effect echter aanzienlijk herzien ( Adams, 1982 ; Colwill en Rescorla, 1986 ; Dickinson, 1994 ; Dickinson et al., 1996 ). Uit de resultaten van vele studies is gebleken dat instrumentele handelingen daadwerkelijk doelgericht kunnen zijn, dat wil zeggen gevoelig voor veranderingen in de beloningswaarde en de causale effectiviteit van de handeling (zie Dickinson & Balleine, 1994; 2002 ; Balleine, 2001 voor overzichten). Niettemin kunnen zelfs nieuw aangeleerde handelingen, na uitgebreide training onder constante omstandigheden, relatief automatisch en stimulusgestuurd worden – een proces dat bekend staat als gewoontevorming ( Adams en Dickinson, 1981 ; Adams, 1982 ; Yin et al., 2004 ). Gewoonten die op deze manier gedefinieerd zijn, en die automatisch worden opgeroepen door voorafgaande stimuli, worden niet gecontroleerd door de verwachting of de voorstelling van de uitkomst; ze zijn bijgevolg ongevoelig voor veranderingen in de waarde van de uitkomst. Vanuit dit perspectief is de wet van het effect daarom een ​​speciaal geval dat alleen van toepassing is op gewoontegedrag.

De huidige classificatie van instrumentaal gedrag verdeelt het in twee klassen. TDe eerste klas omvat doelgerichte acties die worden bestuurd door de instrumentele contingentie; het tweede, gebruikelijke gedrag dat ongevoelig is voor veranderingen in de uitkomstwaarde (Tabel 1). Met behulp van gedragstesten zoals uitkomstdevaluatie en degradatie van instrumentele contingentie, stelde Yin et al een functionele dissociatie vast tussen de sensorimotor (dorsolaterale striatum, DLS) en associatieve regio's (dorsomediaal striatum, DMS) van het dorsale striatum (Yin en Knowlton, 2004; Yin et al., 2004, 2005; Yin et al., 2005b; Yin et al., 2006a). Laesies van de DLS belemmerden de ontwikkeling van gewoonten, resulterend in een meer doelgerichte modus van gedragscontrole. Laesies van de DMS hebben het tegenovergestelde effect en resulteren in een overgang van doelgerichte naar gewone controle. Yin et al concludeerden daarom dat de DLS en DMS functioneel gedissocieerd kunnen worden in termen van het type associatieve structuren dat ze ondersteunen: de DLS is van cruciaal belang voor de vorming van gewoonten, terwijl de DMS cruciaal is voor het verwerven en uiten van doelgerichte acties. Deze analyse voorspelt dat onder bepaalde omstandigheden (bijv. Uitgebreide training) de controle over acties kan verschuiven van het DMS-afhankelijke systeem naar het DLS-afhankelijke systeem, een conclusie die in grote lijnen overeenkomt met de aanzienlijke literatuur over primaten, inclusief menselijke neuroimaging (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi et al., 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno en Kawato, 2006a, b; Lohrenz et al., 2007; Tobler et al., 2007). Er moet natuurlijk aan worden herinnerd tDe fysieke locatie (bijv. dorsaal of ventrale) alleen kan geen betrouwbare leidraad zijn bij het vergelijken van het striatum van de knaagdieren en het striatum van de primaat; dergelijke vergelijkingen moeten met de nodige voorzichtigheid worden gemaakt, na zorgvuldige afweging van de anatomische connectiviteit.

De effecten van laesies in het dorsale striatum kunnen worden vergeleken met die van laesies in de nucleus accumbens ( Smith-Roe en Kelley, 2000 ; Atallah et al., 2007 ). Zoals reeds vermeld, zijn de standaardtests om vast te stellen of gedrag 'doelgericht' is, de devaluatie van de uitkomst en de aantasting van de actie-uitkomstcontingentie ( Dickinson en Balleine, 1993 ). Laesies in het dorsale striatum maken gedrag ongevoelig voor beide manipulaties ( Yin et al., 2005b ), terwijl laesies in de nucleus accumbens core of shell dat niet doen ( Corbit et al., 2001 ). Bovendien worden de probe-tests van deze gedragsassays doorgaans uitgevoerd in de extinctiefase, zonder het aanbieden van een beloning, om te beoordelen wat het dier heeft geleerd zonder dat dit wordt beïnvloed door nieuw leren. Ze onderzoeken dus direct de representatieve structuur die het gedrag aanstuurt. Als extra experimentele controle is het vaak nuttig om een ​​aparte devaluatietest uit te voeren waarbij daadwerkelijk beloningen worden gegeven – de zogenaamde 'beloningstest'. Beschadigingen aan de DMS elimineerden de gevoeligheid voor uitkomstdevaluatie in de beloningstest niet, zoals te verwachten was, aangezien het geven van een gedevalueerde uitkomst die afhankelijk is van een actie de actie kan onderdrukken, onafhankelijk van de codering van actie-uitkomstrelaties. Beschadigingen aan de schil van de nucleus accumbens daarentegen belemmerden de gevoeligheid voor uitkomstdevaluatie niet in zowel de extinctietest als de beloningstest, terwijl beschadigingen aan de kern van de nucleus accumbens de gevoeligheid voor devaluatie in beide tests elimineerden ( Corbit et al., 2001 ). De gevoeligheid voor contingentievermindering werd echter door geen van beide beschadigingen beïnvloed, wat aantoont dat de ratten na beschadigingen aan de nucleus accumbens in staat waren om actie-uitkomstrelaties te coderen en op te halen.

De rol van dopamine: mesolimbisch versus nigrostriataal

Sinds de baanbrekende studies naar de fasische activiteit van DA-neuronen bij apen, is de gangbare aanname in het vakgebied dat alle DA-cellen zich in wezen op dezelfde manier gedragen ( Schultz, 1998a ; Montague et al., 2004 ). De beschikbare gegevens, evenals de anatomische connectiviteit, suggereren echter iets anders. Sterker nog, de bovenstaande analyse van functionele heterogeniteit in het striatum kan ook worden uitgebreid naar de DA-cellen in de middenhersenen.

DA-cellen kunnen worden onderverdeeld in twee hoofdgroepen: VTA en substantia nigra pars compacta (SNc) . Hoewel de projectie van de VTA naar de nucleus accumbens centraal heeft gestaan ​​in het onderzoek naar beloningsgerelateerd leren, is de veel omvangrijkere nigrostriatale route relatief verwaarloosd , waarbij de aandacht vooral gericht was op de rol ervan bij de ziekte van Parkinson. De huidige inzichten in de rol van DA bij leren zijn sterk beïnvloed door de hypothese dat de fasische activiteit van DA-cellen een beloningsvoorspellingsfout weerspiegelt ( Ljungberg et al., 1992 ; Schultz, 1998b ). In de meest gebruikte Pavloviaanse conditioneringstaak door Schultz en collega's vuren deze neuronen als reactie op de beloning (US), maar tijdens het leerproces verschuift de door de US opgewekte activiteit naar de CS. Wanneer de US na het leerproces wordt weggelaten, vertonen de DA-cellen een korte daling in activiteit op het verwachte tijdstip van de toediening ( Waelti et al., 2001 ; Fiorillo et al., 2003 ; Tobler et al., 2003 ). Dergelijke gegevens vormen de basis voor diverse computationele modellen ( Schultz et al., 1997 ; Schultz, 1998b ; Brown et al., 1999 ; Montague et al., 2004 ).

Gezien de meerdere controlemechanismen in de synthese en afgifte van dopamine (DA), kan de activiteit van DA-neuronen niet gelijkgesteld worden aan de afgifte van DA, hoewel men zou verwachten dat deze twee metingen sterk gecorreleerd zijn. Een recente studie van Carelli en collega's, die gebruikmaakte van snelle cyclische voltammetrie, toonde inderdaad aan dat de daadwerkelijke DA-afgifte in de nucleus accumbens correleert met een voorspellingsfout in appetitieve Pavloviaanse conditionering ( Day et al., 2007 ). Zij vonden een fasisch DA-signaal in de nucleus accumbens direct na het ontvangen van een sucrosebeloning tijdens Pavloviaanse autoshaping. Na langdurige Pavloviaanse conditionering werd dit signaal echter niet meer gevonden na de beloning zelf, maar verschoof het naar de geconditioneerde stimulus (CS) . Deze bevinding ondersteunt de oorspronkelijke hypothese van de 'voorspellingsfout'. Dit is ook consistent met eerder onderzoek dat een verminderde prestatie van de Pavloviaanse CR aantoonde na DA-receptorantagonisme of DA-depletie in de nucleus accumbens ( Di Ciano et al., 2001 ; Parkinson et al., 2002 ). Eén observatie uit het onderzoek is echter nieuw en van aanzienlijk belang: na langdurige conditionering met een CS+ die een beloning voorspelt en een CS- die geen beloning voorspelt, werd een vergelijkbaar, zij het kleiner, DA-signaal ook waargenomen na de CS-, hoewel dit signaal ook een lichte dip vertoonde direct (500-800 milliseconden na het begin van de cue) na de initiële piek ( Day et al., 2007 , Figuur 4). In dit stadium van het leerproces benaderen dieren de CS− bijna nooit, maar wel consequent de CS+. Het fasische DA-signaal direct na de predictor speelt dus mogelijk geen causale rol bij het genereren van de toenaderingsreactie, aangezien het aanwezig is, zelfs in afwezigheid van de reactie. Of een dergelijk signaal nog steeds nodig is voor het leren van de stimulus-beloningscontingentie blijft onduidelijk, maar de waargenomen fasische respons op de CS− wordt in ieder geval door geen van de huidige modellen voorspeld.

Interessant genoeg beïnvloedt lokale dopamine-depletie de prestaties bij deze taak ( Parkinson et al., 2002 ). Terwijl na de CS− een fasisch dopaminesignaal wordt waargenomen, dat helemaal geen geconditioneerde responsen (CR's) genereert, leidt het uitschakelen van zowel fasisch als tonisch dopamine door lokale depletie wel tot een verminderde prestatie van de CR's. Dit patroon suggereert dat een fasisch dopaminesignaal in de nucleus accumbens niet nodig is voor de uitvoering van de Pavloviaanse CR, maar mogelijk een rol speelt bij het leren, terwijl een langzamer, meer tonisch dopaminesignaal (vermoedelijk uitgeschakeld in depletiestudies) belangrijker is voor de uitvoering van de toenaderingsrespons ( Cagniard et al., 2006 ; Yin et al., 2006b ; Niv et al., 2007 ). Deze mogelijkheid moet nog worden onderzocht.

Hoewel er geen direct bewijs is voor een causale rol van het fasische DA-signaal bij het leren, heeft de hypothese van de 'voorspellingsfout' desalniettemin veel aandacht gekregen, omdat het precies het type leersignaal is dat wordt gebruikt in prominente leermodellen, zoals het Rescorla-Wagner-model en de realtime-uitbreiding daarvan, het temporal difference reinforcement learning-algoritme ( Schultz, 1998b ). Volgens deze interpretatie wordt appetitief leren bepaald door het verschil tussen de ontvangen en de verwachte beloning (of tussen twee temporeel opeenvolgende beloningsvoorspellingen). Een dergelijk leersignaal wordt gereguleerd door negatieve feedback van alle voorspellers van de beloning ( Schultz, 1998b ). Als er geen beloning volgt op de voorspeller, wordt het negatieve feedbackmechanisme ontmaskerd als een dip in de activiteit van de DA-neuronen. Leren omvat dus de progressieve reductie van de voorspellingsfout.

De elegantie van het onderwijssignaal in deze modellen heeft sommigen wellicht afgeleid van de anatomische realiteit. In de studie van Day et al. (2007) komt het DA-signaal in de nucleus accumbens voornamelijk van cellen in de VTA, maar het lijkt onwaarschijnlijk dat andere DA-cellen, met een volledig andere anatomische connectiviteit, hetzelfde responsprofiel zouden vertonen en hetzelfde signaal zouden afgeven. Een gradiënt in wat de DA-cellen signaleren is waarschijnlijker, aangezien DA-cellen projecteren naar verschillende striatale gebieden met volledig verschillende functies, en op hun beurt ook verschillende negatieve feedbacksignalen ontvangen van verschillende striatale gebieden ( Joel en Weiner, 2000 ; Wickens et al., 2007 ). De mechanismen van opname en afbraak, evenals de presynaptische receptoren die de afgifte van dopamine reguleren, vertonen ook aanzienlijke variatie in het striatum ( Cragg et al., 2002 ; Rice en Cragg, 2004 ; Wickens et al., 2007 ; Rice en Cragg, 2008 ).

Wij stellen daarom voor dat de mesoaccumbens-route een meer beperkte rol speelt in Pavloviaans leren, in het verwerven van de waarde van toestanden en stimuli, terwijl de nigrostriatale route belangrijker is voor instrumenteel leren, in het verwerven van de waarde van acties. Dat wil zeggen, het fasische DA-signaal kan verschillende voorspellingsfouten coderen, in plaats van één enkele voorspellingsfout, zoals momenteel wordt aangenomen. Drie bewijslijnen ondersteunen dit argument. Ten eerste leidt genetische depletie van DA in de nigrostriatale route tot een belemmering van de verwerving en uitvoering van instrumentele acties, terwijl depletie van DA in de mesolimbische route dit niet doet ( Sotak et al., 2005 ; Robinson et al., 2007 ). Ten tweede kunnen DA-cellen in de SNc de waarde van acties coderen, vergelijkbaar met cellen in hun doelgebied in het striatum ( Morris et al., 2006 ). Ten derde verstoort selectieve beschadiging van de nigrostriatale projectie naar de DLS de gewoontevorming ( Faure et al., 2005 ).

Recent onderzoek van Palmiter en collega's toonde aan dat genetisch gemodificeerde muizen met een dopamine-tekort ernstig beperkt zijn in instrumenteel leren en presteren, maar dat hun prestaties hersteld kunnen worden door injectie met L-DOPA of door virale gentherapie in de nigrostriatale route ( Sotak et al., 2005 ; Robinson et al., 2007 ). Daarentegen was herstel van dopamine in het ventrale striatum niet nodig om instrumenteel gedrag te herstellen. Hoewel de vraag hoe dopaminesignalen instrumenteel leren mogelijk maken nog openstaat, is een voor de hand liggende mogelijkheid dat ze de waarde van zelfgeïnitieerde acties coderen, oftewel hoeveel beloning er voorspeld wordt bij een bepaalde handelwijze.

Het dorsale striatum als geheel bevat de hoogste expressie van DA-receptoren in de hersenen en ontvangt de meest omvangrijke dopaminerge projectie . De DA-projectie naar de DMS speelt mogelijk een andere rol in het leerproces dan de projectie naar de DLS, aangezien deze twee regio's significant verschillen in het temporele profiel van DA-afgifte, -opname en -afbraak ( Wickens et al., 2007 ). We veronderstellen dat de DA-projectie van de mediale SNc naar de DMS cruciaal is voor het leren van actie-uitkomstrelaties, terwijl de DA-projectie van de laterale SNc naar de DLS cruciaal is voor gewoontevorming. Als dit waar is, zou men verwachten dat DA-cellen in de SNc de fout in de beloningsvoorspelling coderen op basis van zelf gegenereerde acties – instrumentele voorspellingsfout – in plaats van die op basis van de geconditioneerde stimulus (CS). Voorlopig bewijs ter ondersteuning van deze bewering komt uit een recent onderzoek van Morris et al., die opnames maakten van SNc-neuronen tijdens een instrumentele leertaak ( Morris et al., 2006 ). Apen werden getraind om hun armen te bewegen als reactie op een discriminerende stimulus (S ^D ) die de juiste beweging en de waarschijnlijkheid van een beloning aangaf. De S ^D lokte fasische activiteit uit in de DA-neuronen die overeenkwamen met de actiewaarde, gebaseerd op de verwachte beloningswaarschijnlijkheid van een bepaalde actie. Het meest interessante was dat, hoewel de DA-respons op de S ^D toenam met de actiewaarde, het omgekeerde gold voor de DA-respons op de beloning zelf. Dit is consistent met het idee dat deze neuronen een voorspellingsfout codeerden die geassocieerd was met die waarde. Het is niet verrassend dat de primaire striatale doelcel van deze cellen, de nucleus caudatus, bekend staat om neuronen die actiewaarden coderen ( Samejima et al., 2005 ). Er moet echter worden opgemerkt dat in deze studie geen gedragstaken werden gebruikt die de waarde van acties ondubbelzinnig beoordelen. Een duidelijke voorspelling van ons model is dat fasische DA-activiteit de uitvoering van acties zal begeleiden, zelfs in afwezigheid van een expliciete S ^D. We voorspellen bijvoorbeeld een piek in de activiteit van dopamine-neuronen in de substantia nigra op het moment dat een zelfgeïnitieerde actie een beloning oplevert.

Naar onze mening weerspiegelt het DA-signaal in de mesoaccumbens de waarde van de geconditioneerde stimulus (CS), terwijl het nigrostriatale signaal, mogelijk afkomstig van neuronen die projecteren naar de dorsomediale mesoaccumbens (DMS), de waarde van de actie zelf weerspiegelt, of van een willekeurige stimulus (SD ⁾ die deze waarde voorspelt. Bovendien lijken zowel instrumenteel als Pavloviaans leren een vorm van negatieve feedback te omvatten om het effectieve leersignaal te controleren. De directe projecties van het striatum naar de DA-neuronen in de middenhersenen ( figuur 2 ) worden al lange tijd voorgesteld als de neurale implementatie van dit type negatieve feedback ( Houk et al., 1995 ), en de sterkte en aard van de remmende input kunnen aanzienlijk variëren van regio tot regio.

  

Figuur 2

De cortico-basale ganglia-netwerken

Volgens de huidige modellen is een voorspellingsfout een leersignaal dat bepaalt hoeveel er geleerd wordt. Zolang deze fout aanwezig is, gaat het leerproces door. Hoewel deze bewering voor de hand liggend lijkt, heeft een voorspellingsfout voor de waarde van een actie, hoewel syntactisch vergelijkbaar met de Pavloviaanse voorspellingsfout, unieke kenmerken die nog niet uitgebreid onderzocht zijn. In traditionele modellen zoals het Rescorla-Wagner-model, dat zich uitsluitend richt op Pavloviaanse conditionering (zij het met beperkt succes), is het belangrijkste kenmerk de negatieve feedback die de voorspellingsfout reguleert. Deze output vertegenwoordigt de verworven voorspelling, meer specifiek de som van alle huidige voorspellers, zoals vastgelegd door de samengestelde stimuli die doorgaans in blokkerings experimenten worden gebruikt ( Rescorla, 1988 ). Het is deze optelling van beschikbare voorspellers om een ​​globale foutterm vast te stellen die de belangrijkste innovatie in dit type model vormt. Voor instrumentele acties lijken individuele fouttermen echter waarschijnlijker, omdat het moeilijk voor te stellen is hoe de negatieve feedback de waarde van meerdere acties tegelijkertijd zou kunnen weergeven wanneer er slechts één actie tegelijk kan worden uitgevoerd. Natuurlijk bestaan ​​er wel een aantal mogelijke oplossingen. Gegeven een bepaalde toestand (experimenteel geïmplementeerd door een specifieke S ^D ), zouden de mogelijke handelwijzen inderdaad gelijktijdig kunnen worden weergegeven als verworven voorspellingen. Maar de grootste moeilijkheid met instrumentele voorspellingsfouten heeft te maken met de aard van de actie zelf. Een Pavloviaanse voorspelling volgt automatisch op de presentatie van de stimulus, die onafhankelijk is van het organisme. Een instrumentele voorspellingsfout moet het element van controle aanpakken, omdat de voorspelling zelf actie-afhankelijk is, en een weloverwogen actie spontaan wordt uitgevoerd op basis van het streven van het dier naar de consequenties van het handelen, in plaats van te worden uitgelokt door voorafgaande stimuli. Uiteindelijk is het juist de algemene verwaarlozing van het spontane karakter van doelgerichte acties, zowel in de neurowetenschappen als in de psychologie, die het onderscheid tussen Pavloviaanse en instrumentele leerprocessen en de aard van de betrokken voorspellingsfouten heeft vervaagd. Het moet daarom nog worden vastgesteld welk type negatief feedbacksignaal, indien aanwezig, de verwerving van actiewaarden reguleert ( Dayan en Balleine, 2002 ).

Ten slotte heeft recent onderzoek ook de nigrostriatale projectie van de laterale SNc naar de DLS specifiek in verband gebracht met gewoontevorming. Faure et al. brachten selectief laesies aan in de DA-cellen die naar de DLS projecteren met behulp van 6-OHDA en ontdekten dat deze manipulatie verrassend weinig effect had op de frequentie van het indrukken van de hendel, hoewel het de gewoontevorming belemmerde, zoals gemeten met behulp van uitkomstdevaluatie ( Faure et al., 2005 ). Dat wil zeggen, dieren met laesies reageerden doelgericht, terwijl de training in een controlegroep gewoontegedrag genereerde dat ongevoelig was voor uitkomstdevaluatie. Lokale DA-depletie is dus vergelijkbaar met excitotoxische laesies van de DLS, in die zin dat beide manipulaties gewoontevorming vertragen en de verwerving van doelgerichte acties bevorderen ( Yin et al., 2004 ). Een fasisch DA-signaal dat cruciaal is voor gewoontevorming, wordt reeds goed beschreven door het effectieve bekrachtigingssignaal in hedendaagse temporele-differentie-bekrachtigingsleeralgoritmen, geïnspireerd door het werk van Hull en Spence ( Hull, 1943 ; Spence, 1947 , 1960 ; Sutton en Barto, 1998 ).

Cortico-basale ganglia-netwerken

Tot nu toe hebben we de functionele heterogeniteit binnen het striatum besproken, maar het zou misleidend zijn om te suggereren dat een willekeurig striataal gebied bijvoorbeeld de actie-uitkomstcontingentie volledig zelfstandig zou kunnen vertalen in de uitvoering van een actie. De hersenhelften zijn eerder georganiseerd als herhalende functionele eenheden die bestaan ​​uit cortico-basale ganglia-netwerken ( Swanson, 2000 ; Zahm, 2005 ). Het striatum, als toegangspunt tot de gehele basale ganglia, fungeert als een unieke hub in het cortico-basale ganglia-netwerkmotief, in staat om input van de cortex, de thalamus en de middenhersenen te integreren . Zoals hierboven beschreven, hoewel het een continue structuur is, lijken verschillende striatale gebieden deel te nemen aan verschillende functionele netwerken, bijvoorbeeld de nucleus accumbens fungeert als hub in het limbisch netwerk en de dorsolaterale striatum (DLS) in het sensorimotorische netwerk. Vanwege de re-entrante eigenschap van dergelijke netwerken is echter geen enkel onderdeel van deze structuur in absolute zin stroomopwaarts of stroomafwaarts; Het thalamocorticale systeem is bijvoorbeeld zowel de bron van een belangrijke input naar het striatum als het doelwit van zowel de striato-pallidale als de striato-nigrale banen.

Hoewel parallelle, terugkerende basale ganglia-circuits al lang bekend zijn ( Alexander et al., 1986 ), benadrukken we hier de verschillende functionele rollen van deze circuits, gebaseerd op operationeel gedefinieerde representatiestructuren en op interacties tussen de circuits bij het genereren van integratief gedrag. Op basis hiervan kunnen ten minste vier van dergelijke netwerken worden onderscheiden: de limbische netwerken, die respectievelijk de schil en de kern van de nucleus accumbens omvatten, het associatieve netwerk, dat het associatieve striatum (DMS) omvat, en het sensorimotorische netwerk, dat het sensorimotorische striatum (DLS) omvat. Hun functies variëren van het bemiddelen van de controle van appetitieve Pavloviaanse ongeconditioneerde responsen (UR's) en geconditioneerde responsen (CR's) tot instrumentele handelingen ( Figuur 1 ).

  

Figuur 1

Grote functionele domeinen van het striatum. Een illustratie van het striatum van een coronale sectie die de helft van de hersenen laat zien (Paxinos en Franklin, 2003). Merk op dat deze vier functionele domeinen anatomisch continu zijn en ruwweg overeenkomen met wat ...

Zoals reeds vermeld, bestaat het ventrale striatum voornamelijk uit de nucleus accumbens, die verder kan worden onderverdeeld in de schil en de kern, die elk deelnemen aan een afzonderlijk functioneel netwerk. De corticale (glutamaterge) projecties naar de schil zijn afkomstig van de infralimbische, centrale en laterale orbitale cortex, terwijl de projecties naar de kern afkomstig zijn van meer dorsale middenlijngebieden van de prefrontale cortex, zoals de ventrale en dorsale prelimbische cortex en de anterieure cingulate cortex ( Groenewegen et al., 1990 ; Zahm, 2000 , 2005 ). Binnen deze functionele netwerken suggereert het hierboven besproken bewijs dat de schil betrokken is bij ongeconditioneerde responsen (UR's) op beloningen en de verwerving van consumptieve geconditioneerde responsen (CR's); de kern bij exploratief gedrag, met name de verwerving en expressie van Pavloviaanse toenaderingsreacties. Binnen het grotere ventrale of limbische cortico-basale ganglia-netwerk kunnen dus minstens twee belangrijke netwerken worden onderscheiden: één voor consumptief gedrag en de andere voor voorbereidend gedrag en de modificatie daarvan door Pavloviaanse conditionering ( Figuur 1 ).

Het dorsale striatum kan eveneens worden onderverdeeld in ten minste twee belangrijke regio's: een associatief en een sensorimotorisch gebied, elk met een eigen functioneel netwerk. Het associatieve striatum (nucleus caudatus en delen van het anterieure putamen bij primaten) bevat neuronen die vuren in afwachting van beloningen die afhankelijk zijn van de respons en die hun vuurpatroon aanpassen aan de grootte van de verwachte beloning ( Hikosaka et al., 1989 ; Hollerman et al., 1998 ; Kawagoe et al., 1998 ). In het associatieve netwerk zijn de prefrontale en pariëtale associatiecortex en hun doelwit in het dorsale striatum betrokken bij het tijdelijke geheugen, zowel prospectief, in de vorm van uitkomstverwachtingen, als retrospectief, als een registratie van recente efferente kopieën ( Konorski, 1967 ). Het sensorimotorische niveau omvat daarentegen de sensorimotorische cortex en hun doelwitten in de basale ganglia. De output van dit circuit is gericht op motorische cortexen en motorische netwerken in de hersenstam. De neurale activiteit in het sensorimotorische striatum wordt over het algemeen niet gemoduleerd door de verwachting van een beloning en vertoont meer bewegingsgerelateerde activiteit dan neuronen in het associatieve striatum ( Kanazawa et al., 1993 ; Kimura et al., 1993 ; Costa et al., 2004 ). Ten slotte is er, naast de mediaal-laterale gradiënt, een significante functionele heterogeniteit langs de anteroposteriore as van het dorsale striatum, hoewel er momenteel onvoldoende gegevens beschikbaar zijn om een ​​gedetailleerde classificatie mogelijk te maken ( Yin et al., 2005b ).

Tot nu toe hebben studies zich alleen gericht op de corticale en striatale componenten van deze netwerken. Over het algemeen hebben laesies van een corticaal gebied vergelijkbare effecten als laesies van het bijbehorende striatale doelgebied ( Balleine en Dickinson, 1998 ; Corbit en Balleine, 2003 ; Yin et al., 2005b ). Maar andere componenten in het netwerk zouden vergelijkbare functies kunnen vervullen. Zo bleek bijvoorbeeld dat laesies van de mediodorsale kern van de thalamus, een component van het associatieve netwerk, de gevoeligheid voor uitkomstdevaluatie en contingentieverslechtering op vrijwel dezelfde manier opheffen als laesies van de DMS en de prelimbische cortex ( Corbit et al., 2003 ). Hoewel ons algemene model dus vergelijkbare gedragsstoornissen voorspelt na schade aan elke component van een netwerk, suggereert het ook dat voor elke gegeven structuur, zoals het pallidum of de thalamus, meerdere functionele domeinen bestaan.

Interactie tussen netwerken

Onder de meeste omstandigheden lijken Pavloviaans en instrumenteel leren parallel te verlopen. Verschijnselen zoals PIT tonen echter aan in hoeverre deze anders afzonderlijke processen met elkaar kunnen interageren. Nadat we onafhankelijke functionele systemen hebben beschreven, is de volgende stap te begrijpen hoe deze systemen worden gecoördineerd om gedrag te genereren. Een aantrekkelijk voorstel, in overeenstemming met recent anatomisch onderzoek, is dat de hierboven beschreven netwerken hiërarchisch georganiseerd zijn, waarbij elk netwerk fungeert als een labiele, functionele intermediair in de hiërarchie, waardoor informatie van het ene niveau naar het volgende kan worden doorgegeven. Met name de recent ontdekte spiraalvormige verbindingen tussen het striatum en de middenhersenen suggereren een anatomische organisatie die mogelijk interacties tussen netwerken kan bewerkstelligen ( Figuur 2 ). Zoals waargenomen door Haber en collega's, sturen striatale neuronen directe remmende projecties naar DA-neuronen, waarvan ze wederkerige DA-projecties ontvangen, en projecteren ze ook naar DA-neuronen die op hun beurt projecteren naar een ander striataal gebied ( Haber et al., 2000 ). Deze projecties maken feed-forward propagatie van informatie mogelijk in slechts één richting, van de limbische netwerken naar associatieve en sensorimotorische netwerken. Een Pavloviaanse voorspelling (verworven waarde van de CS) zou bijvoorbeeld het effectieve leersignaal op limbisch niveau kunnen verminderen, terwijl het tegelijkertijd het DA-signaal op het volgende niveau zou kunnen versterken. De annulering van het effectieve leersignaal wordt normaal gesproken bewerkstelligd door een negatief feedbacksignaal via een remmende projectie, bijvoorbeeld van de GABAerge medium spiny projectieneuronen vanuit het striatum naar de DA-neuronen. Tegelijkertijd zou, zoals de anatomische organisatie suggereert ( Haber et al., 2000 ; Haber, 2003 ), de versterking van het DA-signaal voor het naburige cortico-basale ganglia-netwerk (het volgende niveau in de hiërarchie) kunnen worden bewerkstelligd via ontremmende projecties (d.w.z. GABAerge striatale projectieneuronen naar nigrale GABAerge interneuronen naar DA-neuronen). Zo kan de geleerde waarde van het limbisch netwerk worden overgedragen naar het associatieve netwerk, waardoor gedragsaanpassing bij elke iteratie kan worden verfijnd en versterkt ( Ashby, 1960 ). Dit model voorspelt daarom de progressieve betrokkenheid van verschillende neurale netwerken tijdens verschillende leerstadia, een suggestie die wordt ondersteund door diverse gegevens ( Jueptner et al., 1997b ; Miyachi et al., 1997 ; Miyachi et al., 2002 ; Yin, 2004 ; Everitt en Robbins, 2005 ; Yin en Knowlton, 2005 ; Belin en Everitt, 2008 ).

Fenomenen die de interactie van verschillende functionele processen vereisen, zoals PIT, bieden een vruchtbaar testterrein voor dit soort modellen. Het hiërarchische model is inderdaad in overeenstemming met recente experimentele bevindingen over PIT. Volgens het model worden Pavloviaans-instrumentele interacties gemedieerd door wederzijdse verbindingen tussen het striatum en DA-neuronen. DA lijkt cruciaal te zijn voor algemene transfer, die wordt opgeheven door DA-antagonisten en lokale inactivatie van de VTA ( Dickinson et al., 2000 ; Murschall en Hauber, 2006 ); terwijl lokale infusie van amfetamine, wat vermoedelijk de DA-spiegels verhoogt, in de nucleus accumbens deze significant kan versterken ( Wyvell en Berridge, 2000 ). De rol van dopamine in het ventrale striatum bij specifieke transfer is daarentegen minder duidelijk. Sommige aanwijzingen suggereren dat het mogelijk gespaard blijft na inactivatie van de VTA ( Corbit et al., 2007 ), maar zoals Corbit en Janak (2007) onlangs rapporteerden, wordt specifieke overdracht opgeheven door inactivatie van de DLS, wat suggereert dat dit aspect van stimuluscontrole over actieselectie mogelijk de nigrostriatale projectie betreft ( Corbit en Janak, 2007 ). In lijn met het hiërarchische perspectief vonden Corbit en Janak (2007) ook dat, terwijl inactivatie van de DLS het selectieve exciterende effect van Pavloviaanse signalen tenietdeed (vergelijkbaar met wat Corbit et al. (2001 ) na laesies van de nucleus accumbens shell observeerden ), inactivatie van de DMS alleen de uitkomstselectiviteit van de transfer tenietdeed, terwijl het algemene exciterende effect van deze signalen behouden bleef. Deze trend werd ook waargenomen na laesies van de mediodorsale thalamus, die deel uitmaakt van het associatieve cortico-basale ganglia-netwerk ( Ostlund en Balleine, 2008 ). Op basis van deze voorlopige resultaten lijkt de DMS alleen specifieke transfer te mediëren, terwijl de DLS mogelijk noodzakelijk is voor zowel de specifieke als de algemene exciterende effecten van Pavloviaanse signalen op instrumentele handelingen.

Interessant genoeg projecteert het limbisch striatum uitgebreid naar DA-cellen die projecteren naar het dorsale striatum ( Nauta et al., 1978 ; Nauta, 1989 ); de dopaminerge projecties naar het striatum en de striatale projecties terug naar de middenhersenen zijn sterk asymmetrisch ( Haber, 2003 ). Het limbisch striatum ontvangt beperkte input van DA-neuronen, maar stuurt uitgebreide output naar een veel grotere groep DA-neuronen, en het tegenovergestelde geldt voor het sensorimotorische striatum. De limbische netwerken bevinden zich dus in een perfecte positie om de associatieve en sensorimotorische netwerken aan te sturen. De neuroanatomie komt hier overeen met gedragsgegevens die aantonen dat de Pavloviaanse facilitatie van instrumenteel gedrag veel sterker is dan het omgekeerde; Er zijn inderdaad aanzienlijke aanwijzingen dat instrumentele handelingen de Pavloviaanse geconditioneerde responsen eerder remmen dan stimuleren – een bevinding waarvoor nog steeds een neurobiologische verklaring nodig is ( Ellison en Konorski, 1964 ; Williams, 1965 ).

Conclusies

Het hier besproken hiërarchische model verschilt, zoals opgemerkt moet worden, sterk van andere modellen die uitsluitend uitgaan van de cortex en langeafstandsverbindingen tussen corticale gebieden ( Fuster, 1995 ). Het integreert de bekende componenten en connectiviteit van de hersenen, in plaats van ze te beschouwen als een mengelmoes van corticale modules die op een ongespecificeerde manier een breed scala aan cognitieve functies uitvoeren. Het vermijdt ook de aannames, die zijn overgeërfd uit de 19e ^- eeuwse neurologie, dat de hersenschors in het algemeen, en de prefrontale cortex in het bijzonder, op de een of andere manier een 'hogere' homunculus-eenheid vormt die de hele hersenen aanstuurt ( Miller en Cohen, 2001 ).

Bovendien kunnen uit het huidige model verschillende specifieke voorspellingen worden afgeleid: (i) Er zouden afzonderlijke voorspellingsfouten moeten zijn voor zelfgegenereerde acties en voor toestanden/stimuli met eigenschappen die hun verschillende neurale substraten en functionele rollen weerspiegelen. (ii) De pallidale en thalamische componenten van elk afzonderlijk cortico-basale ganglia-netwerk zullen naar verwachting ook nodig zijn voor het type gedragscontrole dat voor elk netwerk wordt verondersteld, en niet alleen de corticale en striatale componenten. (iii) Er zou een progressieve betrokkenheid van verschillende neurale netwerken moeten zijn tijdens verschillende leerstadia. (iv) De activiteit in de nucleus accumbens kan DA-neuronen en op hun beurt de activiteit in het dorsale striatum rechtstreeks controleren. Gebaseerd op een rapport van Holland (2004) dat suggereert dat PIT toeneemt met instrumentele training, wordt verwacht dat deze 'limbische' controle van de associatieve en sensorimotorische netwerken sterker wordt met langdurige training.

Zonder gedetailleerde gegevens is het nog te vroeg om een ​​formeel account van het hiërarchische model aan te bieden. Niettemin moet de bovenstaande discussie duidelijk maken dat de huidige versies van de mesoaccumbens-beloningshypothese berusten op problematische veronderstellingen over de aard van het beloningsproces en het gebruik van ontoereikende gedragsmaatregelen. Univerende principes, altijd het doel van de wetenschappelijke onderneming, kunnen alleen worden gebaseerd op de realiteit van experimentele gegevens, hoe onpraktisch deze ook mogen zijn. Omdat de functie van de hersenen uiteindelijk het genereren en beheersen van gedrag is, zal gedetailleerde gedragsanalyse de sleutel zijn tot het begrijpen van neurale processen, net zoals een grondige beschrijving van aangeboren en verworven immuniteit de opheldering van het immuunsysteem mogelijk maakt. Hoewel het schijnbaar een truïsme is, kan het nauwelijks genoeg worden benadrukt dat we hersenmechanismen kunnen begrijpen voor zover hun functies nauwkeurig worden beschreven en gemeten. Wanneer de studie van de neurale functie gebaseerd is op experimenteel vastgestelde psychologische capaciteiten, bijvoorbeeld de weergave van voorwaardelijke voorvallen en onvoorspelbaarheid van prikkels, worden de bekende anatomische organisatie en fysiologische mechanismen in een nieuw licht geplaatst, leidend tot de formuleringen van nieuwe hypothesen en het ontwerp van nieuwe experimenten. Als een eerste stap in deze richting hopen we dat het hier besproken kader zal dienen als een nuttig uitgangspunt voor toekomstig onderzoek.

Dankwoord

Referenties