Beloningsgeleide leer buite dopamien in die kernklem: die integrerende funksies van kortikobasale ganglia-netwerke (2008)

Dit het algemeen geword in die onlangse literatuur om 'n monolitiese konsep van 'beloning' te vind wat eenvormig toegepas word op aptytgedrag, hetsy om enigiets aan te dui wat goed is vir die organisme (gewoonlik vanuit die perspektief van die eksperimenteerder), of uitruilbaar gebruik word met ouer terme soos 'versterking' of 'aansporing'. Hierdie toedrag van sake word aangemoedig deur, indien nie self die gevolg van, die fokus op 'n enkele neurale substraat vir 'beloning' wat vrystelling van dopamien (DA) in die nucleus accumbens behels (Berke en Hyman, 2000; Grace et al., 2007).

Die skakel tussen die mesoaccumbens-pad en beloning, wat dekades gelede erken is, is versterk deur meer onlangse bewyse dat die fasiese DA-sein 'n beloningsvoorspellingsfout kodeer, wat vermoedelik as 'n onderrigsein in assosiatiewe leer dien.g (Schultz et al., 1997). Volgens die gewildste interpretasie, net soos daar 'n enkele sein vir beloning is, so is daar 'n enkele sein vir beloningsgeleide leer, wat in hierdie geval verband tussen 'n stimulus en 'n beloning beteken (Montague et al., 2004). Die vraag hoe hierdie tipe leer aanpasbare gedrag beheer, is egter afgeskeep; daar word eenvoudig aanvaar dat die dopamiensein voldoende is vir beide voorspellende leer, en die voorwaardelike reaksies wat daardeur veroorsaak word, en vir doelgerigte aksies gelei deur hul assosiasie met beloning. Gevolglik is die fokus van die meeste navorsing op die gebied van beloning en verslawing DA-sein en verwante plastisiteit in die mesoaccumbens-pad (Berridge en Robinson, 1998; Hyman et al., 2006; Grace et al., 2007).

Hierdie siening van die beloningsproses, soos toenemend erken word (Kardinaal et al., 2002; Balleine, 2005; Everitt en Robbins, 2005; Hyman et al., 2006), is beide onvoldoende en misleidend. Dit is onvoldoende omdat nóg die verwerwing nóg die uitvoering van doelgerigte aksies verklaar kan word in terme van die assosiatiewe prosesse wat stimulus-beloning leer bemiddel.. Dit is boonop misleidend omdat die uitsluitlike fokus op aktiwiteit in die mesoaccumbens-pad, wat nie nodig of voldoende is vir doelgerigte aksies nie, die aandag afgelei het van die meer fundamentele vraag van presies wat doelgerigte aksies is en hoe dit geïmplementeer word. deur die brein. Inderdaad, volgens samevloeiende bewyse van 'n verskeidenheid eksperimentele benaderings, kan wat voorheen gelyk het na 'n enkele beloningsmeganisme in werklikheid verskeie prosesse met duidelike gedragseffekte en neurale substrate (Corbit et al., 2001; O'Doherty et al., 2004; Yin et al., 2004; Delgado et al., 2005; Yin et al., 2005b; Haruno en Kawato, 2006a; Tobler et al., 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler et al., 2007).

Hier probeer ons om sommige van die probleme wat met die huidige mesoaccumbens-model verband hou bloot te lê en om in die plek daarvan 'n ander model van beloningsgeleide leer voor te stel. Ons sal argumenteer dat die striatum 'n hoogs heterogene struktuur is wat in ten minste vier funksionele domeine verdeel kan word, wat elk optree as 'n spilpunt in 'n duidelike funksionele netwerk met ander kortikale, thalamus-, pallidale en middelbreinkomponente.. Die integrerende funksies van hierdie netwerke, wat wissel van die produksie van onvoorwaardelike reaksies wat deur beloning ontlok word tot die beheer van doelgerigte aksies, kan gedissosieer en bestudeer word deur gebruik te maak van kontemporêre gedragstoetse.

Voorspelling en beheer

Daar word dikwels aanvaar dat die mesoaccumbens-pad nodig is vir die verkryging van 'n assosiasie tussen beloning en omgewingstimuli wat daardie beloning voorspel. Byvoorbeeld, in sommige van die eksperimente wat die fasiese aktiwiteit van DA-selle ondersoek wat deur beloning ontlok is, is ape opgelei om 'n stimulus te assosieer met die aflewering van sap (Waelti et al., 2001) en reageer vervolgens op die stimulus met 'n voorwaardelike reaksie (CR)-antisiperende lek. Die aap se lek kan doelgerig wees, want hy glo dit is nodig om sap te verkry. Alternatiewelik kan lek ontlok word deur die antesedente stimulus waarmee sap geassosieer word. Watter van hierdie determinante van die ape se lek beheer die gedrag in enige spesifieke situasie is nie bekend nie a priori, en kan nie deur oppervlakkige waarneming bepaal word nie; dit kan slegs bepaal word met behulp van toetse wat spesifiek vir hierdie doel ontwerp is. Hierdie toetse, wat baie dekades geneem het om te ontwikkel, vorm die kern van die groot moderne vooruitgang in die studie van leer en gedrag (Tabel 1). Uit die gebruik van hierdie toetse, wat hieronder bespreek sal word, weet ons nou dat dieselfde gedragsreaksie – of dit nou ambulante benadering, oriëntering of druk van 'n hefboom is – kan ontstaan ​​uit veelvuldige invloede wat eksperimenteel dissosieerbaar is.

  

Tabel 1

Beloning-geleide leer

Onsensitiwiteit vir die sentrale dubbelsinnigheid in die werklike determinante van gedrag is dus die hoofprobleem met huidige neurowetenskaplike ontleding van beloningsgeleide leer. To om die belangrikheid van hierdie probleem te verstaan, is dit nodig om die verskille te waardeer tussen hoe voorspellende (of Pavloviaanse) leer en doelgerigte (of instrumentele) leer aptytgedrag beheer. Inderdaad, te oordeel aan hoe dikwels hierdie twee prosesse in die literatuur oor beloning met mekaar vermeng is, blyk 'n kort oorsig van hierdie onderskeid 'n nuttige beginpunt vir ons bespreking te wees.

In aptytlike Pavloviaanse kondisionering word die beloning (dws die onvoorwaardelike stimulus of US) gepaard met 'n stimulus (voorwaardelike stimulus of CS), ongeag die dier se gedrag, terwyl die beloning in instrumentele leer afhanklik is van die diere se optrede. Die kritieke vraag in beide situasies is egter of die stimulus-beloning assosiasie of die aksie-beloning assosiasie gedrag beheer.

So eenvoudig soos dit lyk, het hierdie vraag ondersoekers vir baie dekades ontwyk, hoofsaaklik omdat die gedragsreaksies in hierdie situasies identies kan voorkom.

Dus, die voorwaardelike reaksies (CR's) wat deur die Pavloviaanse stimulus-beloningvereniging beheer word, kan dikwels 'n fineer van doelgerigtheid oor hulle hê. Selfs speeksel, Pavlov se oorspronklike CR, kon deur sy honde geproduseer word as 'n doelbewuste poging om inname te vergemaklik. Dit is juis as gevolg van hierdie dubbelsinnigheid dat die mees voor die hand liggende verduideliking – naamlik dat in Pavloviaanse kondisionering die stimulus-uitkoms-assosiasie aangeleer word, terwyl in instrumentele kondisionering die aksie-uitkoms-assosiasie aangeleer word – vir baie dekades nie veel steun gekry het nie (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Nietemin, hoewel baie Pavloviaanse CR's outonoom of voleindig is, word ander CR's, soos benaderingsgedrag na 'n beloning, nie so gerieflik gekarakteriseer nie (Rescorla en Solomon, 1967); hulle kan inderdaad maklik verwar word met instrumentele aksies (Brown en Jenkins, 1968; Williams en Williams, 1969; Schwartz en Gamzu, 1977). Ons weet nou dat, ten spyte van 'n oppervlakkige ooreenkoms, Pavloviaanse CR's en doelgerigte instrumentele aksies verskil in die voorstellingstruktuur wat prestasie van die respons beheer (Schwartz en Gamzu, 1977).

Die mees direkte manier om vas te stel of die prestasie van 'n reaksie bemiddel word deur 'n stimulus-beloning of 'n aksie-beloning-assosiasie, is om die spesifieke gebeurlikheidsbeherende prestasie te ondersoek. Die voorbeeld van speeksel is hier leersaam. Sheffield (1965) getoets of speekselafskeiding in Pavloviaanse kondisionering beheer is deur sy verhouding tot beloning of deur die stimulus-beloning assosiasie. In sy eksperiment het honde parings ontvang tussen 'n toon en 'n kosbeloning (Sheffield, 1965). As die honde egter speeksel tydens die toon, dan is die kos nie op daardie verhoor afgelewer nie. Hierdie reëling het 'n Pavloviaanse verhouding tussen die toon en voedsel gehandhaaf, maar het enige direkte verband tussen speeksel en voedselaflewering afgeskaf. As die speekselafskeiding 'n aksie was wat beheer word deur sy verhouding met kos, dan moet die honde ophou speeksel - hulle moet inderdaad nooit speeksel op die toon verkry nie. Sheffield het gevind dat dit duidelik die Pavloviaanse toon-voedsel-verhouding was wat die speeksel-CR beheer het. Gedurende die loop van meer as 800 toon-voedselparings het die honde speeksel op die toon opgedoen en behou, al het dit daartoe gelei dat hulle die meeste van die kos verloor het wat hulle kon verkry het deur nie te speeksel nie. 'n Soortgelyke gevolgtrekking is deur ander bereik in studies met mense (Pithers, 1985) en ander diere (Brown en Jenkins, 1968; Williams & Williams, 1969; Holland, 1979); in alle gevalle blyk dit dat, ten spyte van hul groot verskeidenheid, Pavloviaanse reaksies nie beheer word deur hul verhouding tot die beloning nie – dit wil sê deur die aksie-uitkoms gebeurlikheid.

Die term gebeurlikheid verwys na die voorwaardelike verhouding tussen 'n gebeurtenis 'A' en 'n ander, 'B', sodanig dat die voorkoms van B van A afhang. 'n Verwantskap van hierdie soort kan maklik gedegradeer word deur B in die afwesigheid van A aan te bied. eksperimentele manipulasie, waarna verwys word as gebeurlikheidsdegradasie, word algemeen uitgevoer deur 'n beloning aan te bied onafhanklik van óf die voorspellende stimulus óf die aksie. Alhoewel hierdie benadering oorspronklik ontwikkel is om Pavloviaanse kondisionering te bestudeer (Rescorla, 1968), het instrumentele gebeurlikheidsdegradasie ook 'n algemene instrument geword (Hammond, 1980). Wanneer hierdie gebeurlikhede direk gemanipuleer word, word die inhoud van leer geopenbaar: bv. in outoshaping, word 'n Pavloviaanse CR 'vermom' as 'n instrumentele aksie ontwrig deur manipulasies van die Pavloviaanse eerder as die instrumentele gebeurlikheid (Schwartz en Gamzu, 1977).

Doelgerigte instrumentele aksies word gekenmerk deur twee kriteria: 1) sensitiwiteit vir veranderinge in die waarde van die uitkoms, en 2) sensitiwiteit vir veranderinge in die gebeurlikheid tussen aksie en uitkoms. (Dickinson, 1985; Dickinson en Balleine, 1993). Sensitiwiteit vir uitkomsdevaluasie alleen, moet dit beklemtoon word, is nie voldoende om 'n reaksie as doelgerig te karakteriseer nie, want sommige Pavloviaanse reaksies kan ook sensitief wees vir hierdie manipulasie (Holland en Rescorla, 1975). Die uitvoering van doelgerigte instrumentele aksies is egter ook sensitief vir manipulasies van die aksie-uitkoms gebeurlikheid, terwyl Pavloviaanse reaksies sensitief is vir manipulasies van die stimulus-uitkoms gebeurlikheid (Rescorla, 1968; Davis en Bitterman, 1971; Dickinson en Charnock, 1985). 'n Belangrike uitsondering kan egter gevind word in die geval van gewoontes (sien hieronder), wat meer soortgelyk is aan Pavloviaanse reaksies in hul relatiewe onsensitiwiteit vir veranderinge in die instrumentele gebeurlikheid, maar ook ondeurdringbaar is vir uitkomsdevaluasie omdat die uitkoms nie deel is nie. van die voorstellingstruktuur wat prestasie beheer (vgl. Dickinson, 1985 en hieronder vir verdere bespreking).

Om op te som, is dit dus van die uiterste belang dat 'n spesifieke reaksie duidelik gedefinieer word in terme van die beherende gebeurlikheid eerder as deur óf die reaksievorm óf die gedragstaak wat gebruik word om dit vas te stel. Sonder om die beherende gebeurlikheid in 'n gegewe situasie te ondersoek, sal beide die gedrag en die neurale prosesse wat gevind word om die gedrag te bemiddel, waarskynlik verkeerd gekarakteriseer word. Uiteindelik, soos ons sal argumenteer, is dit die werklike beherende gebeurlikhede, verkry deur leer en geïmplementeer deur verskillende neurale stelsels, wat gedrag beheer, alhoewel hulle dieselfde 'finale gemeenskaplike pad' kan deel. Die sentrale uitdaging is dus om verder as die voorkoms te gaan om die onderliggende gebeurlikheidsbeherende gedrag te ontbloot (vir 'n opsomming sien Tabel 1). Om te beweer dat spesifieke neurale strukture spesifieke psigologiese vermoëns bemiddel, bv. doelgerigtheid, moet die status van die gedrag met die toepaslike gedragstoetse geassesseer word. Om anders te doen, is om verwarring uit te nooi as groepe argumenteer oor die toepaslike neurale determinante, terwyl hulle nie besef dat hul gedragstake verskillende verskynsels kan meet nie. Wat uiteindelik saak maak, is wat die dier werklik leer, nie wat die eksperimenteerder glo dat die dier leer nie, en wat die dier eintlik leer, kan slegs aan die lig gebring word deur toetse wat die inhoud van leer direk ondersoek.

Die Pavloviaanse-instrumentele onderskeid sou onbenullig gewees het, as die dier daarin kon slaag om dieselfde ding te leer (sê 'n assosiasie tussen die stimulus en beloning), ongeag wat die eksperimentele reëlings is. Deur die mees algemene maatstawwe van leer wat vandag vir neurowetenskap beskikbaar is, te gebruik, is daar eenvoudig geen manier om te sê nie. Navorsers beweer dus dikwels dat hulle doelgerigte gedrag bestudeer sonder om te ondersoek of die betrokke gedrag in werklikheid op die doel gerig is. Alhoewel daar algemeen aanvaar word dat verskillende tipes leer voortspruit uit die gebruik van verskillende 'take' of 'paradigmas', versuim navorsers meer dikwels om 'n voldoende rasionaal vir hul aannames te verskaf.

'n Klassieke voorbeeld van hierdie kwessie is die gebruik van doolhowe om leer te bestudeer. Een probleem met doolhof-eksperimente en verwante toetse, soos gekondisioneerde plekvoorkeur, is die moeilikheid om die invloed van die Pavloviaanse (stimulus-beloning) en die instrumentele (aksie-beloning) gebeurlikhede op gedrag eksperimenteel te dissosieer (Dickinson, 1994; Yin en Knowlton, 2002). Dus, beweeg deur 'n T-doolhof om kos te kry kan 'n reaksiestrategie weerspieël (draai links) of bloot 'n gekondisioneerde benadering tot een of ander ekstra-doolhof-landmerk wat deur die cue-food-vereniging beheer word (Restle, 1957). Een manier om te toets of laasgenoemde 'n rol in prestasie speel, is om die doolhof om te keer; nou moet reaksie-leerders voortgaan om links te draai terwyl diegene wat ekstra-doolhof-leidrade gebruik regs moet draai. Maar gebruik diegene wat aanhou om links te draai, werklik 'n reaksiestrategie of nader hulle net 'n paar intra-doolhof leidraad wat verband hou met kos? Dit is nie 'n eenvoudige saak om uit te vind nie, want die gewone kontroles vir Pavloviaanse beheer van gedrag kan nie maklik in doolhofstudies toegepas word nie. Een hiervan, die tweerigtingbeheer, stel vas dat diere beheer kan uitoefen oor 'n spesifieke reaksie deur die omkeer van die rigting van daardie reaksie te vereis om beloning te verdien (Hershberger, 1986; Heyes en Dawson, 1990). Ongelukkig, in 'n doolhof, kan reaksie-omkering steeds nie voldoende wees om 'n aksie as doelgerig te vestig nie, want omkering kan bewerkstellig word deur die bestaande stimulus-beloning-verhouding te blus en dit met 'n ander te vervang. Byvoorbeeld, 'n rot wat 'n spesifieke intra-doolhof leidraad nader, kan tydens omkering leer dat dit nie meer met beloning gepaard gaan nie, maar dat 'n ander stimulus wel is, wat lei tot die verkryging van 'n benadering CR na die nuwe stimulus. Hulle kan dus blykbaar hul reaksie omkeer sonder dat hulle ooit die reaksie-beloning-gebeurlikheid gekodeer het. Omdat hierdie moontlikheid nie in die praktyk getoets kan word nie, is die gebruik van doolhowe, plekvoorkeurprosedures of eenvoudige lokomotoriese take om doelgerigte leerprosesse te bestudeer besonder gevaarlik en sal waarskynlik lei tot die verkeerde karakterisering van die prosesse wat gedrag beheer saam met die spesifieke rol van enige neurale prosesse gevind om betrokke te wees (Smith-Roe en Kelley, 2000; Hernandez et al., 2002; Atallah et al., 2007).

Nucleus accumbens is nie nodig vir instrumentele leer nie

Die ontoereikendheid van huidige gedragsanalise word veral duidelik in die studie van die nucleus accumbens. Baie studies het voorgestel dat hierdie struktuur van kritieke belang is vir die verkryging van doelgerigte aksies (Hernandez et al., 2002; Gaan en Grace, 2005; Hernandez et al., 2005; Pothuizen et al., 2005; Taha en Fields, 2006; Atallah et al., 2007; Cheer et al., 2007; Lerchner et al., 2007). Maar hierdie gevolgtrekking is grootliks gebaseer op maatstawwe van 'n verandering in prestasie alleen, met behulp van take waarin die gebeurlikheidsbeheerde gedrag dubbelsinnig is. Alhoewel die waarneming dat 'n manipulasie die verkryging van een of ander gedragsreaksie benadeel, 'n leertekort kan aandui, kan dit ook 'n effek op responsinisiasie of motivering weerspieël. Byvoorbeeld, 'n gestremdheid in die verkryging van hefboomdruk kan dikwels 'n effek op prestasie eerder as op leer weerspieël (Smith-Roe en Kelley, 2000). Verwerwingskurwes alleen, as onvolledige voorstellings van enige leerproses, moet met omsigtigheid geïnterpreteer word (Gallistel et al., 2004). Ongelukkig word die onderskeid tussen leer en prestasie, miskien die oudste les in die studie van leer, vandag dikwels geïgnoreer.

'n Meer gedetailleerde analise dui aan dat die accumbens nie nodig of voldoende is vir instrumentele leer nie. Letsels van die accumbens-dop verander nie sensitiwiteit van prestasie vir uitkomsdevaluasie nie (de Borchgrave et al, 2002; Corbit et al, 2001) of tot instrumentele gebeurlikheidsdegradasie (Corbit et al, 2001), terwyl daar gevind is dat letsels van die accumbens-kern sensitiwiteit vir devaluasie verminder sonder om die rotte se sensitiwiteit vir selektiewe agteruitgang van die instrumentele gebeurlikheid te benadeel (Corbit et al., 2001). Ander studies wat die effek van accumbens-manipulasies op die verkryging van 'n nuwe reaksie in studies van gekondisioneerde versterking beoordeel het konsekwent 'n effek op beloningsverwante prestasie gevind, veral die verbetering van prestasie deur amfetamien, maar nie op die verkryging van reaksie per se nie (Parkinson et al, 1999). Net so het 'n sistematiese studie deur Cardinal en Cheung ook geen effek van accumbens-kernletsels op die verkryging van 'n hefboompersreaksie onder 'n deurlopende versterkingskedule gevind nie; verswakte verkryging is slegs waargeneem met vertraagde versterking (Cardinal en Cheung, 2005).

Alhoewel die accumbens nie die instrumentele gebeurlikheid kodeer nie (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001), heelwat bewyse dui daarop dat dit wel 'n fundamentele rol speel in instrumentaal prestasie, 'n rol wat ons nou beter kan definieer in die lig van onlangse werk. Soos tot die gevolgtrekking gekom deur verskeie studies, is die accumbens krities vir sekere tipes aptytwekkende Pavloviaanse kondisionering, en bemiddel beide die nie-spesifieke opwindende effekte wat beloning-geassosieerde leidrade op instrumentele prestasie kan hê, sowel as die uitkomsspesifieke vooroordele op reaksieseleksie wat geproduseer word. deur sulke leidrade. Letsels van die kern, of van die anterior cingulate, 'n groot bron van kortikale insette na die kern, of 'n ontkoppeling tussen hierdie twee strukture, benadeel die verkryging van Pavloviaanse benaderingsgedrag (Parkinson et al., 2000). Plaaslike infusie van 'n D1-agtige dopamienreseptorantagonis of 'n NMDA glutamaatreseptorantagonis onmiddellik na opleiding het ook hierdie vorm van leer benadeel sonder om prestasie te beïnvloed (Dalley et al., 2005). Hierdie data stem ooreen met maatreëls van in vivo neurale aktiwiteit. Carelli en kollegas het byvoorbeeld gevind dat neurone in die accumbens-kern hul aktiwiteit sistematies kan verander tydens die aanleer van 'n Pavloviaanse outovormende taak (Dag et al., 2006; Dag en Carelli, 2007).

Neurone in die dopgebied blyk ingestel te wees op belonings en afkeerlike stimuli, selfs voor enige leerervaring; hulle is ook in staat om reaksies op CS'e te ontwikkel wat hierdie uitkomste voorspel (Roitman et al., 2005). Werk deur Berridge en kollegas, bowendien, het die moontlikheid geopper dat sekere streke binne die nucleus accumbens dop en in die stroomafwaartse ventrale pallidum as 'hedoniese brandpunte' gekarakteriseer kan word. Hierdie gebiede moduleer direk onvoorwaardelike hedoniese reaksies op belonings, soos smaakreaktiwiteit. Byvoorbeeld, agoniste van opioïedreseptore in hierdie streke kan die inname-smaakreaktiwiteit na sukrose aansienlik versterk. Sulke hoogs gelokaliseerde streke is egter ingebed in wyer netwerke wat nie 'n rol speel in volmaakte aptytgedrag nie (Taha en Fields, 2005; Pecina et al., 2006; Taha en Fields, 2006).

Die onderskeid in die relatiewe rolle van kern en dop blyk een te wees tussen onderskeidelik voorbereidende en volmaakte aptytgedrag, wat maklik deur ervaring deur verskillende tipes Pavloviaanse kondisionering verander kan word. Voorbereidende response soos benadering word gekoppel aan algemene emosionele kwaliteite van die uitkoms, terwyl die volmaakte gedrag gekoppel word aan meer spesifieke sensoriese kwaliteite; hulle is ook differensieel vatbaar vir verskillende tipes CS, bv. voorbereidende response word makliker gekondisioneer met 'n stimulus met 'n lang duur (Konorski, 1967; Dickinson en Dearing, 1979; Balleine, 2001; Dickinson en Balleine, 2002).

In elk geval, die bewyse wat die accumbens in sommige aspekte van Pavloviaanse kondisionering impliseer, is oorweldigend. Dit is egter nie die enigste struktuur wat betrokke is nie, en ander netwerke, soos dié wat die verskillende amygdaloïde kerne behels, blyk ook 'n sentrale rol te speel in beide die voorbereidende en voleindige komponente van Pavloviaanse konditonering (Balleine en Killcross, 2006).

Een funksie wat duidelik aan die accumbens toegeskryf kan word, is die integrasie van Pavloviaanse invloede op instrumentele gedrag. Pavloviaanse CR's, insluitend dié wat die aktivering van sentrale motiveringstoestande weerspieël, soos drang en opwekking, kan 'n sterk invloed uitoefen op die uitvoering van instrumentele aksies (Trapold en Overmier, 1972; Lovibond, 1983; Holland, 2004). Byvoorbeeld, 'n CS wat onafhanklik voedselaflewering voorspel, kan instrumentele reaksie vir dieselfde kos verhoog. Hierdie effek word algemeen bestudeer met behulp van die Pavloviaanse-instrumentele oordragparadigma (PIT). In PIT ontvang diere afsonderlike Pavloviaanse en instrumentele opleidingsfases, waarin hulle onafhanklik leer om 'n leidraad met kos te assosieer, en om 'n hefboom vir dieselfde kos te druk. Dan word die leidraad tydens sondeproewe aangebied met die beskikbare hefboom, en die verhoging van reaksietempo's in die teenwoordigheid van die CS word gemeet. Twee vorme van PIT is geïdentifiseer; een wat verband hou met die algemeen opwindende effek van beloningsverwante leidrade en 'n tweede meer selektiewe effek op keuseprestasie geproduseer deur die voorspellende status van 'n leidraad met respek vir een spesifieke beloning in teenstelling met ander. Die accumbens-dop is nodig vir hierdie laasgenoemde uitkomsspesifieke vorm van PIT, maar is nie nodig vir eersgenoemde, meer algemene vorm of vir sensitiwiteit vir uitkomsdevaluasie nie; daarenteen verminder letsels van die accumbens-kern sensitiwiteit vir beide uitkomsdevaluasie en die algemene vorm van PIT, maar laat ongeskonde uitkomsspesifieke PIT (Corbit et al., 2001; (Balleine en Corbit, 2005).

'n Onlangse studie het verdere insig verskaf in die rol van die accumbens-dop in uitkomsspesifieke PIT (Wiltgen et al., 2007). Beheerde uitdrukking van aktiewe kalsium/kalmodulien-afhanklike proteïenkinase II (CaMKII) in die striatum het nie instrumentele of Pavloviaanse leer beïnvloed nie, maar spesifieke PIT afgeskaf. Hierdie tekort in PIT was nie permanent nie en kon omgekeer word deur die transgeenuitdrukking met doksisiklien af ​​te skakel, wat aantoon dat die tekort slegs met prestasie geassosieer word. Die kunsmatige verhoging van die vlak van CaMKII in die striatum blokkeer dus die uitkomsspesifieke oordrag van aansporingsmotivering van die Pavloviaanse na die instrumentele sisteem. Interessant genoeg is gevind dat die aanskakeling van die CaMKII-transgeen ook die prikkelbaarheid van neurone in die accumbens-dop verminder, sonder om basale oordrag of sinaptiese sterkte te beïnvloed.

Die dorsale striatum

Die dorsale striatum, ook bekend as die neostriatum of caudate-putamen, ontvang massiewe projeksies van die sogenaamde neokorteks. Dit kan verder verdeel word in 'n assosiatiewe gebied, wat by knaagdiere meer mediaal en aaneenlopend met die ventrale striatum is, en 'n sensorimotoriese gebied wat meer lateraal is. (Groenewegen et al., 1990; Joel en Weiner, 1994). As 'n geheel word die dorsale striatum geïnnerveer deur DA-selle van die substantia nigra pars compacta (SNc), en ontvang slegs skrale projeksies van die VTA DA-neurone (Joel en Weiner, 2000). Vorige werk oor die dorsale striatum het hoofsaaklik gefokus op die rol daarvan in stimulus-respons (SR) gewoonte-leer (Miller, 1981; Wit, 1989). Hierdie siening is gebaseer op die wet van effek, waarvolgens 'n beloning optree om 'n SR-assosiasie tussen die omgewingstimuli en die reaksie wat uitgevoer word te versterk, of te versterk, waardeur die neiging om daardie reaksie uit te voer toeneem in die teenwoordigheid van diegene stimuli (Thorndike, 1911; Hull, 1943; Miller, 1981). Daar word dus gedink dat die kortikostriatale pad SR-leer bemiddel met DA wat as die versterkingssein optree (Miller, 1981; Reynolds en Wickens, 2002).

SR-modelle het die voordeel dat dit 'n spaarsamige reël bevat vir die vertaling van leer in prestasie. 'n Model gebaseer op aksieverwante verwagtinge, daarenteen, is meer ingewikkeld omdat die oortuiging "Aksie A lei tot Uitkoms O" nie noodwendig in aksie omgesit hoef te word nie (Guthrie, 1935; Mackintosh, 1974); inligting van hierdie soort kan beide gebruik word om 'A' uit te voer en om die uitvoering van 'A' te vermy. Om hierdie rede het tradisionele teorieë die mees voor die hand liggende verduideliking vermy - naamlik dat diere 'n aksie-uitkoms gebeurlikheid kan verkry wat keusegedrag rig. Die laaste paar dekades het egter 'n aansienlike hersiening van die effekwet plaasgevind (Adams, 1982; Colwill en Rescorla, 1986; Dickinson, 1994; Dickinson et al., 1996). TDie resultate van baie studies het getoon dat instrumentele aksies werklik doelgerig kan wees, dws sensitief vir veranderinge in beloningswaarde sowel as die oorsaaklike doeltreffendheid van die aksie (sien Dickinson & Balleine, 1994; 2002; Balleine, 2001 vir resensies). Nietemin, in die loop van uitgebreide opleiding onder konstante toestande, kan selfs nuutverworwe aksies relatief outomaties en stimulusgedrewe word - 'n proses wat bekend staan ​​as gewoontevorming (Adams en Dickinson, 1981; Adams, 1982; Yin et al., 2004). Gewoontes wat so gedefinieer word, wat outomaties deur antesedente stimuli ontlok word, word nie beheer deur die verwagting of voorstelling van die uitkoms nie; hulle is gevolglik ongevoelig vir veranderinge in uitkomswaarde. Vanuit hierdie perspektief is die effekwet dus 'n spesiale geval wat slegs van toepassing is op gewoontegedrag.

Die huidige klassifikasie van instrumentele gedrag verdeel dit in twee klasse. Tdie eerste klas bestaan ​​uit doelgerigte aksies wat deur die instrumentele gebeurlikheid beheer word; die tweede, gewoontegedrag wat ondeurdringbaar is vir veranderinge in uitkomswaarde (Tabel 1). Deur gebruik te maak van gedragstoetse soos uitkomsdevaluasie en instrumentele gebeurlikheidsdegradasie, het Yin et al 'n funksionele dissosiasie tussen die sensorimotoriese (dorsolaterale striatum, DLS) en assosiatiewe streke (dorsomediale striatum, DMS) van die dorsale striatum gevestig (Yin en Knowlton, 2004; Yin et al., 2004, 2005a; Yin et al., 2005b; Yin et al., 2006a). Letsels van die DLS het die ontwikkeling van gewoontes benadeel, wat gelei het tot 'n meer doelgerigte wyse van gedragsbeheer. Letsels van die DMS het die teenoorgestelde effek en lei tot 'n oorskakeling van doelgerigte na gewoontebeheer. Yin et al het gevolglik tot die gevolgtrekking gekom dat die DLS en DMS funksioneel gedissosieer kan word in terme van die tipe assosiatiewe strukture wat hulle ondersteun: die DLS is krities vir gewoontevorming, terwyl die DMS krities is vir die verkryging en uitdrukking van doelgerigte aksies. Hierdie analise voorspel dat, onder sekere toestande (bv. uitgebreide opleiding) die beheer van aksies van die DMS-afhanklike stelsel na die DLS-afhanklike stelsel kan verskuif, 'n gevolgtrekking wat in breë ooreenkoms is met die aansienlike literatuur oor primate, insluitend menslike neurobeelding (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi et al., 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno en Kawato, 2006a, b; Lohrenz et al., 2007; Tobler et al., 2007). Dit moet natuurlik onthou word, thoed fisiese ligging (bv. dorsaal of ventraal) alleen kan nie 'n betroubare gids wees om die knaagdierstriatum en die primaatstriatum te vergelyk nie; sulke vergelykings moet met omsigtigheid gemaak word, na deeglike oorweging van die anatomiese konnektiwiteit.

Die effekte van dorsale striatale letsels kan vergelyk word met dié van accumbens letsels (Smith-Roe en Kelley, 2000; Atallah et al., 2007). Soos reeds genoem, is die standaardtoetse om 'n gedrag as 'doelgerigte' vas te stel uitkomsdevaluasie en degradering van die aksie-uitkoms gebeurlikheid (Dickinson en Balleine, 1993). Letsels van die DMS maak gedrag onsensitief vir beide manipulasies (Yin et al., 2005b), terwyl letsels van die accumbens kern of dop nie (Corbit et al., 2001). Boonop word die ondersoektoetse van hierdie gedragstoetse tipies in uitsterwing uitgevoer, sonder die aanbieding van enige beloning, om te bepaal wat die dier geleer het sonder besmetting deur nuwe leer. Hulle ondersoek dus direk die verteenwoordigende struktuur wat gedrag beheer. As 'n bykomende eksperimentele kontrole is dit dikwels nuttig om 'n aparte devaluasietoets uit te voer waarin belonings werklik gelewer word—die sogenaamde 'beloonde toets'. Letsels van die DMS het nie sensitiwiteit vir uitkomsdevaluasie op die beloonde toets afgeskaf nie, soos verwag moet word, aangesien die lewering van 'n gedevalueerde uitkoms afhanklik van 'n aksie die aksie kan onderdruk onafhanklik van aksie-uitkoms-kodering. Accumbens-dopletsels, aan die ander kant, het nie sensitiwiteit vir uitkomsdevaluasie op óf die uitsterwingstoets óf die beloonde toets benadeel nie, terwyl accumbens kernletsels sensitiwiteit vir devaluasie op beide toetse opgehef het (Corbit et al., 2001). Sensitiwiteit vir gebeurlikheidsdegradasie is egter nie deur enige van die letsels beïnvloed nie, wat toon dat, na accumbens letsels, die rotte in staat was om aksie-uitkomsvoorstellings te enkodeer en te herwin.

Die rol van dopamien: Mesolimbies vs. nigrostriataal

Sedert die baanbrekerstudies oor die fasiese aktiwiteit van DA-neurone in ape, is 'n algemene aanname in die veld dat alle DA-selle in wese dieselfde optree (Schultz, 1998a; Montague et al., 2004). Die beskikbare data, sowel as die anatomiese konnektiwiteit, dui egter anders. Trouens, die bogenoemde ontleding van funksionele heterogeniteit in die striatum kan ook uitgebrei word na die DA-selle in die middelbrein.

DA-selle kan in twee hoofgroepe verdeel word: VTA en substantia nigra pars compacta (SNc). Alhoewel die projeksie van die VTA aan accumbens was die middelpunt van aandag op die gebied van beloningsverwante leer, die veel meer massiewe nigrostriatale pad is relatief verwaarloos, met aandag hoofsaaklik gefokus op die rol daarvan in Parkinson se siekte. Huidige denke oor die rol van DA in leer is sterk beïnvloed deur die voorstel dat die fasiese aktiwiteit van DA-selle 'n beloningsvoorspellingsfout weerspieëlr (Ljungberg et al., 1992; Schultz, 1998b). EkIn die mees algemene Pavloviaanse kondisioneringstaak wat deur Schultz en kollegas gebruik word, skiet hierdie neurone in reaksie op beloning (VS), maar met leer word die aktiwiteit wat deur die VSA ontlok is, na die CS verskuif. Wanneer die VSA uitgelaat word nadat dit geleer is, toon die DA-selle 'n kort depressie in aktiwiteit op die verwagte tyd van sy aflewering (Waelti et al., 2001; Fiorillo et al., 2003; Tobler et al., 2003). Sulke data vorm die basis van 'n verskeidenheid berekeningsmodelle (Schultz et al., 1997; Schultz, 1998b; Brown et al., 1999; Montague et al., 2004).

Gegewe veelvuldige vlakke van beheer in die meganismes van sintese en vrystelling, kan die spiking van DA-neurone nie gelykgestel word aan DA-vrystelling nie, alhoewel 'n mens sou verwag dat hierdie twee maatreëls hoogs gekorreleer is. Inderdaad, soos getoon deur 'n onlangse studie deur Carelli en kollegas wat vinnige skandering sikliese voltammetrie gebruik, werklike DA-vrystelling in die accumbens-kern blyk gekorreleer te wees met 'n voorspellingsfout in aptytlike Pavloviaanse kondisionering (Dag et al., 2007). Hulle het 'n fasiese DA-sein in die accumbens-kern gevind onmiddellik na ontvangs van sukrose-beloning in Pavlovian autoshaping. Na uitgebreide Pavloviaanse kondisionering, is hierdie sein egter nie meer gevind na die beloning self nie, maar het eerder na die CS verskuif. Hierdie bevinding ondersteun die oorspronklike 'voorspellingsfout'-hipotese. Dit stem ook ooreen met vroeëre werk wat verswakte prestasie van die Pavloviaanse CR toon na óf DA-reseptorantagonisme óf DA-uitputting in die accumbens-kern (Di Ciano et al., 2001; Parkinson et al., 2002). Een waarneming uit die studie is egter nuut en van aansienlike belang: na uitgebreide kondisionering met 'n CS+ wat beloning voorspel en 'n CS- wat nie beloning voorspel nie, is 'n soortgelyke, hoewel kleiner, DA-sein ook waargeneem na die CS-, alhoewel dit het ook onmiddellik 'n effense daling getoon (500~800 millisekondes na aanvang van die aanduiding) na die aanvanklike piek (Dag et al, 2007, Figuur 4). Teen hierdie stadium van leer nader diere byna nooit die CS− nie, maar nader konsekwent die CS+. Die fasiese DA-sein onmiddellik na die voorspeller mag dus nie 'n oorsaaklike rol speel in die generering van die benaderingsreaksie nie, aangesien dit teenwoordig is selfs in die afwesigheid van die reaksie. Of so 'n sein steeds nodig is om die stimulusbeloninggebeurlikheid te leer, bly onduidelik, maar die waargenome fasiese reaksie op die CS- word beslis nie deur enige van die huidige modelle voorspel nie.

Interessant genoeg benadeel plaaslike DA-uitputting prestasie op hierdie taak (Parkinson et al., 2002). Terwyl 'n fasiese DA-sein na die CS− waargeneem word, wat glad nie CR's genereer nie, benadeel die afskaffing van beide fasiese en toniese DA deur plaaslike uitputting die prestasie van CR's. So 'n patroon dui daarop dat 'n fasiese DA-sein in die accumbens nie nodig is vir prestasie van die Pavloviaanse CR nie, maar 'n rol kan speel in leer, terwyl 'n stadiger, meer toniese DA-sein (vermoedelik afgeskaf in uitputtingstudies) belangriker is vir prestasie van die benadering reaksie (Cagniard et al., 2006; Yin et al., 2006b; Niv et al., 2007). Hierdie moontlikheid moet nog getoets word.

Alhoewel daar geen direkte bewyse is vir 'n oorsaaklike rol van die fasiese DA-sein in leer nie, het die 'voorspellingsfout'-hipotese nogtans baie aandag getrek, want dit is juis die tipe onderrigsein wat in prominente modelle van leer gebruik word. soos die Rescorla-Wagner-model en sy intydse uitbreiding die temporele verskilversterking leeralgoritme (Schultz, 1998b). Volgens hierdie interpretasie word aptytleer bepaal deur die verskil tussen ontvangde en verwagte beloning (of tussen twee tydelik opeenvolgende beloningsvoorspellings). So 'n onderrigsein word gereguleer deur negatiewe terugvoer van alle voorspellers van die beloning (Schultz, 1998b). As geen beloning die voorspeller volg nie, dan word die negatiewe terugvoermeganisme ontmasker as 'n duik in die aktiwiteit van die DA-neurone. Leer behels dus die progressiewe vermindering van die voorspellingsfout.

Die elegansie van die onderrigsein in hierdie modelle het miskien sommige van die anatomiese werklikheid afgelei. In die studie deur Day et al (2007), kom die DA-sein in die accumbens meestal van selle in die VTA, maar dit lyk onwaarskynlik dat ander DA-selle, met heeltemal verskillende anatomiese konnektiwiteit, dieselfde responsprofiel sal toon en dieselfde sein sal verskaf. 'n Gradiënt in wat die DA-selle sein, is meer waarskynlik, aangesien DA-selle na verskillende striatale streke projekteer met heeltemal verskillende funksies, en op hul beurt ook duidelike negatiewe terugvoerseine van verskillende striatale streke ontvang (Joel en Weiner, 2000; Wickens et al., 2007). Die meganismes van opname en degradasie, sowel as die presinaptiese reseptore wat vrystelling van dopamien reguleer, toon ook aansienlike variasie oor die striatum (Cragg et al., 2002; Rice en Cragg, 2004; Wickens et al., 2007; Rice en Cragg, 2008).

Ons stel dus voor dat die mesoaccumbens-pad 'n meer beperkte rol speel in Pavloviaanse leer, in die verkryging van die waarde van toestande en stimuli, terwyl die nigrostriatale pad belangriker is vir instrumentele leer, in die verkryging van die waardes van aksies. Thoed is, die fasiese DA-sein kan verskillende voorspellingsfoute enkodeer, eerder as 'n enkele voorspellingsfout, soos tans aanvaar word. Drie bewyse ondersteun hierdie argument. Eerstens, genetiese uitputting van DA in die nigrostriatale pad benadeel die verkryging en uitvoering van instrumentele aksies, terwyl uitputting van DA in mesolimbiese pad nie (Sotak et al., 2005; Robinson et al., 2007). Tweedens kan DA-selle in die SNc die waarde van aksies kodeer, soortgelyk aan selle in hul teiken striatale streek (Morris et al., 2006). Derdens, selektiewe letsel van die nigrostriatale projeksie na die DLS belemmer gewoontevorming (Faure et al., 2005).

Onlangse werk deur Palmiter en kollegas het getoon dat geneties gemanipuleerde DA gebrekkige muise ernstig benadeel is in instrumentele leer en prestasie, maar hul prestasie kan herstel word óf deur L-DOPA inspuiting óf deur virale geenoordrag na die nigrostriatale pad (Sotak et al., 2005; Robinson et al., 2007). Daarenteen was DA-herstel in die ventrale striatum nie nodig om instrumentele gedrag te herstel nie. Alhoewel hoe DA-seine instrumentele leer moontlik maak 'n ope vraag bly, is een ooglopende moontlikheid dat dit die waarde van selfgeïnisieerde aksies kan kodeer, dit wil sê hoeveel beloning voorspel word gegewe 'n bepaalde optrede.

Die dorsale striatum, as 'n geheel, bevat die hoogste uitdrukking van DA-reseptore in die brein, en ontvang die mees massiewe dopaminergiese projeksie. Die DA-projeksie na die DMS kan 'n ander rol in leer speel as die projeksie na die DLS, aangesien hierdie twee streke aansienlik verskil in die tydelike profiel van DA-vrystelling, opname en degradasie (Wickens et al., 2007). Ons veronderstel dat die DA-projeksie na die DMS vanaf die mediale SNc van kritieke belang is vir aksie-uitkomsleer, terwyl die DA-projeksie na die DLS vanaf die laterale SNc van kritieke belang is vir gewoontevorming. As dit waar is, moet 'n mens verwag dat DA-selle in die SNc die fout in beloningsvoorspelling sal enkodeer op grond van self-gegenereerde aksies - instrumentele voorspellingsfout - eerder as dié wat op die CS gebaseer is. Voorlopige bewyse ter ondersteuning van hierdie bewering kom uit 'n onlangse studie deur Morris et al, wat vanaf SNc neurone aangeteken het tydens 'n instrumentele leertaak (Morris et al., 2006). Ape is opgelei om hul arms te beweeg in reaksie op 'n diskriminerende stimulus (S^D) wat die toepaslike beweging en die waarskynlikheid van beloning aangedui het. Die S^D ontlok fasiese aktiwiteit in die DA neurone wat ooreenstem met die aksie waarde gebaseer op die verwagte beloning waarskynlikheid van 'n spesifieke aksie. Die interessantste is, hoewel die DA se reaksie op die S^D toegeneem met aksiewaarde, was die omgekeerde waar van die DA-reaksie op die beloning self, in ooreenstemming met die idee dat hierdie neurone 'n voorspellingsfout wat met daardie waarde geassosieer word, kodeer. Dit is nie verbasend dat die primêre striatale teiken van hierdie selle, die kaudaatkern, bekend is dat dit neurone bevat wat aksiewaardes kodeer (Samejima et al., 2005). Daar moet egter op gelet word dat hierdie studie nie gedragstake gebruik het wat die waarde van aksies ondubbelsinnig assesseer nie. 'n Duidelike voorspelling van ons model is dat fasiese DA-aktiwiteit die uitvoering van aksies sal vergesel, selfs in die afwesigheid van 'n eksplisiete S^D. Ons voorspel byvoorbeeld uitbarsting van nigrale DA-neurone ten tyde van 'n self-geïnisieerde aksie wat 'n beloning verdien.

Na ons mening, terwyl die mesoaccumbens DA-sein die waarde van die CS weerspieël, weerspieël die nigrostriatale sein, miskien van daardie neurone wat na die DMS projekteer, die waarde van die aksie self, of van enige S^D wat hierdie waarde voorspel. Verder blyk dit dat beide instrumentele en Pavloviaanse leer een of ander vorm van negatiewe terugvoer behels om die effektiewe onderrigsein te beheer. Trouens, die direkte projeksies van die striatum na die middelbrein DA neurone (Figuur 2) is lank reeds voorgestel as die neurale implementering van hierdie tipe negatiewe terugvoer (Houk et al., 1995), en die sterkte en aard van die inhiberende insette kan heelwat verskil van streek tot streek.

  

Figuur 2

Die kortiko-basale ganglia netwerke

'n Voorspellingsfout, volgens huidige modelle, is 'n onderrigsein wat bepaal hoeveel leer plaasvind. Solank dit teenwoordig is, gaan leer voort. Hoe voor die hand liggend hierdie bewering ook al lyk, 'n voorspellingsfout vir aksiewaarde, hoewel sintakties soortgelyk aan die Pavloviaanse voorspellingsfout, het unieke kenmerke wat nie omvattend ondersoek is nie. In tradisionele modelle soos die Rescorla-Wagner-model, wat uitsluitlik Pavloviaanse kondisionering aanspreek (hoewel met beperkte sukses), is die sleutelkenmerk die negatiewe terugvoer wat voorspellingsfout reguleer. Hierdie uitset verteenwoordig die verworwe voorspelling, meer spesifiek die som van alle huidige voorspellers, soos vasgevang deur die saamgestelde stimuli wat tipies in blokkeringseksperimente gebruik word (Rescorla, 1988). Dit is hierdie opsomming van beskikbare voorspellers om 'n globale foutterm vas te stel wat die vernaamste innovasie in hierdie klas model is. Vir instrumentele aksies lyk individuele foutterme egter meer waarskynlik, want dit is moeilik om te sien hoe die negatiewe terugvoer die waarde van veelvuldige aksies gelyktydig sal bied wanneer slegs een aksie op 'n slag uitgevoer kan word. Natuurlik is daar 'n aantal moontlike oplossings. Byvoorbeeld, gegewe 'n spesifieke toestand (eksperimenteel geïmplementeer deur 'n duidelike S^D), kan die moontlike optredes inderdaad gelyktydig as verworwe voorspellings voorgestel word. Maar die grootste probleem met instrumentele voorspellingsfoute het te make met die aard van die aksie self. 'n Pavloviaanse voorspelling volg outomaties die aanbieding van die stimulus, wat onafhanklik van die organisme is. 'n Instrumentele voorspellingsfout moet die element van beheer aanspreek, want die voorspelling is self aksie-afhanklik, en 'n doelbewuste aksie word spontaan uitgestuur op grond van die diere se strewe na die gevolge van optrede eerder as wat deur antesedente stimuli ontlok word. Op die ou end is dit juis 'n algemene verwaarlosing van die spontane aard van doelgerigte aksies, in beide neurowetenskap en sielkunde, wat die onderskeid tussen Pavloviaanse en instrumentele leerprosesse, en die aard van die betrokke voorspellingsfoute vervaag het. Dit moet dus vasgestel word watter tipe negatiewe terugvoersein, indien enige, die verkryging van aksiewaardes reguleer (Dayan en Balleine, 2002).

Laastens, onlangse werk het ook die nigrostriatale projeksie van die laterale SNc na DLS spesifiek in gewoontevorming geïmpliseer. Faure et al het die DA-selle wat na DLS uitsteek met 6-OHDA selektief letsels en gevind dat hierdie manipulasie verbasend min effek het op die tempo van hefboomdruk, alhoewel dit gewoontevorming benadeel het, soos gemeet met uitkomsdevaluasie (Faure et al., 2005). Dit wil sê, beseerde diere het op 'n doelgerigte wyse gereageer, selfs al het die opleiding in 'n kontrolegroep gewoontegedrag gegenereer wat onsensitief is vir uitkomsdevaluasie. Plaaslike DA-uitputting is dus soortgelyk aan eksitotoksiese letsels van die DLS, deurdat beide manipulasies gewoontevorming vertraag en die verkryging van doelgerigte aksies bevoordeel (Yin et al., 2004). 'n Fasiese DA-sein wat krities is vir gewoontevorming word reeds goed beskryf deur die effektiewe versterkingssein in hedendaagse temporele-verskilversterkingsleeralgoritmes geïnspireer deur die werk van Hull en Spence (Hull, 1943; Spence, 1947, 1960; Sutton en Barto, 1998).

Kortiko-basale ganglia netwerke

Tot dusver het ons die funksionele heterogeniteit binne die striatum bespreek, maar dit sal misleidend wees om voor te stel dat enige striatale area, sê, die aksie-uitkoms gebeurlikheid kan vertaal in die uitvoering van 'n aksie op sigself. Die serebrale hemisfere is eerder georganiseer as itererende funksionele eenhede wat bestaan ​​uit kortiko-basale ganglia netwerke (Swanson, 2000; Zahm, 2005). Tdie striatum, synde die toegangstasie van die hele basale ganglia, dien as 'n unieke middelpunt in die kortiko-basale ganglia netwerkmotief, wat in staat is om kortikale, thalamus- en middelbreininsette te integreer. Soos hierbo beskryf, alhoewel dit 'n aaneenlopende struktuur is, blyk dit dat verskillende striatale streke aan afsonderlike funksionele netwerke deelneem, bv. die accumbens tree op as 'n spilpunt in die limbiese netwerk en die DLS in die sensorimotoriese netwerk. As gevolg van die herintree-eienskap van sulke netwerke is geen enkele komponent van hierdie struktuur egter in enige absolute sin stroomop of stroomaf nie; bv. die thalamokortikale stelsel is beide die bron van 'n groot inset na die striatum en die teiken van beide die striato-pallidale en striato-nigrale weë.

Alhoewel parallelle teruglopende basale ganglia-lusse lank reeds herken is (Alexander et al., 1986), beklemtoon ons afsonderlike funksionele rolle van hierdie stroombane gebaseer op operasioneel gedefinieerde voorstellingstrukture en op interaksies tussen stroombane in die generering van integrerende gedrag. Op hierdie basis kan ten minste vier sulke netwerke onderskei word: die limbiese netwerke wat onderskeidelik die dop en kern van die accumbens behels, die assosiatiewe netwerk wat die assosiatiewe striatum (DMS) behels, en die sensorimotoriese netwerk wat die sensorimotoriese striatum (DLS) behels. Hul funksies wissel van die bemiddeling van die beheer van aptytwekkende Pavloviaanse UR'e en CR's tot instrumentele aksies (Figuur 1).

  

Figuur 1

Belangrike funksionele domeine van die striatum. 'n Illustrasie van die striatum van 'n koronale gedeelte wat die helfte van die brein wys (Paxinos en Franklin, 2003). Let daarop dat hierdie vier funksionele domeine anatomies kontinu is, en rofweg ooreenstem met wat ...

Soos reeds genoem, bestaan ​​die ventrale striatum meestal uit die nucleus accumbens, wat verder verdeel kan word in die dop en die kern, wat elk deelneem aan 'n duidelike funksionele netwerk. Die kortikale (glutamatergiese) projeksies na die dop spruit uit infralimbiese, sentrale en laterale orbitale korteks, terwyl die projeksies na die kern spruit uit meer dorsale middellynstreke van prefrontale korteks soos die ventrale en dorsale prelimbiese en anterior cingulate korteks (Groenewegen et al., 1990; Zahm, 2000, 2005). Binne hierdie funksienetwerke dui bewyse wat hierbo nagegaan is aan dat die dop betrokke is by UR's tot belonings en die verkryging van volmaakte CR's; die kern in verkennende gedrag, veral die verkryging en uitdrukking van Pavloviaanse benaderingsreaksies. Ten minste twee hoofnetwerke kan dus binne die groter ventrale of limbiese kortiko-basale ganglia-netwerk onderskei word, een vir consummatory en die ander vir voorbereidende gedrag en hul modifikasie deur Pavloviaanse kondisionering (Figuur 1).

Die dorsale striatum kan eweneens in ten minste twee hoofstreke verdeel word, assosiatief en sensomotories, met 'n duidelike funksionele netwerk wat met elk geassosieer word. Die assosiatiewe striatum (caudaat en dele van die anterior putamen by primate) bevat neurone wat afvuur in afwagting van reaksie-voorwaardelike belonings en hul afvuur verander volgens die grootte van die verwagte beloning (Hikosaka et al., 1989; Hollerman et al., 1998; Kawagoe et al., 1998). In die assosiatiewe netwerk is die prefrontale en pariëtale assosiasie kortekse en hul teiken in die DMS betrokke by verbygaande geheue, beide prospektief, in die vorm van uitkomsverwagtinge, en retrospektief, as 'n rekord van onlangse efferensie-kopieë (Konorski, 1967). Die sensorimotoriese vlak, aan die ander kant, bestaan ​​uit die sensorimotoriese kortekse en hul teikens in die basale ganglia. Die uitsette van hierdie stroombaan is gerig op motoriese kortekse en breinstammotoriese netwerke. Neurale aktiwiteit in die sensorimotoriese striatum word oor die algemeen nie gemoduleer deur beloningsverwagting nie, wat meer bewegingsverwante aktiwiteit vertoon as neurone in die assosiatiewe striatum (Kanazawa et al., 1993; Kimura et al., 1993; Costa et al., 2004). Laastens, bykomend tot die mediale-laterale gradiënt, is daar beduidende funksionele heterogeniteit langs die anterior-posterior as van die dorsale striatum, alhoewel nie voldoende data tans beskikbaar is om enige gedetailleerde klassifikasie toe te laat nie (Yin et al., 2005b).

Studies het tot dusver net gefokus op die kortikale en striatale komponente van hierdie netwerke. Oor die algemeen het letsels van 'n kortikale area soortgelyke effekte as letsels van sy striatale teiken (Balleine en Dickinson, 1998; Corbit en Balleine, 2003; Yin et al., 2005b). Maar ander komponente in die netwerk kan soortgelyke funksies bedien. Daar is byvoorbeeld gevind dat letsels van die mediodorsale kern van die talamus, 'n komponent van die assosiatiewe netwerk, sensitiwiteit vir uitkomsdevaluasie en gebeurlikheidsdegradasie op baie dieselfde manier as letsels aan die DMS en die prelimbiese korteks (Corbit et al., 2003). Dus, alhoewel ons algemene model soortgelyke gedragstekorte voorspel na skade aan elke komponent van 'n netwerk, stel dit ook voor, vir enige gegewe struktuur soos pallidum of thalamus, veelvuldige funksionele domeine.

Interaksie tussen netwerke

Onder die meeste omstandighede lyk dit of Pavloviaanse en instrumentele leer parallel plaasvind. Verskynsels soos PIT demonstreer egter die mate waarin hierdie andersins afsonderlike prosesse in wisselwerking kan wees. Nadat onafhanklike funksionele stelsels afgebaken is, is die volgende stap om te verstaan ​​hoe hierdie stelsels gekoördineer word om gedrag te genereer. Een aantreklike voorstel, in ooreenstemming met onlangse anatomiese werk, is dat die netwerke wat hierbo uiteengesit is, hiërargies georganiseer is, wat elkeen as 'n labiele, funksionele tussenganger in die hiërargie dien, wat inligting toelaat om van een vlak na die volgende te versprei. In die besonder, die onlangs ontdekte spiraalvormige verbindings tussen die striatum en die middelbrein dui op 'n anatomiese organisasie wat moontlik interaksies tussen netwerke kan implementeer (Figuur 2). Soos waargeneem deur Haber en kollegas, stuur striatale neurone direkte inhiberende projeksies na DA neurone waaruit hulle wederkerige DA projeksies ontvang, en projekteer ook na DA neurone wat op hul beurt na 'n ander striatale area projekteer (Haber et al., 2000). Hierdie projeksies laat toe-voorwaartse verspreiding van inligting in slegs een rigting toe, van die limbiese netwerke tot assosiatiewe en sensoriesmotoriese netwerke. Byvoorbeeld, 'n Pavloviaanse voorspelling (verwerfde waarde van die CS) kan die effektiewe onderrigsein op die limbiese vlak verminder, terwyl die DA-sein toevallig op die volgende vlak potensieer. Die kansellasie van die effektiewe onderrigsein word normaalweg geïmplementeer deur 'n negatiewe terugvoersein via 'n inhiberende projeksie, byvoorbeeld vanaf die GABAergiese medium stekelrige projeksieneurone vanaf die striatum na die DA-neurone. Intussen, soos voorgestel deur die anatomiese organisasie (Haber et al., 2000; Haber, 2003), kan die potensiasie van die DA-sein vir die naburige kortiko-basale ganglia-netwerk (die volgende vlak in die hiërargie) geïmplementeer word via disinhiberende projeksies (dws GABAergiese striatale projeksieneurone na nigrale GABAergiese interneurone na DA-neurone). Die aangeleerde waarde van die limbiese netwerk kan dus na die assosiatiewe netwerk oorgedra word, waardeur gedragsaanpassing met elke iterasie verfyn en versterk kan word (Ashby, 1960). Hierdie model voorspel dus die progressiewe betrokkenheid van verskillende neurale netwerke tydens verskillende stadiums van leer, 'n voorstel wat ondersteun word deur 'n verskeidenheid data (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt en Robbins, 2005; Yin en Knowlton, 2005; Belin en Everitt, 2008).

Verskynsels wat die interaksie van duidelike funksionele prosesse vereis, soos PIT, bied 'n vrugbare toetsgrond vir modelle van hierdie soort. Inderdaad, die hiërargiese model is in ooreenstemming met onlangse eksperimentele bevindinge oor PIT. Volgens die model word Pavloviaanse-instrumentele interaksies bemiddel deur wederkerige verbindings tussen die striatum en DA neurone. DA blyk krities te wees vir algemene oordrag, wat afgeskaf word deur DA-antagoniste en plaaslike inaktivering van die VTA (Dickinson et al., 2000; Murschall en Hauber, 2006); terwyl plaaslike infusie van amfetamien, wat vermoedelik DA-vlakke verhoog, in die accumbens dit aansienlik kan verbeter (Wyvell en Berridge, 2000). Aan die ander kant is die rol van ventrale striatale dopamien in spesifieke oordrag minder duidelik. Sommige bewyse dui daarop dat dit gespaar kan word na inaktivering van die VTA (Corbit et al., 2007) maar as Corbit en Janak (2007) wat onlangs berig is, word spesifieke oordrag afgeskaf deur inaktivering van die DLS, wat daarop dui dat hierdie aspek van stimulusbeheer oor aksieseleksie die nigrostriatale projeksie (Corbit en Janak, 2007). Stem saam met die hiërargiese perspektief, Corbit en Janak (2007) het ook gevind dat, terwyl DLS-inaktivering die selektiewe opwindende effek van Paloviaanse leidrade afgeskaf het (soos wat waargeneem is na letsels van accumbens dop deur Corbit et al, 2001), het inaktivering van die DMS slegs die uitkoms-selektiwiteit van die oordrag afgeskaf, terwyl dit gelyk het of dit die algemene opwindende effek van hierdie leidrade behou, 'n neiging wat ook waargeneem is na letsels van mediodorsale talamus, wat deel is van die assosiatiewe kortiko-basale ganglia netwerk (Ostlund en Balleine, 2008). Op grond van hierdie voorlopige resultate blyk dit dat die DMS slegs spesifieke oordrag bemiddel, terwyl die DLS nodig kan wees vir beide die spesifieke en algemene opwindende effekte van Pavloviaanse leidrade op instrumentele aksies.

Interessant genoeg projekteer die limbiese striatum omvattend na DA-selle wat na die dorsale striatum projekteer (Nauta et al., 1978; Nauta, 1989); die dopaminerge projeksies na die striatum en die striatale projeksies terug na die middelbrein is hoogs asimmetries (Haber, 2003). Die limbiese striatum ontvang beperkte insette van DA-neurone, maar stuur uitgebreide uitset na 'n veel groter stel DA-neurone, en die teenoorgestelde is waar van die sensorimotoriese striatum. Die limbiese netwerke is dus in 'n perfekte posisie om die assosiatiewe en sensoriesmotoriese netwerke te beheer. Hier stem die neuroanatomie ooreen met gedragsdata dat die Pavloviaanse fasilitering van instrumentele gedrag baie sterker is as die omgekeerde; Inderdaad, aansienlike bewyse dui daarop dat instrumentele aksies geneig is om Pavloviaanse CR's te inhibeer eerder as op te prikkel - 'n bevinding wat nog op 'n neurobiologiese verduideliking wag (Ellison en Konorski, 1964; Williams, 1965).

Gevolgtrekkings

Die hiërargiese model wat hier bespreek word, moet daarop gelet word, verskil baie van ander wat uitsluitlik staatmaak op die korteks en langafstandverbindings tussen kortikale areas (Fuster, 1995). Dit inkorporeer die bekende komponente en konnektiwiteit van die brein, eerder as om dit te beskou as 'n potpourri van kortikale modules wat op een of ander ongespesifiseerde wyse 'n wye reeks kognitiewe funksies implementeer. Dit vermy ook aannames, geërf vanaf 19^th eeu neurologie, dat die serebrale korteks in die algemeen, en die prefrontale korteks in die besonder, op een of ander manier 'n 'hoër' homunkulêre eenheid vorm wat die hele brein beheer (Miller en Cohen, 2001).

Verder kan verskeie spesifieke voorspellings van die huidige model afgelei word: (i) Daar moet duidelike voorspellingsfoute wees vir self-gegenereerde aksies en vir toestande/stimuli met eienskappe wat hul verskillende neurale substrate en funksionele rolle weerspieël. (ii) Daar word ook verwag dat die pallidale en thalamus-komponente van elke diskrete kortiko-basale ganglia-netwerk nodig sal wees vir die tipe gedragsbeheer wat vir elke netwerk veronderstel word, nie net die kortikale en striatale komponente nie. (iii) Daar behoort 'n progressiewe betrokkenheid van verskillende neurale netwerke tydens verskillende stadiums van leer te wees. (iv) Accumbens-aktiwiteit kan DA-neurone direk beheer en, op sy beurt, dorsale striatale aktiwiteit. Gebaseer op 'n verslag deur Holland (2004) wat daarop dui dat PIT toeneem met instrumentele opleiding, word verwag dat hierdie 'limbiese' beheer van die assosiatiewe en sensomotoriese netwerke sal versterk met uitgebreide opleiding.

Sonder gedetailleerde data is dit nog te vroeg om 'n formele weergawe van die hiërargiese model te bied. Nietemin moet die bespreking hierbo dit duidelik maak dat huidige weergawes van die mesoaccumbens-beloninghipotese berus op problematiese aannames oor die aard van die beloningsproses en die gebruik van onvoldoende gedragsmaatreëls. Verenigende beginsels, altyd die doel van die wetenskaplike onderneming, kan slegs gegrond word op die realiteit van eksperimentele data, hoe moeilik dit ook al mag wees. Omdat die funksie van die brein uiteindelik die generering en beheer van gedrag is, sal gedetailleerde gedragsanalise die sleutel wees om neurale prosesse te verstaan, net soos 'n deeglike beskrywing van aangebore en verworwe immuniteit die toeligting van die immuunstelsel toelaat. Alhoewel dit oënskynlik 'n truïsme is, kan dit kwalik oorbeklemtoon word dat ons breinmeganismes kan verstaan ​​in die mate dat hul funksies beskryf en met presiesheid gemeet word. Wanneer die studie van neurale funksie gebaseer is op eksperimenteel gevestigde psigologiese vermoëns, byvoorbeeld die voorstelling van aksie-uitkoms en stimulus-uitkoms gebeurlikhede, word die bekende anatomiese organisasie sowel as fisiologiese meganismes in 'n nuwe lig gesien, wat lei tot die formulerings van nuwe hipoteses en die ontwerp van nuwe eksperimente. As 'n eerste stap in hierdie rigting, hoop ons dat die raamwerk wat hier bespreek word, as 'n nuttige vertrekpunt vir toekomstige ondersoek sal dien.

Erkennings

Verwysings