Belöningsstyrt lärande utöver dopamin i kärnans accumbens: integrationsfunktionerna för kortikobasala ganglia-nätverk (2008)

Det har blivit vanligt i den senaste litteraturen att hitta ett monolitiskt begrepp "belöning" tillämpat enhetligt på aptitligt beteende, oavsett om det ska beteckna något som är bra för organismen (vanligtvis ur försöksledarens perspektiv), eller används omväxlande med äldre termer som t.ex. 'förstärkning' eller 'incitament'. Detta tillstånd uppmuntras av, om inte i sig självt konsekvensen av, fokuseringen på ett enda neuralt substrat för "belöning" som involverar frisättning av dopamin (DA) i nucleus accumbens (Berke och Hyman, 2000; Grace et al., 2007).

Kopplingen mellan mesoaccumbens väg och belöning, som erkändes för decennier sedan, har återupplivats av nyare bevis på att den fasiska DA-signalen kodar ett belöningsförutsägelsefel, som förmodligen fungerar som en undervisningssignal i associativ inlärningg (Schultz et al., 1997). Enligt den mest populära tolkningen, precis som det finns en enda signal för belöning, så finns det en enda signal för belöningsstyrd inlärning, vilket i det här fallet betyder samband mellan en stimulans och en belöning (Montague et al., 2004). Frågan om hur denna typ av lärande styr adaptivt beteende har dock försummats; det antas helt enkelt att dopaminsignalen är tillräcklig för både förutsägande inlärning och de villkorade svaren som alstras därav, och för målinriktade handlingar styrda av deras associering med belöning. Följaktligen är fokus för den mesta forskningen inom området belöning och beroende DA-signalering och relaterad plasticitet i mesoaccumbens-vägen (Berridge och Robinson, 1998; Hyman et al., 2006; Grace et al., 2007).

Denna syn på belöningsprocessen, som alltmer erkänns (Cardinal et al., 2002; Balleine, 2005; Everitt och Robbins, 2005; Hyman et al., 2006), är både otillräcklig och vilseledande. Det är otillräckligt eftersom varken förvärvet eller utförandet av målinriktade handlingar kan förklaras i termer av de associativa processer som förmedlar stimulans-belönande lärande. Det är dessutom missvisande eftersom den exklusiva fokuseringen på aktivitet i mesoaccumbens-vägen, som varken är nödvändig eller tillräcklig för målinriktade handlingar, har avlett uppmärksamheten från den mer grundläggande frågan om exakt vad målriktade handlingar är och hur de genomförs. av hjärnan. I själva verket, enligt konvergerande bevis från en mängd olika experimentella tillvägagångssätt, kan vad som tidigare har verkat vara en enda belöningsmekanism faktiskt omfatta flera processer med distinkta beteendeeffekter och neurala substrat (Corbit et al., 2001; O'Doherty et al., 2004; Yin et al., 2004; Delgado et al., 2005; Yin et al., 2005b; Haruno och Kawato, 2006a; Tobler et al., 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler et al., 2007).

Här försöker vi avslöja några av de problem som är förknippade med den nuvarande mesoaccumbens-modellen och att i dess ställe föreslå en annan modell för belöningsstyrt lärande. Vi ska hävda att striatum är en mycket heterogen struktur som kan delas in i minst fyra funktionella domäner, som var och en fungerar som ett nav i ett distinkt funktionellt nätverk med andra kortikala, talamus, pallidala och mellanhjärnans komponenter.. De integrerande funktionerna i dessa nätverk, allt från produktionen av ovillkorliga svar framkallade av belöning till kontroll av målinriktade handlingar, kan dissocieras och studeras med hjälp av samtida beteendeanalyser.

Förutsägelse och kontroll

Mesoaccumbens-vägen antas ofta vara nödvändig för förvärvet av ett samband mellan belöning och miljöstimuli som förutsäger den belöningen. Till exempel, i några av experimenten som undersökte den fasiska aktiviteten hos DA-celler framkallade av belöning, tränades apor att associera en stimulans med leverans av juice (Waelti et al., 2001) och svarar därefter på stimulansen med ett villkorligt svar (CR) - förutseende slickning. Apans slickande kan vara målinriktat, eftersom den anser att det är nödvändigt att skaffa juice. Alternativt kan slickning framkallas av den föregående stimulans som juice är associerad med. Vilken av dessa bestämningsfaktorer för apornas slickande styr beteendet i någon speciell situation är inte känd a priori, och kan inte bestämmas genom ytlig observation; det kan endast bestämmas med tester som utformats speciellt för detta ändamål. Dessa test, som har tagit många decennier att utveckla, utgör kärnan i de stora moderna framstegen inom studiet av lärande och beteende (Tabell 1). Från användningen av dessa tester, som kommer att diskuteras nedan, vet vi nu att samma beteenderespons – oavsett om det är ambulerande tillvägagångssätt, orientering eller att trycka på en spak – kan uppstå från flera influenser som är experimentellt dissocierbara.

  

Tabell 1

Belöningsstyrt lärande

Okänslighet för den centrala tvetydigheten i beteendets faktiska bestämningsfaktorer är således huvudproblemet med nuvarande neurovetenskapliga analyser av belöningsstyrt lärande. To förstå betydelsen av detta problem är det nödvändigt att inse skillnaderna mellan hur prediktivt (eller pavlovskt) lärande och målstyrt (eller instrumentellt) lärande kontrollerar aptitbeteende. Att döma av hur ofta dessa två processer har blandats ihop i litteraturen om belöning, verkar en kort genomgång av denna distinktion vara en användbar utgångspunkt för vår diskussion.

Vid aptitlig Pavlovsk konditionering, paras belöningen (dvs. den ovillkorliga stimulansen eller US) med en stimulans (villkorlig stimulans eller CS), oavsett djurets beteende, medan belöningen vid instrumentell inlärning är beroende av djurens handlingar. Den kritiska frågan i båda situationerna är dock om föreningen stimulus-belöning eller aktion-belöning föreningen kontrollerar beteendet.

Hur enkelt det än verkar har denna fråga gäckat utredare i många decennier, till stor del eftersom beteendesvaren i dessa situationer kan verka identiska.

Således kan de villkorade svaren (CR) som kontrolleras av Pavlovian stimulus-belöningsförening ofta ha en finér av målinriktad karaktär. Till och med salivering, Pavlovs ursprungliga CR, kunde ha producerats av hans hundar som ett medvetet försök att underlätta förtäring. Det är just på grund av denna tvetydighet som den mest uppenbara förklaringen – nämligen att i Pavlovian konditionering lärs stimulus-utfall associationen, medan i instrumentell konditionering handling-outcome association lärs in – misslyckades med att få mycket stöd under många decennier (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Ändå, även om många Pavlovska CR:er är autonoma eller fullbordande, är andra CR:er, såsom närmande beteende mot en belöning, inte så bekvämt karakteriserade (Rescorla och Solomon, 1967); faktiskt, de kan lätt misstas för instrumentella handlingar (Brun och Jenkins, 1968; Williams och Williams, 1969; Schwartz och Gamzu, 1977). Vi vet nu att, trots en ytlig likhet, skiljer sig Pavlovianska CRs och målinriktade instrumentella handlingar i den representativa strukturen som kontrollerar resultatet av svaret (Schwartz och Gamzu, 1977).

Det mest direkta sättet att fastställa huruvida utförandet av ett svar förmedlas av en stimulans-belöning eller en aktion-belöning association är att undersöka den specifika beredskapskontrollerande prestationen. Exemplet med salivutsöndring är lärorikt här. Sheffield (1965) testade om salivutsöndring i Pavlovsk konditionering kontrollerades av dess förhållande till belöning eller av stimulans-belöningsassociationen. I sitt experiment fick hundar parningar mellan en ton och en matbelöning (Sheffield, 1965). Men om hundarna saliverade under tonen levererades inte maten på det försöket. Detta arrangemang upprätthöll ett pavlovskt förhållande mellan ton och mat, men avskaffade varje direkt samband mellan salivutsöndring och matleverans. Om salivutsöndringen var en handling som kontrollerades av dess förhållande till mat, så borde hundarna sluta salivera - de borde faktiskt aldrig få salivering till tonen alls. Sheffield fann att det helt klart var det Pavlovska ton-mat-förhållandet som styrde salivutsöndringen CR. Under loppet av över 800 parningar av ton-foder, förvärvade och bibehöll hundarna salivutsöndring till tonen, även om detta resulterade i att de förlorade det mesta av maten de kunde ha fått genom att inte salivera. En liknande slutsats drogs av andra i studier med människor (Pithers, 1985) och andra djur (Brun och Jenkins, 1968; Williams & Williams, 1969; Holland, 1979); i alla fall verkar det som om Pavlovianska svar, trots deras stora variation, inte styrs av deras förhållande till belöningen – dvs.

Termen kontingens syftar på det villkorliga förhållandet mellan en händelse 'A' och en annan, 'B', så att förekomsten av B beror på A. Ett förhållande av detta slag kan lätt försämras genom att presentera B i frånvaro av A. Detta experimentell manipulation, hänvisad till som oförutsedda nedbrytning, utförs vanligtvis genom att presentera en belöning oberoende av antingen den prediktiva stimulansen eller åtgärden. Även om detta tillvägagångssätt ursprungligen utvecklades för att studera Pavlovsk konditionering (Rescorla, 1968), har instrumentell beredskapsförsämring också blivit ett vanligt verktyg (Hammond, 1980). När dessa oförutsedda händelser manipuleras direkt avslöjas innehållet i lärandet: t.ex. i autoshaping, störs en Pavlovsk CR "förklädd" som en instrumentell handling av manipulationer av den pavloviska snarare än den instrumentella kontingensen (Schwartz och Gamzu, 1977).

Målinriktade instrumentella handlingar kännetecknas av två kriterier: 1) känslighet för förändringar i värdet av resultatet och 2) känslighet för förändringar i händelsen mellan åtgärd och resultat (Dickinson, 1985; Dickinson och Balleine, 1993). Känslighet för enbart resultatdevalvering, det bör betonas, räcker inte för att karakterisera ett svar som målinriktat eftersom vissa pavlovianska svar också kan vara känsliga för denna manipulation (Holland och Rescorla, 1975). Utförandet av målinriktade instrumentella handlingar är emellertid också känsligt för manipulationer av åtgärd-resultat-kontingensen, medan Pavlovianska svar är känsliga för manipulationer av stimulus-resultat-kontingensen (Rescorla, 1968; Davis och Bitterman, 1971; Dickinson och Charnock, 1985). Ett viktigt undantag kan dock hittas i fallet med vanor (se nedan), som mer liknar Pavlovianska svar i sin relativa okänslighet för förändringar i den instrumentella beredskapen, men som också är ogenomträngliga för utfallsdevalvering eftersom resultatet inte är en del av representationsstrukturen som styr prestanda (jfr. Dickinson, 1985 och nedan för vidare diskussion).

För att sammanfatta är det alltså av yttersta vikt att ett visst svar är tydligt definierat i termer av den kontrollerande beredskapen snarare än av antingen svarsformuläret eller den beteendeuppgift som används för att fastställa den. Utan att undersöka den kontrollerande beredskapen i en given situation, kommer sannolikt både beteendet och de neurala processer som förmedlas av beteendet att vara felkarakteriserade. I slutändan, som vi ska hävda, är det de faktiska kontrollerande händelserna, förvärvade genom inlärning och implementerade av distinkta neurala system, som kontrollerar beteendet, även om de kan ha samma "slutliga gemensamma väg". Den centrala utmaningen är alltså att gå bortom det yttre för att avslöja det underliggande beredskapskontrollerande beteendet (för en sammanfattning se Tabell 1). För att hävda att specifika neurala strukturer förmedlar specifika psykologiska kapaciteter, t.ex. målinriktadhet, måste beteendets status bedömas med lämpliga beteendeanalyser. Att göra något annat är att bjuda på förvirring när grupper argumenterar om de lämpliga neurala determinanterna samtidigt som de inte inser att deras beteendeuppgifter kan vara att mäta olika fenomen. Det som i slutändan spelar roll är vad djuret faktiskt lär sig, inte vad experimenteraren tror att djuret lär sig, och vad djuret faktiskt lär sig kan bara avslöjas genom analyser som direkt undersöker innehållet i lärandet.

Den Pavlovianska-instrumentella distinktionen skulle ha varit trivial, om djuret lyckats lära sig samma sak (säg ett samband mellan stimulans och belöning) oavsett vad de experimentella arrangemangen är. Med de vanligaste inlärningsmåtten som finns tillgängliga för neurovetenskap idag, finns det helt enkelt inget sätt att säga. Således hävdar forskare ofta att de studerar målinriktat beteende utan att undersöka om beteendet i fråga faktiskt är riktat mot målet. Även om olika typer av lärande vanligtvis antas vara resultatet av användningen av olika "uppgifter" eller "paradigm", misslyckas forskare oftare än inte med att tillhandahålla en adekvat motivering för sina antaganden.

Ett klassiskt exempel på denna fråga är användningen av labyrinter för att studera lärande. Ett problem med labyrintexperiment och relaterade analyser, som betingad platspreferens, är svårigheten att experimentellt dissociera påverkan av Pavlovian (stimulus-belöning) och instrumentella (action-belöning) oförutsedda händelser på beteende (Dickinson, 1994; Yin och Knowlton, 2002). Att röra sig genom en T-labyrint för att få mat kan således spegla en svarsstrategi (sväng vänster) eller helt enkelt ett betingat tillvägagångssätt mot ett landmärke utanför labyrinten som kontrolleras av cue-food-föreningen (Restle, 1957). Ett sätt att testa om det senare spelar en roll i prestanda är att invertera labyrinten; nu bör svarsinlärare fortsätta att svänga vänster medan de som använder extra-labyrint-ledar bör svänga höger. Men använder de som fortsätter att svänga till vänster verkligen en svarsstrategi eller närmar de sig bara några intra-Maze cue associerad med mat? Det är inte en enkel sak att ta reda på, eftersom de vanliga kontrollerna för Pavlovsk kontroll av beteende inte lätt kan tillämpas i labyrintstudier. En av dessa, den dubbelriktade kontrollen, fastställer att djur kan utöva kontroll över ett visst svar genom att kräva att riktningen för det svaret vänds för att få belöning (Hershberger, 1986; Heyes och Dawson, 1990). Tyvärr, i en labyrint, kan svarsomkastning fortfarande inte vara tillräckligt för att etablera en handling som målinriktad, eftersom omkastning kan åstadkommas genom att släcka det befintliga stimulus-belöningsförhållandet och ersätta det med ett annat. Till exempel kan en råtta som närmar sig en viss intra-labyrint-cue lära sig, under reversering, att den inte längre är ihopkopplad med belöning, utan att någon annan stimulans är det, vilket resulterar i att man skaffar sig en CR mot den nya stimulansen. Sålunda kan de uppenbarligen vända på sitt svar utan att någonsin ha kodat respons-belöningskontingeniteten. Eftersom denna möjlighet inte kan testas i praktiken, är användningen av labyrinter, platspreferensprocedurer eller enkla rörelseuppgifter för att studera målinriktade inlärningsprocesser särskilt farlig och kommer sannolikt att leda till att processerna som kontrollerar beteendet felkarakteriseras tillsammans med den specifika rollen för varje neural. processer som befunnits vara involverade (Smith-Roe och Kelley, 2000; Hernandez et al., 2002; Atallah et al., 2007).

Nucleus accumbens är inte nödvändigt för instrumentellt lärande

Otillräckligheterna i nuvarande beteendeanalys blir särskilt tydliga i studiet av nucleus accumbens. Många studier har föreslagit att denna struktur är avgörande för förvärvet av målinriktade handlingar (Hernandez et al., 2002; Goto and Grace, 2005; Hernandez et al., 2005; Pothuizen et al., 2005; Taha och Fields, 2006; Atallah et al., 2007; Cheer et al., 2007; Lerchner et al., 2007). Men denna slutsats har kommit till enbart baserad på mått på en förändring i prestanda, med hjälp av uppgifter där det beredskapskontrollerande beteendet är tvetydigt. Även om observationen att en manipulation försämrar förvärvet av något beteendesvar kan tyda på ett inlärningsunderskott, kan de också återspegla en effekt på responsinitiering eller motivation. Till exempel kan en försämring i förvärvet av spakpressning ofta spegla en effekt på prestation snarare än på inlärning (Smith-Roe och Kelley, 2000). Enbart förvärvskurvor, som ofullständiga representationer av någon inlärningsprocess, måste tolkas med försiktighet (Gallistel et al., 2004). Tyvärr ignoreras skillnaden mellan lärande och prestation, kanske den äldsta lektionen i studiet av lärande, ofta idag.

En mer detaljerad analys indikerar att accumbens varken är nödvändig eller tillräcklig för instrumentellt lärande. Lesioner av accumbens-skalet förändrar inte prestationskänsligheten för resultatdevalvering (de Borchgrave et al, 2002; Corbit et al, 2001) eller till instrumentell beredskapsförsämring (Corbit et al, 2001), medan lesioner av accumbens kärna har visat sig minska känsligheten för devalvering utan att försämra råttornas känslighet för selektiv nedbrytning av den instrumentella beredskapen (Corbit et al., 2001). Andra studier som bedömer effekten av accumbens-manipulationer på förvärvet av ett nytt svar i studier av betingad förstärkning har konsekvent funnit en effekt på belöningsrelaterad prestation, särskilt förbättringen av prestandan med amfetamin, men inte på förvärvet av svar i sig (Parkinson et al, 1999). Likaså fann en systematisk studie av Cardinal och Cheung ingen effekt av accumbens kärnskador på förvärvet av ett spakpresssvar under ett kontinuerligt förstärkningsschema; försämrad förvärv observerades endast med fördröjd förstärkning (Cardinal och Cheung, 2005).

Även om accumbens inte kodar den instrumentella kontingensen (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001), avsevärda bevis tyder på att det spelar en grundläggande roll i instrumental prestanda, en roll som vi nu bättre kan definiera i ljuset av det senaste arbetet. Som avslutats av flera studier är accumbens avgörande för vissa typer av aptitlig Pavlovian-konditionering och förmedlar både de icke-specifika excitatoriska effekterna som belöningsassocierade signaler kan ha på instrumentell prestation, såväl som de resultatspecifika fördomar på svarsval som produceras av sådana signaler. Lesioner i kärnan, eller i det främre cingulatet, en viktig källa till kortikal input till kärnan, eller en frånkoppling mellan dessa två strukturer, försämrar förvärvet av Pavlovian approach beteende (Parkinson et al., 2000). Lokal infusion av en D1-liknande dopaminreceptorantagonist eller en NMDA-glutamatreceptorantagonist omedelbart efter träning försämrade också denna form av inlärning utan att påverka prestationsförmågan (Dalley et al., 2005). Dessa uppgifter överensstämmer med mått på in vivo- neural aktivitet. Till exempel fann Carelli och kollegor att neuroner i accumbens kärna kan ändra sin aktivitet systematiskt under inlärningen av en Pavlovsk autoformningsuppgift (Day et al., 2006; Day och Carelli, 2007).

Neuroner i skalregionen verkar vara inställda på belöningar och aversiva stimuli, även innan någon lärandeupplevelse; de är också kapabla att utveckla svar på CS som förutsäger dessa resultat (Roitman et al., 2005). Arbete av Berridge och kollegor, dessutom, har tagit upp möjligheten att vissa regioner inom nucleus accumbens skal och i nedströms ventral pallidum kan karakteriseras som "hedoniska hotspots". Dessa områden modulerar direkt ovillkorliga hedoniska svar på belöningar, såsom smakreaktivitet. Till exempel kan agonister av opioidreceptorer i dessa regioner signifikant förstärka intagssmakreaktiviteten mot sackaros. Sådana starkt lokaliserade regioner är dock inbäddade i bredare nätverk som inte spelar någon roll i fullbordat aptitbeteende (Taha och Fields, 2005; Pecina et al., 2006; Taha och Fields, 2006).

Skillnaden i de relativa rollerna av kärna och skal verkar vara en mellan förberedande och fullbordande aptitbeteenden, respektive, som lätt kan modifieras av erfarenhet genom distinkta typer av Pavlovsk konditionering. Förberedande svar som tillvägagångssätt är kopplade till allmänna känslomässiga egenskaper hos resultatet, medan de fullbordande beteendena är kopplade till mer specifika sensoriska egenskaper; de är också differentiellt mottagliga för olika typer av CS, t.ex. förberedande svar är lättare betingade med en stimulans med lång varaktighet (Konorski, 1967; Dickinson och Dearing, 1979; Balleine, 2001; Dickinson och Balleine, 2002).

I vilket fall som helst är bevisen som implicerar ackumbenen i vissa aspekter av Pavlovs konditionering överväldigande. Det är dock inte den enda inblandade strukturen, och andra nätverk, såsom de som involverar de olika amygdaloidkärnorna, verkar också spela en central roll i både de förberedande och fullbordande komponenterna i Pavlovs konditionering (Balleine och Killcross, 2006).

En funktion som tydligt kan tillskrivas accumbens är integrationen av Pavlovianska influenser på instrumentellt beteende. Pavlovska CRs, inklusive de som återspeglar aktiveringen av centrala motivationstillstånd, såsom begär och upphetsning, kan utöva ett starkt inflytande på utförandet av instrumentella handlingar (Trapold och Overmier, 1972; Lovibond, 1983; Holland, 2004). Till exempel kan en CS som oberoende förutsäger matleverans öka instrumentell respons för samma mat. Denna effekt studeras vanligtvis med hjälp av Pavlovian-instrumental transfer paradigm (PIT). I PIT får djuren separata Pavloviska och instrumentella träningsfaser, där de självständigt lär sig att associera en cue med mat och att trycka på en spak för samma mat. Sedan på sondförsök presenteras signalen med spaken tillgänglig och höjningen av svarsfrekvensen i närvaro av CS mäts. Två former av PIT har identifierats; en relaterad till den allmänt upphetsande effekten av belöningsrelaterade ledtrådar och en andra mer selektiv effekt på valprestandan producerad av en signals prediktiva status med respekt för en specifik belöning i motsats till andra. Accumbens-skalet är nödvändigt för denna senare utfallsspecifika form av PIT, men är varken nödvändigt för den förra, mer allmänna formen eller för känslighet för utfallsdevalvering; däremot minskar lesioner i accumbens kärna känsligheten för både resultatdevalvering och den allmänna formen av PIT men lämnar intakt resultatspecifik PIT (Corbit et al., 2001; (Balleine och Corbit, 2005).

En nyligen genomförd studie gav ytterligare insikt om rollen av accumbens skal i resultatspecifik PIT (Wiltgen et al., 2007). Kontrollerat uttryck av aktivt kalcium/kalmodulinberoende proteinkinas II (CaMKII) i striatum påverkade inte instrumentell eller Pavlovisk inlärning, men avskaffade specifik PIT. Detta underskott i PIT var inte permanent och kunde vändas genom att stänga av transgenuttrycket med doxycyklin, vilket visar att underskottet endast var associerat med prestation. Artificiell höjning av nivån av CaMKII i striatum blockerar därför den resultatspecifika överföringen av incitamentmotivation från det pavloviska till det instrumentella systemet. Intressant nog visade sig att slå på CaMKII-transgenen också minska excitabiliteten av neuroner i accumbens skal, utan att påverka basal överföring eller synaptisk styrka.

Den dorsala striatum

Den dorsala striatum, även känd som neostriatum eller caudate-putamen, får massiva projektioner från den så kallade neocortexen. Det kan vidare delas in i en associativ region, som hos gnagare är mer medial och kontinuerlig med ventral striatum, och en sensorimotorisk region som är mer lateral (Groenewegen et al., 1990; Joel och Weiner, 1994). Som helhet innerveras dorsala striatum av DA-celler från substantia nigra pars compacta (SNc), och tar bara emot magra projektioner från VTA DA-neuronerna (Joel och Weiner, 2000). Tidigare arbete med dorsala striatum har fokuserat mest på dess roll i stimulus-respons (SR) vanelärning (Miller, 1981; Vit, 1989). Denna uppfattning är baserad på effektens lag, enligt vilken en belöning verkar för att stärka eller förstärka en SR-association mellan miljöstimulans och responsen som utförs som ett resultat av vilket tendensen att utföra den responsen ökar i närvaro av de stimuli (Thorndike, 1911; Hull, 1943; Miller, 1981). Således tros den kortikostriatala vägen förmedla SR-inlärning med DA som fungerar som förstärkningssignalen (Miller, 1981; Reynolds och Wickens, 2002).

SR-modeller har fördelen av att innehålla en sparsam regel för att översätta lärande till prestation. En modell baserad på handlingsrelaterade förväntningar är däremot mer komplicerad eftersom tron ​​"Action A leads to Outcome O" inte nödvändigtvis behöver översättas till handling (Guthrie, 1935; Mackintosh, 1974); information av detta slag kan användas både för att utföra 'A' och för att undvika att utföra 'A'. Av denna anledning undvek traditionella teorier den mest uppenbara förklaringen – nämligen att djur kan få en händelse-utfallskontingens som styr valbeteende. De senaste decennierna har dock sett en betydande revidering av lagen om effekt (Adams, 1982; Colwill och Rescorla, 1986; Dickinson, 1994; Dickinson et al., 1996). TResultaten från många studier har visat att instrumentella handlingar verkligen kan vara målinriktade, dvs. känsliga för förändringar i belöningsvärde såväl som åtgärdens orsakseffekt. (se Dickinson & Balleine, 1994; 2002; Balleine, 2001 för recensioner). Ändå, under loppet av omfattande träning under konstanta förhållanden, kan även nyförvärvade handlingar bli relativt automatiska och stimulansdrivna – en process som kallas vanebildning (Adams och Dickinson, 1981; Adams, 1982; Yin et al., 2004). Vanor som definieras på detta sätt, som automatiskt framkallas av föregående stimuli, styrs inte av förväntan eller representation av resultatet; de är följaktligen ogenomträngliga för förändringar i resultatvärde. Ur detta perspektiv är effektlagen därför ett specialfall som endast gäller vanemässigt beteende.

Den nuvarande klassificeringen av instrumentellt beteende delar upp det i två klasser. Tden första klassen omfattar målinriktade handlingar som kontrolleras av den instrumentella beredskapen; det andra, vanemässigt beteende som är ogenomträngligt för förändringar i resultatvärde (Tabell 1). Med hjälp av beteendeanalyser som utfallsdevalvering och instrumentell beredskapsnedbrytning, etablerade Yin et al en funktionell dissociation mellan de sensorimotoriska (dorsolaterala striatum, DLS) och associativa regioner (dorsomedial striatum, DMS) i dorsala striatum (Yin och Knowlton, 2004; Yin et al., 2004, 2005; Yin et al., 2005b; Yin et al., 2006a). Lesioner av DLS försämrade utvecklingen av vanor, vilket resulterade i en mer målinriktad beteendekontroll. Lesioner av DMS har motsatt effekt och resulterar i en övergång från målstyrd till vanemässig kontroll. Yin et al drog därför slutsatsen att DLS och DMS kan dissocieras funktionellt i termer av vilken typ av associativa strukturer de stödjer: DLS är avgörande för vanebildning, medan DMS är avgörande för förvärv och uttryck av målriktade handlingar. Denna analys förutspår att under vissa förhållanden (t.ex. utökad träning) kan kontrollen av åtgärderna skifta från det DMS-beroende systemet till det DLS-beroende systemet, en slutsats som är i stort överensstämmelse med den betydande litteraturen om primater, inklusive mänsklig neuroimaging (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi et al., 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno och Kawato, 2006a, b; Lohrenz et al., 2007; Tobler et al., 2007). Det bör naturligtvis komma ihåg, thattens fysiska placering (t.ex. dorsalt eller ventralt) kan inte ensamt vara en tillförlitlig vägledning för att jämföra gnagarens striatum och primatens striatum; sådana jämförelser bör göras med försiktighet, efter noggrant övervägande av den anatomiska anslutningen.

Effekterna av dorsala striatala lesioner kan jämföras med effekterna av accumbens lesioner (Smith-Roe och Kelley, 2000; Atallah et al., 2007). Som redan nämnts är standardtesterna för att fastställa ett beteende som "målinriktat" resultatdevalvering och försämring av åtgärd-resultat-kontingensen (Dickinson och Balleine, 1993). Lesioner i DMS gör beteende okänsligt för båda manipulationerna (Yin et al., 2005b), medan lesioner av accumbens kärna eller skal inte (Corbit et al., 2001). Dessutom utförs probtesterna av dessa beteendeanalyser vanligtvis i utrotning, utan att presentera någon belöning, för att bedöma vad djuret har lärt sig utan kontaminering av ny inlärning. De undersöker alltså direkt den representativa strukturen som kontrollerar beteendet. Som en ytterligare experimentell kontroll är det ofta användbart att genomföra ett separat devalveringstest där belöningar faktiskt levereras - det så kallade "belönade testet". Lesioner av DMS avskaffade inte känsligheten för resultatdevalvering på det belönade testet, vilket bör förväntas eftersom leveransen av ett devalverat resultat beroende på en åtgärd kan undertrycka åtgärden oberoende av action-outcome-kodning. Accumbens shell lesions, å andra sidan, försämrade inte känsligheten för utfallsdevalvering på vare sig extinktionstestet eller det belönade testet, medan accumbens core lesions avskaffade känsligheten för devalvering på båda testerna (Corbit et al., 2001). Känslighet för oförutsedda nedbrytning påverkades dock inte av någon av lesionerna, vilket visar att råttorna efter accumbens lesioner kunde koda och hämta representationer av handlingsresultat.

Dopamins roll: mesolimbisk vs. nigrostriatal

Ända sedan de banbrytande studierna på den fasiska aktiviteten av DA-neuroner hos apor är ett vanligt antagande inom området att alla DA-celler beter sig på i huvudsak samma sätt (Schultz, 1998a; Montague et al., 2004). De tillgängliga uppgifterna, såväl som den anatomiska anslutningen, tyder dock på något annat. Faktum är att ovanstående analys av funktionell heterogenitet i striatum kan utökas till DA-cellerna i mellanhjärnan också.

DA-celler kan delas in i två huvudgrupper: VTA och substantia nigra pars compacta (SNc). Även om projektionen från VTA till accumbens har varit i centrum för uppmärksamheten inom området för belöningsrelaterat lärande, den mycket mer massiva nigrostriatala vägen har varit relativt försummad, med uppmärksamheten fokuserad främst på dess roll i Parkinsons sjukdom. Aktuellt tänkande om rollen som DA i lärande har starkt påverkats av förslaget att den fasiska aktiviteten hos DA-celler återspeglar ett belöningsförutsägelsefelr (Ljungberg et al., 1992; Schultz, 1998b). jagn den vanligaste Pavlovska konditioneringsuppgiften som används av Schultz och kollegor, avfyrar dessa neuroner som svar på belöning (US), men med lärande flyttas den USA-framkallade aktiviteten till CS. När USA utelämnas efter inlärning visar DA-cellerna en kort depression i aktivitet vid den förväntade tidpunkten för dess leverans (Waelti et al., 2001; Fiorillo et al., 2003; Tobler et al., 2003). Sådana data utgör grunden för en mängd olika beräkningsmodeller (Schultz et al., 1997; Schultz, 1998b; Brown et al., 1999; Montague et al., 2004).

Med tanke på flera nivåer av kontroll i mekanismerna för syntes och frisättning, kan spikningen av DA-neuroner inte likställas med DA-frisättning, även om man skulle förvänta sig att dessa två mått är starkt korrelerade. I själva verket, som visas av en nyligen genomförd studie av Carelli och kollegor som använder snabbavsökning av cyklisk voltammetri, faktisk DA-frisättning i accumbens-kärnan verkar vara korrelerad med ett prediktionsfel i aptitlig Pavlovian-konditionering (Day et al., 2007). De hittade en fasisk DA-signal i accumbens kärna omedelbart efter mottagandet av sackarosbelöning i Pavlovian autoshaping. Efter utökad Pavlovsk konditionering hittades dock inte denna signal längre efter själva belöningen, utan flyttades till CS istället. Detta fynd stöder den ursprungliga hypotesen om "prediktionsfel". Det överensstämmer också med tidigare arbete som visar försämrad prestanda av Pavlovian CR efter antingen DA-receptorantagonism eller DA-utarmning i accumbenskärnan (Di Ciano et al., 2001; Parkinson et al., 2002). En observation från studien är dock ny och av stort intresse: efter förlängd konditionering med en CS+ som förutsäger belöning och en CS- som inte förutsäger belöning, observerades en liknande, men mindre, DA-signal också efter CS-, men den visade också en liten dipp omedelbart (500~800 millisekunder efter signalstart) efter den initiala toppen (Day et al, 2007Figur 4). I detta skede i inlärningen närmar sig djur nästan aldrig CS−, utan närmar sig konsekvent CS+. Den fasiska DA-signalen omedelbart efter prediktorn kanske inte spelar någon kausal roll för att generera närmandesvaret, eftersom det är närvarande även i frånvaro av svaret. Huruvida en sådan signal fortfarande är nödvändig för att lära sig stimulans-belöningskontingensen är fortfarande oklart, men det observerade fasiska svaret på CS− förutsägs verkligen inte av någon av de nuvarande modellerna.

Intressant nog försämrar lokal DA-utarmning prestandan på denna uppgift (Parkinson et al., 2002). Medan en fasisk DA-signal observeras efter CS−, som inte genererar CRs alls, försämrar avskaffande av både fasisk och tonisk DA genom lokal utarmning prestandan hos CRs. Ett sådant mönster tyder på att en fasisk DA-signal i acumbens inte behövs för prestanda av Pavlovian CR, men kan spela en roll i inlärningen, medan en långsammare, mer tonisk DA-signal (förmodligen avskaffad i utarmningsstudier) är viktigare för prestanda. av inställningssvaret (Cagniard et al., 2006; Yin et al., 2006b; Niv et al., 2007). Denna möjlighet återstår att pröva.

Även om det inte finns några direkta bevis för en kausal roll för den fasiska DA-signalen i inlärning, har hypotesen om "prediktionsfel" ändå väckt stor uppmärksamhet, eftersom det är just den typ av undervisningssignal som används i framstående modeller för inlärning, som Rescorla-Wagner-modellen och dess realtidsförlängning, inlärningsalgoritmen för förstärkning av tidsskillnaden (Schultz, 1998b). Enligt denna tolkning bestäms aptitlig inlärning av skillnaden mellan mottagen och förväntad belöning (eller mellan två temporärt på varandra följande belöningsförutsägelser). En sådan undervisningssignal regleras av negativ feedback från alla prediktorer av belöningen (Schultz, 1998b). Om ingen belöning följer prediktorn, avslöjas den negativa återkopplingsmekanismen som ett dopp i aktiviteten hos DA-neuronerna. Sålunda involverar inlärning en progressiv minskning av prediktionsfelet.

Elegansen i undervisningssignalen i dessa modeller har kanske distraherat vissa från den anatomiska verkligheten. I studien av Day et al (2007), kommer DA-signalen i accumbens mestadels från celler i VTA, men det verkar osannolikt att andra DA-celler, med helt annan anatomisk anslutning, skulle visa samma svarsprofil och ge samma signal. En gradient i vad DA-cellerna signalerar är mer sannolikt, eftersom DA-celler projicerar till olika striatala regioner med helt olika funktioner och tar i sin tur även distinkta negativa återkopplingssignaler från olika striatala regioner (Joel och Weiner, 2000; Wickens et al., 2007). Mekanismerna för upptag och nedbrytning, såväl som de presynaptiska receptorerna som reglerar frisättningen av dopamin, visar också avsevärd variation över striatum (Cragg et al., 2002; Rice och Cragg, 2004; Wickens et al., 2007; Rice och Cragg, 2008).

Vi föreslår därför att mesoaccumbens-vägen spelar en mer begränsad roll i Pavlovianskt lärande, när det gäller att förvärva värdet av tillstånd och stimuli, medan den nigrostriatala vägen är viktigare för instrumentellt lärande, för att förvärva handlingars värden. TDet vill säga, den fasiska DA-signalen kan koda olika prediktionsfel snarare än ett enda prediktionsfel, som för närvarande antas. Tre rader av bevis stöder detta argument. För det första försämrar genetisk utarmning av DA i den nigrostriatala vägen förvärvet och utförandet av instrumentella handlingar, medan utarmning av DA i mesolimbisk väg inte gör det (Sotak et al., 2005; Robinson et al., 2007). För det andra kan DA-celler i SNc koda värdet av åtgärder, liknande celler i deras målstriatala region (Morris et al., 2006). För det tredje, selektiv lesion av den nigrostriatala projektionen till DLS försämrar vanebildning (Faure et al., 2005).

Nyligen utförd arbete av Palmiter och kollegor visade att genetiskt modifierade möss med DA-brist är allvarligt försämrade i instrumentell inlärning och prestanda, men deras prestanda kan återställas antingen genom L-DOPA-injektion eller genom viral genöverföring till den nigrostriatala vägen (Sotak et al., 2005; Robinson et al., 2007). Däremot var DA-restaurering i det ventrala striatum inte nödvändigt för att återställa instrumentellt beteende. Även om hur DA-signaler möjliggör instrumentellt lärande förblir en öppen fråga, är en uppenbar möjlighet att det kan koda värdet av självinitierade handlingar, dvs. hur mycket belöning som förutsägs givet ett visst tillvägagångssätt.

Den dorsala striatum, som helhet, innehåller det högsta uttrycket av DA-receptorer i hjärnan och tar emot den mest massiva dopaminerga projektionen. DA-projektionen till DMS kan spela en annan roll i inlärningen än projektionen till DLS, eftersom dessa två regioner skiljer sig markant i den tidsmässiga profilen av DA-frisättning, upptag och nedbrytning (Wickens et al., 2007). Vi antar att DA-projektionen till DMS från den mediala SNc är avgörande för inlärning av handlingsresultat, medan DA-projektionen till DLS från den laterala SNc är avgörande för vanebildning. Skulle detta vara sant, bör man förvänta sig att DA-celler i SNc kodar felet i belöningsförutsägelse baserat på självgenererade åtgärder - instrumentellt förutsägelsefel - snarare än det som baseras på CS. Preliminära bevis till stöd för detta påstående kommer från en nyligen genomförd studie av Morris et al, som spelade in från SNc-neuroner under en instrumentell inlärningsuppgift (Morris et al., 2006). Apor tränades att röra sina armar som svar på en diskriminerande stimulans (S^D) som indikerade lämplig rörelse och sannolikheten för belöning. S^D framkallade fasisk aktivitet i DA-neuronerna motsvarande aktionsvärdet baserat på den förväntade belöningssannolikheten för en viss åtgärd. Mest intressant, även om DA:s svar på S^D ökade med aktionsvärdet, det omvända var sant för DA-svaret på själva belöningen, i överensstämmelse med tanken att dessa neuroner kodade för ett förutsägelsefel associerat med det värdet. Inte överraskande är det primära striatala målet för dessa celler, caudatkärnan, känt för att innehålla neuroner som kodar för aktionsvärden (Samejima et al., 2005). Det bör dock noteras att denna studie inte använde beteendeuppgifter som entydigt bedömer värdet av handlingar. En tydlig förutsägelse av vår modell är att fasisk DA-aktivitet kommer att följa med utförandet av åtgärder, även i frånvaro av ett uttryckligt S^D. Till exempel förutspår vi burst-firing av nigrala DA-neuroner vid tidpunkten för en självinitierad handling som tjänar en belöning.

Enligt vår uppfattning, medan mesoaccumbens DA-signal återspeglar värdet av CS, återspeglar den nigrostriatala signalen, kanske från de neuroner som projiceras till DMS, värdet av själva handlingen, eller av något S^D som förutspår detta värde. Dessutom verkar både instrumentellt och pavlovskt lärande involvera någon form av negativ feedback för att kontrollera den effektiva undervisningssignalen. Faktum är att de direkta projektionerna från striatum till mellanhjärnans DA-neuroner (Figur 2) har länge föreslagits som den neurala implementeringen av denna typ av negativ feedback (Houk et al., 1995), och styrkan och naturen hos den hämmande insatsen kan mycket väl variera avsevärt från region till region.

  

Figur 2

De kortiko-basala ganglierna nätverk

Ett prediktionsfel, enligt nuvarande modeller, är en undervisningssignal som avgör hur mycket inlärning som sker. Så länge det finns, fortsätter lärandet. Hur uppenbart detta påstående än verkar, har ett prediktionsfel för åtgärdsvärde, även om det syntaktiskt liknar det Pavlovska prediktionsfelet, unika egenskaper som inte har undersökts i stor utsträckning. I traditionella modeller som Rescorla-Wagner-modellen, som uteslutande adresserar Pavlovsk konditionering (men med begränsad framgång), är nyckelfunktionen den negativa återkopplingen som reglerar prediktionsfel. Denna utdata representerar den förvärvade förutsägelsen, mer specifikt summan av alla nuvarande prediktorer, som fångas av de sammansatta stimuli som vanligtvis används i blockeringsexperiment (Rescorla, 1988). Det är denna summering av tillgängliga prediktorer för att fastställa en global felterm som är den främsta innovationen i denna modellklass. För instrumentella handlingar verkar dock individuella feltermer mer sannolika, för det är svårt att se hur den negativa feedbacken skulle presentera värdet av flera handlingar samtidigt när endast en åtgärd kan utföras åt gången. Naturligtvis finns det ett antal möjliga lösningar. Till exempel, givet ett visst tillstånd (experimentellt implementerat av en distinkt S^D), skulle de möjliga handlingssätten verkligen kunna representeras samtidigt som förvärvade förutsägelser. Men den största svårigheten med instrumentella förutsägelsefel har att göra med själva handlingens natur. En Pavlovsk förutsägelse följer automatiskt presentationen av stimulansen, som är oberoende av organismen. Ett instrumentellt förutsägelsefel måste ta itu med elementet av kontroll, eftersom förutsägelsen i sig är handlingsbetingad, och en avsiktlig handling utsänds spontant baserat på djurens strävan efter konsekvenserna av att agera snarare än framkallad av föregående stimuli. I slutändan är det just en allmän försummelse av den spontana karaktären hos målinriktade handlingar, inom både neurovetenskap och psykologi, som har suddat ut skillnaden mellan Pavlovianska och instrumentella inlärningsprocesser, och arten av de inblandade förutsägelsefelen. Det återstår därför att fastställa vilken typ av negativ återkopplingssignal, om någon, som reglerar förvärvet av åtgärdsvärden (Dayan och Balleine, 2002).

Slutligen har nyare arbeten också involverat den nigrostriatala projektionen från den laterala SNc till DLS specifikt i vanebildning. Faure et al skadade selektivt DA-cellerna som projicerade till DLS med hjälp av 6-OHDA och fann att denna manipulation har förvånansvärt liten effekt på hastigheten för spakpressning, även om det försämrade vanebildning, mätt med hjälp av resultatdevalvering (Faure et al., 2005). Det vill säga, skadade djur svarade på ett målinriktat sätt, även om träningen i en kontrollgrupp genererade vanemässigt beteende okänsligt för resultatnedvärdering. Lokal DA-utarmning liknar alltså excitotoxiska lesioner av DLS, genom att båda manipulationerna fördröjer vanebildning och gynnar förvärvet av målriktade handlingar (Yin et al., 2004). En fasisk DA-signal som är kritisk för vanebildning är redan välbeskriven av den effektiva förstärkningssignalen i samtida tidsdifferensförstärkningsalgoritmer inspirerade av Hull and Spences arbete (Hull, 1943; Spence, 1947, 1960; Sutton och Barto, 1998).

Kortiko-basala ganglia nätverk

Hittills har vi diskuterat den funktionella heterogeniteten inom striatum, men det skulle vara missvisande att antyda att vilket striatalt område som helst skulle kunna översätta åtgärd-resultat-kontingensen till utförandet av en åtgärd helt av sig själv. Hjärnhemisfärerna är snarare organiserade som itererande funktionella enheter som består av kortiko-basala ganglianätverk (Swanson, 2000; Zahm, 2005). Tstriatum, som är ingångsstationen för hela basalganglierna, fungerar som ett unikt nav i nätverksmotivet kortiko-basalganglier, som kan integrera kortikala, talamus och mellanhjärnans ingångar. Som beskrivits ovan, även om det är en kontinuerlig struktur, verkar olika striatalregioner delta i distinkta funktionella nätverk, t.ex. fungerar accumbens som ett nav i det limbiska nätverket och DLS i det sensorimotoriska nätverket. På grund av sådana nätverks återinträdande egenskaper är emellertid ingen komponent i denna struktur uppströms eller nedströms i någon absolut mening; t.ex. är det talamokortikala systemet både källan till en viktig input till striatum och målet för både striato-pallidal och striato-nigral vägar.

Även om parallella återinträdande basala gangliaslingor länge har känts igen (Alexander et al., 1986), betonar vi distinkta funktionella roller för dessa kretsar baserat på operativt definierade representationsstrukturer och på interaktioner mellan kretsar för att generera integrerande beteenden. På grundval av detta kan minst fyra sådana nätverk urskiljas: de limbiska nätverken som involverar skalet och kärnan av accumbens respektive, det associativa nätverket som involverar det associativa striatumet (DMS) och det sensorimotoriska nätverket som involverar det sensorimotoriska striatumet (DLS). Deras funktioner sträcker sig från att förmedla kontrollen av aptitliga Pavlovian UR och CR till instrumentella åtgärder (Figur 1).

  

Figur 1

Huvudfunktionella domäner av striatum. En illustration av striatum från en koronal sektion som visar halva hjärnan (Paxinos och Franklin, 2003). Observera att dessa fyra funktionella domäner är anatomiskt kontinuerliga och ungefär motsvarar vad .

Som redan nämnts består den ventrala striatum mestadels av nucleus accumbens, som kan delas upp ytterligare i skalet och kärnan, som var och en deltar i ett distinkt funktionellt nätverk. De kortikala (glutamatergiska) projektionerna till skalet uppstår från infralimbiska, centrala och laterala orbitala cortex, medan projektionerna till kärnan uppstår från mer dorsala mittlinjeområden av prefrontal cortex som den ventrala och dorsala prelimbiska och främre cingulate cortexen (Groenewegen et al., 1990; Zahm, 2000, 2005). Inom dessa funktionsnätverk tyder bevis som granskats ovan att skalet är involverat i UR till belöningar och förvärv av fulländade CRs; kärnan i utforskande beteende, särskilt förvärvet och uttrycket av Pavlovianska strategisvar. Åtminstone två stora nätverk kan därför urskiljas inom det större ventrala eller limbiska kortiko-basala ganglierna, det ena för fullbordande och det andra för förberedande beteenden och deras modifiering genom Pavlovisk konditionering (Figur 1).

Den dorsala striatum kan likaså delas in i minst två huvudregioner, associativa och sensorimotoriska, med ett distinkt funktionellt nätverk associerat med var och en. Det associativa striatum (caudatum och delar av främre putamen hos primater) innehåller nervceller som skjuter i väntan på responsberoende belöningar och ändrar deras skjutning i enlighet med storleken på den förväntade belöningen (Hikosaka et al., 1989; Hollerman et al., 1998; Kawagoe et al., 1998). I det associativa nätverket är de prefrontala och parietala associeringsbarkarna och deras mål i DMS involverade i transient minne, både prospektivt, i form av förväntade resultat, och retrospektivt, som ett register över nya efferenskopior (Konorski, 1967). Den sensorimotoriska nivån, å andra sidan, omfattar de sensorimotoriska cortexerna och deras mål i basalganglierna. Utgångarna från denna krets är riktade mot motoriska cortex och hjärnstammotoriska nätverk. Neural aktivitet i det sensorimotoriska striatum moduleras i allmänhet inte av förväntad belöning, uppvisar mer rörelserelaterad aktivitet än neuroner i det associativa striatum (Kanazawa et al., 1993; Kimura et al., 1993; Costa et al., 2004). Slutligen, förutom den mediala-laterala gradienten, finns det betydande funktionell heterogenitet längs den främre-posteriora axeln av dorsala striatum, även om det för närvarande inte finns tillräckligt med data för att tillåta någon detaljerad klassificering (Yin et al., 2005b).

Studier har hittills endast fokuserat på de kortikala och striatala komponenterna i dessa nätverk. I allmänhet har lesioner i ett kortikalt område liknande effekter som lesioner av dess striatala mål (Balleine och Dickinson, 1998; Corbit och Balleine, 2003; Yin et al., 2005b). Men andra komponenter i nätverket kan tjäna liknande funktioner. Till exempel visade sig lesioner i den mediodorsala kärnan i thalamus, en komponent i det associativa nätverket, avskaffa känsligheten för utfallsdevalvering och oförutsedda nedbrytning på ungefär samma sätt som lesioner i DMS och den prelimbiska cortex (Corbit et al., 2003). Så även om vår allmänna modell förutspår liknande beteendebrister efter skada på varje komponent i ett nätverk, föreslår den också, för en given struktur som pallidum eller thalamus, flera funktionella domäner.

Interaktion mellan nätverk

Under de flesta förhållanden verkar Pavlovsk och instrumentell inlärning ske parallellt. Fenomen som PIT visar dock i vilken utsträckning dessa annars distinkta processer kan interagera. Efter att ha avgränsat oberoende funktionella system är nästa steg att förstå hur dessa system är samordnade för att generera beteende. Ett attraktivt förslag, i överensstämmelse med nyare anatomiska arbeten, är att nätverken som beskrivs ovan är hierarkiskt organiserade, var och en fungerar som en labil, funktionell mellanhand i hierarkin, vilket tillåter information att spridas från en nivå till nästa. I synnerhet antyder de nyligen upptäckta spiralkopplingarna mellan striatum och mellanhjärnan en anatomisk organisation som potentiellt kan implementera interaktioner mellan nätverk (Figur 2). Som observerats av Haber och kollegor skickar striatala neuroner direkt hämmande projektioner till DA-neuroner från vilka de tar emot ömsesidiga DA-projektioner, och projicerar även till DA-neuroner som i sin tur projicerar till ett annat striatalt område (Haber et al., 2000). Dessa projektioner tillåter feed-forward-utbredning av information i endast en riktning, från de limbiska nätverken till associativa och sensorimotoriska nätverk. Till exempel skulle en Pavlovsk förutsägelse (förvärvat värde av CS) kunna minska den effektiva undervisningssignalen på limbisk nivå, samtidigt som en tillfällighet potentierar DA-signalen på nästa nivå. Upphävandet av den effektiva inlärningssignalen implementeras normalt av en negativ återkopplingssignal via en hämmande projektion, till exempel från GABAergic medium taggiga projektionsneuroner från striatum till DA-neuroner. Under tiden, som den anatomiska organisationen föreslår (Haber et al., 2000; Haber, 2003), kan förstärkningen av DA-signalen för det angränsande kortiko-basala ganglianätverket (nästa nivå i hierarkin) implementeras via disinhibitoriska projektioner (dvs. GABAergiska striatala projektionsneuroner till nigrala GABAerga interneuroner till DA-neuroner). Således kan det inlärda värdet av det limbiska nätverket överföras till det associativa nätverket, vilket gör att beteendeanpassning kan förfinas och förstärkas med varje iteration (Ashby, 1960). Denna modell förutspår därför det progressiva engagemanget av olika neurala nätverk under olika stadier av inlärning, ett förslag som stöds av en mängd olika data (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt och Robbins, 2005; Yin och Knowlton, 2005; Belin och Everitt, 2008).

Fenomen som kräver växelverkan mellan distinkta funktionella processer, såsom PIT, ger en bördig testplats för modeller av detta slag. Den hierarkiska modellen är i själva verket i överensstämmelse med de senaste experimentella rönen om PIT. Enligt modellen förmedlas Pavlovian-instrumentella interaktioner av ömsesidiga kopplingar mellan striatum och DA-neuroner. DA verkar vara avgörande för allmän överföring, som avskaffas av DA-antagonister och lokal inaktivering av VTA (Dickinson et al., 2000; Murschall och Hauber, 2006); medan lokal infusion av amfetamin, som förmodligen ökar DA-nivåerna, i ackumulatorerna kan avsevärt förbättra den (Wyvell och Berridge, 2000). Å andra sidan är rollen av ventral striatal dopamin i specifik överföring mindre tydlig. Vissa bevis tyder på att det kan sparas efter inaktivering av VTA (Corbit et al., 2007) men som Corbit och Janak (2007) rapporterades nyligen, specifik överföring avskaffas genom inaktivering av DLS, vilket tyder på att denna aspekt av stimulanskontroll över handlingsval kan involvera den nigrostriatala projektionen (Corbit och Janak, 2007). Håller med om det hierarkiska perspektivet, Corbit och Janak (2007) fann också att medan DLS-inaktivering avskaffade den selektiva excitatoriska effekten av paloviska signaler (mycket som har observerats efter lesioner av accumbens skal av Corbit et al, 2001), avskaffade inaktivering av DMS endast resultatselektiviteten för överföringen samtidigt som den verkade bevara den allmänna excitatoriska effekten av dessa signaler, en trend som också observerades efter lesioner av mediodorsal thalamus, som är en del av nätverket av associativa kortiko-basala ganglier (Ostlund och Balleine, 2008). Baserat på dessa preliminära resultat tycks DMS endast förmedla specifik överföring, medan DLS kan vara nödvändig för både de specifika och allmänna excitatoriska effekterna av Pavlovska signaler på instrumentella handlingar.

Intressant nog projicerar det limbiska striatumet i stor utsträckning till DA-celler som projicerar till dorsalstriatum (Nauta et al., 1978; Nauta, 1989); de dopaminerga projektionerna till striatum och de striatala projektionerna tillbaka till mellanhjärnan är mycket asymmetriska (Haber, 2003). Det limbiska striatumet får begränsad input från DA-neuroner men skickar ändå omfattande utdata till en mycket större uppsättning DA-neuroner, och det motsatta är sant för det sensorimotoriska striatumet. Således är de limbiska nätverken i en perfekt position för att kontrollera de associativa och sensorimotoriska nätverken. Här överensstämmer neuroanatomin med beteendedata att den pavlovska underlättandet av instrumentellt beteende är mycket starkare än det omvända; faktiskt, avsevärda bevis tyder på att instrumentella handlingar tenderar att hämma, snarare än excitera, Pavlovian CRs – ett fynd som fortfarande väntar på en neurobiologisk förklaring (Ellison och Konorski, 1964; Williams, 1965).

Slutsatser

Det bör noteras att den hierarkiska modell som diskuteras här skiljer sig mycket från andra som uteslutande förlitar sig på cortex och långväga förbindelser mellan kortikala områden (Fuster, 1995). Den innehåller de kända komponenterna och anslutningarna i hjärnan, snarare än att se den som ett potpurri av kortikala moduler som på något ospecificerat sätt implementerar ett brett utbud av kognitiva funktioner. Det undviker också antaganden, ärvt från 19^th århundradets neurologi, att hjärnbarken i allmänhet, och den prefrontala cortexen i synnerhet, på något sätt bildar en "högre" homunkulär enhet som styr hela hjärnan (Miller och Cohen, 2001).

Dessutom kan flera specifika förutsägelser härledas från den föreliggande modellen: (i) Det bör finnas distinkta prediktionsfel för självgenererade handlingar och för tillstånd/stimuli med egenskaper som återspeglar deras olika neurala substrat och funktionella roller. (ii) De pallidala och thalamiska komponenterna i varje diskret kortiko-basal ganglia-nätverk förväntas också vara nödvändiga för den typ av beteendekontroll som antas för varje nätverk, inte bara de kortikala och striatala komponenterna. (iii) Det bör finnas en progressiv involvering av olika neurala nätverk under olika stadier av inlärning. (iv) Accumbens aktivitet kan direkt styra DA-neuroner och i sin tur dorsal striatal aktivitet. Baserat på en rapport av Holland (2004) vilket tyder på att PIT ökar med instrumentell träning, förväntas denna "limbiska" kontroll av de associativa och sensorimotoriska nätverken förstärkas med utökad träning.

Utan detaljerade data är det fortfarande för tidigt att ge en formell redogörelse för den hierarkiska modellen. Ändå bör diskussionen ovan göra det klart att nuvarande versioner av mesoaccumbens belöningshypotes vilar på problematiska antaganden om belöningsprocessens karaktär och användningen av otillräckliga beteendemått. Enande principer, alltid målet för det vetenskapliga företaget, kan endast grundas på verkligheten av experimentella data, hur svårhanterliga dessa än kan vara. Eftersom hjärnans funktion i slutändan är generering och kontroll av beteende, kommer detaljerad beteendeanalys att vara nyckeln till att förstå neurala processer, precis som en grundlig beskrivning av medfödd och förvärvad immunitet tillåter klargörandet av immunsystemet. Även om det till synes är en sanning, kan det knappast överbetonas att vi kan förstå hjärnmekanismer i den utsträckning som deras funktioner beskrivs och mäts med precision. När studiet av neurala funktioner är baserat på experimentellt etablerade psykologiska kapaciteter, till exempel representationen av åtgärd-utfall och stimulus-utfall oförutsedda händelser, ses den kända anatomiska organisationen såväl som fysiologiska mekanismer i ett nytt ljus, vilket leder till formuleringar av nya hypoteser och utformningen av nya experiment. Som ett första steg i denna riktning hoppas vi att det ramverk som diskuteras här kommer att fungera som en användbar utgångspunkt för framtida utredning.

Erkännanden

Referensprojekt