Publicerad i slutredigerad form som:
Neurosci Biobehav Rev. 2011 Apr; 35 (5): 1219-1236.
Publicerad online 2010 Dec 24. doi: 10.1016 / j.neubiorev.2010.12.012
PMCID: PMC3395003
NIHMSID: NIHMS261816
Xun Liu,1,2 Jacqueline Hairston,2 Madeleine Schrier,2 och Jin Fan2,3,4
Förlagets slutredigerade version av denna artikel finns tillgänglig på Neurosci Biobehav Rev
Se andra artiklar i PMC som citerar den publicerade artikeln.
Abstrakt
För att bättre förstå belöningskretsarna i människans hjärna utförde vi aktiveringslikelihood estimation (ALE) och parametriska voxelbaserade meta-analyser (PVM) på 142 neuroimaging-studier som undersökte hjärnaktivering i belöningsrelaterade uppgifter hos friska vuxna. Vi observerade flera kärnhjärnområden som deltog i belöningsrelaterad beslutsfattande, inklusive kärnkraftsaccumbens (NAcc), caudate, putamen, thalamus, orbitofrontal cortex (OFC), bilateral anterior insula, anterior (ACC) och posterior (PCC) cingulär cortex , såväl som kognitiva kontrollregioner i den underlägsna parietala lobuleen och prefrontal cortex (PFC). NAccen aktiverades vanligen av både positiva och negativa belöningar i olika skeden av belöningsprocessen (t.ex. förväntan, resultatet och utvärderingen). Dessutom svarade medial OFC och PCC företrädesvis positiva fördelar, medan ACC, bilaterala främre insula och laterala PFC svarade selektivt på negativa belöningar. Belöningsförväntning aktiverade ACC, bilateral främre insula och hjärnstammen, medan belöningsutfallet mer aktiverade NAcc, medial OFC och amygdala. Neurobiologiska teorier om belöningsrelaterad beslutsfattande bör därför distribueras och sammanhängande representationer av belöningsvärdering och valensbedömning beaktas.
1. Inledning
Människor möter otaliga belöningsrelaterade beslutsfattande möjligheter varje dag. Vår fysiska, mentala och socioekonomiska välbefinnande beror kritiskt på konsekvenserna av de val vi gör. Det är således avgörande att förstå vad som ligger till grund för det normala sättet att fungera som belöningsrelaterat beslutsfattande. Att studera den normala funktionen av belöningsrelaterad beslutsfattande hjälper oss också att bättre förstå de olika beteendemässiga och psykiska störningarna som uppkommer när en sådan funktion störs, såsom depression (Drevets, 2001), drogmissbruk (Bechara, 2005; Garavan och Stout, 2005; Volkow et al., 2003) och ätstörningar (Kringelbach et al., 2003; Volkow och Wise, 2005).
Funktionell neuroimaging forskning på belöning har blivit ett snabbt växande område. Vi har observerat en stor uppsving av neuroimaging forskning på denna domän, med dussintals relevanta artiklar som visas i PubMed-databasen varje månad. Å ena sidan är detta spännande eftersom monteringsresultaten är avgörande för att formalisera beteendemässiga och neurala mekanismer för belöningsrelaterad beslutsfattande (Fellows, 2004; Trepel et al., 2005). Å andra sidan gör heterogeniteten av resultaten i samband med tillfällig motstående mönster det svårt att få en tydlig bild av belöningskretsarna i människans hjärna. Blandningen av resultaten beror delvis på olika experimentella paradigmer som utvecklats av olika forskargrupper som syftade till att ta itu med olika aspekter av belöningsrelaterad beslutsfattande, såsom skillnaden mellan belöningseffekter och resultat (Breiter et al., 2001; Knutson et al., 2001b; McClure et al., 2003; Rogers et al., 2004), värdering av positiva och negativa belöningar (Liu et al., 2007; Nieuwenhuis et al., 2005; O'Doherty et al., 2003a; O'Doherty et al., 2001; Ullsperger och von Cramon, 2003) och bedömning av risker (Bach et al., 2009; d'Acremont och Bossaerts, 2008; Hsu et al., 2009; Huettel, 2006).
Därför är det viktigt att sammanfoga befintliga studier tillsammans och undersöka kärnbelöningsnätverk i människans hjärna, både från data-driven och teori-driven metoder för att testa gemensamheten och skillnaden mellan olika aspekter av belöningsrelaterad beslutsfattande. För att uppnå detta mål anställde vi och jämförde två koordinatbaserade meta-analys (CBMA) metoder (Salimi-Khorshidi et al., 2009), aktiverings sannolikhetsbedömning (ALE) (Laird et al., 2005; Turkeltaub et al., 2002) och parametrisk voxelbaserad metaanalys (PVM) (Costafreda et al., 2009) för att avslöja överensstämmelsen över ett stort antal neuroimaging-studier på belöningsrelaterad beslutsfattande. Vi förväntade oss att ventralstriatum och orbitofrontal cortex (OFC), två stora dopaminerga projektionsområden som har förknippats med belöningsbehandling, skulle vara konsekvent aktiverade.
Vidare syftade vi till att i ett teoridriven perspektiv åskådliggöra om det finns skillnader i hjärnanät som ansvarar för att bearbeta positiv och negativ belöningsinformation, och som företrädesvis är inblandade i olika skeden av belöningsbehandling, såsom belöningsförväntning, utfall övervakning och bedömning av beslut. Beslutsfattande innebär kodning och representation av alternativalternativen och jämförelse av värden eller verktyg som är associerade med dessa alternativ. Över dessa processer är beslutsfattandet vanligtvis anslutet till positiv eller negativ valens från antingen resultaten eller emotionella svaren mot de val som gjorts. Positiv belöning Valens refererar till de positiva subjektiva tillstånd som vi upplever (t.ex. lycka eller tillfredsställelse) när resultatet är positivt (t.ex. att vinna ett lotteri) eller bättre än vi förutse (t ex förlorar mindre värde än projicerat). Negativ belöning Valens hänvisar till de negativa känslorna vi går igenom (t.ex. frustration eller ånger) när resultatet är negativt (t ex förlorar en spelning) eller sämre än vad vi förväntar oss (t.ex. börsvärde ökar lägre än prognostiserad). Även om tidigare studier har försökt att skilja belöningsnät som är känsliga för att behandla positiv eller negativ information (Kringelbach, 2005; Liu et al., 2007), liksom de som är involverade i förväntan eller utfallet av belöning (Knutson et al., 2003; Ramnani et al., 2004) har empiriska resultat blivit blandade. Vi syftade till att utvinna konsekventa mönster genom att sammanfoga ett stort antal studier som undersöker dessa skillnader.
2. metoder
2.1 litteratursökning och organisation
2.1.1-studieidentifiering
Två oberoende forskare genomförde en grundlig sökning i litteraturen för fMRI-studier som granskar belöningsbaserat beslutsfattande hos människor. Villkoren som användes för att söka online citationsindexeringstjänsten PUBMED (till och med juni 2009) var "fMRI", "belöning" och "beslut" (av den första forskaren), "belöningsbeslutsuppgift", "fMRI" och "mänsklig "(Av den andra forskaren). Dessa initiala sökresultat slogs samman för att ge totalt 182-artiklar. En annan 90-artikel identifierades från en referensdatabas av en tredje forskare som ackumulerats i juni 2009 med "belöning" och "MR" som filtreringskriterier. Vi sökte också i BrainMap-databasen med hjälp av Sleuth, med "belöningsuppgift" och "fMRI" som söktermer och fann 59-artiklar. Alla dessa artiklar slogs samman i en databas och redundanta poster eliminerades. Vi tillämpade sedan flera uteslutningskriterier för att ytterligare eliminera artiklar som inte är direkt relevanta för den aktuella studien. Dessa kriterier är: 1) icke-första hand empiriska studier (t.ex. granskningsartiklar); 2) studier som inte rapporterade resultat i standard stereotaktiskt koordinatutrymme (antingen Talairach eller Montreal Neurological Institute, MNI); 3) studier som använder uppgifter som inte är relaterade till belöning eller värdebaserat beslutsfattande. 4) studier av strukturella hjärnanalyser (t.ex. voxelbaserad morfometri eller diffusionstensorbildning); 5) studier uteslutande baserat på intresse av intresse (ROI) (t.ex. med anatomiska maskor eller koordinater från andra studier); 6) studier av speciella populationer vars hjärnfunktioner kan avvikas från normala friska vuxna (t.ex. barn, åldrande vuxna eller substansberoende individer), även om koordinater som rapporterats i dessa studier för den friska vuxna gruppen ensam inkluderades. Variabilitet bland metoder med vilka ämnen instruerades att rapportera beslut under uppgifterna (dvs. verbal, icke-verbal knapptryckning) accepterades. Detta resulterade i 142-artiklar i den slutliga databasen (listad i Appendix).
Under dataxtraktionssteget grupperade studierna sedan genom olika rumsliga normaliseringssystem enligt koordinatomvandlingar implementerade i Gingeraleal-verktygslådan (http://brainmap.org, Research Imaging Center vid University of Texas Health Science Center, San Antonio, Texas): använder FSL för att rapportera MNI-koordinater, genom att använda SPM för att rapportera MNI-koordinater, med andra program för att rapportera MNI-koordinater, med hjälp av Brett-metoder för att konvertera MNI-koordinater till Talairach utrymme, med hjälp av en Talairach-inbyggd mall. Listor över koordinater som fanns i Talairach-rymden omvandlades till MNI-rummet enligt deras ursprungliga normaliseringssystem. För Brett-Talairach-listan konverterade vi koordinaterna tillbaka till MNI-rummet med omvänd transformation av Brett (dvs tal2mni) (Brett et al., 2002). För den inbyggda Talairach-listan använde vi BrainMaps Talairach-MNI-omvandling (dvs. tal2icbm_other). En mallista över alla studier skapades genom att kombinera alla koordinater i MNI-utrymme för att förbereda ALE-metaanalyserna i GingerALE.
2.1.2 Experiment kategorisering
För att testa hypoteser med avseende på de gemensamma och distinkta belöningssätten som rekryteras av olika aspekter av belöningsrelaterad beslutsfattande kategoriserades koordinater enligt två typer av klassificering: belöningsvalens och beslutssteg. Vi antog termen "experiment" som användes av BrainMap-databasen för att referera till individuella regressorer eller kontraster som vanligtvis rapporteras i fMRI-studier. För belöningsvalens organiserade vi experimenten till positiva och negativa belöningar. För beslutsskeden separerade vi experimenten i belöningsförväntning, utfall och utvärdering. Koordinater i mallistan som passar in i dessa kategorier placerades i dellistor; de som var svåra att tolka eller inte klart definierade utelämnades. Nedan listar vi några exempel som lagts in i var och en av dessa kategorier.
Följande kontraster klassificerades som behandling av positiva belöningar: de i vilka ämnen som vann pengar eller poäng (Elliott et al., 2000) (belöning under framgångsrikt) undvika att förlora pengar eller poäng (kim et al., 2006) (direkt jämförelse mellan undvikande av ett avvikande utfall och belöningsbonus); vann den största av två summor pengar eller poäng (Knutson et al., 2001a) (stor vs liten belöning förväntan); förlorade den mindre av två summor pengar eller poäng (Allvarligt et al., 2005) (ingen vinst $ 0.50> ingen vinst $ 4); fått uppmuntrande ord eller grafik på skärmen (Zalla et al., 2000) (ökning för "win"); mottog söt smak i munnen (O'Doherty et al., 2002) (glukos> neutral smak); utvärderat valet positivt (Liu et al., 2007) (rätt> fel) eller fått någon annan typ av positiva belöningar till följd av att uppgiften lyckats.
Experiment klassificerade för negativa belöningar inkluderade de personer i vilka ämnen förlorade pengar eller poäng (Elliott et al., 2000) (straff under misslyckande) vann inte pengar eller poäng (Allvarligt et al., 2005) (missnöje av ingen vinst); vann den mindre av två summor pengar eller poäng (Knutson et al., 2001a) ($ 1 vs $ 50 belöning); förlorade större av två summor pengar eller poäng (Knutson et al., 2001a) (stor vs liten straff förväntan); negativt utvärderade valet (Liu et al., 2007) (fel> rätt); eller fått några andra negativa belöningar såsom administrering av en bitter smak i munnen (O'Doherty et al., 2002) (salt> neutral smak) eller nedslående ord eller bilder (Zalla et al., 2000) (ökning för "förlora" och minska för "vinna").
Belöningsförväntning definierades som tidsperioden när ämnet funderade över potentiella alternativ innan ett beslut fattades. Om du satsar på en satsning och förväntar dig att vinna pengar på den satsningen skulle du till exempel klassificera som förväntan (Cohen och Ranganath, 2005) (högrisk mot lågriskbeslut). Belöningsutfall / leverans klassificerades som den period då ämnet fick feedback på det valda alternativet, till exempel en skärm med orden "win x $" eller "lose x $" (Bjork et al., 2004) (vinst mot icke-vinstutfall). När feedbacken påverkade ämnets beslut och beteende i en efterföljande studie eller användes som en inlärningssignal klassificerades kontrast som belöningsutvärdering. Ett riskabelt beslut som belönas i den ursprungliga prövningen kan till exempel leda ett ämne att ta en annan, kanske större risk i nästa försök (Cohen och Ranganath, 2005) (lågriskbelöningar följt av högrisk vs. lågriskbeslut). Förlust aversion, tendensen för att människor starkt föredrar att undvika förluster för att förvärva vinster är ett annat exempel på utvärdering (Tom et al., 2007) (samband mellan lambda och neurala förlustaversion).
2.2 Aktivering sannolikhetsbedömning (ALE)
ALE-algoritmen baseras på (Eickhoff et al., 2009). ALE modellerar aktiveringsfokuserna som 3D-Gaussiska fördelningar centrerade på de rapporterade koordinaterna och beräknar sedan överlappningen av dessa fördelningar över olika experiment (ALE behandlar varje kontrast i en studie som ett separat experiment). Den rumsliga osäkerheten associerad med aktiveringsfokus uppskattas med avseende på antalet försökspersoner i varje studie (dvs. ett större urval ger mer tillförlitliga aktiveringsmönster och lokalisering; därför koordineras de med en stramare Gaussisk kärna). Konvergensen av aktiveringsmönster över experiment beräknas genom att man kopplar samman ovanstående modellerade aktiveringskartor. En nollfördelning som representerar ALE-poäng genererad av slumpmässig rumslig överlappning över studier uppskattas genom permutationsförfarande. Slutligen testas ALE-kartan beräknad från de verkliga aktiveringskoordinaterna mot ALE-poängen från nollfördelningen, vilket ger en statistisk karta som representerar p-värdena för ALE-poängen. De icke-parametriska p-värdena omvandlas sedan till z-poäng och trösklas vid en klusternivå korrigerad p <0.05.
Sex olika ALE-analyser utfördes med användning av GingerALE 2.0 (Eickhoff et al., 2009), en för huvudanalysen av alla studier och en för var och en av de fem dellistorna som karakteriserar hjärnaktivering genom positiva eller negativa belöningar samt förväntan, utfallet och utvärderingen. Två subtraktion ALE-analyser utfördes med användning av GingerALE 1.2 (Turkeltaub et al., 2002), en för kontrast mellan positiva och negativa belöningar, och den andra för kontrasten mellan förväntan och resultatet.
2.2.1 Huvudanalys av alla studier
Alla 142-studier ingick i huvudanalysen, som bestod av 5214-foci från 655-experiment (kontraster). Vi använde den algoritm som implementerades i GingerALE 2.0, som modellerar ALE baserat på den geografiska osäkerheten för varje fokus med hjälp av en uppskattning av inter-ämnes- och inter-experimentvariationen. Uppskattningen begränsades av en gråmaskmaske och uppskattade överkansstoppet med experimenten som en slumpmässig faktor, i stället för att använda en fast-effektanalys på foci (Eickhoff et al., 2009). Den resulterande ALE-kartan trösklades med användning av falsk upptäcktfrekvens (FDR) -metoden med p <0.05 och en minsta klusterstorlek på 60 voxlar av 2 × 2 × 2 mm (för totalt 480 mm3) för att skydda mot falska positiva av flera jämförelser.
2.2.2 Individuella analyser av dellistor
Fem andra ALE-analyser genomfördes också baserat på dellistorna som kategoriserar olika experiment i positiva och negativa belöningar, samt belöning förväntan, belöning leverans (utfall) och val utvärdering. För den positiva belöningsanalysen inkluderades 2167-foci från 283-experiment. Den negativa belöningsanalysen bestod av 935-foci från 140-experiment. Antalet foci som inkluderades i analyserna för förväntan, resultat och valvärdering var 1553 foci (185 experiment), 1977 (253) respektive 520 (97). Vi tillämpade samma analys och gränsvärden som vi gjorde för huvudanalysen ovan.
2.2.3 Subtraction analyser
Vi var också intresserade av att kontrastera hjärnområdena som selektivt eller företrädesvis aktiverades av positiva kontra negativa belöningar och av belöningsförväntan kontra belöningsleverans. GingerALE 1.2 användes för att genomföra dessa två analyser. ALE-kartor slätades ut med en kärna med en FWHM på 10 mm. Ett permutationstest av slumpmässigt fördelade foci med 10000 simuleringar genomfördes för att bestämma statistisk signifikans av ALE-kartorna. För att korrigera för flera jämförelser trösklades de resulterande ALE-kartorna med FDR-metoden med p <0.05 och en minsta klusterstorlek på 60 voxels.
2.3 Parametrisk voxelbaserad meta-analys (PVM)
Vi analyserade också samma koordinatlistor med hjälp av en annan metaanalys, PVM. I motsats till ALE-analysen, som behandlar olika kontraster inom en studie som distinkta experiment, samlas PVM-analyspuljerna från alla olika kontraster inom en studie och skapar en enda koordinatkarta för den specifika studien (Costafreda et al., 2009). Därför är den slumpmässiga effektfaktorn i PVM-analysen den studier, i jämförelse med individ experiment / kontraster i ALE-analysen. Detta minskar ytterligare uppskattningsbias som orsakas av studier med flera kontraster som rapporterar liknande aktiveringsmönster. På samma sätt som ALE-metoden utförde vi sex olika PVM-analyser med hjälp av de algoritmer som implementerades i R statistisk programvara (http://www.R-project.org) från en tidigare studie (Costafreda et al., 2009), en för huvudanalysen av alla studier och en för var och en av de fem dellistorna som karaktäriserar hjärnaktivering genom olika aspekter av belöningsbehandling. Två ytterligare PVM-analyser utfördes med samma kodbas för att jämföra mellan positiva och negativa fördelar såväl som mellan belöningens förväntningar och resultat.
2.3.1 Huvudanalys av alla studier
MNI-koordinater (5214) från samma 142 studier som användes i ALE-analysen omvandlades till en texttabell, varvid varje studie identifierades med en unik studieidentifieringsetikett. Beräkningar på toppkartan begränsades i en mask i MNI-rymden. Toppkartan slätades först med en enhetlig kärna (ρ = 10 mm) för att generera sammanfattningskartan, vilket representerar antalet studier som rapporterar överlappande aktiveringstoppar inom en radie av 10 mm. Därefter kördes PVM-analys av slumpmässiga effekter för att uppskatta statistisk signifikans associerad med varje voxel i sammanfattningskartan. Antalet studier i sammanfattningskartan omvandlades till andelen studier som rapporterade överensstämmande aktivering. Vi använde samma tröskel som används i ALE-analys för att identifiera signifikanta kluster för proportionskartan (med FDR-metoden med p <0.05 och en minsta klusterstorlek på 60 voxlar).
2.3.2 Individuella analyser av dellistor
Fem andra PVM-analyser genomfördes på dellistorna för positiva och negativa belöningar, samt belöning förväntan, resultat och utvärdering. Den positiva belöningsanalysen inkluderade 2167 foci från 111-studier medan den negativa belöningsanalysen inkluderade 935 foci från 67-studier. Antalet studier som inkluderades i analyserna för förebyggande, utfall och valbedömning var 1553 foci (65-studier), 1977 (86) respektive 520 (39). Vi tillämpade samma analys och gränsvärden som vi gjorde för huvudanalysen ovan.
2.3.3-jämförelsesanalyser
Vi genomförde också två PVM-analyser för att jämföra aktiveringsmönstren mellan positiva och negativa belöningar samt mellan belöningsförväntan och resultatet. Två toppkartor (t.ex. en för positiv och den andra för negativ) slätades först med en enhetlig kärna (ρ = 10 mm) för att generera sammanfattningskartorna, var och en representerar antalet studier med överlappande aktiveringstopp inom ett område på 10 mm radie. Dessa två sammanfattningskartor infördes i ett Fisher-test för att uppskatta oddskvoten och statistisk signifikans p-värde för varje bidragande voxel inom MNI-rymdmasken. Eftersom Fisher-testet inte är specifikt utvecklat för fMRI-dataanalys och empiriskt mindre känsligt än de andra metoderna, använde vi en relativt lätt tröskel för direkt jämförelse av PVM-analys, med okorrigerad p <0.01 och en minsta klusterstorlek på 60 voxels (Xiong et al., 1995), för att korrigera för flera jämförelser typ I-fel.
3. Resultat
3.1 ALE resultat
Den allomfattande analysen av 142-studier visade signifikant aktivering av ett stort kluster som omfattade den bilaterala nukleär accumbens (NAcc), pallidum, främre insula, lateral / medial OFC, anterior cingulat cortex (ACC), extra motorområde (SMA), lateral prefrontal cortex (PFC), höger amygdala, vänster hippocampus, thalamus och hjärnstammen (Figur 1A). Andra mindre klyftor inkluderade rätt mellansidan gyrus och vänster mitt / underlägsna frontal gyrus, bilateral underlägsen / överlägsen parietal lobule och posterior cingulate cortex (PCC) (Tabell 1).
Positiva fördelar aktiverade en delmängd av ovan nämnda nätverk, inklusive bilateral pallidum, främre insula, talamus, hjärnstam, medial OFC, ACC, SMA, PCC och andra front- och parietalområden (Figur 1B och Tabell 2, se också Kompletterande material - Figur S1A). Negativa belöningar visade aktivering i bilaterala NAcc, caudate, pallidum, främre insula, amygdale, talamus, hjärnstam, rostral ACC, dorsomedial PFC, lateral OFC och höger mitt och underlägsna frontal gyrus (Figur 1B och Tabell 2, se också Kompletterande material - Figur S1B). Kontrastaktivering av positiva kontra negativa belöningar fann vi att positiva belöningar i hög grad aktiverade följande regioner: bilaterala NAcc, främre insula, medial OFC, hippocampus, vänster putamen och talamus (Figur 1D och Tabell 4). Ingen visade mer aktivering av negativa än positiva belöningar.
Olika belöningsbehandlingsstadier delade liknande hjärnaktiveringsmönster i ovan nämnda kärnnätverk, inklusive den bilaterala NAcc, främre insulaen, thalamus, medial OFC, ACC och dorsomedial PFCFigur 1C och Tabell 3, se också Kompletterande material - Figurer S1C – E). Belöningsförväntning, jämfört med belöningsutfallet, avslöjade större aktivering i den bilaterala främre insulaen, ACC, SMA, vänster, underlägsen parietal lobule och mellansidanalgyrus (Figur 1E och Tabell 5). Resultatpreferens aktivering inkluderade bilateral NAcc, caudate, thalamus och medial / lateral OFC (Tabell 5).
3.2 PVM resultat
Huvudanalysen av 142-studier visade signifikant aktivering i bilateral NAcc, främre insula, lateral / medial OFC, ACC, PCC, underlägsen parietal lobule och mellansidan Gyrus (Figur 2A och Tabell 6).
Positiva fördelar aktiverade den bilaterala NAcc, pallidum, putamen, thalamus, medial OFC, förebyggande cingulära cortex, SMA och PCC (Figur 2B och Tabell 7, se också Kompletterande material - Figur S2A). Aktivering med negativa belöningar hittades i den bilaterala NAcc- och främre insula-, pallidum-, ACC-, SMA- och mellersta / underlägsna frontala gyrus (Figur 2B och Tabell 7, se också Kompletterande material - Figur S2B). Direkt kontrast mellan positiva och negativa belöningar avslöjade preferentiell aktivering med positiva belöningar i NAcc, pallidum, medial OFC och PCC och större aktivering med negativa belöningar i ACC och mellan / underlägsna frontal gyrus (Figur 2D och Tabell 9).
Olika belöningsbehandlingssteg aktiverade likaså NAcc och ACC medan de differentiellt rekryterade andra hjärnområden, såsom medial OFC, främre insula och amygdala (Figur 2C och Tabell 8, se också Kompletterande material - Figur S2C – E). Belöningsförväntning, jämfört med belöningsresultatet, avslöjade signifikant aktivering i den bilaterala främre insulaen, thalamus, precentral gyrus och sämre parietal lobule (Figur 2E och Tabell 10). Inget hjärnområde visade större aktivering genom belöningsutfall i jämförelse med förväntan.
3.3-jämförelse av ALE- och PVM-resultat
Den aktuella studien visade också att även om ALE- och PVM-metoder behandlade de koordinatbaserade data annorlunda och antog olika estimeringsalgoritmer var resultaten för en enda lista över koordinater från dessa två metaanalyser väldigt likartade och jämförbara (Figurer 1A-C och 2A-C, Tabell 11, se också Siffror S1 och S2 i kompletterande material). Den förbättrade ALE-algoritmen implementerad i GingerALE 2.0, genom design, behandlar experiment (eller kontraster) som den slumpmässiga effektfaktorn, vilket signifikant minskar bias som orsakas av experiment som rapporterar mer loci jämfört med de med färre loci. Olika studier innefattar emellertid olika antal experiment / kontraster. Därför kan resultaten av GingerALE 2.0 fortfarande påverkas av den bias som väger mer mot studier som rapporterar mer kontraster, vilket potentiellt överskattar överensstämmelse mellan studier. Dock, av eget val, kan användarna kombinera koordinater från olika kontraster tillsammans så att GingerALE 2.0 kan behandla varje studie som ett enda experiment. Detta är vad PVM implementerar, samordnar koordinater från alla kontraster inom en studie i en enda aktiveringskarta, vilket väger alla studier lika för att uppskatta aktiveringsöverlapp mellan studier.
Däremot skiljer sig jämförelsen mellan två koordinatlistor väsentligt mellan ALE och PVM-tillvägagångssätt (Tabell 11), som ett resultat av deras skillnader i känslighet för inom-studie och tvärstudie-konvergens. Eftersom den förbättrade ALE-algoritmen inte har implementerats för den subtraktiva ALE-analysen, använde vi en tidigare version, GingerALE 1.2, som behandlar koordinaterna som den slumpmässiga effektfaktorn och experimenten som variabeln med fasta effekter. Därför kan skillnader i både antalet koordinater och experiment i två listor påverka subtraktionsresultaten. Den subtraktiva ALE-analysen förspände sig mot listan med fler experiment mot den andra med färre (Figur 1D / E). Positiva belöningsstudier (2167 foci från 283-experiment) klart övervägande över negativa studier (935 foci från 140-experiment). Skillnaden mellan belöningsförväntning (1553 foci från 185-experiment) och resultat (1977 foci från 253-experiment) var mindre, men kunde också ha orsakat bias mot utfallsfasen. Å andra sidan tycktes användningen av Fisher-testet för att uppskatta oddsförhållandet och tilldela voxels i en av de två listorna av PVM vara mindre känsligt för att detektera aktiveringsskillnaden mellan de två listorna (Figur 2D / E).
4. Diskussion
Vi fattar ständigt beslut i vårt vardag. Vissa beslut innebär inga tydliga positiva eller negativa värderingar av resultaten medan andra har betydande inverkan på resultatets valens och våra emotionella svar mot de val vi gör. Vi kan känna sig lyckliga och nöjda när resultatet är positivt eller vår förväntan är uppfylld eller känner sig frustrerad när resultatet är negativt eller lägre än vad vi förväntade oss. Dessutom måste många beslut fattas utan förkunskapskännedom om deras konsekvenser. Därför måste vi kunna göra förutsägelser om den framtida belöningen och utvärdera belöningsvärdet och den potentiella risken att få den eller straffas. Detta kräver att vi utvärderar det val vi gör baserat på förekomsten av förutsägelsesfel och att använda dessa signaler för att styra vår inlärning och framtida beteende. Många neuroimagingstudier har granskat belöningsrelaterat beslutsfattande. Men med tanke på de komplicerade och heterogena psykologiska processerna som är inblandade i värderingsbaserad beslutsfattande är det inte någon triviell uppgift att undersöka neurala nätverk som subserver representation och behandling av belöningsrelaterad information. Vi har observerat en snabb tillväxt i antalet empiriska studier inom neuroekonomi, men hittills har det varit svårt att se hur dessa studier har konvergerat för att tydligt avgränsa belöningskretsarna i människans hjärna. I den nuvarande metaanalysstudien har vi visat överensstämmelse över ett stort antal studier och avslöjade de gemensamma och distinkta mönster för hjärnaktivering genom olika aspekter av belöningsprocessering. I ett datastyrt sätt sammanslagde vi alla koordinater från olika kontraster / experiment av 142-studier och observerade ett kärnbelöningsnätverk, som består av NAcc, lateral / medial OFC, ACC, främre insula, dorsomedial PFC, liksom de laterala frontoparietalområdena. En nyligen genomförd meta-analysstudie med inriktning på riskbedömning i beslutsfattandet rapporterade en liknande belöningskrets (Mohr et al., 2010). Dessutom motsatte vi ur ett teoridriven perspektiv kontrast till neurala nätverk som var inblandade i positiv och negativ valens över förväntan och resultatstadier av belöningsprocessering och belysade distinkta neurala substrat som underlättar valensrelaterad bedömning samt deras förmånliga engagemang i förväg och resultat.
4.1 Core belöningsområden: NAcc och OFC
NAcc och OFC har länge blivit uppfattade som de stora aktörerna i belöningsprocesser eftersom de är huvudprojektionsområdena av två separata dopaminerga vägar, respektive mesolimbiska och mesokortiska vägar. Det är emellertid fortfarande okänt hur dopaminneuroner modulerar aktiviteten aktivt i dessa limbiska och kortikala områden. Tidigare studier har försökt att skilja dessa två strukturers roller i form av temporära steg, associera NAcc med belöningsförväntning och relatera medial OFC till mottagande av belöning (Knutson et al., 2001b; Knutson et al., 2003; Ramnani et al., 2004). Resultat från andra studier ifrågasatte en sådan distinktion (Breiter et al., 2001; Delgado et al., 2005; Rogers et al., 2004). Många studier innebar också att NAcc var ansvarig för att upptäcka förutsägelsesfel, en avgörande signal i incitament för lärande och belöningMcClure et al., 2003; O'Doherty et al., 2003b; Pagnoni et al., 2002). Studier fann också att NAcc visade ett bifasiskt svar, så att aktiviteten i NAcc skulle minska och sjunka under baslinjen som svar på negativa prediktionsfel (Knutson et al., 2001b; McClure et al., 2003; O'Doherty et al., 2003b). Även om OFC visar vanligtvis liknande aktivitetsmönster som NAcc har tidigare neuroimagingstudier hos människor föreslagit att OFC tjänar till att omvandla en mängd stimuli till en gemensam valuta vad gäller deras belöningsvärden (Arana et al., 2003; Cox et al., 2005; Elliott et al., 2010; FitzGerald et al., 2009; Gottfried et al., 2003; Kringelbach et al., 2003; O'Doherty et al., 2001; Plassmann et al., 2007). Dessa fynd parallella de som erhölls från enkelcellsinspelning och lesionsstudier hos djur (Schoenbaum och Roesch, 2005; Schoenbaum et al., 2009; Schoenbaum et al., 2003; Schultz et al., 2000; Tremblay och Schultz, 1999, 2000; Wallis, 2007).
Våra övergripande analyser visade att NAcc och OFC svarade på generell belöningsprocessering (Figur 1A och Figur 2A). Aktivering i NAcc överlappades stort sett över olika steg, medan medial OFC var mer inställd att belöna kvitto (Figur 1C / E och Figur 2C). Dessa resultat lyfter fram att NAcc kan vara ansvarig för att spåra både positiva och negativa signaler om belöning och använda dem för att modulera inlärning av belöningsförening, medan OFC övervakar och utvärderar belöningsresultatet. Ytterligare undersökningar behövs för att bättre differentiera rollerna i NAcc och OFC i belöningsrelaterat beslutsfattande (Frank och Claus, 2006; Hare et al., 2008).
4.2 Valence-relaterad bedömning
Förutom att konvertera olika belöningsalternativ till gemensam valuta och representera deras belöningsvärden, kan olika hjärnregioner i belöningskretsarna separat koda positiva och negativa valenser av belöning. Direkta jämförelser över belöningsvalens visade att både NAcc och medial OFC var mer aktiva som svar på positiva mot negativa belöningar (Figur 1B / D och Figur 2B / D). I motsats härtill var den främre insulära cortexen involverad i behandlingen av negativ belöningsinformation (Figur 1B och Figur 2B). Dessa resultat bekräftade medial-lateral skillnad för positiva mot negativa belöningar (Kringelbach, 2005; Kringelbach och Rolls, 2004) och överensstämde med vad vi observerade i vår tidigare studie om en belöningsuppgift (Liu et al., 2007). Underregioner av ACC svarade unikt på positiva och negativa belöningar. Pregenual och rostral ACC, nära medial OFC, aktiverades med positiva belöningar medan den caudala ACC reagerade på negativa belöningar (Figur 1B och Figur 2B). ALE och PVM meta-analyser avslöjade också att PCC-systemet konsekvent aktiverades med positiva belöningar (Figur 1B och Figur 2B).
Intressant är att separata nätverk som kodar för positiva och negativa valenser liknar skillnaden mellan två antikorrelerade nätverk, standardmodusnätverket och uppgiftsrelaterat nätverk (Fox et al., 2005; Raichle et al., 2001; Raichle och Snyder, 2007). De senaste meta-analyserna visade att standardmodusnätet huvudsakligen involverade de mediala prefrontala regionerna (inklusive medial OFC) och medial posterior cortex (inklusive PCC och precuneus), och det uppgiftsrelaterade nätverket innefattar ACC, insula och lateral frontoparietal regioner (Laird et al., 2009; Toro et al., 2008). Aktivering i medial OFC och PCC med positiva belöningar speglade standardlägesnätet som vanligen observerades under viloläge, medan aktivering i ACC, insula, lateral prefrontal cortex med negativa fördelar parallellt med det uppgiftsrelaterade nätverket. Denna inneboende funktionella organisation av hjärnan visade sig påverka belöning och riskabelt beslutsfattande och redogöra för individuella skillnader i riskupptagande drag (Cox et al., 2010).
4.3 Förväntan mot resultatet
Den bilaterala främre insulaen, ACC / SMA, inferior parietal lobule och hjärnstammen visade mer konsekvent aktivering i förväg jämfört med utfallsfasen (Figur 1C / E och Figur 2C / E). Den främre insula och ACC har tidigare blivit involverade i avlyssning, känslor och empati (Craig, 2002, 2009; Gu et al., 2010; Phan et al., 2002) och risk- och osäkerhetsbedömning (Critchley et al., 2001; Kuhnen och Knutson, 2005; Paulus et al., 2003), utlåning sin roll i förhoppning. Den främre insulaen var konsekvent involverad i riskbehandlingen, särskilt i väntan på förlust, vilket avslöjades av en ny metaanalys (Mohr et al., 2010). I likhet med OFCs roll har parietal lobule förknippats med värdering av olika alternativ (Sugrue et al., 2005), numerisk representation (Cohen Kadosh et al., 2005; Hubbard et al., 2005) och informationsintegration (Guld och Shadlen, 2007; Yang och Shadlen, 2007). Därför är det avgörande för parietal lobule att vara involverad i förväntningsstadiet av belöningsprocessering för att planera och förbereda sig för en informerad åtgärd (Andersen och Cui, 2009; Lau et al., 2004a; Lau et al., 2004b).
Å andra sidan visade ventralstriatumet, medial OFC och amygdala preferentiell aktivering under belöningsutfallet i jämförelse med förväntningsstadiet (Figur 1C / E och Figur 2C). Dessa mönster överensstämde med vad vi och andra utredare hittat tidigare (Breiter et al., 2001; Delgado et al., 2005; Liu et al., 2007; Rogers et al., 2004), som står emot funktionell dissociation mellan ventralstriatum och medial OFC i termer av deras respektive roller i belöningsförväntning och belöningsutfall (Knutson et al., 2001a; Knutson et al., 2001b; Knutson et al., 2003).
4.4 En schematisk illustration av belöningsbehandling
Baserat på resultaten av gemensamma och distinkta nätverk involverade i olika aspekter av belöning beslutsfattande har vi gjort en schematisk illustration för att sammanfatta de distribuerade representationerna av värdering och valens i belöning bearbetning (Figur 3). Vi grupperar preliminärt olika hjärnregioner baserat på deras roller i olika processer, även om varje region kan betjäna flera funktioner och interagera med andra hjärnområden på ett mycket mer komplext sätt. När de står inför alternativa val, som alla har särdrag som storleksgrad och sannolikhet, måste dessa egenskaper omvandlas till jämförbar värdebaserad information, en "gemensam valuta". Inte bara jämför vi värdena för dessa alternativa val, men vi jämför också de faktiska och projicerade värdena samt de fiktiva värdena som är associerade med det ovala valet (t.ex. prediktionsfelsignalen). Den ventrala striatumen och medial OFC har medverkats i denna värdebaserade representation. Den underlägsna parietala lobulen har också visat sig vara involverad i att representera och jämföra numerisk information. Dessutom resulterar värdebaserat beslutsfattande oundvikligen i utvärdering av valen, baserat på utfallets valens och därtill hörande emotionella svar. Medan ventralstriatum och medial OFC också är involverade i att detektera den positiva belöningsvalensen är den laterala OFC, främre insula, ACC och amygdala mest involverade i behandlingen av den negativa belöningsvalensen, som troligen är kopplad till deras utvärderande roller i negativa emotionella svar. På grund av den negativa påverkan som vanligtvis är förknippad med risk, är den främre insulaen och ACC också inblandad i belöningsförväntning av riskabla beslut, särskilt för osäkerhetsavvikande svar i väntan på förlust. Slutligen tjänar de frontoparietala områdena att integrera och agera på dessa signaler för att åstadkomma optimala beslut (t.ex. win-stay-loss-switch).
4.5 Caveats
Ett par metodiska överväganden måste noteras. Den första är relaterad till bias vid rapportering av resultaten i olika studier. Vissa studier är rent ROI-baserade, vilka uteslutits från den aktuella studien. Fortfarande indikerade andra eller betonade mer en tidigare regioner genom att rapportera mer koordinater eller kontraster relaterade till dessa regioner. De kan förvirra resultaten mot att bekräfta "hotspots". För det andra vill vi vara försiktig om begreppsmässig åtskillnad mellan olika aspekter av belöningsprocesser. Vi klassificerade olika kontraster i olika kategorier av teoretiskt intresse. Men med riktiga beslut eller i många experimentella uppgifter har dessa aspekter inte nödvändigtvis tydliga avdelningar. Till exempel kan utvärdering av tidigare val och belöningsresultat blandas med kommande belöningsförväntningar och beslutsfattande. Det finns ingen klar gräns över olika skeden av belöningsprocessen, vilket gör att vår nuvarande klassificering är öppen för diskussion. Trots detta är denna hypotesdriven strategi väsentligt nödvändig (Caspers et al., 2010; Mohr et al., 2010; Richlan et al., 2009), vilket kompletterar dataanalysens datastyrda natur. Många faktorer relaterade till belöning beslutsfattande, såsom riskbedömning och typer av belöning (t.ex. primär vs sekundär, monetär vs social), kräver ytterligare meta-analyser.
Forskningshöjdpunkter
- Vi genomförde två uppsättningar av koordinatbaserade meta-analyser på 142 fMRI-studier av belöning.
- Kärnbelöningskretsarna inkluderade kärnan accumbens, insula, orbitofrontal, cingulate och frontoparietal regioner.
- Kärnans accumbens aktiverades av både positiva och negativa belöningar över olika belöningsbehandlingssteg.
- Andra regioner visade preferenssvar mot positiva eller negativa belöningar, eller under förväntan eller resultatet.
Extramaterial
01
02
03
Erkännanden
Denna studie stöds av Hundratals talprojektet från den kinesiska vetenskapsakademin, NARSAD Young Investigator Award (XL) och NIH Grant R21MH083164 (JF). Författarna vill tacka utvecklingslaget BrainMap och Sergi G. Costafreda för att ge utmärkta verktyg för denna studie.
Appendix
Lista över artiklar som ingår i meta-analyserna av den aktuella studien.
fotnoter
Författarbidrag: XL utformade och övervakade hela studien. JH och MS gjorde lika stora bidrag till den här studien, utför litteratursökning, datautvinning och organisation. JF deltog i diskussions- och manuskriptförberedelser.
Ansvarsfriskrivning för förlag: Detta är en PDF-fil av ett oediterat manuskript som har godkänts för publicering. Som en tjänst till våra kunder tillhandahåller vi denna tidiga version av manuskriptet. Manuskriptet kommer att genomgå copyediting, uppsättning och granskning av det resulterande beviset innan det publiceras i sin slutliga formulär. Observera att under tillverkningsprocessen kan det upptäckas fel som kan påverka innehållet och alla juridiska ansvarsfrister som gäller för tidskriften avser.
Referensprojekt