Publisert i siste redigert form som:
Neurosci Biobehav Rev. 2011 Apr; 35 (5): 1219-1236.
Publisert på nettet 2010 Dec 24. gjør jeg: 10.1016 / j.neubiorev.2010.12.012
PMCID: PMC3395003
NIHMSID: NIHMS261816
Xun Liu,1,2 Jacqueline Hairston,2 Madeleine Schrier,2 og Jin Fan2,3,4
Forlagets endelige redigerte versjon av denne artikkelen er tilgjengelig på Neurosci Biobehav Rev
Se andre artikler i PMC som sitere den publiserte artikkelen.
Abstrakt
For å bedre forstå belønningskretsene i menneskers hjerne, gjennomførte vi aktiveringslikelihood estimation (ALE) og parametriske voxelbaserte meta-analyser (PVM) på 142-neuroimaging-studier som undersøkte hjerneaktivering i belønningsrelaterte oppgaver hos friske voksne. Vi observerte flere kjernehjerneområder som deltok i belønningsrelatert beslutningstaking, inkludert nucleus accumbens (NAcc), caudate, putamen, thalamus, orbitofrontal cortex (OFC), bilateral anterior insula, anterior (ACC) og posterior (PCC) cingulær cortex , samt kognitive kontrollregioner i den nedre parietal lobule og prefrontal cortex (PFC). NAcc ble ofte aktivert av både positive og negative fordeler i ulike faser av belønningsprosessering (for eksempel forventning, utfall og evaluering). I tillegg reagerte medial OFC og PCC fortrinnsvis på positive fordeler, mens ACC, bilateral anterior insula og lateral PFC reagerte selektivt på negative fordeler. Belønningsforventning aktiverte ACC, bilateral anterior insula og hjernestamme, mens belønningsutfallet mer signifikant aktiverte NAcc, medial OFC og amygdala. Neurobiologiske teorier om belønningsrelatert beslutningsprosesser bør derfor distribueres og sammenhengende representasjoner av belønningsvurdering og valensevurdering.
1. Innledning
Folk står overfor utallige belønningsrelaterte beslutningsmuligheter hver dag. Vår fysiske, mentale og sosioøkonomiske velvære avhenger kritisk av konsekvensene av valgene vi gjør. Det er derfor avgjørende å forstå hva som ligger til grunn for den normale funksjonen av belønningsrelatert beslutningstaking. Å studere den normale funksjonen av belønningsrelatert beslutningsprosess hjelper oss også til å bedre forstå de ulike atferds- og psykiske lidelsene som oppstår når en slik funksjon forstyrres, for eksempel depresjon (Drevets, 2001), stoffmisbruk (Bechara, 2005; Garavan og Stout, 2005; Volkow et al., 2003), og spiseforstyrrelser (Kringelbach et al., 2003; Volkow og Wise, 2005).
Funksjonell neuroimaging forskning på belønning har blitt et raskt voksende felt. Vi har observert en stor økning i nevroimaging forskning på dette området, med dusinvis av relevante artikler som vises i PubMed-databasen hver måned. På den ene siden er dette spennende fordi de montere resultatene er avgjørende for å formalisere atferdsmessige og nevrale mekanismer for belønningsrelatert beslutningstaking (Fellows, 2004; Trepel et al., 2005). På den annen side gjør heterogeniteten av resultatene i forbindelse med sporadiske motstridende mønstre det vanskelig å oppnå et klart bilde av belønningskretsene i menneskers hjerne. Blandingen av resultatene skyldes delvis ulike eksperimentelle paradigmer utviklet av ulike forskergrupper som har som mål å adressere ulike aspekter av belønningsrelatert beslutningstaking, som for eksempel skillet mellom belønningshensyn og utfall (breiter et al., 2001; Knutson et al., 2001b; McClure et al., 2003; Rogers et al., 2004), verdsettelse av positive og negative belønninger (Liu et al., 2007; Nieuwenhuis et al., 2005; O'Doherty et al., 2003a; O'Doherty et al., 2001; Ullsperger og von Cramon, 2003), og vurdering av risiko (Bach et al., 2009; d'Acremont og Bossaerts, 2008; Hsu et al., 2009; Huettel, 2006).
Derfor er det avgjørende å samle eksisterende studier sammen og undersøke kjernebelønningsnettene i menneskehjernen, fra både data-drevne og teori-drevne tilnærminger for å teste commonality and distinction av ulike aspekter av belønningsrelatert beslutningstaking. For å nå dette målet, jobbet og sammenlignet vi to koordinasjonsbaserte meta-analyse (CBMA) metoder (Salimi-Khorshidi et al., 2009), aktiveringsannsynlighet estimering (ALE) (Laird et al., 2005; Turkeltaub et al., 2002) og parametrisk voxelbasert meta-analyse (PVM) (Costafreda et al., 2009), for å avdekke konkordansen over et stort antall neuroimaging-studier på belønningsrelatert beslutningstaking. Vi forventet at ventral striatum og orbitofrontal cortex (OFC), to store dopaminerge projeksjonsområder som har vært knyttet til belønningsprosessering, ville bli konsekvent aktivert.
I tillegg, fra et teoridrevet perspektiv, hadde vi til hensikt å belyse om det finnes forskjeller i hjernenettverkene som er ansvarlige for behandling av positiv og negativ belønningsinformasjon, og som fortrinnsvis er involvert i ulike stadier av belønningsprosessering som belønningsforventning, utfall overvåkning, og beslutning evaluering. Beslutningsprosessen innebærer koding og representasjon av de alternative alternativene og sammenligning av verdiene eller verktøyene knyttet til disse alternativene. Over disse prosessene er beslutningstaking vanligvis knyttet til positiv eller negativ valens fra enten resultatene eller følelsesmessige svarene mot de valgte valgene. Positiv belønning Valence refererer til de positive subjektive tilstandene vi opplever (f.eks. Lykke eller tilfredshet) når resultatet er positivt (f.eks. Å vinne et lotteri) eller bedre enn vi forventer (for eksempel å miste mindre verdi enn forventet). Negativ belønning Valence refererer til de negative følelsene vi går gjennom (f. Eks. Frustrasjon eller anger) når resultatet er negativt (for eksempel å miste en gamble) eller verre enn det vi forventer (f.eks. Aksjeverdi øker lavere enn forventet). Selv om tidligere studier har forsøkt å skille belønningsnettverk som er følsomme for behandling av positiv eller negativ informasjon (Kringelbach, 2005; Liu et al., 2007), så vel som de som er involvert i belønning forventning eller utfall (Knutson et al., 2003; Ramnani et al., 2004), har empiriske resultater blitt blandet. Vi har som mål å trekke ut konsistente mønstre ved å samle over et stort antall studier som undersøker disse forskjellene.
2. metoder
Søk og organisering av 2.1 Litteratur
2.1.1 Studieidentifikasjon
To uavhengige forskere gjennomførte et grundig søk på litteraturen for fMRI-studier som undersøkte belønningsbasert beslutningsprosesser hos mennesker. Vilkårene som ble brukt til å søke på Internett-indekseringstjenesten PUBMED (gjennom juni 2009) var "fMRI", "belønning" og "beslutning" (av den første forskeren), "belønning av beslutningstaking", "fMRI" og "menneskelig "(Av den andre forskeren). Disse opprinnelige søkeresultatene ble slått sammen for å gi totalt 182-artikler. En annen 90-artikkel ble identifisert fra en referansedatabase av en tredje forsker akkumulert gjennom juni 2009 ved bruk av "belønning" og "MR" som filtreringskriterium. Vi søkte også på BrainMap-databasen ved hjelp av Sleuth, med "belønningsoppgave" og "fMRI" som søkeord, og fant 59-artikler. Alle disse artiklene ble samlet i en database, og redundante oppføringer ble eliminert. Vi brukte deretter flere ekskluderingskriterier for å ytterligere eliminere artikler som ikke er direkte relevante for den nåværende studien. Disse kriteriene er: 1) ikke-førstehånds empiriske studier (f.eks. Gjennomgang av artikler); 2) studier som ikke rapporterte resultater i standard stereotaktisk koordinatrom (enten Talairach eller Montreal Neurological Institute, MNI); 3) studier ved hjelp av oppgaver som ikke er relatert til belønning eller verdibasert beslutningstaking; 4) studier av strukturelle hjerneanalyser (f. Eks. Voxelbasert morfometri eller diffusjonstensoravbildning); 5) studier utelukkende basert på interesse av interesse (ROI) (for eksempel ved bruk av anatomiske masker eller koordinater fra andre studier); 6) studier av spesielle populasjoner hvis hjernefunksjoner kan avvike fra de som er av normale friske voksne (f.eks. Barn, aldrende voksne eller substansavhengige individer), selv om koordinater rapportert i disse studiene for den friske voksne gruppen alene var inkludert. Variabilitet blant metoder med hvilke emner ble instruert til å rapportere beslutninger under oppgavene (dvs. verbal, nonverbal button-press) ble akseptert. Dette resulterte i 142 artikler i den endelige databasen (oppført i Vedlegg).
Under dataekstraksjonsfasen ble studier deretter gruppert av forskjellige romlige normaliseringsordninger i samsvar med koordinattransformasjoner implementert i Gingerreal-verktøykassen (http://brainmap.org, Research Imaging Center ved Universitetet i Texas Health Science Center, San Antonio, Texas): ved hjelp av FSL for å rapportere MNI koordinater, ved hjelp av SPM for å rapportere MNI koordinater, ved hjelp av andre programmer for å rapportere MNI koordinater, ved hjelp av Brett metoder for å konvertere MNI koordinater til Talairach plass, ved hjelp av en Talairach-innfødt mal. Lister over koordinater som var i Talairach-rom ble omgjort til MNI-rommet i henhold til deres opprinnelige normaliseringsordninger. For Brett-Talairach-listen konverterte vi koordinatene tilbake til MNI-rommet ved hjelp av omvendt transformasjon av Brett (dvs. tal2mni) (Brett et al., 2002). For den innfødte Talairach-listen brukte vi BrainMaps Talairach-MNI-transformasjon (dvs. tal2icbm_other). En masterliste over alle studier ble opprettet ved å kombinere alle koordinater i MNI-rom som forberedelse til ALE-meta-analysene i GingerALE.
2.1.2 Eksperiment kategorisering
For å teste hypoteser med hensyn til de vanlige og distinkte belønningspassene som rekrutteres av ulike aspekter av belønningsrelatert beslutningstaking, kategoriserte vi koordinater i henhold til to typer klassifisering: belønningsvalens og beslutningstrinn. Vi adopterte termen "eksperimenter" brukt av BrainMap-databasen for å referere til individuelle regressorer eller kontraster som vanligvis rapporteres i fMRI-studier. For belønning valens organiserte vi forsøkene i positive og negative belønninger. For beslutningsfaser separerte vi forsøkene i belønningsforventning, utfall og evaluering. Koordinater i hovedlisten som passer inn i disse kategoriene ble lagt inn i underlister; de som var vanskelig å tolke eller ikke klart definert ble utelatt. Nedenfor viser vi noen eksempler som ble lagt inn i hver av disse kategoriene.
Følgende kontraster ble klassifisert som behandling av positive fordeler: de i hvilke emner vant penger eller poeng (Elliott et al., 2000) (belønning i løpet av suksess); unngikk å miste penger eller poeng (Kim et al., 2006) (direkte sammenligning mellom unngåelse av et avansert utfall og belønningskvittering); vant den største av to pengesummer eller poeng (Knutson et al., 2001a) (stor vs liten belønning forventning); tapt den minste av to pengesummer eller poeng (Seriøst et al., 2005) (no-win $ 0.50> no-win $ 4); mottatt oppmuntrende ord eller grafikk på skjermen (Zalla et al., 2000) (økning for "vinn"); fikk søt smak i munnen deres (O'Doherty et al., 2002) (glukose> nøytral smak); evaluert valget positivt (Liu et al., 2007) (rett> feil), eller mottatt noen annen type positive belønninger som et resultat av vellykket gjennomføring av oppgaven.
Eksperimenter klassifisert for negative fordeler, inkluderte de som har mistet penger eller poeng (Elliott et al., 2000) (straff under feilbrudd); Vunnet ikke penger eller poeng (Seriøst et al., 2005) (utilfreds av no-win); vant den minste av to pengesummer eller poeng (Knutson et al., 2001a) ($ 1 vs $ 50 belønning); tapt den største av to pengesummer eller poeng (Knutson et al., 2001a) (stor vs liten straffeforutsetning); negativt vurdert valget (Liu et al., 2007) (feil> rett); eller mottatt noen annen negativ belønning som administrering av en bitter smak i munnen (O'Doherty et al., 2002) (salt> nøytral smak) eller nedslående ord eller bilder (Zalla et al., 2000) (økning for "tape" og redusere for "vinn").
Belønningsforventning ble definert som tidsperioden da motivet tenkte på mulige alternativer før det ble truffet en beslutning. For eksempel, plassering en innsats og forventer å vinne penger på den innsatsen ville bli klassifisert som forventning (Cohen og Ranganath, 2005) (høyrisiko vs lavrisikobeslutning). Belønningsresultatet / leveransen ble klassifisert som den perioden da emnet mottok tilbakemelding på det valgte alternativet, for eksempel en skjerm med ordene "vinn x $" eller "tap x $" (Bjork et al., 2004) (gevinst vs ikke-gevinst utfall). Når tilbakemeldingen påvirket fagets beslutning og oppførsel i en etterfølgende prøve eller ble brukt som læringssignal, ble kontrast klassifisert som belønningsevaluering. For eksempel kan en risikofylt beslutning som belønnes i oppstartsprøven føre til at et emne tar en annen, kanskje større risiko i det neste forsøket (Cohen og Ranganath, 2005) (lavrisikobelønninger etterfulgt av høyrisiko vs lavrisikobeslutninger). Tap aversjon, tendensen til at folk sterkt foretrekker å unngå tap for å skaffe gevinster, er et annet eksempel på evaluering (Tom et al., 2007) (forhold mellom lambda og nevrale tap aversjon).
2.2 Aktivering sannsynlighet estimering (ALE)
ALEs algoritme er basert på (Eickhoff et al., 2009). ALE modellerer aktiveringsfokusene som 3D-gaussiske distribusjoner sentrert ved de rapporterte koordinatene, og beregner deretter overlappingen av disse distribusjonene over forskjellige eksperimenter (ALE behandler hver kontrast i en studie som et eget eksperiment). Den romlige usikkerheten assosiert med aktiveringsfokus er estimert med hensyn til antall fag i hver studie (dvs. et større utvalg gir mer pålitelige aktiveringsmønstre og lokalisering; derfor er koordinatene involvert med en strammere Gauss-kjerne). Konvergensen av aktiveringsmønstre på tvers av eksperimenter beregnes ved å forene de ovennevnte modellerte aktiveringskartene. En nullfordeling som representerer ALE-score generert av tilfeldig romlig overlapping på tvers av studier er estimert gjennom permutasjonsprosedyre. Til slutt testes ALE-kartet beregnet fra de virkelige aktiveringskoordinatene mot ALE-poengene fra nullfordelingen, og produserer et statistisk kart som representerer p-verdiene til ALE-poengene. De ikke-parametriske p-verdiene blir deretter transformert til z-poeng og terskel ved et klyngenivå korrigert p <0.05.
Seks forskjellige ALE-analyser ble utført ved bruk av GingerALE 2.0 (Eickhoff et al., 2009), en for hovedanalysen av alle studier og en for hver av de fem dellistene som karakteriserer hjernevirkning ved positive eller negative fordeler, samt forventning, utfall og evaluering. To subtraksjon ALE analyser ble utført ved bruk av GingerALE1.2 (Turkeltaub et al., 2002), en for kontrasten mellom positive og negative fordeler, og den andre for kontrasten mellom forventning og utfall.
2.2.1 Hovedanalyse av alle studier
Alle 142-studier ble inkludert i hovedanalysen, som besto av 5214-foci fra 655-eksperimenter (kontraster). Vi brukte algoritmen implementert i GingerALE 2.0, som modellerer ALE basert på den romlige usikkerheten til hvert fokus ved å bruke en estimering av inter-fag- og inter-eksperimentvariabiliteten. Anslaget ble begrenset av en gråmassemaske og anslått den over mulige clustering med forsøkene som en tilfeldig effektfaktor, i stedet for å bruke en fast-virkningsanalyse på foci (Eickhoff et al., 2009). Det resulterende ALE-kartet ble tersklet ved hjelp av den falske oppdagingsfrekvens (FDR) -metoden med p <0.05 og en minimum klyngestørrelse på 60 voxels på 2 × 2 × 2 mm (totalt 480 mm3) for å beskytte mot falske positiver av flere sammenligninger.
2.2.2 Individuelle analyser av dellister
Det ble også utført fem andre ALE-analyser basert på dellister som kategoriserer ulike eksperimenter i positive og negative belønninger, samt belønning forventning, belønning levering (utfall) og valg evaluering. For den positive belønningsanalysen ble 2167-foci fra 283-eksperimenter inkludert. Den negative belønningsanalysen besto av 935 foci fra 140 eksperimenter. Antallet foci inkludert i analysene for forventning, utfall og valgevaluering var henholdsvis 1553 foci (185 eksperimenter), 1977 (253) og 520 (97). Vi brukte de samme analysene og terskelmetoder som vi gjorde for hovedanalysen ovenfor.
2.2.3 Subtraksjon analyser
Vi var også interessert i å kontrastere hjerneområdene som selektivt eller fortrinnsvis ble aktivert av positive versus negative belønninger, og av belønningsforventning versus belønning. GingerALE 1.2 ble brukt til å gjennomføre disse to analysene. ALE-kart ble glattet med en kjerne med en FWHM på 10 mm. En permutasjonstest av tilfeldig distribuerte foci med 10000 simuleringer ble kjørt for å bestemme statistisk signifikans av ALE-kartene. For å korrigere for flere sammenligninger ble de resulterende ALE-kartene terskel ved hjelp av FDR-metoden med p <0.05 og en minimum klyngestørrelse på 60 voxels.
2.3 Parametrisk voxelbasert meta-analyse (PVM)
Vi analyserte også de samme koordinatlister ved hjelp av en annen meta-analyse tilnærming, PVM. I motsetning til ALE-analysen, som behandler forskjellige kontraster i en studie som forskjellige eksperimenter, springer PVM analyse bassenger fra alle forskjellige kontraster i en studie og skaper et enkelt koordinat kart for den spesifikke studien (Costafreda et al., 2009). Derfor er random-effektfaktoren i PVM-analysen den studier, i forhold til individ eksperimenter / kontraster i ALE-analysen. Dette reduserer ytterligere estimeringsforstyrrelser forårsaket av studier med flere kontraster som rapporterer lignende aktiveringsmønstre. I likhet med ALE-tilnærmingen gjennomførte vi seks ulike PVM-analyser ved hjelp av algoritmer implementert i R statistisk programvare (http://www.R-project.org) fra en tidligere studie (Costafreda et al., 2009), en for hovedanalysen av alle studier, og en for hver av de fem dellistene som karakteriserer hjernevirkning ved ulike aspekter av belønningsprosessering. To ytterligere PVM analyser ble utført ved hjelp av samme kodebase for å sammenligne mellom positive og negative fordeler, samt mellom belønning forventning og utfall.
2.3.1 Hovedanalyse av alle studier
MNI-koordinater (5214) fra de samme 142 studiene som ble brukt i ALE-analysen ble forvandlet til en teksttabell, med hver studie identifisert av en unik studieidentifikasjonsmerke. Beregninger på toppkartet ble begrenset i en maske i MNI-rommet. Toppkartet ble først glattet ut med en ensartet kjerne (ρ = 10 mm) for å generere sammendragskartet, som representerer antall studier som rapporterer overlappende aktiveringstopper innen et område på 10 mm radius. Deretter ble PVM-analyse med tilfeldige effekter kjørt for å estimere statistisk signifikans assosiert med hver voxel i sammendragskartet. Antall studier i sammendragskartet ble omgjort til andelen studier som rapporterte om samsvarende aktivering. Vi brukte samme terskel som brukt i ALE-analyse for å identifisere signifikante klynger for proporsjonskartet (ved bruk av FDR-metoden med p <0.05 og en minimum klyngestørrelse på 60 vokser).
2.3.2 Individuelle analyser av dellister
Fem andre PVM analyser ble utført på dellistene for positive og negative fordeler, samt belønning forventning, utfall og evaluering. Den positive belønningsanalysen inkluderte 2167 foci fra 111 studier mens den negative belønningsanalysen inkluderte 935 foci fra 67-studier. Antall studier som ble inkludert i analysene for forventning, utfall og valgevaluering var henholdsvis 1553 foci (65 studier), 1977 (86) og 520 (39). Vi brukte de samme analysene og terskelmetoder som vi gjorde for hovedanalysen ovenfor.
2.3.3-sammenligningsanalyser
Vi gjennomførte også to PVM-analyser for å sammenligne aktiveringsmønstrene mellom positive og negative belønninger så vel som mellom belønningsforventning og utfall. To toppkart (f.eks. Et for positivt og det andre for negativt) ble først glattet med en jevn kjerne (ρ = 10 mm) for å generere sammendragskartene, hver representerer antall studier med overlappende aktiveringstopp i et nabolag på 10 mm radius. Disse to oppsummeringskartene ble lagt inn i en Fisher-test for å estimere oddsforholdet og statistisk signifikans p-verdi for hver bidragende voxel i MNI-rommasken. Siden Fisher-testen ikke er spesielt utviklet for fMRI-dataanalyse og empirisk mindre følsom enn de andre metodene, brukte vi en relativt mild terskel for direkte sammenligning PVM-analyse ved å bruke ukorrigert p <0.01 og en minimum klyngestørrelse på 60 voxels (Xiong et al., 1995), for å korrigere for flere sammenligninger Type I-feil.
3. resultater
3.1 ALE resultater
Den all-inclusive-analysen av 142-studier viste signifikant aktivering av en stor klynge som omfattet den bilaterale nucleus accumbens (NAcc), pallidum, anterior insula, lateral / medial OFC, anterior cingulate cortex (ACC), tilleggsmotorområde (SMA), lateral prefrontal cortex (PFC), høyre amygdala, venstre hippocampus, thalamus og hjernestamme (Figur 1A). Andre mindre klynger inkluderte den høyre midterste gyrus og venstre midt / underveis frontal gyrus, bilateral inferior / superior parietal lobule og posterior cingulate cortex (PCC) (Tabell 1).
Positive belønninger aktiverte en delmengde av de nevnte nettverkene, inkludert bilateralt pallidum, anterior insula, thalamus, hjernestamme, medial OFC, ACC, SMA, PCC og andre frontale og parietale områder (Figur 1B og Tabell 2, se også Supplerende materialer - Figur S1A). Negative fordeler viste aktivering i den bilaterale NAcc, caudate, pallidum, fremre insula, amygdale, thalamus, hjernestamme, rostral ACC, dorsomedial PFC, lateral OFC, og høyre midt og underverdig frontal gyrus (Figur 1B og Tabell 2, se også Supplerende materialer - figur S1B). Kontrasterende aktivering av positive mot negative fordeler, fant vi at positive fordeler i stor grad aktiverte følgende regioner: bilateral NAcc, anterior insula, medial OFC, hippocampus, venstre putamen og thalamus (Figur 1D og Tabell 4). Ingen viste mer aktivering med negative enn positive belønninger.
Forskjellige belønningsbehandlingsstadier delte lignende hjerneaktiveringsmønstre i de ovennevnte kjerne nettverkene, inkludert den bilaterale NAcc, anterior insula, thalamus, medial OFC, ACC og dorsomedial PFCFigur 1C og Tabell 3, se også Tilleggsmaterialer - figurer S1C – E). Belønningsforventning, i forhold til belønningsresultatet, viste større aktivering i den bilaterale anterior-insulaen, ACC, SMA, venstre inferior parietal lobule og midterfrontale gyrus (Figur 1E og Tabell 5). Resultatet fortrinnsrett aktivering inkluderte bilaterale NAcc, caudate, thalamus og medial / lateral OFC (Tabell 5).
3.2 PVM resultater
Hovedanalysen av 142-studier viste signifikant aktivering i bilateralt NAcc, anterior insula, lateral / medial OFC, ACC, PCC, inferior parietal lobule og midt frontal Gyrus (Figur 2A og Tabell 6).
Positive belønninger aktivert den bilaterale NAcc, pallidum, putamen, thalamus, medial OFC, pregenual cingulate cortex, SMA og PCC (Figur 2B og Tabell 7, se også Supplerende materialer - Figur S2A). Aktivering av negative belønninger ble funnet i den bilaterale NAcc og anterior insula, pallidum, ACC, SMA og midter / inferior frontal gyrus (Figur 2B og Tabell 7, se også Supplerende materialer - figur S2B). Direkte kontrast mellom positive og negative fordeler avdekket fortrinnsaktivisering med positive fordeler i NAcc, pallidum, medial OFC og PCC, og større aktivering med negative fordeler i ACC og mellom / underferior gyrus (Figur 2D og Tabell 9).
Forskjellige belønningsbehandlingstrinnene aktiverte likevel NAcc og ACC mens de differentielt rekrutterte andre hjerneområder som medial OFC, anterior insula og amygdala (Figur 2C og Tabell 8, se også Supplerende materialer - Figur S2C – E). Belønningsforventning, i forhold til belønningsresultatet, viste betydelig aktivering i den bilaterale anterior-insula, thalamus, precentral gyrus og underverdig parietal lobule (Figur 2E og Tabell 10). Ingen hjerneområde viste større aktivering ved belønning utfall i forhold til forventning.
3.3-sammenligning av ALE- og PVM-resultater
Den nåværende studien viste også at selv om ALE- og PVM-metoder behandlet de koordinasjonsbaserte data forskjellig og vedtatt forskjellige estimeringsalgoritmer, var resultatene for en enkelt liste over koordinater fra disse to meta-analysemetoder svært like og sammenlignbare (Tall 1A-C og 2A-C, Tabell 11, se også Tallene S1 og S2 i tilleggsmaterialene). Den forbedrede ALE-algoritmen implementert i GingerALE 2.0, av design, behandler eksperimenter (eller kontraster) som tilfeldig effektfaktor, som signifikant reduserer bias forårsaket av eksperimenter som rapporterer mer loki versus dem med færre loci. Ulike studier inkluderer imidlertid forskjellige antall eksperimenter / kontraster. Resultatene av GingerALE 2.0 kan derfor fortsatt påvirkes av bias som veier mer mot studier som rapporterer flere kontraster, som muligens overvurderer kryssstudie-konkordans. Derimot, frivillig, kan brukerne kombinere koordinater fra forskjellige kontraster sammen slik at GingerALE 2.0 kan behandle hver enkelt studie som et enkelt eksperiment. Dette er hva PVM implementerer, samle koordinater fra alle kontraster i en studie til et enkelt aktiveringskort, og veier dermed alle studier likeverdig for å estimere aktiveringsoverlapping på tvers av studier.
Til sammenligning var sammenligning av to lister med koordinater vesentlig forskjellig mellom ALE og PVM tilnærminger (Tabell 11), som et resultat av deres forskjeller i følsomhet for innvendig studie og kryss-studie konvergens. Siden den forbedrede ALE-algoritmen ikke har blitt implementert for den subtraktive ALE-analysen, brukte vi en tidligere versjon, GingerALE 1.2, som behandler koordinatene som tilfeldigeffekterfaktoren og eksperimenter som fast-effektvariabelen. Derfor kan forskjeller i både antall koordinater og eksperimenter i to lister påvirke subtraksjonsresultatene. Den subtraktive ALE-analysen forspent seg mot listen med flere eksperimenter mot den andre med færre (Figur 1D / E). Positive belønning studier (2167 foci fra 283 eksperimenter) tydelig overhodet over negative studier (935 foci fra 140 eksperimenter). Forskjellen mellom belønningsforventning (1553 foci fra 185 eksperimenter) og utfall (1977 foci fra 253 eksperimenter) var mindre, men kunne også ha forårsaket bias mot utfallsfasen. På den annen side syntes bruk av Fisher-testen å estimere oddsforholdet og tildele voxels i en av de to listene ved PVM å være mindre følsom for å oppdage aktiveringsforskjellen mellom de to lister (Figur 2D / E).
4. Diskusjon
Vi tar stadig beslutninger i hverdagen. Noen avgjørelser innebærer ingen tilsynelatende positive eller negative verdier av resultatene, mens andre har betydelig innvirkning på resultatets valens og våre følelsesmessige responser mot de valgene vi gjør. Vi kan føle oss glade og tilfreds når utfallet er positivt, eller vår forventning er oppfylt, eller føler oss frustrert når resultatet er negativt eller lavere enn det vi forventet. Videre må mange avgjørelser gjøres uten forkunnskap om konsekvensene. Derfor må vi kunne gjøre spådommer om fremtidig belønning, og vurdere belønningsverdien og potensiell risiko for å skaffe den eller bli straffet. Dette krever at vi vurderer valget vi lager basert på tilstedeværelsen av prediksjonsfeil og å bruke disse signalene til å veilede vår læring og fremtidige atferd. Mange neuroimaging-studier har undersøkt belønningsrelatert beslutningstaking. Men i lys av de komplekse og heterogene psykologiske prosessene som er involvert i verdibasert beslutningstaking, er det ikke noe trivielt å undersøke nevrale nettverk som underviser representasjon og behandling av belønningsrelatert informasjon. Vi har observert en rask vekst i antall empiriske studier innen nevroøkonomi, men hittil har det vært vanskelig å se hvordan disse studiene har konvergert for å tydelig avgrense belønningskretsene i den menneskelige hjerne. I den nåværende meta-analysestudien har vi vist samsvarsevne på tvers av et stort antall studier og avslørt de vanlige og tydelige mønstrene av hjerneaktivering ved ulike aspekter ved lønnsbehandling. På en datadrevet måte samlet vi over alle koordinater fra forskjellige kontraster / eksperimenter av 142-studier, og observerte et kjernebelønningsnettverk som består av NAcc, lateral / medial OFC, ACC, fremre insula, dorsomedial PFC, så vel som de laterale frontoparietalområdene. En nylig meta-analyse studie med fokus på risikovurdering i beslutningsprosessen rapporterte en lignende belønningskrets (Mohr et al., 2010). I tillegg, fra et teori-drevet perspektiv, motvirket vi nevrale nettverk som var involvert i positiv og negativ valens over forventning og utfallsfaser av belønningsprosessering, og klargjort tydelige nevrale substrater underlagt valensrelatert vurdering, samt deres fortrinnsrelaterte engasjement i forventning og utfall.
4.1 Core belønning områder: NAcc og OFC
NAcc og OFC har lenge blitt oppfattet som de store aktørene i belønningsprosessering fordi de er de største projeksjonsområdene av to forskjellige dopaminerge veier, henholdsvis mesolimbic og mesocortical pathways. Imidlertid er det ukjent hvordan dopaminneuroner karakteriserer karakteristisk aktivitet i disse limbiske og kortikale områdene. Tidligere studier har forsøkt å skille rollene til disse to strukturene når det gjelder tidsmessige stadier, assosiere NAcc med belønningsforventning og knytte medial OFC til mottak av belønning (Knutson et al., 2001b; Knutson et al., 2003; Ramnani et al., 2004). Resultater fra andre studier spurte et slikt skille (Breiter et al., 2001; Delgado et al., 2005; Rogers et al., 2004). Mange studier antydet også at NAcc var ansvarlig for å oppdage prediksjonsfeil, et viktig signal i incitament læring og belønning forening (McClure et al., 2003; O'Doherty et al., 2003b; Pagnoni et al., 2002). Studier fant også at NAcc viste en bifasisk respons, slik at aktiviteten i NAcc ville redusere og falle under baseline som svar på negative prediksjonsfeil (Knutson et al., 2001b; McClure et al., 2003; O'Doherty et al., 2003b). Selv om OFC vanligvis viser lignende aktivitetsmønstre som NAcc, har tidligere neuroimagingstudier hos mennesker foreslått at OFC tjener til å konvertere en rekke stimuli til en felles valuta i form av deres belønningsverdier (Arana et al., 2003; Cox et al., 2005; Elliott et al., 2010; FitzGerald et al., 2009; Gottfried et al., 2003; Kringelbach et al., 2003; O'Doherty et al., 2001; Plassmann et al., 2007). Disse funnene parallelt de som ble oppnådd fra enkeltcelleopptak og lesjonstudier hos dyr (Schoenbaum og Roesch, 2005; Schoenbaum et al., 2009; Schoenbaum et al., 2003; Schultz et al., 2000; Tremblay og Schultz, 1999, 2000; Wallis, 2007).
Våre samlede analyser viste at NAcc og OFC reagerte på generell belønning behandling (Figur 1A og Figur 2A). Aktivering i NAcc overlapp stort sett over forskjellige stadier, mens medial OFC var mer innstilt for å belønne kvittering (Figur 1C / E og Figur 2C). Disse funnene fremhevet at NAcc kan være ansvarlig for å spore både positive og negative signaler for belønning og bruke dem til å modulere læring av belønning foreningen, mens OFC overvåker og evaluerer belønningens utfall. Videre undersøkelse er nødvendig for å bedre skille rollene til NAcc og OFC i belønningsrelatert beslutningsprosesser (Frank og Claus, 2006; Hare et al., 2008).
4.2 Valence-relatert vurdering
I tillegg til å konvertere ulike belønningsalternativer til felles valuta og representerer belønningsverdiene, kan forskjellige hjerneområder i belønningskretsene separat kode for positive og negative valenser av belønning. Direkte sammenligninger over belønning valens viste at både NAcc og medial OFC var mer aktive som svar på positive versus negative fordeler (Figur 1B / D og Figur 2B / D). I motsetning var den fremre økulære cortex involvert i behandlingen av negativ belønningsinformasjon (Figur 1B og Figur 2B). Disse resultatene bekreftet medial-lateral skillet for positive versus negative fordeler (Kringelbach, 2005; Kringelbach og Rolls, 2004), og var i samsvar med det vi observerte i vår tidligere studie om en belønningsoppgave (Liu et al., 2007). Sub-regioner av ACC responderte unikt på positive og negative fordeler. Pregenual og rostral ACC, nær medial OFC, ble aktivert med positive fordeler, mens den caudale ACC reagerte på negative fordeler (Figur 1B og Figur 2B). ALE og PVM meta-analyser viste også at PCC ble konsekvent aktivert av positive fordeler (Figur 1B og Figur 2B).
Interessant, separate nettverk som koder for positive og negative valenser, ligner skillet mellom to anti-korrelerte nettverk, standardmodusnettverket og oppgaverelatert nettverk (Fox et al., 2005; Raichle et al., 2001; Raichle og Snyder, 2007). Nylige meta-analyser fant at standardmodusnettet hovedsakelig involverte de mediale prefrontale områdene (inkludert medial OFC) og medial posterior cortex (inkludert PCC og precuneus), og det oppgaverelaterte nettverket inkluderer ACC, insula og lateral frontoparietal regioner (Laird et al., 2009; Toro et al., 2008). Aktivering i medial OFC og PCC med positive fordeler speglet standardmodusnettet som vanligvis observeres under hvilestatus, mens aktivering i ACC, insula, lateral prefrontal cortex ved negative fordeler paralleltgjorde det oppgaverelaterte nettverket. Denne inneboende funksjonelle organisasjonen av hjernen ble funnet å påvirke belønning og risikabel beslutningstaking og redegjøre for individuelle forskjeller i risikotagende egenskaper (Cox et al., 2010).
4.3-forventning versus utfall
Den bilaterale fremre insulaen, ACC / SMA, inferior parietal lobule og hjernestammen viste mer konsistent aktivering i forveien i forhold til utfallsfasen (Figur 1C / E og Figur 2C / E). Den fremre insula og ACC har tidligere vært involvert i interoception, følelser og empati (Craig, 2002, 2009; Gu et al., 2010; Phan et al., 2002), og vurdering av risiko og usikkerhet (Critchley et al., 2001; Kuhnen og Knutson, 2005; Paulus et al., 2003), utlåne sin rolle i forventning. Den fremre insulaen var konsekvent involvert i risikoredigering, spesielt i påvente av tap, som avslørt av en nylig meta-analyse (Mohr et al., 2010). I likhet med OFCs rolle har parietal lobule vært knyttet til verdsettelse av ulike alternativer (Sugrue et al., 2005), numerisk representasjon (Cohen Kadosh et al., 2005; Hubbard et al., 2005), og informasjonsintegrasjon (Gull og Shadlen, 2007; Yang og Shadlen, 2007). Derfor er det avgjørende for parietal lobule å være involvert i forventningsstadiet av belønningsprosessering for å planlegge og forberede seg til en informert handling (Andersen og Cui, 2009; Lau et al., 2004a; Lau et al., 2004b).
På den annen side viste ventralstriatum, medial OFC og amygdala fortrinnsaktivisering under belønningsutfall i forhold til forventningsstadiet (Figur 1C / E og Figur 2C). Disse mønstrene var i samsvar med hva vi og andre etterforskere fant tidligere (Breiter et al., 2001; Delgado et al., 2005; Liu et al., 2007; Rogers et al., 2004), som står mot den funksjonelle dissosiasjonen mellom ventralstriatum og medial OFC i forhold til deres respektive roller i belønningsforventning og belønningsutfall (Knutson et al., 2001a; Knutson et al., 2001b; Knutson et al., 2003).
4.4 En skjematisk illustrasjon av belønningsprosessering
Basert på funnene av felles og distinkte nettverk involvert i ulike aspekter av belønning beslutningsprosesser, har vi kommet opp med en skjematisk illustrasjon for å oppsummere de distribuerte representasjonene av verdsettelse og valens i belønning behandling (Figur 3). Vi grupperer forsiktig ulike hjernegrupper basert på deres roller i ulike prosesser, selv om hver region kan betjene flere funksjoner og samhandle med andre hjerneområder på en langt mer kompleks måte. Når de står overfor alternative valg, som hver har særegne egenskaper som størrelsesorden og sannsynlighet, må disse egenskapene konverteres til sammenlignbar verdibasert informasjon, en "felles valuta". Ikke bare sammenligner vi verdiene til disse alternative valgene, men vi sammenligner også de faktuelle og projiserte verdiene, samt de fiktive verdiene som er knyttet til det uvalgte valget (for eksempel prediksjonsfeilssignalet). Den ventrale striatum og mediale OFC har blitt involvert i denne verdibaserte representasjonen. Den nedre parietal lobule har også blitt funnet å være involvert i å representere og sammenligne numerisk informasjon. I tillegg resulterer verdibasert avgjørelse uunngåelig i evaluering av valgene, basert på utfallets verdi og tilhørende emosjonelle responser. Mens ventralstriatum og medial OFC er også involvert i å detektere den positive belønningsvalensen, er lateral OFC, fremre insula, ACC og amygdala hovedsakelig involvert i behandling av den negative belønningsvalensen, mest sannsynlig knyttet til deres evaluerende roller i negative følelsesmessige responser. På grunn av den negative effekten som vanligvis er forbundet med risiko, er den fremre insula og ACC også involvert i belønning forutsetning av risikable beslutninger, spesielt for usikkerhetsavvikende responser i påvente av tap. Endelig tjener de frontopariske områdene å integrere og opptre på disse signalene for å produsere optimale beslutninger (f.eks. Vinner-opphold-tap-bryter).
4.5 Caveats
Et par metodiske forbehold må noteres. Den første er relatert til bias ved rapportering av resultatene i ulike studier. Noen studier er rent ROI-baserte, som ble utelukket fra den nåværende studien. Likevel pekte andre ut eller satte større vekt på tidligere regioner ved å rapportere flere koordinater eller kontraster knyttet til disse regionene. De kan forvirre resultatene mot å bekrefte "hotspots". For det andre vil vi være forsiktige med begrepsforskjell mellom ulike aspekter av belønningsprosessering. Vi klassifiserte ulike kontraster i forskjellige kategorier av teoretisk interesse. Men med virkelige beslutninger eller i mange eksperimentelle oppgaver, har disse aspektene ikke nødvendigvis klare splittelser. For eksempel kan evaluering av det forrige valg- og belønningsutfallet blande seg med kommende belønningsforventning og beslutningstaking. Det er ingen klar grense på tvers av ulike faser av belønningsprosessering, slik at vår nåværende klassifisering er åpen for diskusjon. Ikke desto mindre er denne hypotesebaserte tilnærmingen i stor grad nødvendig (Caspers et al., 2010; Mohr et al., 2010; Richlan et al., 2009), som utfyller dataanalysens datatype. Mange faktorer knyttet til belønning beslutningstaking, som risikovurdering og typer belønning (f.eks primær vs sekundær, monetær vs sosial), krever ytterligere meta-analyser.
Forsknings høydepunkter
-
Vi gjennomførte to sett med koordinatbaserte meta-analyser på 142 fMRI-studier av belønning.
-
Kjernebelønningskretsene inkluderte kjernen accumbens, insula, orbitofrontal, cingulate og frontoparietalregioner.
-
Nucleus accumbens ble aktivert av både positive og negative fordeler på tvers av ulike belønningsbehandlingsstadier.
-
Andre regioner viste fortrinnsrett mot positive eller negative fordeler, eller under forventning eller utfall.
Tilleggsmateriale
01
02
03
Erkjennelsene
Denne studien støttes av Hundred Talent-prosjektet fra Det kinesiske vitenskapsakademiet, NARSAD Young Investigator Award (XL), og NIH Grant R21MH083164 (JF). Forfatterne ønsker å takke utviklingslaget BrainMap og Sergi G. Costafreda for å gi gode verktøy for denne studien.
Vedlegg
Liste over artikler som inngår i meta-analysene av den nåværende studien.
Fotnoter
Forfatterbidrag: XL designet og overvåket hele studien. JH og MS gjorde like bidrag til denne studien, utførte litteratursøk, datautvinning og organisering. JF deltok i diskusjon og manuskriptforberedelse.
Ansvarsfraskrivelse: Dette er en PDF-fil av et unedited manuskript som har blitt akseptert for publisering. Som en tjeneste til våre kunder gir vi denne tidlige versjonen av manuskriptet. Manuskriptet vil gjennomgå copyediting, typeetting og gjennomgang av det resulterende beviset før det publiseres i sin endelige form. Vær oppmerksom på at under produksjonsprosessen kan det oppdages feil som kan påvirke innholdet, og alle juridiske ansvarsfraskrivelser som gjelder for journalen gjelder.
Referanser
