Gepubliceerd in definitief bewerkte vorm als:
Neurosci Biobehav Rev. 2011 apr; 35 (5): 1219-1236.
Online gepubliceerd 2010 Dec 24. doi: 10.1016 / j.neubiorev.2010.12.012
PMCID: PMC3395003
NIHMSID: NIHMS261816
Xun Liu,1,2 Jacqueline Hairston,2 Madeleine Schrier,2 en Jin Fan2,3,4
De definitieve bewerkte versie van dit artikel is beschikbaar op Neurosci Biobehav Rev
Zie andere artikelen in PMC dat citeren het gepubliceerde artikel.
Abstract
Om het beloningscircuit in het menselijk brein beter te begrijpen, hebben we activeringswaarschijnlijkheidschatting (ALE) en parametrische voxel-gebaseerde meta-analyses (PVM) uitgevoerd op 142 neuroimaging-onderzoeken die hersenactivatie onderzochten in beloningsgerelateerde taken bij gezonde volwassenen. We hebben verschillende kernhersenen waargenomen die deelnamen aan beloningsgerelateerde besluitvorming, waaronder de nucleus accumbens (NAcc), caudate, putamen, thalamus, orbitofrontal cortex (OFC), bilaterale anterieure insula, anterior (ACC) en posterieure (PCC) cingulate cortex , evenals cognitieve controlegebieden in de inferieure pariëtale lobule en prefrontale cortex (PFC). Het NAcc werd vaak geactiveerd door zowel positieve als negatieve beloningen in verschillende stadia van beloningsverwerking (bijv. Anticipatie, uitkomst en evaluatie). Daarnaast reageerden de mediale OFC en PCC bij voorkeur op positieve beloningen, terwijl de ACC, bilaterale voorste insula en laterale PFC selectief reageerden op negatieve beloningen. Beloning anticipatie activeerde de ACC, bilaterale voorste insula en hersenstam, terwijl beloningsuitkomst de NAcc, mediale OFC en amygdala significanter activeerde. Neurobiologische theorieën over beloningsgerelateerde besluitvorming moeten daarom rekening houden met gedistribueerde en onderling gerelateerde representaties van beloningwaardering en valentiebeoordeling.
1. Inleiding
Mensen worden elke dag geconfronteerd met talloze beloningsgerichte besluitvormingsmogelijkheden. Ons fysieke, mentale en sociaal-economische welzijn is kritisch afhankelijk van de gevolgen van de keuzes die we maken. Het is dus cruciaal om te begrijpen wat aan de basis ligt van het normale functioneren van beloningsgerelateerde beslissingen. Het bestuderen van het normale functioneren van beloningsgerelateerde beslissingen helpt ons ook om een beter begrip te krijgen van de verschillende gedrags- en mentale stoornissen die optreden wanneer een dergelijke functie wordt verstoord, zoals depressie (Drevets, 2001), middelenmisbruik (Bechara, 2005; Garavan en Stout, 2005; Volkow et al., 2003) en eetstoornissen (Kringelbach et al., 2003; Volkow en Wise, 2005).
Functioneel neuroimaging-onderzoek naar beloning is een snel groeiend veld geworden. We hebben een enorme golf van neuroimaging-onderzoek waargenomen in dit domein, met tientallen relevante artikelen die elke maand in de PubMed-database verschijnen. Aan de ene kant is dit spannend omdat de stijgende resultaten van groot belang zijn voor het formaliseren van gedrags- en neurale mechanismen van beloningsgerelateerde beslissingen (Fellows, 2004; Trepel et al., 2005). Aan de andere kant maakt de heterogeniteit van de resultaten in combinatie met de incidentele tegengestelde patronen het moeilijk om een duidelijk beeld te krijgen van de beloningscircuits in de menselijke hersenen. De combinatie van resultaten is deels te wijten aan diverse experimentele paradigma's ontwikkeld door verschillende onderzoeksgroepen die gericht waren op verschillende aspecten van beloningsgerelateerde besluitvorming, zoals het onderscheid tussen beloning-anticipatie en uitkomst (Breiter et al., 2001; Knutson et al., 2001b; McClure et al., 2003; Rogers et al., 2004), waardering van positieve en negatieve beloningen (Liu et al., 2007; Nieuwenhuis et al., 2005; O'Doherty et al., 2003a; O'Doherty et al., 2001; Ullsperger en von Cramon, 2003), en risicobeoordeling (Bach et al., 2009; d'Acremont en Bossaerts, 2008; Hsu et al., 2009; Huettel, 2006).
Daarom is het van cruciaal belang om bestaande studies samen te bundelen en de belangrijkste beloningsnetwerken in de menselijke hersenen te onderzoeken, zowel vanuit gegevensgestuurde als theoriegestuurde benaderingen om de gemeenschappelijkheid en het onderscheid tussen verschillende aspecten van beloningsgerelateerde besluitvorming te testen. Om dit doel te bereiken, hebben we twee op coördinaten gebaseerde meta-analyse (CBMA) methoden gebruikt en vergeleken (Salimi-Khorshidi et al., 2009), activeringswaarschijnlijkheidsschatting (ALE) (Laird et al., 2005; Turkeltaub et al., 2002) en parametrische voxel-gebaseerde meta-analyse (PVM) (Costafreda et al., 2009), om de concordantie over een groot aantal neuroimaging-onderzoeken over beloningsgerelateerde besluitvorming te onthullen. We verwachtten dat het ventrale striatum en de orbitofrontale cortex (OFC), twee belangrijke dopaminerge projectiegebieden die zijn geassocieerd met beloningsverwerking, consistent zouden worden geactiveerd.
Vanuit een theoriegestuurd perspectief wilden we bovendien toelichten of er verschillen bestaan in de hersennetwerken die verantwoordelijk zijn voor de verwerking van positieve en negatieve beloningsinformatie en die bij voorkeur betrokken zijn bij verschillende stadia van beloningsverwerking, zoals beloning, uitkomst monitoring en besluitevaluatie. Besluitvorming omvat het coderen en representeren van de alternatieve opties en het vergelijken van de waarden of hulpprogramma's die aan deze opties zijn gekoppeld. In deze processen is de besluitvorming meestal gelieerd aan een positieve of negatieve valentie van de uitkomsten of emotionele reacties op de gemaakte keuzes. Positieve beloningsvalentie verwijst naar de positieve subjectieve toestanden die we ervaren (bijv. Geluk of tevredenheid) wanneer de uitkomst positief is (bijv. Een loterij winnen) of beter dan we voorzien (bijv. Minder waarde verliezen dan geprojecteerd). Negatieve beloningsvalentie verwijst naar de negatieve gevoelens waar we doorheen gaan (bijv. Frustratie of spijt) wanneer de uitkomst negatief is (bijv. Een gok verliezen) of erger dan wat we verwachten (bijv. De waarde van de aandelen neemt minder toe dan verwacht). Hoewel eerdere studies hebben geprobeerd om beloningsnetwerken te onderscheiden die gevoelig zijn voor het verwerken van positieve of negatieve informatie (Kringelbach, 2005; Liu et al., 2007), evenals diegenen die betrokken zijn bij beloningsvooruitzichten of uitkomsten (Knutson et al., 2003; Ramnani et al., 2004), zijn de empirische resultaten gemengd. We wilden consistente patronen extraheren door een groot aantal onderzoeken te bundelen die deze verschillen onderzoeken.
2. methoden
2.1 Literatuuronderzoek en organisatie
2.1.1 Studie-identificatie
Twee onafhankelijke onderzoekers hebben de literatuur grondig bestudeerd voor fMRI-onderzoeken naar beloningsgebaseerde besluitvorming bij mensen. De termen die werden gebruikt om de online citatie-indexeringsservice PUBMED (tot en met juni 2009) te doorzoeken, waren "fMRI", "beloning" en "beslissing" (door de eerste onderzoeker), "beloningsbeslissingsopdracht", "fMRI" en "mens" "(Door de tweede onderzoeker). Deze eerste zoekresultaten zijn samengevoegd tot een totaal van 182-artikelen. Een ander 90-artikel werd geïdentificeerd uit een referentiedatabase van een derde onderzoeker die tot en met juni 2009 verzameld was, met behulp van "beloning" en "MRI" als filtercriteria. We hebben ook de BrainMap-database doorzocht met behulp van Sleuth, met "beloningstaak" en "fMRI" als zoektermen en 59-artikelen gevonden. Al deze artikelen werden samengevoegd in een database en overtollige items werden geëlimineerd. Vervolgens hebben we verschillende uitsluitingscriteria toegepast om artikelen die niet direct relevant zijn voor het huidige onderzoek verder te elimineren. Deze criteria zijn: 1) niet-eerste hand empirische studies (bijv. Overzichtsartikelen); 2) studies die geen resultaten rapporteerden in standaard stereotactische coördinaatruimte (ofwel Talairach of Montreal Neurological Institute, MNI); 3) studies met behulp van taken die niets te maken hebben met beloning of op waarde gebaseerde besluitvorming; 4) studies van structurele hersenanalyses (bijv. Op voxel gebaseerde morfometrie of diffusie tensor imaging); 5) studies die puur gebaseerd zijn op onderzoek van de regio van belang (ROI) (bijv. Gebruikmakend van anatomische maskers of coördinaten uit andere studies); 6) studies van speciale populaties waarvan de hersenfuncties kunnen afwijken van die van normale gezonde volwassenen (bijv. Kinderen, ouder wordende volwassenen of substantieafhankelijke individuen), hoewel de coördinaten die in deze onderzoeken voor de gezonde volwassen groep alleen werden gerapporteerd, werden opgenomen. Variabiliteit tussen methoden waarmee onderwerpen werden geïnstrueerd om beslissingen tijdens de taken te rapporteren (dwz verbale, non-verbale knopcompressie) werd geaccepteerd. Dit resulteerde in 142-artikelen in de uiteindelijke database (vermeld in de Bijlage).
Tijdens de data-extractie werden de studies vervolgens gegroepeerd volgens verschillende ruimtelijke normalisatie schema's volgens coördinaten transformaties geïmplementeerd in de GingerALE toolbox (http://brainmap.org, Research Imaging Center van het Health Science Center van de Universiteit van Texas, San Antonio, Texas): FSL gebruiken om MNI-coördinaten te rapporteren, SPM gebruiken om MNI-coördinaten te rapporteren, andere programma's gebruiken om MNI-coördinaten te rapporteren, Brett-methoden gebruiken om MNI-coördinaten in Talairach om te zetten ruimte, met behulp van een Talairach-standaardsjabloon. Lijsten met coördinaten die zich in Talairach-ruimte bevonden, werden volgens de oorspronkelijke normaliseringsschema's omgezet in de MNI-ruimte. Voor de Brett-Talairach-lijst hebben we de coördinaten terug geconverteerd naar de MNI-ruimte met behulp van reverse transformatie door Brett (bijv. Tal2mni) (Brett et al., 2002). Voor de native Talairach-lijst hebben we de Talairach-MNI-transformatie van BrainMap gebruikt (bijv. Tal2icbm_other). Een master-lijst van alle studies werd gecreëerd door alle coördinaten in MNI-ruimte te combineren ter voorbereiding op de ALE-meta-analyses in GingerALE.
2.1.2 Experimentcategorisatie
Om hypothesen te testen met betrekking tot de gemeenschappelijke en onderscheidende beloningsroutes die worden gerekruteerd door verschillende aspecten van beloningsgerelateerde besluitvorming, hebben we de coördinaten ingedeeld op basis van twee soorten classificatie: beloningsvalentie en beslissingsfasen. We gebruikten de term 'experimenten' die door de BrainMap-database worden gebruikt om te verwijzen naar individuele regressors of contrasten die doorgaans worden gerapporteerd in fMRI-onderzoeken. Voor beloningsvalentie hebben we de experimenten georganiseerd in positieve en negatieve beloningen. Voor beslissingsfasen hebben we de experimenten gescheiden in beloning, anticipatie en evaluatie. Coördinaten in de hoofdlijst die in deze categorieën passen, werden in sublijsten geplaatst; die welke moeilijk te interpreteren waren of niet duidelijk gedefinieerd, werden weggelaten. Hieronder geven we enkele voorbeelden die in elk van deze categorieën zijn gestopt.
De volgende contrasten werden geclassificeerd als verwerking van positieve beloningen: die waarbij proefpersonen geld of punten wonnen (Elliott et al., 2000) (beloning tijdens succes); vermeden om geld of punten te verliezen (Kim et al., 2006) (directe vergelijking tussen vermijding van een vals resultaat en beloningsbon); won de grootste van twee sommen geld of punten (Knutson et al., 2001a) (grote versus kleine beloning anticipatie); verloor de kleinere van twee sommen geld of punten (Ernstig et al., 2005) ($ 0.50 niet winnen> 4 $ niet winnen); bemoedigende woorden of afbeeldingen op het scherm ontvangen (Zalla et al., 2000) (verhogen voor "winnen"); kreeg zoete smaak in hun mond (O'Doherty et al., 2002) (glucose> neutrale smaak); heeft de keuze positief beoordeeld (Liu et al., 2007) (goed> fout), of een ander soort positieve beloning hebben ontvangen als resultaat van het succesvol voltooien van de taak.
Experimenten die zijn geclassificeerd voor negatieve beloningen omvatten die waarbij personen geld of punten verloren (Elliott et al., 2000) (penalty tijdens run of failure); heeft geen geld of punten gewonnen (Ernstig et al., 2005) (ontevredenheid over nee-win); won de kleinere van twee sommen geld of punten (Knutson et al., 2001a) ($ 1 versus $ 50 beloning); verloren de grootste van twee sommen geld of punten (Knutson et al., 2001a) (grote versus kleine straf anticipatie); de keuze negatief beoordeeld (Liu et al., 2007) (fout> juist); of andere negatieve beloningen ontvingen, zoals het toedienen van een bittere smaak in hun mond (O'Doherty et al., 2002) (zout> neutrale smaak) of ontmoedigende woorden of afbeeldingen (Zalla et al., 2000) (verhogen voor "verliezen" en verlagen voor "winnen").
Beloningsverwachtingen werden gedefinieerd als de tijdsperiode dat de proefpersoon nadenkt over mogelijke opties voordat hij een beslissing neemt. Bijvoorbeeld, het plaatsen van een weddenschap en het verwachten van het winnen van geld op die weddenschap zou worden geclassificeerd als anticipatie (Cohen en Ranganath, 2005) (hoog risico versus laag risico besluit). Beloningsresultaat / bezorging werd geclassificeerd als de periode waarin het onderwerp feedback kreeg over de gekozen optie, zoals een scherm met de woorden "win x $" of "verlies x $" (Bjork et al., 2004) (winst versus niet-winstuitkomst). Wanneer de feedback het besluit en gedrag van de proefpersoon in een volgende proef beïnvloedde of als een leersignaal werd gebruikt, werd het contrast als beloningsevaluatie geclassificeerd. Een risicovolle beslissing die tijdens de eerste proef wordt beloond, kan er bijvoorbeeld toe leiden dat een proefpersoon een ander, misschien groter risico neemt in de volgende proef (Cohen en Ranganath, 2005) (beloningen met laag risico gevolgd door beslissingen met een hoog risico versus met laag risico). Verliesaversie, de neiging van mensen om sterk verliezen te verkiezen boven het verwerven van winsten, is een ander voorbeeld van evaluatie (Tom et al., 2007) (relatie tussen lambda en neurale verliesaversie).
2.2 Activatie likelihood schatting (ALE)
Het algoritme van ALE is gebaseerd op (Eickhoff et al., 2009). ALE modelleert de activeringsfoci als 3D Gaussiaanse verdelingen gecentreerd op de gerapporteerde coördinaten, en berekent vervolgens de overlap van deze verdelingen over verschillende experimenten (ALE behandelt elk contrast in een studie als een afzonderlijk experiment). De ruimtelijke onzekerheid geassocieerd met activeringsfoci wordt geschat met betrekking tot het aantal proefpersonen in elke studie (dwz een grotere steekproef produceert betrouwbaardere activeringspatronen en lokalisatie; daarom worden de coördinaten geconvolueerd met een strakkere Gaussische kern). De convergentie van activeringspatronen tussen experimenten wordt berekend door de combinatie van de hierboven gemodelleerde activeringskaarten te nemen. Een nulverdeling die ALE-scores vertegenwoordigt die zijn gegenereerd door willekeurige ruimtelijke overlap tussen onderzoeken, wordt geschat door middel van een permutatieprocedure. Ten slotte wordt de ALE-kaart die is berekend op basis van de echte activeringscoördinaten, getest tegen de ALE-scores van de nulverdeling, waardoor een statistische kaart wordt geproduceerd die de p-waarden van de ALE-scores weergeeft. De niet-parametrische p-waarden worden vervolgens omgezet in z-scores en op clusterniveau gecorrigeerd p <0.05.
Zes verschillende ALE-analyses werden uitgevoerd met GingerALE 2.0 (Eickhoff et al., 2009), één voor de hoofdanalyse van alle onderzoeken, en één voor elk van de vijf sublijsten die hersenactivatie karakteriseren door middel van positieve of negatieve beloningen, evenals anticipatie, uitkomst en evaluatie. Twee aftrekking ALE-analyses werden uitgevoerd met GingerALE 1.2 (Turkeltaub et al., 2002), een voor het contrast tussen positieve en negatieve beloningen, en een voor het contrast tussen anticipatie en uitkomst.
2.2.1 Hoofdanalyse van alle onderzoeken
Alle 142-onderzoeken werden opgenomen in de hoofdanalyse, die bestond uit 5214-foci uit 655-experimenten (contrasten). We gebruikten het algoritme dat is geïmplementeerd in GingerALE 2.0, dat de ALE modelleert op basis van de ruimtelijke onzekerheid van elk focus met behulp van een schatting van de inter-subject en inter-experiment variabiliteit. De schatting werd beperkt door een grijsmasker en schatte de boven-kans-clustering met de experimenten als een random-effects factor, in plaats van een fixed-effects analyse op foci te gebruiken (Eickhoff et al., 2009). De resulterende ALE-kaart werd aan drempelwaarden onderworpen met behulp van de valse ontdekkingssnelheid (FDR) -methode met p <0.05 en een minimale clustergrootte van 60 voxels van 2 × 2 × 2 mm (voor een totaal van 480 mm3) om te beschermen tegen valse positieven van meerdere vergelijkingen.
2.2.2 Individuele analyses van sublijsten
Vijf andere ALE-analyses werden ook uitgevoerd op basis van de sublijsten die verschillende experimenten in positieve en negatieve beloningen categoriseren, evenals beloning anticipatie, beloning levering (uitkomst), en keuze-evaluatie. Voor de positieve beloningsanalyse zijn 2167-foci uit 283-experimenten opgenomen. De negatieve beloningsanalyse bestond uit 935-foci uit 140-experimenten. Het aantal foci in de analyses voor anticipatie, uitkomst en keuze-evaluatie waren 1553-foci (185-experimenten), 1977 (253) en 520 (97), respectievelijk. We hebben dezelfde analyse- en drempelaanpassingen toegepast als voor de bovenstaande hoofdanalyse.
2.2.3 Aftrekkinganalyses
We waren ook geïnteresseerd in het contrasteren van de hersengebieden die selectief of bij voorkeur werden geactiveerd door positieve versus negatieve beloningen, en door anticipatie op beloningen versus beloning. GingerALE 1.2 werd gebruikt om deze twee analyses uit te voeren. ALE-kaarten werden afgevlakt met een kernel met een FWHM van 10 mm. Een permutatietest van willekeurig verdeelde foci met 10000 simulaties werd uitgevoerd om de statistische significantie van de ALE-kaarten te bepalen. Om te corrigeren voor meerdere vergelijkingen, werden de resulterende ALE-kaarten aan drempelwaarden onderworpen met behulp van de FDR-methode met p <0.05 en een minimale clustergrootte van 60 voxels.
2.3 Parametrische voxel-gebaseerde meta-analyse (PVM)
We hebben ook dezelfde coördinatenlijsten geanalyseerd met behulp van een andere meta-analysebenadering, PVM. In tegenstelling tot de ALE-analyse, die verschillende contrasten binnen een onderzoek als afzonderlijke experimenten behandelt, verzamelt PVM-analyse pieken van alle verschillende contrasten binnen een onderzoek en creëert een enkele coördinatenkaart voor de specifieke studie (Costafreda et al., 2009). Daarom is de random-effects factor in de PVM-analyse de studies, in vergelijking met individu experimenten / contrasten in de ALE-analyse. Dit vermindert de schattingsbias veroorzaakt door onderzoeken met meerdere contrasten die vergelijkbare activeringspatronen rapporteren. Vergelijkbaar met de ALE-aanpak, hebben we zes verschillende PVM-analyses uitgevoerd met behulp van de algoritmen die zijn geïmplementeerd in R-statistische software (http://www.R-project.org) uit een eerdere studie (Costafreda et al., 2009), een voor de hoofdanalyse van alle onderzoeken en een voor elk van de vijf sublijsten die de hersenactivatie kenmerken door verschillende aspecten van beloningsverwerking. Twee extra PVM-analyses werden uitgevoerd met behulp van dezelfde codebasis om positieve en negatieve beloningen te vergelijken, alsook tussen anticipatie van de beloning en uitkomst.
2.3.1 Hoofdanalyse van alle onderzoeken
MNI-coördinaten (5214) van dezelfde 142 onderzoeken die in de ALE-analyse werden gebruikt, werden omgezet in een teksttabel, waarbij elk onderzoek werd geïdentificeerd door een uniek onderzoeksidentificatielabel. Berekeningen op de piekkaart werden beperkt binnen een masker in MNI-ruimte. De piekkaart werd eerst afgevlakt met een uniforme kern (ρ = 10 mm) om de samenvattende kaart te genereren, die het aantal onderzoeken vertegenwoordigt dat overlappende activeringspieken rapporteert binnen een straal van 10 mm. Vervolgens werd PVM-analyse met willekeurige effecten uitgevoerd om de statistische significantie te schatten die is geassocieerd met elke voxel in de samenvattende kaart. Het aantal onderzoeken in de samenvattende kaart werd omgerekend naar het aantal onderzoeken dat overeenstemmende activering meldde. We gebruikten dezelfde drempel als gebruikt in ALE-analyse om significante clusters voor de proportiekaart te identificeren (met behulp van de FDR-methode met p <0.05 en een minimale clustergrootte van 60 voxels).
2.3.2 Individuele analyses van sublijsten
Vijf andere PVM-analyses werden uitgevoerd op de sublijsten voor positieve en negatieve beloningen, evenals beloning anticipatie, uitkomst en evaluatie. De positieve beloningsanalyse omvatte 2167-foci van 111-onderzoeken, terwijl de negatieve beloningsanalyse 935-foci van 67-onderzoeken omvatte. Het aantal studies dat was opgenomen in de analyses voor anticipatie, uitkomst en keuze-evaluatie waren 1553-foci (65-studies), 1977 (86) en 520 (39), respectievelijk. We hebben dezelfde analyse- en drempelaanpassingen toegepast als voor de bovenstaande hoofdanalyse.
2.3.3 Vergelijkingsanalyses
We hebben ook twee PVM-analyses uitgevoerd om de activeringspatronen tussen positieve en negatieve beloningen en tussen anticipatie op beloning en uitkomst te vergelijken. Twee piekkaarten (bijvoorbeeld één voor positief en de andere voor negatief) werden eerst afgevlakt met een uniforme kern (ρ = 10 mm) om de samenvattende kaarten te genereren, die elk het aantal onderzoeken met overlappende activeringspiek binnen een buurt van 10 mm weergeven. straal. Deze twee samenvattende kaarten werden ingevoerd in een Fisher-test om de odds ratio en statistische significantie p-waarde te schatten voor elke bijdragende voxel binnen het MNI-ruimtemasker. Omdat de Fisher-test niet specifiek is ontwikkeld voor fMRI-gegevensanalyse en empirisch minder gevoelig is dan de andere methoden, hebben we een relatief milde drempel toegepast voor de PVM-analyse met directe vergelijking, met behulp van ongecorrigeerde p <0.01 en een minimale clustergrootte van 60 voxels (Xiong et al., 1995), om te corrigeren voor multiple comparison Type I error.
3. Resultaten
3.1 ALE resultaten
De all-inclusive analyse van 142-studies toonde significante activering van een groot cluster dat de bilaterale nucleus accumbens (NAcc), pallidum, insula van de voorste zijde, laterale / mediale OFC, anterieure cingulate cortex (ACC), aanvullend motorgebied (SMA), lateraal prefrontale cortex (PFC), rechter amygdala, linker hippocampus, thalamus en hersenstam (Figuur 1A). Andere kleinere clusters waren de rechter middelste voorste gyrus en linker midden / inferieure frontale gyrus, bilaterale inferieure / superieure pariëtale lobule en posterieure cingulate cortex (PCC) (Tabel 1).
Positieve beloningen activeerden een subset van de bovengenoemde netwerken, waaronder de bilaterale pallidum, insula van de voorhand, thalamus, hersenstam, mediale OFC, ACC, SMA, PCC en andere frontale en pariëtale gebieden (Figuur 1B en Tabel 2, zie ook Aanvullende materialen - Figuur S1A). Negatieve beloningen toonden activering in de bilaterale NAcc, caudate, pallidum, voorste insula, amygdale, thalamus, hersenstam, rostrale ACC, dorsomediale PFC, laterale OFC en rechter midden- en inferieure frontale gyrus (Figuur 1B en Tabel 2, zie ook Aanvullende materialen - Figuur S1B). Contrasterende activering door positieve versus negatieve beloningen, we ontdekten dat positieve beloningen de volgende regio's in hoge mate aanzienlijk activeerden: bilaterale NAcc, insula van de voorste zijde, mediale OFC, hippocampus, linker putamen en thalamus (Figuur 1D en Tabel 4). Geen vertoonde meer activering door negatieve dan positieve beloningen.
Verschillende beloningsverwerkingsstadia deelden vergelijkbare hersenactiveringspatronen in de bovengenoemde kernnetwerken, inclusief de bilaterale NAcc, insula anterior, thalamus, mediale OFC, ACC en dorsomediale PFC (Figuur 1C en Tabel 3, zie ook Aanvullende materialen - figuren S1C-E). Beloningsverwachtingen toonden, in vergelijking met beloningsuitkomst, grotere activering aan in de bilaterale voorste insula, ACC, SMA, linker inferieure lobel en midden frontaire gyrus (Figuur 1E en Tabel 5). Uitkomst preferentiële activering omvatte bilaterale NAcc, caudate, thalamus en mediale / laterale OFC (Tabel 5).
3.2 PVM-resultaten
De hoofdanalyse van 142-studies toonde significante activering in bilaterale NAcc, anterieure insula, laterale / mediale OFC, ACC, PCC, inferieure pariëtale lobule en middenfrontale Gyrus (Figuur 2A en Tabel 6).
Positieve beloningen activeerden de bilaterale NAcc, pallidum, putamen, thalamus, mediale OFC, pregenuele cingulate cortex, SMA en PCC (Figuur 2B en Tabel 7, zie ook Aanvullende materialen - Figuur S2A). Activatie door negatieve beloningen werd gevonden in de bilaterale NAcc en anterieure insula, pallidum, ACC, SMA en midden / inferieure frontale gyrus (Figuur 2B en Tabel 7, zie ook Aanvullende materialen - Figuur S2B). Rechtstreeks contrast tussen positieve en negatieve beloningen onthulde preferentiële activering door positieve beloningen in de NAcc, pallidum, mediale OFC en PCC, en een grotere activering door negatieve beloningen in ACC en midden / inferieure frontale gyrus (Figuur 2D en Tabel 9).
Verschillende beloningsverwerkingsstadia activeerden op vergelijkbare wijze de NAcc en ACC terwijl ze differentieel andere hersengebieden recruteren, zoals mediale OFC, insula van de voorste en amygdala (Figuur 2C en Tabel 8, zie ook Aanvullende materialen - Figuur S2C-E). Beloningsverwachtingen toonden, in vergelijking met beloningsresultaten, significante activering aan in de bilaterale voorste insula, thalamus, precentrale gyrus en inferieure pariëtale lobule (Figuur 2E en Tabel 10). Geen hersengebied vertoonde meer activering door beloningsuitkomst in vergelijking met anticipatie.
3.3 Vergelijking van ALE- en PVM-resultaten
De huidige studie toonde ook aan dat hoewel ALE- en PVM-methoden de op coördinaten gebaseerde gegevens verschillend behandelden en verschillende schattingsalgoritmen gebruikten, de resultaten voor een enkele lijst van coördinaten van deze twee benaderingen van meta-analyse erg vergelijkbaar en vergelijkbaar waren (Figuren 1A-C en 2A-C, Tabel 11, zie ook Figuren S1 en S2 in de aanvullende materialen). Het verbeterde ALE-algoritme geïmplementeerd in GingerALE 2.0, met opzet, behandelt experimenten (of contrasten) als de random-effects factor, die de vertekening die wordt veroorzaakt door experimenten die meer loci rapporteren dan die met minder loci, significant vermindert. Verschillende onderzoeken omvatten echter een verschillend aantal experimenten / contrasten. Daarom kunnen de resultaten van GingerALE 2.0 nog steeds worden beïnvloed door de vooringenomenheid die meer wegen in de richting van studies die meer contrasten rapporteren en mogelijk cross-study-concordantie overschatten. Echter, bij keuzeGebruikers kunnen coördinaten van verschillende contrasten samenvoegen, zodat GingerALE 2.0 elk onderzoek als een enkel experiment kan behandelen. Dit is wat PVM implementeert, waarbij coördinaten worden gebundeld van alle tegenstellingen binnen een onderzoek naar een enkele activeringskaart, waardoor alle onderzoeken gelijk worden afgewogen om activeringsoverlap tussen studies te schatten.
Daarentegen verschilde de vergelijking tussen twee coördinatenlijsten aanzienlijk tussen ALE- en PVM-benaderingen (Tabel 11), als gevolg van hun verschillen in gevoeligheid voor binnen het onderzoek en convergentie tussen de studies. Aangezien het verbeterde ALE-algoritme niet is geïmplementeerd voor de subtractieve ALE-analyse, hebben we een eerdere versie, GingerALE 1.2, gebruikt, die de coördinaten behandelt als de willekeurige effectfactor en experimenten als de variabele met vaste effecten. Daarom kunnen verschillen in zowel het aantal coördinaten als de experimenten in twee lijsten van invloed zijn op de resultaten van aftrekken. De subtractieve ALE-analyse vertoonde een voorkeur voor de lijst met meer experimenten tegen de andere met minder (Figuur 1D / E). Positieve beloningsstudies (2167-foci uit 283-experimenten) hadden duidelijk de overhand boven negatieve onderzoeken (935-foci uit 140-experimenten). Het verschil tussen anticipatie van beloning (1553-foci uit 185-experimenten) en uitkomst (1977-foci uit 253-experimenten) was kleiner, maar had mogelijk ook de voorkeur kunnen hebben voor de uitkomstfase. Aan de andere kant leek het gebruik van de Fisher-test om de odds ratio te schatten en voxels in een van de twee lijsten toe te wijzen door PVM minder gevoelig te zijn voor het detecteren van activeringsverschillen tussen de twee lijsten (Figuur 2D / E).
4. Discussie
We nemen voortdurend beslissingen in ons dagelijks leven. Sommige beslissingen omvatten geen duidelijke positieve of negatieve waarden van de resultaten, terwijl andere belangrijke gevolgen hebben voor de valentie van de resultaten en onze emotionele reacties op de keuzes die we maken. We kunnen ons gelukkig en tevreden voelen wanneer de uitkomst positief is of onze verwachting is vervuld, of ons gefrustreerd voelen wanneer de uitkomst negatief of lager is dan we hadden verwacht. Bovendien moeten er veel beslissingen worden genomen zonder dat je vooraf weet wat de consequenties zijn. Daarom moeten we voorspellingen kunnen doen over de toekomstige beloning en de beloningswaarde en het potentiële risico evalueren om deze te krijgen of te worden bestraft. Dit vereist dat we de keuze die we maken op basis van de aanwezigheid van voorspellingsfouten evalueren en deze signalen gebruiken om ons leer- en toekomstig gedrag te sturen. Veel neuroimaging-onderzoeken hebben beloningsgerelateerde beslissingen onderzocht. Echter, gezien de complexe en heterogene psychologische processen die betrokken zijn bij op waarde gebaseerde besluitvorming, is het geen triviale taak om neurale netwerken te onderzoeken die representatie en verwerking van aan beloning gerelateerde informatie ondersteunen. We hebben een snelle groei waargenomen in het aantal empirische studies op het gebied van neuro-economie, maar tot nu toe is het moeilijk te zien hoe deze studies zijn samengevoegd om het beloningscircuit in het menselijk brein duidelijk af te bakenen. In de huidige meta-analyse hebben we concordantie voor een groot aantal studies aangetoond en de gemeenschappelijke en verschillende patronen van hersenactivatie onthuld door verschillende aspecten van beloningsverwerking. Op een gegevensgestuurde manier hebben we alle coördinaten van verschillende contrasten / experimenten van 142-onderzoeken samengevoegd en een kernbeloningsnetwerk waargenomen, dat bestaat uit de NAcc, laterale / mediale OFC, ACC, anterieure insula, dorsomediale PFC, evenals de laterale frontoparietale gebieden. Een recent meta-analyseonderzoek gericht op risicobeoordeling in de besluitvorming rapporteerde een vergelijkbare beloningscircuits (Mohr et al., 2010). Vanuit een theoriegestuurd perspectief vergeleken we bovendien neurale netwerken die betrokken waren bij positieve en negatieve valentie in anticipatie- en uitkomststadia van beloningsverwerking, en ophelderende verschillende neurale substraten die valentie-gerelateerde beoordeling ondergeschikt maken, evenals hun preferentiële betrokkenheid bij anticipatie en resultaat.
4.1 Kernbeloningsgebieden: NAcc en OFC
De NAcc en OFC zijn al lang bedacht als de belangrijkste spelers in beloningsverwerking, omdat ze de belangrijkste projectiegebieden zijn van twee verschillende dopaminerge routes, de mesolimbische en mesocorticale routes, respectievelijk. Het blijft echter onbekend hoe dopamine-neuronen de activiteit in deze limbische en corticale gebieden op kenmerkende wijze moduleren. Eerdere studies hebben geprobeerd om de rollen van deze twee structuren in termen van temporele stadia te onderscheiden, de NAcc te associëren met anticipatie op beloningen en de mediale OFC te relateren aan de ontvangst van beloningen (Knutson et al., 2001b; Knutson et al., 2003; Ramnani et al., 2004). Resultaten van andere studies betroffen een dergelijk onderscheid (Breiter et al., 2001; Delgado et al., 2005; Rogers et al., 2004). Veel onderzoeken impliceerden ook dat de NAcc verantwoordelijk was voor het detecteren van voorspellingsfouten, een cruciaal signaal bij leren van incentives en het belonen van beloningen (McClure et al., 2003; O'Doherty et al., 2003b; Pagnoni et al., 2002). Studies hebben ook aangetoond dat de NAcc een bifasische respons vertoonde, zodanig dat de activiteit in de NAcc zou afnemen en onder de basislijn zou dalen als reactie op negatieve voorspellingsfouten (Knutson et al., 2001b; McClure et al., 2003; O'Doherty et al., 2003b). Hoewel de OFC gewoonlijk vergelijkbare activiteitspatronen vertoont als de NAcc, hebben eerdere neuroimaging-onderzoeken bij mensen gesuggereerd dat de OFC dient om een verscheidenheid aan stimuli in een gemeenschappelijke valuta om te zetten in termen van hun beloningswaarden (Arana et al., 2003; Cox et al., 2005; Elliott et al., 2010; FitzGerald et al., 2009; Gottfried et al., 2003; Kringelbach et al., 2003; O'Doherty et al., 2001; Plassmann et al., 2007). Deze bevindingen kwamen overeen met die van onderzoeken met enkelvoudige cellen en laesies bij dieren (Schoenbaum en Roesch, 2005; Schoenbaum et al., 2009; Schoenbaum et al., 2003; Schultz et al., 2000; Tremblay en Schultz, 1999, 2000; Wallis, 2007).
Onze algehele analyses lieten zien dat de NAcc en OFC reageerden op algemene beloningsverwerking (Figuur 1A en Figuur 2A). Activering in de NAcc overlapt grotendeels over verschillende fasen, terwijl de mediale OFC meer afgestemd was om de ontvangst te belonen (Figuur 1C / E en Figuur 2C). Deze bevindingen benadrukten dat het NAcc verantwoordelijk kan zijn voor het volgen van zowel positieve als negatieve signalen van beloning en het gebruiken daarvan om het leren van beloningsassociatie te moduleren, terwijl het OFC de beloningsresultaten meestal bewaakt en evalueert. Verder onderzoek is nodig om de rollen van de NAcc en OFC beter te differentiëren in beloningsgerelateerde beslissingen (Frank en Claus, 2006; Haas et al., 2008).
4.2 Valence-gerelateerde beoordeling
Naast het omzetten van verschillende beloningsopties naar de gemeenschappelijke valuta en het weergeven van hun beloningswaarden, kunnen afzonderlijke hersengebieden in het beloningscircuit afzonderlijk positieve en negatieve beloningswaardes coderen. Directe vergelijkingen tussen beloningvalentie onthulden dat zowel het NAcc als het mediale OFC actiever waren in reactie op positieve versus negatieve beloningen (Figuur 1B / D en Figuur 2B / D). Daarentegen was de voorste insulaire cortex betrokken bij de verwerking van negatieve beloningsinformatie (Figuur 1B en Figuur 2B). Deze resultaten bevestigden het mediaal-laterale onderscheid voor positieve versus negatieve beloningen (Kringelbach, 2005; Kringelbach and Rolls, 2004) en waren consistent met wat we in onze vorige studie over een beloningstaak (Liu et al., 2007). Subregio's van de ACC hebben op unieke wijze gereageerd op positieve en negatieve beloningen. Pregenuele en rostrale ACC, dicht bij de mediale OFC, werden geactiveerd door positieve beloningen, terwijl de caudale ACC reageerde op negatieve beloningen (Figuur 1B en Figuur 2B). ALE- en PVM-meta-analyses brachten ook aan het licht dat de PCC consistent werd geactiveerd door positieve beloningen (Figuur 1B en Figuur 2B).
Interessant is dat afzonderlijke netwerken die positieve en negatieve valenties coderen, lijken op het onderscheid tussen twee anti-gecorreleerde netwerken, het standaardmodusnetwerk en taakgerelateerde netwerk (Fox et al., 2005; Raichle et al., 2001; Raichle en Snyder, 2007). Recente meta-analyses hebben aangetoond dat het standaardmodusnetwerk voornamelijk de mediale prefrontale regio's (inclusief de mediale OFC) en de mediale posterieure cortex (inclusief de PCC en precuneus) omvatte, en het taakgerelateerde netwerk de ACC, insula en laterale frontoperaiaal omvatte Regio's (Laird et al., 2009; Toro et al., 2008). Activatie in de mediale OFC en PCC door positieve beloningen weerspiegelde het standaardmodusnetwerk dat vaak werd waargenomen tijdens de rusttoestand, terwijl activering in de ACC, insula, laterale prefrontale cortex door negatieve beloningen parallel liep aan het taakgerelateerde netwerk. Deze intrinsieke functionele organisatie van de hersenen bleek de beloning en risicovolle besluitvorming te beïnvloeden en verklaart individuele verschillen in risiconeuzende kenmerken (Cox et al., 2010).
4.3 Anticipatie versus uitkomst
De bilaterale voorste insula, ACC / SMA, inferieure pariëtale lobule en hersenstam vertoonden anticiperende activering in vergelijking met de uitkomstfase (Figuur 1C / E en Figuur 2C / E). De voorste insula en ACC zijn eerder betrokken geweest bij interoceptie, emotie en empathie (Craig, 2002, 2009; Gu et al., 2010; Phan et al., 2002), en risico- en onzekerheidsbeoordeling (Critchley et al., 2001; Kuhnen en Knutson, 2005; Paulus et al., 2003), zijn rol lopend in afwachting van. De voorste insula was consequent betrokken bij de verwerking van risico's, vooral in afwachting van verlies, zoals blijkt uit een recente meta-analyse (Mohr et al., 2010). Net als de OFC, is de wandbeenkwab ook geassocieerd met de waardering van verschillende opties (Sugrue et al., 2005), numerieke weergave (Cohen Kadosh et al., 2005; Hubbard et al., 2005) en informatie-integratie (Goud en Shadlen, 2007; Yang en Shadlen, 2007). Daarom is het van cruciaal belang dat de pariëtale lobulus wordt betrokken in de anticipatiestadium van beloningsverwerking om zo een geïnformeerde actie te plannen en voor te bereiden (Andersen en Cui, 2009; Lau et al., 2004a; Lau et al., 2004b).
Aan de andere kant vertoonden het ventrale striatum, mediale OFC en amygdala preferentiële activering tijdens het resultaat van de beloning in vergelijking met de anticipatiestadium (Figuur 1C / E en Figuur 2C). Deze patronen kwamen overeen met wat wij en andere onderzoekers eerder vonden (Breiter et al., 2001; Delgado et al., 2005; Liu et al., 2007; Rogers et al., 2004), die zich verzetten tegen de functionele dissociatie tussen het ventrale striatum en het mediale OFC in termen van hun respectievelijke rollen in beloningsverwachtingen en beloningsresultaten (Knutson et al., 2001a; Knutson et al., 2001b; Knutson et al., 2003).
4.4 Een schematische illustratie van beloningsverwerking
Op basis van de bevindingen van gemeenschappelijke en verschillende netwerken die betrokken zijn bij verschillende aspecten van beloningsbeslissing, hebben we een schematische illustratie bedacht om de gedistribueerde representaties van waardering en valentie in beloningsverwerking samen te vatten (Figuur 3). We groeperen voorlopig verschillende hersengebieden op basis van hun rol in verschillende processen, hoewel elke regio meerdere functies kan vervullen en op een veel complexere manier interactie met andere hersengebieden kan hebben. Bij het zien van alternatieve keuzes, die elk hun eigen kenmerken hebben, zoals grootte en waarschijnlijkheid, moeten deze eigenschappen worden omgezet in vergelijkbare op waarde gebaseerde informatie, een 'gemeenschappelijke valuta'. We vergelijken niet alleen de waarden van deze alternatieve keuzes, maar we vergelijken ook de feitelijke en geprojecteerde waarden, evenals de fictieve waarden die horen bij de niet-gekozen keuze (bijv. Het voorspellingsfoutsignaal). Het ventrale striatum en de mediale OFC zijn geïmpliceerd in deze op waarde gebaseerde representatie. De inferieure pariëtale lob is ook betrokken bij het weergeven en vergelijken van numerieke informatie. Bovendien resulteert een op waarde gebaseerde besluitvorming onvermijdelijk in een evaluatie van de keuzes, op basis van de valentie van de uitkomsten en de bijbehorende emotionele responsen. Hoewel het ventrale striatum en de mediale OFC ook betrokken zijn bij het detecteren van de positieve beloningsvalentie, zijn de laterale OFC, anterieure insula, ACC en amygdala meestal betrokken bij de verwerking van de negatieve beloningvalentie, hoogstwaarschijnlijk gekoppeld aan hun evaluatieve rollen in negatieve emotionele responsen. Vanwege het negatieve effect dat gewoonlijk gepaard gaat met risico, zijn de voorste insula en ACC ook betrokken bij het anticiperen op risicovolle beslissingen, met name voor onzekerheidsavers die anticiperen op verlies. Ten slotte dienen de frontoparietale gebieden om deze signalen te integreren en in actie te brengen om optimale beslissingen te produceren (bijv. Win-stay-loss-switch).
4.5 Voorbehoud
Een aantal methodologische kanttekeningen moeten worden opgemerkt. De eerste is gerelateerd aan de vertekening bij het rapporteren van de resultaten in verschillende onderzoeken. Sommige onderzoeken zijn op zuiver ROI-basis gebaseerd en zijn uitgesloten van het huidige onderzoek. Maar er zijn nog andere uitgekozen of er is meer nadruk op gelegd Een voorafgaande regio's door meer coördinaten of contrasten met betrekking tot die regio's te rapporteren. Ze zouden de resultaten kunnen beïnvloeden in de richting van bevestiging van de "hotspots". Ten tweede willen we waarschuwen voor conceptueel onderscheid tussen verschillende aspecten van beloningsverwerking. We classificeerden verschillende contrasten in verschillende categorieën van theoretische interesse. Echter, met beslissingen in het echte leven of in veel experimentele taken, hebben deze aspecten niet noodzakelijkerwijs duidelijke scheidslijnen. Bijvoorbeeld, de evaluatie van de vorige keuze en de uitkomst van de beloning kan zich vermengen met aanstaande beloningsvooruitzichten en besluitvorming. Er is geen duidelijke grens tussen verschillende stadia van beloningsverwerking, waardoor onze huidige classificatie open blijft staan voor discussie. Niettemin is deze hypothesegedreven aanpak hard nodig (Caspers et al., 2010; Mohr et al., 2010; Richlan et al., 2009), dat een aanvulling vormt op het datagedreven karakter van meta-analyse. Veel factoren die verband houden met het nemen van beloningsbeslissingen, zoals risicobeoordeling en soorten beloningen (bijv. Primair vs. secundair, monetair versus sociaal), vragen om aanvullende meta-analyses.
onderzoekshoogtepunten
- We hebben twee sets op coördinaten gebaseerde meta-analyses uitgevoerd op 142 fMRI-onderzoeken naar beloningen.
- De belangrijkste beloningscircuits omvatten de nucleus accumbens, insula, orbitofrontal, cingulate en frontoparietal regions.
- De nucleus accumbens werd geactiveerd door zowel positieve als negatieve beloningen in verschillende beloningsstadia.
- Andere regio's vertoonden preferentiële responsen op positieve of negatieve beloningen, of tijdens anticipatie of uitkomst.
Aanvullend materiaal
01
02
03
Dankwoord
Deze studie wordt ondersteund door het Hundred-Talent Project van de Chinese Academie van Wetenschappen, NARSAD Young Investigator Award (XL) en NIH Grant R21MH083164 (JF). De auteurs willen het ontwikkelingsteam van BrainMap en Sergi G. Costafreda bedanken voor het leveren van uitstekende hulpmiddelen voor deze studie.
Bijlage
Lijst van artikelen opgenomen in de meta-analyses van de huidige studie.
voetnoten
Bijdragen van de auteur: XL heeft het hele onderzoek ontworpen en begeleid. JH en MS hebben een gelijkwaardige bijdrage geleverd aan dit onderzoek, het uitvoeren van literatuuronderzoek, data-extractie en organisatie. JF nam deel aan de voorbereiding van discussies en manuscripten.
Disclaimer uitgever: Dit is een PDF-bestand van een onbewerkt manuscript dat is geaccepteerd voor publicatie. Als service aan onze klanten bieden wij deze vroege versie van het manuscript. Het manuscript zal een copy-editing ondergaan, een typografie en een review van het resulterende bewijs voordat het in zijn definitieve citeervorm wordt gepubliceerd. Houd er rekening mee dat tijdens het productieproces fouten kunnen worden ontdekt die van invloed kunnen zijn op de inhoud en alle wettelijke disclaimers die van toepassing zijn op het tijdschrift.
Referenties