Publikované v konečnom upravenom formulári ako:
Neurosci Biobehav Rev. 2011 Apr; 35 (5): 1219 – 1236.
Publikované online 2010 Dec 24. doi: 10.1016 / j.neubiorev.2010.12.012
PMCID: PMC3395003
NIHMSID: NIHMS261816
Xun Liu,1,2 Jacqueline Hairston,2 Madeleine Schrier,2 a Jin Fan2,3,4
Konečná upravená verzia tohto článku vydavateľa je k dispozícii na stránke Neurosci Biobehav Rev
Pozri ďalšie články v PMC to citát publikovaný článok.
abstraktné
Aby sme lepšie pochopili obvody odmeňovania v ľudskom mozgu, vykonali sme odhad pravdepodobnosti aktivácie (ALE) a parametrické metaanalýzy založené na voxeloch (PVM) na neuroimagingových štúdiách 142, ktoré skúmali aktiváciu mozgu pri úlohách súvisiacich s odmeňovaním u zdravých dospelých. Pozorovali sme niekoľko hlavných oblastí mozgu, ktoré sa podieľali na rozhodovaní v súvislosti s odmenou vrátane nukleus accumbens (NAcc), caudate, putamen, talamus, orbitofrontálneho kortexu (OFC), bilaterálnej prednej insuflázie, predného (ACC) a zadného (PCC) cingulárneho kortexu. , ako aj kognitívne kontrolné oblasti v dolnom parietálnom lolule a prefrontálnom kortexe (PFC). NAcc bol bežne aktivovaný tak pozitívnymi, ako aj negatívnymi odmenami naprieč rôznymi štádiami spracovania odmien (napr. Predvídanie, výsledok a hodnotenie). Okrem toho, stredný OFC a PCC prednostne reagovali na pozitívne odmeny, zatiaľ čo ACC, bilaterálna predná izolácia a laterálna PFC selektívne reagovali na negatívne odmeny. Očakávanie odmeňovania aktivovalo ACC, obojstrannú prednú izoláciu a mozgový kmeň, zatiaľ čo výsledok odmeňovania výraznejšie aktivoval NAcc, mediálnu OFC a amygdalu. Neurobiologické teórie rozhodovania týkajúceho sa odmeňovania by preto mali distribuovať a vzájomne prepojiť reprezentácie ocenenia odmien a hodnotenia valencie.
1. Úvod
Každý deň ľudia čelia nespočetným príležitostiam na rozhodovanie o odmenách. Naša fyzická, duševná a sociálno-ekonomická pohoda kriticky závisí od dôsledkov rozhodnutí, ktoré robíme. Je preto nevyhnutné pochopiť, čo je základom normálneho fungovania rozhodovania o odmenách. Štúdium normálneho fungovania rozhodovania o odmeňovaní nám tiež pomáha lepšie porozumieť rôznym poruchám správania a duševným poruchám, ktoré vznikajú pri narušení takejto funkcie, ako je depresia (Drevets, 2001), zneužívanie látok (Bechara, 2005; Garavan a Stout, 2005; Volkow a kol., 2003) a poruchy príjmu potravy (Kringelbach et al., 2003; Volkow a Wise, 2005).
Funkčný výskum neuroimagingu v oblasti odmeňovania sa stal rýchlo rastúcou oblasťou. V tejto oblasti sme pozorovali obrovský nárast neuroimagingového výskumu, kde sa každý mesiac v databáze PubMed objavujú desiatky relevantných článkov. Na jednej strane je to vzrušujúce, pretože montážne výsledky sú rozhodujúce pre formovanie behaviorálnych a nervových mechanizmov rozhodovania o odmeňovaní (Fellows, 2004; Trepel et al., 2005). Na druhej strane, heterogénnosť výsledkov v spojení s príležitostnými protikladmi má za následok, že je ťažké získať jasný obraz o odmeňovaní v ľudskom mozgu. Zmes výsledkov je čiastočne spôsobená rôznorodými experimentálnymi paradigmami, ktoré vyvinuli rôzne výskumné skupiny, ktorých cieľom bolo riešiť rôzne aspekty rozhodovania súvisiaceho s odmeňovaním, ako je napríklad rozlišovanie medzi očakávaním odmien a výsledkom (Breiter et al., 2001; Knutson et al., 2001b; McClure et al., 2003; Rogers et al., 2004), oceňovanie pozitívnych a negatívnych odmien (\ tLiu a kol., 2007; Nieuwenhuis a kol., 2005; O'Doherty a kol., 2003a; O'Doherty a kol., 2001; Ullsperger a von Cramon, 2003) a posúdenie rizika (\ tBach a kol., 2009; d'Acremont a Bossaerts, 2008; Hsu a spol., 2009; Huettel, 2006).
Preto je nevyhnutné spojiť existujúce štúdie a preskúmať hlavné siete odmeňovania v ľudskom mozgu, od prístupov založených na údajoch a teóriou, aby sa otestovala zhodnosť a rozlíšenie rôznych aspektov rozhodovania o odmenách. Na dosiahnutie tohto cieľa sme použili a porovnali dve metódy metaanalýzy (CBMA) založené na súradniciach (Salim-Khorshidi et al., 2009), odhad pravdepodobnosti aktivácie (ALE) (Laird a kol., 2005; Turkeltaub a kol., 2002) a parametrickú metaanalýzu na báze voxelu (PVM) (Costafreda et al., 2009), aby sa odhalila zhoda vo veľkom počte neuroimagingových štúdií o rozhodovaní o odmenách. Predpokladali sme, že ventrálna striatum a orbitofrontálna kôra (OFC), dve hlavné oblasti dopaminergných projekcií, ktoré boli spojené so spracovaním odmien, by boli dôsledne aktivované.
Okrem toho sme z perspektívy založenej na teórii chceli objasniť, či existujú rozdiely v mozgových sieťach, ktoré sú zodpovedné za spracovanie pozitívnych a negatívnych informácií o odmenách, a ktoré sa prednostne zapájajú do rôznych štádií spracovania odmien, ako je napr. monitorovania a hodnotenia rozhodnutí. Rozhodovanie zahŕňa kódovanie a reprezentáciu alternatívnych možností a porovnanie hodnôt alebo pomôcok spojených s týmito možnosťami. V týchto procesoch je rozhodovanie zvyčajne spojené s pozitívnou alebo negatívnou valenciou buď z výsledkov, alebo z emocionálnych reakcií na zvolené voľby. Pozitívna valencia odmeňovania sa vzťahuje na pozitívne subjektívne stavy, s ktorými sa stretávame (napr. Šťastie alebo spokojnosť), keď je výsledok pozitívny (napr. Víťazstvo v lotérii) alebo lepší, ako očakávame (napr. Strata menšej hodnoty, než sa predpokladá). Negatívna valencia odmeňovania sa vzťahuje na negatívne pocity, ktorými prechádzame (napr. Frustrácia alebo ľutovanie), keď je výsledok negatívny (napr. Strata hazardu) alebo horší ako to, čo očakávame (napr. Hodnota akcií rastie nižšie, ako sa predpokladá). Hoci predchádzajúce štúdie sa pokúsili odlíšiť siete odmeňovania, ktoré sú citlivé na spracovanie pozitívnych alebo negatívnych informácií (Kringelbach, 2005; Liu et al., 2007), ako aj tie, ktoré sú zapojené do predvídania alebo \ tKnutson et al., 2003; Ramnani et al., 2004), empirické výsledky boli zmiešané. Snažili sme sa získať konzistentné vzory združovaním sa vo veľkom počte štúdií skúmajúcich tieto rozdiely.
2. metódy
2.1 Vyhľadávanie a organizácia literatúry
2.1.1 Identifikácia štúdie
Dvaja nezávislí výskumníci vykonali dôkladné vyhľadávanie literatúry pre štúdie fMRI skúmajúce rozhodovanie na základe odmeňovania u ľudí. Termíny používané na vyhľadávanie v online službe citácie indexovania PUBMED (do júna 2009) boli „fMRI“, „odmena“ a „rozhodnutie“ (prvým výskumníkom), „úloha rozhodovania o odmene“, „fMRI“ a „ľudské “(Podľa druhého výskumníka). Tieto počiatočné výsledky vyhľadávania boli zlúčené, aby poskytli celkom 182 článkov. Ďalšie články 90 boli identifikované z referenčnej databázy tretieho výskumného pracovníka nahromadeného do júna 2009 pomocou „odmeny“ a „MRI“ ako kritérií filtrovania. Taktiež sme vyhľadávali v databáze BrainMap pomocou programu Sleuth s „odmenou“ a „fMRI“ ako hľadanými výrazmi a našli sme články 59. Všetky tieto články boli spojené do databázy a redundantné položky boli eliminované. Potom sme použili niekoľko kritérií vylúčenia, aby sme ďalej eliminovali články, ktoré nie sú priamo relevantné pre súčasnú štúdiu. Tieto kritériá sú: 1) empirické štúdie z prvej ruky (napr. Revízne články); Štúdie 2, ktoré neuviedli výsledky v štandardnom stereotaktickom súradnicovom priestore (buď Talairach alebo Montreal Neurological Institute, MNI); 3) štúdie využívajúce úlohy, ktoré nesúvisia s odmeňovaním alebo rozhodovaním na základe hodnoty; 4) štúdie štruktúrnych mozgových analýz (napr. Morfometria založená na voxeli alebo zobrazovanie difúzneho tenzora); Štúdie 5) založené výlučne na analýze záujmu regiónu (napr. Použitím anatomických masiek alebo súradníc z iných štúdií); 6) štúdie špeciálnych populácií, ktorých mozgové funkcie sa môžu odchýliť od funkcií normálnych zdravých dospelých jedincov (napr. Deti, starnúci dospelí alebo jedinci závislí od látky), hoci boli zahrnuté súradnice uvedené v týchto štúdiách iba pre zdravú dospelú skupinu. Bola prijatá variabilita medzi metódami, s ktorými boli subjekty inštruované, aby hlásili rozhodnutia počas úloh (tj verbálna, neverbálna tlačová tlač). Výsledkom boli články 142 v konečnej databáze (uvedené v Dodatok).
Počas fázy extrakcie údajov sa potom štúdie zoskupili podľa rôznych schém priestorovej normalizácie podľa transformácií koordinácie implementovaných v súbore nástrojov GingerALE (http://brainmap.orgCentrum pre výskum zobrazovania na University of Texas Health Science Center v San Antoniu v Texase: používanie FSL na hlásenie súradníc MNI, pomocou SPM na hlásenie súradníc MNI, s použitím iných programov na hlásenie súradníc MNI pomocou metód Brett na konverziu súradníc MNI do Talairach. priestor, pomocou natívnej šablóny Talairach. Zoznamy súradníc, ktoré boli v priestore Talairach, boli konvertované do priestoru MNI podľa ich pôvodných normalizačných schém. Pre zoznam Brett-Talairach sme konvertovali súradnice späť do priestoru MNI pomocou reverznej transformácie od Bretta (tj tal2mni) (Brett et al., 2002). Pre natívny zoznam Talairach sme použili transformáciu Talairach-MNI od spoločnosti BrainMap (tj tal2icbm_other). Hlavný zoznam všetkých štúdií bol vytvorený kombináciou všetkých súradníc v priestore MNI v príprave na metaanalýzy ALE v Gingerale.
2.1.2 Kategorizácia experimentu
Na testovanie hypotéz, pokiaľ ide o spoločné a odlišné spôsoby odmeňovania, ktoré sú prijímané rôznymi aspektmi rozhodovania o odmenách, sme kategorizovali súradnice podľa dvoch typov klasifikácie: odmena valencia a rozhodovacie fázy. Prijali sme termín „experimenty“ používaný databázou BrainMap na označenie jednotlivých regresorov alebo kontrastov, ktoré sa zvyčajne uvádzajú v štúdiách fMRI. Pre odplatu sme zorganizovali experimenty v pozitívnych a negatívnych odmenách. V rozhodovacích fázach sme experimenty rozdelili na očakávania, výsledky a hodnotenie odmien. Súradnice v hlavnom zozname, ktoré zapadajú do týchto kategórií, boli zaradené do podzoznamov; tie, ktoré sa ťažko interpretovali alebo neboli jasne definované, boli vynechané. Nižšie uvádzame niekoľko príkladov, ktoré boli zaradené do každej z týchto kategórií.
Nasledujúce kontrasty boli klasifikované ako spracovanie pozitívnych odmien: tých, v ktorých subjekty získali peniaze alebo body (Elliott et al., 2000) (odmena počas behu úspechu); vyhnúť sa strate peňazí alebo bodov (Kim et al., 2006) (priame porovnanie medzi vyhýbaním sa averzii výsledkov a obdržaním odmeny); vyhral väčšie dve sumy peňazí alebo bodov (Knutson et al., 2001a) (veľké vs. malé očakávania odmeňovania); stratil menšie z dvoch súm peňazí alebo bodov (Vážne et al., 2005) (bez výhry 0.50 USD> bez výhry 4 USD); dostal povzbudivé slová alebo grafiku na obrazovku (Zalla et al., 2000) (zvýšenie o „výhru“); mal sladkú chuť v ústach (O'Doherty et al., 2002) (glukóza> neutrálna chuť); pozitívne hodnotil výber (Liu et al., 2007) (správne> nesprávne), alebo dostal akýkoľvek iný druh pozitívnych odmien ako výsledok úspešného splnenia úlohy.
Experimenty klasifikované ako záporné odmeny zahŕňali tie, v ktorých subjekty stratili peniaze alebo body (Elliott a kol., 2000) (trest počas behu zlyhania); nezískal peniaze ani body (Vážne et al., 2005) (nespokojnosť bez víťazstva); vyhral menší z dvoch súm peňazí alebo bodov (Knutson et al., 2001a) ($ 1 vs. $ 50 odmena); stratili väčšie dve sumy peňazí alebo bodov (Knutson et al., 2001a) (veľké vs. malé predvídanie trestu); negatívne hodnotil výber (Liu et al., 2007) (nesprávne> správne); alebo dostali akékoľvek ďalšie negatívne odmeny, ako napríklad podanie horkej chuti v ich ústach (O'Doherty et al., 2002) (soľ> neutrálna chuť) alebo odrádzajúce slová alebo obrázky (Zalla et al., 2000) (zvýšenie pre „stratu“ a zníženie pre „výhru“).
Odhad očakávania bol definovaný ako časové obdobie, keď subjekt premýšľal o možných možnostiach pred rozhodnutím. Napríklad umiestnenie stávky a očakávanie, že vyhrá peniaze z tejto stávky, bude klasifikované ako očakávanie (Cohen a Ranganath, 2005) (rozhodnutie s vysokým rizikom a nízkym rizikom). Výsledok / dodávka odmeňovania bola klasifikovaná ako obdobie, keď subjekt dostal spätnú väzbu na zvolenú možnosť, napríklad obrazovku so slovami „win x $“ alebo „prehrať x $“ (Bjork et al., 2004) (zisk oproti výsledku nezískania). Keď spätná väzba ovplyvnila rozhodnutie a správanie subjektu v následnej skúške alebo bola použitá ako učebný signál, kontrast bol klasifikovaný ako hodnotenie odmeny. Napríklad riskantné rozhodnutie, ktoré je odmenené v počiatočnom skúšaní, môže viesť k tomu, že subjekt vezme ďalšie, možno väčšie riziko v ďalšom skúšaní (Cohen a Ranganath, 2005) (nízkorizikové odmeny nasledované rozhodnutiami s vysokým rizikom vs. Ďalším príkladom hodnotenia je averzia k strate, tendencia ľudí uprednostňovať vyhýbanie sa stratám pri získavaní zisku (Tomáš et al., 2007) (vzťah medzi lambda a averziou k neurálnej strate).
2.2 Odhad pravdepodobnosti aktivácie (ALE)
Algoritmus ALE je založený na (Eickhoff et al., 2009). ALE modeluje aktivačné ohniská ako 3D Gaussovské distribúcie sústredené na uvádzaných súradniciach a potom počíta prekrývanie týchto distribúcií v rôznych experimentoch (ALE považuje každý kontrast v štúdii za samostatný experiment). Priestorová neistota spojená s aktivačnými ohniskami sa odhaduje s ohľadom na počet subjektov v každej štúdii (tj. Väčšia vzorka produkuje spoľahlivejšie aktivačné vzorce a lokalizáciu; súradnice sú preto spojené s prísnejším gaussovským jadrom). Konvergencia vzorov aktivácie naprieč experimentmi sa počíta zo spojenia vyššie modelovaných aktivačných máp. Nulová distribúcia, ktorá predstavuje skóre ALE generované náhodným priestorovým prekrytím medzi štúdiami, sa odhaduje pomocou permutačného postupu. Nakoniec sa testuje mapa ALE vypočítaná zo skutočných aktivačných súradníc proti skóre ALE z nulového rozdelenia, čím sa vytvorí štatistická mapa predstavujúca hodnoty p skóre ALE. Neparametrické hodnoty p sa potom transformujú do z skóre a prahové hodnoty sú na úrovni klastra korigované p <0.05.
Šesť rôznych ALE analýz sa uskutočnilo použitím GingerALE 2.0 (Eickhoff et al., 2009), jeden pre hlavnú analýzu všetkých štúdií a jeden pre každý z piatich čiastkových zoznamov charakterizujúcich aktiváciu mozgu pozitívnymi alebo negatívnymi odmenami, ako aj predvídanie, výsledok a hodnotenie. Dve odčítané ALE analýzy sa uskutočnili s použitím GingerALE 1.2 (Turkeltaub et al., 2002), jeden pre kontrast medzi pozitívnymi a negatívnymi odmenami a druhý pre kontrast medzi očakávaním a výsledkom.
2.2.1 Hlavná analýza všetkých štúdií
Všetky štúdie 142 boli zahrnuté do hlavnej analýzy, ktorá pozostávala z 5214 fokusov z experimentov 655 (kontrasty). Použili sme algoritmus implementovaný v Gingerale 2.0, ktorý modeluje ALE na základe priestorovej neistoty každého ohniska pomocou odhadu variability medzi subjektmi a medzi experimentmi. Odhad bol obmedzený maskou sivej hmoty a odhadol, že klastrovanie nad náhodou s experimentmi je skôr faktorom náhodných účinkov, než pomocou analýzy fixných účinkov na ohniská (Eickhoff et al., 2009). Výsledná mapa ALE bola prahovaná pomocou metódy falošnej rýchlosti objavenia (FDR) s p <0.05 a minimálnou veľkosťou klastra 60 voxelov 2 × 2 × 2 mm (celkovo 480 mm3) na ochranu pred falošnými pozitívami viacerých porovnaní.
2.2.2 Individuálne analýzy podzoznamov
Uskutočnilo sa aj päť ďalších analýz ALE na základe podzoznamov, ktoré kategorizujú rôzne experimenty do pozitívnych a negatívnych odmien, ako aj očakávania odmeňovania, poskytovanie odmeny (výsledok) a hodnotenie výberu. Pre analýzu pozitívnej odmeny boli zahrnuté 2167 fokusy z experimentov 283. Analýza negatívnej odmeny pozostávala z 935 fokusov z experimentov 140. Počty ohnísk zahrnutých do analýz na vyhodnotenie očakávania, výsledku a voľby boli 1553 foci (185 experimenty), 1977 (253) a 520 (97). Použili sme rovnakú analýzu a prahové prístupy, ako sme to urobili pre hlavnú analýzu uvedenú vyššie.
2.2.3 Odčítacie analýzy
Zaujímalo nás tiež kontrastovanie oblastí mozgu, ktoré boli selektívne alebo prednostne aktivované pozitívnymi verzus negatívnymi odmenami a očakávaním odmeny oproti doručeniu odmeny. Na uskutočnenie týchto dvoch analýz sa použil program GingerALE 1.2. Mapy ALE boli vyhladené jadrom s FWHM 10 mm. Na stanovenie štatistickej významnosti máp ALE bol vykonaný permutačný test náhodne distribuovaných ohniskov s 10000 0.05 simuláciami. Na korekciu viacnásobného porovnania boli výsledné mapy ALE prahované pomocou metódy FDR s p <60 a minimálnou veľkosťou klastra XNUMX voxelov.
2.3 Parametrická metaanalýza založená na voxeli (PVM)
Analyzovali sme tie isté zoznamy súradníc pomocou iného metaanalytického prístupu PVM. Na rozdiel od analýzy ALE, ktorá sa zaoberá rozdielnymi kontrastmi v rámci štúdie ako rozdielne experimenty, analýza PVM spája vrcholy zo všetkých rôznych kontrastov v rámci štúdie a vytvára jednotnú mapu súradníc pre špecifickú štúdiu (Costafreda et al., 2009). Faktor náhodných účinkov v analýze PVM je preto štúdie, v porovnaní s jednotlivcami experimenty / kontrasty v analýze ALE. Toto ďalej znižuje skreslenie odhadu spôsobené štúdiami s viacerými kontrastmi, ktoré vykazujú podobné aktivačné vzory. Podobne ako v prípade prístupu ALE sme pomocou algoritmov implementovaných v štatistickom softvéri R vykonali šesť rôznych analýz PVM (http://www.R-project.org) z predchádzajúcej štúdie (Costafreda et al., 2009), jeden pre hlavnú analýzu všetkých štúdií a jeden pre každý z piatich čiastkových zoznamov charakterizujúcich aktiváciu mozgu rôznymi aspektmi spracovania odmien. Boli vykonané dve ďalšie analýzy PVM s použitím rovnakého kódového základu na porovnanie pozitívnych a negatívnych odmien, ako aj medzi očakávaním odmien a výsledkom.
2.3.1 Hlavná analýza všetkých štúdií
Súradnice MNI (5214) z rovnakých 142 štúdií použitých v analýze ALE boli transformované do textovej tabuľky, pričom každá štúdia bola identifikovaná jedinečným identifikačným štítkom štúdie. Výpočty na mape píku boli obmedzené v maske v MNI priestore. Mapa píkov bola najskôr vyhladená rovnomerným jadrom (ρ = 10 mm), aby sa vygenerovala súhrnná mapa, ktorá predstavuje počet štúdií hlásiacich prekrývajúce sa aktivačné vrcholy v susedstve s polomerom 10 mm. Ďalej sa uskutočnila analýza náhodných účinkov PVM na odhad štatistickej významnosti spojenej s každým voxelom na súhrnnej mape. Počet štúdií na súhrnnej mape bol prevedený na podiel štúdií, ktoré uvádzali zhodnú aktiváciu. Použili sme rovnakú prahovú hodnotu, aká sa použila v analýze ALE, na identifikáciu významných klastrov pre proporcionálnu mapu (pomocou metódy FDR s p <0.05 a minimálnou veľkosťou klastra 60 voxelov).
2.3.2 Individuálne analýzy podzoznamov
Na podsúboroch sa uskutočnilo päť ďalších analýz PVM na pozitívne a negatívne odmeny, ako aj očakávania, výsledky a hodnotenie odmien. Analýza pozitívnej odmeny zahŕňala 2167 foci zo štúdií 111, zatiaľ čo analýza negatívnej odmeny zahŕňala 935 foci zo štúdií 67. Počet štúdií zahrnutých do analýz na vyhodnotenie očakávaní, výsledkov a výberu boli 1553 foci (štúdie 65), 1977 (86) a 520 (39). Použili sme rovnakú analýzu a prahové prístupy, ako sme to urobili pre hlavnú analýzu uvedenú vyššie.
Porovnávacie analýzy 2.3.3
Vykonali sme tiež dve analýzy PVM, aby sme porovnali modely aktivácie medzi pozitívnymi a negatívnymi odmenami, ako aj medzi očakávaním a výsledkom odmeny. Dve mapy píku (napr. Jeden pre pozitívny a druhý pre negatívny) boli najskôr vyhladené rovnomerným jadrom (ρ = 10 mm), aby sa vygenerovali súhrnné mapy, z ktorých každá predstavuje počet štúdií s prekrývajúcim sa aktivačným vrcholom v susedstve 10 mm. polomer. Tieto dve súhrnné mapy boli vložené do Fisherovho testu na odhad pomeru šancí a hodnoty p štatistickej významnosti pre každý prispievajúci voxel v rámci vesmírnej masky MNI. Pretože Fisherov test nie je špeciálne vyvinutý pre analýzu údajov fMRI a je empiricky menej citlivý ako iné metódy, použili sme relatívne miernu prahovú hodnotu pre priame porovnanie PVM analýzy s použitím neopraveného p <0.01 a minimálnej veľkosti klastra 60 voxelov (Xiong et al., 1995), aby sa opravila chyba viacnásobného porovnávania typu I.
3. výsledok
Výsledky 3.1 ALE
All-inclusive analýza štúdií 142 ukázala významnú aktiváciu veľkého klastra, ktorý zahŕňal bilaterálne nucleus accumbens (NAcc), pallidum, anterior insula, laterálny / mediálny OFC, predný cingulate cortex (ACC), doplnkovú motorickú oblasť (SMA), laterálnu prefrontálny kortex (PFC), pravý amygdala, ľavý hipokampus, talamus a mozgový kmeň (Obrázok 1A). Ďalšie menšie zhluky zahŕňali pravý stredný frontálny gyrus a ľavý stredný / dolný frontálny gyrus, obojstranný horný / vyšší parietálny lobulus a zadný cingulárny kortex (PCC) (Tabuľka 1).
Pozitívne odmeny aktivovali podmnožinu vyššie uvedených sietí, vrátane bilaterálnej pallidum, prednej izolácie, talamu, mozgového kmeňa, mediálneho OFC, ACC, SMA, PCC a iných frontálnych a parietálnych oblastí (Obrázok 1B a Tabuľka 2, pozri tiež Doplnkové materiály - obrázok S1A). Negatívne odmeny ukázali aktiváciu v bilaterálnej NAcc, caudate, pallidum, prednej insula, amygdale, talame, mozgovom kmeni, rostrálnom ACC, dorsomediálnom PFC, laterálnom OFC a pravom strednom a spodnom frontálnom gyruse (Obrázok 1B a Tabuľka 2, pozri tiež Doplnkové materiály - obrázok S1B). V protiklade s aktivitou pozitívnych a negatívnych odmien sme zistili, že pozitívne odmeny významne aktivovali nasledujúce regióny do značnej miery: bilaterálne NAcc, predné laloky, mediálne OFC, hipokampus, ľavý putamen a talamus (Obrázok 1D a Tabuľka 4). Žiadna nevykazovala viac aktivácie negatívnymi ako pozitívnymi odmenami.
Rôzne štádiá spracovania odmeňovania zdieľali podobné vzory aktivácie mozgu vo vyššie uvedených jadrových sieťach, vrátane bilaterálnej NAcc, prednej izolácie, talamu, mediálneho OFC, ACC a dorsomediálneho PFC (Obrázok 1C a Tabuľka 3, pozri tiež Doplnkové materiály - obrázky S1C – E). Očakávanie odmeňovania v porovnaní s výsledkom odmeňovania odhalilo väčšiu aktiváciu v bilaterálnej prednej izolácii, ACC, SMA, ľavom dolnom parietálnom lolule a strednom frontálnom gyruse (Obrázok 1E a Tabuľka 5). Výsledná preferenčná aktivácia zahŕňala obojstrannú NAcc, caudate, talamus a mediálnu / laterálnu OFC (Tabuľka 5).
Výsledky 3.2 PVM
Hlavná analýza štúdií 142 ukázala signifikantnú aktiváciu pri bilaterálnych NAcc, predných lalokoch, laterálnych / mediálnych OFC, ACC, PCC, nižších parietálnych lobulách a strednom frontálnom Gyruse (Obrázok 2A a Tabuľka 6).
Pozitívne odmeny aktivovali bilaterálne NAcc, pallidum, putamen, thalamus, mediálne OFC, pregenual cingulate cortex, SMA a PCC (Obrázok 2B a Tabuľka 7, pozri tiež Doplnkové materiály - obrázok S2A). Aktivácia negatívnymi odmenami bola zistená u bilaterálnych NAcc a predných insula, pallidum, ACC, SMA a stredného / dolného frontálneho gyrusu (Obrázok 2B a Tabuľka 7, pozri tiež Doplnkové materiály - obrázok S2B). Priamy kontrast medzi pozitívnymi a negatívnymi odmenami odhalil preferenčnú aktiváciu pozitívnymi odmenami v NAcc, pallidum, mediálnom OFC a PCC a väčšiu aktiváciu negatívnymi odmenami v ACC a strednom / dolnom prednom gyruse (Obrázok 2D a Tabuľka 9).
Rôzne štádiá spracovania odmeny podobne aktivovali NAcc a ACC, zatiaľ čo rozdielne rekrutovali iné mozgové oblasti, ako napríklad stredný OFC, predný ostrovček a amygdala (Obrázok 2C a Tabuľka 8, pozri tiež Doplnkové materiály - obrázok S2C – E). Očakávanie odmeňovania v porovnaní s výsledkom odmeňovania odhalilo významnú aktiváciu v bilaterálnej prednej izolácii, talame, precentrálnom gyruse a nižšom parietálnom lobule (Obrázok 2E a Tabuľka 10). Žiadna oblasť mozgu nevykazovala v porovnaní s očakávaním väčšiu aktiváciu v dôsledku odmeňovania.
3.3 Porovnanie výsledkov ALE a PVM
Súčasná štúdia tiež ukázala, že hoci metódy ALE a PVM spracovali údaje založené na súradniciach odlišne a prijali odlišné algoritmy odhadu, výsledky pre jeden zoznam súradníc z týchto dvoch prístupov metaanalýzy boli veľmi podobné a porovnateľné (Obrázky 1A – C a 2-C, Tabuľka 11, pozri tiež Obrázky S1 a S2 v doplnkových materiáloch). Zlepšený algoritmus ALE implementovaný v GingerALE 2.0, podľa návrhu, lieči experimenty (alebo kontrasty) ako faktor náhodných účinkov, ktorý výrazne znižuje skreslenie spôsobené experimentmi vykazujúcimi viac lokusov oproti tým, ktoré majú menej lokusov. Rôzne štúdie však zahŕňajú rôzny počet experimentov / kontrastov. Výsledky GingerALE 2.0 preto môžu byť ovplyvnené skreslením, ktoré sa viac zameriava na štúdie, ktoré vykazujú viac kontrastov, čo môže viesť k nadhodnoteniu krížovej štúdie. Avšak, podľa výberu, užívatelia môžu kombinovať súradnice z rôznych kontrastov, takže GingerALE 2.0 môže zaobchádzať s každou štúdiou ako s jedným experimentom. To je to, čo PVM implementuje, spája súradnice zo všetkých kontrastov v rámci štúdie do jednej aktivačnej mapy, čím váži všetky štúdie rovnako, aby sa odhalilo prekrývanie aktivácie v rámci štúdií.
Naproti tomu porovnanie dvoch zoznamov súradníc sa výrazne líšilo medzi prístupmi ALE a PVM (Tabuľka 11), ako dôsledok ich rozdielov v citlivosti na konvergenciu v rámci štúdia a krížového štúdia. Keďže vylepšený ALE algoritmus nebol implementovaný pre subtraktívnu ALE analýzu, použili sme skoršiu verziu GingerALE 1.2, ktorá zaobchádza so súradnicami ako s faktorom náhodných efektov a experimentmi ako s premennou s fixnými efektmi. Rozdiely v počte súradníc a experimentov v dvoch zoznamoch preto môžu ovplyvniť výsledky odčítania. Analýza subtraktívneho ALE smerovala k zoznamu s viacerými experimentmi proti druhej s menej (Obrázok 1D / E). Štúdie pozitívnej odmeny (2167 fokusy z experimentov 283) jasne prevládali nad negatívnymi štúdiami (935 foci z experimentov 140). Rozdiel medzi očakávaním odmeňovania (1553 fokusy z experimentov 185) a výsledkom (1977 fokusy z experimentov 253) bol menší, ale mohol tiež spôsobiť skreslenie smerom k výslednej fáze. Na druhej strane, použitie Fisherovho testu na odhadnutie pomeru šancí a priradenie voxelov v jednom z dvoch zoznamov PVM sa zdalo byť menej citlivé pri zisťovaní rozdielu aktivácie medzi týmito dvoma zoznamami (Obrázok 2D / E).
4. diskusia
Neustále rozhodujeme v našom každodennom živote. Niektoré rozhodnutia nezahŕňajú žiadne zjavné pozitívne alebo negatívne hodnoty výsledkov, zatiaľ čo iné majú významný vplyv na valenciu výsledkov a na naše emocionálne reakcie na rozhodnutia, ktoré robíme. Môžeme sa cítiť šťastní a spokojní, keď je výsledok pozitívny alebo sa naplní naše očakávanie, alebo sa cítime frustrovaní, keď je výsledok negatívny alebo nižší, ako sme očakávali. Okrem toho je potrebné prijať mnohé rozhodnutia bez toho, aby boli vopred známe ich dôsledky. Preto musíme byť schopní robiť predpovede o budúcej odmene a hodnotiť hodnotu odmeny a potenciálne riziko jej získania alebo potrestania. To si vyžaduje, aby sme vyhodnotili výber, ktorý robíme na základe prítomnosti predikčných chýb a aby sme tieto signály použili na usmernenie nášho učenia a budúceho správania. Mnohé neuroimagingové štúdie skúmali rozhodovanie týkajúce sa odmeňovania. Vzhľadom na zložité a heterogénne psychologické procesy, ktoré sa podieľajú na rozhodovaní založenom na hodnotách, však nie je triviálnou úlohou skúmať neurónové siete, ktoré zachovávajú reprezentáciu a spracovanie informácií súvisiacich s odmenou. Pozorovali sme rýchly nárast počtu empirických štúdií v oblasti neuroekonómie, ale doteraz bolo ťažké zistiť, ako sa tieto štúdie zblížili, aby sa jasne vymedzili obvody odmeňovania v ľudskom mozgu. V súčasnej metaanalytickej štúdii sme preukázali zhodu vo veľkom počte štúdií a odhalili spoločné a odlišné vzorce aktivácie mozgu rôznymi aspektmi spracovania odmien. Prostredníctvom dátovo orientovaného spôsobu sme sa spojili do všetkých súradníc z rôznych kontrastov / experimentov štúdií 142 a pozorovali sme základnú sieť odmien, ktorá sa skladá z NAcc, laterálneho / mediálneho OFC, ACC, predného insula, dorsomediálneho PFC, ako aj bočné frontoparietálne oblasti. Nedávna štúdia metaanalýzy zameraná na hodnotenie rizika v rozhodovacom procese oznámila podobný systém odmeňovania (Mohr a kol., 2010). Okrem toho sme z perspektívy založenej na teórii porovnávali neurónové siete, ktoré boli zapojené do pozitívnej a negatívnej valencie naprieč predpokladanými a výslednými štádiami spracovania odmien, a objasnili odlišné neurálne substráty, ktoré podporujú hodnotenie valencie, ako aj ich preferenčné zapojenie do predvídania a výsledok.
4.1 Hlavné oblasti odmeňovania: NAcc a OFC
NAcc a OFC sú už dlho považované za hlavných hráčov pri spracovaní odmien, pretože sú hlavnými projekčnými oblasťami dvoch odlišných dopaminergných dráh, mezolimbických a mezokortikálnych dráh. Nie je však známe, ako dopamínové neuróny výrazne modulujú aktivitu v týchto limbických a kortikálnych oblastiach. Predchádzajúce štúdie sa snažili odlíšiť úlohy týchto dvoch štruktúr z hľadiska časových štádií, spájajúc NAcc s očakávaním odmien a súvisiacim mediálnym OFC s prijatím odmeny (Knutson et al., 2001b; Knutson et al., 2003; Ramnani et al., 2004). Výsledky iných štúdií spochybnili takýto rozdiel (Breiter a kol., 2001; Delgado a kol., 2005; Rogers a kol., 2004). Mnohé štúdie tiež naznačili, že NAcc bol zodpovedný za odhalenie predikčnej chyby, ktorá je kľúčovým signálom v asociácii motivačného učenia a odmeňovania (McClure a kol., 2003; O'Doherty a kol., 2003b; Pagnoni a kol., 2002). Štúdie tiež zistili, že NAcc vykazoval dvojfázovú odpoveď, takže aktivita v NAcc by sa znížila a klesla pod základnú líniu v reakcii na negatívne predikčné chyby (Knutson et al., 2001b; McClure et al., 2003; O'Doherty et al., 2003b). Hoci OFC zvyčajne vykazuje podobné vzorce aktivity ako NAcc, predchádzajúce neuroimagingové štúdie na ľuďoch naznačujú, že OFC slúži na premenu rôznych podnetov na spoločnú menu z hľadiska ich hodnoty odmien (Arana a kol., 2003; Cox a kol., 2005; Elliott a kol., 2010; FitzGerald a kol., 2009; Gottfried a kol., 2003; Kringelbach a kol., 2003; O'Doherty a kol., 2001; Plassmann a kol., 2007). Tieto zistenia boli paralelné s výsledkami získanými zo štúdií na zaznamenávanie jednotlivých buniek a štúdií lézií na zvieratách (Schoenbaum a Roesch, 2005; Schoenbaum a spol., 2009; Schoenbaum a spol., 2003; Schultz a kol., 2000; Tremblay a Schultz, 1999, 2000; Wallis, 2007).
Naše celkové analýzy ukázali, že NAcc a OFC reagovali na všeobecné spracovanie odmien (Obrázok 1A a Obrázok 2A). Aktivácia v NAcc sa do značnej miery prekrývala v rôznych fázach, zatiaľ čo mediálna OFC bola viac naladená na príjem odmien (Obrázok 1C / E a Obrázok 2C). Tieto zistenia poukázali na to, že NAcc môže byť zodpovedný za sledovanie pozitívnych aj negatívnych signálov odmeňovania a ich využívanie na moduláciu učenia sa odmeňovania, zatiaľ čo OFC väčšinou monitoruje a hodnotí výsledky odmien. Ďalšie skúmanie je potrebné na lepšie rozlíšenie úloh NAcc a OFC pri rozhodovaní o odmeňovaní (Frank a Claus, 2006; Zajac et al., 2008).
4.2 Valenčné hodnotenie
Okrem konverzie rôznych možností odmeňovania do spoločnej meny a predstavujúcich hodnoty ich odmien, môžu jednotlivé oblasti mozgu v odmeňovacom obvode samostatne kódovať pozitívne a negatívne valencie odmeny. Priame porovnanie naprieč odmenou valencie ukázalo, že NAcc aj mediálne OFC boli aktívnejšie v reakcii na pozitívne versus negatívne odmeny (Obrázok 1B / D a Obrázok 2B / D). Naopak, predná insulárna kortex sa podieľala na spracovaní informácií o negatívnej odmene (Obrázok 1B a Obrázok 2B). Tieto výsledky potvrdili medialno-laterálne rozlíšenie pozitívnych verzus negatívnych odmien (Kringelbach, 2005; Kringelbach a Rolls, 2004) a boli v súlade s tým, čo sme pozorovali v našej predchádzajúcej štúdii o odmeňovaní (Liu et al., 2007). Subregióny ACC jednoznačne reagovali na pozitívne a negatívne odmeny. Pregenual a rostral ACC, blízko mediálneho OFC, boli aktivované pozitívnymi odmenami, zatiaľ čo kaudálne ACC reagovalo na negatívne odmeny (Obrázok 1B a Obrázok 2B). Metaanalýzy ALE a PVM tiež odhalili, že PCC bol dôsledne aktivovaný pozitívnymi odmenami (Obrázok 1B a Obrázok 2B).
Je zaujímavé, že oddelené siete kódujúce pozitívne a negatívne valencie sú podobné rozdielu medzi dvomi antikorelovanými sieťami, sieťou predvoleného režimu a sieťou súvisiacou s úlohami (Fox a kol., 2005; Raichle a kol., 2001; Raichle a Snyder, 2007). Nedávne metaanalýzy zistili, že sieť s predvoleným režimom sa týkala najmä mediálnych prefrontálnych oblastí (vrátane mediálneho OFC) a mediálneho zadného kortexu (vrátane PCC a prekuneus) a sieť súvisiaca s úlohami zahŕňa ACC, insula a laterálne frontoparietálne regióny (Laird a kol., 2009; Toro a kol., 2008). Aktivácia v mediálnom OFC a PCC pozitívnymi odmenami odzrkadľovala štandardnú sieť, ktorá sa bežne pozorovala počas pokojového stavu, zatiaľ čo aktivácia v ACC, insula, laterálnom prefrontálnom kortexe negatívnymi odmenami bola paralelná so sieťou súvisiacou s úlohami. Zistilo sa, že táto vnútorná funkčná organizácia mozgu ovplyvňuje odmeňovanie a riskantné rozhodovanie a zohľadňuje individuálne rozdiely v rizikových vlastnostiach (Cox a kol., 2010).
4.3 Anticipácia verzus výsledok
Dvojstranná predná izolácia, ACC / SMA, dolný parietálny lobulus a mozgový kmeň vykazovali konzistentnejšiu aktiváciu v očakávaní v porovnaní s výslednou fázou (Obrázok 1C / E a Obrázok 2C / E). Predná insula a ACC sa predtým zúčastňovali na interoception, emóciách a empatii (Craig, 2002, 2009; Gu et al., 2010; Phan a kol., 2002) a posúdenie rizika a neistoty (\ tCritchley a kol., 2001; Kuhnen a Knutson, 2005; Paulus a kol., 2003), ktorá plní svoju úlohu v očakávaní. Predná izolácia bola dôsledne zapojená do spracovania rizika, najmä v očakávaní straty, ako sa ukázalo v nedávnej metaanalýze (Mohr a kol., 2010). Podobne ako úloha OFC, aj parietálny lobule bol spojený s hodnotením rôznych možností (Sugrue et al., 2005), číselné znázornenie (Cohen Kadosh et al., 2005; Hubbard et al., 2005) a integráciu informácií (\ tZlato a Shadlen, 2007; Yang a Shadlen, 2007). Preto je nevyhnutné, aby bol parietálny lobule zapojený do fázy predvídania spracovania odmeňovania, aby mohol plánovať a pripraviť sa na informovanú činnosť (Andersen a Cui, 2009; Lau a kol., 2004a; Lau a kol., 2004b).
Na druhej strane, ventrálna striatum, mediálna OFC a amygdala ukázali preferenčnú aktiváciu počas výsledku odmeny v porovnaní s fázou predvídania (Obrázok 1C / E a Obrázok 2C). Tieto vzory boli v súlade s tým, čo sme my a iní vyšetrovatelia našli predtým (Breiter a kol., 2001; Delgado a kol., 2005; Liu a kol., 2007; Rogers a kol., 2004), ktoré stoja proti funkčnej disociácii medzi ventrálnym striatom a mediálnym OFC z hľadiska ich príslušných úloh v očakávaní odmeňovania a vo výsledku odmeňovania (Knutson a kol., 2001a; Knutson a kol., 2001b; Knutson a kol., 2003).
4.4 Schematické znázornenie spracovania odmien
Na základe zistení spoločných a odlišných sietí zapojených do rôznych aspektov rozhodovania o odmeňovaní sme prišli so schematickou ilustráciou, ktorá sumarizuje rozdelené reprezentácie ocenenia a valencie v spracovaní odmien (Obrázok 3). Predbežne zoskupujeme rôzne oblasti mozgu na základe ich úloh v rôznych procesoch, hoci každá oblasť môže slúžiť viacerým funkciám a komunikovať s inými oblasťami mozgu oveľa komplexnejším spôsobom. Pri čelení alternatívnym rozhodnutiam, z ktorých každý má charakteristické vlastnosti, ako je veľkosť a pravdepodobnosť, je potrebné tieto vlastnosti premeniť na porovnateľné informácie založené na hodnotách, „spoločnú menu“. Nielen, že porovnávame hodnoty týchto alternatívnych možností, ale porovnávame aj faktické a projektované hodnoty, ako aj fiktívne hodnoty spojené s nevybranou voľbou (napr. Signál predikčnej chyby). Ventrálna striatum a mediálna OFC sa podieľajú na tejto reprezentácii založenej na hodnote. Bolo tiež zistené, že nižší parietálny lobule je zapojený do reprezentácie a porovnávania numerických informácií. Okrem toho, rozhodovanie založené na hodnotách nevyhnutne vedie k hodnoteniu výberu na základe valencie výsledkov a súvisiacich emocionálnych reakcií. Kým ventrálna striatum a mediálna OFC sú tiež zapojené do zisťovania pozitívnej valencie odmeňovania, laterálna OFC, predná izolácia, ACC a amygdala sú väčšinou zapojené do spracovania negatívnej valencie odmeny, s najväčšou pravdepodobnosťou spojené s ich hodnotiacimi úlohami v negatívnych emocionálnych reakciách. Vzhľadom na negatívny vplyv, ktorý sa zvyčajne spája s rizikom, sa predná izolácia a ACC podieľajú aj na odmeňovaní pri predvídaní rizikových rozhodnutí, najmä pri neistých reakciách v očakávaní straty. Nakoniec, frontoparietálne regióny slúžia na integráciu a pôsobenie na tieto signály, aby sa vytvorili optimálne rozhodnutia (napr. Prepínač win-stay-loss-switch).
4.5 Caveats
Treba poznamenať niekoľko metodických námietok. Prvá sa týka zaujatosti pri oznamovaní výsledkov v rôznych štúdiách. Niektoré štúdie sú založené výlučne na ROI, ktoré boli zo súčasnej štúdie vylúčené. Napriek tomu, iní si vybrali, alebo dať väčší dôraz na predchádzajúci regióny tým, že nahlasujú viac súradníc alebo kontrastov týkajúcich sa týchto regiónov. Mohli skresliť výsledky smerom k potvrdeniu „hotspotov“. Po druhé, chceme upozorniť na koncepčné rozlišovanie rôznych aspektov spracovania odmien. Rozdiely sme rozdelili do rôznych kategórií teoretického záujmu. Avšak s reálnymi životnými rozhodnutiami alebo s mnohými experimentálnymi úlohami, tieto aspekty nemusia mať nevyhnutne jasné rozdiely. Napríklad hodnotenie predchádzajúceho výsledku výberu a odmeňovania sa môže prelínať s pripravovaným očakávaním odmeny a rozhodovaním. Neexistuje žiadna jasná hranica naprieč rôznymi fázami spracovania odmien, pričom naša súčasná klasifikácia je otvorená diskusii. Tento prístup založený na hypotézach je však veľmi potrebný (Caspers a kol., 2010; Mohr a kol., 2010; Richlan a kol., 2009), ktorý dopĺňa charakter metaanalýzy riadený údajmi. Mnoho faktorov súvisiacich s odmeňovaním rozhodovania, ako je hodnotenie rizika a typy odmien (napr. Primárne vs. sekundárne, menové vs. sociálne), si vyžadujú ďalšie metaanalýzy.
Významné poznatky výskumu
- Vykonali sme dve sady metaanalýz na báze 142 fMRI odmeňovania.
- Medzi hlavné okruhy odmeňovania patrili oblasti nucleus accumbens, insula, orbitofrontal, cingulate a frontoparietal.
- Jadro accumbens bolo aktivované pozitívnymi aj negatívnymi odmenami naprieč rôznymi fázami spracovania odmien.
- Iné regióny vykazovali preferenčné odozvy smerom k pozitívnym alebo negatívnym odmenám alebo počas predvídania alebo výsledku.
Doplnkový materiál
01
02
03
Poďakovanie
Táto štúdia je podporovaná projektom Sto-Talent Čínskej akadémie vied, cenou NARSAD Young Investigator Award (XL) a NIH Grant R21MH083164 (JF). Autori chcú poďakovať vývojovému tímu BrainMap a Sergi G. Costafredovi za poskytnutie vynikajúcich nástrojov pre túto štúdiu.
Dodatok
Zoznam článkov zahrnutých do metaanalýz súčasnej štúdie.
poznámky pod čiarou
Autorské príspevky: XL navrhol a dohliadal na celú štúdiu. JH a MS prispeli k tejto štúdii rovnakým dielom, vykonali rešerše literatúry, extrakciu údajov a organizáciu. JF sa zúčastnil na diskusii a príprave rukopisov.
Zrieknutie sa zodpovednosti vydavateľa: Toto je súbor PDF s neupraveným rukopisom, ktorý bol prijatý na uverejnenie. Ako službu pre našich zákazníkov poskytujeme túto skoršiu verziu rukopisu. Rukopis sa podrobí kopírovaniu, sádzaniu a preskúmaniu výsledného dôkazu skôr, ako sa uverejní vo svojej konečnej podobe. Upozorňujeme, že počas výrobného procesu môžu byť zistené chyby, ktoré by mohli mať vplyv na obsah, a všetky právne zrieknutia sa zodpovednosti, ktoré sa vzťahujú na časopis.
Referencie