Publicat în formularul final modificat ca:
Neurosci Biobehav Rev. 2011 Apr; 35(5): 1219–1236.
Publicat online 2010 Dec 24. doi: 10.1016 / j.neubiorev.2010.12.012
PMCID: PMC3395003
NIHMSID: NIHMS261816
Xun Liu,1,2 Jacqueline Hairston,2 Madeleine Schrier,2 și Fanul Jin2,3,4
Versiunea editată finală a acestui articol este disponibilă la Neurosci Biobehav Rev
Vezi alte articole din PMC că citează articolul publicat.
Abstract
Pentru a înțelege mai bine circuitele recompensei în creierul uman, am efectuat estimarea probabilității de activare (ALE) și meta-analize parametrice bazate pe voxel (PVM) pe 142 de studii de neuroimagistică care au examinat activarea creierului în sarcini legate de recompensă la adulți sănătoși. Am observat mai multe zone centrale ale creierului care au participat la luarea deciziilor legate de recompensă, inclusiv nucleul accumbens (NAcc), caudat, putamen, talamus, cortexul orbitofrontal (OFC), insula anterioară bilaterală, cortexul cingulat anterior (ACC) și posterior (PCC). , precum și regiunile de control cognitiv din lobulul parietal inferior și cortexul prefrontal (PFC). NAcc a fost activat în mod obișnuit de recompense pozitive și negative în diferite etape de procesare a recompensei (de exemplu, anticipare, rezultat și evaluare). În plus, OFC medial și PCC au răspuns în mod preferențial la recompense pozitive, în timp ce ACC, insula anterioară bilaterală și PFC laterală au răspuns selectiv la recompense negative. Anticiparea recompensei a activat ACC, insula anterioară bilaterală și trunchiul cerebral, în timp ce rezultatul recompensei a activat mai semnificativ NAcc, OFC medial și amigdala. Prin urmare, teoriile neurobiologice ale luării deciziilor legate de recompensă ar trebui să țină seama de reprezentările distribuite și interconectate ale evaluării recompensei și ale evaluării valenței.
1. Introducere
Oamenii se confruntă în fiecare zi cu nenumărate oportunități de luare a deciziilor legate de recompense. Bunăstarea noastră fizică, mentală și socio-economică depinde în mod critic de consecințele alegerilor pe care le facem. Prin urmare, este crucial să înțelegem ce stă la baza funcționării normale a luării deciziilor legate de recompensă. Studierea funcționării normale a luării deciziilor legate de recompensă ne ajută, de asemenea, să înțelegem mai bine diferitele tulburări de comportament și mentale care apar atunci când o astfel de funcție este perturbată, cum ar fi depresia (Drevets, 2001), abuz de substante (Bechara, 2005; Garavan și Stout, 2005; Volkow și colab., 2003), și tulburări de alimentație (Kringelbach et al., 2003; Volkow și înțelept, 2005).
Cercetarea neuroimagistică funcțională a recompensei a devenit un domeniu în creștere rapidă. Am observat o creștere uriașă a cercetării neuroimagistice în acest domeniu, zeci de articole relevante apar în baza de date PubMed în fiecare lună. Pe de o parte, acest lucru este incitant, deoarece rezultatele crescânde sunt esențiale pentru formalizarea mecanismelor comportamentale și neuronale ale luării deciziilor legate de recompensă (Fellows, 2004; Trepel et al., 2005). Pe de altă parte, eterogenitatea rezultatelor, împreună cu modelele opuse ocazionale, face dificilă obținerea unei imagini clare a circuitelor recompensei din creierul uman. Amestecul de rezultate se datorează parțial diverselor paradigme experimentale dezvoltate de diferite grupuri de cercetare care și-au propus să abordeze diferite aspecte ale luării deciziilor legate de recompensă, cum ar fi distincția dintre anticiparea recompensei și rezultat (Breiter et al., 2001; Knutson et al., 2001b; McClure et al., 2003; Rogers et al., 2004), evaluarea recompenselor pozitive și negative (Liu și colab., 2007; Nieuwenhuis și colab., 2005; O'Doherty şi colab., 2003a; O'Doherty și colab., 2001; Ullsperger și von Cramon, 2003), și evaluarea riscului (Bach și colab., 2009; d'Acremont și Bossaerts, 2008; Hsu și colab., 2009; Huettel, 2006).
Prin urmare, este esențial să punem în comun studiile existente și să examinăm rețelele de bază de recompensă din creierul uman, atât din abordări bazate pe date, cât și bazate pe teorie, pentru a testa caracterul comun și distincția diferitelor aspecte ale luării deciziilor legate de recompensă. Pentru a atinge acest obiectiv, am folosit și comparat două metode de metaanaliză bazată pe coordonate (CBMA) (Salimi-Khorshidi et al., 2009), estimarea probabilității de activare (ALE) (Laird și colab., 2005; Turkeltaub și colab., 2002) și metaanaliză parametrică bazată pe voxel (PVM) (Costafreda et al., 2009), astfel încât să dezvăluie concordanța într-un număr mare de studii de neuroimagistică privind luarea deciziilor legate de recompensă. Am anticipat că striatul ventral și cortexul orbitofrontal (OFC), două zone majore de proiecție dopaminergică care au fost asociate cu procesarea recompensei, vor fi activate în mod constant.
În plus, dintr-o perspectivă bazată pe teorie, ne-am propus să elucidam dacă există distincții în rețelele creierului care sunt responsabile pentru procesarea informațiilor pozitive și negative despre recompense și care sunt implicate de preferință în diferite etape ale procesării recompensei, cum ar fi anticiparea recompensei, rezultatul. monitorizarea și evaluarea deciziilor. Luarea deciziilor implică codificarea și reprezentarea opțiunilor alternative și compararea valorilor sau utilităților asociate acestor opțiuni. De-a lungul acestor procese, luarea deciziilor este de obicei asociată cu o valență pozitivă sau negativă, fie a rezultatelor, fie a răspunsurilor emoționale la alegerile făcute. Valențele pozitive ale recompensei se referă la stările subiective pozitive pe care le experimentăm (de exemplu, fericirea sau satisfacția) când rezultatul este pozitiv (de exemplu, câștigarea la loterie) sau mai bun decât anticipăm (de exemplu, pierderea mai puțină valoare decât cea proiectată). Valențele negative ale recompensei se referă la sentimentele negative prin care trecem (de exemplu, frustrare sau regret) atunci când rezultatul este negativ (de exemplu, pierderea unui joc de noroc) sau mai rău decât ceea ce ne așteptăm (de exemplu, valoarea stocului crește mai mică decât cea estimată). Deși studiile anterioare au încercat să distingă rețelele de recompense care sunt sensibile la procesarea informațiilor pozitive sau negative (Kringelbach, 2005; Liu et al., 2007), precum și cele care sunt implicate în anticiparea recompensei sau rezultatul (Knutson et al., 2003; Ramnani et al., 2004), rezultatele empirice au fost amestecate. Ne-am propus să extragem modele consistente prin punerea în comun a unui număr mare de studii care examinează aceste distincții.
2. metode
2.1 Căutarea și organizarea literaturii
2.1.1 Identificarea studiului
Doi cercetători independenți au efectuat o căutare amănunțită a literaturii de specialitate pentru studii fMRI care examinează luarea deciziilor bazate pe recompense la oameni. Termenii folosiți pentru a căuta în serviciul online de indexare a citatelor PUBMED (până în iunie 2009) au fost „fMRI”, „recompensă” și „decizie” (de către primul cercetător), „recompensă sarcina de luare a deciziilor”, „fMRI” și „uman ” (de către al doilea cercetător). Aceste rezultate inițiale ale căutării au fost combinate pentru a genera un total de 182 de articole. Alte 90 de articole au fost identificate dintr-o bază de date de referință a unui al treilea cercetător acumulată până în iunie 2009, folosind „recompensa” și „RMN” ca criterii de filtrare. De asemenea, am căutat în baza de date BrainMap folosind Sleuth, cu „sarcină de recompensă” și „fMRI” ca termeni de căutare și am găsit 59 de articole. Toate aceste articole au fost grupate într-o bază de date și intrările redundante au fost eliminate. Apoi am aplicat mai multe criterii de excludere pentru a elimina în continuare articolele care nu sunt direct relevante pentru studiul actual. Aceste criterii sunt: 1) studii empirice care nu sunt de primă mână (de exemplu, articole de recenzie); 2) studii care nu au raportat rezultate în spațiul de coordonate stereotactic standard (fie Talairach, fie Montreal Neurological Institute, MNI); 3) studii care utilizează sarcini care nu au legătură cu luarea deciziilor bazate pe recompense sau valori; 4) studii ale analizelor structurale ale creierului (de exemplu, morfometrie pe bază de voxel sau imagistica tensorului de difuzie); 5) studii bazate exclusiv pe analiza regiunii de interes (ROI) (de exemplu, folosind măști anatomice sau coordonate din alte studii); 6) studii ale populațiilor speciale ale căror funcții cerebrale pot fi deviate de cele ale adulților normali sănătoși (de exemplu, copii, adulți în vârstă sau persoane dependente de substanțe), deși au fost incluse coordonatele raportate în aceste studii numai pentru grupul de adulți sănătoși. Variabilitatea dintre metodele prin care subiecții au fost instruiți să raporteze deciziile în timpul sarcinilor (de exemplu, apăsarea de buton verbală, nonverbală) a fost acceptată. Acest lucru a dus la 142 de articole în baza de date finală (enumerate în Apendice).
În timpul etapei de extragere a datelor, studiile au fost apoi grupate după diferite scheme de normalizare spațială în funcție de transformările de coordonate implementate în setul de instrumente GingerALE (http://brainmap.org, Centrul de cercetare imagistică al Centrului de Științe ale Sănătății de la Universitatea din Texas, San Antonio, Texas): folosind FSL pentru a raporta coordonatele MNI, folosind SPM pentru a raporta coordonatele MNI, folosind alte programe pentru a raporta coordonatele MNI, folosind metodele Brett pentru a converti coordonatele MNI în Talairach spațiu, folosind un șablon nativ Talairach. Listele de coordonate care se aflau în spațiul Talairach au fost convertite în spațiul MNI conform schemelor lor originale de normalizare. Pentru lista Brett-Talairach, am convertit coordonatele înapoi în spațiul MNI folosind transformarea inversă de către Brett (adică, tal2mni)(Brett et al., 2002). Pentru lista nativă Talairach, am folosit transformarea Talairach-MNI a BrainMap (adică, tal2icbm_other). O listă principală a tuturor studiilor a fost creată prin combinarea tuturor coordonatelor din spațiul MNI în pregătirea meta-analizelor ALE în GingerALE.
2.1.2 Clasificarea experimentului
Pentru a testa ipotezele cu privire la căile de recompensă comune și distincte care sunt recrutate de diferite aspecte ale luării deciziilor legate de recompensă, am clasificat coordonatele în funcție de două tipuri de clasificare: valența recompensei și etapele de decizie. Am adoptat termenul de „experimente” folosit de baza de date BrainMap pentru a se referi la regresori individuali sau contraste raportate de obicei în studiile fMRI. Pentru valența recompensei, am organizat experimentele în recompense pozitive și negative. Pentru etapele de decizie, am împărțit experimentele în anticiparea recompensei, rezultat și evaluare. Coordonatele din lista principală care se încadrează în aceste categorii au fost introduse în subliste; cele care erau greu de interpretat sau nu erau clar definite au fost omise. Mai jos listăm câteva exemple care au fost incluse în fiecare dintre aceste categorii.
Următoarele contraste au fost clasificate ca procesare a recompenselor pozitive: cele în care subiecții au câștigat bani sau puncte (Elliott et al., 2000)(recompensa în timpul succesului); a evitat să piardă bani sau puncte (Kim et al., 2006)(comparație directă între evitarea unui rezultat negativ și primirea recompensei); a câștigat cea mai mare dintre două sume de bani sau puncte (Knutson et al., 2001a)(anticiparea recompensei mari vs. mici); a pierdut cea mai mică dintre două sume de bani sau puncte (Serios et al., 2005)(0.50$ fără câștig > 4$ fără câștig); a primit cuvinte sau imagini încurajatoare pe ecran (Zalla et al., 2000) (creștere pentru „câștig”); au primit gust dulce în gură (O'Doherty et al., 2002)(glucoza > gust neutru); a evaluat pozitiv alegerea (Liu et al., 2007)(corect > greșit), sau a primit orice alt tip de recompense pozitive ca urmare a îndeplinirii cu succes a sarcinii.
Experimentele clasificate pentru recompense negative le-au inclus pe cele în care subiecții au pierdut bani sau puncte (Elliott și colab., 2000)(penalizare în timpul eșecului); nu a câștigat bani sau puncte (Serios et al., 2005)(nemulțumirea de no-win); a câștigat cea mai mică dintre două sume de bani sau puncte (Knutson et al., 2001a)($1 vs. $50 recompensă); a pierdut cea mai mare dintre două sume de bani sau puncte (Knutson et al., 2001a)(anticiparea pedepsei mari vs. mici); a evaluat negativ alegerea (Liu et al., 2007)(greșit > corect); sau au primit orice alte recompense negative, cum ar fi administrarea unui gust amar în gură (O'Doherty et al., 2002)(sare > gust neutru) sau cuvinte sau imagini descurajatoare (Zalla et al., 2000)(creștere pentru „pierde” și scade pentru „câștigă”).
Anticiparea recompensei a fost definită ca perioada de timp în care subiectul se gândea la opțiuni potențiale înainte de a lua o decizie. De exemplu, plasarea unui pariu și așteptarea să câștigi bani pe acel pariu ar fi clasificată ca anticipare (Cohen și Ranganath, 2005)(decizie cu risc ridicat vs. cu risc scăzut). Rezultatul/livrarea recompensei a fost clasificat ca perioada în care subiectul a primit feedback cu privire la opțiunea aleasă, cum ar fi un ecran cu cuvintele „câștigă x$” sau „pierde x$” (Bjork et al., 2004)(câștig vs. rezultat fără câștig). Atunci când feedback-ul a influențat decizia și comportamentul subiectului într-un proces ulterioar sau a fost folosit ca semnal de învățare, contrastul a fost clasificat ca evaluare a recompensei. De exemplu, o decizie riscantă care este răsplătită în încercarea inițială poate determina un subiect să-și asume un alt risc, poate mai mare, în următorul studiu (Cohen și Ranganath, 2005)(recompense cu risc scăzut urmate de decizii cu risc ridicat vs. decizii cu risc scăzut). Aversiunea la pierdere, tendința oamenilor de a prefera cu multă evitarea pierderilor în locul obținerii de câștiguri, este un alt exemplu de evaluare (Tom et al., 2007)(relația dintre lambda și aversiunea la pierderea neuronală).
2.2 Estimarea probabilității de activare (ALE)
Algoritmul ALE se bazează pe (Eickhoff et al., 2009). ALE modelează focarele de activare ca distribuții gaussiene 3D centrate pe coordonatele raportate și apoi calculează suprapunerea acestor distribuții în diferite experimente (ALE tratează fiecare contrast dintr-un studiu ca un experiment separat). Incertitudinea spațială asociată cu focarele de activare este estimată în raport cu numărul de subiecți din fiecare studiu (adică, un eșantion mai mare produce modele de activare și localizare mai fiabile; prin urmare, coordonatele sunt implicate cu un nucleu gaussian mai strâns). Convergența modelelor de activare între experimente este calculată luând uniunea hărților de activare modelate mai sus. O distribuție nulă care reprezintă scorurile ALE generate de suprapunerea spațială aleatorie între studii este estimată prin procedura de permutare. În final, harta ALE calculată din coordonatele reale de activare este testată cu scorurile ALE din distribuția nulă, producând o hartă statistică reprezentând valorile p ale scorurilor ALE. Valorile p neparametrice sunt apoi transformate în scoruri z și pragizate la un p<0.05 corectat la nivel de cluster.
Au fost efectuate șase analize ALE diferite folosind GingerALE 2.0 (Eickhoff et al., 2009), unul pentru analiza principală a tuturor studiilor și unul pentru fiecare dintre cele cinci sub-liste care caracterizează activarea creierului prin recompense pozitive sau negative, precum și anticiparea, rezultatul și evaluarea. Două analize ALE de scădere au fost efectuate utilizând GingerALE 1.2 (Turkeltaub et al., 2002), unul pentru contrastul dintre recompensele pozitive și negative, iar celălalt pentru contrastul dintre anticipare și rezultat.
2.2.1 Analiza principală a tuturor studiilor
Toate cele 142 de studii au fost incluse în analiza principală, care a constat din 5214 focare din 655 de experimente (contraste). Am folosit algoritmul implementat în GingerALE 2.0, care modelează ALE pe baza incertitudinii spațiale a fiecărui focar folosind o estimare a variabilității inter-subiect și inter-experiment. Estimarea a fost constrânsă de o mască de materie cenușie și a estimat gruparea șansă de mai sus cu experimentele ca un factor cu efecte aleatorii, mai degrabă decât să utilizeze o analiză cu efecte fixe asupra focarelor (Eickhoff et al., 2009). Harta ALE rezultată a fost pragizată folosind metoda ratei de descoperire falsă (FDR) cu p<0.05 și o dimensiune minimă a clusterului de 60 voxeli de 2×2×2 mm (pentru un total de 480 mm3) pentru a proteja împotriva fals pozitive ale comparațiilor multiple.
2.2.2 Analize individuale ale sublistelor
Alte cinci analize ALE au fost, de asemenea, efectuate pe baza sub-listelor care clasifică diferite experimente în recompense pozitive și negative, precum și anticiparea recompensei, livrarea recompensei (rezultatul) și evaluarea alegerilor. Pentru analiza recompensei pozitive, au fost incluse 2167 focare din 283 de experimente. Analiza recompensei negative a constat din 935 de focare din 140 de experimente. Numărul de focare incluse în analizele pentru evaluarea anticipării, rezultatului și alegerii a fost de 1553 focare (185 experimente), 1977 (253) și, respectiv, 520 (97). Am aplicat aceleași analize și abordări ale pragului ca și pentru analiza principală de mai sus.
2.2.3 Analize de scădere
Ne-a interesat, de asemenea, să contrastăm zonele creierului care au fost activate selectiv sau preferențial de recompense pozitive versus negative și de anticiparea recompensei versus livrarea recompensei. GingerALE 1.2 a fost folosit pentru a efectua aceste două analize. Hărțile ALE au fost netezite cu un nucleu cu un FWHM de 10 mm. A fost efectuat un test de permutare a focarelor distribuite aleator cu 10000 de simulări pentru a determina semnificația statistică a hărților ALE. Pentru a corecta comparațiile multiple, hărțile ALE rezultate au fost pragizate folosind metoda FDR cu p<0.05 și o dimensiune minimă a clusterului de 60 de voxeli.
2.3 Metaanaliză parametrică bazată pe voxeli (PVM)
De asemenea, am analizat aceleași liste de coordonate folosind o altă abordare de meta-analiză, PVM. Spre deosebire de analiza ALE, care tratează diferite contraste dintr-un studiu ca experimente distincte, analiza PVM reunește vârfurile din toate contrastele diferite dintr-un studiu și creează o singură hartă de coordonate pentru studiul specific (Costafreda et al., 2009). Prin urmare, factorul cu efecte aleatoare în analiza PVM este studiu, în comparație cu individ experimente/contraste în analiza ALE. Acest lucru reduce și mai mult distorsiunea de estimare cauzată de studiile cu contraste multiple care raportează modele de activare similare. Similar cu abordarea ALE, am efectuat șase analize PVM diferite folosind algoritmii implementați în software-ul statistic R (http://www.R-project.org) dintr-un studiu anterior (Costafreda et al., 2009), unul pentru analiza principală a tuturor studiilor și unul pentru fiecare dintre cele cinci sub-liste care caracterizează activarea creierului prin diferite aspecte ale procesării recompensei. Două analize PVM suplimentare au fost efectuate folosind aceeași bază de cod pentru a compara între recompense pozitive și negative, precum și între anticiparea recompensei și rezultat.
2.3.1 Analiza principală a tuturor studiilor
Coordonatele MNI (5214) din aceleași 142 de studii utilizate în analiza ALE au fost transformate într-un tabel text, fiecare studiu fiind identificat printr-o etichetă unică de identificare a studiului. Calculele de pe harta de vârf au fost constrânse într-o mască în spațiul MNI. Harta de vârf a fost mai întâi netezită cu un nucleu uniform (ρ = 10 mm) pentru a genera harta rezumată, care reprezintă numărul de studii care raportează vârfuri de activare suprapuse într-o zonă de 10 mm rază. Apoi, analiza PVM cu efecte aleatoare a fost efectuată pentru a estima semnificația statistică asociată cu fiecare voxel din harta rezumată. Numărul de studii din harta rezumată a fost convertit în proporția de studii care au raportat activare concordantă. Am folosit același prag ca și în analiza ALE pentru a identifica clustere semnificative pentru harta proporțională (folosind metoda FDR cu p<0.05 și o dimensiune minimă a clusterului de 60 de voxeli).
2.3.2 Analize individuale ale sublistelor
Alte cinci analize PVM au fost efectuate pe sub-listele pentru recompense pozitive și negative, precum și anticiparea recompensei, rezultatul și evaluarea. Analiza recompensei pozitive a inclus 2167 focare din 111 studii, în timp ce analiza recompensă negativă a inclus 935 focare din 67 de studii. Numărul de studii incluse în analizele pentru evaluarea anticipării, rezultatului și alegerii a fost de 1553 focare (65 de studii), 1977 (86) și, respectiv, 520 (39). Am aplicat aceleași analize și abordări ale pragului ca și pentru analiza principală de mai sus.
2.3.3 Analize comparative
De asemenea, am efectuat două analize PVM pentru a compara modelele de activare între recompensele pozitive și negative, precum și între anticiparea recompensei și rezultat. Două hărți de vârf (de exemplu, una pentru pozitiv și cealaltă pentru negativ) au fost mai întâi netezite cu un nucleu uniform (ρ = 10 mm) pentru a genera hărțile rezumative, fiecare reprezentând numărul de studii cu vârf de activare suprapus într-o vecinătate de 10 mm. rază. Aceste două hărți rezumative au fost introduse într-un test Fisher pentru a estima raportul cotelor și valoarea p semnificației statistice pentru fiecare voxel contributiv în masca spațială MNI. Deoarece testul Fisher nu este dezvoltat special pentru analiza datelor fMRI și empiric mai puțin sensibil decât celelalte metode, am aplicat un prag relativ indulgent pentru analiza PVM de comparație directă, folosind p<0.01 necorectat și o dimensiune minimă a clusterului de 60 de voxeli (Xiong et al., 1995), pentru a corecta eroarea de tip I de comparație multiplă.
3. Rezultate
3.1 Rezultate ALE
Analiza all-inclusive a 142 de studii a arătat activarea semnificativă a unui grup mare care a cuprins nucleul bilateral accumbens (NAcc), pallidum, insula anterioară, OFC lateral/medial, cortexul cingulat anterior (ACC), zona motorie suplimentară (SMA), lateral cortexul prefrontal (PFC), amigdala dreaptă, hipocampul stâng, talamusul și trunchiul cerebral (Figura 1A). Alte grupuri mai mici au inclus girusul frontal mijlociu drept și girusul frontal mijlociu/inferior stâng, lobul parietal inferior/superior bilateral și cortexul cingulat posterior (PCC) (Tabelul 1).
Recompensele pozitive au activat un subset al rețelelor menționate mai sus, inclusiv pallidum bilateral, insula anterioară, talamus, trunchi cerebral, OFC medial, ACC, SMA, PCC și alte zone frontale și parietale (Figura 1B și Tabelul 2, vezi, de asemenea Materiale suplimentare – Figura S1A). Recompensele negative au arătat activare în NAcc bilateral, caudat, pallidum, insula anterioară, amigdale, talamus, trunchi cerebral, ACC rostral, PFC dorsomedial, OFC lateral și girus frontal mijlociu și inferior drept (Figura 1B și Tabelul 2, vezi, de asemenea Materiale suplimentare – Figura S1B). Contrastând activarea prin recompense pozitive versus negative, am constatat că recompensele pozitive au activat în mod semnificativ următoarele regiuni în mare măsură: NAcc bilateral, insula anterioară, OFC medial, hipocamp, putamen stâng și talamus (Figura 1D și Tabelul 4). Niciunul nu a arătat mai multă activare prin recompense negative decât pozitive.
Diferite etape de procesare a recompensei au împărtășit modele similare de activare a creierului în rețelele de bază menționate mai sus, inclusiv NAcc bilateral, insula anterioară, talamus, OFC medial, ACC și PFC dorsomedial (Figura 1C și Tabelul 3, vezi, de asemenea Materiale suplimentare – Figurile S1C–E). Anticiparea recompensei, în comparație cu rezultatul recompensei, a evidențiat o mai mare activare în insula anterioară bilaterală, ACC, SMA, lobul parietal inferior stâng și girusul frontal mijlociu (Figura 1E și Tabelul 5). Activarea preferențială a rezultatului a inclus NAcc bilateral, caudat, talamus și OFC medial/lateral (Tabelul 5).
3.2 Rezultate PVM
Analiza principală a 142 de studii a arătat o activare semnificativă în NAcc bilateral, insula anterioară, OFC lateral/medial, ACC, PCC, lobul parietal inferior și Gyrus frontal mediu (Figura 2A și Tabelul 6).
Recompensele pozitive au activat NAcc bilateral, pallidum, putamen, talamus, OFC medial, cortexul cingulat pregenual, SMA și PCC (Figura 2B și Tabelul 7, vezi, de asemenea Materiale suplimentare – Figura S2A). Activarea prin recompense negative a fost găsită în NAcc bilateral și insula anterioară, pallidum, ACC, SMA și gyrus frontal mediu/inferior (Figura 2B și Tabelul 7, vezi, de asemenea Materiale suplimentare – Figura S2B). Contrastul direct între recompensele pozitive și negative a evidențiat activarea preferențială prin recompense pozitive în NAcc, pallidum, OFC medial și PCC și o activare mai mare prin recompense negative în ACC și girusul frontal mediu/inferior (Figura 2D și Tabelul 9).
Diferite etape de procesare a recompensei au activat în mod similar NAcc și ACC, în timp ce au recrutat în mod diferențiat alte zone ale creierului, cum ar fi OFC medial, insula anterioară și amigdala (Figura 2C și Tabelul 8, vezi, de asemenea Materiale suplimentare – Figura S2C–E). Anticiparea recompensei, în comparație cu rezultatul recompensei, a evidențiat o activare semnificativă în insula anterioară bilaterală, talamus, girus precentral și lobul parietal inferior (Figura 2E și Tabelul 10). Nicio zonă a creierului nu a arătat o mai mare activare prin rezultatul recompensei în comparație cu anticiparea.
3.3 Compararea rezultatelor ALE și PVM
Studiul actual a mai arătat că, deși metodele ALE și PVM au tratat datele bazate pe coordonate în mod diferit și au adoptat algoritmi de estimare diferiți, rezultatele pentru o singură listă de coordonate din aceste două abordări de meta-analiză au fost foarte similare și comparabile (Figurile 1A-C și 2A-C, Tabelul 11, vezi, de asemenea Cifrele S1 și S2 în Materialele suplimentare). Algoritmul ALE îmbunătățit implementat în GingerALE 2.0, prin design, tratează experimentele (sau contrastele) ca factor de efecte aleatorii, ceea ce reduce semnificativ părtinirea cauzată de experimentele care raportează mai mulți loci față de cei cu mai puțini loci. Totuși, diferite studii includ un număr diferit de experimente/contraste. Prin urmare, rezultatele GingerALE 2.0 pot fi încă afectate de părtinirea care cântărește mai mult spre studiile care raportează mai multe contraste, potențial supraestimând concordanța între studii. In orice caz, prin alegere, utilizatorii pot combina coordonatele din diferite contraste împreună, astfel încât GingerALE 2.0 să poată trata fiecare studiu ca un singur experiment. Acesta este ceea ce implementează PVM, cumulând coordonatele din toate contrastele dintr-un studiu într-o singură hartă de activare, cântărind astfel toate studiile în mod egal pentru a estima suprapunerea activării între studii.
În schimb, compararea a două liste de coordonate a diferit semnificativ între abordările ALE și PVM (Tabelul 11), ca urmare a diferențelor lor de sensibilitate la convergența în cadrul studiului și la convergența între studii. Deoarece algoritmul ALE îmbunătățit nu a fost implementat pentru analiza ALE subtractivă, am folosit o versiune anterioară, GingerALE 1.2, care tratează coordonatele ca factor cu efecte aleatoare și experimentele ca variabilă cu efecte fixe. Prin urmare, diferențele atât în numărul de coordonate, cât și în experimentele din două liste pot afecta rezultatele scăderii. Analiza ALE substractive a orientat spre lista cu mai multe experimente față de cealaltă cu mai puține (Figura 1D/E). Studiile de recompensă pozitive (2167 focare din 283 de experimente) au predominat în mod clar față de studiile negative (935 focare din 140 de experimente). Diferența dintre anticiparea recompensei (1553 focare din 185 de experimente) și rezultat (1977 focare din 253 de experimente) a fost mai mică, dar ar fi putut provoca și prejudecățile față de faza de rezultat. Pe de altă parte, utilizarea testului Fisher pentru a estima raportul de cote și a atribui voxeli într-una dintre cele două liste de către PVM părea să fie mai puțin sensibilă în detectarea diferenței de activare între cele două liste (Figura 2D/E).
4. Discuţie
Luăm constant decizii în viața de zi cu zi. Unele decizii nu implică valori aparent pozitive sau negative ale rezultatelor, în timp ce altele au un impact semnificativ asupra valenței rezultatelor și a răspunsurilor noastre emoționale la alegerile pe care le facem. Ne putem simți fericiți și mulțumiți atunci când rezultatul este pozitiv sau așteptările noastre sunt îndeplinite sau ne simțim frustrați când rezultatul este negativ sau mai scăzut decât am anticipat. Mai mult, multe decizii trebuie luate fără cunoașterea prealabilă a consecințelor lor. Prin urmare, trebuie să fim capabili să facem predicții cu privire la recompensa viitoare și să evaluăm valoarea recompensei și riscul potențial de a o obține sau de a fi penalizat. Acest lucru ne cere să evaluăm alegerea pe care o facem pe baza prezenței erorilor de predicție și să folosim aceste semnale pentru a ne ghida învățarea și comportamentele viitoare. Multe studii de neuroimagistică au examinat luarea deciziilor legate de recompensă. Cu toate acestea, având în vedere procesele psihologice complexe și eterogene implicate în luarea deciziilor bazate pe valori, nu este o sarcină trivială să examinăm rețelele neuronale care servesc reprezentării și procesării informațiilor legate de recompensă. Am observat o creștere rapidă a numărului de studii empirice în domeniul neuroeconomiei, dar până acum a fost greu de văzut cum aceste studii au convergit astfel încât să delimiteze clar circuitele recompensei din creierul uman. În studiul actual de meta-analiză, am arătat concordanță într-un număr mare de studii și am dezvăluit modelele comune și distincte de activare a creierului prin diferite aspecte ale procesării recompensei. Într-un mod bazat pe date, am reunit toate coordonatele din diferite contraste/experimente ale a 142 de studii și am observat o rețea de recompensă de bază, care constă din NAcc, OFC lateral/medial, ACC, insula anterioară, PFC dorsomedial, precum și zonele frontoparietale laterale. Un studiu recent de meta-analiză care se concentrează pe evaluarea riscului în luarea deciziilor a raportat un circuit de recompensă similar (Mohr și colab., 2010). În plus, dintr-o perspectivă bazată pe teorie, am comparat rețelele neuronale care au fost implicate în valența pozitivă și negativă în etapele de anticipare și rezultat ale procesării recompensei și am elucidat substraturi neuronale distincte care servesc evaluării legate de valență, precum și implicarea lor preferențială în anticipare și rezultat.
4.1 Domenii principale de recompensă: NAcc și OFC
NAcc și OFC au fost de mult concepute ca jucători majori în procesarea recompensei, deoarece sunt principalele zone de proiecție a două căi dopaminergice distincte, căile mezolimbice și, respectiv, mezocorticale. Cu toate acestea, rămâne necunoscut modul în care neuronii dopaminergici modulează în mod distinct activitatea în aceste zone limbice și corticale. Studiile anterioare au încercat să diferențieze rolurile acestor două structuri în ceea ce privește etapele temporale, asociind NAcc cu anticiparea recompensei și relaționând OFC medial cu primirea recompensei (Knutson et al., 2001b; Knutson et al., 2003; Ramnani et al., 2004). Rezultatele altor studii au pus sub semnul întrebării o astfel de distincție (Breiter și colab., 2001; Delgado și colab., 2005; Rogers și colab., 2004). Multe studii au implicat, de asemenea, că NAcc a fost responsabil pentru detectarea erorilor de predicție, un semnal crucial în învățarea stimulativă și asocierea recompenselor (McClure și colab., 2003; O'Doherty şi colab., 2003b; Pagnoni și colab., 2002). Studiile au constatat, de asemenea, că NAcc a arătat un răspuns bifazic, astfel încât activitatea din NAcc ar scădea și va scădea sub valoarea de bază ca răspuns la erorile de predicție negative (Knutson et al., 2001b; McClure et al., 2003; O'Doherty et al., 2003b). Deși OFC prezintă de obicei modele de activitate similare ca NAcc, studiile anterioare de neuroimagistică la oameni au sugerat că OFC servește la convertirea unei varietăți de stimuli într-o monedă comună în ceea ce privește valorile recompensei (Arana și colab., 2003; Cox și colab., 2005; Elliott și colab., 2010; FitzGerald și colab., 2009; Gottfried și colab., 2003; Kringelbach și colab., 2003; O'Doherty și colab., 2001; Plassmann și colab., 2007). Aceste constatări au fost similare cu cele obținute din înregistrarea unei singure celule și studiile de leziuni la animale (Schoenbaum și Roesch, 2005; Schoenbaum și colab., 2009; Schoenbaum și colab., 2003; Schultz și colab., 2000; Tremblay și Schultz, 1999, 2000; Wallis, 2007).
Analizele noastre generale au arătat că NAcc și OFC au răspuns la procesarea generală a recompenselor (Figura 1A și Figura 2A). Activarea în NAcc s-a suprapus în mare parte în diferite etape, în timp ce OFC medial a fost mai reglat pentru a recompensa primirea (Figura 1C/E și Figura 2C). Aceste constatări au evidențiat faptul că NAcc poate fi responsabil pentru urmărirea atât a semnalelor pozitive, cât și a celor negative ale recompensei și pentru utilizarea acestora pentru a modula învățarea asocierii recompensei, în timp ce OFC monitorizează și evaluează în principal rezultatele recompensei. Sunt necesare investigații suplimentare pentru a diferenția mai bine rolurile NAcc și OFC în luarea deciziilor legate de recompensă (Frank și Claus, 2006; iepure et al., 2008).
4.2 Evaluare legată de valență
Pe lângă conversia diferitelor opțiuni de recompensă în moneda comună și reprezentarea valorilor recompensei acestora, regiunile distincte ale creierului din circuitele recompensei pot codifica separat valențe pozitive și negative ale recompensei. Comparațiile directe între valența recompensei au arătat că atât NAcc, cât și OFC medial au fost mai active ca răspuns la recompensele pozitive față de cele negative (Figura 1B/D și Figura 2B/D). În schimb, cortexul insular anterior a fost implicat în procesarea informațiilor negative despre recompensă (Figura 1B și Figura 2B). Aceste rezultate au confirmat distincția medial-laterală pentru recompense pozitive versus negative (Kringelbach, 2005; Kringelbach și Rolls, 2004), și au fost în concordanță cu ceea ce am observat în studiul nostru anterior privind o sarcină de recompensă (Liu et al., 2007). Subregiunile ACC au răspuns în mod unic la recompensele pozitive și negative. ACC pregenuală și rostrală, aproape de OFC medial, au fost activate de recompense pozitive, în timp ce ACC caudal a răspuns la recompense negative (Figura 1B și Figura 2B). Meta-analizele ALE și PVM au arătat, de asemenea, că PCC a fost activat în mod constant de recompense pozitive (Figura 1B și Figura 2B).
Interesant, rețelele separate care codifică valențe pozitive și negative sunt similare cu distincția dintre două rețele anti-corelate, rețeaua în mod implicit și rețeaua legată de sarcini (Fox și colab., 2005; Raichle și colab., 2001; Raichle și Snyder, 2007). Meta-analize recente au descoperit că rețeaua implicită a implicat în principal regiunile prefrontale mediale (inclusiv OFC medial) și cortexul posterior medial (inclusiv PCC și precuneus), iar rețeaua aferentă sarcinii include ACC, insula și frontoparietal lateral. regiuni (Laird și colab., 2009; Toro și colab., 2008). Activarea în OFC medial și PCC prin recompense pozitive a reflectat rețeaua implicită observată în mod obișnuit în timpul stării de repaus, în timp ce activarea în ACC, insula, cortexul prefrontal lateral prin recompense negative a fost paralelă cu rețeaua legată de sarcină. S-a descoperit că această organizare funcțională intrinsecă a creierului influențează recompensa și luarea deciziilor riscante și ține cont de diferențele individuale în trăsăturile de asumare a riscurilor (Cox și colab., 2010).
4.3 Anticiparea versus rezultat
Insula anterioară bilaterală, ACC/SMA, lobul parietal inferior și trunchiul cerebral au prezentat o activare mai consistentă în așteptare în comparație cu faza de rezultat (Figura 1C/E și Figura 2C/E). Insula anterioară și ACC au fost anterior implicate în interocepție, emoție și empatie (Craig, 2002, 2009; Gu și colab., 2010; Phan și colab., 2002), și evaluarea riscurilor și a incertitudinii (Critchley și colab., 2001; Kuhnen și Knutson, 2005; Paulus și colab., 2003), împrumutându-și rolul în anticipare. Insula anterioară a fost implicată în mod constant în procesarea riscului, în special în anticiparea pierderii, după cum a relevat o meta-analiză recentă (Mohr și colab., 2010). Similar cu rolul OFC, lobulul parietal a fost asociat cu evaluarea diferitelor opțiuni (Sugrue et al., 2005), reprezentare numerică (Cohen Kadosh et al., 2005; Hubbard et al., 2005), și integrarea informațiilor (Gold and Shadlen, 2007; Yang și Shadlen, 2007). Prin urmare, este crucial ca lobulul parietal să fie implicat în etapa de anticipare a procesării recompensei, astfel încât să se planifice și să se pregătească pentru o acțiune informată (Andersen și Cui, 2009; Lau şi colab., 2004a; Lau şi colab., 2004b).
Pe de altă parte, striatul ventral, OFC medial și amigdala au arătat o activare preferențială în timpul rezultatului recompensei în comparație cu stadiul de anticipare (Figura 1C/E și Figura 2C). Aceste modele au fost în concordanță cu ceea ce noi și alți anchetatori am găsit anterior (Breiter și colab., 2001; Delgado și colab., 2005; Liu și colab., 2007; Rogers și colab., 2004), stă împotriva disocierii funcționale dintre striatul ventral și OFC medial în ceea ce privește rolurile lor respective în anticiparea recompensei și rezultatul recompensei (Knutson şi colab., 2001a; Knutson şi colab., 2001b; Knutson și colab., 2003).
4.4 O ilustrare schematică a procesării recompenselor
Pe baza constatărilor rețelelor comune și distincte implicate în diferite aspecte ale luării deciziilor de recompensă, am venit cu o ilustrare schematică pentru a rezuma reprezentările distribuite ale evaluării și valenței în procesarea recompensei (Figura 3). Grupăm tentativ diferite regiuni ale creierului pe baza rolurilor lor în procese diferite, deși fiecare regiune poate îndeplini funcții multiple și poate interacționa cu alte zone ale creierului într-un mod mult mai complex. Când vă confruntați cu opțiuni alternative, fiecare dintre ele având caracteristici distinctive, cum ar fi magnitudinea și probabilitatea, aceste proprietăți trebuie convertite în informații comparabile bazate pe valoare, o „monedă comună”. Nu numai că comparăm valorile acestor opțiuni alternative, dar comparăm și valorile factice și proiectate, precum și valorile fictive asociate cu alegerea nealeasă (de exemplu, semnalul de eroare de predicție). În această reprezentare bazată pe valori au fost implicate striatul ventral și OFC medial. S-a descoperit că lobulul parietal inferior este, de asemenea, implicat în reprezentarea și compararea informațiilor numerice. În plus, luarea deciziilor bazate pe valori are ca rezultat inevitabil evaluarea alegerilor, bazată pe valența rezultatelor și a răspunsurilor emoționale asociate. În timp ce striatul ventral și OFC medial sunt, de asemenea, implicate în detectarea valenței recompensei pozitive, OFC lateral, insula anterioară, ACC și amigdala sunt implicate în cea mai mare parte în procesarea valenței recompensei negative, cel mai probabil legate de rolurile lor evaluative în răspunsurile emoționale negative. Datorită afectului negativ asociat de obicei cu riscul, insula anterioară și ACC sunt, de asemenea, implicate în anticiparea recompensei pentru deciziile riscante, în special pentru răspunsurile adverse la incertitudine în anticiparea pierderii. În cele din urmă, regiunile frontoparietale servesc la integrarea și acționarea asupra acestor semnale pentru a produce decizii optime (de exemplu, câștig-ședere-pierdere-switch).
4.5 Avertismente
Trebuie remarcate câteva avertismente metodologice. Primul este legat de părtinirea raportării rezultatelor în diferite studii. Unele studii se bazează exclusiv pe rentabilitatea investiției, care au fost excluse din studiul actual. Cu toate acestea, alții au evidențiat sau au pus mai mult accent un prealabil regiuni prin raportarea mai multor coordonate sau contraste legate de acele regiuni. Ei ar putea influența rezultatele spre confirmarea „hotspoturilor”. În al doilea rând, dorim să avertizăm cu privire la distincția conceptuală a diferitelor aspecte ale procesării recompenselor. Am clasificat diverse contraste în diferite categorii de interes teoretic. Cu toate acestea, cu decizii din viața reală sau în multe sarcini experimentale, aceste aspecte nu au neapărat diviziuni clare. De exemplu, evaluarea alegerii anterioare și a rezultatului recompensei se pot amesteca cu anticiparea recompensei viitoare și luarea deciziilor. Nu există o limită clară între diferitele etape ale procesării recompensei, lăsând deschisă pentru discuții clasificarea noastră actuală. Cu toate acestea, această abordare bazată pe ipoteze este foarte necesară (Caspers și colab., 2010; Mohr și colab., 2010; Richlan și colab., 2009), care completează natura bazată pe date a meta-analizei. Mulți factori legați de luarea deciziilor de recompensă, cum ar fi evaluarea riscului și tipurile de recompensă (de exemplu, primar vs. secundar, monetar vs. social), necesită meta-analize suplimentare.
Cercetări importante
- Am efectuat două seturi de meta-analize bazate pe coordonate pe 142 de studii fMRI ale recompensei.
- Circuitele de bază ale recompensei au inclus nucleul accumbens, insula, regiunile orbitofrontale, cingulate și frontoparietale.
- Nucleul accumbens a fost activat atât de recompense pozitive, cât și negative în diferite etape de procesare a recompensei.
- Alte regiuni au arătat răspunsuri preferențiale față de recompense pozitive sau negative, sau în timpul anticipării sau rezultatului.
Material suplimentar
01
02
03
recunoasteri
Acest studiu este susținut de Proiectul Hundred-Talent al Academiei Chineze de Științe, NARSAD Young Investigator Award (XL) și NIH Grant R21MH083164 (JF). Autorii doresc să mulțumească echipei de dezvoltare a BrainMap și Sergi G. Costafreda pentru furnizarea de instrumente excelente pentru acest studiu.
Apendice
Lista articolelor incluse în meta-analizele studiului curent.
Note de subsol
Contribuții autor: XL a proiectat și a supravegheat întregul studiu. JH și MS au contribuit în mod egal la acest studiu, efectuând căutări în literatură, extragerea datelor și organizarea. JF a participat la discuții și la pregătirea manuscrisului.
Declinarea responsabilității editorului: Acesta este un fișier PDF al unui manuscris needitat care a fost acceptat pentru publicare. Ca serviciu pentru clienții noștri oferim această versiune timpurie a manuscrisului. Manuscrisul va fi supus copierii, tipăririi și revizuirii probelor rezultate înainte de a fi publicat în forma sa finală. Rețineți că în timpul procesului de producție pot fi descoperite erori care ar putea afecta conținutul și toate denunțările legale care se referă la jurnal.
Referinte