Opublikowany w końcowym edytowanym formularzu jako:
Neurosci Biobehav Rev. 2011 Apr; 35 (5): 1219 – 1236.
Opublikowano w Internecie 2010 Dec 24. doi: 10.1016 / j.neubiorev.2010.12.012
PMCID: PMC3395003
NIHMSID: NIHMS261816
Xun Liu,1,2 Jacqueline Hairston,2 Madeleine Schrier,2 i Jin Fan2,3,4
Ostateczna, zredagowana wersja tego artykułu jest dostępna pod adresem Neurosci Biobehav Rev
Zobacz inne artykuły w PMC, że cytować opublikowany artykuł.
Abstrakcyjny
Aby lepiej zrozumieć obwód nagrody w ludzkim mózgu, przeprowadziliśmy estymację wiarygodności aktywacji (ALE) i metaanalizy oparte na wokseli parametrycznej (PVM) w badaniach neuroobrazowania 142, które badały aktywację mózgu w zadaniach związanych z nagrodą u zdrowych dorosłych. Zaobserwowaliśmy kilka rdzeniowych obszarów mózgu, które uczestniczyły w podejmowaniu decyzji związanych z nagrodami, w tym jądro półleżące (NAcc), ogoniaste, skorupa, wzgórze, kora oczodołowo-czołowa (OFC), obustronna przednia wyspa, kora obręczy przedniej (ACC) i tylnej (PCC) , jak również regiony kontroli poznawczej w dolnym płatu ciemieniowym i korze przedczołowej (PFC). NAcc był powszechnie aktywowany zarówno przez pozytywne, jak i negatywne nagrody na różnych etapach przetwarzania nagrody (np. Oczekiwanie, wynik i ocena). Ponadto środkowa OFC i PCC preferencyjnie reagowały na pozytywne nagrody, podczas gdy ACC, obustronna przednia wyspa i boczna PFC selektywnie reagowały na negatywne nagrody. Przewidywanie nagród aktywowało ACC, obustronną przednią wyspę i pień mózgu, podczas gdy wynik nagrody bardziej aktywował NAcc, środkowy OFC i ciało migdałowate. Neurobiologiczne teorie podejmowania decyzji związanych z nagrodami powinny zatem być dystrybuowane i uwzględniać wzajemne powiązania z oceną nagrody i oceną walencyjną.
1. Wstęp
Ludzie codziennie spotykają się z niezliczonymi możliwościami podejmowania decyzji związanych z nagrodami. Nasze dobrostan fizyczny, psychiczny i społeczno-ekonomiczny zależy krytycznie od konsekwencji dokonywanych wyborów. Dlatego kluczowe jest zrozumienie, co leży u podstaw normalnego funkcjonowania procesu decyzyjnego związanego z nagrodami. Badanie normalnego funkcjonowania podejmowania decyzji związanych z nagrodami pomaga nam również lepiej zrozumieć różne zaburzenia behawioralne i psychiczne, które powstają, gdy taka funkcja jest zakłócona, np. Depresja (Drevets, 2001), nadużywanie substancji (Bechara, 2005; Garavan i Stout, 2005; Volkow i wsp., 2003) i zaburzenia jedzenia (Kringelbach i in., 2003; Volkow i Wise, 2005).
Funkcjonalne badania neuroobrazowania nagród stały się szybko rozwijającą się dziedziną. Zaobserwowaliśmy ogromny wzrost badań neuroobrazowania w tej dziedzinie, z dziesiątkami odpowiednich artykułów pojawiających się w bazie danych PubMed każdego miesiąca. Z jednej strony jest to ekscytujące, ponieważ wyniki montażu mają kluczowe znaczenie dla sformalizowania behawioralnych i neuronalnych mechanizmów podejmowania decyzji związanych z nagrodami (Fellows, 2004; Trepel i in., 2005). Z drugiej strony, heterogeniczność wyników w połączeniu z okazjonalnymi przeciwnymi wzorcami utrudnia uzyskanie wyraźnego obrazu układu nagrody w ludzkim mózgu. Mieszanka wyników wynika częściowo z różnorodnych eksperymentalnych paradygmatów opracowanych przez różne grupy badawcze, których celem było odniesienie się do różnych aspektów podejmowania decyzji związanych z nagrodami, takich jak rozróżnienie między oczekiwaniem na nagrodę a wynikiem (Breiter i in., 2001; Knutson i in., 2001b; McClure i in., 2003; Rogers i in., 2004), wycena pozytywnych i negatywnych nagród (Liu i wsp., 2007; Nieuwenhuis i in., 2005; O'Doherty i in., 2003a; O'Doherty i wsp., 2001; Ullsperger i von Cramon, 2003) oraz ocena ryzyka (Bach i in., 2009; d'Acremont i Bossaerts, 2008; Hsu i in., 2009; Huettel, 2006).
Dlatego ważne jest, aby połączyć istniejące badania i zbadać podstawowe sieci wynagrodzeń w ludzkim mózgu, zarówno oparte na danych, jak i oparte na teorii, w celu przetestowania podobieństwa i rozróżnienia różnych aspektów podejmowania decyzji związanych z nagrodami. Aby osiągnąć ten cel, zastosowaliśmy i porównaliśmy dwie metody oparte na współrzędnych metaanalizie (CBMA) (Salimi-Khorshidi i in., 2009), oszacowanie wiarygodności aktywacji (ALE) (Laird i in., 2005; Turkeltaub i in., 2002) i metaanaliza oparta na wokseli parametrycznych (PVM) (Costafreda i in., 2009), aby ujawnić zgodność w wielu badaniach neuroobrazowania dotyczących podejmowania decyzji związanych z nagrodami. Spodziewaliśmy się, że brzuszne prążkowie i kora oczodołowo-czołowa (OFC), dwa główne obszary projekcji dopaminergicznej, które były związane z przetwarzaniem nagrody, byłyby konsekwentnie aktywowane.
Ponadto, z perspektywy teorii, staraliśmy się wyjaśnić, czy istnieją sieci mózgowe odpowiedzialne za przetwarzanie pozytywnych i negatywnych informacji o nagrodach, które są preferencyjnie zaangażowane w różne etapy przetwarzania nagród, takie jak przewidywanie nagrody, wynik monitorowanie i ocena decyzji. Podejmowanie decyzji obejmuje kodowanie i reprezentowanie alternatywnych opcji oraz porównywanie wartości lub narzędzi związanych z tymi opcjami. W tych procesach podejmowanie decyzji jest zazwyczaj powiązane z pozytywną lub negatywną wartościowością wynikającą z wyników lub reakcji emocjonalnych na dokonane wybory. Pozytywna walencja nagrody odnosi się do pozytywnych subiektywnych stanów, których doświadczamy (np. Szczęście lub satysfakcja), gdy wynik jest pozytywny (np. Wygranie loterii) lub lepszy niż przewidujemy (np. Utrata mniejszej wartości niż przewidywana). Negatywna walencja nagród odnosi się do negatywnych uczuć, przez które przechodzimy (np. Frustracja lub żal), gdy wynik jest negatywny (np. Przegrana) lub gorszy od tego, czego oczekujemy (np. Wartość akcji rośnie niższa niż przewidywana). Chociaż poprzednie badania próbowały odróżnić sieci wynagrodzeń, które są wrażliwe na przetwarzanie pozytywnych lub negatywnych informacji (Kringelbach, 2005; Liu i in., 2007), jak również te, które są zaangażowane w oczekiwanie na nagrodę lub wynik (Knutson i in., 2003; Ramnani i in., 2004), wyniki empiryczne zostały zmieszane. Naszym celem było wyodrębnienie spójnych wzorców poprzez połączenie wielu badań badających te rozróżnienia.
2. Metody
Wyszukiwanie i organizacja literatury 2.1
Identyfikacja badania 2.1.1
Dwóch niezależnych naukowców przeprowadziło szczegółowe poszukiwania literatury na temat badań fMRI badających podejmowanie decyzji w oparciu o nagrody u ludzi. Terminy używane do przeszukiwania usługi indeksowania cytowań online PUBMED (do czerwca 2009) to „fMRI”, „nagroda” i „decyzja” (przez pierwszego badacza), „zadanie podejmowania decyzji o nagrodzie”, „fMRI” i „człowiek ”(Drugi badacz). Te wstępne wyniki wyszukiwania zostały połączone, aby uzyskać łącznie artykuły 182. Inne artykuły 90 zostały zidentyfikowane na podstawie referencyjnej bazy danych trzeciego badacza zgromadzonego w czerwcu 2009 za pomocą „nagrody” i „MRI” jako kryteriów filtrowania. Przeszukaliśmy również bazę danych BrainMap za pomocą Sleuth, z „zadaniem nagrody” i „fMRI” jako wyszukiwanymi hasłami i znaleźliśmy artykuły 59. Wszystkie te artykuły zostały połączone w bazę danych i wyeliminowano zbędne wpisy. Następnie zastosowaliśmy kilka kryteriów wykluczenia w celu dalszego wyeliminowania artykułów, które nie są bezpośrednio związane z bieżącym badaniem. Kryteria te to: 1) badania empiryczne z pierwszej ręki (np. Artykuły przeglądowe); 2) badania, które nie wykazały wyników w standardowej stereotaktycznej przestrzeni współrzędnych (Talairach lub Montreal Neurological Institute, MNI); 3) badania wykorzystujące zadania niezwiązane z podejmowaniem decyzji dotyczących nagrody lub wartości; 4) badania strukturalnych analiz mózgu (np. Obrazowanie morfometryczne lub tensor dyfuzyjny na bazie woksela); 5) badania oparte wyłącznie na analizie obszaru zainteresowania (ROI) (np. Przy użyciu masek anatomicznych lub współrzędnych z innych badań); 6) badania specjalnych populacji, których funkcje mózgu mogą być odbiegające od normalnych zdrowych dorosłych (np. Dzieci, starzejących się dorosłych lub osób uzależnionych od substancji), chociaż uwzględniono współrzędne zgłoszone w tych badaniach tylko dla zdrowej grupy dorosłych. Zaakceptowano zmienność metod, za pomocą których badani byli instruowani, aby zgłaszać decyzje podczas wykonywania zadań (tj. Słowne, niewerbalne naciśnięcia przycisków). Spowodowało to artykuły 142 w końcowej bazie danych (wymienione w dodatek).
Podczas etapu ekstrakcji danych badania zostały następnie pogrupowane według różnych schematów normalizacji przestrzennej zgodnie z transformacjami współrzędnych zaimplementowanymi w zestawie narzędzi GingerALE (http://brainmap.org, Centrum Obrazowania Badań Centrum Nauki o Zdrowiu Uniwersytetu w Teksasie, San Antonio, Teksas): wykorzystując FSL do raportowania współrzędnych MNI, używając SPM do raportowania współrzędnych MNI, używając innych programów do raportowania współrzędnych MNI, używając metod Bretta do konwersji współrzędnych MNI na Talairach spacja, używając rodzimego szablonu Talairach. Listy współrzędnych, które znajdowały się w przestrzeni Talairach, zostały przekształcone w przestrzeń MNI zgodnie z ich oryginalnymi schematami normalizacji. Dla listy Brett-Talairach'a przekształciliśmy współrzędne z powrotem na przestrzeń MNI, używając odwrotnej transformacji Bretta (tj. Tal2mni) (Brett i in., 2002). Dla natywnej listy Talairach użyliśmy transformacji Talairach-MNI BrainMap (np. Tal2icbm_other). Utworzono główną listę wszystkich badań, łącząc wszystkie współrzędne w przestrzeni MNI w ramach przygotowań do metaanaliz ALE w GingerALE.
Kategoryzacja eksperymentów 2.1.2
Aby przetestować hipotezy dotyczące wspólnych i odrębnych ścieżek wynagrodzeń rekrutowanych przez różne aspekty podejmowania decyzji związanych z nagrodami, podzieliliśmy współrzędne według dwóch typów klasyfikacji: wartościowość nagrody i etapy decyzyjne. Przyjęliśmy termin „eksperymenty” wykorzystywany przez bazę danych BrainMap w odniesieniu do indywidualnych regresorów lub kontrastów zwykle zgłaszanych w badaniach fMRI. Dla wartościowej nagrody zorganizowaliśmy eksperymenty na pozytywne i negatywne nagrody. W przypadku etapów decyzyjnych rozdzieliliśmy eksperymenty na oczekiwanie nagrody, wynik i ocenę. Współrzędne na liście głównej, które mieszczą się w tych kategoriach, zostały umieszczone na listach podrzędnych; te, które były trudne do zinterpretowania lub nie zostały jasno określone, zostały pominięte. Poniżej przedstawiamy kilka przykładów, które zostały umieszczone w każdej z tych kategorii.
Następujące kontrasty zostały sklasyfikowane jako przetwarzanie pozytywnych nagród: te, w których badani wygrywali pieniądze lub punkty (Elliott i in., 2000) (nagroda za sukces); uniknął utraty pieniędzy lub punktów (Kim i in., 2006) (bezpośrednie porównanie między unikaniem niekorzystnego wyniku a otrzymaniem nagrody); wygrał większą z dwóch sum pieniędzy lub punktów (Knutson i in., 2001a) (duże oczekiwanie na nagrodę) stracił mniejszą z dwóch sum pieniędzy lub punktów (Poważnie i in., 2005) (no-win 0.50 $> no-win 4 $); otrzymały zachęcające słowa lub grafikę na ekranie (Zalla i in., 2000) (wzrost za „wygraną”); otrzymał słodki smak w ustach (O'Doherty i in., 2002) (glukoza> neutralny smak); pozytywnie oceniają wybór (Liu i in., 2007) (dobrze> źle) lub otrzymałeś jakąkolwiek inną pozytywną nagrodę w wyniku pomyślnego zakończenia zadania.
Eksperymenty sklasyfikowane jako nagrody ujemne obejmowały te, w których badani stracili pieniądze lub punkty (Elliott i in., 2000) (kara podczas biegu awarii); nie wygrał pieniędzy ani punktów (Poważnie i in., 2005) (niezadowolenie z braku wygranej); wygrał mniejszą z dwóch sum pieniędzy lub punktów (Knutson i in., 2001a) (Nagroda $ 1 vs. $ 50); stracił większą z dwóch sum pieniędzy lub punktów (Knutson i in., 2001a) (przewidywanie dużych i małych kar); negatywnie ocenił wybór (Liu i in., 2007) (źle> dobrze); lub otrzymali jakiekolwiek inne negatywne nagrody, takie jak podanie gorzkiego smaku w ustach (O'Doherty i in., 2002) (sól> neutralny smak) lub zniechęcające słowa lub obrazy (Zalla i in., 2000) (wzrost za „przegraną” i spadek za „wygraną”).
Oczekiwanie na nagrodę zostało zdefiniowane jako okres, w którym podmiot rozważał potencjalne opcje przed podjęciem decyzji. Na przykład postawienie zakładu i oczekiwanie wygrania pieniędzy na ten zakład zostanie zaklasyfikowane jako przewidywanie (Cohen i Ranganath, 2005) (decyzja wysokiego ryzyka a decyzja o niskim ryzyku). Wynik / dostawa nagród została sklasyfikowana jako okres, w którym podmiot otrzymał informację zwrotną o wybranej opcji, na przykład ekran ze słowami „wygraj x $” lub „stracić x $” (Bjork i in., 2004) (zysk vs. wynik bez zysku). Gdy sprzężenie zwrotne wpłynęło na decyzję i zachowanie podmiotu w kolejnej próbie lub zostało wykorzystane jako sygnał uczenia się, kontrast został sklasyfikowany jako ocena nagrody. Na przykład ryzykowna decyzja, która zostanie nagrodzona w początkowej próbie, może doprowadzić do podjęcia kolejnego, być może większego, ryzyka w następnej próbie (Cohen i Ranganath, 2005) (nagrody o niskim ryzyku, a następnie decyzje o wysokim ryzyku i decyzje o niskim ryzyku). Awersja do straty, skłonność ludzi do zdecydowanego preferowania unikania strat do zdobywania zysków, to kolejny przykład oceny (Tomek i in., 2007) (relacja między awersją lambda a neuronową).
Ocena prawdopodobieństwa aktywacji 2.2 (ALE)
Algorytm ALE opiera się na (Eickhoff i in., 2009). ALE modeluje ogniska aktywacji jako trójwymiarowe rozkłady Gaussa wyśrodkowane na podawanych współrzędnych, a następnie oblicza nakładanie się tych rozkładów w różnych eksperymentach (ALE traktuje każdy kontrast w badaniu jako oddzielny eksperyment). Niepewność przestrzenną związaną z ogniskami aktywacji szacuje się w odniesieniu do liczby osobników w każdym badaniu (tj. Większa próbka daje bardziej wiarygodne wzorce aktywacji i lokalizację; dlatego współrzędne są splatane z ciaśniejszym jądrem Gaussa). Zbieżność wzorców aktywacji we wszystkich eksperymentach jest obliczana przez połączenie powyższych modelowanych map aktywacji. Rozkład zerowy, który reprezentuje wyniki ALE generowane przez losowe nakładanie się przestrzenne w badaniach, jest szacowany za pomocą procedury permutacji. Na koniec mapa ALE obliczona z rzeczywistych współrzędnych aktywacji jest testowana z wynikami ALE z rozkładu zerowego, tworząc mapę statystyczną reprezentującą wartości p wyników ALE. Nieparametryczne wartości p są następnie przekształcane na z-score i progowane przy p <3 skorygowanym na poziomie klastra.
Sześć różnych analiz ALE przeprowadzono za pomocą GingerALE 2.0 (Eickhoff i in., 2009), jeden dla głównej analizy wszystkich badań, i jeden dla każdej z pięciu list cząstkowych charakteryzujących aktywację mózgu za pomocą pozytywnych lub negatywnych nagród, a także przewidywania, wyników i oceny. Dwie analizy odejmowania ALE przeprowadzono za pomocą GingerALE 1.2 (Turkeltaub i in., 2002), jeden dla kontrastu między nagrodami pozytywnymi i negatywnymi, a drugi dla kontrastu między oczekiwaniem a wynikiem.
2.2.1 Główna analiza wszystkich badań
Wszystkie badania 142 zostały uwzględnione w głównej analizie, która składała się z ognisk 5214 z eksperymentów 655 (kontrasty). Zastosowaliśmy algorytm zaimplementowany w GingerALE 2.0, który modeluje ALE na podstawie niepewności przestrzennej każdego ogniska, wykorzystując oszacowanie zmienności międzyosobniczej i między eksperymentowej. Oszacowanie było ograniczone przez masę istoty szarej i oszacowano klaster powyżej szansy z eksperymentami jako czynnik efektów losowych, zamiast wykorzystywać analizę efektów stałych w ogniskach (Eickhoff i in., 2009). Uzyskana mapa ALE została progowana przy użyciu metody współczynnika fałszywego wykrywania (FDR) z p <0.05 i minimalnym rozmiarem klastra 60 wokseli 2 × 2 × 2 mm (łącznie 480 mm3) w celu ochrony przed fałszywymi alarmami wielokrotnych porównań.
2.2.2 Indywidualne analizy podlist
Przeprowadzono również pięć innych analiz ALE na podstawie podlist, które klasyfikują różne eksperymenty na nagrody pozytywne i negatywne, a także przewidywanie nagród, dostarczanie nagród (wynik) i ocenę wyboru. Do pozytywnej analizy nagrody włączono ogniska 2167 z eksperymentów 283. Negatywna analiza nagrody składała się z ognisk 935 z eksperymentów 140. Liczbę ognisk uwzględnionych w analizach dla przewidywania, wyników i oceny wyboru stanowiły odpowiednio ogniska 1553 (eksperymenty 185), 1977 (253) i 520 (97). Zastosowaliśmy tę samą analizę i podejścia progowe, jak w przypadku powyższej głównej analizy.
Analizy odejmowania 2.2.3
Interesowało nas również zestawienie obszarów mózgu, które były selektywnie lub preferencyjnie aktywowane przez pozytywne i negatywne nagrody oraz przez oczekiwanie nagrody i dostarczanie nagrody. Do przeprowadzenia tych dwóch analiz wykorzystano GingerALE 1.2. Mapy ALE zostały wygładzone jądrem o FWHM 10 mm. Przeprowadzono test permutacji losowo rozmieszczonych ognisk z 10000 symulacji, aby określić istotność statystyczną map ALE. Aby dokonać korekty wielokrotnych porównań, otrzymane mapy ALE zostały progowane przy użyciu metody FDR z p <0.05 i minimalnym rozmiarem klastra 60 wokseli.
Metaanaliza oparta na wokselach 2.3 (PVM)
Przeanalizowaliśmy również te same listy współrzędnych za pomocą innego podejścia do metaanalizy, PVM. W przeciwieństwie do analizy ALE, która traktuje różne kontrasty w ramach badania jako odrębne eksperymenty, analiza PVM łączy piki ze wszystkich różnych kontrastów w ramach badania i tworzy pojedynczą mapę współrzędnych dla konkretnego badania (Costafreda i in., 2009). Dlatego czynnikiem efektów losowych w analizie PVM jest współczynnik badania naukowe, w porównaniu do indywidualnych eksperymenty / kontrasty w analizie ALE. Zmniejsza to uprzedzenia szacowania spowodowane przez badania z wieloma kontrastami, które opisują podobne wzorce aktywacji. Podobnie jak w przypadku podejścia ALE, przeprowadziliśmy sześć różnych analiz PVM przy użyciu algorytmów zaimplementowanych w oprogramowaniu statystycznym R (http://www.R-project.org) z poprzedniego badania (Costafreda i in., 2009), jeden dla głównej analizy wszystkich badań, i jeden dla każdej z pięciu list cząstkowych charakteryzujących aktywację mózgu przez różne aspekty przetwarzania nagrody. Dwie dodatkowe analizy PVM przeprowadzono przy użyciu tej samej podstawy kodu, aby porównać nagrody pozytywne i negatywne, jak również między oczekiwaniem na nagrodę a wynikiem.
2.3.1 Główna analiza wszystkich badań
Współrzędne MNI (5214) z tych samych 142 badań wykorzystanych w analizie ALE zostały przekształcone w tabelę tekstową, przy czym każde badanie zostało oznaczone unikalną etykietą identyfikacyjną badania. Obliczenia na mapie pików były ograniczone maską w przestrzeni MNI. Mapę pików najpierw wygładzono jednolitym jądrem (ρ = 10 mm), aby wygenerować mapę podsumowującą, która reprezentuje liczbę badań wykazujących nakładające się piki aktywacji w sąsiedztwie promienia 10 mm. Następnie przeprowadzono analizę PVM efektów losowych w celu oszacowania istotności statystycznej związanej z każdym wokselem na mapie zbiorczej. Liczba badań na mapie zbiorczej została przeliczona na odsetek badań, które zgłosiły zgodną aktywację. Użyliśmy tego samego progu, który został użyty w analizie ALE do zidentyfikowania znaczących klastrów dla mapy proporcji (przy użyciu metody FDR z p <0.05 i minimalnym rozmiarem klastra 60 wokseli).
2.3.2 Indywidualne analizy podlist
Pięć innych analiz PVM przeprowadzono na podlistach w celu uzyskania pozytywnych i negatywnych nagród, a także przewidywania nagród, wyników i oceny. Dodatnia analiza nagrody obejmowała ogniska 2167 z badań 111, podczas gdy negatywna analiza nagrody obejmowała ogniska 935 z badań 67. Liczby badań uwzględnionych w analizach pod kątem przewidywania, wyniku i oceny wyboru obejmowały odpowiednio ogniska 1553 (badania 65), 1977 (86) i 520 (39). Zastosowaliśmy tę samą analizę i podejścia progowe, jak w przypadku powyższej głównej analizy.
2.3.3 Analizy porównawcze
Przeprowadziliśmy również dwie analizy PVM, aby porównać wzorce aktywacji między pozytywnymi i negatywnymi nagrodami, a także między oczekiwaniem na nagrodę a wynikiem. Dwie mapy pików (np. Jedna dla dodatnich, a druga dla ujemnych) zostały najpierw wygładzone za pomocą jednolitego jądra (ρ = 10 mm), aby wygenerować mapy podsumowujące, każda reprezentująca liczbę badań z nakładającymi się pikami aktywacji w okolicy 10 mm promień. Te dwie mapy podsumowujące wprowadzono do testu Fishera w celu oszacowania ilorazu szans i wartości p istotności statystycznej dla każdego woksela wnoszącego wkład w masce MNI. Ponieważ test Fishera nie został specjalnie opracowany do analizy danych fMRI i jest mniej czuły niż inne metody, zastosowaliśmy stosunkowo łagodny próg dla analizy PVM bezpośredniego porównania, stosując nieskorygowane p <0.01 i minimalny rozmiar klastra 60 wokseli (Xiong i in., 1995), aby poprawić wielokrotne porównanie Błąd typu I.
3. Wyniki
Wyniki 3.1 ALE
Całościowa analiza badań 142 wykazała znaczącą aktywację dużego skupiska, które obejmowało obustronne jądro półleżące (NAcc), bladość, przednią wyspę, boczne / przyśrodkowe OFC, przednią część obręczy obręczy (ACC), dodatkowy obszar motoryczny (SMA), boczny kora przedczołowa (PFC), prawe ciało migdałowate, lewy hipokamp, wzgórze i pień mózgu (Rysunek 1A). Inne mniejsze skupiska obejmowały prawy zakręt czołowy środkowy i lewy środkowy / dolny zakręt czołowy, obustronny dolny / górny płat ciemieniowy oraz tylną kość obręczy (PCC) (Tabela 1).
Pozytywne nagrody aktywowały podzbiór wyżej wymienionych sieci, w tym bilateralną bladość, przednią wyspę, wzgórze, pień mózgu, środkową OFC, ACC, SMA, PCC oraz inne obszary czołowe i ciemieniowe (Rysunek 1B i Tabela 2, Zobacz także Materiały dodatkowe - rysunek S1A). Negatywne nagrody wykazały aktywację w obustronnym NAcc, ogoniastym, bladym, przednim brzegu, migdałowatym, wzgórzu, pniu mózgu, rostral ACC, grzbietowo-przyśrodkowym PFC, bocznym OFC i prawym środkowym i dolnym zakręcie czołowym (Rysunek 1B i Tabela 2, Zobacz także Materiały dodatkowe - rysunek S1B). W przeciwieństwie do aktywacji za pomocą pozytywnych i negatywnych nagród, odkryliśmy, że dodatnie nagrody w znacznym stopniu aktywowały następujące regiony: obustronne NAcc, przednią wyspę, środkową OFC, hipokamp, lewy skorupę i wzgórze (Rysunek 1D i Tabela 4). Żaden nie wykazał większej aktywacji negatywnej niż pozytywnej.
Różne etapy przetwarzania nagród łączyły podobne wzorce aktywacji mózgu w wyżej wymienionych sieciach rdzeniowych, w tym obustronnym NAcc, przedniej wyspie, wzgórzu, środkowym OFC, ACC i grzbietowo-przyśrodkowym PFC (Rysunek 1C i Tabela 3, Zobacz także Materiały dodatkowe - rysunki S1C – E). Oczekiwanie na nagrodę, w porównaniu do wyniku nagrody, ujawniło większą aktywację w obustronnej przedniej wyspie, ACC, SMA, lewym dolnym płatu ciemieniowym i środkowym zakręcie czołowym (Rysunek 1E i Tabela 5). Wynikowa aktywacja preferencyjna obejmowała obustronne NAcc, ogoniaste, wzgórze oraz przyśrodkowe / boczne OFC (Tabela 5).
Wyniki 3.2 PVM
Główna analiza badań 142 wykazała znaczącą aktywację w obustronnym NAcc, przedniej wyspie, bocznym / przyśrodkowym OFC, ACC, PCC, płatu ciemieniowym dolnym i środkowym czołowym Gyrusie (Rysunek 2A i Tabela 6).
Pozytywne nagrody aktywowały obustronne NAcc, pallidum, putamen, wzgórze, środkowe OFC, pregenual kory obręczy, SMA i PCC (Rysunek 2B i Tabela 7, Zobacz także Materiały dodatkowe - rysunek S2A). Aktywację za pomocą ujemnych nagród stwierdzono w obustronnym NAcc i przedniej wyspie, pallidum, ACC, SMA i środkowym / dolnym zakręcie czołowym (Rysunek 2B i Tabela 7, Zobacz także Materiały dodatkowe - rysunek S2B). Bezpośredni kontrast między nagrodami dodatnimi i ujemnymi ujawnił preferencyjną aktywację przez pozytywne nagrody w NAcc, pallidum, środkowym OFC i PCC oraz większą aktywację przez ujemne nagrody w ACC i środkowym / dolnym zakręcie czołowym (Rysunek 2D i Tabela 9).
Różne etapy przetwarzania nagrody podobnie aktywowały NAcc i ACC, podczas gdy w różny sposób rekrutowały inne obszary mózgu, takie jak środkowy OFC, przednia wyspa i ciało migdałowate (Rysunek 2C i Tabela 8, Zobacz także Materiały dodatkowe - Rysunek S2C – E). Oczekiwanie na nagrodę, w porównaniu do wyniku nagrody, ujawniło znaczącą aktywację w obustronnej przedniej wyspie, wzgórzu, zakręcie przedśrodkowym i dolnym płatu ciemieniowym (Rysunek 2E i Tabela 10). Żaden obszar mózgu nie wykazywał większej aktywacji przez wynik nagrody w porównaniu z przewidywaniem.
3.3 Porównanie wyników ALE i PVM
Obecne badania wykazały również, że chociaż metody ALE i PVM traktowały dane oparte na współrzędnych w różny sposób i przyjęły różne algorytmy estymacji, wyniki dla jednej listy współrzędnych z tych dwóch podejść do metaanalizy były bardzo podobne i porównywalne (Rysunki 1A – C i 2A – C, Tabela 11, Zobacz także Ryciny S1 i S2 w materiałach uzupełniających). Ulepszony algorytm ALE zaimplementowany w GingerALE 2.0, według projektu, traktuje eksperymenty (lub kontrasty) jako czynnik efektów losowych, który znacznie zmniejsza błąd spowodowany eksperymentami opisującymi więcej loci w porównaniu z tymi z mniejszą liczbą loci. Różne badania obejmują jednak różne liczby eksperymentów / kontrastów. W związku z tym na wyniki GingerALE 2.0 mogą nadal wpływać odchylenia, które ważą bardziej w stosunku do badań zgłaszających więcej kontrastów, potencjalnie zawyżając zgodność między badaniami. Jednak, Z wyboruużytkownicy mogą łączyć współrzędne z różnych kontrastów, dzięki czemu GingerALE 2.0 może traktować każde badanie jako pojedynczy eksperyment. To właśnie implementuje PVM, łącząc współrzędne ze wszystkich kontrastów w ramach badania w jedną mapę aktywacji, ważąc wszystkie badania w równym stopniu, aby oszacować nakładanie się aktywacji pomiędzy badaniami.
Natomiast porównanie dwóch list współrzędnych różniło się znacznie między podejściami ALE i PVM (Tabela 11), ze względu na różnice w wrażliwości na konwergencję w ramach badania i między badaniami. Ponieważ ulepszony algorytm ALE nie został zaimplementowany do analizy subtraktywnej ALE, użyliśmy wcześniejszej wersji, GingerALE 1.2, która traktuje współrzędne jako czynnik efektów losowych i eksperymenty jako zmienną o stałych efektach. Dlatego też różnice w liczbach współrzędnych i eksperymentów na dwóch listach mogą wpływać na wyniki odejmowania. Analiza subtraktywna ALE skierowała się w stronę listy z większą liczbą eksperymentów z drugą z mniejszą liczbą (Rysunek 1D / E). Pozytywne badania nagrody (ogniska 2167 z eksperymentów 283) wyraźnie przeważały nad badaniami negatywnymi (ogniska 935 z eksperymentów 140). Różnica między przewidywaniem nagrody (ogniska 1553 z eksperymentów 185) a wynikiem (ogniska 1977 z eksperymentów 253) była mniejsza, ale mogła również spowodować tendencję do fazy końcowej. Z drugiej strony, użycie testu Fishera do oszacowania ilorazu szans i przypisania wokseli na jednej z dwóch list przez PVM wydawało się mniej wrażliwe na wykrywanie różnicy aktywacji między dwiema listami (Rysunek 2D / E).
4. Dyskusja
Stale podejmujemy decyzje w naszym codziennym życiu. Niektóre decyzje nie wiążą się z żadnymi widocznymi pozytywnymi lub negatywnymi wartościami wyników, podczas gdy inne mają znaczący wpływ na wartościowość wyników i nasze reakcje emocjonalne na wybory, których dokonujemy. Możemy czuć się szczęśliwi i zadowoleni, gdy wynik jest pozytywny lub nasze oczekiwania są spełnione, lub czujemy się sfrustrowani, gdy wynik jest negatywny lub niższy niż oczekiwaliśmy. Ponadto wiele decyzji musi być podejmowanych bez wcześniejszej wiedzy o ich konsekwencjach. Dlatego musimy być w stanie przewidzieć przyszłą nagrodę i ocenić wartość nagrody i potencjalne ryzyko jej uzyskania lub ukarania. Wymaga to od nas oceny dokonanego wyboru w oparciu o obecność błędów prognozowania i wykorzystania tych sygnałów do ukierunkowania naszego uczenia się i przyszłych zachowań. Wiele badań neuroobrazowych zbadało podejmowanie decyzji związanych z nagrodami. Jednak biorąc pod uwagę złożone i niejednorodne procesy psychologiczne związane z podejmowaniem decyzji opartych na wartościach, nie jest trywialnym zadaniem badanie sieci neuronowych, które uwzględniają reprezentację i przetwarzanie informacji związanych z nagrodami. Zaobserwowaliśmy gwałtowny wzrost liczby badań empirycznych w dziedzinie neuroekonomii, ale jak dotąd trudno było dostrzec, w jaki sposób badania te zbiegły się, aby wyraźnie określić obwód nagrody w ludzkim mózgu. W obecnym badaniu metaanalizy wykazaliśmy zgodność w wielu badaniach i ujawniliśmy wspólne i odmienne wzorce aktywacji mózgu przez różne aspekty przetwarzania nagrody. W sposób oparty na danych zebraliśmy wszystkie współrzędne z różnych kontrastów / eksperymentów z badań 142 i zaobserwowaliśmy rdzeniową sieć nagród, która składa się z NAcc, bocznego / środkowego OFC, ACC, przedniej wyspy, grzbietowo-przyśrodkowej PFC, jak również boczne obszary czołowo-ciemieniowe. Ostatnie badanie metaanalizy koncentrujące się na ocenie ryzyka w podejmowaniu decyzji wykazało podobny obwód nagrody (Mohr i in., 2010). Ponadto, z perspektywy teorii, porównaliśmy sieci neuronowe, które brały udział w pozytywnej i negatywnej wartościowości w różnych etapach przewidywania i etapach przetwarzania nagrody, oraz wyjaśniły różne substraty neuronowe podporządkowane ocenie wartościowości, a także ich preferencyjne zaangażowanie w przewidywanie i wynik.
4.1 Główne obszary nagrody: NAcc i OFC
NAcc i OFC od dawna uważane są za głównych graczy w przetwarzaniu nagród, ponieważ są głównymi obszarami projekcji dwóch odrębnych szlaków dopaminergicznych, odpowiednio mezolimbicznych i mezokortykalnych. Nie wiadomo jednak, jak neurony dopaminowe wyraźnie modulują aktywność w tych obszarach limbicznych i korowych. Wcześniejsze badania próbowały rozróżnić role tych dwóch struktur w odniesieniu do etapów czasowych, kojarząc NAcc z oczekiwaniem na nagrodę i odnosząc środkową OFC do otrzymania nagrody (Knutson i in., 2001b; Knutson i in., 2003; Ramnani i in., 2004). Wyniki innych badań zakwestionowały takie rozróżnienie (Breiter i in., 2001; Delgado i in., 2005; Rogers i wsp., 2004). Wiele badań sugerowało również, że NAcc był odpowiedzialny za wykrywanie błędu prognozowania, kluczowy sygnał w procesie uczenia się motywacyjnego i stowarzyszenia nagród (McClure i in., 2003; O'Doherty i in., 2003b; Pagnoni i in., 2002). Badania wykazały również, że NAcc wykazuje dwufazową odpowiedź, tak że aktywność w NAcc spadnie i spadnie poniżej linii bazowej w odpowiedzi na błędy prognozowania negatywnego (Knutson i in., 2001b; McClure i in., 2003; O'Doherty i in., 2003b). Chociaż OFC zwykle wykazuje podobne wzorce aktywności jak NAcc, poprzednie badania neuroobrazowe na ludziach sugerowały, że OFC służy do przekształcania różnych bodźców we wspólną walutę pod względem wartości nagrody (Arana i in., 2003; Cox i in., 2005; Elliott i in., 2010; FitzGerald i in., 2009; Gottfried i wsp., 2003; Kringelbach i in., 2003; O'Doherty i wsp., 2001; Plassmann i in., 2007). Wyniki te były zbieżne z wynikami uzyskanymi z rejestrowania pojedynczych komórek i badań uszkodzeń na zwierzętach (Schoenbaum i Roesch, 2005; Schoenbaum i wsp., 2009; Schoenbaum i wsp., 2003; Schultz i wsp., 2000; Tremblay i Schultz, 1999, 2000; Wallis, 2007).
Nasze ogólne analizy wykazały, że NAcc i OFC odpowiedziały na ogólne przetwarzanie nagród (Rysunek 1A i Rysunek 2A). Aktywacja w NAcc w dużej mierze pokrywała się na różnych etapach, podczas gdy środkowa OFC była bardziej dostrojona, aby nagradzać otrzymywanie (Rysunek 1C / E i Rysunek 2C). Odkrycia te podkreśliły, że NAcc może być odpowiedzialny za śledzenie zarówno pozytywnych, jak i negatywnych sygnałów nagrody i wykorzystywanie ich do modulowania uczenia się powiązania nagrody, podczas gdy OFC monitoruje i ocenia wyniki nagród. Potrzebne są dalsze badania, aby lepiej rozróżnić role NAcc i OFC w podejmowaniu decyzji związanych z nagrodami (Frank i Claus, 2006; Zając i in., 2008).
4.2 Ocena związana z walencją
Oprócz konwersji różnych opcji nagrody na wspólną walutę i reprezentowania ich wartości nagrody, odrębne obszary mózgu w obwodzie nagrody mogą oddzielnie kodować dodatnie i ujemne wartości nagrody. Bezpośrednie porównania pomiędzy wartościowością nagrody wykazały, że zarówno NAcc, jak i środkowa OFC były bardziej aktywne w odpowiedzi na pozytywne i negatywne nagrody (Rysunek 1B / D i Rysunek 2B / D). W przeciwieństwie do tego, przednia kora wyspowa brała udział w przetwarzaniu negatywnych informacji o nagrodzie (Rysunek 1B i Rysunek 2B). Wyniki te potwierdziły rozróżnienie przyśrodkowo-boczne za pozytywne i negatywne nagrody (Kringelbach, 2005; Kringelbach i Rolls, 2004) i były zgodne z tym, co zaobserwowaliśmy w naszym poprzednim badaniu dotyczącym zadania nagrody (Liu i in., 2007). Podregiony ACC unikalnie reagowały na pozytywne i negatywne nagrody. Pregenual i rostral ACC, blisko środkowego OFC, były aktywowane przez pozytywne nagrody, podczas gdy ogonowy ACC reagował na negatywne nagrody (Rysunek 1B i Rysunek 2B). Metaanalizy ALE i PVM ujawniły również, że PCC była konsekwentnie aktywowana przez pozytywne nagrody (Rysunek 1B i Rysunek 2B).
Co ciekawe, oddzielne sieci kodujące dodatnie i ujemne wartościowości są podobne do rozróżnienia między dwiema sieciami skorelowanymi, siecią domyślną i siecią związaną z zadaniami (Fox i in., 2005; Raichle i in., 2001; Raichle i Snyder, 2007). Ostatnie metaanalizy wykazały, że sieć domyślna dotyczyła głównie przyśrodkowych obszarów przedczołowych (w tym przyśrodkowej OFC) i przyśrodkowej kory tylnej (w tym PCC i precuneus), a sieć powiązana z zadaniem obejmuje ACC, wyspę i boczne czołowo-ciemieniowe regiony (Laird i in., 2009; Toro i in., 2008). Aktywacja w środkowym OFC i PCC za pomocą pozytywnych nagród odzwierciedlała sieć domyślnego trybu powszechnie obserwowaną podczas stanu spoczynku, podczas gdy aktywacja w ACC, wyspie, bocznej korze przedczołowej za pomocą ujemnych nagród była równoległa do sieci związanej z zadaniem. Stwierdzono, że ta wewnętrzna funkcjonalna organizacja mózgu wpływa na nagrody i ryzykowne podejmowanie decyzji oraz wyjaśnia indywidualne różnice w cechach podejmowania ryzyka (Cox i in., 2010).
4.3 Przewidywanie a wynik
Obustronna przednia wyspa, ACC / SMA, płata ciemieniowego dolnego i pnia mózgu wykazały bardziej konsekwentną aktywację w oczekiwaniu w porównaniu do fazy wyniku (Rysunek 1C / E i Rysunek 2C / E). Przednia wyspa i ACC były wcześniej zaangażowane w interocepcję, emocje i empatię (Craig, 2002, 2009; Gu i in., 2010; Phan i in., 2002) oraz ocena ryzyka i niepewności (Critchley i in., 2001; Kuhnen i Knutson, 2005; Paulus i in., 2003), użyczając swojej roli w oczekiwaniu. Przednia wyspa była konsekwentnie zaangażowana w przetwarzanie ryzyka, zwłaszcza w oczekiwaniu na utratę, jak ujawniono w ostatniej metaanalizie (Mohr i in., 2010). Podobnie jak rola OFC, płat ciemieniowy został powiązany z wyceną różnych opcji (Sugrue i in., 2005), reprezentacja numeryczna (Cohen Kadosh i in., 2005; Hubbard i in., 2005) oraz integracja informacji (Złoto i Shadlen, 2007; Yang i Shadlen, 2007). Dlatego ważne jest, aby płat ciemieniowy był zaangażowany w etap przewidywania procesu wynagradzania, tak aby zaplanować i przygotować się do świadomego działania (Andersen i Cui, 2009; Lau i in., 2004a; Lau i in., 2004b).
Z drugiej strony, prążkowate brzuszne, środkowe OFC i ciało migdałowate wykazywały preferencyjną aktywację podczas wyniku nagrody w porównaniu z etapem przewidywania (Rysunek 1C / E i Rysunek 2C). Wzorce te były zgodne z tym, co my i inni badacze znaleźliśmy wcześniej (Breiter i in., 2001; Delgado i in., 2005; Liu i wsp., 2007; Rogers i wsp., 2004), przeciwstawiając się funkcjonalnej dysocjacji między prążkowiem brzusznym a środkowym OFC w zakresie ich odpowiednich ról w oczekiwaniu na nagrodę i wyniku nagrody (Knutson i in., 2001a; Knutson i in., 2001b; Knutson i wsp., 2003).
4.4 Schematyczna ilustracja przetwarzania nagrody
Opierając się na ustaleniach wspólnych i odrębnych sieci zaangażowanych w różne aspekty podejmowania decyzji o nagrodach, opracowaliśmy schematyczną ilustrację podsumowującą rozproszone reprezentacje wyceny i wartościowości w przetwarzaniu nagrody (Rysunek 3). Wstępnie grupujemy różne regiony mózgu w oparciu o ich role w różnych procesach, chociaż każdy region może pełnić wiele funkcji i oddziaływać z innymi obszarami mózgu w znacznie bardziej złożony sposób. W obliczu alternatywnych wyborów, z których każdy ma charakterystyczne cechy, takie jak wielkość i prawdopodobieństwo, właściwości te należy przekształcić w porównywalne informacje oparte na wartościach, „wspólną walutę”. Porównujemy nie tylko wartości tych alternatywnych wyborów, ale także porównujemy wartości faktyczne i prognozowane, a także wartości fikcyjne związane z wybranym wyborem (np. Sygnał błędu prognozowania). Brzuch brzuszny i przyśrodkowy OFC są zaangażowane w tę reprezentację opartą na wartościach. Stwierdzono również, że dolny płat ciemieniowy bierze udział w przedstawianiu i porównywaniu informacji liczbowych. Ponadto podejmowanie decyzji w oparciu o wartości nieuchronnie skutkuje oceną wyborów w oparciu o wartości wyników i związane z nimi reakcje emocjonalne. Podczas gdy prążkowate brzuszne i środkowe OFC są również zaangażowane w wykrywanie dodatniej wartościowości nagrody, boczne OFC, przednia wyspa, ACC i ciało migdałowate są w większości zaangażowane w przetwarzanie negatywnej wartościowości nagrody, prawdopodobnie związanej z ich rolami ewaluacyjnymi w negatywnych reakcjach emocjonalnych. Ze względu na negatywny wpływ zwykle związany z ryzykiem, przednia Insula i ACC są również zaangażowane w przewidywanie nagród ryzykownych decyzji, szczególnie w przypadku odpowiedzi niechętnych do niepewności w oczekiwaniu na stratę. Wreszcie regiony frontoparietal służą do integracji i działania na tych sygnałach w celu wytworzenia optymalnych decyzji (np. Przełączania wygranych i strat).
4.5 Ostrzeżenia
Należy odnotować kilka zastrzeżeń metodologicznych. Pierwszy z nich związany jest z tendencją do zgłaszania wyników w różnych badaniach. Niektóre badania opierają się wyłącznie na ROI, które zostały wyłączone z obecnego badania. Mimo to inni wyróżnili lub położyli większy nacisk na wcześniejsze regiony poprzez zgłaszanie większej liczby współrzędnych lub kontrastów związanych z tymi regionami. Mogą wpływać na wyniki w kierunku potwierdzenia „hotspotów”. Po drugie, chcemy przestrzec przed koncepcyjnym rozróżnieniem różnych aspektów przetwarzania nagród. Sklasyfikowaliśmy różne kontrasty w różnych kategoriach zainteresowania teoretycznego. Jednak przy prawdziwych decyzjach życiowych lub w wielu zadaniach eksperymentalnych aspekty te niekoniecznie mają wyraźne podziały. Na przykład ocena poprzedniego wyboru i wyniku nagrody może przenikać się z nadchodzącym oczekiwaniem na nagrodę i podejmowaniem decyzji. Nie ma wyraźnej granicy między różnymi etapami przetwarzania nagrody, pozostawiając naszą obecną klasyfikację otwartą do dyskusji. Niemniej jednak podejście oparte na hipotezie jest bardzo potrzebne (Caspers i in., 2010; Mohr i in., 2010; Richlan i in., 2009), który uzupełnia oparty na danych charakter metaanalizy. Wiele czynników związanych z podejmowaniem decyzji o nagrodzie, takich jak ocena ryzyka i rodzaje nagród (np. Pierwotne i wtórne, pieniężne vs. społeczne), wymaga dodatkowych metaanaliz.
Najważniejsze informacje o badaniach
- Przeprowadziliśmy dwa zestawy opartych na współrzędnych metaanalizach dotyczących badań nagrody 142 fMRI.
- Podstawowy obwód nagrody obejmował jądro półleżące, wyspę, okolice oczodołowo-czołowe, zakręty i czołowo-ciemieniowe.
- Jądro półleżące zostało aktywowane zarówno przez pozytywne, jak i negatywne nagrody w różnych etapach przetwarzania nagrody.
- Inne regiony wykazywały preferencyjne reakcje na pozytywne lub negatywne nagrody lub w oczekiwaniu lub wyniku.
Materiał uzupełniający
01
02
03
Podziękowanie
Badanie to jest wspierane przez Sto Talent Project Chińskiej Akademii Nauk, NARSAD Young Investigator Award (XL) i NIH Grant R21MH083164 (JF). Autorzy pragną podziękować zespołowi rozwojowemu BrainMap i Sergi G. Costafreda za dostarczenie doskonałych narzędzi do tego badania.
dodatek
Lista artykułów zawartych w metaanalizach bieżącego badania.
Przypisy
Składki autora: XL zaprojektował i nadzorował całe badanie. JH i MS wnieśli taki sam wkład w to badanie, przeprowadzając wyszukiwanie literatury, ekstrakcję danych i organizację. JF uczestniczył w dyskusji i przygotowaniu manuskryptu.
Zastrzeżenie wydawcy: Jest to plik PDF z nieedytowanym manuskryptem, który został zaakceptowany do publikacji. Jako usługa dla naszych klientów dostarczamy tę wczesną wersję manuskryptu. Rękopis zostanie poddany kopiowaniu, składowi i przeglądowi wynikowego dowodu, zanim zostanie opublikowany w ostatecznej formie cytowania. Należy pamiętać, że podczas procesu produkcyjnego mogą zostać wykryte błędy, które mogą wpłynąć na treść, a wszystkie zastrzeżenia prawne, które odnoszą się do czasopisma, dotyczą.
Referencje