Опубліковано в остаточному форматі:
Neurosci Biobehav Rev. 2011 Apr; 35 (5): 1219 – 1236.
Опубліковано онлайн 2010 Dec 24. doi: 10.1016 / j.neubiorev.2010.12.012
PMCID: PMC3395003
NIHMSID: NIHMS261816
Сюнь Лю,1,2 Жаклін Хейрстон,2 Мадлен Ш'єр,2 та Джин Фан2,3,4
Остаточна редагована версія цієї статті видавця доступна за адресою Neurosci Biobehav Rev
Див. Інші статті у PMC cite опублікованої статті.
абстрактний
Щоб краще зрозуміти схеми винагороди в мозку людини, ми провели оцінку правдоподібності активації (ALE) і параметричні мета-аналізи на основі вокселів (PVM) на дослідженнях нейрозображень 142, які досліджували активацію мозку в завдань, пов'язаних із винагородою у здорових дорослих. Ми спостерігали кілька основних ділянок головного мозку, які брали участь у прийнятті рішень, пов'язаних з винагородою, включаючи nucleus accumbens (NAcc), хвостатий, путамен, таламус, орбітофронтальну кору (OFC), двосторонню передню інсулу, передню (ACC) та задню (PCC) поясну кору а також когнітивні контрольні ділянки в нижній тім'яній дольці і префронтальній корі (ПФК). NAcc зазвичай активувався як позитивними, так і негативними винагородами на різних етапах обробки винагороди (наприклад, передбачення, результат і оцінка). Крім того, медіальний OFC і PCC переважно відреагували на позитивні нагороди, тоді як ACC, двосторонній передній ізолятор і латеральний PFC селективно реагували на негативні нагороди. Отримання нагороди активувало АКК, двосторонню передню інсулу і стовбур мозку, тоді як результат винагороди значно активізував NAcc, медіальний OFC і мигдалину. Тому нейробіологічні теорії прийняття рішень, пов'язаних з винагородою, повинні розподіляти та взаємопов'язані уявлення про оцінку винагород та оцінку валентності.
1. Введення
Люди стикаються з незліченними можливостями прийняття рішень, пов'язаних з нагородою, щодня. Наше фізичне, психічне та соціально-економічне благополуччя критично залежить від наслідків вибору, який ми робимо. Тому важливо зрозуміти, що лежить в основі нормального функціонування прийняття рішень, пов'язаних з винагородою. Вивчення нормального функціонування прийняття рішень, пов'язаного з винагородою, також допомагає нам краще зрозуміти різні поведінкові та психічні розлади, які виникають при порушенні такої функції, наприклад, депресії (Древец, 2001), зловживання наркотичними речовинами (Bechara, 2005; Гараван і Стаут, 2005; Volkow et al., 2003), і розлади харчування (Крінгельбах та інші, 2003; Volkow і Wise, 2005).
Функціональні дослідження нейровізуалізації на винагороду стали сферою, що швидко зростає. Ми спостерігали величезний сплеск нейровізуальних досліджень у цій галузі, де десятки відповідних статей щомісяця з'являлися в базі даних PubMed. З одного боку, це цікаво, тому що результати монтування мають першочергове значення для формалізації поведінкових і нейронних механізмів прийняття рішень, пов'язаних із винагородою (Стипендіати, 2004; Трепель та інші, 2005). З іншого боку, неоднорідність результатів у поєднанні з випадковими протилежними моделями ускладнює отримання чіткої картини схеми винагороди в мозку людини. Поєднання результатів частково пояснюється різноманітними експериментальними парадигмами, розробленими різними дослідницькими групами, які спрямовані на вирішення різних аспектів прийняття рішень, пов'язаних з винагородою, таких як відмінність між очікуванням винагороди та результатом (Breiter та інші, 2001; Кнутсон та інші, 2001b; МакКлюр та інші, 2003; Роджерс та інші, 2004), оцінка позитивних і негативних винагород (Liu et al., 2007; Nieuwenhuis et al., 2005; O'Doherty et al., 2003a; O'Doherty et al., 2001; Ullsperger і фон Крамон, 2003), і оцінка ризику (Bach et al., 2009; d'Acremont і Bossaerts, 2008; Hsu et al., 2009; Huettel, 2006).
Отже, дуже важливо об'єднати існуючі дослідження разом і вивчити основні мережі винагороди в людському мозку, як від керованих даними, так і від теоретичних підходів, щоб перевірити спільність і відмінність різних аспектів прийняття рішень, пов'язаних з винагородою. Щоб досягти цієї мети, ми застосували й порівняли дві методи мета-аналізу на основі координат (CBMA) (Салімі-Хоршиді та інші, 2009), оцінка правдоподібності активації (ALE) (ALE) (Laird et al., 2005; Turkeltaub et al., 2002) і параметричний мета-аналіз на основі вокселів (PVM) (Костафреда та інші, 2009), щоб виявити узгодженість у великій кількості нейровизуализирующих досліджень щодо прийняття рішень, пов'язаних з винагородою. Ми очікували, що вентральна смугаста і орбітофронтальна кора (OFC), дві основні допамінергічні проекційні області, які були пов'язані з обробкою винагороди, будуть послідовно активовані.
Крім того, з точки зору теорії, ми прагнули з'ясувати, чи існують відмінності в мережах мозку, які відповідають за обробку позитивної та негативної інформації про винагороду, і які переважно задіяні на різних етапах обробки винагороди, таких як передбачення очікувань, результат моніторингу та оцінювання рішень. Прийняття рішень включає в себе кодування і представлення альтернативних варіантів і порівняння значень або утиліт, пов'язаних з цими параметрами. У цих процесах прийняття рішень, як правило, пов'язане з позитивною або негативною валентністю як від результатів, так і від емоційних реакцій до зроблених виборів. Позитивна валентність винагороди відноситься до позитивних суб'єктивних станів, які ми відчуваємо (наприклад, щастя або задоволення), коли результат позитивний (наприклад, вигравши лотерею) або краще, ніж ми передбачаємо (наприклад, втрачаючи менше значення, ніж прогнозується). Негативна валентність винагороди відноситься до негативних почуттів, які ми переживаємо (наприклад, розчарування або жаль), коли результат негативний (наприклад, втрачаючи азартну гру) або гірше, ніж ми очікуємо (наприклад, збільшення вартості акцій нижче, ніж прогнозується). Незважаючи на те, що попередні дослідження намагалися розрізнити мережі винагород, які чутливі до обробки позитивної або негативної інформації (Крінгельбах, 2005; Лю та інші, 2007), а також ті, які беруть участь у передбаченні винагороди або результату (Кнутсон та інші, 2003; Ramnani та інші, 2004), емпіричні результати були змішані. Ми прагнули витягти послідовну структуру шляхом об'єднання великої кількості досліджень, що вивчають ці відмінності.
2. Методи
Пошук та організація літературних джерел 2.1
Ідентифікація дослідження 2.1.1
Два незалежні дослідники провели ретельний пошук літератури для досліджень fMRI, що вивчали прийняття рішень на основі винагороди людей. Термінами, які використовувалися для пошуку служби індексування інтерактивних посилань PUBMED (до червня 2009), були "fMRI", "винагорода" і "рішення" (першим дослідником), "завдання прийняття рішень про винагороду", "fMRI", і "людський" (Другим дослідником). Ці початкові результати пошуку були об'єднані для отримання загальної кількості статей 182. Інші статті 90 були ідентифіковані з бази даних третього дослідника, накопиченого до червня 2009, використовуючи "reward" і "MRI" як критерії фільтрації. Ми також виконували пошук у базі даних BrainMap, використовуючи Sleuth, з "завданням винагороди" та "fMRI" як пошукових термінів, і знайшли статті 59. Всі ці статті були об'єднані в базу даних, а надлишкові записи були вилучені. Потім ми застосували кілька критеріїв виключення для подальшого усунення статей, які не мають прямого відношення до поточного дослідження. Такими критеріями є: 1) емпіричні дослідження, що не належать до першої руки (наприклад, оглядові статті); 2) дослідження, які не повідомляли про результати у стандартному стереотаксичному координатному просторі (або Talairach, або Монреальський неврологічний інститут, MNI); 3) дослідження з використанням завдань, не пов'язаних з прийняттям рішень на основі винагороди або цінності; 4) дослідження структурних аналізів мозку (наприклад, морфометрія на основі вокселів або тензора дифузії); 5) дослідження, що базується виключно на аналізі області інтересу (ROI) (наприклад, з використанням анатомічних масок або координат з інших досліджень); 6) дослідження спеціальних популяцій, чиї функції мозку можуть бути відхилені від нормальних здорових дорослих (наприклад, дітей, дорослих людей, що старіють, або залежних від речовин осіб), хоча координати, наведені в цих дослідженнях для самої здорової дорослої групи, були включені. Було прийнято варіабельність серед методів, яким суб'єктам було доручено повідомляти про рішення під час виконання завдань (вербальна, невербальна кнопка-преса). Це призвело до появи статей 142 у кінцевій базі даних (перераховані в Додаток).
Під час етапу вилучення даних дослідження були згруповані за різними схемами просторової нормалізації згідно з координатами перетворень, реалізованих у GingerALE toolbox (http://brainmap.org, Центр досліджень досліджень Університету Техасу, Науковий центр охорони здоров'я, Сан-Антоніо, штат Техас): використовуючи FSL, повідомляйте координати MNI, використовуючи SPM, щоб повідомити про координати MNI, використовуючи інші програми для повідомлення координат MNI, використовуючи методи Бретта для перетворення координат MNI в Talairach простору, використовуючи власний шаблон Talairach. Списки координат, що знаходилися в просторі Талайраха, були перетворені в простір МПІ відповідно до їх оригінальних схем нормалізації. Для списку Бретта-Талайраха ми перетворили координати назад в простір МНІ, використовуючи зворотне перетворення Бретта (тобто, tal2mni) (Бретт та інші, 2002). Для нативного списку Talairach ми використовували перетворення Talairach-MNI BrainMap (тобто tal2icbm_other). Головний список усіх досліджень був створений шляхом комбінування всіх координат у просторі MNI в процесі підготовки до мета-аналізу ALE в GingerALE.
Класифікація експерименту 2.1.2
Для тестування гіпотез щодо загальних та відмінних шляхів винагороди, які набираються різними аспектами прийняття рішень, пов'язаних з винагородою, ми класифікуємо координати за двома типами класифікації: валентність винагороди та етапи прийняття рішень. Ми прийняли термін «експерименти», що використовуються базою даних BrainMap, для позначення окремих регресорів або контрастів, які зазвичай повідомляються у дослідженнях fMRI. Для валентності винагороди ми організували експерименти у позитивні та негативні нагороди. Для етапів прийняття рішень ми розділили експерименти на очікувану винагороду, результат і оцінку. Координати в головному списку, що вписуються в ці категорії, були внесені до під-списків; ті, які важко інтерпретувати або не чітко визначені, були опущені. Нижче ми наводимо кілька прикладів, які були введені в кожну з цих категорій.
Наступні контрасти були класифіковані як обробка позитивних винагород: ті, в яких суб'єкти отримували гроші або бали (Елліотт та інші, 2000) (винагорода під час успіху); уникнути втрати грошей або балів (Кім та інші, 2006) (пряме порівняння між уникненням негативного результату та отримання винагороди); виграв більшу з двох сум або пунктів (Кнутсон та інші, 2001a) (велике чи мале винагорода); втратили меншу суму з двох грошових сум або пунктів (Серйозно та інші, 2005) (без виграшу $ 0.50> без виграшу $ 4); отримали на екрані обнадійливі слова або графіку (Залла та інші, 2000) (збільшення за "виграш"); отримали солодкий смак у роті (О'Догерті та інші, 2002) (глюкоза> нейтральний смак); позитивно оцінив вибір (Лю та інші, 2007) (правильно> неправильно), або отримав будь-який інший тип позитивних винагород в результаті успішного виконання завдання.
Експерименти, класифіковані за негативні винагороди, включали ті, в яких суб'єкти втратили гроші або бали (Elliott et al., 2000) (покарання під час пробою); не виграли гроші або очки (Серйозно та інші, 2005) (незадоволеність безнадійною); виграли меншу з двох грошових сум або балів (Кнутсон та інші, 2001a) ($ 1 проти $ 50 винагороди); втратили більшу з двох сум або пунктів (Кнутсон та інші, 2001a) (велике чи мале передбачення покарання); негативно оцінили вибір (Лю та інші, 2007) (неправильно> правильно); або отримували будь-які інші негативні винагороди, такі як введення гіркого смаку в рот (О'Догерті та інші, 2002) (сіль> нейтральний смак) або знеохочувальні слова чи зображення (Залла та інші, 2000) (збільшення для "втрати" і зменшення для "перемоги").
Передбачення винагороди було визначено як період часу, коли суб'єкт обдумував потенційні варіанти, перш ніж приймати рішення. Наприклад, розміщення ставки та очікування виграшу грошей на цій ставці класифікується як очікування (Коен і Ранганатх, 2005) (рішення з високим ризиком та низьким ризиком). Результат / подача винагороди класифікувався як період, коли суб'єкт отримав відгук про вибраний варіант, наприклад, екран з словами "win x $" або "втрати x $" (Bjork та інші, 2004). Коли зворотній зв'язок вплинув на рішення та поведінку суб'єкта на наступному випробуванні або використовувався як навчальний сигнал, контраст був класифікований як оцінка винагороди. Наприклад, ризиковане рішення, яке винагороджується на початковому судовому розгляді, може призвести до того, що суб'єкт візьме інший, можливо більший, ризик на наступному випробуванні (Коен і Ранганатх, 2005) (нагороди з низьким ризиком, за якими йдуть рішення з високим ризиком та низьким ризиком). Ще одним прикладом оцінки є неприйняття втрат, тенденція, коли люди віддають перевагу уникненню втрат на придбання прибутку.Том та інші, 2007) (зв'язок між лямбда і нейральною схильністю до втрати).
Оцінка ймовірності активації 2.2 (ALE)
Алгоритм ALE базується на (Eickhoff та інші, 2009). ALE моделює фокуси активації як тривимірні розподіли Гауса з центром на повідомлених координатах, а потім обчислює перекриття цих розподілів у різних експериментах (ALE трактує кожен контраст у дослідженні як окремий експеримент). Просторова невизначеність, пов’язана з вогнищами активації, оцінюється щодо кількості суб’єктів у кожному дослідженні (тобто більша вибірка дає більш надійні схеми активації та локалізацію; тому координати скручені з більш щільним ядром Гауса). Збіжність моделей активації в експериментах обчислюється шляхом об'єднання вищевказаних модельованих карт активації. Нульовий розподіл, який представляє оцінки ALE, породжені випадковим просторовим перекриттям у дослідженнях, оцінюється за допомогою процедури перестановки. Нарешті, карта ALE, обчислена за реальними координатами активації, перевіряється на основі оцінок ALE з нульового розподілу, створюючи статистичну карту, що представляє значення p оцінок ALE. Потім непараметричні значення p трансформуються у z-оцінки та порогові при рівні кластера, скоригованому p <3.
Шість різних аналізів ALE були проведені з використанням GingerALE 2.0 (Eickhoff та інші, 2009), один для основного аналізу всіх досліджень, і один для кожного з п'яти під-списків, що характеризують активацію мозку за допомогою позитивних або негативних винагород, а також передбачення, результат і оцінку. Два методу віднімання ALE були проведені з використанням GingerALE 1.2 (Turkeltaub та інші, 2002), один для контрасту між позитивними та негативними нагородами, а інший для контрасту між очікуванням та результатом.
2.2.1 Головний аналіз усіх досліджень
Всі дослідження 142 були включені в основний аналіз, який складався з фокусів 5214 з експериментів 655 (контрасти). Ми використовували алгоритм, реалізований у GingerALE 2.0, який моделює ALE на основі просторової невизначеності кожного фокусу, використовуючи оцінку мінливості між суб'єктами та між експериментами. Оцінка була обмежена маскою сірої речовини і оцінювала випадковість кластеризації з експериментами як фактор випадкових ефектів, а не за допомогою аналізу фіксованих ефектів на вогнищах (Eickhoff та інші, 2009). Отримана карта ALE була пороговою з використанням методу швидкості виявлення помилок (FDR) з р <0.05 та мінімальним розміром кластера 60 вокселів 2 × 2 × 2 мм (загалом 480 мм3) для захисту від помилкових спрацьовувань множинних порівнянь.
2.2.2 Індивідуальний аналіз під-списків
Також було проведено п'ять інших аналізів ALE на основі під-списків, які класифікують різні експерименти як позитивні та негативні винагороди, а також передбачення винагороди, надання винагороди (результат) та оцінка вибору. Для позитивного аналізу винагороди були включені вогнища 2167 з експериментів 283. Негативний аналіз винагороди складався з фокусів 935 з експериментів 140. Число осередків, включених в аналізи для прогнозування, результату та оцінки вибору, були фокусами 1553 (експерименти 185), 1977 (253) і 520 (97) відповідно. Ми застосували аналогічний аналіз і порогові підходи, як це було зроблено для основного аналізу вище.
2.2.3 Аналіз вирахування
Ми також були зацікавлені у протиставленні ділянок мозку, які вибірково або переважно активувались як позитивними, так і негативними винагородами, а також передбаченням винагороди проти доставки винагороди. Для проведення цих двох аналізів використовували GingerALE 1.2. Карти ALE згладжувались ядром з FWHM 10 мм. Для визначення статистичної значущості карт ALE був проведений тест перестановки випадково розподілених вогнищ із 10000 моделювань. Щоб виправити багаторазові порівняння, отримані карти ALE були порогові за допомогою методу FDR з р <0.05 та мінімальним розміром кластера 60 вокселів.
2.3 Параметричний мета-аналіз на основі вокселів (PVM)
Ми також проаналізували однакові списки координат, використовуючи інший мета-аналіз підходу, PVM. На відміну від аналізу ALE, який розглядає різні контрасти в рамках дослідження як окремі експерименти, аналіз PVM об'єднує піки з усіх різних контрастів в рамках дослідження та створює єдину карту координат для конкретного дослідження (Костафреда та інші, 2009). Отже, фактор випадкових ефектів у аналізі ПВМ є Дослідження, у порівнянні з індивідуальними експерименти / контрасти в аналізі ALE. Це ще більше знижує упередженість оцінок, викликану дослідженнями з численними контрастами, які повідомляють про подібні моделі активації. Подібно до підходу ALE, ми провели шість різних аналізів PVM, використовуючи алгоритми, реалізовані в статистичному програмному забезпеченні R (http://www.R-project.org) з попереднього дослідження (Костафреда та інші, 2009), один для основного аналізу всіх досліджень, і один для кожного з п'яти під-списків, що характеризують активацію мозку різними аспектами обробки винагороди. Два додаткових аналізу PVM були проведені з використанням тієї ж кодової бази, щоб порівняти позитивні та негативні винагороди, а також між передбаченням винагороди та результатом.
2.3.1 Головний аналіз усіх досліджень
Координати MNI (5214) із тих самих 142 досліджень, що використовувались при аналізі ALE, були перетворені в текстову таблицю, причому кожне дослідження було ідентифіковане унікальним ідентифікаційним ярликом дослідження. Обчислення на карті піків були обмежені маскою в просторі MNI. Карту піків спочатку було згладжено рівномірним ядром (ρ = 10 мм), щоб сформувати зведену карту, яка представляє кількість досліджень, що повідомляють про перекриття піків активації в районі радіуса 10 мм. Далі було проведено аналіз PVM випадкових ефектів для оцінки статистичної значущості, пов'язаної з кожним вокселем на зведеній карті. Кількість досліджень на зведеній карті було перетворено на частку досліджень, які повідомили про відповідну активацію. Ми використовували той самий поріг, що і в аналізі ALE, для виявлення значущих кластерів для карти пропорцій (за допомогою методу FDR з p <0.05 та мінімальним розміром кластера 60 вокселів).
2.3.2 Індивідуальний аналіз під-списків
П'ять інших аналізів ПВМ були проведені у під-списках для позитивних та негативних винагород, а також передбачення, результат та оцінка винагороди. Позитивний аналіз винагороди включав фокуси 2167 з досліджень 111, тоді як негативний аналіз винагороди включав фокуси 935 з досліджень 67. Кількість досліджень, включених в аналізи для прогнозування, результату та оцінки вибору, були фокусами 1553 (дослідження 65), 1977 (86) і 520 (39) відповідно. Ми застосували аналогічний аналіз і порогові підходи, як це було зроблено для основного аналізу вище.
2.3.3 Порівняльний аналіз
Ми також провели два аналізи PVM для порівняння моделей активації між позитивними та негативними винагородами, а також між очікуванням нагороди та результатом. Дві карти піків (наприклад, одна для позитивної, а інша для негативної) спочатку були згладжені рівномірним ядром (ρ = 10 мм), щоб сформувати зведені карти, кожна з яких представляє кількість досліджень з накладеним піком активації в районі 10 мм радіус. Ці дві зведені карти були введені в тест Фішера для оцінки співвідношення шансів та значення статистичної значущості p для кожного вносимого вокселя в космічній масці MNI. Оскільки тест Фішера не розроблений спеціально для аналізу даних fMRI і емпірично менш чутливий, ніж інші методи, ми застосували порівняно поблажливий поріг для прямого порівняльного аналізу PVM, використовуючи некорегований p <0.01 та мінімальний розмір кластера 60 вокселів (Xiong та інші, 1995), щоб виправити множинне порівняння типу I помилки.
3. Результати
Результати 3.1 ALE
Всеохоплюючий аналіз досліджень 142 показав значну активацію великого кластера, що охоплював двосторонні ядра accumbens (NAcc), pallidum, передню інсулу, латеральну / медіальну OFC, передню поясну кору головного мозку (ACC), додаткову моторну область (SMA), латеральну префронтальна кора (ПФК), права мигдалина, лівий гіпокамп, таламус і стовбур мозку (Малюнок 1A). Інші більш дрібні кластери включали праву середню лобову звивину і ліву середню / нижню лобову звивину, двосторонню нижню / верхню тім'яну часточку і задню поясну кору головного мозку (PCC) (Таблиця 1).
Позитивні винагороди активували підмножину згаданих вище мереж, включаючи двосторонній паллідум, передню інсулу, таламус, стовбур головного мозку, медіальний OFC, ACC, SMA, PCC та інші фронтальні і тім'яні ділянки (Малюнок 1B та Таблиця 2, також див Додаткові матеріали - Рисунок S1A). Негативні винагороди показали активацію в двосторонніх NAcc, хвостаті, pallidum, передній ізоляції, мигдалині, таламусі, стовбурі головного мозку, ростральної АКС, дорсомедіальної PFC, бічній OFC, правої середньої та нижньої лобової звивини (Малюнок 1B та Таблиця 2, також див Додаткові матеріали - Рисунок S1B). Контрастна активація за рахунок позитивних і негативних нагород, ми виявили, що позитивні нагороди значною мірою значно активізували наступні регіони: двостороння NAcc, передня інсула, медіальна OFC, гіпокамп, лівий пучін і таламус (Малюнок 1D та Таблиця 4). Ніхто не показав більшої активації за рахунок негативних, ніж позитивних винагород.
Різні етапи обробки винагороди поділяли подібні структури активації мозку у вищезгаданих основних мережах, включаючи двосторонні NAcc, передню інсулу, таламус, медіальний OFC, ACC і дорсомедіальний PFC (Малюнок 1C та Таблиця 3, також див Додаткові матеріали - малюнки S1C – E). Попереднє очікування, порівняно з результатом винагороди, виявило більшу активацію в двосторонній передній ізоляції, АКК, SMA, лівій нижній парієтальній дольці і середній фронтальній звивині (Малюнок 1E та Таблиця 5). Результат переважної активації включав двосторонній NAcc, хвостатий, таламус і медіальний / латеральний OFC (Таблиця 5).
Результати PVM 3.2
Основний аналіз досліджень 142 показав значну активацію при двосторонніх NAcc, передній ізоляції, латеральному / медіальному OFC, ACC, PCC, нижній тім'яній дольці і середній фронтальній Gyrus (Малюнок 2A та Таблиця 6).
Позитивні нагороди активували двосторонні NAcc, pallidum, putamen, таламус, медіальну OFC, попередню кору головного мозку, SMA і PCC (Малюнок 2B та Таблиця 7, також див Додаткові матеріали - Рисунок S2A). Активація за допомогою негативних показників була виявлена у двосторонніх NAcc і передній ізоляції, pallidum, ACC, SMA і середній / нижній фронтальній звивині (Малюнок 2B та Таблиця 7, також див Додаткові матеріали - Рисунок S2B). Прямий контраст між позитивними і негативними нагородами виявив переважну активацію позитивними нагородами в NAcc, pallidum, медіальному OFC і PCC, і більшу активацію негативними нагородами в ACC і середній / нижній фронтальній звивині (Малюнок 2D та Таблиця 9).
Різні стадії обробки винагороди аналогічно активували NAcc і ACC, тоді як вони диференційовано набирали інші області мозку, такі як медіальний OFC, передня інсула і мигдалина (Малюнок 2C та Таблиця 8, також див Додаткові матеріали - Рисунок S2C – E). Попереднє очікування, порівняно з результатом винагороди, виявило значну активацію в двосторонній передній ізоляції, таламусі, предцентральній звивині та нижній тім'яній дольці (Малюнок 2E та Таблиця 10). Жодна область мозку не показала більшої активації результатом винагороди в порівнянні з очікуванням.
3.3 Порівняння результатів ALE і PVM
Нинішнє дослідження також показало, що хоча методи ALE та PVM по-різному обробляли дані на основі координат і приймали різні алгоритми оцінки, результати для одного списку координат з цих двох підходів до мета-аналізу були дуже подібними та порівнянними (Цифри 1A – C та 2A – C, Таблиця 11, також див Цифри S1 та S2 в додаткових матеріалах). Удосконалений алгоритм ALE, реалізований у GingerALE 2.0, за дизайном, трактує експерименти (або контрасти) як фактор випадкових ефектів, що істотно знижує зміщення, викликане експериментами, які повідомляють про більше локусів порівняно з тими, у яких менше локусів. Різні дослідження, однак, включають різну кількість експериментів / контрастів. Таким чином, результати GingerALE 2.0 все ще можуть впливати на упередженість, яка більше важить на дослідження звітів про більшу контрастність, що потенційно переоцінює узгодженість між дослідженнями. Однак, за вибором, користувачі можуть об'єднувати координати з різних контрастів, так що GingerALE 2.0 може розглядати кожне дослідження як один експеримент. Це те, що PVM реалізує, об'єднуючи координати з усіх контрастів в рамках дослідження в єдину карту активації, таким чином зважуючи всі дослідження однаково, щоб оцінити перекриття активації в дослідженнях.
На відміну від цього, порівняння двох списків координат суттєво відрізнялися між підходами ALE і PVM (Таблиця 11), внаслідок їх відмінності в чутливості до внутрішньо-дослідницької та перехресної конвергенції. Оскільки вдосконалений алгоритм ALE не був реалізований для віднімання ALE-аналізу, ми використовували більш ранню версію GingerALE 1.2, яка розглядає координати як фактор випадкових ефектів і експерименти як змінну фіксованих ефектів. Тому розбіжності в кількості координат і експериментів у двох списках можуть впливати на результати віднімання. Субтрактивний аналіз ALE зміщений у бік списку з більшою кількістю експериментів проти інших.Малюнок 1D / E). Дослідження позитивної винагороди (вогнища 2167 з експериментів 283) явно переважали над негативними дослідженнями (вогнища 935 з експериментів 140). Різниця між очікуванням нагородження (вогнища 1553 від експериментів 185) та результатом (вогнища 1977 від експериментів 253) була меншою, але могла також спричинити ухил до фази результату. З іншого боку, використання тесту Фішера для оцінки співвідношення шансів і призначення вокселів в одному з двох списків за допомогою PVM виявилося менш чутливим у виявленні різниці активації між двома списками (Малюнок 2D / E).
4 Обговорення
Ми постійно приймаємо рішення в нашому повсякденному житті. Деякі рішення не мають явних позитивних або негативних значень результатів, тоді як інші мають значний вплив на валентність результатів і наші емоційні реакції на вибір, який ми робимо. Ми можемо відчувати себе щасливими і задоволеними, коли результат позитивний або наші очікування виконуються, або відчувати розчарування, коли результат негативний або нижче, ніж ми очікували. Більше того, багато рішень мають бути прийняті без заздалегідь відомих їх наслідків. Таким чином, ми повинні бути в змозі робити прогнози щодо майбутньої винагороди, а також оцінювати цінність винагороди та потенційний ризик її отримання або покарання. Це вимагає, щоб ми оцінювали вибір, який ми робимо, виходячи з присутності помилок передбачення і використовуючи ці сигнали для керівництва нашим навчанням і майбутнім поведінкою. У багатьох дослідженнях нейровізуалізації розглянуто прийняття рішень, пов'язаних з винагородою. Однак, враховуючи складні та неоднорідні психологічні процеси, що беруть участь у прийнятті рішень на основі цінностей, не існує ніякої тривіальної задачі для вивчення нейронних мереж, які піддають подання та обробку інформації, пов'язаної з винагородою. Ми спостерігали швидке зростання кількості емпіричних досліджень у галузі нейроекономіки, але дотепер було важко зрозуміти, як ці дослідження зійшлися так, щоб чітко окреслити схеми винагороди в людському мозку. У поточному мета-аналітичному дослідженні ми показали відповідність у великій кількості досліджень і виявили загальні та чіткі закономірності активації мозку різними аспектами обробки винагороди. За допомогою даних, що керуються даними, ми об'єднали всі координати з різних контрастів / експериментів з досліджень 142, і спостерігали мережу основної винагороди, яка складається з NAcc, латеральної / медіальної OFC, ACC, передньої інсули, дорсомедіального PFC, а також бічні фронтопарієтальні ділянки. Недавнє дослідження мета-аналізу, присвячене оцінці ризику при прийнятті рішень, повідомило про подібну схему винагороди (Mohr et al., 2010). Крім того, з точки зору теорії, ми контрастували нейронні мережі, які були залучені в позитивну і негативну валентність через передбачення і кінцеві етапи обробки винагороди, і з'ясували різні нейронні субстрати, що підтримують оцінку валентності, а також їх переважне залучення в очікуванні і результат.
4.1 Основні сфери винагороди: NAcc і OFC
NAcc і OFC вже давно були задумані як основні гравці в обробці винагороди, оскільки вони є основними зонами проекції двох різних допамінергічних шляхів, мезолімбічних і мезокортикальних шляхів, відповідно. Проте залишається невідомо, як дофамінові нейрони чітко модулюють активність в цих лімбічних і коркових областях. Попередні дослідження намагалися диференціювати ролі цих двох структур з точки зору тимчасових стадій, пов'язуючи NAcc з очікуванням винагороди і пов'язуючи медіальний OFC з отриманням винагороди (Кнутсон та інші, 2001b; Кнутсон та інші, 2003; Ramnani та інші, 2004). Результати інших досліджень поставили під сумнів таку відмінність (Breiter et al., 2001; Delgado et al., 2005; Rogers et al., 2004). Багато досліджень також передбачали, що NAcc відповідає за виявлення помилки прогнозування, що є вирішальним сигналом у стимулюючому навчанні та винагороді.McClure et al., 2003; O'Doherty et al., 2003b; Pagnoni et al., 2002). Дослідження також показали, що NAcc показав двофазний відповідь, так що активність в NAcc зменшується і опускається нижче базової лінії у відповідь на негативні помилки прогнозування (Кнутсон та інші, 2001b; МакКлюр та інші, 2003; О'Догерті та інші, 2003b). Незважаючи на те, що OFC зазвичай демонструє подібні моделі активності, як NAcc, попередні дослідження нейровипромінювання на людях припускають, що OFC служить для перетворення різних стимулів у загальну валюту в термінах їх винагород (Arana et al., 2003; Cox et al., 2005; Elliott et al., 2010; FitzGerald et al., 2009; Gottfried et al., 2003; Kringelbach et al., 2003; O'Doherty et al., 2001; Plassmann et al., 2007). Ці висновки паралельні з результатами, отриманими в результаті дослідження одноразових клітин і уражень тварин (Schoenbaum і Roesch, 2005; Schoenbaum et al., 2009; Schoenbaum et al., 2003; Schultz et al., 2000; Трембле і Шульц, 1999, 2000; Уолліс, 2007).
Наш загальний аналіз показав, що NAcc і OFC відповіли на загальну обробку винагороди (Малюнок 1A та Малюнок 2A). Активація в NAcc значною мірою перекривалась на різних етапах, тоді як медіальний OFC був більш налаштований на отримання винагороди (Малюнок 1C / E та Малюнок 2C). Ці висновки підкреслили, що NAcc може бути відповідальним за відстеження як позитивних, так і негативних сигналів винагороди та використання їх для модулювання вивчення асоціації винагороди, тоді як OFC переважно контролює і оцінює результати винагороди. Необхідно провести подальше дослідження для кращого розмежування ролей NAcc та OFC у прийнятті рішень, пов'язаних із винагородою (Френк і Клаус, 2006; Заєць та інші, 2008).
4.2 Валентні оцінки
На додаток до перетворення різних варіантів винагороди в загальну валюту і представляє їх цінності винагороди, різні області мозку в схемі винагороди можуть окремо кодувати позитивні і негативні валентності винагороди. Прямі порівняння за валентністю винагороди показали, що як NAcc, так і медіальний OFC були більш активними у відповідь на позитивні чи негативні винагороди (Малюнок 1B / D та Малюнок 2B / D). Навпаки, передня острівна кора брала участь у обробці негативної інформації про винагороду (Малюнок 1B та Малюнок 2B). Ці результати підтвердили медіально-латеральну відмінність для позитивних та негативних винагород (Крінгельбах, 2005; Kringelbach і Rolls, 2004), і були узгоджені з тим, що ми спостерігали в нашому попередньому дослідженні щодо завдання винагороди (Лю та інші, 2007). Підрегіони АКК однозначно реагували на позитивні та негативні нагороди. Прегенуальний і ростральний АКК, близький до медіального OFC, активувалися позитивними нагородами, тоді як каудальний ACC відповідав на негативні нагороди (Малюнок 1B та Малюнок 2B). Мета-аналіз ALE і PVM також показав, що PCC послідовно активується позитивними винагородами (Малюнок 1B та Малюнок 2B).
Цікаво, що окремі мережі, що кодують позитивні і негативні валентності, подібні до відмінності між двома антикорельованими мережами, мережею за замовчуванням і мережею, пов'язаною з завданням (Fox et al., 2005; Raichle et al., 2001; Райхле і Снайдер, 2007). Недавні мета-аналізи виявили, що мережа за умовчанням в основному охоплює медіальні префронтальні області (включаючи медіальну OFC) і медіальну задню кору (включаючи PCC і precuneus), а мережа, пов'язана з виконанням завдань, включає ACC, insula і латеральний фронтопарієтальний регіони (Laird et al., 2009; Toro et al., 2008). Активація в медіальній OFC та PCC за допомогою позитивних нагород відображає мережу в режимі за замовчуванням, яку зазвичай спостерігають у стані спокою, тоді як активація в ACC, insula, бічній префронтальній корі за допомогою негативних нагород паралельна мережі, пов'язаній із завданням. Було встановлено, що ця функціональна організація мозку впливає на винагороду та ризикове прийняття рішень та враховує індивідуальні відмінності в рисах ризику (Cox et al., 2010).
4.3 Очікування проти результату
Двостороння передня інсула, ACC / SMA, нижня тім'яна часточка та стовбур головного мозку показали більш послідовну активацію в очікуванні порівняно з фазою результату (Малюнок 1C / E та Малюнок 2C / E). Передня інсула та АКК раніше були пов'язані з інтероцепцією, емоціями та емпатією (Крейг, 2002, 2009; Gu et al., 2010; Phan et al., 2002) та оцінка ризику та невизначеності (Critchley et al., 2001; Kuhnen і Knutson, 2005; Paulus et al., 2003), надаючи свою роль в очікуванні. Передня інсула послідовно бере участь у обробці ризику, особливо в очікуванні втрат, як було виявлено нещодавним метааналізом (Mohr et al., 2010). Подібно до ролі OFC, тім'яна часточка була пов'язана з оцінкою різних варіантів (Sugrue та інші, 2005), числове подання (Коен Кадош та інші, 2005; Hubbard та інші, 2005) та інтеграція інформації (Золото і Шадлен, 2007; Ян і Шадлен, 2007). Тому для парієтальної часточки дуже важливо брати участь у стадії очікування обробки винагороди, щоб планувати та готуватися до поінформованої дії (Андерсен і Куй, 2009; Lau та ін., 2004a; Lau та ін., 2004b).
З іншого боку, вентральний смугастий, медіальний OFC та мигдалина показали переважну активацію під час результату нагороди порівняно зі стадією очікування (Малюнок 1C / E та Малюнок 2C). Ці зразки відповідали тому, що ми та інші слідчі знаходили раніше (Breiter et al., 2001; Delgado et al., 2005; Liu et al., 2007; Rogers et al., 2004), що стоїть проти функціональної дисоціації між вентральним смугастим та медіальним OFC з точки зору їх відповідної ролі в очікуванні нагороди та результату нагороди (Knutson та ін., 2001a; Knutson та ін., 2001b; Knutson et al., 2003).
4.4 Схематична ілюстрація обробки винагороди
На основі висновків поширених та чітких мереж, що беруть участь у різних аспектах прийняття рішень про винагороду, ми створили схематичну ілюстрацію для узагальнення розподілених уявлень про оцінку та валентність при обробці винагород (малюнок 3). Ми орієнтовно групуємо різні регіони мозку на основі їх ролі в різних процесах, хоча кожна область може виконувати багато функцій та взаємодіяти з іншими областями мозку набагато складніше. Стосовно альтернативних варіантів, кожен з яких має відмінні характеристики, такі як величина та ймовірність, ці властивості необхідно перетворити на порівнянну інформацію, що базується на цінності, "загальну валюту". Ми не тільки порівнюємо значення цих альтернативних варіантів, але також порівнюємо фактичні та прогнозовані значення, а також вигадані значення, пов'язані з не обраним вибором (наприклад, сигнал помилки передбачення). Вентральний смугастий і медіальний OFC були залучені до цього представлення на основі цінності. Виявлено, що нижча тім'яна часточка також бере участь у представленні та порівнянні числової інформації. Крім того, прийняття рішень на основі цінності неминуче призводить до оцінки вибору на основі валентності результатів та пов'язаних з цим емоційних реакцій. У той час як вентральний смугастий і медіальний OFC також беруть участь у виявленні позитивної валентної валентності, бічні OFC, передня інсула, ACC та мигдалина в основному залучені до обробки негативної валентності винагороди, що, швидше за все, пов'язане з їх оцінною роллю в негативних емоційних реакціях. Через негативний вплив, який зазвичай пов'язаний з ризиком, передня інсула та АКК також беруть участь у очікуванні ризикових рішень, особливо для невідповідних реакцій в очікуванні втрат. Нарешті, фронтопарієтальні області служать для інтеграції та дії цих сигналів з метою вироблення оптимальних рішень (наприклад, перемикач "виграш-перебування-втрата".
4.5 Caveats
Необхідно зазначити пару методологічних застережень. Перший пов'язаний з упередженістю в повідомленні про результати в різних дослідженнях. Деякі дослідження базуються на ROI, які були виключені з поточного дослідження. І все ж інші виділяли або приділяли більше уваги пріоритет регіони, повідомляючи більше координат або контрастів, пов'язаних з цими регіонами. Вони можуть упереджувати результати підтвердження «гарячих точок». По-друге, ми хочемо обережно ставитись до концептуальної різниці різних аспектів обробки винагороди. Ми класифікували різні контрасти на різні категорії теоретичного інтересу. Однак при вирішенні реального життя або в багатьох експериментальних завданнях ці аспекти не обов'язково мають чіткий поділ. Наприклад, оцінка попереднього вибору та результату винагороди може суперечити майбутньому очікуванню нагороди та прийняттю рішення. Немає чітких меж на різних етапах обробки винагород, що залишає нашу сучасну класифікацію відкритою для обговорення. Тим не менш, цей підхід, орієнтований на гіпотези, дуже потрібен (Caspers та ін., 2010; Mohr et al., 2010; Ріхлан та ін., 2009), що доповнює керований даними характер метааналізу. Багато факторів, пов'язаних з прийняттям рішень про винагороду, такі як оцінка ризику та види винагороди (наприклад, первинна проти вторинної, грошова проти соціальної), вимагають додаткових метааналізів.
Основні дослідження
- Ми провели два набори метааналізу на основі координат на дослідженнях винагороди 142 fMRI.
- Основна схема винагороди включала в себе ядра акумен, інсула, орбітофронтальна, цингулатна та фронтопарієтальна області.
- Ядерне середовище активізувалося як позитивними, так і негативними нагородами на різних етапах обробки нагород.
- Інші регіони виявили переважні відповіді на позитивні чи негативні винагороди або під час очікування чи результату.
Додатковий матеріал
01
02
03
Подяки
Це дослідження підтримується Проектом Сто талантів Китайської Академії Наук, премією молодого слідчого NARSAD (XL) та грантом NIH R21MH083164 (JF). Автори хочуть подякувати команді розробників BrainMap та Сергі Г. Костафреда за надання чудових інструментів для цього дослідження.
Додаток
Перелік статей, включених до мета-аналізів поточного дослідження.
Виноски
Авторські внески: XL розробила та контролювала все дослідження. JH та MS внесли однаковий внесок у це дослідження, здійснюючи пошук літератури, вилучення даних та організацію. JF брав участь у обговоренні та підготовці рукопису.
Заява видавця: Це PDF-файл неозброєного рукопису, який був прийнятий до публікації. Як послугу нашим клієнтам ми надаємо цю ранню версію рукопису. Рукопис буде підданий копіюванню, набору тексту та перегляду отриманого доказу до його опублікування в остаточній формі. Зверніть увагу, що під час виробничого процесу можуть бути виявлені помилки, які можуть вплинути на вміст, і всі правові застереження, які стосуються журналу, стосуються.
посилання