Контекстна новизна змінює винагороди у стріату (2010)

 Повне дослідження: Контекстуальна новизна змінює представлення нагород у Стріатумі


J Neurosci. Авторський рукопис; доступний у PMC 2010 серп. 3.
Опубліковано в остаточному форматі:

Марк Гітарт-Масіп,*,1,2 Ніко Бунзек,*,1 Клаас Е Стефан,2,3 Реймонд Дж Долан,2 та Емра Дюзель1,4

Остаточна редагована версія цієї статті видавця доступна безкоштовно за адресою J Neurosci

Див. Інші статті у PMC cite опублікованої статті.

Перейти до:

абстрактний

Представлення нагороди у вентральному стриатумі посилюється перцептивною новизною, хоча механізм цього ефекту залишається невловимим. Дослідження на тваринах вказують на функціональну петлю (Лісман і Грейс, 2005), що включає гіпокамп, вентральний смугастий і середній мозок, як важливі для регулювання атрибуції схильності в контексті нових стимулів. Відповідно до цієї моделі, відповіді на винагороду у вентральній смузі або середньому мозку повинні бути посилені в контексті новизни, навіть якщо винагорода та новизна є неспорідненими, незалежними подіями. Використовуючи fMRI, ми показуємо, що випробування з прогнозуванням винагороди та подальшими результатами викликають більш високі відгуки в стриатумі, якщо передує незв'язаній картині роману, що вказує на те, що подання на винагороду посилюється в контексті новизни. Помітно, цей ефект спостерігався виключно тоді, коли поява винагороди, а отже, і значущість винагороди, була низькою. Ці висновки підтверджують думку про те, що контекстна новизна посилює нейронні реакції, що лежать в основі представлення винагороди у стриатумі, і узгоджується з ефектами обробки новинок, як передбачено моделлю Лісман і благодать (2005).

Ключові слова: новизна, винагорода, стриатум, гіпокамп, середній мозок, фМР

Вступ

Базальні ганглії разом із їх дофамінергічними афекторами забезпечують механізм дізнатися про цінність винагороди різних варіантів поведінки (Berridge і Robinson, 2003; Frank et al., 2004; Pessiglione et al., 2006). Відповідно до цієї точки зору, дослідження fMRI показують, що винагорода та винагорода за прогнозний намір викликають мозкову активність у стриатумі (наприклад (Delgado et al., 2000; Knutson et al., 2000; O'Doherty et al., 2003; O'Doherty et al., 2004) і середнього мозку (Aron et al., 2004; Wittmann et al., 2005). Однак дофамінергічна система середнього мозку також реагує на нові корисні стимули у мавп (Ljungberg et al., 1992) і людей (Bunzeck і Duzel, 2006; Wittmann et al., 2007). З обчислювальної точки зору було висловлено припущення, що сама новизна може виступати мотиваційним сигналом, що сприяє представленню нагород та стимулює вивчення невідомого варіанту вибору роману (Какаде і Даян, 2002).

Хоча обробка новизни та винагороди поділяють загальні нейронні механізми, нейронний субстрат, який підтримує взаємодію між новизною та винагородою, залишається недостатньо вивченим. Дослідження на тваринах виявляють, що сигнали новизни гіпокампа регулюють здатність нейронів дофаміну виявляти активність вибуху. Зважаючи на те, що вибухові стрілянини є основною схемою дофамінергічного реагування, що кодує нагороди та, можливо, інші яскраві події, є вагомі підстави підозрювати, що сигнали новизни гіпокампа можуть регулювати обробку винагороди та присвоєння належності (Лісман і Грейс, 2005). Сигнали новизни гіппокампа передаються до ВТА ​​через субкулум, вентральний смугастий і вентральний блідий, де вони викликають дезінфекцію мовчазних дофамінових нейронів, щоб індукувати режим тонічної активності (Лісман і Грейс, 2005; Грейс і Банні, 1983). Важливо, що лише тонічно активні, але не мовчазні дофамінові нейрони переходять у режим вибуху та демонструють фазичні реакції (Floresco et al., 2003). Таким чином, сигнали новизни гіпокампу можуть посилювати фазові дофамінові сигнали та полегшувати кодування нової інформації у довготривалу пам'ять.

Хоча останні дослідження показали, що новизна стимулів посилює смугасту помилку прогнозування нагород (Wittmann et al., 2008), цей висновок не стосується фізіологічної гіпотези про те, що контекстна новизна чинить посилюючий ефект при подальших сигналах нагородження (Лісман і Грейс, 2005). Перевірка цього вимагає самостійного маніпулювання рівнем новизни та винагородженням таким чином, щоб новизна (і знайомство) виступали як часово розширені контексти, що передують нагородам. Ми досліджували вираження стритальної модуляції винагородження в контексті новизни, представляючи новий стимул, що передує представленню сигналів, які прогнозують винагороду. Крім того, ми маніпулювали обома факторами (новизною та винагородою) незалежно; це дозволило нам виділити відповідні їм нейронні уявлення. Ми представили суб'єктам одне з трьох різних фрактальних зображень, які вказували доставку винагороди із заданою ймовірністю (без винагороди (p = 0), низької (p = 0.4) та високої ймовірності нагороди (p = 0.8)). Таким чином, наша конструкція також дозволила нам дослідити, чи впливає контекстна новизна на відповіді на винагороду ймовірністю виникнення винагороди. Вірогідний вплив новинки на обробку винагороди забезпечив би сильну підтримку прогнозу, що новизна та обробка винагород функціонально взаємодіють. Навпаки, вплив новизни на мозкову діяльність, пов’язану з винагородою, яка не залежить від ймовірності винагороди та масштабу, вказує на те, що новизна та винагорода поділяють ділянки мозку та виробляють адитивну нейронну активність без функціональної взаємодії.

Матеріал і методи

Тематика

Дослідники 16 брали участь в експерименті (самки 9 та чоловіки 7; віковий діапазон 19-32 років; середнє значення 23.8, SD = 3.84 років). Усі випробувані були здоровими, праворукими та мали гостроту нормальної або скоректованої норми. Жоден з учасників не повідомляв про історію неврологічних, психіатричних або медичних розладів або про будь-які сучасні медичні проблеми. Усі експерименти проводились за письмовою інформованою згодою кожного суб'єкта та відповідно до місцевого дотримання етики (University College London, UK).

Експериментальне проектування та завдання

Завдання було розділено на фази 3. На фазі 1 випробовувані були ознайомлені з набором зображень 10 (5 в приміщенні, 5 на вулиці). Кожне зображення було представлено 10 разів для 1000ms з інтервалом між стимулом (ISI) 1750 ± 500ms. Суб'єкти вказували на закритий / відкритий стан, використовуючи правий вказівний та середній палець. На фазі 2 фрактальні зображення 3 були спарені, за різної ймовірності (0, 0.4 і 0.8), з грошовою винагородою пенса 10 за сеанс кондиціонування. Кожне фрактальне зображення було представлено 40 разів. У кожному випробуванні одне із фрактальних зображень 3 було представлене на екрані для 750ms, а суб'єкти вказували на виявлення подання стимулу натисканням кнопки. Ймовірнісний результат (пенсія 10 або 0) був представлений у вигляді цифри на екрані 750ms пізніше для іншого 750ms та суб'єкти, вказували, вигравали вони гроші чи не, використовуючи свій вказівний та середній палець. Межпробний інтервал (ITI) становив 1750 ± 500ms. Нарешті, на етапі тестування (фаза 3) вплив контекстної новинки на відповіді, пов'язані з нагородою, було визначено за чотири одинадцять хвилин сеансу (малюнок 1). Тут було представлено зображення для 1000ms, а суб'єкти вказували на стан внутрішнього / зовнішнього стану, використовуючи правий вказівний та середній пальці. Відповіді можна було отримати, коли на екрані відображалися зображення сцени та подальше фрактальне зображення (загалом 1750 мс). Зображення було або з знайомого набору зображень з фази 1 (звані «знайомі зображення»), або з іншого набору зображень, які ніколи не були представлені (іменовані як «нові зображення»). Загалом 240 нові образи були представлені до кожної теми. Після цього було представлено одне з фрактальних зображень 3 з фази 2 (іменоване виграшним прогнозним києм) для 750ms (тут суб'єктам було доручено не відповідати). Як і на другій фазі, ймовірнісний результат (пенсія 10 або 0) був представлений 750ms пізніше для іншого 750ms, а суб'єкти вказували, вигравали вони гроші чи не, використовуючи вказівний та середній палець. Відповіді можна проводити під час відображення результату на екрані та під час наступного міжтермінального інтервалу (загалом 2500 ± 500 мс). ITI становив 1750 ± 500ms. Під час кожного сеансу кожному фрактальному зображенню було представлено 20 разів за новим зображенням та 20 разів за знайомим зображенням, в результаті чого випробування 120 за сеанс. Порядок презентації шести типів випробувань був повністю рандомізований. Всі три експериментальні фази проводилися всередині МРТ-сканера, але BOLD дані були отримані лише під час тестової фази (фаза 3). Суб'єктам було доручено відповісти якомога швидше і якомога правильніше, і їм буде виплачено заробіток до £ 20. Учасникам було сказано, що за кожну невірну відповідь віднімають пенсію 10 - ці дослідження були виключені з аналізу. Загальний заробіток відображався на екрані лише в кінці блоку 4.

малюнок 1 

Експериментальний дизайн

Усі зображення мали масштаб сірого кольору та нормалізувались до середнього значення сірого кольору 127 та стандартного відхилення 75. Жодна зі сцен не зображувала людей на першому плані (включаючи обличчя). Стимули проектували на центр екрану, і випробовувані спостерігали за ними за допомогою дзеркальної системи, встановленої на головній котушці сканера fMRI.

Збір даних fMRI

fMRI проводили на магнітно-резонансному сканері 3-Tesla Siemens Allegra (Сіменс, Ерланген, Німеччина) з ехо-планарною томографією (EPI). У функціональному сеансі були отримані зважені зображення 48 T2 * на об'єм (охоплюючи всю голову) із залежним від рівня оксигенації крові (BOLD) (матриця: 64 × 64; косі осьові зрізи 48 на об'єм під кутом при −30 ° в передній задній частині вісь; просторове дозвіл: 3 × 3 × 3 мм; TR = 2880 мс; TE = 30 мс). Протокол придбання fMRI був оптимізований для зменшення втрат чутливості, спричинених сприйнятливістю, у нижчих лобових та скроневих областях (Weiskopf et al., 2006). Для кожного предмета функціональні дані були отримані в чотирьох сеансах сканування, що містять томи 224 на сеанс. Шість додаткових обсягів на початку кожної серії були придбані для забезпечення постійної намагніченості і згодом були відкинуті. Анатомічні зображення мозку кожного суб'єкта були зібрані за допомогою мульти-відлуння 3D FLASH для відображення протонної щільності (PD), T1 та перенесення намагніченості (MT) на 1mm3 роздільна здатність (Вайскопф і Хелмс, 2008) і за допомогою зваженого інверсійного відновлення T1 підготували послідовності EPI (IR-EPI) (просторове дозвіл: 1 × 1 × 1 мм). Крім того, окремі карти поля були записані за допомогою подвійної послідовності FLASH (розмір матриці = 64 × 64; зрізи 64; просторове дозвіл = 3 × 3 × 3 мм; зазор = 1 мм; короткий TE = 10 мс; довгий TE = 12.46 мс ; TR = 1020 мс) для корекції спотворень набутих зображень EPI (Weiskopf et al., 2006). Використання поля інструментів FieldMap (Hutton et al., 2002) Карти полів оцінювали за різницею фаз між зображеннями, отриманими при короткому та довгому ТЕ.

Аналіз даних fMRI

Попередня обробка включала перестановку, перекручування за допомогою індивідуальних польових карт, просторову нормалізацію в просторі Монреальського неврологічного інституту (MNI) і, нарешті, вирівнювання ядра Гаусса 4mm. Дані часового ряду fMRI відфільтровували з високим проходом (зріз = 128 s) та біліли за допомогою AR (1) -моделі. Для кожного суб'єкта була розрахована статистична модель, застосовуючи канонічну функцію гемодинамічного реагування (HRF) у поєднанні з похідними часу та дисперсії (Friston et al., 1998).

Наш фабричний дизайн 2 × 3 включав цікаві умови 6, які моделювались як окремі регресори: зображення знайомого з імовірністю винагороди 0, зображення знайомого з імовірністю нагороди 0.4, зображення знайомого з імовірністю винагороди 0.8, роман-образ із винагородою -можливість 0, роман-образ з вірогідністю винагороди 0.4, роман-образ із імовірністю винагороди 0.8. Тимчасова близькість підказки, що передбачає винагороду (тобто фрактальне зображення), і сам результат нагородження створюють проблеми для відокремлення СИЛИХ сигналів, що виникають внаслідок цих двох подій. Тому ми моделювали кожне випробування як складну подію, використовуючи міні-коробку, яка включала в себе представлення як сигналу, так і результату. Це технічне обмеження не було проблематичним для нашого факторного аналізу, який зосереджувався на взаємодії між новинкою та обробкою винагороди та спільним виникненням ефектів винагороди та новизни. Випробування з помилками були змодельовані як регресор, який не представляє інтересу. Для захоплення залишкових артефактів, пов'язаних з рухом, було включено шість коваріатів (три переклади твердого тіла та три обертання, що виникають в результаті перестановки) як регресори, що не представляють інтересу. Ефекти регіональних особливостей були випробувані, використовуючи лінійні контрасти для кожного випробуваного та кожного стану (аналіз першого рівня). Отримані контрастні зображення були введені в аналіз випадкових ефектів другого рівня. Тут гемодинамічні ефекти кожного стану оцінювали за допомогою дисперсійного аналізу 2 × 3 (ANOVA) з коефіцієнтом «новизна» (роман, знайомий) та ймовірністю винагороди (0, 0.4, 0.8).

Ми сфокусували наш аналіз на анатомічно визначених регіонах 3 (стриатум, середній мозок та гіпокамп), де взаємодія між новизною та обробкою винагород була гіпотезована на основі попередніх досліджень (Лісман і Грейс, 2005; Wittmann et al., 2005; Bunzeck і Duzel, 2006). Для повноти ми також повідомляємо результати цілого мозку у додатковому матеріалі. І області, що цікавлять смугу, і гіпокамп (ROI) були визначені на основі інструментального інструменту Pick Atlas (Maldjian et al., 2003; Maldjian et al., 2004). У той час як смугаста ROI включала головку хвоста, тіло хвоста та путімен, ROI гіпокампа виключала мигдалину та навколишню кору носорога. Нарешті, SN / VTA ROI було визначено вручну, використовуючи програмне забезпечення MRIcro та середнє зображення MT для групи. На MT-зображеннях SN / VTA можна відрізнити від навколишніх структур як яскраву смугу (Bunzeck і Duzel, 2006). Слід зазначити, що дофамінергічні нейрони в приматів, що реагують на нагороди, розподіляються по комплексу SN / VTA, і тому доцільно розглянути активацію всього комплексу SN / VTA, а не зосереджуватись на ньому підрозділах (Duzel et al., 2009). Для цього використовується роздільна здатність 3mm3, як використовується в цьому експерименті, дозволяє відібрати 20-25 вокселі комплексу SN / VTA, який має об'єм 350 до 400 мм3.

результати

Поведінкові суб'єкти демонстрували високу точність виконання завдань під час завдання дискримінації в приміщенні / на вулиці (середня швидкість потрапляння 97.1%, SD = 2.8% для знайомих знімків; середня швидкість потрапляння 96.8%, SD = 2.1% для нових знімків; t15= 0.38, нс), а також для дискримінації "виграш / виграш" у момент результату (середня швидкість потрапляння 97.8%, SD = 2.3% для виграшних подій; середня швидкість потрапляння 97.7%, SD = 2.2% без виграшних подій; т15= 0.03, нс). Суб'єкти швидше розмежовують стан внутрішнього та зовнішнього середовища для звичних порівняно з новими зображеннями (середній час реакції (RT) RT = 628.2 мс, SD = 77.3ms для знайомих зображень; середнє значення RT = 673.8 мс, SD = 111 мс для нових знімків; t15= 4.43, P = 0.0005). Не було різниці RT для дискримінації win / no win в момент результату (середнє RT = 542ms, SD = 82.2 мс для випробувань виграш; середнє RT = 551 мс, SD = 69 мс для випробувань без виграшу; t15= 0.82, нс). Аналогічно, під час кондиціонування не було різниці RT для різних фрактальних зображень 3 (ймовірність 0.8: RT = 370.1 мс, SD = 79 мс; ймовірність 0.4: RT = 354.4, SD = 73.8ms; ймовірність 0: RT = 372.2ms, SD = 79.3ms; F (1,12) = 0.045, нс). Останній аналіз RT виключав трьох суб'єктів через технічні проблеми під час збору даних.

При аналізі даних fMRI, 2 × 3 ANOVA з новизною факторів (роман, знайомий) та ймовірністю винагороди (p = 0, p = 0.4, p = 0.8) показав головний ефект новизни двосторонньо в гіпокампі (Малюнок 2A) та правий стриатум, виправлений FDR для обсягу пошуку рентабельності інвестицій. Простий основний ефект винагороди ('p = 0.8> p = 0') спостерігався в лівому комплексі SN / VTA (Малюнок 2B) і в рамках двостороннього стриатуму (Малюнок 2C). Подивитися Таблиця 1 для всіх активованих областей мозку.

малюнок 2 

Результати fMRI
Таблиця 1 

Результати fMRI

Ми не спостерігали новину × взаємодію вірогідності винагороди при виправленні декількох тестів протягом усього обсягу пошуку наших рентабельності інвестицій. Однак, виконуючи пост-хок-аналіз (t-тест) трьох пікових вокселів, що показують головний ефект винагороди у стриатумі, ми виявили (ортогональні) ефекти новизни та її взаємодію з винагородою: один воксель також показав головний ефект новизна і взаємодію новизни × нагорода, тоді як інший воксель також показав головний ефект новизни.

Як показано в фігура 2C (середній), у першому вокселі ([8 10 0]; основний ефект винагороди F (2,30) = 8.12, P = 0.002; основний ефект новинки F (1,15) = 7.03, P = 0.02; новинка × взаємодія винагороди F (2,30) = 3.29, P = 0.05) цей ефект був зумовлений вищими BOLD-реакціями на випробування з імовірністю винагороди 0.4 і передував новій картині (post-hoc t-тест: t (15) = 3.48 , Р = 0.003). У другому вокселі (2C праворуч) ([−10 14 2] основний ефект винагороди F (2,30) = 13.13, P <0.001; основний ефект новинки F (1,15) = 9.19, P = 0.008; немає значна взаємодія F (2,30) = 1.85, нс) пост-hoc t-тести знову продемонстрували, що основний ефект новизни зумовлений різницею між новими та звичними зображеннями при двох низьких ймовірностях вручення винагороди (t (15) = 2.79, P = 0.014; і t (15) = 2.19, P = 0.045, для ймовірності p = 0 та p = 0.4 відповідно) (див. фігура 2C). На відміну від третього вокселя (2C залишив [−22 4 0] головний ефект винагороди, F (2,30) = 9.1, P = 0.001) не виявив головного ефекту новизни (F (1,15) = 2.33, нс) ні взаємодія (F (2,30) = 1.54, нс).

У середньому мозку воксель з максимальними відповідями на винагороду ([−8 −14 −8], F (2,30) = 12.19, P <0.001) також продемонстрував тенденцію до головного ефекту новизни (F (1,15 , 4.18) = 0.059, Р = 2,30) за відсутності значної взаємодії (F (0.048) = XNUMX, нс).

Обговорення

Нові образи сцен посилюють смугасті відповіді на винагороду, що виникають у результаті подальших та непов'язаних нагородних подій (передбачення абстрактних підказів та вручення нагород). Як і очікувалося, нові зображення також активували гіпокамп. Ці висновки дають перші свідчення, наскільки нам відомо, фізіологічне передбачення того, що активізація гіпокампи, пов'язана з новинками, повинна чинити контекстно посилюючий ефект на переробку винагород у вентральній смузі (Лісман і Грейс, 2005; Bunzeck і Duzel, 2006).

Завдяки властивостям сигналу BOLD, тимчасова близькість виграш-прогнозуючого кия та результату доставки заважала окремо оцінювати ефекти новизни на ці події. Швидше ми розглядали послідовність київ-результатів як складну подію і виявили, що ефект новизни на обробку винагород змінюється як функція ймовірності настання винагороди. Покращення спостерігалося лише тоді, коли ймовірність передбачуваної винагороди була низькою (0 або 0.4) і відсутня для високої ймовірності винагороди (0.8) (Малюнок 2C). Важливо зауважити, що цю модель результатів не можна пояснити незалежними ефектами новизни та винагороди в одному регіоні. Сміливі ефекти, спричинені двома функціонально виразними, але просторово перекриваються нейронними популяціями, будуть суттєвими, незалежно від ймовірності винагороди, і, отже, призведуть до ефекту новизни також у ймовірності умови 0.8. Таким чином, ці залежні від вірогідності ефекти новизни на обробку винагороди суперечать можливості того, що вони відображають забруднення за допомогою СИЛИХ відповідей, викликаних самими новими стимулами. Швидше за все, дані свідчать, що контекстна новизна збільшувала обробку винагороди сама по собі, хоча і лише за умови низької ймовірності.

Як було пояснено вище, ми не могли розмежувати BOLD відповіді між очікуванням винагороди (сигналами) та видачею винагороди (результатами). Новинка, можливо, вибірково збільшила обробку результатів, що не приносять користь (жодних виграшних випробувань). Це було б узгоджено з тим, що ми не спостерігали суттєвого ефекту новизни у випробуваннях з високою ймовірністю винагороди, оскільки 80% цих випробувань призвели до отримання винагороди. Крім того, новизна, можливо, вплинула на очікування винагороди для знаків, які прогнозували отримання винагороди з низькою ймовірністю (наприклад, 0 та 0.4). У будь-якому випадку контекстна новизна покращила уявлення мозку щодо тих подій, які об'єктивно були менш корисними. Більше того, відсутність новизної модуляції нагородних сигналів в умовах високої ймовірності навряд чи буде пов’язано з ефектом граничного ефекту при обробці винагороди. Попередня робота показала, що відповіді, пов'язані з винагородою в людському стриматі, масштабуються адаптивно в різних контекстах, що призводить до сигналу, який представляє, сприятливий чи несприятливий результат у певній обстановці (Nieuwenhuis et al. 2004). Таким чином, можна очікувати, що відповіді на винагороду також повинні містити бонус за новинку в умовах високої ймовірності винагороди.

Добре встановлено, що мозок приматів дізнається про значення різних стимулів, що поєднуються з винагородою, в класичних експериментах з кондиціонування, вимірюваними підвищеним очікуванням результату (наприклад, посиленим облизуванням). У цьому експерименті ми вимірювали час реакції під час фази кондиціонування, але не виявили відмінностей між різними рівнями прогнозованої сили сигналу. Беручи до уваги простоту завдання та швидкість реагування випробовуваних (<375 мс для всіх умов), ця відсутність диференціальної реакції може бути обумовлена ​​ефектом стелі. Незважаючи на відсутність об'єктивних показників поведінки для кондиціонування, успішне використання цього типу репліки в попередніх дослідженнях (наприклад, O'Doherty et al., 2003) припускає, що суб'єкти все ще утворюють зв'язок між сигналами та різними ймовірностями отримання винагороди.

У попередній роботі сигнали про винагороду в стриатумі були пов'язані з різноманітними властивостями, пов'язаними з винагородою як у людини, так і у приматів, що не належать людині, включаючи ймовірність (Preuschoff та ін., 2006; Tobler et al., 2008), величина (Knutson et al., 2005), невизначеність (Preuschoff та ін., 2006) та значення дії (Samejima та ін., 2005). Це різноманіття змінних, пов'язаних із винагородою, виражених у стриатумі, добре поєднується з його роллю лімбічного / сенсомоторного інтерфейсу, що має вирішальну роль в організації поведінки, спрямованої на цілі (Wickens та ін., 2007). І SN / VTA, і стриатум, одне з головних місць прогнозування дофамінової системи середнього мозку, також реагують на прогностичний підбір нагороди та винагороди в класичних умовних парадигмах (наприклад (Delgado et al., 2000; Knutson et al., 2000; Fiorillo et al., 2003; Knutson et al., 2005; Tobler et al., 2005; Wittmann et al., 2005; D'Ardenne та ін., 2008). Відповідно до декількох обчислювальних перспектив, передача дофаміну, що виникає в SN / VTA, викладає смугу про значення умовних подразників через сигнал помилки передбачення (Schultz et al., 1997).

Хоча в класичних дослідженнях обумовленості уявлення про винагороду та не винагороду, виражені в стриатумі, не завжди мають очевидні поведінкові наслідки (O'Doherty et al., 2003; den Ouden et al., 2009), дослідження fMRI систематично показали, що зміни активності смугастої BOLD співвідносяться з помилками прогнозування, пов'язаними зі значенням варіантів вибору, що характеризуються обчислювальними моделями, придатними до поведінкових даних (O'Doherty et al., 2004; Pessiglione et al., 2006). Смугові уявлення про державну цінність, не пов'язані з дією, можуть бути пов’язані із сигналами наявності винагороди, які переводяться на підготовчі відповіді, наприклад, підхід або підбадьорливі ефекти, як це спостерігається в павловсько-інструментальній передачі (ПДФО) (Cardinal et al., 2002; Talmi et al., 2008). Наші дані говорять про те, що новизна модулює такі уявлення про державну цінність, збільшуючи тривалість винагороди або реагуючи на результати, що не приносять користь. Наслідком цієї взаємодії між новизною та винагородою може стати породження безумовних підготовчих відповідей. У реальному світі подібні відповіді призвели б до посилення підходу, коли новизна ототожнюється із сигналом (Wittmann et al., 2008) або випадкове вивчення навколишнього середовища, коли новинка виявлена, але не пов'язана з конкретним сигналом, як це спостерігається в літературі про тварин (Гачки і Kalivas, 1994). Цей погляд також відповідає впливовим обчислювальним моделям (Какаде і Даян, 2002).

Одна з найважливіших структур, яка, ймовірно, бере участь у контекстно розширених відповідях нагород у стриатумі, - це гіпокамп. Як і в попередніх дослідженнях (Tulving та ін., 1996; Strange та ін., 1999; Bunzeck і Duzel, 2006; Wittmann et al., 2007) ми показуємо, що контекстна новизна активізувала гіпокамп сильніше, ніж знайомство. Враховуючи його сильні (непрямі) прогнози на SN / VTA, ми припускаємо, що ця структура є імовірним джерелом сигналу новизни дофамінергічній системі середнього мозку (Лісман і Грейс, 2005; Bunzeck і Duzel, 2006). Дофамінергічний середній мозок також отримує введення з інших областей мозку, таких як префронтальна кора, яка також могла передавати їй новинні сигнали (Fields et al., 2007). Однак, маючи на увазі доказові дані, ми вважаємо гіпокамп найбільш ймовірним кандидатом на стимулювання дезінгібіції дофамінових нейронів середнього мозку, що пояснювало б посилення смугастих нагородних сигналів у контексті новизни. З іншого боку, залежність від ймовірності модерації ефекту контекстної новинки, в свою чергу, може виникнути в префронтальній корі (PFC). Фізіологічні дослідження показують, що збільшення приводу ПФК до нейронів SN / VTA посилює дофамінергічну модуляцію лише областей ПФК, але не вводить дофамінергічну в вентральну смугу (Margolis et al., 2006). За допомогою такого механізму PFC міг регулювати залежність від ймовірності контекстуальних ефектів новизни на SN / VTA та вентральне смугасте представлення нагород.

Підсумовуючи, нинішні результати демонструють, що контекстна новизна збільшує обробку винагород у стриатумі у відповідь на непов'язані підказки та результати. Ці результати сумісні з прогнозами моделі полісинаптичного шляху (Лісман і Грейс, 2005), в яких новинні сигнали гіпокампа забезпечують механізм контекстуального регулювання віднесення пиломатеріалу до споріднених подій.

Додатковий матеріал

Подяки

Ця робота була підтримана грантом довірчого проекту (для ED та RJD 81259) www.wellcome.ac.uk; RD підтримується програмою грантів для довіри за проектом Wellcome. MG має стипендію Марі Кюрі (www.mariecurie.org.uk). KES визнає підтримку проекту SystemX.chh NEUROCHOICE.

Список довідок

  • Aron AR, Shohamy D, Clark J, Myers C, Gluck MA, Poldrack RA. Чутливість середнього мозку людини до когнітивного зворотного зв’язку та невизначеності під час класифікаційного навчання. J Нейрофізіол. 2004; 92: 1144 – 1152. [PubMed]
  • Berridge KC, Robinson TE. Розбір нагороди. Тенденції Neurosci. 2003: 26: 507 – 513. [PubMed]
  • Bunzeck N, Duzel E. Абсолютне кодування новизни стимулу в людській речовині nigra / VTA. Нейрон. 2006; 51: 369 – 379. [PubMed]
  • Кардинал Р.Н., Паркінсон JA, зал J, Everitt BJ. Емоція і мотивація: роль мигдалини, вентрального стриатума і префронтальної кори. Neurosci Biobehav Rev. 2002, 26: 321 – 352. [PubMed]
  • D'Ardenne K, McClure SM, Nystrom LE, Cohen JD. Сміливі відповіді, що відображають дофамінергічні сигнали в тегментальній зоні вентралі людини. Наука. 2008; 319: 1264 – 1267. [PubMed]
  • Delgado MR, Nystrom LE, Fissell C, Noll DC, Fiez JA. Відстеження гемодинамічних реакцій на винагороду і покарання в стриатуме. J Neurophysiol. 2000: 84: 3072 – 3077. [PubMed]
  • den Ouden HE, Friston KJ, Daw ND, McIntosh AR, Stephan KE. Подвійна роль для помилки прогнозування в асоціативному навчанні. Кортекс Цереба. 2009; 19: 1175 – 1185. [PMC безкоштовна стаття] [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Функціональна візуалізація дофамінергічного середнього мозку людини. Тенденції Neurosci. 2009 [PubMed]
  • Поля HL, Hjelmstad GO, Margolis EB, Nicola SM. Нейрони вентральної тегментальної області в вивченій апетитній поведінці та позитивному підкріпленні. Annu Rev Neurosci. 2007; 30: 289 – 316. [PubMed]
  • Fiorillo CD, Тоблер П.Н., Шульц В. Дискретне кодування ймовірності винагороди і невизначеності нейронів дофаміну. Наука. 2003: 299: 1898 – 1902. [PubMed]
  • Floresco SB, West AR, Ash B, Moore H, Grace AA. Різна модуляція випалення дофамінових нейронів по-різному регулює тонічну та фазову передачу дофаміну. Nat Neurosci. 2003; 6: 968 – 973. [PubMed]
  • Frank MJ, Seeberger LC, O'Reilly RC. Морквою чи палицею: когнітивне підкріплення навчання паркінсонізму. Наука. 2004; 306: 1940 – 1943. [PubMed]
  • Фрістон К.Д., Флетчер П, Джозефс О, Холмс А, МДР Ругг, Тернер Р. Пов'язані з подіями фМРІ: характеризують диференційні відповіді. Нейроімідж. 1998; 7: 30 – 40. [PubMed]
  • Грейс А.А., Банні Б.С. Внутрішньоклітинна та позаклітинна електрофізіологія нігральних дофамінергічних нейронів – 1. Ідентифікація та характеристика. Неврологія. 1983; 10: 301–315. [PubMed]
  • Гачки MS, Kalivas PW. Залучення дофаміну та передачі збудливих амінокислот у рухову активність, спричинену новизною. J Pharmacol Exp Ther. 1994; 269: 976 – 988. [PubMed]
  • Хаттон С, Борк А, Джозефс О, Дейхманн Р, Ешбернер Дж, Тернер Р. Корекція спотворень зображення у фМРТ: Кількісна оцінка. Нейроімідж. 2002; 16: 217 – 240. [PubMed]
  • Kakade S, Dayan P. Dopamine: узагальнення та бонуси. Нейронна мережа. 2002; 15: 549 – 559. [PubMed]
  • Knutson B, Westdorp A, Kaiser E, Hommer D. FMRI візуалізація мозкової діяльності під час затримки грошового стимулювання. Нейроімідж. 2000; 12: 20 – 27. [PubMed]
  • Кнутсон Б, Тейлор Дж, Кауфман М, Петерсон Р, Гловер Г. Розподілене нейронне представлення очікуваної величини. J Neurosci. 2005; 25: 4806 – 4812. [PubMed]
  • Lisman JE, Грейс А.А. Цикл гіпокампу-VTA: контроль надходження інформації в довгострокову пам'ять. Нейрон. 2005: 46: 703 – 713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Відгуки дофамінових нейронів мавпи під час вивчення поведінкових реакцій. J Neurophysiol. 1992: 67: 145 – 163. [PubMed]
  • Maldjian JA, Laurienti PJ, Burdette JH. Прецентральна розбіжність звивин в електронних версіях атласу Талайраха. Нейроімідж. 2004; 21: 450 – 455. [PubMed]
  • Maldjian JA, Laurienti PJ, Kraft RA, Burdette JH. Автоматизований метод опитування на основі нейроанатомічних та цитоархітектонічних атласів наборів даних fMRI. Нейроімідж. 2003; 19: 1233 – 1239. [PubMed]
  • Margolis EB, Lock H, Chefer VI, Shippenberg TS, Hjelmstad GO, Fields HL. Каппа-опіоїди вибірково контролюють дофамінергічні нейрони, що виступають на префронтальну кору. Proc Natl Acad Sci США A. 2006; 103: 2938 – 2942. [PMC безкоштовна стаття] [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Нерозбірлива роль вентральної та дорсальної смуги в інструментальному кондиціонуванні. Наука. 2004; 304: 452 – 454. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Моделі часової різниці та навчання, пов'язане з нагородами, в людському мозку. Нейрон. 2003; 38: 329 – 337. [PubMed]
  • Пессіліон М, Сеймур В, Фландін Г, Долан Р.Д., Фрит ФД. Помилки прогнозування залежних від допаміну лежать в основі поведінки, яка шукає винагороди у людей. Природа. 2006; 442: 1042 – 1045. [PMC безкоштовна стаття] [PubMed]
  • Preuschoff K, Bossaerts P, Quartz SR. Нейрова диференціація очікуваної винагороди та ризику в підкіркових структурах людини. Нейрон. 2006; 51: 381 – 390. [PubMed]
  • Samejima K, Ueda Y, Doya K, Kimura M. Представлення значень нагород, що визначаються для дії. Наука. 2005; 310: 1337 – 1340. [PubMed]
  • Шульц В., Даян П, ПР Монтегю. Нейронний субстрат передбачення і винагороди. Наука. 1997: 275: 1593 – 1599. [PubMed]
  • Дивні BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Розділення функцій гіпокампу людини. Proc Natl Acad Sci США A. 1999; 96: 4034 – 4039. [PMC безкоштовна стаття] [PubMed]
  • Talmi D, Seymour B, Dayan P, Dolan RJ. Павловій-інструментальний трансфер людини. J Neurosci. 2008; 28: 360 – 368. [PMC безкоштовна стаття] [PubMed]
  • Тоблер П.Н., Фіорільо CD, Шульц В. Адаптивне кодування цінності винагороди нейронами дофаміну. Наука. 2005: 307: 1642 – 1645. [PubMed]
  • Tobler PN, Christopoulos GI, O'Doherty JP, Dolan RJ, Schultz W. Нейронні спотворення ймовірності винагороди без вибору. J Neurosci. 2008; 28: 11703 – 11711. [PMC безкоштовна стаття] [PubMed]
  • Tulving E, Markowitsch HJ, Craik FE, Habib R, Houle S. Новизна та активізація знайомств у ПЕТ-дослідженнях кодування та пошуку пам'яті. Кортекс Цереба. 1996; 6: 71 – 79. [PubMed]
  • Weiskopf N, Helms G. Багатопараметричне відображення мозку людини при роздільній здатності 1mm менш ніж за 20 хв; ISMRM 16; Торонто, Канада. 2008.
  • Вайскопф N, Хаттон С, Джозефс О, Дейхман Р. Оптимальні параметри EPI для зниження втрат чутливості, спричинених сприйнятливістю: аналіз цілого мозку при 3 T і 1.5 T. Neuroimage. 2006; 33: 493 – 504. [PubMed]
  • Wickens JR, Horvitz JC, Costa RM, Killcross S. Допамінергічні механізми в діях і звичках. J Neurosci. 2007; 27: 8181 – 8183. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Очікування новизни системи нагородження новобранців та гіпокампу, сприяючи спогаду. Нейроімідж. 2007; 38: 194 – 202. [PMC безкоштовна стаття] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Смугальна активність лежить в основі вибору, орієнтованого на новинки, у людини. Нейрон. 2008; 58: 967 – 973. [PMC безкоштовна стаття] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Активізація FMRI активації дофамінергічного середнього мозку пов'язана з посиленим формуванням довготривалої пам’яті, залежною від гіпокампу. Нейрон. 2005; 45: 459 – 467. [PubMed]