Kontekstowa interakcja między nowością a przetwarzaniem nagrody w systemie mezolimbicznym (2012)

  • Hum Brain Mapp. 2012 Jun; 33 (6): 1309 – 1324.
  • Opublikowane online 2011 Apr 21. doi:  10.1002 / hbm.21288

Nico Bunzeck,*,1 Christian F Doeller,2,3,4 Ray J Dolan,5 i Emrah Duzel2,6

Ten artykuł został cytowany przez inne artykuły w PMC.

Idź do:

Abstrakcyjny

Pamięć długoterminowa zależna od płata skroniowego (MTL) dla nowych zdarzeń jest modulowana przez obwód, który również reaguje na nagrodę i obejmuje prążkowate brzuszne, dopaminergiczne śródmózgowia i przyśrodkową korę oczodołowo-czołową (mOFC). Ta wspólna sieć neuronowa może odzwierciedlać funkcjonalne połączenie między nowością a nagrodą, dzięki czemu nowość motywuje eksplorację w poszukiwaniu nagród; link określił również nowość „premią eksploracyjną”. Użyliśmy fMRI w paradygmacie kodowania scen, aby zbadać interakcję między nowością a nagrodą, skupiając się na sygnałach neuronalnych podobnych do premii eksploracyjnej. Zgodnie z oczekiwaniami, pamięć długoterminowa związana z nagrodami dla scen (po godzinach 24) silnie korelowała z aktywnością MTL, prążkowia brzusznego i istoty czarnej / brzusznej nakrywki nakrywkowej (SN / VTA). Ponadto hipokamp wykazał główny efekt nowości, prążkowie wykazało główny efekt nagrody, a mOFC zasygnalizował zarówno nowość, jak i nagrodę. W hipokampie znaleziono interakcję między nowością a nagrodą podobną do premii eksploracyjnej. Dane te sugerują, że sygnały nowości MTL są interpretowane w kategoriach ich właściwości przewidywania nagrody w mOFC, co zniekształca odpowiedzi nagrody prążkowia. Następnie prążkowie wraz z SN / VTA reguluje zależną od MTL długoterminową pamięć i dodatkowe sygnały kontekstowe eksploracji w hipokampie.

Słowa kluczowe: nowość, nagroda, układ mezolimbiczny, pamięć, hipokamp, ​​istota czarna / brzuszna powierzchnia nakrywkowa, prążkowie brzuszne, mOFC, premia eksploracyjna

WPROWADZENIE

Nowość to motywacyjny motyw uczenia się, który przyciąga uwagę, promuje kodowanie pamięci i modyfikuje zachowania ukierunkowane na cel [Rycerz,1996; Lisman and Grace, 2005; Mesulam, 1998; Sokolov, 1963]. Najnowsze dowody z badań na naczelnych ludzi i ludzi dowodzą możliwości, że motywacyjne aspekty nowości częściowo odnoszą się do wspólnych właściwości z nagrodą [Bunzeck i Duzel, 2006; Kakade i Dayan, 2002; Mesulam, 1998]. Ta sugestia wynika z obserwacji, że w badaniach na zwierzętach obszar istoty czarnej / brzusznej nakrywki (SN / VTA) śródmózgowia jest aktywowany przez bodźce, które przewidują nagrody, jak również bodźce, które są nowe [Ljungberg, et al. 1992]; do recenzji patrz [Lisman and Grace, 2005]. Podobnie ludzki SN / VTA jest aktywowany przez nagrodę [Knutson i Cooper, 2005] i nowość [Bunzeck i Duzel, 2006; Bunzeck, et al. 2007; Wittmann i in. 2005], jak również wskazówki przewidujące ich wystąpienie [Knutson i Cooper, 2005; O'Doherty, i in. 2002; Wittmann i in. 2005, 2007]. Neurotransmiter dopamina produkowany w SN / VTA głęboko reguluje motywacyjne aspekty zachowania [Berridge, 2007; Niv, et al. 2007].

Ponadto istnieją zbieżne dowody, że hipokamp, ​​struktura przyśrodkowego płata skroniowego (MTL), która jest krytyczna dla tworzenia długoterminowych epizodycznych pamięci dla nowych zdarzeń, jest również zaangażowana w różne formy uczenia się nagrody [Devenport, et al.1981; Holscher i in. 2003; Ploghaus i in. 2000; Purves i in. 1995; Rolls and Xiang, 2005; Solomon i in. 1986; Tabuchi i in. 2000; Weiner, 2003; Wirth, et al. 2009]. Na przykład hipokamp gryzonia wykazuje zwiększoną aktywność w ramionach labiryntu z przynętą, ale nie w niezałatanych [Holscher, et al. 2003]; u naczelnych niebędących ludźmi bierze udział w stowarzyszeniach nagradzających miejsce nauki [Rolls i Xiang, 2005]; aktywność hipokampa wynika z reguł uczenia się błędu prognozowania dla bodźców awersyjnych u ludzi [Ploghaus, et al. 2000]; i nagroda zwiększa synchronizację między hipokampem a jądrem półleżącym neuronów [Tabuchi, et al. 2000].

Wspólność w skutkach nagrody i nowości można pogodzić teoretycznie z sugestią, że nowość działa motywująco na eksplorację środowiska do zbierania nagród [Kakade i Dayan,2002]. Zgodnie z tą sugestią, kluczową właściwością motywacyjną nowości jest jej potencjał do przewidywania nagród, podczas gdy znane bodźce, jeśli powtarzane w przypadku braku nagrody, stopniowo tracą ten potencjał. Hipoteza premii eksploracyjnej składa się z dwóch typów przewidywań: pierwsza odnosi się do siły, z którą status nowości lub znajomości może przewidzieć nagrodę, a drugi odnosi się do kontekstowo odległych skutków tej przygodności na inne bodźce. Według pierwszej prognozy bycie nowym bodźcem powinno być silniejszym predyktorem nagrody niż bycie znanym bodźcem [np. Wittmann i in. 2008]. Oznacza to, że gdy nowe bodźce przewidują nagrodę, oczekiwana nagroda powinna być wyższa niż wtedy, gdy znane bodźce przewidują nagrody. Drugą (bardziej pośrednią) prognozą jest to, że motywujący motywacyjnie efekt nowości na zachowanie eksploracyjne powinien mieć wpływ kontekstowy na motywacyjne znaczenie innych bodźców obecnych w tym samym kontekście. Kompatybilny z tą sugestią, Bunzeck i Duzel [ 2006] wykazali, że w kontekście, w którym obecne są nowe bodźce, znane bodźce wykazują mniejsze tłumienie powtórzeń w strukturach MTL. Sugeruje to, że nawet w przypadku braku wyraźnej nagrody, w kontekście, w którym obecne są nowe bodźce, istnieje silniejsza motywacja do eksplorowania również znanych bodźców w tym kontekście [Bunzeck i Duzel, 2006]. Jednak do tej pory te prognozy dotyczące związku między nowością a nagrodą nie były testowane bezpośrednio. W kategoriach eksperymentalnych wymaga to manipulowania właściwością przewidywania nagrody nowości, tak aby nagrody w danym kontekście były przewidywane albo przez bycie nowym, albo przez znajomość. Tutaj wykorzystaliśmy to eksperymentalne podejście do zbadania funkcjonalnej interakcji między nowością a nagrodą w badaniu fMRI.

Zrozumienie funkcjonalnej interakcji między nowością a nagrodą ma głębokie implikacje dla zrozumienia, w jaki sposób regulowana jest długoterminowa plastyczność dla nowych bodźców. Duża ilość dowodów fizjologicznych pokazuje, że dopamina pochodząca z SN / VTA nie tylko reguluje motywacyjne aspekty zachowania, ale ma kluczowe znaczenie dla wzmocnienia i stabilizacji plastyczności hipokampa [Frey i Morris,1998; Li, et al. 2003] i konsolidacja pamięci zależna od hipokampu [O'Carroll, et al. 2006]. Zgodnie z tzw. Modelem pętli hipokampa-VTA [Lisman and Grace, 2005] w hipokampie generowane są nowe sygnały, które są przekazywane do SN / VTA przez jądro półleżące i bladość brzuszną [Lisman i Grace, 2005]. Chociaż model kładzie nacisk na nowość jako kluczowy sygnał poznawczy do modulowania dopaminy z SN / VTA, to wyraźnie rodzi pytanie, w jaki sposób czynniki motywacyjne regulują wpływ nowości na aktywność hipokampa i SN / VTA. Celem tego badania jest podejście do tego pytania z punktu widzenia wspólnych właściwości między nowością i nagrodą a ich interakcją funkcjonalną.

Jeśli nowość działa jak sygnał, który motywuje eksplorację do zbierania nagród [Bunzeck i Duzel,2006; Kakade i Dayan, 2002; Wittmann i in. 2008] części pętli hipokampa-SN / VTA powinny pokazywać jedynie preferencyjną odpowiedź na nowość w kontekście, w którym bycie nowatorskim przewiduje nagrody, ale nie w kontekście, w którym znajomość przewiduje nagrodę. W tym samym czasie nagradzane jest wzmocnienie eksploracji, gdy jest się nowatorskim, co powinno wzmocnić reakcje hipokampa na znane bodźce, które są prezentowane w tym samym kontekście, nawet jeśli nie przewidywałyby nagród. W przeciwieństwie do tego, w kontekście, w którym znajomość, ale nie nowość, przewiduje nagrody, powinno być mniej motywacji kontekstowej do eksploracji, aw konsekwencji aktywność hipokampa powinna być niska zarówno dla powieści, jak i dla znanych bodźców w tym kontekście. Stąd hipoteza, że ​​nowość ma wewnętrzną właściwość motywowania zachowań eksploracyjnych w poszukiwaniu nagród, prowadzi do przewidywania interakcji między stanem bodźców nowości i nagrody. W związku z tym hipokamp reagowałby silnie zarówno na nowatorskie, jak i znane bodźce, gdy byłby nowatorski, przewidując nagrodę, a słabo zarówno na nowatorskie, jak i znane bodźce, gdy był znany, przewidując nagrodę.

Alternatywną możliwością jest to, że nowość i status nagrody informacji są niezależne. Zgodnie z tą możliwością nie powinno być żadnej funkcjonalnej interakcji między nowością a nagrodą. Innymi słowy, części pętli hipokampa-SN / VTA wyrażałyby jedynie główny efekt nowości lub nagrody, ale brak interakcji między nimi.

Podsumowując, manipulowanie przypadkowością między nowością a nagrodami może pomóc w zrozumieniu kluczowych mechanizmów, które napędzają nowatorskie reakcje w systemie mezolimbicznym. W tym celu opracowaliśmy paradygmat, w którym otrzymanie nagrody pieniężnej było uzależnione od statusu nowości obrazów scen [Bunzeck, et al.2009]. Zatem podejmowanie właściwych decyzji dotyczących preferencji nagrody (patrz metody) było możliwe tylko po prawidłowym rozróżnieniu nowych i znanych bodźców. Co ważne, oceniliśmy pamięć rozpoznawczą jeden dzień po zakodowaniu, a zatem byliśmy w stanie zidentyfikować, w jakim stopniu składniki pętli hipokampa-SN / VTA korelują ze związanym z nagrodą wzmocnieniem pamięci długoterminowej dla nowych i znanych bodźców.

MATERIAŁY I METODY

Przeprowadzono dwa eksperymenty. Podczas gdy pierwszy eksperyment (Eksperyment 1) był eksperymentem behawioralnym, drugi eksperyment (Eksperyment 2) obejmował miary behawioralne i fMRI.

Tematy

W eksperymencie 1 wzięło udział 17 dorosłych (13 kobiet i 19 mężczyzn; przedział wiekowy 33–23.1 lata; średnia 4.73; SD = 14 lat), a 2 osób dorosłych wzięło udział w eksperymencie 19 (34 mężczyzn i 22.4 kobiet; zakres wieku: 3.8–XNUMX lata) ; średnia = XNUMX lat; SD = XNUMX lat). Wszyscy badani byli zdrowi, praworęczni i mieli ostrość widzenia normalną lub skorygowaną do normalnej. Żaden z uczestników nie zgłosił historii zaburzeń neurologicznych, psychiatrycznych lub medycznych ani żadnych aktualnych problemów zdrowotnych. Wszystkie eksperymenty przeprowadzono za pisemną świadomą zgodą każdego badanego i zgodnie z lokalnym zezwoleniem etycznym (University College London, Wielka Brytania).

Projekt eksperymentalny i zadanie

W obu eksperymentach przeprowadzono trzy zestawy (1) fazy zapoznawczej, a następnie (2) zadanie oceny preferencji oparte na pamięci rozpoznawania. W tym przypadku dla każdego zestawu użyto nowych obrazów, co zaowocowało użyciem powieści 120 i znanych 120. Procedury eksperymentalne były identyczne dla obu eksperymentów, z wyjątkiem tego, że Experiment 1 przeprowadzono na ekranie komputera i Experiment 2 przeprowadzono wewnątrz skanera MRI. (3) W dniu drugim przetestowano dwie pamięci rozpoznawania dla wszystkich prezentowanych obrazów, stosując procedurę „zapamiętaj / wiedz” (patrz poniżej).

(1) Zapoznanie się z tematyką: Przedmioty były początkowo zaznajomione z zestawem obrazów 40 (obrazy 20 indoor i 20 outdoor). Tutaj każdy obraz był prezentowany dwukrotnie w losowej kolejności dla 1.5 z interwałem międzymiastowym (ISI) 3 s, a badani wskazywali status wewnątrz / na zewnątrz za pomocą prawego wskaźnika i środkowego palca. (2) Test pamięci rozpoznawczej: następnie uczestnicy wykonywali zadanie oceny preferencji oparte na pamięci rozpoznania 9 (sesja). Ta część (sesja) została następnie podzielona na dwa bloki zawierające każdy obraz 20 z fazy zapoznawania (określane jako „znajome obrazy”) i wcześniej nie prezentowane obrazy 20 (określane jako „nowe obrazy”; przedmioty mogły wstrzymywać się na 20 między Bloki). W każdym bloku nowy obraz służył jako CS +, a znajome jako CS - lub odwrotnie (Rys .. 1). Uczestnicy zostali poinstruowani, aby dokonać oceny „preferencji” dla każdego obrazu, naciskając przycisk z dwoma wyborami, wskazując „Wolę” lub „Nie preferuję” w zależności od ewentualności między statusem nowości a wartością wzmocnienia. Co ważne, termin „preferowany” i „nie preferowany” odnosi się raczej do statusu przewidywania obrazu (w zależności od kontyngentu kontekstowego) niż do estetycznych właściwości obrazu.

Rysunek 1 

Projekt eksperymentalny.

Przypadkowość była losowa i wskazywana na ekranie przed każdym uruchomieniem przez „Nowość zostanie nagrodzona, jeśli jest preferowana” (w tym przypadku nowe obrazy służyły jako CS + i znane obrazy jako CS−) lub „Znajomość zostanie nagrodzona, jeśli będzie preferowana” (tutaj znane obrazy służyły jako CS + i nowe obrazy jako CS−). Tylko poprawne odpowiedzi „Wolę” po CS + doprowadziły do ​​wygranej £ 0.50, podczas gdy (niepoprawne) odpowiedzi „wolę” po CS- doprowadziły do ​​utraty £ -0.10. Zarówno poprawne odpowiedzi „Nie preferuję” po odpowiedziach CS- i (niepoprawnych) „Nie preferuję” po CS + nie doprowadziły ani do zwycięstwa, ani do straty. Obrazy były prezentowane w losowej kolejności dla 1 s na szarym tle, a następnie przez biały krzyż fiksacyjny dla 2 s (ISI = 3 s). Aby upewnić się, że odpowiedzi nagród neuronowych były ograniczone do prezentowanych obrazów (tj. Raczej oczekiwanie na nagrodę niż wynik), żadna informacja zwrotna nie została udzielona na próbie na podstawie próby. Zamiast tego badani byli informowani o ich ogólnej wydajności po każdej sesji (zawierającej bloki 2 z każdym kontyngentem). Przed eksperymentem badani zostali poinstruowani, by odpowiedzieć tak szybko i tak poprawnie, jak to możliwe, i że tylko 20% wszystkich zarobków zostanie wypłaconych.

Wszystkie obrazy były skalowane na szaro i normalizowane do średniej wartości szarej 127 i odchylenia standardowego 75. Żadna ze scen nie przedstawia ludzi ani części istot ludzkich, w tym twarzy na pierwszym planie.

Szkolenia

Każdy badany przeszedł dwie sesje treningowe przed eksperymentem. Podobnie jak w przypadku rzeczywistego eksperymentu, obie fazy treningowe rozpoczęły się od fazy zapoznawczej, podczas której tylko 10 obrazów było prezentowanych dwukrotnie w przypadkowej kolejności (czas trwania = 1.5 s; ISI = 3 s), a badani wskazywali swój status w pomieszczeniu / na zewnątrz. Podobnie jak w przypadku głównego eksperymentu, po zapoznaniu się z oceną preferencji oparto na pamięci, w tym znane i nowe obrazy. W celach szkoleniowych podczas sesji szkoleniowej 1 informacje zwrotne były przekazywane próbnie po każdej odpowiedzi. W sesji treningowej 2 informacja zwrotna o nagrodzie nie była wyświetlana natychmiast po każdym bodźcu / odpowiedzi. Po każdej sesji szkoleniowej uczestnikowi podawano wynagrodzenie finansowe (maksymalnie 1 GBP). W eksperymencie 2 badani przeszli również krótką sesję szkoleniową zawierającą 10 znanych i 10 nowych obrazów na blok awaryjny odpowiedzi.

Dzień później uczestnicy wykonali test pamięci przypadkowego rozpoznania po procedurze „pamiętaj / poznaj” [Tulving,1985]. Tutaj, w kolejności losowej, wszystkie wcześniej oglądane zdjęcia 240 (60 na stan) zostały przedstawione wraz z nowymi obrazami 60 na środku ekranu komputera. Zadanie: Podmiot najpierw podjął „starą / nową” decyzję dla każdego indywidualnie przedstawionego zdjęcia, używając prawego wskaźnika lub środkowego palca. Po „nowej” decyzji badani zostali poproszeni o wskazanie, czy są pewni siebie („na pewno nowy”) lub niepewni („zgadnij”), ponownie używając prawego wskaźnika i środkowego palca. Po „starej” decyzji badani zostali poproszeni o wskazanie, czy są w stanie zapamiętać coś konkretnego na temat oglądanej sceny („zapamiętaj odpowiedź”), po prostu poczuli znajomość obrazu bez żadnego wspomnienia („znajoma” odpowiedź) lub tylko zgadywaliśmy, że obraz był stary (odpowiedź „zgadnij”). Podmiot miał 4 s do wykonania obu ocen i nastąpiła przerwa 15 po każdym zdjęciu 75.

Metody fMRI

Wykonaliśmy fMRI na skanerze rezonansu magnetycznego 3-Tesla Siemens (Siemens, Erlangen, Niemcy) z obrazowaniem planarnym echa (EPI) przy użyciu kwadraturowej cewki nadawczo-odbiorczej o konstrukcji opartej na zasadzie „klatka dla ptaków”. W sesji funkcjonalnej uzyskano obrazy ważone 48 T2 * (sekwencja EPI; pokrycie całej głowy) na objętość z kontrastem zależnym od poziomu utlenienia krwi (BOLD) (rozmiar matrycy: 64 × 64; skośne osiowe 48 na objętość ustawione pod kątem w kierunku −30 ° na osi przednio-tylnej, rozdzielczość przestrzenna: 3 × 3 × 3 mm; TR = 3120 ms; TE = 30 ms; z-shimming gradient gradientu pre-impulsu PP = 0 mT / m * ms; faza dodatnia -kodowanie polaryzacji). Protokół akwizycji fMRI zoptymalizowano w celu zmniejszenia strat czułości BOLD indukowanej podatnością w dolnych obszarach czołowych i obszarach płatów skroniowych [Deichmann, et al.2003; Weiskopf i in. 2006]. Dla każdego badanego dane funkcjonalne zebrano w trzech sesjach skanowania zawierających 180 woluminów na sesję. Sześć dodatkowych objętości na sesję pobierano na początku każdej serii, aby umożliwić namagnesowanie w stanie ustalonym, a następnie odrzucano je z dalszej analizy. Anatomiczne obrazy mózgu każdego badanego zostały zebrane przy użyciu multi-echo 3D FLASH do mapowania gęstości protonów, T1 i transferu magnetyzacji (MT) z rozdzielczością 1 mm [Helms, et al. 2009; Weiskopf i Helms, 2008] i przez T1 ważone odzyskiwanie inwersji przygotowane sekwencje EPI (IR-EPI) (rozmiar matrycy: 64 × 64; plasterki 64; rozdzielczość przestrzenna: 3 × 3 × 3 mm). Dodatkowo rejestrowano indywidualne mapy pól przy użyciu sekwencji podwójnego echa FLASH (rozmiar macierzy = 64 × 64; plasterki 64; rozdzielczość przestrzenna = 3 × 3 × 3 mm; odstęp = 1 mm; krótki TE = 10 ms; długi TE = 12.46 ms; ; TR = 1020 ms) do korekcji zniekształceń uzyskanych obrazów EPI [Weiskopf, et al. 2006]. Korzystanie z „Przybornika FieldMap” [Hutton i in. 2002, 2004] mapy pola oszacowano na podstawie różnicy faz między obrazami uzyskanymi przy krótkim i długim TE.

Dane fMRI zostały wstępnie przetworzone i poddane analizie statystycznej przy użyciu pakietu oprogramowania SPM5 (Wellcome Trust Center for Neuroimaging, University College London, UK) i MATLAB 7 (The MathWorks, Inc., Natick, MA). Wszystkie obrazy funkcjonalne zostały skorygowane pod kątem artefaktów ruchu przez wyrównanie do pierwszego tomu; skorygowane o zniekształcenia oparte na mapie pola [Hutton, et al.2002]; poprawiono interakcję ruchu i zniekształcenia za pomocą zestawu narzędzi „Unwarp” [Andersson, et al. 2001; Hutton i in. 2004]; przestrzennie znormalizowany do standardowego szablonu SPM ważonego T1 [Ashburner i Friston, 1999] (zwrócono uwagę, aby w szczególności regiony śródmózgowia były dopasowane do standardowego szablonu); ponownie próbkowany do 2 × 2 × 2 mm; i wygładzone izotropowym 4 mm pół-maksymalnym jądrem Gaussa o pełnej szerokości. Taka precyzyjna rozdzielczość przestrzenna w połączeniu ze stosunkowo małym jądrem wygładzającym jest podstawą do wykrywania małych skupisk aktywacji, na przykład w obszarach śródmózgowia i MTL, gdzie zróżnicowane wzory aktywacji (tj. Nowatorskie reakcje i interakcje między nowością a nagrodą ) może znajdować się w bliskim sąsiedztwie [Bunzeck, et al. 2010]. Dane szeregów czasowych fMRI były filtrowane górnoprzepustowo (cutoff = 128 s) i wybielane przy użyciu modelu AR (1). Dla każdego osobnika obliczono model statystyczny związany ze zdarzeniem, tworząc „funkcję sztyftu” dla każdego początku zdarzenia (czas trwania = 0 s), który był spleciony z kanoniczną funkcją odpowiedzi hemodynamicznej w połączeniu z czasem i pochodnymi dyspersji [Friston i in. 1998]. Modelowane warunki obejmowały nowe, nagradzane, nowatorskie, nie nagradzane, znane nagrody, znane, nie nagradzane i niepoprawne odpowiedzi. Aby uchwycić resztkowe artefakty związane z ruchem, uwzględniono sześć zmiennych towarzyszących (trzy przesunięcia ciała sztywnego i trzy obroty wynikające z wyrównania) jako regresory bez zainteresowania. Regionalne specyficzne efekty warunków były testowane przy użyciu liniowych kontrastów dla każdego pacjenta i każdego warunku (analiza pierwszego poziomu). Uzyskane obrazy kontrastu zostały wprowadzone do analizy efektów losowych drugiego poziomu. W tym przypadku efekty hemodynamiczne każdego stanu oceniono za pomocą analiz wariancji 2 × 2 (ANOVA) z czynnikami „nagroda” (nagradzanie, nie nagradzanie) i „nowość” (powieść, znajomość). Model ten pozwolił nam przetestować główne efekty nowości, głównych efektów nagrody i interakcji między nimi. Wszystkie kontrasty były progowane na P = 0.001 (nieskorygowane) z wyjątkiem analiz regresji (P = 0.005, nieskorygowane). Oba stosunkowo liberalne progi zostały wybrane na podstawie naszych dokładnych a priori hipotez anatomicznych w systemie mezolimbicznym.

Anatomiczną lokalizację istotnych aktywacji oceniono w odniesieniu do standardowego atlasu stereotaktycznego, nakładając mapy SPM na jeden z dwóch szablonów grupowych. Szablon grupowy ważony T1 i MT uzyskano z uśrednienia znormalizowanych obrazów T1 lub MT wszystkich pacjentów (rozdzielczość przestrzenna 1 × 1 × 1 mm). Podczas gdy szablon T1 umożliwia anatomiczną lokalizację poza śródmózgowia na obrazach MT, region SN / VTA można odróżnić od otaczających struktur jako jasny pasek, podczas gdy sąsiednie czerwone jądro i szypułka mózgu wydają się ciemne [Bunzeck i Duzel,2006; Bunzeck, et al. 2007; Eckert i in. 2004].

Należy zauważyć, że wolimy używać terminu SN / VTA i rozważyć aktywność BOLD z całego kompleksu SN / VTA z kilku powodów [Duzel, et al.2009]. W przeciwieństwie do wczesnych formulacji VTA jako istoty anatomicznej, różne ścieżki projekcji dopaminergicznej są rozproszone i nakładają się w obrębie kompleksu SN / VTA. W szczególności neurony dopaminowe, które przemieszczają się do regionów limbicznych i regulują zachowania motywowane nagrodą, nie są ograniczone do VTA, ale są one również rozłożone w obrębie SN (pars compacta) [Gasbarri, et al. 1994, 1997; Ikemoto, 2007; Smith and Kieval, 2000]. Funkcjonalnie jest to zbieżne z faktem, że u ludzi i naczelnych neuron DA w SN i VTA odpowiada zarówno na nagrodę, jak i nowość [patrz na przykład Ljungberg, i in., 1992 lub Tobler i in., 2003 w celu przedstawienia stron z nagraniami].

WYNIKI

Wszystkie analizy (behawioralne i fMRI) opierają się na próbach z prawidłowymi odpowiedziami preferencyjnymi.

Experiment 1

Badani z dużą dokładnością rozróżniali warunki w obu kontekstach (Tabela I) i nie było statystycznie istotnych różnic między warunkami. Czas reakcji (Rys. 2A) analiza wykazała, że ​​badani odpowiadali najszybciej na znane bodźce przewidujące nagrodę (wszystkie P's <0.007), ale nie było różnicy między pozostałymi trzema warunkami (powieść-nagroda, powieść-nie-nagroda, znajomy-nie-nagroda; wszystkie P's> 0.05).

Rysunek 2 

Wyniki behawioralne. (A) Czasy reakcji. W obu eksperymentach RT były znacznie szybsze w przypadku znanych nagradzanych obrazów w porównaniu ze wszystkimi innymi warunkami (wszystkie P <0.01) - jak wskazano gwiazdką - ale nie było innej różnicy ...
Tabela I 

Wyniki behawioralne

Wydajność pamięci rozpoznawania - drugi dzień. Analiza pamięci rozpoznawczej opierała się na obu trafieniach (pamiętaj o odpowiedziach, znać odpowiedzi po zdjęciach wcześniej widzianych podczas kodowania) i fałszywych alarmach ([FA]: pamiętaj, wiesz, aby rozpraszać). W pierwszym kroku obliczyliśmy proporcje odpowiedzi „zapamiętaj” i „wiedz” dla starych i nowych obrazów (tj. Współczynników trafień i współczynników FA), dzieląc liczbę trafień (i odpowiednio FA) przez liczbę elementów na stan. Po drugie, skorygowane współczynniki trafień uzyskano dla reakcji zapamiętywania ([Rcorr], zapamiętuj współczynnik trafień minus zapamiętany współczynnik FA) i znanych odpowiedzi ([Kcorr], znać współczynnik trafień minus znany współczynnik FA) (patrz Tabela II). W planowanym porównaniu oceniliśmy wpływ nagrody na ogólną pamięć rozpoznawania (skorygowany wskaźnik trafienia = Rcorr + Kcorr) dla nowatorskich i znanych obrazów. To ujawniło, że nagroda znacząco poprawiła ogólną pamięć dla nowatorskich obrazów w porównaniu z nowymi, nie nagrodzonymi obrazami (P = 0.036), ale nie było takiej poprawy ogólnej pamięci w nagrodę za znane zdjęcia (P > 0.5; Rys. 2). Co więcej, zwiększający się wpływ nagrody na pamięć rozpoznawczą dla nowych obrazów był równie silny dla wspomnień i znajomości, jak ujawniła analiza wariancji (ANOVA; brak interakcji między typem pamięci nagrody a rozpoznaniem [F(1,16) = 2.28, P > 0.15)].

Tabela II 

Pamięć rozpoznawania

Experiment 2

Podobnie jak w Eksperymencie 1, badani rozróżniali warunki w obu kontekstach z wysoką dokładnością i bez istotnych różnic między warunkami (Tabela I). Jak w eksperymencie 1, czas reakcji (Rys. 2A) analiza wykazała, że ​​odpowiedzi były znacznie szybsze dla znanych bodźców przewidujących nagrody (wszystkie P's <0.001), ale nie było różnicy między pozostałymi trzema warunkami (powieść-nagroda, powieść-nie-nagroda, znajomy-nie-nagroda; wszystkie P's> 0.05).

Wydajność pamięci rozpoznawania - drugi dzień. W przeciwieństwie do Experiment 1, pamięć rozpoznawcza dla nowatorskich nagradzanych obrazów nie była znacząco ulepszona w porównaniu z nowymi nieużytkowanymi obrazami (ani ogólna pamięć rozpoznawania, ani Rcorr / Kcorr; P > 0.05, Tabela II). Również w przeciwieństwie do Experiment 1, w eksperymencie 2 rekolekcje dla znanych nagrodzonych obrazów zostały znacznie ulepszone w porównaniu ze znanymi nie nagrodzonymi obrazami (P = 0.001, Tabela II), co spowodowało zwiększenie ogólnej pamięci (Rcorr + Kcorr) dla znanych nagród w porównaniu ze znanymi nie nagrodzonymi obrazami (nie było znaczącej różnicy między skorygowanymi wskaźnikami znanego nagradzanego i znanego nie nagrodzonego obrazu, P > 0.05). Ponadto dane w Tabela II i Rysunek 2B pokazuje, że ogólna wydajność pamięci była znacznie niższa w Experiment 2 w porównaniu z Experiment 1, który był wspierany przez ANOVA efektów mieszanych.

Wyniki fMRI - test pamięci rozpoznawczej oparty na nagrodzie. Najpierw przeanalizowaliśmy dane fMRI za pomocą ANOVA 2 × 2 z czynnikami „nowość” (nowość, znajomość) i „nagroda” (nagroda, brak nagrody). Odkryliśmy główny efekt nowości w obustronnej przyśrodkowej korze oczodołowo-czołowej (mOFC) i prawej MTL, w tym hipokampa i kora nosowa (Rys. 3; zobacz tabelę informacji pomocniczych S1, aby uzyskać pełną listę aktywowanych struktur mózgu. Główny efekt nagrody zaobserwowano w obrębie obustronnego jądra ogoniastego, przegrody / fornixu, prążkowia brzusznego (ncl. Półleżącego), obustronnego mOFC i przyśrodkowej kory przedczołowej (mPFC) (Rys. 4; Tabela informacji pomocniczych S1). Te dwa główne efekty zostały zamaskowane wyłącznie efektami interakcji (wyłączne maskowanie, P = 0.05, nieskorygowane), aby zidentyfikować tylko te regiony, które wyraziły główne efekty przy braku jakiejkolwiek interakcji.

Rysunek 3 

Wyniki fMRI Eksperyment 2. Główny efekt nowości zaobserwowano w prawym hipokampie (A), korze nosa (B) i środkowym OFC (C). Mapy aktywacyjne zostały nałożone na szablon grupy ważony T1 (patrz metody), współrzędne podano w przestrzeni MNI ...
Rysunek 4 

Wyniki fMRI Eksperyment 2. Główny efekt nagrody zaobserwowano w prążkowiu, w tym w ncl. półleżący (A) i ogoniasty ncl. (C), przegroda / fornix (B), środkowa PFC (C) i środkowa OFC (D). Mapy aktywacyjne zostały nałożone na szablon grupy ważony T1 ...

Aby przetestować nasze dwie prognozy dotyczące hipotezy premii poszukiwawczej, przeprowadziliśmy dwie dodatkowe analizy. Po pierwsze, w regionach mózgu, które wykazały główny efekt nagrody, przeanalizowaliśmy, które obszary również wykazały silniejszą odpowiedź na nagrodzone nowatorskie niż znane nagradzane bodźce (tj. Koniunkcja). Analiza ta nie przyniosła żadnych znaczących wyników sugerujących, że nie było regionów mózgu, w których nowość prowadzi do silniejszej odpowiedzi przewidywania nagrody niż znajomość. Po drugie, oceniliśmy interakcję (kontrast F) między nowością a nagrodą. Taka interakcja była wyrażana w kilku obszarach mózgu, w tym prawym hipokampie, dolnym zakręcie czołowym i prawym OFC (tabela informacji pomocniczych S1, Rys. 5). W szczególności hipokamp wykazywał oczekiwany wzorzec interakcji z wyższymi odpowiedziami na bodźce prezentowane w kontekście, w którym nagradzanie jest nowością (kontrast T). Oznacza to, że aktywność hipokampa była wyższa w przypadku nowych nagradzanych bodźców i znanych bodźców niewymienionych (zwróć uwagę, że oba te bodźce były prezentowane w tym samym kontekście) niż w przypadku nowych nieprzyznanych i znanych nagrodzonych bodźców (ponownie, zauważ, że oba te bodźce zostały przedstawione w w tym samym kontekście). Planowane porównanie post hoc potwierdziło statystycznie istotne różnice między nagrodzoną powieścią a powieścią nie nagrodzoną (P <0.025) i znajomy z nagrodą vs. znajomy bez nagrody (P <0.01; Rys. 5).

Rysunek 5 

Wyniki fMRI Eksperyment 2. W hipokampie i OFC zaobserwowano interakcję między nowością a nagrodą. W hipokampie odpowiedzi na znane, nie nagradzane przedmioty zostały ulepszone w porównaniu ze znanymi nagrodami, jeśli były prezentowane w kontekście ...

Należy zauważyć, że wzorzec aktywacji dla interakcji między nowością a nagrodą (36, −14, −16; Rys. 5) sąsiaduje, ale nie jest identyczny z aktywacją głównego efektu nowości, który znajduje się również w prawym hipokampie (28, −14, −20; Rys. 3). Taki wzorzec aktywacji różnicowej zgadza się z naszymi hipotezami, zapisami komórek w badaniach na zwierzętach i fMRI u ludzi. Na przykład badania na zwierzętach wykazały, że różne neurony hipokampa mogą reagować na różne cechy (takie jak nowość lub znajomość) w ramach tego samego zadania [Brown i Xiang,1998]. Zgodnie z tymi obserwacjami wykazaliśmy u ludzi, że przestrzennie różne aktywacje hipokampa mogą odzwierciedlać zróżnicowane właściwości przetwarzania nowości, bezwzględne sygnały nowości, adaptacyjnie skalowane sygnały nowości i błędy przewidywania nowości ([Bunzeck, et al. 2010], Informacje dodatkowe Rys. S4). Johnson i in. (2008) zgłosił, że bardzo blisko siebie skupiska aktywacji przestrzennej wykazywały bardzo różne reakcje na nowość: jeden klaster wykazywał kategoryczną różnicę między nowymi przedmiotami a starymi elementami, podczas gdy drugi klaster wykazywał liniowy spadek odpowiedzi jako funkcję zwiększonej znajomości bodźca. Aby jednak wykluczyć możliwość fałszywie dodatniego wyniku, zastosowaliśmy korektę małej objętości obu wzorów aktywacji z użyciem prawego przedniego hipokampa jako objętości. Analiza osiągnęła istotność statystyczną (P ≤ 0.05; Poprawione przez FWE).

Wreszcie staraliśmy się powiązać poprawę pamięci związaną z nagrodami z regionalnymi wzorcami aktywności mózgu za pomocą analiz regresji (wszystkie analizy przeprowadzono z danymi z Experiment 2). Po pierwsze, powieść kontrastowa nagrodzona w porównaniu z nowymi nie nagrodzonymi obrazami została wprowadzona do analizy regresji prostej drugiego poziomu z wykorzystaniem indywidualnej poprawy pamięci poprzez nagrodę jako regresora (współczynnik trafienia skorygowany Δ = skorygowany wskaźnik trafienia [Rcorr + Fcorr] dla nagrodzonych nowością - skorygowany współczynnik trafności dla nie nagrodzonej powieści. Ta analiza była motywowana przez naszą początkową obserwację ulepszonej pamięci ogólnej (tj. Wspomnienia i znajomości) dla nowych obrazów za wynagrodzeniem (Experiment 1) i poprzednich podobnych odkryć [Adcock, et al.2006; Krebs, et al. 2009; Wittmann i in. 2005]. Ujawniło to istotną dodatnią korelację między odpowiedziami hemodynamicznymi (HR) a poprawą pamięci rozpoznawczej w obrębie SN / VTA, prawej przedniej MTL (połączenia hipokampa kory nosowej / ciała migdałowatego) i prążkowia prawej brzusznej (Rys. 6, Supporting Information Table S1 dla wszystkich aktywowanych regionów). W drugiej analizie regresji ten sam kontrast dla znanych obrazów (znajome nagrody w porównaniu do znajomych nie-nagrody) był skorelowany z indywidualnym poprawionym współczynnikiem skupienia (behawioralnie, współczynnik rekolekcji był znacznie zwiększony dla znanych nagród w porównaniu z obrazami nie nagrodzonymi, ale nie było poprawa w Fcorr). Ponieważ RT dla znanych nagrodzonych obrazów były znacznie szybsze niż dla znanych nie nagradzanych obrazów, różnica między obiema dla każdego podmiotu została również wprowadzona jako regressor. W tym przypadku interesowały nas tylko te regiony, które wykazywały istotną pozytywną korelację między różnicami HR (znane nagradzane a znane nie nagradzane) oraz zwiększony współczynnik rekolekcji (znany nagrodzony vs. znany nie nagrodzony), ale nie te, które również wykazały jakąkolwiek korelację z Poprawa RT. Analiza ta wykazała podobne efekty jak w pierwszej analizie regresji, a mianowicie istotną korelację między HR a poprawą współczynnika rekolekcyjnego zależną od nagrody w obrębie prążkowia brzusznego (po lewej), prawego hipokampa i lewej kory nosa (Rys. 7, Supporting Information Table S1), ale brak korelacji w SN / VTA. Statystycznie bardziej czuła analiza post hoc wokselek SN / VTA [4, -18, -16], która wykazała istotną korelację dla nowych obrazów, również nie wykazała korelacji między odpowiedziami hemodynamicznymi a poprawionym współczynnikiem ponownego zbierania dla znanych obrazów (r = -0.07, P =

Rysunek 6 

Wyniki fMRI Eksperyment 2 - analiza regresji. Znacząca korelacja między poprawą pamięci rozpoznania dla nagrodzonej powieści w porównaniu z obrazami nie nagrodzonymi (współczynnik korygowania Δ skorygowany) i różnicami odpowiedzi hemodynamicznej między powieścią ...
Rysunek 7 

Wyniki fMRI Eksperyment 2 - analiza regresji. Znacząca korelacja między poprawą współczynnika rekolekcji dla znanych nagród w porównaniu do znanych nie nagradzanych obrazów (szybkość rekolekcji Δ) i różnic odpowiedzi hemodynamicznej między ...

DYSKUSJA

Nasze odkrycie, że skupisko wokseli w MTL (w tym hipokamp i kora nosowa) wykazało główny efekt nowości, ale nie główny efekt nagrody (Rys. 3A, B), popiera ideę, że hipokamp i kora nosowa mogą sygnalizować nowość niezależnie od wartości nagrody. Odkrycie to zgadza się z szeroką gamą badań na zwierzętach i ludziach sugerujących, że zarówno hipokamp, ​​jak i kora nosowa są wrażliwe na nowość [Brown i Xiang,1998; Dolan i Fletcher, 1997; Rycerz, 1996; Lisman and Grace, 2005; Dziwne, et al. 1999; Yamaguchi i in. 2004]. Jednak inny region hipokampa pokazał również hipotetyczną interakcję nowości i nagrody (Rys. 5) ze znacznie ulepszonymi odpowiedziami hemodynamicznymi na znane nieopierzone obrazy, jeśli są prezentowane w kontekście, w którym nagradzano powieść.

Ta interakcja nowości i nagrody w hipokampie dostarcza dowodów na nasze drugie przewidywanie efektu kontekstowego zgodnie z ramami premii eksploracyjnej (patrz [Sutton i Barto,1981] dla formalnego opisu premii poszukiwawczej w ramach dylematu eksploatacyjno-poszukiwawczego). Opierając się na założeniu, że nowość może działać jako premia eksploracyjna za nagrodę [Kakade i Dayan, 2002] Przewidywaliśmy, że w kontekście, w którym nagradzanie się za powieść jest nagradzane, powinno się poszerzać eksplorację także znanych bodźców (nawet gdy są one nieprzyznane). Zgodne z tą możliwością, znane bodźce wywołały silniejszą aktywność hipokampa w kontekście, w którym dostępność nagrody była sygnalizowana nowością w porównaniu z kontekstem, w którym nagroda jest sygnalizowana znajomością. Ta kontekstowo zwiększona aktywacja neuronalna w hipokampie podczas kodowania nie przekładała się jednak bezpośrednio na pamięć długotrwałą, to znaczy lepszą pamięć dla znanych przedmiotów, gdy prezentowano je w kontekście nowatorskich elementów przewidujących nagrody. Zamiast tego, wydajność rozpoznawania była napędzana przez status przewidywania nagrody zarówno dla nowatorskich (Eksperyment 1) jak i znanych (Eksperyment 2) bodźców (patrz poniżej). Sugeruje to, że w warunkach eksperymentalnych, w których przewidywanie nagród i nowość kontekstowa mogą wpływać zarówno na uczenie się, jak i przewidywanie nagród może wywierać wpływ dominacji.

Kolejna prognoza dotycząca ram premii poszukiwawczej nie została potwierdzona. Nie znaleźliśmy żadnych obszarów mózgu, które wykazywałyby główny efekt nagrody, a jednocześnie znacznie silniejszą aktywność dla nagradzanej powieści niż znane nagradzane obrazy. Na pierwszy rzut oka to negatywne stwierdzenie wydaje się być sprzeczne z wcześniejszymi badaniami [Krebs, et al.2009; Wittmann i in. 2008]. Jednak w obu Krebs et al. [ 2009] i Wittmann i in. [ 2008] badanie, ulepszone przewidywanie nagrody dla nowych bodźców zostało znalezione w warunkach, w których status nowości bodźców był ukryty i uczestnicy uczestniczyli w nagradzaniu zdarzeń losowych. W rzeczywistości Krebs i in. zgłosił, że to wzmocnienie było nieobecne, gdy uczestnicy zwracali uwagę na status nowości bodźców, zamiast brać udział w nagradzaniu warunkowym (zauważ jednak, że w Krebs i wsp. status nowości jako taki nie był przewidywalny dla nagrody). Stąd, w przeciwieństwie do interakcji kontekstowej między nowością a nagrodą (Rys. 5), ten aspekt premii poszukiwawczej może być silnie zależny od zadania, występując tylko wtedy, gdy uczestnicy mogą wziąć udział w nagradzaniu zdarzeń losowych bez konieczności oceny nowości. Na podstawie badań nad gryzoniami zasugerowano, że dane wejściowe przedczołowe i hipokampowe konkurują ze sobą o kontrolę nad jądrem półleżącym (częścią prążkowia brzusznego) [Goto and Grace, 2008]. Prawdopodobne jest, że zwrócenie uwagi na nowości lub nagrody związane z zadaniami wpłynęłoby na taką konkurencję.

Wyniki rozpoznawania pamięci z Eksperymentu 1 (Rys. 2) były dobrze zgodne z ramami premii eksploracyjnej, pokazując związane z zachowaniem wzmocnienie zachowania pamięci długoterminowej dla powieści, ale nie dla znanych bodźców. Jednak wyniki behawioralne uzyskane w warunkach, w których kodowanie wystąpiło w skanerze fMRI (Eksperyment 2) były różne w tej pamięci dla znanych bodźców wykazywały wzmocnienie przez nagrodę (dla nowych bodźców to wzmocnienie nie osiągnęło znaczenia). Jedną z przyczyn tej rozbieżności może być to, że w Eksperymencie 1 kontekst kodowania i kontekst pobierania w następnym dniu były identyczne (uczestnicy nauczyli się i byli testowani w tym samym pomieszczeniu), podczas gdy dla Eksperymentu 2 były różne (podmioty zakodowane w fMRI i zostały przetestowane w pomieszczeniu testowym). Dobrze wiadomo, że zmiany między kontekstem kodowania i pobierania mogą mieć głęboki wpływ na wydajność pamięci [Godden i Baddeley,1975]. Zgodność z tą możliwością, wydajność pamięci była znacznie niższa w Experiment 2 niż w Experiment 1 (Rys. 2). Takie efekty kontekstowe mogły również prowadzić do rozbieżności w wzorcach zachowań obserwowanych w eksperymentach 1 i 2.

Prążkowie brzuszne (Rys. 4A) i przyśrodkowa kora przedczołowa (Rys. 4 C, D) wyraził główne efekty oczekiwanej wartości nagrody. W naszym zadaniu przewidywanie nagród zależało od wyraźnej dyskryminacji nowości, a zatem jest oczywiste, że regiony wyrażające oczekiwaną wartość nagrody (prążkowia brzusznego, przegrody / łokcia) wymagają dostępu do informacji o pamięci dla prezentowanego obrazu. Prawdopodobnym źródłem takiej informacji deklaratywnej jest MTL. W rzeczywistości hipokamp i kora nosowa, jako część MTL, nie tylko wyrażały główny efekt nowości, ale są również dobrze znane z tego, że wysyłają odprowadzające do prążkowia brzusznego i przyśrodkowej kory przedczołowej (zwróć uwagę na projekcję z kory nosowej do NAcc pochodzi głównie z kory śródwęchowej [Friedman, et al.2002; Selden i in. 1998; Thierry i in. 2000]). Jednak dokładne mechanizmy i procesy obliczeniowe, które mogą być zaangażowane w przekładanie nowości na reakcje na nagrodę, są niejasne. Prawdopodobnie dotyczy to przyśrodkowej kory przedczołowej (w tym części oczodołu), która - zgodnie z wcześniejszymi badaniami [O'Doherty, et al. 2004; Ranganath i Rainer, 2003] - wyrażono aktywację związaną z nowością i nagrodą (Rys. 3C i 4C, D).

Funkcjonalne implikacje naszych wyników dotyczące reprezentacji nowości i odpowiedzi nagrody w hipokampie, SN / VTA, prążkowiu brzusznym i przyśrodkowym PFC są podsumowane w Figure8. Aby zapewnić wsparcie dla tego modelu, obliczyliśmy korelację między aktywacją naszych interesujących regionów, wykorzystując analizę korelacji Spearmana dla każdego podmiotu w szeregach dekonwolucji, aby zapewnić współczynnik korelacji grupowej R i P-wartość.

Rysunek 8 

Schematyczne przedstawienie zależności funkcjonalnej między hipokampem, Nucleus accumbens (NAcc), przyśrodkową korą przedczołową (mPFC) i obszarem istoty czarnej / brzusznej nakrywki (SN / VTA). Aby zapewnić wsparcie dla tego modelu, obliczyliśmy korelację między ...

Ponieważ nagroda zależała od nowości, a jedynym regionem reprezentującym oba typy sygnałów była mPFC, region ten prawdopodobnie będzie źródłem sygnalizacji nagrody opartej na nowościach (R = 0.09; P <0.001). Z drugiej strony hipokamp jest najprawdopodobniej źródłem sygnału nowości dla mPFC (R = 0.11; P <0.001). Jest to prawdopodobne, biorąc pod uwagę, że istnieją bezpośrednie projekcje z hipokampu do mPFC [Ferino, et al.1987; Rosene i Van Hoesen, 1977]. Jest również prawdopodobne, że sygnał nagrody mPFC jest następnie przekazywany do NAcc (R = 0.09; P <0.001) i SN / VTA (R = 0.03; P = 0.08). Należy zauważyć, że sygnał SN / VTA korelował tylko z nowatorskim mPFC (R = 0.03; P = 0.08), ale nie odpowiadająca nagroda mPFC (R = 0.007; P > 0.6). Sugeruje to, że wejścia mOFC do SN / VTA mogą silniej wynikać z tych regionów mPFC związanych z przetwarzaniem nowości, a nie z przetwarzaniem nagrody. Nasza obserwacja, że ​​mPFC reaguje na nowość i koreluje z sygnałem SN / VTA jest również zgodna z sugestią [Lisman i Grace, 2005], że PFC jest źródłem sygnału nowości w obwodach dopaminergicznych. Rola NAcc w sygnalizacji nowości pozostaje jednak nadal niejasna [Duzel i in. 2009]. To znaczy, chociaż nie zaobserwowaliśmy sygnałów nowości w NAcc, istniała silna korelacja między sygnałami w regionach NACc a nowymi reagującymi regionami mOFC (R = 0.09; P <0.001), NAcc i nowe regiony hipokampu wrażliwe (R = 0.15; P <0.001) oraz NAcc i SN / VTA (R = 0.19; P <0.001). Na koniec należy zauważyć, że strzałki w naszym modelu wskazują raczej zakładaną kierunkowość na podstawie znanych prognoz, a nie ilościowo oszacowaną przyczynowość.

Poprawa pamięci rozpoznawczej związana z nagrodami była skorelowana z prążkowiem brzusznym, aktywacją SN / VTA i MTL (Rys. 6). Ważnym aspektem uczenia się i plastyczności hipokampa jest wymóg dla DA w ekspresji LTP w późnej fazie (długotrwałe wzmocnienie), ale nie dla wczesnej fazy LTP [Frey i Morris,1998; Frey i in. 1990; Huang i Kandel 1995; Sójka 2003; Morris 2006]. Potwierdza to pogląd, że DA jest wymagana do konsolidacji pamięci długotrwałej, co potwierdzają najnowsze dane behawioralne u gryzoni [O'Carroll, et al. 2006]. Nasze dane są zgodne z tym poglądem, pokazując korelację między długotrwałą poprawą pamięci poprzez nagrodę jeden dzień po kodowaniu i aktywacji w domniemanych regionach dopaminergicznych i hipokampie. W szczególności widzimy korelację dla nowatorskich nagradzanych a nie nagradzanych przedmiotów w SN / VTA, prążkowiu brzusznym i hipokampie oraz korelację dla znanych nagradzanych vs. nieużywanych przedmiotów w prążkowiu brzusznym i hipokampie. Biorąc pod uwagę, że prążkowie brzuszne jest podstawową strukturą wyjściową dopaminergicznego śródmózgowia (SN / VTA) [Fields, et al. 2007] nasze wyniki sugerują, że zdolność do obserwowania związanego z nagrodą wzmocnienia pamięci długotrwałej poprzez hipokamp-SN / VTA nie ogranicza się do nowych bodźców, ale dotyczy również znanych bodźców. W rzeczywistości jest prawdopodobne, że stopień znajomości klasy znanych bodźców (podczas kodowania) był dość zmienny i że bodźce, których kodowanie najbardziej skorzystało z nagrody, były najmniej znane (relatywnie najbardziej nowatorskie). Dlatego uzasadnione jest założenie, że korelacje dla nowych i znanych klas bodźców były napędzane przez te same mechanizmy.

Zaobserwowaliśmy również główny efekt nagrody w septum / fornix (Rys. 4B), region, w którym prawdopodobnie znajdują się neurony cholinergiczne, które przechodzą w przyśrodkowe struktury skroniowe. Co ciekawe, badania na zwierzętach pokazują, że podobnie jak neurony DA, neurony cholinergiczne (w części przodomózgowia podstawnego) reagują na nowość i przyzwyczajają się, gdy bodźce stają się znane [Wilson i Rolls,1990b]. Jednak w zadaniach, w których znane bodźce przewidują nagrodę, aktywność neuronów podstawnych przodomózgowia odzwierciedla raczej przewidywanie nagrody niż status nowości [Wilson i Rolls, 1990]. Nasze znaleziska (Rys. 4B) są zgodne z obserwacją Wilsona i Rollsa (1990) chociaż nie możemy powiedzieć, w jakim stopniu te aktywacje rzeczywiście obejmują reakcje neuronów cholinergicznych.

Podsumowując, powtarzamy ostatnie obserwacje, że aktywność prążkowia brzusznego, SN / VTA, hipokampa i kory nosowej korelowała z poprawą pamięci związaną z nagrodą, zgodną z pętlą hipokampa-SN / VTA. Co ważne, nasze odkrycia dostarczają nowych kluczowych informacji na temat właściwości funkcjonalnych komponentów tej pętli. W zadaniu, w którym status nowości przewidywanej nagrody przedmiotu hipokamp preferencyjnie wyraża status nowości, podczas gdy brzuszna aktywność prążkowia odzwierciedla wartość nagrody niezależnie od statusu nowości. Przyśrodkowy PFC (w tym części oczodołowe) prawdopodobnie był miejscem, w którym zintegrowano sygnały nowości i nagrody, ponieważ wyrażał zarówno efekty nowości, jak i nagrody, i wiadomo, że jest połączony z hipokampem i prążkowiem brzusznym. Wreszcie, zgodnie z teorią premii eksploracyjnej [Kakade i Dayan,2002] nowe bodźce przewidujące nagrodę wywarły wpływ kontekstowo wzmacniający na znane (nie nagradzające) przedmioty, które wyrażono jako wzmocnione odpowiedzi nerwowe w hipokampie.

Podziękowanie

Chcielibyśmy podziękować K. Herriot za wsparcie w pozyskiwaniu danych.

Dodatkowe informacje pomocnicze można znaleźć w wersji online tego artykułu.

LITERATURA

  • Adcock RA, Thangavel A, Whitfield-Gabrieli S, Knutson B, Gabrieli JD. Uczenie motywowane nagrodami: Aktywacja mezolimbiczna poprzedza tworzenie się pamięci. Neuron. 2006; 50: 507 – 517. [PubMed]
  • Andersson JL, Hutton C, Ashburner J, Turner R, Friston K. Modelowanie deformacji geometrycznych w szeregach czasowych EPI. Neuroimage. 2001; 13: 903 – 919. [PubMed]
  • Ashburner J, Friston KJ. Nieliniowa normalizacja przestrzenna z wykorzystaniem funkcji bazowych. Hum Brain Mapp. 1999; 7: 254 – 266. [PubMed]
  • Berridge KC. Debata na temat roli dopaminy w nagradzaniu: argumenty za istotnością zachęty. Psychopharmacology (Berl) 2007; 191: 391–431. [PubMed]
  • Brown MW, Xiang JZ. Pamięć rozpoznawcza: substraty neuronalne oceny wcześniejszego wystąpienia. Prog Neurobiol. 1998; 55: 149 – 189. [PubMed]
  • Bunzeck N, Duzel E. Absolute Coding of Stimulus Nowość w ludzkiej substytucji Nigra / VTA. Neuron. 2006; 51: 369 – 379. [PubMed]
  • Bunzeck N, Schutze H, Stallforth S, Kaufmann J, Duzel S, Heinze HJ, Duzel E. Mezolimbiczne przetwarzanie nowości u osób starszych. Cereb Cortex. 2007; 17: 2940 – 2948. [PubMed]
  • Bunzeck N, Doeller CF, Fuentemilla L, Dolan RJ, Duzel E. Motywacja nagradzania przyspiesza początek neuronalnych sygnałów nowości u ludzi do 85 milisekund. Curr Biol. 2009; 19: 1294 – 1300. [Artykuł bezpłatny PMC] [PubMed]
  • Bunzeck N, Dayan P, Dolan RJ, Duzel E. Wspólny mechanizm adaptacyjnego skalowania nagrody i nowości. Hum Brain Mapp. 2010; 31: 1380 – 1394. [Artykuł bezpłatny PMC] [PubMed]
  • Deichmann R, Gottfried JA, Hutton C, Turner R. Zoptymalizowany EPI do badań fMRI kory oczodołowo-czołowej. Neuroimage. 2003; 19 (2 Pt 1): 430 – 441. [PubMed]
  • Devenport LD, Devenport JA, Holloway FA. Stereotypy wywołane nagrodą: modulacja przez hipokamp. Nauka. 1981; 212: 1288 – 1289. [PubMed]
  • Dolan RJ, Fletcher PC. Oddzielenie funkcji przedczołowej i hipokampowej w epizodycznym kodowaniu pamięci. Natura. 1997; 388: 582 – 585. [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Obrazowanie funkcjonalne ludzkiego dopaminergicznego śródmózgowia. Trendy Neurosci. 2009; 32: 321 – 328. [PubMed]
  • Eckert T, Sailer M, Kaufmann J, Schrader C, Peschel T, Bodammer N, Heinze HJ, Schoenfeld MA. Różnicowanie idiopatycznej choroby Parkinsona, atrofii wieloukładowej, postępującego porażenia nadjądrowego i zdrowych kontroli za pomocą obrazowania z transferem magnetyzacji. Neuroobraz. 2004; 21: 229–235. [PubMed]
  • Ferino F, Thierry AM, Glowinski J. Anatomical and electrophysiological dowód bezpośredniej projekcji z rogu Ammona do środkowej kory przedczołowej u szczura. Exp Brain Res. 1987; 65: 421–426. [PubMed]
  • Fields HL, Hjelmstad GO, Margolis EB, Nicola SM. Ventral Tegmental Area Neurons in Learned Appetitive Behaviour and Positive Reinforcement. Annu Rev Neurosci. 2007; 30: 289 – 316. [PubMed]
  • Frey U, Morris RG. Oznaczanie synaptyczne: implikacje dla późnego utrzymywania długoterminowego wzmocnienia hipokampa. Trendy Neurosci. 1998; 21: 181 – 188. [PubMed]
  • Frey U, Schroeder H, Matthies H. Antagoniści dopaminergiczni zapobiegają długotrwałemu utrzymaniu postetanowego LTP w regionie CA1 szczurzych wycinków hipokampa. Brain Res. 1990; 522: 69 – 75. [PubMed]
  • Friedman DP, Aggleton JP, Saunders RC. Porównanie projekcji hipokampa, ciała migdałowatego i okołogałkowego do jądra półleżącego: połączone badanie śledzenia wstecznego i wstecznego w mózgu makaka. J Comp Neurol. 2002; 450: 345 – 365. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. Wydarzenie związane z fMRI: charakteryzowanie reakcji różnicowych. Neuroimage. 1998; 7: 30 – 40. [PubMed]
  • Gasbarri A, Packard MG, Campana E, Pacitti C. Anterograde i wsteczne śledzenie projekcji z brzusznego obszaru nakrywkowego do formacji hipokampa u szczura. Brain Res Bull. 1994; 33: 445 – 452. [PubMed]
  • Gasbarri A, Sulli A, Packard MG. Dopaminergiczne projekcje śródmózgowia do formacji hipokampa u szczura. Prog Neuropsychopharmacol Biol Psychiatry. 1997; 21: 1 – 22. [PubMed]
  • Godden DR, Baddeley AD. Pamięć zależna od kontekstu w dwóch naturalnych środowiskach: na lądzie i pod wodą. British Journal of Psychology. 1975; 66: 325 – 331.
  • Idź do Y, Grace AA. Przetwarzanie informacji limbicznej i korowej w jądrze półleżącym. Trendy Neurosci. 2008; 31: 552 – 558. [Artykuł bezpłatny PMC] [PubMed]
  • Helms G, Draganski B, Frackowiak R, Ashburner J, Weiskopf N. Ulepszona segmentacja głębokich struktur szarej mózgu za pomocą map parametrów transferu magnetyzacji (MT). Neuroimage. 2009; 47: 194 – 198. [Artykuł bezpłatny PMC] [PubMed]
  • Holscher C, Jacob W, Mallot HA. Nagroda moduluje aktywność neuronalną w hipokampie szczura. Behav Brain Res. 2003; 142: 181 – 191. [PubMed]
  • Huang YY, Kandel ER. Agoniści receptora D1 / D5 indukują zależne od syntezy białka późne wzmocnienie w regionie CA1 hipokampa. Proc Natl Acad Sci US A. 1995; 92: 2446 – 2450. [Artykuł bezpłatny PMC] [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Korekcja zniekształceń obrazu w fMRI: Ocena ilościowa. Neuroimage. 2002; 16: 217 – 240. [PubMed]
  • Hutton C, Deichmann R, Turner R, Andersson JL. 2004. Połączona korekcja zniekształceń geometrycznych i ich interakcji z ruchem głowy w fMRI; Materiały ISMRM 12, Kyoto, Japonia.
  • Obwód nagrody Ikemoto S. Dopamina: Dwa systemy projekcji od brzusznego śródmózgowia do kompleksu jądra półleżącego-guzka węchowego. Brain Res Rev. 2007; 56: 27 – 78. [Artykuł bezpłatny PMC] [PubMed]
  • Jay TM. Dopamina: potencjalne podłoże dla plastyczności synaptycznej i mechanizmów pamięci. Prog Neurobiol. 2003; 69: 375 – 390. [PubMed]
  • Johnson JD, Muftuler LT, Rugg MD. Wielokrotne powtórzenia ujawniają funkcjonalnie i anatomicznie odmienne wzorce aktywności hipokampa podczas ciągłej pamięci rozpoznawania. Hipokamp. 2008; 18: 975 – 980. [Artykuł bezpłatny PMC] [PubMed]
  • Kakade S, Dayan P. Dopamina: Generalizacja i premie. Sieć neuronowa. 2002; 15: 549 – 559. [PubMed]
  • Rycerz R. Wkład ludzkiego regionu hipokampowego w wykrywanie nowości. Natura. 1996; 383: 256 – 259. [PubMed]
  • Knutson B, Cooper JC. Funkcjonalne obrazowanie rezonansu magnetycznego przewidywania nagrody. Curr Opin Neurol. 2005; 18: 411 – 417. [PubMed]
  • Krebs RM, Schott BH, Schutze H, Duzel E. Bonus poszukiwawczy nowości i modulacja uwagi. Neuropsychologia. 2009; 47: 2272 – 2281. [PubMed]
  • Li S, Cullen WK, Anwyl R, Rowan MJ. Zależne od dopaminy ułatwienie indukcji LTP w hipokampie CA1 przez ekspozycję na nowość przestrzenną. Nat Neurosci. 2003; 6: 526 – 531. [PubMed]
  • Lisman JE, Grace AA. Pętla Hipokampa-VTA: kontrolowanie wprowadzania informacji do pamięci długoterminowej. Neuron. 2005; 46: 703 – 713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Odpowiedzi małpich neuronów dopaminowych podczas uczenia się reakcji behawioralnych. J Neurophysiol. 1992; 67: 145 – 163. [PubMed]
  • Mesulam MM. Od odczucia do poznania. Mózg. 1998; 121 (Pt 6): 1013 – 1052. [PubMed]
  • Morris RG. Elementy neurobiologicznej teorii funkcji hipokampa: rola plastyczności synaptycznej, znakowanie synaptyczne i schematy. Eur J Neurosci. 2006; 23: 2829 – 2846. [PubMed]
  • Niv Y, Daw ND, Joel D, Dayan P. Tonic dopamina: koszty alternatywne i kontrola siły reakcji. Psychopharmacology (Berl) 2007; 191: 507 – 520. [PubMed]
  • O'Carroll CM, Martin SJ, Sandin J, Frenguelli B, Morris RG. Dopaminergiczna modulacja trwałości pamięci zależnej od hipokampu w jednym badaniu. Learn Mem. 2006; 13: 760–769. [Artykuł bezpłatny PMC] [PubMed]
  • O'Doherty JP, Deichmann R, Critchley HD, Dolan RJ. Reakcje neuronalne podczas oczekiwania na nagrodę za podstawowy smak. Neuron. 2002; 33: 815 – 826. [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Dysocjujące role prążkowia brzusznego i grzbietowego w kondycjonowaniu instrumentalnym. Nauka. 2004; 304: 452 – 454. [PubMed]
  • Ploghaus A, Tracey I, Clare S, Gati JS, Rawlins JN, Matthews PM. Uczenie się o bólu: Neuronowy substrat błędu predykcji dla zdarzeń awersyjnych. Proc Natl Acad Sci US A. 2000; 97: 9281 – 9286. [Artykuł bezpłatny PMC] [PubMed]
  • Purves D, Bonardi C, Hall G. Wzmocnienie utajonego hamowania u szczurów z elektrolitycznymi zmianami hipokampa. Behav Neurosci. 1995; 109: 366 – 370. [PubMed]
  • Ranganath C, Rainer G. Mechanizmy neuronowe do wykrywania i zapamiętywania nowych wydarzeń. Nat Rev Neurosci. 2003; 4: 193 – 202. [PubMed]
  • Rolls ET, Xiang JZ. Reprezentacje nagród-widoków przestrzennych i nauka w hipokampie naczelnych. J Neurosci. 2005; 25: 6167 – 6174. [PubMed]
  • Rosene DL, Van Hoesen GW. Eferente hipokampa docierają do rozległych obszarów kory mózgowej i ciała migdałowatego u małpy rezus. Nauka. 1977; 198: 315 – 317. [PubMed]
  • Selden NR, Gitelman DR, Salamon-Murayama N, Parrish TB, Mesulam MM. Trajektorie szlaków cholinergicznych w półkulach mózgowych ludzkiego mózgu. Mózg. 1998; 121 (Pt 12): 2249 – 2257. [PubMed]
  • Smith Y, Kieval JZ. Anatomia układu dopaminowego w zwojach podstawy mózgu. Trendy Neurosci. 2000; 23 (10 Suppl): S28 – S33. [PubMed]
  • Sokolov EN. Wyższe funkcje nerwowe; odruch orientacyjny. Annu Rev Physiol. 1963; 25: 545 – 580. [PubMed]
  • Solomon PR, Vander Schaaf ER, Thompson RF, Weisz DJ. Hipokamp i warunkowanie śladowe klasycznie uwarunkowanej odpowiedzi błony nitrującej królika. Behav Neurosci. 1986; 100: 729–744. [PubMed]
  • Dziwne BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Segregacja funkcji ludzkiego hipokampa. Proc Natl Acad Sci US A. 1999; 96: 4034 – 4039. [Artykuł bezpłatny PMC] [PubMed]
  • Sutton RS, Barto AG. W stronę nowoczesnej teorii sieci adaptacyjnych: oczekiwanie i przewidywanie. Psychol Rev. 1981; 88: 135 – 170. [PubMed]
  • Tabuchi ET, Mulder AB, Wiener SI. Modulacja położenia i zachowania synchronizacji wyładowań neuronalnych hipokampa i półleżących u swobodnie poruszających się szczurów. Hipokamp. 2000; 10: 717 – 728. [PubMed]
  • Thierry AM, Gioanni Y, Degenetais E, Glowinski J. Hipokampowy szlak kory przedczołowej: Charakterystyka anatomiczna i elektrofizjologiczna. Hipokamp. 2000; 10: 411 – 419. [PubMed]
  • Tulving E. Pamięć i świadomość. Psychologia kanadyjska. 1985; 26: 1 – 12.
  • Weiner I. „Dwugłowy” model schizofrenii z ukrytym zahamowaniem: modelowanie objawów pozytywnych i negatywnych oraz ich leczenie. Psychopharmacology (Berl) 2003; 169 (3 – 4): 257 – 297. [PubMed]
  • Weiskopf N, Helms G. Mapowanie wieloparametrowe ludzkiego mózgu przy rozdzielczości 1mm w czasie krótszym niż 20. ISMRM 16, Toronto, Kanada: 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. Optymalne parametry EPI dla zmniejszenia strat wrażliwości wywołanej wrażliwością na BOLD: Analiza całego mózgu w 3 T i 1.5 T. Neuroimage. 2006; 33: 493 – 504. [PubMed]
  • Wilson FA, Rolls ET. Uczenie się i pamięć odbijają się w odpowiedziach neuronów związanych z wzmocnieniem w naczelnym przodomózgowiu naczelnych. J Neurosci. 1990a; 10: 1254 – 1267. [PubMed]
  • Wilson FA, Rolls ET. Odpowiedzi neuronalne związane z nowością i znajomością bodźców wzrokowych w istocie wewnętrznej, przekątnej prążka Broki i okolicy okołokomorowej przodomózgowia naczelnych. Exp Brain Res. 1990b; 80: 104 – 120. [PubMed]
  • Wirth S, Avsar E, Chiu CC, Sharma V, Smith AC, Brown E, Suzuki WA. Wynik badania i skojarzone sygnały uczenia się w hipokampie małpy. Neuron. 2009; 61: 930 – 940. [Artykuł bezpłatny PMC] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Aktywacja dopaminergicznego śródmózgowia związana z FMRI związana z nagrodą jest związana ze zwiększoną zależną od hipokampa długoterminową formacją pamięci. Neuron. 2005; 45: 459 – 467. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Przewidywanie nowości rekrutuje system nagradzania i hipokampa, jednocześnie promując skupienie. Neuroimage. 2007; 38: 194 – 202. [Artykuł bezpłatny PMC] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Aktywność prążkowia leży u podstaw wyboru opartego na nowości u ludzi. Neuron. 2008; 58: 967 – 973. [Artykuł bezpłatny PMC] [PubMed]
  • Yamaguchi S, Hale LA, D'Esposito M, Knight RT. Szybkie przyzwyczajenie przedczołowo-hipokampowe do nowych wydarzeń. J Neurosci. 2004; 24: 5356–5363. [PubMed]