Wrażliwość jądra półleżącego od naruszeń w oczekiwaniu na nagrodę (2007)

Metody

Zadanie eksperymentalne

Uczestnicy zostali przetestowani przy użyciu zmodyfikowanej wersji zadania z podwójnym wyborem o opóźnionym działaniu opisanego wcześniej (Galvan i in., 2005) w badaniu fMRI związanym ze zdarzeniem (Rysunek 1). W tym zadaniu trzy cue były powiązane z różnym prawdopodobieństwem (33%, 66% i 100%) uzyskania stałej kwoty nagrody. Pacjenci zostali poinstruowani, aby nacisnęli palec wskazujący lub środkowy, aby wskazać stronę, na której pojawiła się wskazówka, i odpowiedzieć tak szybko, jak to możliwe, bez popełniania błędów. Jeden z trzech pirackich obrazów z kreskówek został przedstawiony w losowej kolejności po lewej lub prawej stronie centrowanego mocowania dla 1000 msec (patrz Rysunek 1). Po 2000 msec opóźnieniu, uczestnicy zostali poproszeni o odpowiedź dwóch skrzyń skarbów po obu stronach fiksacji (2000 msec) i poinstruowano ich, aby nacisnęli przycisk prawym palcem wskazującym, jeśli pirat był po lewej stronie fiksacji lub ich prawy środkowy palec, jeśli pirat był po prawej stronie fiksacji. Po kolejnym opóźnieniu 2000 msec, na środku ekranu (1000 msec) została przedstawiona nagroda zwrotna (monety z kreskówek) lub pusta skrzynia skarbów w oparciu o prawdopodobieństwo nagrody dla tego typu próby. Przed rozpoczęciem następnej próby był interwał międzyprocesowy (ITI) 12.

  

Rysunek 1

Projekt zadania

Były trzy warunki prawdopodobieństwa nagrody: prawdopodobieństwo nagrody 33%, 66% i 100%. W warunku 33% uczestnicy zostali nagrodzeni w 33% prób, a żadna nagroda (pusta skrzynia skarbów) nie wystąpiła w innych 66% prób w tym stanie. W warunku 66%, pacjenci byli nagradzani w 66% prób i nie było żadnej nagrody dla innych 33% prób. W warunku 100% uczestnicy zostali nagrodzeni za wszystkie prawidłowe próby.

Pacjenci mieli zagwarantowane $ 50 za udział w badaniu i powiedziano im, że mogą zarobić do $ 25 więcej, w zależności od wydajności (indeksowanej przez czas reakcji i dokładność) w zadaniu. Bodźce prezentowano za pomocą zintegrowanego systemu obrazowania funkcjonalnego (IFIS) (PST, Pittsburgh) z wykorzystaniem wyświetlacza LCD w otworze skanera MR i urządzenia do zbierania odpowiedzi światłowodowych.

Eksperyment składał się z pięciu serii prób 18 (6 każdy z prawdopodobieństwa 33%, 66% i 100% typów prób nagrody), które trwały 6 min i 8 s każdy. Każdy przebieg miał próby 6 dla każdego prawdopodobieństwa nagrody przedstawione w losowej kolejności. Pod koniec każdego biegu uczestnicy byli informowani o tym, ile pieniędzy zarobili podczas tego biegu. Przed rozpoczęciem eksperymentu badani otrzymywali szczegółowe instrukcje, które obejmowały zapoznanie się z zastosowanymi bodźcami i wykonanie ćwiczenia praktycznego w celu zapewnienia zrozumienia zadania. Powiedziano im, że istnieje związek między sygnałami a wynikami pieniężnymi, ale dokładny charakter tego związku nie został ujawniony.

Efekt

Dane behawioralne

Efekty prawdopodobieństwa nagrody i czasu na zadanie przetestowano za pomocą 3 (33%, 66%, 100%) x 5 (uruchamia 1 – 5) analiza wariancji powtarzanych pomiarów (ANOVA) dla zmiennych zależnych średniego czasu reakcji (RT ) i średnia dokładność.

Nie było efektów głównych ani interakcji prawdopodobieństwa nagrody (F [2,22] = 12, p <85) czasu wykonywania zadania (F [4,44] = 2.02, p <14) lub prawdopodobieństwa nagrody X czas na zadaniu (F [8, 88] = 1.02, p <41) dla średniej dokładności. Należało się tego spodziewać, ponieważ dokładność uczestników osiągnęła poziomy zbliżone do pułapu dla wszystkich prawdopodobieństw eksperymentu (stan 33% = 97.2%; stan 66% = 97.5%; stan 100% = 97.7%).

Wystąpiła istotna interakcja między prawdopodobieństwem nagrody a czasem wykonywania zadania (F [8,88] = 3.5, p <01) przy średniej RT, ale nie było głównego wpływu czasu na zadanie (F [4,44] = 611 , p <0.59) lub prawdopodobieństwo nagrody (F [2,22] = 2.84, p <0.08). Testy post-hoc t istotnej interakcji wykazały istotną różnicę między 33% a 100% warunkami prawdopodobieństwa nagrody podczas późnych prób eksperymentu (przebieg 5) (t (11) = 3.712, p <003), z szybszym średnim RT dla warunku 100% prawdopodobieństwa nagrody (średnia = 498.30, sd = 206.23) w stosunku do warunku 33% (średnia = 583.74, sd = 270.23).

Różnica w średnim czasie reakcji między warunkami 100% i 33% wzrosła dwukrotnie od wczesnych do późnych prób (patrz Rysunek 2a). Aby dalej pokazywać naukę, wprowadziliśmy odwrócenie, przełączając prawdopodobieństwa nagrody dla warunków 33% i 100% pod koniec eksperymentu. ANOVA 2 (prawdopodobieństwo) X 2 (odwrócenie i nieodwrócenie) dla późnych prób wykazała znaczącą interakcję (F (1,11) = 18.97, p = 0.001), ze spadkiem RT do stanu, w którym 33% prawdopodobieństwo w nieodwracalne (średnia = 583.74, sd = 270.24) i 100% w odwróceniu (średnia = 519.89, sd = 180.46) (Rysunek 2b).

  

Rysunek 2

Wyniki behawioralne (RT)

Wyniki obrazowania

Model GLM do prawidłowych prób z wykorzystaniem prawdopodobieństwa nagrody jako podstawowego predyktora modelowano w punkcie, w którym podmiot otrzymał informację zwrotną o nagrodach lub nie (tj. Wyniku). Analiza ta zidentyfikowała regiony NAcc (x = 9, y = 6, z = -1 i x = -9, y = 9, z = -1) i OFC (x = 28, y = 39, z = - 6) (patrz Rysunek 3a, b). Testy t post-hoc między wagami beta prób z nagrodą i bez nagrody wykazały większą aktywację w obu tych regionach w celu nagrodzenia (NAcc: t (11) = 3.48, p <0.01; OFC x = 28, y = 39, z = −6, t (11) = 3.30, p <0.02)¹.

  

Rysunek 3

Większa aktywacja do nagradzanych w porównaniu do wyników nieodrzuconych w a) jądrze półleżącym (x = 9, y = 6, z = -1; x = -9, y = 9, z = -1) ib) orbitalnej kory czołowej (x = 28, y = 39, z = −6).

Były dwa możliwe wyniki (nagroda lub brak nagrody) dla dwóch przerywanych harmonogramów nagród (prawdopodobieństwo 33% i 66%) i tylko jeden wynik dla ciągłego harmonogramu nagród (100% prawdopodobieństwo nagrody), który został użyty jako warunek porównawczy. Podczas gdy w opisanym powyżej OFC wystąpił główny efekt nagrody (nagroda versus brak nagrody), aktywność OFC nie zmieniała się jako funkcja prawdopodobieństwa nagrody w obecnym badaniu [F (2,10) = 0.84, p = 0.46) . W przeciwieństwie do NAcc wykazał wyraźne zmiany w aktywności do wyniku jako funkcję manipulacji prawdopodobieństwem nagrody [F (2,10) = 9.32, p <0.005]. Konkretnie, aktywność NAcc wzrosła do wyników nagrody, gdy nagroda była nieoczekiwana (warunek prawdopodobieństwa nagrody 33%) w stosunku do oczekiwanego (warunek wyjściowy 100%) [t (11) = 2.54, p <03 patrz Rysunek 4a]. Po drugie, aktywność NAcc była zmniejszona do braku nagrody, gdy oczekiwano nagrody, a nie otrzymano (66% warunek prawdopodobieństwa nagrody) w stosunku do nagrody, której nie oczekiwano lub nie otrzymano (33% warunek prawdopodobieństwa nagrody; t (59) = 2.08, p <04; patrz Rysunek 4b). Zauważ, że nie było znaczących różnic w aktywacji między warunkami prawdopodobieństwa nagrody 33% i 66% [t (11) =. 510, p = .62] lub między 66% a 100% warunkami prawdopodobieństwa nagrodzonego [t (11) = 1.20, p = .26] w nagrodzonych wynikach. Sygnał MR jako funkcja wyniku nagrody i prawdopodobieństwa pokazano w Rysunek 4.

  

Rysunek 4

Procentowy sygnał MR zmienia się w funkcji wyniku nagrody i prawdopodobieństwa w jądrze półleżącym do a) nagrodzonego i b) wyników nieodrzuconych.

Dyskusja

W badaniu tym zbadano wpływ naruszeń oczekiwanych wyników nagród na zachowanie i aktywność neuronalną kory półksiężycowej i oczodołowej kory czołowej (OFC), pokazane wcześniej jako związane z przewidywaniem wyników nagrody (McClure i in. 2004; Knutson i in., 2005). Pokazaliśmy, że zarówno jądro półleżące, jak i OFC zostały zrekrutowane podczas nagradzanych prób w odniesieniu do prób niepodatnych, ale tylko jądro półleżące wykazało wrażliwość na naruszenia przewidywanego wyniku nagrody w tym badaniu. Większa wrażliwość półleżących na nagradzanie wartości (np. Wielkości) w stosunku do OFC została pokazana w poprzedniej pracy (Galvan i in. 2005) i razem te ustalenia sugerują, że ten region może być zaangażowany w obliczanie zarówno wielkości, jak i prawdopodobieństwa nagrody. Brak wrażliwości OFC na te manipulacje może odzwierciedlać bardziej bezwzględną reprezentację nagrody lub niejasności w wyniku (Hsu i in., 2005). Alternatywnie, ponieważ sygnał MR był bardziej zmienny w tym regionie, efekty te mogły zostać osłabione w obecnym badaniu.

W badaniach elektrofizjologicznych na zwierzętach wykazano, że neurony dopaminowe w śródmózgowiu (które przemieszczają się do jądra półleżącego) mają niewielką lub żadną odpowiedź na przewidywane wyniki nagrody (prawdopodobieństwo = 1.0), ale wykazują fazowe odpalanie, gdy nagroda jest dostarczana z mniej niż 100 % prawdopodobieństwa, nawet po intensywnym szkoleniu (Fiorillo i in., 2003). W obecnym badaniu wykazaliśmy większą aktywność półleżącą nagradzania, gdy nagroda była nieoczekiwana (warunek 33%) w stosunku do tego, kiedy oczekiwano (warunek 100%) zgodny z tymi wynikami. Dalsze badania elektrofizjologiczne neuronów dopaminowych u zwierząt (np. Fiorillo i in., 2003) wykazały, że dla prób, na których przewidywano nagrodę, ale nie nastąpiła, aktywność neuronalna zmniejszyła się. Obecne badanie wykazało podobny wzorzec w półleżących, ze spadkiem aktywności w tym regionie w nie nagradzanych próbach dla warunku prawdopodobieństwa nagrody 66% w stosunku do warunku 33%.²

Neurony dopaminowe odgrywają rolę w uczeniu się na dwa sposoby. Po pierwsze, kodują przypadki między bodźcami (lub odpowiedziami) a wynikami poprzez sygnały błędów prognozowania, które wykrywają naruszenia oczekiwań (Schultz i in., 1997; Mirencowicz i Schultz, 1998; Fiorillo i in., 2003). Zatem błąd przewidywania wydaje się dostarczać sygnał dydaktyczny, który odpowiada zasadom uczenia się opisanym początkowo przez Rescorla i Wagner (1972). Po drugie służą do zmiany reakcji behawioralnych (Schultz i in., 1997; McClure i in., 2004) takie, że działania są ukierunkowane na sygnały, które są najbardziej predykcyjne. W obecnym badaniu wykazujemy, że w późnych próbach eksperymentu najbardziej optymalna wydajność dotyczy stanu o najwyższym prawdopodobieństwie nagrody (prawdopodobieństwo nagrody 100%) i najmniej optymalnego warunku najniższego prawdopodobieństwa (prawdopodobieństwo nagrody 33%). To odkrycie behawioralne jest zgodne z poprzednią pracą z prawdopodobieństwem, wykazującą najmniej optymalną wydajność z najniższym prawdopodobieństwem wyniku nagrody, co sugeruje, że przypadkowe nagrody zostały poznane w czasie (Delgado i in., 2005). Aby dalej pokazywać naukę, wprowadziliśmy odwrócenie, przełączając prawdopodobieństwa nagrody dla warunków 33% i 100% pod koniec eksperymentu. Ta manipulacja spowodowała osłabienie różnic między tymi warunkami, co dodatkowo potwierdziło efekty uczenia się.

Głównym celem badań związanych z nagrodami jest określenie wpływu nagrody i zachowania stronniczości (np Robbins i Everitt, 1996; Schultz, 2004) oprócz scharakteryzowania podstawowego przetwarzania neuronowego. Liczne czynniki wpływają na to, jak szybko i solidnie nagrody wpływają na zachowanie, w tym harmonogramy wzmocnienia (Skinner, 1958), wartość nagrody (Galvan i in., 2005) i przewidywalność nagrody (Fiorillo i in., 2003; Delgado i in., 2005). Oczekiwana wartość, która jest iloczynem wielkości i prawdopodobieństwa nagrody (Pascal, ca 1600), wpływa na wybory behawioralne (von Frisch, 1967; Montague i in., 1995; Montague i Berns, 2002). Używając bardzo podobnego zadania, w którym tylko wynik (wielkość zamiast prawdopodobieństwa) różnił się od obecnego badania, pokazaliśmy, że jądro półleżące było wrażliwe na dyskretne wartości nagrody (Galvan i in., 2005). Razem z dowodami przedstawionymi tutaj i gdzie indziej (Tobler i in., 2005) sugerujemy, że prążkowie brzuszne prawdopodobnie przyczynia się do obliczenia oczekiwanej wartości nagrody, biorąc pod uwagę jej wrażliwość zarówno na prawdopodobieństwo nagrody, jak i na wielkość.

Rola orbitalnej kory czołowej w przewidywaniu nagrody jest zgodna z podziałami funkcjonalnymi tego regionu Kringelbach i Rolls (2004). Sugerują, że bardziej przednie i środkowe części OFC są wrażliwe na abstrakcyjne manipulacje nagrodami. Aktywacja OFC w tym badaniu zaobserwowano w tej ogólnej lokalizacji. Badania elektrofizjologiczne implikują OFC w kodowaniu subiektywnej wartości bodźca nagrody (do przeglądu, O'Doherty, 2004). Na przykład neurony OFC strzelają do określonego smaku, gdy zwierzę jest głodne, ale zmniejszają szybkość wypalania, gdy zwierzę jest nasycone, a wartość nagrody żywności zmniejsza się (Critchley i Rolls, 1996). W związku z tym inni sugerowali, że OFC jest najbardziej wrażliwy na relatywne nagrody (Tremblay i Schultz, 1999) i preferencja nagrody (Schultz i in., 2000). Badania neuroobrazowe wykazały analogiczny wzorzec u ludzi z różnymi bodźcami, w tym ze smakiem (O'Doherty i in., 2001; Kringelbach i in., 2003), węch (Anderson i in., 2003; Rolls i in., 2003), i pieniądze (Elliott i in., 2003; Galvan i in., 2005), przy czym każda aktywacja różni się lokalizacją aktywności od przedniej do tylnej i od środkowej do bocznej OFC. OFC jest zamieszany w przewidywanie nagrody (O'Doherty i in. 2002), ale tylko o tyle, o ile wartość predykcyjna odpowiedzi jest powiązana z konkretną wartość związanej z tym nagrody, a nie prawdopodobieństwa wystąpienia tej nagrody (O'Doherty, 2004 ). W obecnym badaniu nie widzieliśmy wrażliwości na naruszenia przewidywania nagrody w OFC. Knutson i współpracownicy (2005) opisali korelacje między szacunkami prawdopodobieństwa a aktywacją mózgu w oczekiwaniu na nagrodę w mezjalnej korze przedczołowej (Knutson i wsp. 2005), ale nie specyficznie w orbitalnej korze czołowej. W przeciwieństwie, Ramnani i in. (2004 ) zgłosił czułość OFC na błąd przewidywania dodatniego w przyśrodkowej korze czołowej oczodołu za pomocą pasywnego zadania obserwacyjnego i Dreher i in. (2005) zgłosił przewidywanie błędów OFC w zadaniu, które manipulowało zarówno prawdopodobieństwem, jak i wielkością wskaźników prognostycznych, ale te przypadki zostały poznane przed skanowaniem. Jest więc nadal możliwe, że OFC może obliczyć przewidywane nagrody, ale być może te obliczenia są bardziej zwięzłe (tj. Zsumowane w pewnym zakresie prawdopodobieństw) lub wolniejsze, aby utworzyć się w stosunku do dokładnych obliczeń, które wydają się występować w NAcc. Alternatywnie, region ten może być bardziej czuły przy wykrywaniu bodźców o niepewnej i / lub niejednoznacznej wartości, jak zaproponował Hsu i in. (2005), niż wykrywanie naruszeń w przewidywaniu nagrody. Hsu i in. (2005) pokazują, że poziom niejednoznaczności w wyborach (niepewne wybory dokonane z powodu braku informacji) koreluje dodatnio z aktywacją w OFC. Wreszcie, większa zmienność sygnału MR w tym regionie mogła również zmniejszyć naszą zdolność do wykrywania tych efektów.

Podstawową kwestią obecnego badania było to, w jaki sposób accumbens i OFC różnie kodują przewidywane wyniki nagród w stosunku do nieprzewidzianych wyników (tj. Naruszeń oczekiwań). Zmodyfikowaliśmy parametrycznie prawdopodobieństwo nagrody i zbadaliśmy reakcję neuronalną na próby nagrody i nie-wartościowe dla każdego warunku nagrody. Nasze dane są zgodne z wcześniejszymi badaniami elektrofizjologicznymi przeprowadzanymi na ludziach i nieludzkimi (Fiorillo i in., 2003; Schultz, 2002) i sugerują, że accumbens i OFC są wrażliwi na wynik nagrody (nagrodę lub nie). Jednak aktywność w tych regionach, zwłaszcza w regionach półleżących, wydaje się być modulowana przez prognozy dotyczące prawdopodobieństwa osiągnięcia rezultatów nagrody, które powstają w wyniku uczenia się w czasie. Ten dynamiczny wzorzec aktywacji może reprezentować modyfikacje aktywności dopaminy wewnątrz lub rzutowania na te regiony, ponieważ informacje o przewidywanej nagrodzie są zdobywane i aktualizowane.

Przypisy

Referencje