Citlivost nucleus accumbens na porušení v očekávání odměny (2007)

Metody

Experimentální úkol

Účastníci byli testováni pomocí modifikované verze dříve vybrané úlohy se zpožděnou odpovědí popsané dříve (Galvan a kol., 2005) ve studii fMRI související s událostmi (Obrázek 1). V této úloze byly tři podněty spojeny se zřetelnou pravděpodobností (33%, 66% a 100%) získání pevné částky odměny. Subjekty byly instruovány, aby stiskly buď svůj index, nebo prostředníček, aby označily stranu, na které se na výzvu objevila narážka, a aby reagovaly co nejrychleji, aniž by došlo k chybám. Jeden ze tří pirátských kreslených obrázků byl uveden v náhodném pořadí na levé nebo pravé straně středové fixace pro 1000 msec (viz Obrázek 1). Po zpoždění msec 2000 byly subjekty prezentovány s výzvou k odpovědi dvou truhly s pokladem na obou stranách fixace (2000 msec) a byly instruovány, aby stiskly tlačítko pravým ukazováčkem, pokud byl pirát na levé straně fixace nebo jejich pravý prostřední prst, pokud byl pirát na pravé straně fixace. Po dalším zpoždění 2000 msec byla ve středu obrazovky (1000 msec) na základě pravděpodobnosti odměny tohoto zkušebního typu předložena odměna za zpětnou vazbu (kreslené mince) nebo prázdná truhla s pokladem. Před zahájením dalšího pokusu byl intertrial interval 12 s (ITI).

  

Obrázek 1

Návrh úlohy

Byly tři podmínky pravděpodobnosti odměny: pravděpodobnost odměny 33%, 66% a 100%. Ve stavu 33% byly subjekty odměněny za 33% pokusů a na ostatních 66% pokusů v tomto stavu nedošlo k žádné odměně (prázdná truhla s pokladem). Ve stavu 66% byly subjekty odměněny za 66% pokusů a za ostatní 33% pokusů nedošlo k žádné odměně. Ve stavu 100% byly subjekty odměněny za všechny správné pokusy.

Subjektům byla zaručena účast na studii $ 50 a bylo jim řečeno, že si mohou vydělat až $ 25 více, v závislosti na výkonu (podle indexu podle doby reakce a přesnosti) na úkolu. Stimuli byli představeni s integrovaným funkčním zobrazovacím systémem (IFIS) (PST, Pittsburgh) s použitím LCD video displeje ve vrtání MR skeneru a zařízení pro sběr optické vlákniny.

Experiment sestával z pěti běhů 18 pokusů (6 každý z 33%, 66% a 100% pravděpodobnost typů odměn), který trval 6 min a 8 s. Každý běh měl 6 zkoušky každé pravděpodobnosti odměny prezentovány v náhodném pořadí. Na konci každého běhu byly subjekty aktualizovány o tom, kolik peněz vydělaly během tohoto běhu. Před zahájením experimentu dostali subjekty podrobné pokyny, které zahrnovaly seznámení se s použitými stimuly a provedením praktického běhu, aby se zajistilo porozumění úkolu. Bylo jim řečeno, že existuje vztah mezi narážkami a peněžními výsledky, ale přesná povaha tohoto vztahu nebyla odhalena.

výsledky

Behaviorální data

Účinky pravděpodobnosti odměny a času na úkol byly testovány pomocí 3 (33%, 66%, 100%) x 5 (běhy 1 – 5) opakovanou měření analýzy rozptylu (ANOVA) pro závislé proměnné střední reakční doby (RT) ) a střední přesnost.

Nebyly zjištěny žádné hlavní účinky nebo interakce pravděpodobnosti času odměny (F [2,22] = 12, p <85) na úkolu (F [4,44] = 2.02, p <14) nebo pravděpodobnosti odměny X čas na úkolu (F [8, 88] = 1.02, p <41) pro střední přesnost. To se dalo očekávat, protože přesnost účastníků dosáhla úrovně stropu pro všechny pravděpodobnosti experimentu (33% podmínka = 97.2%; 66% podmínka = 97.5%; 100% podmínka = 97.7%).

Došlo k významné interakci mezi pravděpodobností odměny a časem na úkolu (F [8,88] = 3.5, p <01) na průměrné RT, ale žádné hlavní účinky času na úkol (F [4,44] = 611 , p <0.59) nebo pravděpodobnost odměny (F [2,22] = 2.84, p <0.08). Post-hoc t testy významné interakce ukázaly, že došlo k významnému rozdílu mezi 33% a 100% podmínkami pravděpodobnosti odměny během pozdních pokusů experimentu (běh 5) (t (11) = 3.712, p <003), s rychlejším průměrným RT pro podmínku pravděpodobnosti 100% odměny (průměr = 498.30, sd = 206.23) ve srovnání s podmínkou 33% (průměr = 583.74, sd = 270.23).

Rozdíl v průměrné reakční době mezi podmínkami 100% a 33% se od časných do pozdních studií zvýšil dvakrát (viz viz Obrázek 2a). Abychom dále ukázali učení, zavedli jsme na konci experimentu obrácení, přepínání pravděpodobnosti odměny za podmínky 33% a 100%. 2 (pravděpodobnost) X 2 (reverzní a nevratná) ANOVA pro pozdní studie vykazovala významnou interakci (F (1,11) = 18.97, p = 0.001), se snížením RT do stavu, který byl pravděpodobností 33% v non-zvrácení (průměr = 583.74, sd = 270.24) a 100% v obrácení (průměr = 519.89, sd = 180.46) (Obrázek 2b).

  

Obrázek 2

Výsledky chování (RT)

Výsledky zobrazování

GLM pro správné pokusy používající pravděpodobnost odměny jako primární prediktor byl modelován v bodě, ve kterém subjekt obdržel zpětnou vazbu odměny nebo ne (tj. Výsledek). Tato analýza identifikovala oblasti NAcc (x = 9, y = 6, z = −1 a x = −9, y = 9, z = −1) a OFC (x = 28, y = 39, z = - 6) (viz Obrázek 3a, b. Obr). Post-hoc t-testy mezi váhami beta u testů s odměnou versus bez odměny ukázaly větší aktivaci v obou těchto regionech k odměně (NAcc: t (11) = 3.48, p <0.01; OFC x = 28, y = 39, z = −6, t (11) = 3.30, p <0.02)¹.

  

Obrázek 3

Větší aktivace na odměněné versus nezměněné výsledky v a) nucleus accumbens (x = 9, y = 6, z = −1; x = −9, y = 9, z = −1) ab) orbitální frontální kůra (x = 28, y = 39, z = -6).

Existovaly dva možné výsledky (odměna nebo žádná odměna) pro dva přerušované plány odměn (pravděpodobnost 33% a 66%) a pouze jeden výsledek pro průběžný plán odměn (pravděpodobnost odměny 100%), který byl použit jako podmínka srovnání. Zatímco ve výše popsaném OFC byl hlavní účinek odměny (odměna versus žádné zkoušky odměny), aktivita OFC se v aktuální studii nelišila jako funkce pravděpodobnosti odměny [F (2,10) = 0.84, p = 0.46) . Naproti tomu NAcc vykázal výrazné změny aktivity k výsledku jako funkci manipulace s pravděpodobností odměny [F (2,10) = 9.32, p <0.005]. Konkrétně se aktivita NAcc zvýšila na výsledky odměn, když byla odměna neočekávaná (33% podmínka pravděpodobnosti odměny) ve srovnání s očekávanou (100% základní podmínka) [t (11) = 2.54, p <03 viz Obrázek 4a]. Zadruhé, došlo ke snížení aktivity NAcc na žádnou odměnu, když byla očekávaná a neobdržená odměna (66% podmínka pravděpodobnosti odměny) ve srovnání s neočekávanou nebo obdrženou odměnou (33% podmínka pravděpodobnosti odměny; t (59) = 2.08, p <04; viz Obrázek 4b). Všimněte si, že neexistovaly žádné významné rozdíly v aktivaci mezi pravděpodobnostními podmínkami odměny 33% a 66% [t (11) =. 510, p = .62] nebo mezi pravděpodobnými podmínkami odměněnými 66% a 100% [t (11) = = 1.20, p = .26] v odměněných výsledcích. MR signál jako funkce výsledku odměny a pravděpodobnosti jsou uvedeny v Obrázek 4.

  

Obrázek 4

Procentuální MR signál se mění jako funkce výsledku odměny a pravděpodobnosti v jádru podle a) odměněných ab) nezměněných výsledků.

Diskuse

Tato studie zkoumala účinky porušení očekávaných výsledků odměňování na chování a nervovou aktivitu v akumbensu a orbitální frontální kůře (OFC), o kterém bylo dříve prokázáno, že se podílí na očekávání výsledků odměňování (McClure a kol. 2004; Knutson a kol., 2005). Ukázali jsme, že jak nucleus accumbens, tak OFC byly přijaty během odměněných studií v porovnání s nevyhodnocenými zkouškami, ale pouze nucleus accumbens vykazovaly citlivost na porušení při předpovídaném výsledku odměny v této studii. Větší citlivost accumbens na hodnotu odměny (např. Velikost) vzhledem k OFC byla prokázána v předchozí práci (Galvan a kol. 2005) a společně tato zjištění naznačují, že tento region může být zapojen do výpočtu velikosti i pravděpodobnosti odměny. Nedostatek citlivosti v OFC na tyto manipulace může odrážet absolutnější reprezentaci odměny nebo dvojznačnosti ve výsledku (Hsu a kol., 2005). Alternativně, protože signál MR byl v této oblasti variabilnější, mohly být tyto účinky v současné studii oslabeny.

V elektrofyziologických studiích na zvířatech bylo prokázáno, že dopaminové neurony ve středním mozku (které se promítají do nucleus accumbens) mají malou až žádnou odpověď na výsledky předvídané odměny (pravděpodobnost = 1.0), ale vykazují fázové střílení, když je odměna doručena s méně než 100 % pravděpodobnosti, a to i po rozsáhlém tréninku (Fiorillo a kol., 2003). V současné studii jsme prokázali větší akumbensovou aktivitu k odměňování, když byla odměna neočekávaná (podmínka 33%) ve srovnání s tím, kdy byla očekávaná (podmínka 100%) v souladu s těmito nálezy. Dále, elektrofyziologické studie dopaminových neuronů u zvířat (např. Fiorillo a kol., 2003) prokázali, že u studií, u nichž byla předpovídána odměna, ale nedošlo k ní, došlo k poklesu neuronální aktivity. Současná studie ukázala podobný vzorec u accumbens, se snížením aktivity v této oblasti v neuznaných studiích pro pravděpodobnost 66% pravděpodobnosti ve srovnání s podmínkou 33%.²

Dopaminové neurony byly zapojeny do učení dvěma způsoby. Za prvé, kódují kontingence mezi podněty (nebo odezvou) a výstupy prostřednictvím signálů chyb predikce, které detekují porušení očekávání (Schultz a kol., 1997; Mirencowicz a Schultz, 1998; Fiorillo a kol., 2003). Zdá se tedy, že chyba predikce poskytuje výukový signál, který odpovídá principům učení, které původně popsal Rescorla a Wagner (1972). Za druhé, slouží ke změně behaviorálních reakcí (Schultz a kol., 1997; McClure a kol., 2004) tak, že akce jsou zkreslené směrem k narážkám, které jsou nejvíce prediktivní. V současné studii jsme ukázali, že v pozdějších pokusech experimentu je nejoptimálnější výkon pro podmínku s nejvyšší pravděpodobností odměny (pravděpodobnost odměny 100%) a nejméně optimální pro podmínku nejnižší pravděpodobnosti (pravděpodobnost odměny 33%). Toto zjištění chování je v souladu s předchozí pravděpodobnostní prací vykazující nejméně optimální výkon s nejnižší pravděpodobností výsledku odměny, což svědčí o tom, že se v průběhu času naučily podmíněné odměnyDelgado a kol., 2005). Abychom dále ukázali učení, zavedli jsme na konci experimentu obrácení, přepínání pravděpodobnosti odměny za podmínky 33% a 100%. Tato manipulace měla za následek zmírnění rozdílů mezi těmito podmínkami, což dále potvrdilo učební účinky.

Hlavním cílem studií souvisejících s odměnami je zjistit, jak odměny ovlivňují a ovlivňují chování (např Robbins a Everitt, 1996; Schultz, 2004) kromě charakterizace základního nervového zpracování. Četné faktory přispívají k tomu, jak rychle a robustně odměňuje chování, včetně harmonogramů posilování (Skinner, 1958), odměna (Galvan a kol., 2005) a předvídatelnost odměn (Fiorillo a kol., 2003; Delgado a kol., 2005). Očekávaná hodnota, která je součinem velikosti a pravděpodobnosti odměny (Pascal, ca 1600), ovlivňuje výběr chování (von Frisch, 1967; Montague a kol., 1995; Montague a Berns, 2002). Pomocí velmi podobného úkolu, ve kterém se pouze výsledek (velikost namísto pravděpodobnosti) lišil od současné studie, jsme ukázali, že jádro accumbens bylo citlivé na diskrétní hodnoty odměn (Galvan a kol., 2005). Spolu s důkazy předloženými zde a jinde (Tobler a kol., 2005), navrhujeme, že ventrální striatum pravděpodobně přispěje k výpočtu očekávané hodnoty odměny vzhledem k její citlivosti na pravděpodobnost odměny i na velikost.

Role orbitální frontální kůry v predikci odměn je v souladu s funkčními členěními této oblasti podle Kringelbach and Rolls (2004). Naznačují, že více předních a středních částí OFC je citlivé na manipulace s abstraktními odměnami. Aktivace OFC v této studii byla pozorována na tomto obecném místě. Elektrofyziologické studie implikují OFC v kódování subjektivní hodnoty stimulu odměny (pro přehled, O'Doherty, 2004). Například neurony OFC střílejí na zvláštní chuť, když je zvíře hladové, ale jakmile je zvíře nasyceno a hodnota odměny za jídlo se sníží (Critchley and Rolls, 1996). Jiní navrhli, že OFC je nejcitlivější na relativní odměny (Tremblay a Schultz, 1999) a preference odměn (Schultz a kol., 2000). Neuroimagingové studie prokázaly analogický vzorec u lidí s různými stimuly, včetně chuti (O'Doherty a kol., 2001; Kringelbach a kol., 2003), čich (Anderson a kol., 2003; Rolls a kol., 2003) a peníze (Elliott a kol., 2003; Galvan a kol., 2005), přičemž každá aktivace se liší v umístění aktivity od přední k zadní a od střední k laterální OFC. OFC byl zapojen do očekávání odměny (O'Doherty et al 2002), ale pouze pokud je prediktivní hodnota odpovědi spojena se specifickou hodnota přidružené odměny, spíše než v pravděpodobnosti, že k takové odměně dojde (O'Doherty, 2004 ). V současné studii jsme v OFC neviděli citlivost na porušení v predikci odměn. Knutson a jeho kolegové (2005) uvedli korelace mezi odhady pravděpodobnosti a aktivací mozku v očekávání odměny v meziální prefrontální kůře (Knutson a kol. 2005), ale nikoli konkrétně v orbitální frontální kůře. V porovnání, Ramnani a kol. (2004 ) uvedla citlivost OFC na chybu pozitivní predikce ve střední orbitální čelní kůře pomocí pasivního pozorovacího úkolu a Dreher a kol. (2005) hlásili predikci chyby OFC v úkolu, který manipuloval jak s pravděpodobností, tak s velikostí prediktivních podnětů, ale tyto nepředvídané události byly získány před skenováním. Je proto stále udržitelné, že OFC může počítat předvídané odměny, ale možná jsou tyto výpočty hrubší (tj. Sčítané v celém rozsahu pravděpodobností) nebo pomalejší, než aby se tvořily vzhledem k přesným výpočtům, které se zdají v NAcc. Alternativně může být tato oblast citlivější na detekci podnětů nejisté a / nebo nejednoznačné hodnoty, jak navrhuje Hsu a kol. (2005), než při odhalování porušení v predikci odměny. Hsu a kol. (2005) ukazují, že míra nejednoznačnosti ve výběru (nejistá rozhodnutí z důvodu chybějících informací) koreluje pozitivně s aktivací v OFC. A konečně, větší variabilita signálu MR v této oblasti může snížit naši schopnost detekovat tyto účinky.

Základní otázkou současné studie bylo to, jak accumbens a OFC odlišně předpovídají výsledky odměn ve vztahu k nepředvídaným výsledkům (tj. Porušení očekávání). Parametricky jsme manipulovali pravděpodobnost odměny a zkoumali jsme nervovou reakci na odměnu a nevhodné zkoušky pro každou podmínku odměny pravděpodobnosti. Naše data jsou v souladu s předchozími lidskými zobrazovacími a nehumánními elektrofyziologickými studiemi (Fiorillo a kol., 2003; Schultz, 2002) a naznačují, že accumbens a OFC jsou citlivé na odměnu za výsledek (odměnu nebo ne). Zdá se však, že aktivita v těchto regionech, zejména v accumbens, je modulována předpovědí o pravděpodobnosti výsledků odměn, které jsou vytvářeny v průběhu času. Tento dynamický vzorec aktivace může představovat modifikace dopaminové aktivity v těchto regionech nebo promítání do těchto regionů, jak se získávají a aktualizují informace o předpokládané odměně.

Poznámky pod čarou

Reference