Citlivosť jadra accumbens na porušenie v očakávaní odmeny (2007)

Metódy

Experimentálna úloha

Účastníci boli testovaní s použitím modifikovanej verzie úlohy s oneskorenou odozvou, ktorá bola opísaná vyššie.Galvan a kol., 2005) v štúdii fMRI súvisiacej s udalosťou (\ tObrázok 1). V tejto úlohe boli tri podnety spojené s odlišnou pravdepodobnosťou (33%, 66% a 100%) získania pevnej sumy odmeny. Subjekty boli inštruované, aby stlačili buď svoj indexový alebo stredný prst, aby označili stranu, na ktorej sa objavilo cue, keď boli vyzvaní, a aby odpovedali čo najrýchlejšie bez toho, aby urobili chyby. Jeden z troch pirátskych kreslených obrázkov bol prezentovaný v náhodnom poradí na ľavej alebo pravej strane stredovej fixácie pre 1000 ms (pozri Obrázok 1). Po oneskorení 2000 msec boli jedincom prezentované odpovede na dve truhlice s pokladom na oboch stranách fixácie (2000 ms) a boli poučené, aby stlačili tlačidlo s pravým ukazovákom, ak bol pirát na ľavej strane fixácie alebo Ak je pirát na pravej strane fixácie, umiestnite ich pravý prst. Po ďalšom oneskorení 2000 msec bolo v strede obrazovky (1000 msec) prezentované buď spätná väzba odmien (kreslené mince) alebo prázdna truhla s pokladom na základe pravdepodobnosti odmeny tohto skúšobného typu. Pred začiatkom ďalšieho pokusu bol intertrialny interval 12 sec (ITI).

  

Obrázok 1

Návrh úloh

Existovali tri podmienky pravdepodobnosti odmeny: pravdepodobnosť 33%, 66% a 100%. V stave 33% boli pacienti odmenení na 33% skúšok a na iných 66% štúdií v tomto stave sa nevyskytla žiadna odmena (prázdna truhla s pokladom). V stave 66% boli subjekty odmenené na 66% pokusov a žiadna ďalšia odmena sa neuskutočnila pre ostatné 33% skúšok. V stave 100% boli subjekty odmenené za všetky správne pokusy.

Subjektom bola garantovaná $ 50 za účasť v štúdii a bolo im povedané, že by mohli zarobiť až $ 25 viac, v závislosti od výkonu (podľa indexu času reakcie a presnosti) úlohy. Stimulácie boli prezentované s integrovaným funkčným zobrazovacím systémom (IFIS) (PST, Pittsburgh) s použitím LCD video displeja v otvore MR skenera a zariadenia na zber optických vlákien.

Experiment pozostával z piatich cyklov skúšok 18 (6 každý z typov testov 33%, 66% a 100% pravdepodobnosti odmeny), ktoré trvalo 6 min a 8 s. Každý beh mal 6 skúšky každej pravdepodobnosti odmeny prezentované v náhodnom poradí. Na konci každého behu boli subjekty aktualizované o tom, koľko peňazí zarobili počas tohto behu. Pred začiatkom experimentu dostali subjekty podrobné pokyny, ktoré zahŕňali oboznámenie sa s podnetmi, ktoré sa použili, a vykonali prax, aby sa zabezpečilo porozumenie úloh. Bolo im povedané, že existuje vzťah medzi narážkami a peňažnými výsledkami, ale presná povaha tohto vzťahu nebola odhalená.

výsledky

Behaviorálne údaje

Vplyv pravdepodobnosti odmeňovania a času na úlohu bol testovaný pomocou 3 (33%, 66%, 100%) x 5 (beží 1 – 5) analýzy rozptylu (ANOVA) pre závislé premenné priemernej doby reakcie (RT). ) a priemernej presnosti.

Neboli zaznamenané žiadne hlavné účinky alebo interakcie pravdepodobnosti času odmeny (F [2,22] = 12, p <85) na úlohu (F [4,44] = 2.02, p <14) alebo pravdepodobnosti odmeny X čas pri úlohe (F [8, 88] = 1.02, p <41) pre strednú presnosť. Dalo sa to očakávať, pretože presnosť účastníkov dosahovala pri všetkých pravdepodobnostiach experimentu úrovne stropu (33% podmienka = 97.2%; 66% podmienka = 97.5%; 100% podmienka = 97.7%).

Došlo k významnej interakcii medzi pravdepodobnosťou odmeny a časom na úlohe (F [8,88] = 3.5, p <01) pri priemernej RT, ale neboli zaznamenané žiadne hlavné účinky času na úlohu (F [4,44] = 611 , p <0.59) alebo pravdepodobnosť odmeny (F [2,22] = 2.84, p <0.08). Post-hoc t testy významnej interakcie ukázali, že medzi neskorými pokusmi experimentu (test 33) (test 100) (t (5) = 11, p <3.712), bol medzi podmienkami pravdepodobnosti odmeny 003% a 100% významný rozdiel, s rýchlejším priemerným RT pre podmienku pravdepodobnosti 498.30% odmeny (priemer = 206.23, sd = 33) v porovnaní s podmienkou 583.74% (priemer = 270.23, sd = XNUMX).

Rozdiel v priemernom reakčnom čase medzi stavmi 100% a 33% vzrástol dvojnásobne od začiatku do neskorých štúdií (pozri Obrázok 2a). Na ďalšie ukázanie učenia sme zaviedli zvrat, prepínanie pravdepodobností odmeny za podmienky 33% a 100% na konci experimentu. 2 (pravdepodobnosť) 2 (reverzná a nereverzívna) ANOVA pre neskoré štúdie ukázali signifikantnú interakciu (F (1,11) = 18.97, p = 0.001), s poklesom RT na stav, ktorý bol 33% pravdepodobnosťou v nereverzný (priemer = 583.74, sd = 270.24) a 100% v obrátení (priemer = 519.89, sd = 180.46) (Obrázok 2b).

  

Obrázok 2

Výsledky správania (RT)

Výsledky zobrazovania

GLM pre správne skúšky využívajúce pravdepodobnosť odmeny ako primárny prediktor bol modelovaný v bode, v ktorom subjekt získal spätnú väzbu odmien alebo nie (tj výsledok). Táto analýza identifikovala oblasti NAcc (x = 9, y = 6, z = −1 a x = −9, y = 9, z = −1) a OFC (x = 28, y = 39, z = - 6) (viď Obrázok 3a, b). Post-hoc t-testy medzi váhami beta u skúšok s odmenou oproti neodmeneným štúdiám preukázali väčšiu aktiváciu v oboch týchto regiónoch, aby sa odmenili (NAcc: t (11) = 3.48, p <0.01; OFC x = 28, y = 39, z = −6, t (11) = 3.30, p <0.02)¹.

  

Obrázok 3

Väčšia aktivácia na odmenenie verzus nezodpovedané výsledky v a) nucleus accumbens (x = 9, y = 6, z = −1; x = −9, y = 9, z = −1) ab) orbitálny frontálny kortex (x = 28, y = 39, z = −6).

Boli dva možné výsledky (odmena alebo žiadna odmena) pre dva prerušované plány odmien (pravdepodobnosť 33% a 66%) a iba jeden výsledok pre nepretržitý plán odmien (100% pravdepodobnosť odmeny), ktorý bol použitý ako podmienka porovnania. Zatiaľ čo vo vyššie popísanom OFC existoval hlavný efekt odmeny (odmena verzus žiadne skúšky odmeny), aktivita OFC sa v aktuálnej štúdii nelíšila ako funkcia pravdepodobnosti odmeny [F (2,10) = 0.84, p = 0.46) . Naproti tomu NAcc vykázala zreteľné zmeny aktivity voči výsledku ako funkcia manipulácie s pravdepodobnosťou odmeny [F (2,10) = 9.32, p <0.005]. Konkrétne sa aktivita NAcc zvýšila na výsledky odmien, keď bola odmena neočakávaná (33% podmienka pravdepodobnosti odmeny) v porovnaní s očakávanou (100% základná podmienka) [t (11) = 2.54, p <03 pozri Obrázok 4a]. Po druhé, došlo k zníženiu aktivity NAcc bez akejkoľvek odmeny, keď sa očakávala a nedostávala odmena (66% podmienka pravdepodobnosti odmeny) v pomere k neočakávanej alebo prijatej odmene (33% podmienka pravdepodobnosti odmeny; t (59) = 2.08, p <04; pozri Obrázok 4b). Všimnite si, že neexistovali žiadne významné rozdiely v aktivácii medzi 33% a 66% odmeny pravdepodobnosti podmienky [t (11) =. 510, p = .62] alebo medzi 66% a 100% odmenené podmienky pravdepodobnosti [t (11) = 1.20, p = .26] v ocenených výsledkoch. MR signál ako funkcia výsledku odmeny a pravdepodobnosti sú uvedené v Obrázok 4.

  

Obrázok 4

Percentuálne zmeny MR signálu ako funkcie výsledku odmeny a pravdepodobnosti v nucleus accumbens na a) odmenené a b) nezodpovedané výsledky.

Diskusia

Táto štúdia skúmala účinky porušovania očakávaných výsledkov odmeňovania na správanie a nervovú aktivitu v akumulovaných a orbitálnych frontálnych kortexoch (OFC), ktoré sa ukázali byť zahrnuté v očakávaní výsledkov odmien (McClure a kol. 2004; Knutson a kol., 2005). Ukázali sme, že ako odmeňované nukleotidy, tak aj OFC boli naverbované počas odmeňovaných pokusov v porovnaní so skúškami bez odmeňovania, ale iba nucleus accumbens ukázal citlivosť na porušovanie predpovedaného výsledku odmeňovania v tejto štúdii. Väčšia citlivosť akumulovaných hodnôt na hodnotu odmeny (napr. Veľkosť) v porovnaní s OFC bola preukázaná v predchádzajúcej práci (Galvan a kol., 2005), spolu s týmito zisteniami naznačujú, že tento región môže byť zapojený do výpočtu veľkosti a pravdepodobnosti odmeny. Nedostatok citlivosti na tieto manipulácie v OFC môže odrážať absolútnejšiu reprezentáciu odmeny alebo nejednoznačnosti vo výsledku (Hsu a spol., 2005). Alternatívne, pretože MR signál bol v tejto oblasti viac variabilný, tieto účinky môžu byť v súčasnej štúdii oslabené.

V elektrofyziologických štúdiách na zvieratách sa preukázalo, že dopamínové neuróny v strednom mozgu (ktoré projektujú nucleus accumbens) majú malú až žiadnu odozvu na predpovedané výsledky odmeňovania (pravdepodobnosť = 1.0), ale ukazujú fázovú streľbu, keď je odmena poskytnutá s menej ako 100 % pravdepodobnosti, dokonca aj po rozsiahlom tréningu (Fiorillo a kol., 2003). V tejto štúdii sme ukázali väčšiu aktivitu akumulovaných odmien, keď bola odmena neočakávaná (stav 33%) v porovnaní s očakávaním (stav 100%) v súlade s týmito zisteniami. Ďalej elektrofyziologické štúdie dopamínových neurónov u zvierat (napr. Fiorillo a kol., 2003) ukázali, že pri skúškach, pri ktorých sa predpokladala odmena, ale nenastala, sa aktivita neurónov znížila. Súčasná štúdia ukázala podobný vzorec v akumulovaných stavoch, pričom pokles aktivity v tejto oblasti v neodmeňovaných pokusoch o podmienku pravdepodobnosti 66% odmeny v porovnaní so stavom 33%.²

Dopamínové neuróny sa podieľajú na učení dvoma spôsobmi. Po prvé, kódujú nepredvídané udalosti medzi podnetmi (alebo odozvou) a výsledkami prostredníctvom predikčných chýb, ktoré detekujú porušenia očakávaní (Schultz a kol., 1997; Mirencowicz a Schultz, 1998; Fiorillo a kol., 2003). Zdá sa teda, že predikčná chyba poskytuje vyučovací signál, ktorý zodpovedá princípom učenia pôvodne opísaným Rescorla a Wagner (1972), Po druhé slúžia na zmenu reakcií správania (Schultz a kol., 1997; McClure a kol., 2004) také, že činy sú zaujaté voči podnetom, ktoré sú najviac prediktívne. V súčasnej štúdii dokazujeme, že neskoršími pokusmi experimentu je najoptimálnejší výkon pre stav s najvyššou pravdepodobnosťou odmeny (pravdepodobnosť 100% odmeny) a najmenej optimálny pre najnižšiu pravdepodobnostnú podmienku (pravdepodobnosť 33% odmeny). Toto zistenie správania je v súlade s predchádzajúcou pravdepodobnostnou prácou vykazujúcou najmenej optimálny výkon s najnižšou pravdepodobnosťou výsledku odmeňovania, čo naznačuje, že časom sa zistili nepredvídané okolnosti odmeny (Delgado a kol., 2005). Na ďalšie ukázanie učenia sme zaviedli zvrat, prepínanie pravdepodobností odmeny za podmienky 33% a 100% na konci experimentu. Táto manipulácia viedla k zmierneniu rozdielov medzi týmito podmienkami, čo ďalej potvrdzuje učebné účinky.

Hlavným cieľom štúdií súvisiacich s odmenami je určiť, ako odmeňovanie ovplyvňuje a ovplyvňuje správanie (napr Robbins a Everitt, 1996; Schultz, 2004) okrem charakterizácie základného spracovania neurónov. Početné faktory prispievajú k rýchlemu a silnému odmeňovaniu správania, vrátane harmonogramov posilňovania (Skinner, 1958), hodnota odmeny (Galvan a kol., 2005) a predvídateľnosť odmien (Fiorillo a kol., 2003; Delgado a kol., 2005). Očakávaná hodnota, ktorá je súčinom veľkosti a pravdepodobnosti odmeny (Pascal, ca 1600s), ovplyvňuje voľby správania (von Frisch, 1967; Montague a kol., 1995; Montague a Berns, 2002). Pomocou veľmi podobnej úlohy, v ktorej sa len výsledok (veľkosť namiesto pravdepodobnosti) líšil od súčasnej štúdie, sme ukázali, že nucleus accumbens bol citlivý na hodnoty oddelenej odmeny (Galvan a kol., 2005). Spolu s dôkazmi predloženými tu a inde (Tobler a kol., 2005), predpokladáme, že ventrálna striatum pravdepodobne prispieva k výpočtu očakávanej hodnoty odmeny vzhľadom na jej citlivosť na pravdepodobnosť a veľkosť odmeny.

Úloha orbitálneho frontálneho kortexu v predikcii odmeňovania je v súlade s funkčným členením tejto oblasti podľa Kringelbach a Rolls (2004), Naznačujú, že viac predných a stredných častí OFC je citlivých na manipuláciu s abstraktnými odmenami. Aktivácia OFC v tejto štúdii bola pozorovaná v tejto všeobecnej polohe. Elektrofyziologické štúdie poukazujú na OFC pri kódovaní subjektívnej hodnoty stimulačného stimulu ( O'Doherty, 2004). Napríklad, OFC neuróny oheň na určitú chuť, keď zviera je hlad, ale znížiť ich rýchlosť paľby, akonáhle zviera je nasýtený a odmena hodnota potraviny sa znížila (Critchley a Rolls, 1996). Ako takí iní navrhli, že OFC je najcitlivejšie na relatívne odmeny (Tremblay a Schultz, 1999) a preferencie odmien (Schultz a kol., 2000). Neuroimagingové štúdie ukázali analogický model u ľudí s rôznymi stimulmi, vrátane chuti (O'Doherty a kol., 2001; Kringelbach a kol., 2003), čuch (Anderson a kol., 2003; Rolls a kol., 2003) a peniaze (Elliott a kol., 2003; Galvan a kol., 2005), pričom každá aktivácia sa mení v mieste aktivity od predného k zadnému a od mediálneho k laterálnemu OFC. OFC sa podieľa na očakávaní odmeny (O'Doherty a kol. 2002), ale iba pokiaľ je prediktívna hodnota odpovede spojená so špecifickým hodnotu odmeny, a nie pravdepodobnosti, že táto odmena nastane (O'Doherty, 2004 ). V súčasnej štúdii sme nevideli citlivosť na porušovanie predikcie odmeny v OFC. Knutson a kolegovia (2005) uviedli korelácie medzi odhadmi pravdepodobnosti a aktiváciou mozgu v očakávaní odmeny v mesiálnom predfrontálnom kortexe (Knutson a kol. 2005), ale nie špecificky v orbitálnom frontálnom kortexe. Naproti tomu Ramnani a kol. (2004 ) uvádza citlivosť OFC na pozitívnu predikčnú chybu v mediálnom orbitálnom frontálnom kortexe pomocou pasívnej pozorovacej úlohy a Dreher a kol. (2005) predpovedanie chyby OFC v úlohe, ktorá manipulovala tak s pravdepodobnosťou, ako aj s veľkosťou prediktívnych podnetov, ale tieto nepredvídané okolnosti sa naučili pred skenovaním. Preto je stále možné, že OFC môže počítať predpovedané odmeny, ale možno sú tieto výpočty krutejšie (tj sčítané v rozsahu pravdepodobností) alebo pomalšie, pokiaľ ide o presné výpočty, ktoré sa vyskytujú v NAcc. Alternatívne môže byť táto oblasť citlivejšia pri detekcii stimulov neurčitej a / alebo nejednoznačnej hodnoty, ako to navrhuje Hsu a kol. (2005)ako pri odhaľovaní porušení v predikcii odmien. Hsu a kol. (2005) ukazujú, že úroveň nejednoznačnosti vo výbere (neistá voľba z dôvodu chýbajúcich informácií) pozitívne koreluje s aktiváciou v OFC. A nakoniec, väčšia variabilita v MR signáli v tejto oblasti môže tiež znížiť našu schopnosť detegovať tieto účinky.

Základnou otázkou súčasnej štúdie bolo, ako akumulované a OFC diferencovane predpovedali výsledky odmeňovania v porovnaní s nepredvídanými výsledkami (tj porušeniami v očakávaniach). Parametricky sme manipulovali s pravdepodobnosťou odmeny a skúmali neurónovú odozvu na odmenu a na nevhodné pokusy za každú podmienku pravdepodobnostnej odmeny. Naše údaje sú v súlade s predchádzajúcimi ľudskými zobrazovacími a neľudskými elektrofyziologickými štúdiami (Fiorillo a kol., 2003; Schultz, 2002) a naznačujú, že akumulátory a OFC sú citlivé na odmeňovanie výsledku (odmenu alebo nie). Zdá sa však, že aktivita v týchto regiónoch, najmä akumulovaných, je modulovaná predikciami o pravdepodobnosti výsledkov odmien, ktoré sa tvoria s časom učenia. Tento dynamický model aktivácie môže predstavovať zmeny v dopamínovej aktivite v týchto oblastiach alebo ich premietaní do týchto regiónov, pretože informácie o predpokladanej odmene sa naučia a aktualizujú.

poznámky pod čiarou

Referencie