Občutljivost jedra accumbens na kršitve v pričakovanju nagrade (2007)

Neuroimage. 2007 Jan 1; 34 (1): 455-61. Epub 2006 Oct 17.

Spicer J, Galvan A, Hare TA, Voss H, Glover G, Casey B.

vir

Sacklerjev inštitut za razvojno psihobiologijo, Weill Cornell Medical College Cornell University, 1300 York Avenue, Box 140, New York, NY 10021, ZDA.

Minimalizem

Ta študija je preučila, ali ventralne frontostriatalne regije različno kodirajo pričakovane in nepričakovane rezultate nagrajevanja. Parametrično smo manipulirali verjetnost nagrajevanja in preučili nevralni odziv na nagrado in nevrednost za vsako verjetnostno stanje v ventralnem striatumu in orbitofrontalni skorji (OFC). Pri poznih preskusih poskusa so subjekti pokazali počasnejše vedenjske odzive za stanje z najmanjšo verjetnostjo nagrajevanja, glede na stanje z največjo verjetnostjo nagrajevanja. Na neuralni ravni sta tako nucleus accumbens (NAcc) kot tudi OFC pokazala večjo aktivacijo na nagrajene glede na neuspešna preskušanja, vendar so se pojavile najbolj občutljive na kršitve pri pričakovanih rezultatih nagrajevanja. Ti podatki kažejo na različne vloge v frontostriatalnih vezjih pri napovedovanju nagrad in pri odzivanju na kršitve pri pričakovanjih.

 

Predstavitev

Oblikovanje natančnih napovedi in odkrivanje kršitev v pričakovanjih glede prihajajočih nagrajevalnih dogodkov je bistveni sestavni del ciljno usmerjenega vedenja. Študije nečloveškega slikanja primatov in ljudi kažejo, da so z dopaminom bogate frontostriatalne regije vključene v oblikovanje napovedi o prihodnjih rezultatih nagrad in temu primerno optimizacijo vedenja. Nevronski mehanizmi napake napovedovanja, povezane z nagrado, predstavljajo neskladje med dejansko in pričakovano nagrado (Schultz in sod., 1997) - so bili proučeni pri nečloveških primatih glede pričakovanih in nepričakovanih nagrad in / ali opustitev nagrajevanja (Hollerman in sod., 1998, Leon in Shadlen, 1999; Tremblay in Schultz, 1999). Sedanja študija je uporabila preprosto nalogo prostorske zamude ujemanja z vzorcem, podobno tisti, ki je bila prej uporabljena pri nečloveških primatih (Fiorillo in sod., 2003), ki je manipulirala z verjetnostjo rezultatov nagrajevanja, da bi preučila nevralne odzive na pričakovane in nepričakovane nagrade.

Konvergenčni dokazi kažejo, da je dopaminski sistem ključnega pomena za napovedovanje in obdelavo plačil (Olds in Milner, 1954; Montague et al., 2004, Schultz, 2002 za pregled). Študije nečloveških primatov so pokazale, da se dopaminski nevroni odzivajo na nepričakovane primarne koristi in sčasoma na dražljaje, ki napovedujejo te nagrade (Mirencowicz & Schultz, 1994, Tobler in sod., 2005). Nevroni dopamina v ventralnem tegmentalnem območju (VTA) opice se bodo odzvali na primarno nagrado, ki je nepredvidena (ali napovedana z nizko verjetnostjo) več kot na nagrado, ki je v celoti predvidena (Fiorillo in sod., 2003;Tobler in sod., 2005). Nasprotno pa se aktivnost istih nevronov zavira, ko ni pričakovana nagrada glede na pričakovano opustitev plačila (Fiorillo in sod., 2003; Tobler in sod., 2005). Tako dopaminski nevroni kodirajo napako napovedi tako, da predstavljajo neskladje med dejanskim in predvidenim rezultatom (Schultz in sod., 1997; Tobler in sod., 2005), tako da nepričakovana predstavitev nagrajevanja povzroči povečano aktivnost in nepričakovane izpuste rezultatov v zmanjšani aktivnosti.

Spremembe v delovanju dopamina v odzivu na spremembe v rezultatih nagrajevanja so vzporedne s spremembami v obnašanju. Študije nečloveških primatov so pokazale, da bo opica povečala svoje predhodno lizanje kot funkcijo verjetnosti, s katero je pogojni dražljaj povezan s poznejšim neusklajenim dražljajem (dostava soka). Kot taki, dražljaji, ki predstavljajo visoko verjetnost kasnejše dobave soka, izzovejo večjo predsodko lizanje (Fiorillo et al., 2003).

Vzajemne anatomske povezave obstajajo med regijami, ki so povezane s ciljno usmerjenim vedenjem (npr. Prefrontalni korteks), in tistimi, ki so povezane z bolj samodejnim obnašanjem apetita (npr. Ventralnim striatumom), kjer se lahko izračunajo napovedi (Shultz in sod., 1997; Haber et al., 2003). Ta območja so močno inervirana z dopaminom preko projekcij iz dopaminskih nevronov iz srednjih možganov in te povezave lahko tvorijo funkcionalno nevroanatomsko vezje, ki podpira optimizacijo obnašanja v korist ukrepov, ki povzročajo največje dobičke.

Nedavno so študije človeške funkcionalne magnetne resonance (fMRI) vključile dve regiji tega vezja, nucleus accumbens in orbitofrontalni korteks, v predstavitev napovedi napovedi. Na primer, nepredvidljiva zaporedja dovajanja soka in vode so pokazala, da izzovejo povečano aktivnost v NAcc glede na predvidljivo dostavo (Berns in sod., 2001). Napaka napovedi na podlagi časovnega (McClure in sod., 2003) in dražljaje (O'Doherty et al, 2003 O'Doherty et al, 2004) kršitve aktivirajo tudi ventralni striatum.

Vloga OFC pri napovedi nagrajevanja je bila manj jasna. Čeprav so nekatere študije poročale o občutljivosti OFC v pogojih napake napovedi (Berns et al., 2001; O'Doherty et al., 2003; Ramnini in sod., 2004; Dreher in sod., 2005) drugi niso (McClure et al., 2003; O'Doherty et al., 2004; Delgado et al., 2005). Študije z manjšim poudarkom na napovedi napovedi kažejo večjo aktivacijo OFC na ugodne glede na neugodne rezultate (O'Doherty et al, 2001; Elliott in sod., 2003; Galvan in sod., 2005) v študijah vrednosti nagrajevanja (Gottfried in sod., 2003) in valenca (Cox in sod., 2005; O'Doherty, 2000 O'Doherty, 2003 O'Doherty, 2004). Nedavno, Kringelbach in Rolls (2004) integrirano nevroznanstveno sliko in nevropsihološko literaturo, da bi upoštevali različne funkcije orbitofrontalne skorje. Predlagajo medialno-lateralno razlikovanje in anteriorno-posteriorno razlikovanje. Medialna in lateralna orbitofrontalna skorja spremljata vrednost nagrajevanja in vrednotenje kaznovalcev (npr O'Doherty et al, 2001 ; Rolls in sod., 2003). Zdi se, da je sprednja orbitofrontalna skorja bolj vključena v predstavitev abstraktnih ojačitev (O'Doherty et al, 2001) nad enostavnejšimi, ki so povezane z okusom (npr De Araujo et al, 2003) in bolečine (npr Craig et al, 2000).

Te ventralne frontostriatalne regije so pred kratkim (Knutson et al, 2005) je bila povezana s prikazom pričakovane vrednosti (zmnožek pričakovane verjetnosti in razsežnosti izida) med. \ t predvidevanje rezultatov nagrajevanja. Glede na elegantno, vendar zapleteno zasnovo, ki je vključevala napotke 18, ki predstavljajo številne kombinacije velikosti, verjetnosti in / ali valence, je pomanjkanje statistične moči preprečilo avtorjem, da preučijo možgansko aktivacijo, povezano s spodbudami rezultatov. V tej študiji smo uporabili tri različne znake, od katerih je vsak povezan z nagrado 33%, 66% ali 100% za pravilne preskuse. Poudarek te študije je bil na nagrado namesto nagrajevanja nagrajevanja, da bi preučili občutljivost na nevralni ravni za kršitve pri nagradnih pričakovanjih, namesto da bi pričakovali nagrado pred rezultatom. Ta analiza je ključnega pomena za razumevanje predvidljivosti nagrad zaradi sprememb v žganjem dopamina, ki se pojavijo pri rezultatih nagrajevanja, ko pride do kršitev predvidenih pričakovanj (Fiorillo in sod., 2003) a priori napovedi o accumbensih in odzivu OFC na pričakovano in nepričakovano denarno nagrado so temeljile na predhodnem slikanju, ki je te regije vključevalo v proces nagrajevanja (Knutson et al, 2001; 2005; O'Doherty et al, 2001; Galvan in sod., 2005). Uporabili smo preprosto prostorsko zapoznelo ujemanje z vzorčno paradigmo, podobno tisti, ki jo uporablja Fiorillo et al (2003) pri elektrofizioloških študijah dopaminskih nevronov pri nečloveških primatih. Domnevali smo, da bi se aktivnost v ventralnem striatumu, zlasti NAcc, povečala, ko bi bila podana nepričakovana nagrada in bi se zmanjšala, ko ne bi bila zagotovljena pričakovana nagrada. Pričakovalo se je, da bo obnašanje vzporedno s temi spremembami s hitrejšim povprečnim časom odziva na napovedi, ki napovedujejo nagrado najpogosteje, vendar počasnejši reakcijski časi na napoved, ki naj bi vsaj redko napovedovali. Poleg tega smo domnevali, da bi bil OFC občutljiv na rezultat nagrajevanja (nagrada ali ne), vendar bi bil accumbens najbolj občutljiv na spremembe v napovednih nagradah. Te hipoteze so temeljile na poročilih iz prejšnjih slikovnih študij (Galvan in drugi 2005, v tisku) in delo, ki ne vključuje človeka, ki kažejo večjo vpletenost striatov v parametre verjetnosti nagrajevanja, glede na aktivnost OFC, ki je zaklenjena z nagrajevanjem (Schultz, et al, 2000) in na fiksni, ne pa na različni višini nagrade v pogojih verjetnosti.

Pojdi na:

Metode

udeleženci

V poskus fMRI je bilo vključenih dvanajst odraslih zdravih odraslih oseb (7 ženska), starosti 19 – 27 (povprečna starost 24 let). Subjekti niso imeli anamneze nevroloških ali psihiatričnih bolezni in so bili vsi udeleženci privoljeni v študijo, ki jo je odobril institucionalni pregledni odbor, pred udeležbo.

Eksperimentalna naloga

Udeleženci so bili preizkušeni z uporabo spremenjene različice naloge z dvema izbiro z odloženim odzivom, ki je bila opisana prej (Galvan in sod., 2005) v študiji fMRI, povezanem z dogodkom (Slika 1). V tej nalogi so bili vsi trije povezani z določeno verjetnostjo (33%, 66% in 100%) za pridobitev fiksnega zneska nagrad. Subjektom smo naročili, naj pritisnejo bodisi svoj indeks ali srednji prst, da pokažejo stran, na kateri se je pojavil znak ob pozivu, in da se odzovejo čim hitreje, ne da bi naredili napake. Eno od treh piratskih risank je bilo predstavljenih v naključnem vrstnem redu na levi ali desni strani centriranega fiksiranja za 1000 msec (glej Slika 1). Po zakasnitvi po 2000 msec so osebe prejele odzivni odziv dveh skrinj z zakladom na obeh straneh fiksacije (2000 msec) in naročile, da pritisnejo gumb s svojim desnim kazalcem, če je pirat na levi strani fiksacije ali njihov desni srednji prst, če je pirat na desni strani fiksacije. Po še eni zamudi za 2000 msec so bili v sredini zaslona (1000 msec) predstavljeni povratni podatki o nagradi (risani kovanci) ali prazna skrinjica za zaklad na podlagi verjetnosti nagrajevanja tega poskusnega tipa. Pred začetkom naslednjega preskušanja je prišlo do intervalnega intervala 12 sek (ITI).

Slika 1  

Oblikovanje nalog

Obstajali so trije pogoji nagrajevanja: 33%, 66% in 100% verjetnost nagrajevanja. V stanju 33% so bili subjekti nagrajeni na 33% preizkusov in nobena nagrada (prazna skrinjica) se ni pojavila na drugih 66% poskusov v tem stanju. V stanju 66% so bili subjekti nagrajeni na 66% preskusov in nobena nagrada za druge 33% poskusov. V stanju 100% so bili subjekti nagrajeni za vsa pravilna preskušanja.

Za udeležbo v študiji so bili udeležencem zagotovljeni $ 50 in povedali so, da lahko zaslužijo do $ 25 več, odvisno od uspešnosti (kot jo indeksirajo čas reakcije in natančnosti) glede na nalogo. Dražljaji so bili predstavljeni z integriranim funkcijskim slikovnim sistemom (IFIS) (PST, Pittsburgh) z uporabo LCD video prikazovalnika v izvrtini MR skenerja in optičnega odzivnika.

Poskus je obsegal pet preskusov 18 (6 vsaka od verzij 33%, 66% in 100% verjetnosti za vrsto poskusnih poskusov), ki so trajale 6 min in 8 s. Vsaka vožnja je imela 6 preskuse za vsako verjetnost nagrajevanja v naključnem vrstnem redu. Ob koncu vsakega teka so bili subjekti seznanjeni s tem, koliko denarja so si zaslužili med to vožnjo. Pred začetkom eksperimenta so prejeli podrobna navodila, ki so vključevala seznanjanje z uporabljenimi dražljaji in izvedla prakso, da bi zagotovili razumevanje nalog. Rečeno jim je bilo, da obstaja razmerje med oznakami in denarnimi rezultati, vendar natančna narava tega razmerja ni bila razkrita.

Pridobivanje slike

Slikanje je bilo izvedeno s pomočjo 3T General Electric MRI skenerja s kvadratno tuljavo glave. Funkcionalni pregledi so bili pridobljeni s pomočjo spiralnega zaporedja vstopa in izstopa (Glover & Thomason, 2004). Parametri so vključevali TR = 2000, TE = 30, 64 X 64 matriko, 29 5-mm koronalnih rezin, 3.125 X 3.125-mm ločljivost v ravnini, flip 90 °) za 184 ponovitev, vključno s štirimi zavrženimi pridobitvami na začetku vsak tek. Anatomski T1 ponderirani skeni v ravnini so bili zbrani (TR = 500, TE = min, 256 X 256, FOV = 200 mm, debelina reza 5 mm) na istih mestih kot tridimenzionalni nabor podatkov slik SPGR visoke ločljivosti (TR = 3, TE = 25, debelina rezine 5 mm, 1.5 rezin).

Analiza slike

Programski paket Brainvoyager QX (Brain Innovations, Maastricht, Nizozemska) je bil uporabljen za analizo naključnih učinkov slikovnih podatkov. Pred analizo so bili izvedeni naslednji postopki predobdelave na surovih slikah: korekcija gibanja 3D za odkrivanje in popravljanje majhnih premikov glave s prostorsko poravnavo vseh volumnov s prvim volumnom s transformacijo togega telesa, popravkom časa skeniranja rezine (z uporabo interpolacije sinc), odstranitev linearnega trenda, časovno filtriranje visokega pasu za odstranitev nelinearnih premikov 3 ali manj ciklov na časovni potek in glajenje prostorskih podatkov z uporabo Gaussovega jedra z 4mm FWHM. Ocenjena rotacija in prevajanje nista nikoli presegla 2mm za subjekte, vključene v to analizo.

Funkcionalni podatki so bili registrirani z anatomsko prostornino s poravnavo ustreznih točk in ročnimi prilagoditvami, da se doseže optimalno prileganje z vizualnim pregledom in nato pretvorijo v prostor Talairach. Med transformacijo Talairacha so funkcionalni vokseli interpolirali na ločljivost 1 mm3 za namene poravnave, vendar so statistični pragi temeljili na prvotni velikosti voxela za pridobitev. Nukleus akumbens in orbitalna frontalna skorja sta bila definirana s celim možganskim vokselnim GLM z nagrado kot primarni napovednik (glej spodaj) in nato lokalizirana s Talairachovimi koordinatami v povezavi z atlasom Duvernoyjevih možganov (Talairach & Tournoux, 1988; Duvernoy, 1991).

Statistične analize slikovnih podatkov so bile izvedene na celotnem možganu z uporabo splošnega linearnega modela (GLM), sestavljenega iz 60 (5 teče X 12 subjektov) z-normaliziranih funkcionalnih potekov. Primarni napovedovalec je bila nagrada (nagrada v primerjavi z neplačanimi poskusi) med vsemi verjetnostmi nagrajevanja pri rezultatih nagrajevanja. Napovedovalec je bil dobljen s konvolucijo idealnega odziva boksarice (ob predpostavki vrednosti 1 za volumen predstavitve naloge in volumna 0 za preostale časovne točke) z linearnim modelom hemodinamskega odziva (Boynton et al, 1996) in se uporablja za izdelavo matrike načrtovanja vsakega časovnega poteka v poskusu. Vključeni so bili samo pravilni preskusi, za preizkuse napak pa so nastali ločeni napovedovalci. Post-hoc kontrastne analize na zanimivih območjih so bile nato opravljene na podlagi t-testov na težo beta prediktorjev. Monte Carlo simulacije so bile izvedene z uporabo programa AlphaSim znotraj AFNI (Cox, 1996) za določitev ustreznih pragov za dosego korigirane ravni alfa p <0.05 glede na obseg iskanja približno 25,400 mm3 in 450 mm3 za orbitalno čelno skorjo oziroma nucleus accumbens. Odstotne spremembe v MR-signalu glede na izhodišče (interval neposredno pred 20-sekundnim preskusom) v nucleus accumbens in orbitalni frontalni skorji so bile izračunane z uporabo povprečenja, povezanega z dogodki, za znatno aktivne voksele, pridobljene iz analiz kontrasta.

Celoten GLM na možganih je temeljil na poskusih 50 na nagrado na subjekt (n = 12) za vsa preskušanja 600 in 30 nevrednostne poskuse na subjekt (n = 12) za skupne 360 nevredne preskuse v celotnem poskusu. Naslednja nasprotja glede pogojev za nagrajevanje so bila različna števila nagrad in brez nagrad. Za pogoje verjetnosti nagrajevanja 100% je bilo na igro (6) na predmet (5) izvedeno 12 nagradno preskušanje za skupne nagrade 360 in brez neplačanih preskusov. Za pogoje verjetnosti nagrajevanja 66% je bilo na igro (4) na predmet (5) na voljo nagrada 12 za skupne nagrade 240 in 120 nevrednostne preskuse. Pri pogoju verjetnosti nagrajevanja 33% je bilo na igro (2) na predmet (5) izvedeno 12 nagradno preskušanje za skupne nagrade 120 in 240 nevrednostne preskuse.

Pojdi na:

Rezultati

Vedenjski podatki

Učinki verjetnosti nagrajevanja in časa na nalogo so bili preizkušeni z 3 (33%, 66%, 100%) x 5 (izvaja 1 – 5) analizo varianc (ANOVA) za odvisne spremenljivke povprečnega reakcijskega časa (RT) ) in srednjo natančnost.

Na nalogi (F [2,22] = 12, p <.85) ali verjetnosti nagrade X ni bilo glavnih učinkov ali interakcij verjetnosti nagrade (F [4,44] =. 2.02, p <.14) pri nalogi (F [8, 88] = 1.02, p <.41) za srednjo natančnost. To je bilo pričakovati, saj je natančnost udeležencev pri vseh verjetnostih eksperimenta dosegla skoraj zgornjo mejo (33% pogoj = 97.2%; 66% pogoj = 97.5%; 100% pogoj = 97.7%).

Obstajala je pomembna interakcija med verjetnostjo nagrade in časom na nalogi (F [8,88] = 3.5, p <.01) na povprečni RT, vendar ni bilo glavnih učinkov časa na nalogo (F [4,44] = .611 , p <0.59) ali verjetnost nagrade (F [2,22] = 2.84, p <0.08). Post-hoc t testi pomembne interakcije so pokazali, da je med poznimi preizkusi eksperimenta (potek 33) (t (100) = 5, p <, 11) obstajala pomembna razlika med 3.712% in 003% pogojem verjetnosti nagrajevanja, s hitrejšo povprečno RT za pogoj 100-odstotne verjetnosti nagrade (povprečje = 498.30, sd = 206.23) glede na pogoj 33% (povprečje = 583.74, sd = 270.23).

Razlika v povprečnem reakcijskem času med pogoji 100% in 33% se je od začetka do poznih preskušanj povečala dvakrat (glejte \ t Slika 2a). Za nadaljnje prikazovanje učenja smo uvedli obrat, pri čemer smo ob koncu poskusa spremenili verjetnost nagrad za pogoje 33% in 100%. 2 (verjetnost) X 2 (obratna in ne-obratna) ANOVA za pozna preskušanja je pokazala pomembno interakcijo (F (1,11) = 18.97, p = 0.001), z zmanjšanjem RT na stanje, da je bila verjetnost 33% v ne-obrat (povprečje = 583.74, sd = 270.24) in 100% pri storni (povprečje = 519.89, sd = 180.46) (Slika 2b).

Slika 2  

Vedenjski rezultati (RT)

Rezultati slikanja

GLM za pravilne preizkuse z uporabo verjetnosti nagrajevanja kot primarnega napovedovalnika je bil modeliran na točki, ko je subjekt prejel povratno informacijo o nagradi ali ne (tj. Izid). Ta analiza je opredelila regije NAcc (x = 9, y = 6, z = −1 in x = −9, y = 9, z = −1) in OFC (x = 28, y = 39, z = - 6) (glej Slika 3a, b). Post-hoc t-testi med beta utežmi nagrajenih in nenagrajenih preskusov so pokazali večjo aktivacijo v obeh regijah za nagrajevanje (NAcc: t (11) = 3.48, p <0.01; OFC x = 28, y = 39, z = −6, t (11) = 3.30, p <0.02)1.

Slika 3  

Večja aktivacija do nagrajenih v primerjavi z ne-nagrajenimi rezultati pri a) nucleus accumbens (x = 9, y = 6, z = −1; x = −9, y = 9, z = −1) in b) orbitalni frontalni korteks (x = 28, y = 39, z = −6).

Možna sta bila dva rezultata (nagrada ali brez nagrade) za dva časovna razporeda nagrajevanja (verjetnost 33% in 66%) in le en izid za neprekinjeni razpored nagrad (100% verjetnost nagrade), ki je bil uporabljen kot pogoj primerjave. Medtem ko je bil v zgoraj opisanem OFC glavni učinek nagrade (nagrada proti preizkusom nagrad), se aktivnost OFC v trenutni študiji ni spreminjala v odvisnosti od verjetnosti nagrade [F (2,10) = 0.84, p = 0.46) . Nasprotno pa je NAcc pokazal izrazite spremembe v aktivnosti glede na rezultat kot funkcijo manipulacije verjetnosti nagrade [F (2,10) = 9.32, p <0.005]. Natančneje, aktivnost NAcc se je povečala do rezultatov nagrajevanja, ko je bila nagrada nepričakovana (33% pogoj verjetnosti nagrade) glede na pričakovano (100% osnovno stanje) [t (11) = 2.54, p <.03 glej Slika 4a]. Drugič, zmanjšana je bila aktivnost NAcc brez nagrade, ko je bila nagrada pričakovana in ne prejeta (66% pogoj verjetnosti nagrade) glede na nagrado, ki ni bila pričakovana ali prejeta (33% pogoj verjetnosti nagrade; t (59) = 2.08, p <.04; glej Slika 4b). Upoštevajte, da ni bilo bistvenih razlik v aktivaciji med 33% in 66% pogojev verjetnosti nagrajevanja [t (11) =. 510, p = .62] ali med 66% in 100% nagrajenimi verjetnostnimi pogoji [t (11) = 1.20, p = .26] v nagrajenih rezultatih. MR signal kot funkcija rezultatov nagrajevanja in verjetnosti je prikazan v Slika 4.

Slika 4  

Odstotek MR signala se spremeni v odvisnosti od rezultatov nagrajevanja in verjetnosti v nucleus accumbens za a) nagrajeni in b) nevrednotenih rezultatov.
Pojdi na:

Razprava

V tej študiji so preučevali učinke kršitev pri pričakovanih rezultatih nagrajevanja na vedenje in živčno aktivnost akumbensov in orbitalne frontalne skorje (OFC), ki so bili prej vključeni v predvidevanje rezultatov nagrajevanja (McClure et al 2004; Knutson et al, 2005). Pokazali smo, da sta bila tako nucleus accumbens kot OFC izbrana med nagrajenimi preskušanji glede na neuspešna preskušanja, toda samo nukleus accumbens je pokazal občutljivost za kršitve pri napovedanih rezultatih nagrajevanja v tej študiji. Večja občutljivost akumena na vrednost nagrajevanja (npr. Velikost) glede na OFC je bila prikazana v prejšnjem delu (Galvan in drugi 2005), in skupaj te ugotovitve kažejo, da je ta regija lahko vključena v izračun tako velikosti kot verjetnosti nagrajevanja. Pomanjkanje občutljivosti pri OFC na te manipulacije lahko odraža bolj absolutno predstavitev nagrajevanja ali dvoumnosti v rezultatu (Hsu et al., 2005). Druga možnost je, da je bil MR signal bolj variabilen v tej regiji, ti učinki pa so bili v trenutni študiji morda oslabljeni.

Pri elektrofizioloških študijah na živalih se je pokazalo, da dopaminski nevroni v srednjem mozgu (ki projektirajo na nucleus accumbens) nimajo veliko do nobenega odziva na napovedane rezultate nagrajevanja (verjetnost = 1.0), vendar kažejo fazno žganje, kadar je nagrada podana z manj kot 100 % verjetnosti, tudi po obsežnem usposabljanju (Fiorillo in sod., 2003). V trenutni študiji smo pokazali večjo aktivnost akumensov za nagrajevanje, ko je bila nagrada nepričakovana (stanje 33%) glede na to, kdaj je bilo pričakovano (stanje 100%) v skladu s temi ugotovitvami. Nadalje, elektrofiziološke študije nevronov dopamina v živalih (npr. Fiorillo in sod., 2003) so pokazale, da se je pri preskušanjih, na katerih je bilo predvideno plačilo, vendar se niso pojavile, zmanjšala nevronska aktivnost. Trenutna študija je pokazala podoben vzorec v akumbensih, z zmanjšanjem aktivnosti v tej regiji v ne-nagrajenih preskusih za stanje verjetnosti nagrajevanja 66% glede na stanje 33%.2

Nevroni dopamina so vpleteni v učenje na dva načina. Prvič, šifrirajo nepredvidljivost med dražljaji (ali odzivom) in izidi prek signalov napak napovedi, ki odkrivajo kršitve v pričakovanjih (Schultz in sod., 1997; Mirencowicz in Schultz, 1998; Fiorillo in sod., 2003). Zdi se, da napaka napovedi zagotavlja učni signal, ki ustreza učnim načelom, ki ga je sprva opisal Rescorla in Wagner (1972). Drugič, služijo za spreminjanje vedenjskih odzivov (Schultz in sod., 1997; McClure in sod., 2004) tako, da so dejanja pristranska do oznak, ki so najbolj napovedne. V trenutni študiji smo pokazali, da je s poznimi preizkusi eksperimenta najbolj optimalna zmogljivost za pogoj z največjo verjetnostjo nagrajevanja (100% verjetnost nagrajevanja) in najmanj optimalna za najnižji verjetni pogoj (33% verjetnost nagrajevanja). Ta vedenjska ugotovitev je skladna s prejšnjim verjetnostnim delom, ki kaže najmanj optimalno delovanje z najnižjo verjetnostjo rezultatov nagrajevanja, kar kaže na to, da so se nepredvideni dogodki nagrajevali skozi čas (Delgado et al, 2005). Za nadaljnje prikazovanje učenja smo uvedli obrat, pri čemer smo ob koncu poskusa spremenili verjetnost nagrad za pogoje 33% in 100%. Ta manipulacija je povzročila zmanjšanje razlik med temi pogoji, kar dodatno potrjuje učne učinke.

Glavni cilj študij, povezanih z nagrajevanjem, je določiti, kako nagrajujejo vpliv in pristranskost (npr Robbins in Everitt, 1996; Schultz, 2004) poleg opisovanja osnovne nevronske obdelave. Številni dejavniki prispevajo k temu, kako hitro in zanesljivo nagrade vplivajo na vedenje, vključno s časovnimi okviri okrepitve (Skinner, 1958), vrednost nagrajevanja (Galvan in sod., 2005) in nagraditi predvidljivost (Fiorillo in sod., 2003; Delgado et al, 2005). Pričakovana vrednost, ki je produkt velikosti in verjetnosti nagrad (Pascal, ca 1600s), vpliva na vedenjske izbire (von Frisch, 1967; Montague et al., 1995; Montague in Berns, 2002). Z zelo podobno nalogo, pri kateri se je le rezultat (velikost namesto verjetnosti) razlikoval od trenutne študije, smo pokazali, da je bila nucleus accumbens občutljiva na diskretne nagrajene vrednosti (Galvan in sod., 2005). Skupaj z dokazi, predstavljenimi tukaj in drugje (\ tTobler in sod., 2005), predlagamo, da ventralni striatum verjetno prispeva k izračunu pričakovane vrednosti nagrajevanja zaradi njegove občutljivosti na verjetnost in velikost nagrajevanja.

Vloga orbitalne frontalne skorje v napovedi napovedi je skladna s funkcionalnimi delitvami te regije s. \ T Kringelbach in Rolls (2004). Predlagajo, da so bolj anteriorni in medialni deli OFC občutljivi na abstraktne manipulacije nagrajevanja. Aktivacija OFC v tej študiji je bila opažena na tej splošni lokaciji. Elektrofiziološke študije implicirajo OFC pri kodiranju subjektivne vrednosti spodbude za nagrado (za pregled, O'Doherty, 2004). Na primer, OFC nevroni požarijo na poseben okus, ko je žival lačna, vendar zmanjšajo stopnjo streljanja, ko je žival zasićena in se vrednost nagrajevanja hrane zmanjša (Critchley in Rolls, 1996). Kot taki so drugi predlagali, da je OFC najbolj občutljiv na relativne nagrade (Tremblay in Schultz, 1999) in nagrajevanje (Schultz in sod., 2000). Neuroimaging študije so pokazale podoben vzorec pri ljudeh z različnimi dražljaji, vključno z okusom (O'Doherty et al, 2001; Kringelbach et al, 2003), vohanje (Anderson et al, 2003; Rolls in sod., 2003) in denar (Elliott in sod., 2003; Galvan in sod., 2005), pri čemer se vsaka aktivacija spreminja glede na lokacijo aktivnosti od spredaj do posteriorne in od medialne do lateralne OFC. OFC je bil vpleten v pričakovanju plačila (O'Doherty in ostali 2002), vendar le, če je napovedna vrednost odgovora povezana s specifičnim vrednost s tem povezane nagrade, ne pa v verjetnosti, da bo ta nagrada nastala (\ tO'Doherty, 2004 ). V trenutni študiji nismo videli občutljivosti za kršitve pri napovedi napovedi v OFC. Knutson in sodelavci (2005) so poročali o korelacijah med ocenami verjetnosti in možgansko aktivacijo v pričakovanju plačila v mezialnem prefrontalnem korteksu (Knutson et al 2005), vendar ne posebej v orbitalni frontalni korteks. V nasprotju, Ramnani et al (2004 ) so poročali o občutljivosti OFC na pozitivno napoved napovedi v medialni frontalni korteksu s pasivno opazovalno nalogo in. \ t Dreher et al. (2005) so poročali o napovedovanju napak OFC v nalogi, ki je manipulirala tako verjetnost kot obseg napovednih kazalcev, vendar so bile te nepredvidene okoliščine naučene pred skeniranjem. Zato je še vedno sprejemljivo, da lahko OFC izračuna predvidene nagrade, toda morda so ti izračuni bolj grobi (tj. Seštevajo v razponu verjetnosti) ali počasneje, da se oblikujejo glede na natančne izračune, ki se zdijo v NAcc. Druga možnost je, da je ta regija bolj občutljiva pri odkrivanju dražljajev negotove in / ali dvoumne vrednosti, kot jih predlaga Hsu et al (2005), kot pa pri odkrivanju kršitev pri napovedi napovedi. Hsu et al (2005) pokažejo, da je stopnja dvoumnosti pri izbiri (negotove izbire, ki so nastale zaradi manjkajočih informacij) pozitivno povezana z aktivacijo v OFC. Nazadnje, večja variabilnost v MR signalu v tej regiji je morda zmanjšala našo sposobnost za odkrivanje teh učinkov.

Temeljno vprašanje sedanje študije je bilo, kako accumbens in OFC različno kodirata napovedane rezultate nagrajevanja glede na nepredvidene izide (tj. Kršitve pri pričakovanjih). Parametrično smo manipulirali verjetnost nagrajevanja in preučili nevralni odziv na nagrajevanje in nevrednostne preizkuse za vsako verjetnostno nagradno stanje. Naši podatki so skladni s prejšnjimi slikami človeka in nečloveškimi elektrofiziološkimi raziskavami (Fiorillo in sod., 2003; Schultz, 2002) in predlagajo, da sta accumbens in OFC občutljiva na rezultat nagrajevanja (nagrada ali ne). Vendar se zdi, da je dejavnost v teh regijah, zlasti v akumbensih, modulirana z napovedmi o verjetnosti rezultatov nagrajevanja, ki se oblikujejo z učenjem skozi čas. Ta dinamični vzorec aktivacije lahko predstavlja spremembe dopaminske aktivnosti znotraj ali v teh regijah, saj se informacije o predvideni nagradi naučijo in posodabljajo.

Pojdi na:

Opombe

1NAcc [t (11) = 3.2, p <0.04] ​​in OFC [t (11) = 3.5, p <0.02] sta pokazala povečano aktivnost v pričakovanju nagrade za občasne, ne pa tudi pogoje neprekinjene nagrade

2Izpust rezultatov nagrajevanja v stanju 33% je povzročila rahlo povečanje aktivnosti NAcc in ne zmanjšanja, podobno tistemu, ki ga je opazil Knutson et al., 2001. Ena od možnih razlag tega rezultata je, da so bili subjekti sami po sebi motivirani ali nagrajeni, če so napovedali, da ne bo prišlo do nagrade za to sojenje, in nobeden ni. Druga možnost je, da je rezultat nagrajevanja pri teh poskusih najmanj v številu v poskusu, zato lahko aktivnost odraža nadaljnje učenje za to stanje.

Omejitev odgovornosti založnika: To je PDF datoteka neurejenega rokopisa, ki je bil sprejet za objavo. Kot storitev za naše stranke nudimo to zgodnjo različico rokopisa. Rokopis bo podvržen kopiranju, stavljanju in pregledu dobljenega dokaza, preden bo objavljen v končni obliki. Upoštevajte, da se med proizvodnim procesom lahko odkrijejo napake, ki bi lahko vplivale na vsebino, in vse pravne omejitve, ki veljajo za revijo.

Pojdi na:

Reference

  • Anderson A, Christoff K, Stapen I, Panitz D, Ghahremani D, Glover G, Gabrieli JD, Sobel N. Odvojene nevronske predstavitve intenzivnosti in valence v človeškem olfakciji. Naravoslovna nevroznanost. 2003;6: 196-202.
  • Berns GS, McClure SM, Pagnoni G, Montague PR. Predvidljivost modulira odziv človeških možganov na nagrado. Journal of Neuroscience. 2001;21: 2793-2798. [PubMed]
  • Boynton GM, Engel SA, Glover GH, Heeger DJ. Analiza linearnih sistemov funkcionalne magnetne resonance v humani V1. Journal of Neuroscience. 1996;16: 4207-4221. [PubMed]
  • Cox RW. AFNI: Programska oprema za analizo in vizualizacijo funkcionalnih magnetnih resonančnih nevroznih slik. Računanje v biomedicinskih raziskavah. 1996;29: 162-173.
  • Cox SM, Andrade A, Johnsrude IS. Učenje všečnosti: Vloga človeške orbitofrontalne skorje v pogojeni nagradi. Journal of Neuroscience. 2005;25: 2733-2740. [PubMed]
  • Craig AD, Chen K, Bandy D, Reiman EM. Termosenzorična aktivacija otoške skorje. Naravoslovna nevroznanost. 2000;3: 184-190.
  • Critchley HD, Rolls ET. Lakota in sitost spreminjata odzive vohalnih in vizualnih nevronov v orbitofrontalni skorji primata. Journal of Neurophysiology. 1996;75: 1673-1686. [PubMed]
  • De Araujo IET, Kringelbach ML, Rolls ET, McGlone F. Človeški kortikalni odzivi na vodo v ustih in učinki žeje. Journal of Neurophysiology. 2003;90: 1865-1876. [PubMed]
  • Delgado MR, Miller M, Inati S, Phelps EA. FMRI študija o verjetnosti učenja, povezanega z nagrajevanjem. Neuroimage. 2005;24: 862-873. [PubMed]
  • Dreher JC, Kohn P, Berman KF. Nevronsko kodiranje različnih statističnih lastnosti informacij o nagradi pri ljudeh. Možganska skorja. 2005 Epub pred tiskanjem.
  • Elliott R, Newman JL, Longe OA, Deakin JFW. Vzorec diferencialnega odziva v striatumu in orbitofrontalni skorji na finančno nagrado pri ljudeh: parametrična funkcionalna študija slikanja z magnetno resonanco. Journal of Neuroscience. 2003;23: 303-307. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Diskretno kodiranje verjetnosti nagrajevanja in negotovosti dopaminskih nevronov. Znanost. 2003;299: 1898-1902. [PubMed]
  • Galvan A, Hare TA, Davidson M, Spicer J, Glover G, Casey BJ. Vloga ventralne frontostriatalne vezave pri učenju na osnovi nagrajevanja pri ljudeh. Journal of Neuroscience. 2005;25: 8650-8656. [PubMed]
  • Galvan A, Hare TA, Parra C, Penn J, Voss H, Glover G, Casey BJ. Zgodnejši razvoj akumbensov glede na orbitofrontalni korteks lahko temelji na tveganem vedenju pri mladostnikih. Journal of Neuroscience. 2006;26: 6885-6892. [PubMed]
  • Gottfried JA, O'Doherty J, Dolan RJ. Kodiranje napovedne vrednosti nagrade pri človeški amigdali in orbitofrontalni skorji. Znanost. 2003;301: 1104-1107. [PubMed]
  • Haber SN. Osnovni gangliji primatov: vzporedna in integrativna omrežja. Journal of Chemical Neuroanatomy. 2003;26: 317-330. [PubMed]
  • Hollerman J, Schultz W. Dopaminski nevroni poročajo o napaki v časovni napovedi nagrajevanja med učenjem. Naravoslovna nevroznanost. 1998;1: 304-309.
  • Hsu M, Bhatt M, Adolph R, Tranel D, Camerer CF. Nevronski sistemi, ki se odzivajo na stopnje negotovosti pri sprejemanju človekovih odločitev. Znanost. 2005;310: 1680-1683. [PubMed]
  • Knutson B, Adams CM, Fong GW, Hommer D. Predvidevanje povečanja denarne nagrade selektivno zaposli nucleus accumbens. Journal of Neuroscience. 2001;21: 1-5.
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Distrbuted neuralne predstavitve pričakovane vrednosti. Journal of Neuroscience. 2005;25: 4806-4812. [PubMed]
  • Kringelbach ML, O'Doherty J, Rolls ET, Andrews C. Aktivacija človeške orbitofrontalne skorje na tekoči prehranski dražljaj je povezana s svojo subjektivno prijetnostjo. Možganska skorja. 2003;13: 1064-1071. [PubMed]
  • Kringelbach ML, Rolls ET. Funkcionalna neuroanatomija človeške orbitofrontalne skorje: dokazi iz slikanja nevrološke slike in nevropsihologije. Napredek v nevrobiologiji. 2004;72: 341-372. [PubMed]
  • Leon MI, Shadlen MN. Vpliv pričakovane velikosti nagrajevanja na odziv nevronov v dorzolateralni prefrontalni korteks makaka. Neuron. 1999;24: 415-425. [PubMed]
  • McClure SM, Berns GS, Montague PR. Časovne napake napovedi v pasivni učni nalogi aktivirajo človeški striatum. Neuron. 2003;38: 339-346. [PubMed]
  • McClure SM, Laibson DI, Loewenstein G, Cohen JD. Ločene nevronske sisteme vrednotijo ​​takojšnje in odložene denarne nagrade. Znanost. 2004;306: 503-507. [PubMed]
  • Mirenowicz J, Schultz W. Pomen nepredvidljivosti za nagradne odzive pri primatnih nevronih. Journal of Neurophysiology. 1994;72: 1024-1027. [PubMed]
  • Montague PR, Berns GS. Nevronska ekonomija in biološki substrati vrednotenja. Neuron. 2002;36: 265-284. [PubMed]
  • Montague PR, Hyman SE, Cohen JD. Računalniške vloge dopamina pri vedenjskem nadzoru. Narava. 2004;431: 379-387.
  • O'Doherty JP. Predstavitve nagrad in učenje, povezano z nagradami, v človeških možganih: vpogled v nevrosliko. Trenutno mnenje o nevrobiologiji. 2004;14: 769-776. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Modeli časovnih razlik in učenje, povezano z nagrajevanjem, v človeških možganih. Neuron. 2003;38: 329-337. [PubMed]
  • O'Doherty JP, Deichmann R, Critchley HD, Dolan RJ. Nevronski odzivi med pričakovanjem primarne nagrade za okus. Neuron. 2002;33: 815-826. [PubMed]
  • O'Doherty J, Kringelbach M, Rolls ET, Hornak J, Andrews C. Abstraktne predstavitve nagrad in kazni v človeški orbitofrontalni skorji. Naravoslovna nevroznanost. 2001;4: 95-102.
  • O'Doherty J, Rolls ET, Francis S, Bowtell R, McGlone F, Kobal G, Renner B, Ahne G. Senzorično specifična vohalna aktivacija človeške orbitofrontalne skorje, povezana s sitostjo. Nevroport. 2000;11: 893-897. [PubMed]
  • Olds J, Milner P. Pozitivna ojačitev, ki jo proizvaja električna stimulacija septalne površine in drugih predelov možganov podgan. Časopis za primerjalno fiziologijo in psihologijo. 1954;47: 419-427.
  • Ramnani N, Elliott R, Athwal B, Passingham R. Napaka napovedi za prosto denarno nagrado v človeški prefrontalni korteks. NeuroImage. 2004;23: 777-786. [PubMed]
  • Rescorla R, Wagner A. V: Klasična kondicioniranje 2: aktualne raziskave in teorija. Črna A, Prokasy W, uredniki. Appleton Century-Crofts; New York: 1972. 64 – 69.
  • Robbins TW, Everitt BJ. Nevrohaveralni mehanizmi nagrajevanja in motivacije. Aktualna mnenja v nevrobiologiji. 1996;6: 228-235.
  • Rolls E, Kringelbach M, DeAraujo I. Različne predstave prijetnih in neprijetnih vonjav v človeških možganih. European Journal of Neuroscience. 2003;18: 695-703. [PubMed]
  • Schultz W, Dayan P, Montague PR. Nevralni substrat napovedovanja in nagrajevanja. Znanost. 1997;275: 1593-1599. [PubMed]
  • Schultz W, Tremblay L, Hollerman JR. Obdelava nagrade v orbitofrontalni skorji primata in bazalnih ganglijih. Cereb Cortex. 2000;10: 272-284. [PubMed]
  • Schultz W. Pridobitev formalnosti z dopaminom in nagrado. Neuron. 2002;36: 241-263. [PubMed]
  • Schultz W. Nevronsko kodiranje osnovnih pogojev nagrajevanja teorije učenja živali, teorije iger, mikroekonomije in vedenjske ekologije. Trenutno mnenje o nevrobiologiji. 2004;14: 139-147. [PubMed]
  • Skinner BF. Diagramiranje načrtov ojačitve. Časopis za eksperimentalno analizo vedenja. 1958;1: 103-107.
  • Sutton RS, Barto AG. Okrepitveno učenje: uvod. MIT Press; Cambridge, MA: 1998.
  • Schultz W, Tremblay L, Hollerman J. Reward obdelava v primarnih orbitofrontalni skorji in bazalnih ganglijih. Možganska skorja. 2000;10: 272-284. [PubMed]
  • Talairach J, Tournoux P. Ko-planarni stereotaksični atlas človeških možganov. Timijan; New York: 1988.
  • Tobler PN, CD Fiorillo, Schultz W. Prilagodljivo kodiranje vrednosti nagrade dopaminskih nevronov. Znanost. 2005;307: 1642-1645. [PubMed]
  • Tremblay L, Schultz W. Relativna prednost pri nagrajevanju v orbitofrontalni skorji primata. Narava. 1999;398: 704-708. [PubMed]
  • von Frisch K. Plesni jezik in orientacija čebel. Harvard University Press; Cambridge, Massachusetts: 1967.