Kjernens følsomhet legger til grunn for brudd i forventning om belønning (2007)

Neuroimage. 2007 Jan 1; 34 (1): 455-61. Epub 2006 okt. 17.

Spicer J, Galvan A, Hare TA, Voss H, Glover G, Casey B.

Kilde

Sackler Institute for Developmental Psychobiology, Weill Cornell Medical College of Cornell University, 1300 York Avenue, Box 140, New York, NY 10021, USA.

Abstrakt

Denne studien undersøkte om ventrale frontostriatale regioner koder for forventede og uventede belønningsresultater. Vi manipulerte parametrisk sannsynligheten for belønning og undersøkte den nevrale responsen på belønning og nonreward for hver sannsynlighetstilstand i det ventrale striatum og orbitofrontal cortex (OFC). Ved sene studier av eksperimentet viste forsøkspersoner langsommere atferdsresponser for tilstanden med lavest sannsynlighet for belønning, relativt til tilstanden med høyest sannsynlighet for belønning. På nevralt nivå viste både nucleus accumbens (NAcc) og OFC større aktivering for belønnet i forhold til ikke-mottatte studier, men accumbens syntes å være mest følsomme for brudd i forventede belønningsresultater. Disse dataene antyder forskjellige roller for frontostriatal kretsløp i belønningspedisjon og i å svare på brudd på forventningene.

 

Introduksjon

Å danne nøyaktige spådommer og oppdage forventningsbrudd om kommende givende hendelser er en viktig komponent i målrettet oppførsel. Ikke-menneskelige primater og menneskelige bildebehandlingsstudier antyder at dopaminrike frontostriatale regioner er involvert i å danne spådommer om fremtidige belønningsresultater og optimalisere oppførsel deretter. Nevrale mekanismer for belønningsrelatert prediksjonsfeil - en representasjon av avviket mellom den faktiske og forventede belønningen (Schultz et al, 1997) - har blitt studert i ikke-menneskelige primater når det gjelder forventede og uventede belønninger og / eller utelatelser av belønning (Hollerman et al., 1998, Leon og Shadlen, 1999; Tremblay og Schultz, 1999). Den nåværende studien brukte en enkel romlig forsinkelse match-to-sample-oppgave, lik den som tidligere ble brukt med ikke-menneskelige primater (Fiorillo et al., 2003), som manipulerte sannsynligheten for belønningsutfall, for å undersøke nevrale svar på forventet og uventet belønning.

Konvergerende bevis innebærer at dopaminsystemet er avgjørende for prediksjon og belønningsprosessering (Olds og Milner, 1954; Montague et al, 2004, Schultz, 2002 til vurdering). Ikke-menneskelige primatstudier har vist at dopaminuroner reagerer på uventede primære belønninger og etter hvert på stimuli som forutsier disse belønningene (Mirencowicz & Schultz, 1994, Tobler et al, 2005). Dopamin-neuroner i det ventrale tegmentale området (VTA) til apen vil skyte ut som svar på en primær belønning som er uforutsagt (eller spådd med lav sannsynlighet) mer enn til en belønning som er fullstendig forutsagt (Fiorillo et al., 2003;Tobler et al, 2005). Motsatt blir aktiviteten til de samme nevronene undertrykt når en forventet belønning ikke blir levert i forhold til en forventet utelatelse av belønning (Fiorillo et al., 2003; Tobler et al, 2005). Dopamin neuroner koder således for prediksjonsfeil ved å representere avviket mellom det faktiske og forutsagte utfallet (Schultz et al, 1997; Tobler et al, 2005), slik at uventet presentasjon av belønning resulterer i økt aktivitet og uventede utelatelser av belønning resulterer i redusert aktivitet.

Endringer i dopaminfyring som svar på endringer i belønningsutfall blir parallelt med endringer i oppførsel. Ikke-menneskelige primatstudier har funnet at en ape vil øke sin forventede slikking som en funksjon av sannsynligheten som en betinget stimulus er assosiert med påfølgende ubetinget stimulus (juiceutlevering). Som sådan fremkaller stimuli som representerer en stor sannsynlighet for påfølgende juiceutlevering mer forventet slikking (Fiorillo et al., 2003).

Gjensidige anatomiske forbindelser eksisterer mellom regioner assosiert med målrettet atferd (f.eks. Prefrontal cortex) og de som er assosiert med mer automatisk appetittlig atferd (f.eks. Ventral striatum) der prediksjoner kan beregnes (Shultz et al., 1997; Haber et al., 2003). Disse regionene er sterkt innervert med dopamin gjennom fremspring fra dopamin neuroner i mellomhinnen, og disse forbindelsene kan danne en funksjonell neuroanatomisk krets som støtter optimalisering av atferd og favoriserer handlinger som resulterer i størst gevinst.

Nylig har studier av human funksjonell magnetisk resonansimaging (fMRI) implisert to regioner av denne kretsen, nucleus accumbens og orbitofrontal cortex, i representasjonen av prediksjonsfeil. For eksempel har det vist seg at uforutsigbare sekvenser av juice og vannlevering fremkaller økt aktivitet i NAcc relativt til forutsigbar levering (Berns et al, 2001). Prediksjonsfeil basert på tidsmessige (McClure et al., 2003) og stimulus (O'Doherty et al, 2003 O'Doherty et al, 2004) brudd aktiverer også det ventrale striatum.

OFCs rolle i belønningsprediksjon har vært mindre tydelig. Mens noen studier har rapportert sensitivitet av OFC under forutsetningsfeil (Berns et al., 2001; O'Doherty et al., 2003; Ramnini et al., 2004; Dreher et al., 2005andre har ikke (McClure et al., 2003; O'Doherty et al., 2004; Delgado et al., 2005). Studier med mindre vekt på prediksjonsfeil viser større OFC-aktivering til gunstige relativt til ugunstige utfall (O'Doherty et al, 2001; Elliott et al., 2003; Galvan et al., 2005) i studier av belønningsverdi (Gottfried et al, 2003) og valence (Cox et al., 2005; O'Doherty, 2000 O'Doherty, 2003 O'Doherty, 2004). Nylig, Kringelbach and Rolls (2004) integrert nevroimaging og nevropsykologisk litteratur for å redegjøre for forskjellige funksjoner i orbitofrontal cortex. De antyder en medial-lateral distinksjon og en anterior-posterior distinksjon. Den mediale og laterale orbitofrontale cortex overvåker henholdsvis belønningsverdi og evaluering av straffere (f.eks O'Doherty et al, 2001 ; Rolls et al, 2003). Den fremre orbitofrontale cortex antas å være involvert mer i representasjonen av abstrakte forsterkere (O'Doherty et al, 2001) over enklere som er relatert til smak (f.eks De Araujo et al., 2003) og smerter (f.eks Craig et al., 2000).

Disse ventrale frontostriatale regionene har nylig (Knutson et al, 2005) vært assosiert med representasjonen av forventet verdi (produktet av forventet sannsynlighet og størrelsen på utfallet) i løpet av forventning om belønningsutfall. Gitt den elegante, men komplekse designen som inkluderer 18-signaler som representerte mange kombinasjoner av størrelse, sannsynlighet og / eller valens, forhindret mangel på statistisk kraft forfatterne i å undersøke hjerneaktivering relatert til insentiv utfall. I den foreliggende studien brukte vi tre distinkte ledetråder, som hver var assosiert med 33%, 66% eller 100% belønning for riktige studier. Vektleggingen av denne studien var på belønning utfall i stedet for å belønne forventning, for å undersøke følsomhet på nevralt nivå for brudd på belønningsforventninger, snarere enn å foregripe belønning før utfallet. Denne analysen er kritisk for å forstå forutsigbarhet av belønninger på grunn av endringene i dopaminfyring som oppstår ved belønningsutfall når brudd på forventede forventninger oppstår (Fiorillo et al., 2003).De a priori spådommer om de tilrettelagte og OFC-responsen på forventet og uventet monetær belønning var basert på tidligere bildebehandlingsarbeid som impliserte disse regionene i belønningsbehandlingen (Knutson et al, 2001; 2005; O'Doherty et al, 2001; Galvan et al., 2005). Vi brukte en enkel romlig forsinket kamp for å prøve paradigme som ligner på det som ble brukt av Fiorillo et al (2003) i elektrofysiologiske studier av dopaminuroner i ikke-menneskelige primater. Vi antok at aktiviteten i det ventrale striatum, spesielt NAcc, ville øke når en uventet belønning ble levert og ville avta når en forventet belønning ikke ble levert. Atferden ble forventet å parallelle disse endringene med raskere gjennomsnittlige reaksjonstider til signaler som ofte forutsier belønning, men langsommere reaksjonstider til køen som forutsier belønning minst ofte. Videre antok vi at OFC ville være følsomme for belønningsutfall (belønning eller ikke), men at de tilrettelagte ville være mest følsomme for endringer i belønningspådommer. Disse hypotesene var basert på rapporter fra tidligere bildediagnostiske studier (Galvan et al. 2005, i presse) og ikke-menneskelig primatarbeid som viser større striatal involvering i belønningssannsynlighetsparametere, relativt til belønningslåst aktivitet til OFC (Schultz, et al., 2000) og på den faste beløpet snarere enn varierende belønning på tvers av sannsynlighetsforholdene.

Gå til:

Metoder

Deltakere

Tolv høyrehendte friske voksne (7 kvinnelig), i alderen 19 – 27 (gjennomsnittsalder 24 år), ble inkludert i fMRI-eksperimentet. Forsøkspersonene hadde ingen historie om nevrologisk eller psykiatrisk sykdom, og alle forsøkspersoner ble gitt samtykke til den institusjonelle evalueringsnemnda godkjente studien før deltakelse.

Eksperimentell oppgave

Deltakerne ble testet ved å bruke en modifisert versjon av en to-valg-oppgave med forsinket svar beskrevet tidligere (Galvan et al., 2005) i en hendelsesrelatert fMRI-studie (Figur 1). I denne oppgaven ble tre ledetråder assosiert med en tydelig sannsynlighet (33%, 66% og 100%) for å oppnå et fast belønningsbeløp. Forsøkspersonene ble bedt om å trykke enten pekefingeren eller langfingeren for å indikere siden som en signal viste seg når du ble bedt om det, og å svare så raskt som mulig uten å gjøre feil. Ett av tre pirat tegneseriebilder ble presentert i tilfeldig rekkefølge på enten venstre eller høyre side av en sentrert fiksering for 1000 msek (se Figur 1). Etter en 2000 msek-forsinkelse ble forsøkspersonene presentert for en svarmelding av to skattekister på begge sider av fikseringen (2000 msek) og ble instruert om å trykke på en knapp med høyre pekefinger hvis piraten var på venstre side av fikseringen eller sin høyre langfinger hvis piraten var på høyre side av fiksasjonen. Etter nok en 2000 msek-forsinkelse ble enten belønningstilbakemeldinger (tegneseriemynter) eller en tom skattekiste presentert i midten av skjermen (1000 msek) basert på belønningssannsynligheten for den prøvetypen. Det var et 12 sek mellomtidsintervall (ITI) før starten av neste prøve.

Figur 1  

Oppgavedesign

Det var tre betingelser for belønningssannsynlighet: 33%, 66% og 100% belønningssannsynlighet. I 33% -tilstanden ble forsøkspersoner belønnet med 33% av forsøkene, og ingen belønning (en tom skattekiste) skjedde på de andre 66% av forsøkene i den tilstanden. I tilstanden 66% ble forsøkspersoner belønnet med 66% av forsøkene, og ingen belønning skjedde for de andre 33% av forsøkene. I tilstanden 100% ble forsøkspersoner belønnet for alle riktige studier.

Fagene ble garantert $ 50 for deltakelse i studien og ble fortalt at de kunne tjene opptil $ 25 mer, avhengig av ytelse (som indeksert av reaksjonstid og nøyaktighet) på oppgaven. Stimuli ble presentert for det integrerte funksjonelle bildesystemet (IFIS) (PST, Pittsburgh) ved bruk av et LCD-videodisplay i boring av MR-skanneren og en innsamlingsenhet for fiberoptisk respons.

Eksperimentet besto av fem kjøringer med 18-forsøk (6 hver av 33%, 66% og 100% sannsynlighet for belønningstesttyper), som varte i 6 min og 8 s hver. Hver kjøring hadde 6 studier av hver belønningssannsynlighet presentert i tilfeldig rekkefølge. På slutten av hver løp ble fagene oppdatert på hvor mye penger de hadde tjent i løpet av løpet. Før eksperimentets begynnelse fikk forsøkspersonene detaljerte instruksjoner som inkluderte kjent med stimuliene som ble brukt og utførte en praksiskjøring for å sikre oppgaveforståelse. De ble fortalt at det eksisterte et forhold mellom ledetrådene og økonomiske utfall, men det nøyaktige forholdet til det forholdet ble ikke avslørt.

Bildeoppkjøp

Bildebehandling ble utført ved hjelp av en 3T General Electric MR-skanner ved bruk av en kvadraturhodespole. Funksjonelle skanninger ble anskaffet ved hjelp av en spiral inn og ut-sekvens (Glover & Thomason, 2004). Parametrene inkluderte en TR = 2000, TE = 30, 64 X 64 matrise, 29 5-mm koronale skiver, 3.125 X 3.125 mm i plan-oppløsning, vend 90 °) for 184 repetisjoner, inkludert fire kasserte anskaffelser i begynnelsen hvert løp. Anatomiske T1-vektede skanninger i flyet ble samlet (TR = 500, TE = min, 256 X 256, FOV = 200 mm, 5 mm skivetykkelse) på samme steder som de funksjonelle bildene i tillegg til et 3D-datasett av SPGR-bilder med høy oppløsning (TR = 25, TE = 5, 1.5 mm skivetykkelse, 124 skiver).

Bildeanalyse

Brainvoyager QX (Brain Innovations, Maastricht, Nederland) programvarepakke ble brukt til å utføre en tilfeldig effektanalyse av bildedataene. Før analyse ble følgende forbehandlingsprosedyrer utført på de rå bildene: 3D bevegelseskorreksjon for å oppdage og korrigere for små hodebevegelser ved romlig justering av alle volumer til det første volumet ved stiv kroppstransformasjon, skive tidskorrigering (ved bruk av sinc interpolering), lineær trendfjerning, høypass temporal filtrering for å fjerne ikke-lineære drifter av 3 eller færre sykluser per tidsforløp, og romlig datautjevning ved bruk av en Gaussisk kjerne med en 4mm FWHM. Estimerte rotasjons- og oversettelsesbevegelser oversteg aldri 2mm for emner som er inkludert i denne analysen.

Funksjonsdata ble co-registrert til det anatomiske volumet ved justering av korresponderende punkter og manuelle justeringer for å oppnå optimal passform ved visuell inspeksjon og ble deretter omgjort til Talairach-rom. Under Talairach-transformasjon ble funksjonelle voxels interpolert til en oppløsning på 1 mm3 for justeringsformål, men de statistiske terskelverdiene var basert på den opprinnelige oppkjøpsvokselstørrelsen. Nukleus accumbens og frontal cortex i hjernen ble definert av en helhjernet vokalvis GLM med belønning som den primære prediktoren (se nedenfor) og deretter lokalisert av Talairach-koordinater i forbindelse med henvisning til Duvernoy hjerneatlas (Talairach & Tournoux, 1988; Duvernoy, 1991).

Statistiske analyser av avbildningsdata ble utført på hele hjernen ved bruk av en generell lineær modell (GLM) bestående av 60 (5 kjører X 12 forsøkspersoner) z-normaliserte funksjonelle kjøringer. Den primære prediktoren var belønning (belønning kontra ikke-faste studier) på tvers av alle belønningssannsynlighetene ved belønningsutfallet. Prediktoren ble oppnådd ved konvolusjon av en ideell rute-respons (forutsatt en verdi 1 for volumet av oppgavepresentasjonen og et volum av 0 for gjenværende tidspunkter) med en lineær modell av den hemodynamiske responsen (Boynton et al., 1996) og ble brukt til å bygge designmatrisen for hvert tidsforløp i eksperimentet. Bare riktige forsøk ble inkludert og separate prediktorer ble opprettet for feilforsøk. Post-hoc kontrastanalyser på regionene av interesse ble deretter utført basert på t-tester på beta-vekten til prediktorer. Monte Carlo-simuleringer ble kjørt ved hjelp av AlphaSim-programmet i AFNI (Cox, 1996) for å bestemme passende terskler for å oppnå et korrigert alfa-nivå på p <0.05 basert på søkevolumer på henholdsvis ca. 25,400 mm3 og 450 mm3 for orbital frontal cortex og nucleus accumbens. Prosentvise endringer i MR-signalet i forhold til baseline (intervall umiddelbart før 20 sekunders rettssaken) i nucleus accumbens og orbital frontal cortex ble beregnet ved hjelp av hendelsesrelatert gjennomsnitt over signifikant aktive voxels oppnådd fra kontrastanalysene.

Hele hjernen GLM var basert på 50 belønningsforsøk per emne (n = 12) for totalt 600 studier og 30 ikke-tilbakevendende studier per fag (n = 12) for totalt 360 ikke-tilbakevendende studier i hele eksperimentet. Påfølgende kontraster på betingelsene for belønningssannsynlighet besto av forskjellige belønningstall og ingen belønningsforsøk. For 100% belønningssannsynlighetstilstand var det 6 belønningsforsøk per kjøring (5) per emne (12) for totalt 360 belønningsforsøk og ingen ikke-tilbakevendende studier. For 66% belønningssannsynlighetstilstand var det 4 belønningsforsøk per kjøring (5) per emne (12) for totalt 240 belønningsforsøk og 120 ikke-faste studier. For 33% belønningssannsynlighetsbetingelse var det 2 belønningsforsøk per kjøring (5) per emne (12) for totalt 120 belønningsforsøk og 240 ikke-faste studier.

Gå til:

Resultater

Behavioral Data

Effektene av belønningssannsynlighet og tid på oppgaven ble testet med en 3 (33%, 66%, 100%) x 5 (kjører 1 – 5) gjentatte måler analyse av varians (ANOVA) for de avhengige variablene for gjennomsnittlig reaksjonstid (RT) ) og gjennomsnittlig nøyaktighet.

Det var ingen hovedeffekter eller interaksjoner med sannsynlighet for belønning (F [2,22] =. 12, p <.85) tid på oppgaven (F [4,44] = 2.02, p <.14) eller belønningssannsynlighet X-tid på oppgave (F [8, 88] = 1.02, p <.41) for gjennomsnittlig nøyaktighet. Dette var å forvente ettersom deltakernes nøyaktighet nådde nær taknivåer for alle sannsynligheter for eksperimentet (33% tilstand = 97.2%; 66% tilstand = 97.5%; 100% tilstand = 97.7%).

Det var en signifikant interaksjon mellom sannsynlighet for belønning og tid på oppgave (F [8,88] = 3.5, p <.01) på gjennomsnittlig RT, men ingen hovedeffekter av tid på oppgave (F [4,44] = .611 , p <0.59) eller sannsynlighet for belønning (F [2,22] = 2.84, p <0.08). Post-hoc t-tester av den signifikante interaksjonen viste at det var en signifikant forskjell mellom 33% og 100% belønningssannsynlighetsbetingelser under sene studier av eksperimentet (løp 5) (t (11) = 3.712, p <003), med raskere gjennomsnittlig RT for 100% belønningssannsynlighetsbetingelse (gjennomsnitt = 498.30, sd = 206.23) i forhold til 33% tilstand (gjennomsnitt = 583.74, sd = 270.23).

Forskjellen i gjennomsnittlig reaksjonstid mellom 100% og 33% forhold økte to ganger fra tidlige til sene studier (se Figur 2a). For ytterligere å vise læring introduserte vi en reversering, og byttet sannsynlighet for belønning for 33% og 100% forholdene på slutten av eksperimentet. En 2 (sannsynlighet) X 2 (reversering og ikke-reversering) ANOVA for sene studier viste en betydelig interaksjon (F (1,11) = 18.97, p = 0.001), med en reduksjon i RT til tilstanden som var 33% sannsynlighet i ikke-reversering (middel = 583.74, sd = 270.24) og 100% i reversering (gjennomsnitt = 519.89, sd = 180.46) (Figur 2b).

Figur 2  

Atferdsresultater (RT)

Imaging Resultater

En GLM for korrekte studier ved bruk av belønningssannsynlighet som den primære prediktoren ble modellert på det tidspunktet emnet fikk tilbakemelding om belønning eller ikke (dvs. utfall). Denne analysen identifiserte regionene i NAcc (x = 9, y = 6, z = −1 og x = −9, y = 9, z = −1) og OFC (x = 28, y = 39, z = - 6) (se Figur 3a, b). Post-hoc t-tester mellom betavektene til de belønte versus ikke-tilbakebetalte forsøkene viste større aktivering i begge disse regionene for å belønne (NAcc: t (11) = 3.48, p <0.01; OFC x = 28, y = 39, z = −6, t (11) = 3.30, p <0.02)1.

Figur 3  

Større aktivering til belønnet kontra ikke-utstedt utfall i a) nucleus accumbens (x = 9, y = 6, z = −1; x = −9, y = 9, z = −1) og b) frontal cortex for bane (x = 28, y = 39, z = −6).

Det var to mulige utfall (belønning eller ingen belønning) for de to intermitterende belønningsplanene (33% og 66% sannsynlighet) og bare ett utfall for den kontinuerlige belønningsplanen (100% belønningssannsynlighet), som ble brukt som en sammenligningstilstand. Mens det var en hovedeffekt av belønning (belønning kontra ingen belønningsforsøk) i OFC beskrevet ovenfor, varierte ikke OFC-aktivitet som en funksjon av belønningssannsynlighet i den nåværende studien [F (2,10) = 0.84, p = 0.46) . I kontrast viste NAcc tydelige endringer i aktivitet til utfall som en funksjon av belønningssannsynlighetsmanipulasjonen [F (2,10) = 9.32, p <0.005]. Spesielt økte NAcc-aktiviteten for å belønne utfall, da belønningen var uventet (33% belønningssannsynlighetsbetingelse) i forhold til forventet (100% grunnlinjetilstand) [t (11) = 2.54, p <.03 se Figur 4a]. For det andre var det redusert NAcc-aktivitet til ingen belønning, da en belønning ble forventet og ikke mottatt (66% belønningssannsynlighetsbetingelse) i forhold til belønning som ikke var forventet eller mottatt (33% belønningssannsynlighetsbetingelse; t (59) = 2.08, p <.04; se Figur 4b). Merk at det ikke var noen signifikante forskjeller i aktivering mellom 33% og 66% belønningssannsynlighetsbetingelser [t (11) =. 510, p = .62] eller mellom 66% og 100% belønnet sannsynlighetsbetingelser [t (11) = 1.20, p = .26] i belønte utfall. MR-signal som en funksjon av belønningsutfall og sannsynlighet er vist i Figur 4.

Figur 4  

Prosentvis MR-signalendringer som en funksjon av belønningsutfall og sannsynlighet i kjernen akkumuleres til a) belønnet og b) ikke-videreutviklede utfall.
Gå til:

Diskusjon

Denne studien undersøkte effekten av brudd i forventede belønningsresultater på atferd og nevral aktivitet i accumbens og orbital frontal cortex (OFC), som tidligere har vist seg å være involvert i forventning om belønningsresultater (McClure et al. 2004; Knutson et al, 2005). Vi viste at både nucleus accumbens og OFC ble rekruttert under belønte studier i forhold til ikke-mottatte studier, men bare nucleus accumbens viste følsomhet for brudd i spådd belønningsresultat i denne studien. Større følsomhet hos de tilrettelagte for å belønne verdi (f.eks. Størrelsesorden) i forhold til OFC har blitt vist i tidligere arbeider (Galvan et al. 2005), og sammen antyder disse funnene at denne regionen kan være involvert i beregningen av både størrelsesorden og sannsynlighet for belønning. Mangelen på følsomhet i OFC for disse manipulasjonene kan reflektere en mer absolutt representasjon av belønning eller tvetydighet i utfallet (Hsu et al., 2005). Alternativt, siden MR-signalet var mer variabelt i dette området, kan disse effektene ha blitt svekket i den nåværende studien.

I elektrofysiologiske studier på dyr har dopaminneuroner i mellomhinnen (som projiserer til nucleus accumbens) vist seg å ha liten eller ingen respons på forutsagte belønningsresultater (sannsynlighet = 1.0), men viser fasisk avfyring når belønning blir levert med mindre enn 100 % sannsynlighet, selv etter omfattende trening (Fiorillo et al., 2003). I den nåværende studien viste vi større aktivitet for å belønne når belønningen var uventet (33% tilstand) i forhold til når det var forventet (100% tilstand) i samsvar med disse funnene. Videre elektrofysiologiske studier av dopaminuroner hos dyr (f.eks. Fiorillo et al., 2003) har vist at for studier som belønningen ble spådd, men ikke forekom, reduserte nevronaktiviteten. Den nåværende studien viste et lignende mønster hos accumbens, med en reduksjon i aktivitet i dette området i de ikke-belønte forsøkene for 66% belønningssannsynlighetstilstand i forhold til 33% -tilstanden.2

Dopaminneuroner har vært involvert i læring på to måter. For det første koder de for uoverensstemmelser mellom stimuli (eller respons) og utfall gjennom prediksjonsfeil-signaler som oppdager brudd i forventningene (Schultz et al, 1997; Mirencowicz og Schultz, 1998; Fiorillo et al., 2003). Dermed ser prediksjonsfeilen ut til å gi et undervisningssignal som tilsvarer læringsprinsippene som først ble beskrevet av Rescorla og Wagner (1972). For det andre tjener de til å endre atferdsresponser (Schultz et al, 1997; McClure et al., 2004) slik at handlinger er partiske mot ledetrådene som er mest prediktive. I den nåværende studien viser vi at ved sene studier av eksperimentet er den mest optimale ytelsen for tilstanden med høyest sannsynlighet for belønning (100% belønningssannsynlighet) og minst optimal for den laveste sannsynlighetsbetingelsen (33% belønningssannsynlighet). Dette atferdsmessige funnet er i samsvar med tidligere sannsynlighetsarbeid som viser minst optimal ytelse med lavest sannsynlighet for belønningsutfall, noe som tyder på at belønningssituasjoner ble lært over tid (Delgado et al., 2005). For ytterligere å vise læring introduserte vi en reversering, og byttet sannsynlighet for belønning for 33% og 100% forholdene på slutten av eksperimentet. Denne manipulasjonen resulterte i demping av forskjeller mellom disse forholdene, noe som ytterligere bekreftet læringseffekter.

Et hovedmål med belønningsrelaterte studier er å bestemme hvordan belønning påvirker og bias atferd (f.eks Robbins og Everitt, 1996; Schultz, 2004) i tillegg til å karakterisere den underliggende nevrale prosesseringen. Tallrike faktorer bidrar til hvor raskt og robust belønninger påvirker atferd, inkludert planer for forsterkning (Skinner, 1958), belønningsverdi (Galvan et al., 2005), og belønne forutsigbarhet (Fiorillo et al., 2003; Delgado et al., 2005). Forventet verdi, som er produktet av størrelsen og sannsynligheten for en belønning (Pascal, ca 1600s), påvirker atferdsvalg (von Frisch, 1967; Montague et al, 1995; Montague og Berns, 2002). Ved å bruke en veldig lignende oppgave der bare utfallet (størrelse i stedet for sannsynlighet) skilte seg fra den aktuelle studien, viste vi at nucleus accumbens var følsom for diskrete belønningsverdier (Galvan et al., 2005). Tatt sammen med bevisene som er presentert her og andre steder (Tobler et al, 2005), foreslår vi at det ventrale striatum sannsynligvis bidrar til beregning av forventet belønningsverdi gitt dens følsomhet for både belønningssannsynlighet og størrelsesorden.

Rollen til den orbitale frontale cortex i belønningspedisjon er i samsvar med funksjonelle underinndelinger i denne regionen av Kringelbach and Rolls (2004). De antyder at flere fremre og mediale deler av OFC er følsomme for abstrakte belønningsmanipulasjoner. OFC-aktiveringen i denne studien ble observert på dette generelle stedet. Elektrofysiologiske studier impliserer OFC i koding av subjektiv verdi av en belønningsstimulus (for gjennomgang, O'Doherty, 2004). For eksempel avfyrer OFC-nevroner en spesiell smak når et dyr er sulten, men reduserer avfyringshastigheten når dyret er mettet og belønningsverdien for maten er redusert (Critchley and Rolls, 1996). Som sådan har andre antydet at OFC er mest følsom for relative belønninger (Tremblay og Schultz, 1999) og belønning preferanse (Schultz et al, 2000). Neuroimaging-studier har vist et analogt mønster hos mennesker med en rekke stimuli, inkludert smak (O'Doherty et al, 2001; Kringelbach et al, 2003), olfaction (Anderson et al, 2003; Rolls et al, 2003) og penger (Elliott et al., 2003; Galvan et al., 2005), med hver aktivering som varierer i aktivitetsstedet fra anterior til posterior og fra medial til lateral OFC. OFC har vært involvert i forventning om belønning (O'Doherty et al. 2002), men bare i den grad den prediktive verdien av responsen er knyttet til den spesifikke verdi av den tilhørende belønningen, i stedet for med sannsynligheten for at belønningen skal skje (O'Doherty, 2004 ). I den nåværende studien så vi ikke følsomhet for brudd i belønningsprediksjon i OFC. Knutson og kolleger (2005) har rapportert korrelasjoner mellom sannsynlighetsestimater og hjerneaktivering i påvente av belønning i den mesiale prefrontale cortex (Knutson et al. 2005), men ikke spesifikt i frontal cortex. I motsetning, Ramnani et al (2004 ) rapporterte OFC-følsomhet for positiv prediksjonsfeil i medial orbital frontal cortex ved bruk av en passiv visningsoppgave og Dreher et al. (2005) rapporterte OFC feil prediksjon i en oppgave som manipulerte både sannsynligheten og størrelsen på prediktive signaler, men disse tilfeldighetene ble lært før skanning. Det er derfor fortsatt holdbart at OFC kan beregne forutsagte belønninger, men kanskje disse beregningene er råere (dvs. summert over et antall sannsynligheter) eller saktere å danne relativt til de nøyaktige beregningene som ser ut til å skje i NAcc. Alternativt kan denne regionen være mer følsom for å oppdage stimuli av usikker og / eller tvetydig verdi, som foreslått av Hsu et al (2005), enn ved å oppdage brudd i belønningspedisjon. Hsu et al (2005) vis at nivået på uklarhet i valg (usikre valg som er gjort på grunn av manglende informasjon) korrelerer positivt med aktivering i OFC. Endelig kan den større variasjonen i MR-signal i denne regionen ha redusert vår evne til å oppdage disse effektene også.

Det grunnleggende spørsmålet for den nåværende studien var hvordan accumbens og OFC differensielt koder forutsa belønningsutfall i forhold til uforutsagte utfall (dvs. brudd på forventninger). Vi manipulerte parametrisk sannsynligheten for belønning og undersøkte den nevrale responsen på belønning og nonreward studier for hver sannsynlighetsbelønningstilstand. Våre data samsvarer med tidligere menneskelig avbildning og ikke-menneskelige elektrofysiologiske studier (Fiorillo et al., 2003; Schultz, 2002) og foreslå at accumbens og OFC er følsomme for belønningsutfall (belønning eller ikke). Imidlertid ser aktivitet ut i disse regionene, spesielt accumbens, å være modulert av spådommer om sannsynligheten for belønningsutfall som blir dannet med læring over tid. Dette dynamiske aktiveringsmønsteret kan representere modifikasjoner i dopaminaktivitet i eller projisere til disse regionene når informasjon om spådd belønning læres og oppdateres.

Gå til:

Fotnoter

1NAcc [t (11) = 3.2, p <0.04] og OFC [t (11) = 3.5, p <0.02] viste økt aktivitet i påvente av belønning for den intermitterende, men ikke den kontinuerlige belønningsbetingelsen

2Utelatelse av belønningsresultat i 33% -tilstand resulterte i en liten økning i NAcc-aktiviteten i stedet for en redusert aktivitet, lik den som ble observert av Knutson et al., 2001. En mulig tolkning av dette resultatet er at forsøkspersoner var motivert eller belønnet hvis de spådde at ingen belønning ville komme for den rettssaken, og ingen gjorde det. Alternativt, siden belønningsutfallet for disse forsøkene var det færrest i hele eksperimentet, kan aktiviteten gjenspeile fortsatt læring for denne tilstanden.

Ansvarsfraskrivelse: Dette er en PDF-fil av et unedited manuskript som har blitt akseptert for publisering. Som en tjeneste til våre kunder gir vi denne tidlige versjonen av manuskriptet. Manuskriptet vil gjennomgå copyediting, typeetting og gjennomgang av det resulterende beviset før det publiseres i sin endelige form. Vær oppmerksom på at under produksjonsprosessen kan det oppdages feil som kan påvirke innholdet, og alle juridiske ansvarsfraskrivelser som gjelder for journalen gjelder.

Gå til:

Referanser

  • Anderson A, Christoff K, Stappen I, Panitz D, Ghahremani D, Glover G, Gabrieli JD, Sobel N. Dissosierte nevrale representasjoner av intensitet og valens i menneskelig olfaksjon. Natur Neurovitenskap. 2003;6: 196-202.
  • Berns GS, McClure SM, Pagnoni G, Montague PR. Forutsigbarhet modulerer menneskelig hjerne respons på belønning. Journal of Neuroscience. 2001;21: 2793-2798. [PubMed]
  • Boynton GM, Engel SA, Glover GH, Heeger DJ. Lineær systemanalyse av funksjonell magnetisk resonansavbildning i human V1. Journal of Neuroscience. 1996;16: 4207-4221. [PubMed]
  • Cox RW. AFNI: Programvare for analyse og visualisering av funksjonelle magnetiske resonans neuroimages. Beregninger i biomedisinsk forskning. 1996;29: 162-173.
  • Cox SM, Andrade A, Johnsrude IS. Lære å like: En rolle for menneskelig orbitofrontal cortex i betinget belønning. Journal of Neuroscience. 2005;25: 2733-2740. [PubMed]
  • Craig AD, Chen K, Bandy D, Reiman EM. Termosensorisk aktivering av insulær cortex. Natur Neurovitenskap. 2000;3: 184-190.
  • Critchley HD, Rolls ET. Sult og metthetsfølelse modifiserer responsene fra lukt og visuelle nevroner i den primære orbitofrontale cortex. Journal of Neurophysiology. 1996;75: 1673-1686. [PubMed]
  • De Araujo IET, Kringelbach ML, Rolls ET, McGlone F. Menneskelige kortikale reaksjoner på vann i munnen, og effekten av tørst. Journal of Neurophysiology. 2003;90: 1865-1876. [PubMed]
  • Delgado MR, Miller M, Inati S, Phelps EA. En fMRI-studie av belønningsrelatert sannsynlighetslæring. Neuroimage. 2005;24: 862-873. [PubMed]
  • Dreher JC, Kohn P, Berman KF. Nevralkoding av distinkte statistiske egenskaper ved belønningsinformasjon hos mennesker. Cerebral cortex. 2005 Epub i forkant av trykk.
  • Elliott R, Newman JL, Longe OA, Deakin JFW. Differensielle responsmønstre i striatum og orbitofrontal cortex for økonomisk belønning hos mennesker: en parametrisk funksjonell magnetisk resonansavbildningstudie. Journal of Neuroscience. 2003;23: 303-307. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Diskret koding av belønningssannsynlighet og usikkerhet av dopaminuroner. Science. 2003;299: 1898-1902. [PubMed]
  • Galvan A, Hare TA, Davidson M, Spicer J, Glover G, Casey BJ. Rollen av ventrale frontostriatalkretser i belønningsbasert læring hos mennesker. Journal of Neuroscience. 2005;25: 8650-8656. [PubMed]
  • Galvan A, Hare TA, Parra C, Penn J, Voss H, Glover G, Casey BJ. Tidligere utvikling av accumbens i forhold til orbitofrontal cortex kan ligge til grunn for å ta atferd hos ungdom. Journal of Neuroscience. 2006;26: 6885-6892. [PubMed]
  • Gottfried JA, O'Doherty J, Dolan RJ. Koder for prediktiv belønningsverdi i human amygdala og orbitofrontal cortex. Science. 2003;301: 1104-1107. [PubMed]
  • Haber SN. Primate basale ganglia: parallelle og integrerende nettverk. Journal of Chemical Neuroanatomy. 2003;26: 317-330. [PubMed]
  • Hollerman J, Schultz W. Dopamine nevroner rapporterer en feil i den tidsmessige prediksjonen av belønning under læring. Natur Neurovitenskap. 1998;1: 304-309.
  • Hsu M, Bhatt M, Adolphs R, Tranel D, Camerer CF. Nevrale systemer som reagerer på grader av usikkerhet i menneskets beslutninger. Science. 2005;310: 1680-1683. [PubMed]
  • Knutson B, Adams CM, Fong GW, Hommer D. Forutsetningen for økende pengepremie selektivt rekrutterer kjernevirksomhet. Journal of Neuroscience. 2001;21: 1-5.
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Distrbuted neural representasjon av forventet verdi. Journal of Neuroscience. 2005;25: 4806-4812. [PubMed]
  • Kringelbach ML, O'Doherty J, Rolls ET, Andrews C. Aktivering av menneskelig orbitofrontal cortex til en flytende matstimulus er korrelert med sin subjektive behagelighet. Cerebral cortex. 2003;13: 1064-1071. [PubMed]
  • Kringelbach ML, Rolls ET. Den funksjonelle nevroanatomien til den menneskelige orbitofrontale cortex: bevis fra nevroimaging og nevropsykologi. Fremgang i nevrobiologi. 2004;72: 341-372. [PubMed]
  • Leon MI, Shadlen MN. Effekt av forventet belønningsstørrelse på responsen fra nevroner i den dorsolaterale prefrontale cortex av makaken. Neuron. 1999;24: 415-425. [PubMed]
  • McClure SM, Berns GS, Montague PR. Temporale prediksjonsfeil i en passiv læringsoppgave aktiverer human striatum. Neuron. 2003;38: 339-346. [PubMed]
  • McClure SM, Laibson DI, Loewenstein G, Cohen JD. Separate nervesystemer verdsetter umiddelbare og forsinkede pengepenger. Science. 2004;306: 503-507. [PubMed]
  • Mirenowicz J, Schultz W. Betydningen av uforutsigbarhet for belønningssvar i primatdopaminuroner. Journal of Neurophysiology. 1994;72: 1024-1027. [PubMed]
  • Montague PR, Berns GS. Neural økonomi og de biologiske substratene av verdsettelse. Neuron. 2002;36: 265-284. [PubMed]
  • Montague PR, Hyman SE, Cohen JD. Beregningsroller for dopamin i atferdskontroll. Nature. 2004;431: 379-387.
  • O'Doherty JP. Belønningsrepresentasjoner og belønningsrelatert læring i den menneskelige hjerne: innsikt fra nevroavbildning. Nåværende mening i neurobiologi. 2004;14: 769-776. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Temporal forskjell modeller og belønningsrelatert læring i den menneskelige hjerne. Neuron. 2003;38: 329-337. [PubMed]
  • O'Doherty JP, Deichmann R, Critchley HD, Dolan RJ. Nevrale responser under forventning om en primær smakbelønning. Neuron. 2002;33: 815-826. [PubMed]
  • O'Doherty J, Kringelbach M, Rolls ET, Hornak J, Andrews C. Abstrakte belønnings- og strafferepresentasjoner i den menneskelige orbitofrontale cortex. Natur Neurovitenskap. 2001;4: 95-102.
  • O'Doherty J, Rolls ET, Francis S, Bowtell R, McGlone F, Kobal G, Renner B, Ahne G. Sensorisk spesifikk metthetsrelatert olfaktorisk aktivering av den menneskelige orbitofrontale cortex. NeuroReport. 2000;11: 893-897. [PubMed]
  • Olds J, Milner P. Positiv forsterkning produsert ved elektrisk stimulering av septal-området og andre områder av rottehjerne. Journal of Comparative Physiology and Psychology. 1954;47: 419-427.
  • Ramnani N, Elliott R, Athwal B, Passingham R. Prediksjonsfeil for gratis monetær belønning i den menneskelige prefrontale cortex. NeuroImage. 2004;23: 777-786. [PubMed]
  • Rescorla R, Wagner A. I: Klassisk kondisjonering 2: Aktuell forskning og teori. Black A, Prokasy W, redaktører. Appleton Century-Crofts; New York: 1972. s. 64 – 69.
  • Robbins TW, Everitt BJ. Nevrobevegelsesmekanismer for belønning og motivasjon. Nåværende meninger i Neurobiologi. 1996;6: 228-235.
  • Rolls E, Kringelbach M, DeAraujo I. Ulike representasjoner av hyggelig og ubehagelig lukt i hjernen. European Journal of Neuroscience. 2003;18: 695-703. [PubMed]
  • Schultz W, Dayan P, Montague PR. Et neuralt substrat av prediksjon og belønning. Science. 1997;275: 1593-1599. [PubMed]
  • Schultz W, Tremblay L, Hollerman JR. Belønning behandling i primate orbitofrontale cortex og basal ganglia. Cereb Cortex. 2000;10: 272-284. [PubMed]
  • Schultz W. Bli formell med dopamin og belønning. Neuron. 2002;36: 241-263. [PubMed]
  • Schultz W. Neural koding av grunnleggende belønningsbetingelser for dyreinnlæringsteori, spillteori, mikroøkonomi og atferdsøkologi. Nåværende mening i neurobiologi. 2004;14: 139-147. [PubMed]
  • Skinner BF. Diagrammer for armering. Journal of Experimental analyse av atferd. 1958;1: 103-107.
  • Sutton RS, Barto AG. Forsterkningslæring: en introduksjon. MIT Press; Cambridge, MA: 1998.
  • Schultz W, Tremblay L, Hollerman J. Belønningsbehandling i primitive orbitofrontale cortex og basalganglier. Cerebral cortex. 2000;10: 272-284. [PubMed]
  • Talairach J, Tournoux P. Co-planar stereotaksisk atlas av den menneskelige hjerne. Thieme; New York: 1988.
  • Tobler PN, Fiorillo CD, Schultz W. Adaptiv koding av belønningsverdi av dopaminuroner. Science. 2005;307: 1642-1645. [PubMed]
  • Tremblay L, Schultz W. Relativ belønning preferanse i primate orbitofrontale cortex. Nature. 1999;398: 704-708. [PubMed]
  • von Frisch K. Dansespråket og orienteringen av bier. Harvard University Press; Cambridge, Massachusetts: 1967.