Kärnans känslighet accumbens till brott i förväntan om belöning (2007)

Neuroimage. 2007 Jan 1; 34 (1): 455-61. Epub 2006 Oct 17.

Spicer J, Galvan A, Hare TA, Voss H, Glover G, Casey B.

Källa

Sackler Institute for Development Psychobiology, Weill Cornell Medical College of Cornell University, 1300 York Avenue, Box 140, New York, NY 10021, USA.

Abstrakt

Denna studie undersökte huruvida ventrala frontostriatala regioner differentiellt kodar förväntade och oväntade belöningsresultat. Vi manipulerade parametriskt sannolikheten för belöning och undersökte det neurala svaret på belöning och nonreward för varje sannolikhetstillstånd i ventralstriatum och orbitofrontal cortex (OFC). Genom försöksförsök i försöket visade individer långsammare beteenderesponser för tillståndet med lägsta sannolikhet för belöning i förhållande till tillståndet med högsta sannolikhet för belöning. På den neurala nivån visade både Nucleus accumbens (NAcc) och OFC större aktivering till belöning i förhållande till icke-återbetalade försök, men accumbens tycktes vara mest känsliga för överträdelser i förväntat belöningsresultat. Dessa data föreslår olika roller för frontostriatala kretsar i belöningsprognos och att svara på överträdelser i förväntningar.

 

Beskrivning

Att bilda korrekta förutsägelser och upptäcka brott i förväntningarna om kommande givande händelser är en viktig del av målstyrt beteende. Icke-mänskliga primat- och mänskliga avbildningsstudier antyder att dopaminrika frontostriatala regioner är inblandade i att skapa förutsägelser om framtida belöningsresultat och optimera beteende därefter. De neurala mekanismerna för belöningsrelaterat förutsägelsesfel - en representation av skillnaden mellan den faktiska och förväntade belöningen (Schultz et al, 1997) - har studerats i icke-mänskliga primater i termer av förväntade och oväntade belöningar och / eller utelämnande av belöning (Hollerman et al, 1998, Leon och Shadlen, 1999; Tremblay och Schultz, 1999). Den aktuella studien använde en enkel spatial fördröjning match-to-sample uppgift, som liknar den som tidigare användes med icke-humana primater (Fiorillo et al, 2003), som manipulerade sannolikheten för belöningsresultatet, att undersöka neurala svar på förväntade och oväntade belöningar.

Konvergerande bevis innebär att dopaminsystemet är kritiskt för förutsägelse och belöning av bearbetning (Olds och Milner, 1954; Montague et al, 2004, Schultz, 2002 för granskning). Nonhuman primatstudier har visat att dopaminneuroner svarar mot oväntade primärbelöningar och så småningom till de stimuli som förutsäger dessa belöningar (Mirencowicz & Schultz, 1994, Tobler et al., 2005). Dopaminneuroner i appens ventrala tegmentalområde (VTA) kommer att eldas som svar på en primär belöning som är oförutsedd (eller förutsagt med låg sannolikhet) mer än till en belöning som är fullt förutsagt (Fiorillo et al, 2003;Tobler et al., 2005). Omvänt undertrycks aktiviteten hos samma neuroner när en förväntad belöning inte levereras i förhållande till en förväntad utebliven belöning (Fiorillo et al, 2003; Tobler et al., 2005). Således kodar dopaminneuroner för prediktionsfel genom att representera skillnaden mellan det faktiska och det förväntade resultatet (Schultz et al, 1997; Tobler et al., 2005), så att oväntad presentation av belöning resulterar i ökad aktivitet och oväntade utelämnanden av belöning resulterar i minskad aktivitet.

Förändringar i dopaminavbrott som svar på förändringar i belöningsresultatet parallelliseras av förändringar i beteende. Icke-humana primatstudier har funnit att en apa kommer att öka sin förväntande slickning som en funktion av sannolikheten med vilken en konditionerad stimulans är associerad med efterföljande okonditionerad stimulans (juiceleverans). Som sådan stimulerar stimuli som representerar en hög sannolikhet för efterföljande juiceleverans mer förutseende slickning (Fiorillo et al., 2003).

Gensamma anatomiska samband finns mellan regioner som är associerade med målinriktade beteenden (t.ex. prefrontal cortex) och de som är associerade med mer automatiska appetitiva beteenden (t.ex. ventralstriatum) där förutsägelser kan beräknas (Shultz et al., 1997; Haber et al., 2003). Dessa regioner är djupt innerverade med dopamin genom projicer från midbrain dopaminneuroner och dessa anslutningar kan bilda en funktionell neuroanatomisk krets som stöder optimering av beteende för att främja handlingar som resulterar i de största vinsterna.

Nyligen har mänskliga funktionella magnetiska resonansbildningsstudier (fMRI) -studier implicerat två regioner i denna krets, kärnan accumbens och orbitofrontal cortex, i representationen av prediktionsfel. Till exempel har oförutsägbara sekvenser av juice och vattenavgivning visat sig framkalla ökad aktivitet i NAcc i förhållande till förutsägbar leverans (Berns et al, 2001). Predictionsfel baserat på tidsmässig (McClure et al, 2003) och stimulans (O'Doherty et al, 2003 O'Doherty et al, 2004) kränkningar aktiverar också ventralstriatumet.

OFC: s roll i förutsägelse av belöning har varit mindre tydlig. Medan vissa studier har rapporterat sensitivitet för OFC under förutsättningar för prediktionsfel (Berns et al., 2001; O'Doherty et al., 2003; Ramnini et al., 2004; Dreher et al., 2005) andra har inte (McClure et al., 2003; O'Doherty et al., 2004; Delgado et al., 2005). Studier med mindre tonvikt på prediktionsfel visar större OFC-aktivering till gynnsam i förhållande till ogynnsamma resultat (O'Doherty et al, 2001; Elliott et al, 2003; Galvan et al., 2005) i studier av belöningsvärde (Gottfried et al, 2003) och valens (Cox et al., 2005; O'Doherty, 2000 O'Doherty, 2003 O'Doherty, 2004). Nyligen, Kringelbach och Rolls (2004) integrerad neuroimaging och neuropsykologisk litteratur för att redogöra för olika funktioner i orbitofrontal cortex. De föreslår en medial-lateral skillnad och en främre-posterior skillnad. Medial och lateral orbitofrontal cortex monitor belöningsvärde respektive utvärdering av straffare (t.ex. O'Doherty et al, 2001 ; Rolls et al, 2003). Den främre orbitofrontala cortexen anses vara involverad mer i representationen av abstrakta förstärkare (O'Doherty et al, 2001) över enklare som är relaterade till smak (t.ex. De Araujo et al., 2003) och smärta (t.ex. Craig et al., 2000).

Dessa ventrala frontostriatala regioner har nyligen (Knutson et al, 2005) har förknippats med representationen av förväntat värde (produkten av förväntad sannolikhet och omfattning av resultatet) under förväntan på belöningsresultatet. Med tanke på den eleganta men komplexa designen som inkluderade 18-signaler representerande många kombinationer av storleksgrad, sannolikhet och / eller valens, utesluter en brist på statistisk kraft författarna att undersöka hjärnaktivering relaterad till incitament utfall. I den aktuella studien använde vi tre distinkta signaler, vilka var och en var förknippade med 33%, 66% eller 100% belöning för korrekta försök. Tyngdpunkten i denna studie var på belöning resultat istället för att belöna förväntan, för att undersöka känsligheten på neurala nivåen mot kränkningar i förväntningar, snarare än att vänta på belöning före resultatet. Denna analys är kritisk för att förstå förutsägbarhet av belöningar på grund av förändringarna i dopaminbränning som uppstår vid belöningsutfall när kränkningar av förväntad förväntning uppstår (Fiorillo et al, 2003).De a priori förutsägelser om accumbens och OFC-svaret på förväntad och oväntad monetär belöning baserades på tidigare bildbehandling som medförde dessa regioner i belöningsprocesser (Knutson et al, 2001; 2005; O'Doherty et al, 2001; Galvan et al., 2005). Vi använde en enkel rumslig försenad matchning till exempelparadigm som liknar den som används av Fiorillo et al (2003) i elektrofysiologiska studier av dopaminneuroner i icke-humana primater. Vi antog att aktiviteten i ventralstriatumet, i synnerhet NAcc, skulle öka när en oväntad belöning skulle levereras och skulle minska när en förväntad belöning inte levererades. Beteende förväntades parallella dessa förändringar med snabbare genomsnittliga reaktionstider till indikatorer som förutsäger belöning oftast, men långsammare reaktionstider till cue förutsäga belöning minst ofta. Vidare antog vi att OFC skulle vara känslig för belöningsresultatet (belöning eller inte), men att accumbens skulle vara mest känsliga för förändringar i belöningsspecifikationer. Dessa hypoteser baserades på rapporter från tidigare bildningsstudier (Galvan et al. 2005, i press) och icke-humant primatarbete som visar större striatal involvering i belöningssannolikhetsparametrar, i förhållande till OFCs belöningslåsade aktivitet (Schultz et al., 2000) och på den fasta, snarare än varierande beloppet av belöningen över sannolikhetsvillkoren.

Gå till:

Metoder

Deltagare

Tolv högerhårda friska vuxna (7-kvinna), åldrar 19-27 (medelålder 24 år) inkluderades i fMRI-experimentet. Ämnen hade ingen historia om neurologisk eller psykisk sjukdom och alla ämnen godkändes till Institutional Review Board godkänd studie före deltagande.

Experimentell uppgift

Deltagarna testades med hjälp av en modifierad version av ett fördröjt svar tvåvalstjänst som tidigare beskrivits (Galvan et al., 2005) i en händelsesrelaterad fMRI-studie (Figur 1). I denna uppgift var tre signaler vardera associerade med en distinkt sannolikhet (33%, 66% och 100%) för att erhålla en fast belopp av belöning. Ämnen instruerades att trycka på antingen sitt index eller långfinger för att indikera den sida som en cue framkom när man frågades, och att svara så snabbt som möjligt utan att göra misstag. En av tre piratkopiera tecknade bilder presenterades i slumpmässig ordning på antingen vänster eller höger sida av en centrerad fixering för 1000 msec (se Figur 1). Efter en 2000 msec-fördröjning presenterades ämnen med en svarprompt på två skattekistor på båda sidor om fixeringen (2000 msec) och instruerade att trycka en knapp med sin högra pekfingret om piraten var på vänster sida av fixeringen eller deras högra långfinger om piraten var på höger sida av fixeringen. Efter en annan 2000 msec-fördröjning presenterades antingen belöningsrespons (tecknadsmynt) eller en tom skattkista i mitten av skärmen (1000 msec) baserat på belöningssannolikheten för den här provtypen. Det fanns ett 12 sek intertrialintervall (ITI) före början av nästa försök.

Figur 1  

Uppgift Design

Det var tre belopp sannolikhetsförhållanden: en 33%, 66% och 100% belöningssannolikhet. I 33% -tillståndet belönades proverna på 33% av försöken och ingen belöning (en tom skattkista) inträffade på den andra 66% av försöken i det tillståndet. I 66% -tillståndet belönades ämnen på 66% av försöken och ingen belöning uppstod för de andra 33% av försöken. I 100% -tillståndet belönades ämnen för alla korrekta försök.

Ämnen garanterades $ 50 för deltagande i studien och fick höra att de kunde tjäna upp till $ 25 mer beroende på prestanda (som indexerat av reaktionstid och noggrannhet) på uppgiften. Stimuli presenterades med det integrerade funktionella imaging-systemet (IFIS) (PST, Pittsburgh) med en LCD-bildskärm i MR-scannerens borrning och en fiberoptisk samlingsanordning.

Experimentet bestod av fem körningar av 18-försök (6 var och en av 33%, 66% och 100% sannolikheten för belöningsprövningstyper), som varade 6 min och 8 s vardera. Varje körning hade 6-försök av varje belöningssannolikhet som presenterades i slumpmässig ordning. I slutet av varje lopp uppdaterades ämnena om hur mycket pengar de hade tjänat under den loppet. Innan experimentet påbörjades, fick personerna detaljerade instruktioner som inkluderade förtrogenhet med de stimulanser som användes och utförde en övning för att säkerställa uppgiftsförståelse. De fick höra att det fanns ett förhållande mellan signalerna och de monetära resultaten, men den exakta karaktären av det förhållandet avslöjades inte.

Bildförvärv

Imaging utfördes med en 3T General Electric MR-skanner med en kvadraturhuvudspole. Funktionella skanningar förvärvades med hjälp av en spiral in och ut-sekvens (Glover & Thomason, 2004). Parametrarna inkluderade en TR = 2000, TE = 30, 64 X 64 matris, 29 5 mm koronala skivor, 3.125 X 3.125 mm i upplösning i planet, vänd 90 °) för 184 repetitioner, inklusive fyra kasserade förvärv i början varje körning. Anatomiska T1-viktade skanningar i planet samlades in (TR = 500, TE = min, 256 X 256, FOV = 200 mm, 5 mm skivtjocklek) på samma platser som de funktionella bilderna förutom en 3D-datamängd av SPGR-bilder med hög upplösning (TR = 25, TE = 5, skivtjocklek 1.5 mm, 124 skivor).

Bildanalys

Programvarupaketet Brainvoyager QX (Brain Innovations, Maastricht, Nederländerna) användes för att utföra en slumpmässig effektanalys av bildningsdata. Före analysen utfördes följande förbehandlingsprocedurer på de rätta bilderna: 3D-rörelsekorrigering för att detektera och korrigera för små huvudrörelser genom spatialinriktning av alla volymer till den första volymen genom styv kroppstransformering, korrigering av skanningstidskorrigering (med användning av sinc-interpolering), linjär trendavlägsnande, högpass temporär filtrering för att avlägsna icke-linjära driftar av 3 eller färre cykler per tidskurs och rumlig datautjämning med en Gaussisk kärna med en 4mm FWHM. Uppskattade rotations- och översättningsrörelser överskred aldrig 2mm för ämnen som ingår i denna analys.

Funktionsdata samregistrerades till den anatomiska volymen genom inriktning av motsvarande punkter och manuella justeringar för att uppnå optimal passform genom visuell inspektion och omvandlades sedan till Talairach-rymden. Under Talairach-transformationen interpolerades funktionella voxeller till en upplösning av 1 mm3 för anpassningsändamål, men de statistiska tröskelvärdena baserades på den ursprungliga förvärvsvoxelstorleken. Kärnan accumbens och orbital frontal cortex definierades av en hel hjärna voxelwise GLM med belöning som primär predictor (se nedan) och sedan lokaliserad av Talairach koordinater i samband med Duvernoy hjärnatlasen (Talairach & Tournoux, 1988; Duvernoy, 1991).

Statistiska analyser av avbildningsdata utfördes på hela hjärnan med användning av en generell linjär modell (GLM) bestående av 60 (5 kör X XUMUM-patienter) z-normaliserade funktionella körningar. Den primära prediktorn var belöning (belöning mot icke-återstående försök) över alla belöningssannolikheter vid belöningsutfall. Prediktorn erhölls genom sammanslagning av ett ideal boxkarsvar (antagande av ett värde 12 för volymen av uppgiftspresentationen och en volym 1 för återstående tidspunkter) med en linjär modell av det hemodynamiska svaret (Boynton et al, 1996) och brukade bygga designmatrisen för varje tidskurs i experimentet. Endast korrekta försök inkluderades och separata prediktorer skapades för felprov. Post-hoc-kontrastanalyser på de intressanta regionerna utfördes sedan baserat på t-tester på beta-vikterna hos prediktorer. Monte Carlo-simuleringar kördes med AlphaSim-programmet inom AFNI (Cox, 1996) för att bestämma lämpliga tröskelvärden för att uppnå en korrigerad alfa-nivå av p <0.05 baserat på sökvolymer på cirka 25,400 3 mm450 respektive 3 mm20 för den orbitala frontala cortex respektive nucleus accumbens. Procentuella förändringar i MR-signalen i förhållande till baslinjen (intervall omedelbart före XNUMX sek-försöket) i nucleus accumbens och orbital frontal cortex beräknades med användning av händelserelaterade medelvärden över signifikant aktiva voxels erhållna från kontrastanalyserna.

Hela hjärnans GLM grundades på 50-belöningsförsök per ämne (n = 12) för totalt 600-försök och 30-icke-återvändande försök per ämne (n = 12) för totalt 360-icke-återvändande försök över hela experimentet. Efterföljande kontraster på belopp sannolikhet villkor bestod av olika antal belöningar och inga belöning försök. För sannolikheten för 100% -beloppet fanns det 6-belöningsförsök per körning (5) per ämne (12) för totalt 360-belöningsförsök och inga nonreward försök. För sannolikheten för 66% -beloppet fanns det 4-belöningsförsök per körning (5) per ämne (12) för totalt 240-belöningsförsök och 120-nonreward-försök. För sannolikheten för 33% -beloppet fanns det 2-belöningsförsök per körning (5) per ämne (12) för totalt 120-belöningsförsök och 240-nonreward-försök.

Gå till:

Resultat

Beteendeuppgifter

Effekterna av belöningssannolikhet och tid på uppgift testades med en 3 (33%, 66%, 100%) x 5 (kör 1-5) upprepad mätningsanalys av varians (ANOVA) för de beroende variablerna av genomsnittlig reaktionstid (RT ) och genomsnittlig noggrannhet.

Det fanns inga huvudeffekter eller interaktioner av sannolikheten för belöning (F [2,22] =. 12, p <.85) tid på uppgiften (F [4,44] = 2.02, p <.14) eller belöningssannolikhet X-tid på uppgift (F [8, 88] = 1.02, p <.41) för medelnoggrannhet. Detta var att förvänta sig eftersom deltagarnas noggrannhet nådde nära taknivåerna för alla sannolikheter för experimentet (33% tillstånd = 97.2%; 66% tillstånd = 97.5%; 100% tillstånd = 97.7%).

Det fanns en signifikant interaktion mellan sannolikheten för belöning och tid på uppgift (F [8,88] = 3.5, p <01) på genomsnittlig RT, men inga huvudeffekter av tid på uppgift (F [4,44] = .611 , p <0.59) eller sannolikhet för belöning (F [2,22] = 2.84, p <0.08). Post-hoc t-tester av den signifikanta interaktionen visade att det fanns en signifikant skillnad mellan 33% och 100% belöningssannolikhetsförhållanden under sena försök av experimentet (körning 5) (t (11) = 3.712, p <.003), med snabbare medel RT för 100% belöningssannolikhetsvillkor (medelvärde = 498.30, sd = 206.23) i förhållande till tillståndet 33% (medelvärde = 583.74, sd = 270.23).

Skillnaden i genomsnittlig reaktionstid mellan 100% och 33% -betingelserna ökade dubbelt från tidiga till sena försök (se Figur 2a). För att ytterligare visa inlärning introducerade vi en omkastning, som ändrade sannolikheten för belöning för 33% och 100% -förhållandena i slutet av experimentet. En 2 (sannolikhet) X 2 (omvänd och icke-reversibel) ANOVA för sena försök visade en signifikant interaktion (F (1,11) = 18.97, p = 0.001) med en minskning i RT till det tillstånd som var 33% sannolikheten i den icke-omvända (medelvärdet = 583.74, sd = 270.24) och 100% i omkastningen (medelvärdet = 519.89, sd = 180.46) (Figur 2b).

Figur 2  

Behavioral Results (RT)

Bildningsresultat

En GLM för korrekta prövningar med hjälp av belöningssannolikheten som den primära prediktorn modellerades vid den tidpunkt då ämnet mottog återkoppling av belöning eller inte (dvs. resultatet). Denna analys identifierade regionerna av NAcc (x = 9, y = 6, z = -1 och x = -9, y = 9, z = -1) och OFC (x = 28, y = 39, z = - 6) (se Figur 3a, b). Post-hoc-t-tester mellan beta-vikterna i de belönade kontra icke-omvärderade studierna visade större aktivering i båda dessa regioner för att belöna (NAcc: t (11) = 3.48, p <0.01; OFC x = 28, y = 39, z = −6, t (11) = 3.30, p <0.02)1.

Figur 3  

Större aktivering mot belönade mot icke-återbetalade resultat i a) kärnans accumbens (x = 9, y = 6, z = -1; x = -9, y = 9, z = -1) och b) orbital frontal cortex (x = 28, y = 39, z = -6).

Det fanns två möjliga resultat (belöning eller ingen belöning) för de två intermittenta belöningsscheman (33% och 66% sannolikhet) och endast ett resultat för det kontinuerliga belöningsschemat (100% belöningssannolikhet), som användes som ett jämförelsevillkor. Medan det fanns en huvudeffekt av belöning (belöning kontra inga belöningsförsök) i OFC som beskrivits ovan, varierade OFC-aktivitet inte som en funktion av belöningssannolikhet i den aktuella studien [F (2,10) = 0.84, p = 0.46) . Däremot visade NAcc tydliga förändringar i aktivitet till resultat som en funktion av belöningssannolikhetsmanipulationen [F (2,10) = 9.32, p <0.005]. Specifikt ökade NAcc-aktiviteten till belöningsresultat när belöningen var oväntad (33% belöningssannolikhetsvillkor) i förhållande till förväntat (100% baslinjetillstånd) [t (11) = 2.54, p <.03 se Figur 4a]. För det andra var det minskad NAcc-aktivitet till ingen belöning, när en belöning förväntades och inte mottogs (66% belöningssannolikhetsvillkor) i förhållande till belöning som inte förväntades eller mottogs (33% belöningssannolikhetsvillkor; t (59) = 2.08, p <.04; se Figur 4b). Observera att det inte fanns några signifikanta skillnader i aktivering mellan 33% och 66% -belopp sannolikhetsförhållandena [t (11) =. 510, p = .62] eller mellan 66% och 100% belönade sannolikhetsförhållandena [t (11) = 1.20, p = .26] i belönade resultat. MR-signal som funktion av belöningsutfall och sannolikhet visas i Figur 4.

Figur 4  

Procent MR-signal ändras som en funktion av belöningsutfallet och sannolikheten i kärnan accumbens till a) belönade och b) nonrewarded resultat.
Gå till:

Diskussion

Denna studie undersökte effekterna av överträdelser i förväntat belöningsresultat på beteende och neuralt aktivitet i accumbens och orbital frontal cortex (OFC), som tidigare visat sig vara involverad i väntan på belöningsresultat (McClure et al. 2004; Knutson et al, 2005). Vi visade att både kärnan accumbens och OFC rekryterades under belönade försök i förhållande till icke-belönade försök, men endast kärnan accumbens visade känslighet för överträdelser i förutsagt belöning resultat i denna studie. Övervakningens större känslighet för att belöna värdet (t.ex. storleksordningen) i förhållande till OFC har visats i tidigare arbete (Galvan et al. 2005), och tillsammans föreslår dessa resultat att denna region kan vara involverad i beräkningen av både storleksgrad och sannolikhet för belöning. Bristen på känslighet i OFC för dessa manipuleringar kan återspegla en mer absolut representation av belöning eller tvetydighet i resultatet (Hsu et al., 2005). Alternativt, eftersom MR-signalen var mer variabel i denna region, kan dessa effekter ha försvagats i den aktuella studien.

I elektrofysiologiska studier på djur har dopaminneuroner i mittenhålan (som kommer till kärnan accumbens) visat sig ha liten eller ingen respons på förväntade belöningsresultat (sannolikhet = 1.0), men visar fasavbrott när belöning levereras med mindre än 100 % sannolikhet, även efter omfattande träning (Fiorillo et al, 2003). I den aktuella studien visade vi större accumbensaktivitet att belöna när belöningen var oväntad (33% -tillstånd) i förhållande till när det var förväntat (100% -tillstånd) i överensstämmelse med dessa resultat. Vidare elektrofysiologiska studier av dopaminneuroner hos djur (t.ex. Fiorillo et al, 2003) har visat att för prövningar på vilken belöning som förutspåddes men inte inträffade minskade neuronaktiviteten. Den aktuella undersökningen visade ett liknande mönster i accumbens med en minskning av aktiviteten i denna region i de icke-belönade försöken för 66% -belöningssannolikhetstillståndet i förhållande till 33% -betingelsen.2

Dopaminneuroner har blivit inblandade i att lära sig på två sätt. För det första kodar de händelser mellan stimuli (eller svar) och resultat genom prediktionsfel signaler som upptäcker överträdelser i förväntningar (Schultz et al, 1997; Mirencowicz och Schultz, 1998; Fiorillo et al, 2003). Således tycks förutsägelsesfelet ge en undervisningssignal som motsvarar de inlärningsprinciper som ursprungligen beskrivits av Rescorla och Wagner (1972). För det andra tjänar de att förändra beteendesvar (Schultz et al, 1997; McClure et al, 2004) så att åtgärder är förspända mot de signaler som är mest förutsägda. I den aktuella undersökningen visar vi att vid försökets sena försök är den mest optimala prestationen för det villkor som är högst sannolik för belöning (100% -belöningssannolikhet) och minst optimalt för lägsta sannolikhetstillstånd (33% -belöningssannolikhet). Detta beteendefinnande överensstämmer med tidigare sannolikhetsarbete som visar minst optimalt prestanda med den lägsta sannolikheten för belöningsutfall, vilket tyder på att belöningsförluster har lärt sig över tiden (Delgado et al, 2005). För att ytterligare visa inlärning introducerade vi en omkastning, som ändrade sannolikheten för belöning för 33% och 100% -förhållandena i slutet av experimentet. Denna manipulation resulterade i dämpning av skillnaderna mellan dessa villkor och ytterligare bekräftande lärande effekter.

Ett viktigt mål för belöningsrelaterade studier är att bestämma hur belöningar påverkar och förhöjer beteende (t.ex. Robbins och Everitt, 1996; Schultz, 2004) förutom att karakterisera den underliggande neurala behandlingen. Många faktorer bidrar till hur snabbt och starkt belönar inflytande beteende, inklusive scheman för förstärkning (Skinner, 1958), belöningsvärde (Galvan et al., 2005) och belöning förutsägbarhet (Fiorillo et al, 2003; Delgado et al, 2005). Förväntat värde, som är produkten av storleken och sannolikheten för en belöning (Pascal, ca 1600), påverkar beteendemässiga val (von Frisch, 1967; Montague et al, 1995; Montague och Berns, 2002). Genom att använda en mycket liknande uppgift där endast resultatet (magnitud istället för sannolikhet) skilde sig från den aktuella studien visade vi att kärnans accumbens var känslig för diskreta belöningsvärden (Galvan et al., 2005). Tillsammans med de bevis som presenteras här och på annat håll (Tobler et al., 2005), föreslår vi att ventralstriatum sannolikt bidrar till beräkningen av förväntat belöningsvärde med tanke på dess känslighet för både belöningssannolikhet och storleksgrad.

Den orbitala frontalcortexens roll i förutspådningsprincipen överensstämmer med funktionella underavdelningar i denna region av Kringelbach och Rolls (2004). De föreslår att fler främre och mediala delar av OFC är känsliga för abstrakta belöningsmanipuleringar. OFC-aktiveringen i denna studie observerades i denna allmänna plats. Elektrofysiologiska studier implicerar OFC vid kodande subjektivt värde av en belöningsstimulans (för granskning, O'Doherty, 2004). Exempelvis avc-neuroner eldar till en viss smak när ett djur är hungrig, men minskar deras avfyrningsgrad när djuret är mattat och matens belöningsvärde har minskat (Critchley och Rolls, 1996). Som sådan har andra föreslagit att OFC är mest känslig för relativa belöningar (Tremblay och Schultz, 1999) och belöningspreferens (Schultz et al, 2000). Neuroimagingstudier har visat ett analogt mönster hos människor med olika stimuli, inklusive smak (O'Doherty et al, 2001; Kringelbach et al., 2003), olfaction (Anderson et al, 2003; Rolls et al, 2003) och pengar (Elliott et al, 2003; Galvan et al., 2005), med varje aktivering varierande i placeringen av aktiviteten från främre till bakre och från medial till lateral OFC. OFC har blivit implicerad i väntan på belöning (O'Doherty et al. 2002), men endast i den mån det prediktiva värdet av svaret är kopplat till det specifika värde av den tillhörande belöningen snarare än sannolikheten för att belöningen uppträder (O'Doherty, 2004 ). I den aktuella undersökningen såg vi inte känslighet för överträdelser i prognos för belöning i OFC. Knutson och kollegor (2005) har rapporterat korrelationer mellan sannolikhetsbedömningar och hjärnaktivering i väntan på belöning i mesial prefrontal cortex (Knutson et al. 2005), men inte specifikt i den orbitala frontala cortexen. I kontrast, Ramnani et al (2004 ) rapporterade OFC-känslighet för positivt prediktionsfel i medial orbital frontal cortex med en passiv visningsuppgift och Dreher et al. (2005) rapporterade OFC-felprognos i en uppgift som manipulerade både sannolikheten och storleken på prediktiva signaler, men dessa händelser lärt sig före skanning. Det är därför fortfarande hållbart att OFC kan beräkna förutsagda belöningar, men kanske är dessa beräkningar cruder (dvs summerad över ett antal sannolikheter) eller långsammare att bilda i förhållande till de exakta beräkningarna som verkar förekomma i NAcc. Alternativt kan denna region vara känsligare vid detektering av stimuli av osäkert och / eller tvetydigt värde, såsom föreslås av Hsu et al (2005), än att upptäcka kränkningar i belöningsprognos. Hsu et al (2005) visa att nivån på otydlighet i val (osäkra val som görs på grund av saknad information) korrelerar positivt med aktivering i OFC. Slutligen kan den större variationen i MR-signalen i denna region ha minskat vår förmåga att upptäcka dessa effekter också.

Den grundläggande frågan om den aktuella studien var hur accumbens och OFC differentiellt kod förutspådde belöningsresultat i förhållande till oförutsedda resultat (dvs. överträdelser i förväntningar). Vi parametriskt manipulerade sannolikheten för belöning och undersökte det neurala svaret på belöning och nonreward försök för varje sannolikhetsbelöningstillstånd. Våra data överensstämmer med tidigare human imaging och icke-humana elektrofysiologiska studier (Fiorillo et al, 2003; Schultz, 2002) och föreslår att accumbens och OFC är känsliga för belöningsresultatet (belöning eller inte). Aktiviteten i dessa regioner, speciellt accumbens, verkar emellertid moduleras av förutsägelser om sannolikheten för belöningsutfall som bildas med lärande över tiden. Detta dynamiska aktiveringsmönster kan representera modifikationer i dopaminaktivitet inom eller projicera till dessa regioner eftersom information om förutspådd belöning lärs och uppdateras.

Gå till:

fotnoter

1NAcc [t (11) = 3.2, p <0.04] och OFC [t (11) = 3.5, p <0.02] visade ökad aktivitet i väntan på belöning för det intermittenta men inte det kontinuerliga belöningsvillkoret

2Utelämnande av belöningsresultatet i 33% -förhållandet resulterade i en liten ökning av NAcc-aktiviteten snarare än en minskad, liknande den som observerades av Knutson et al., 2001. En möjlig tolkning av detta resultat är att ämnena var inbördes motiverade eller belönade om de förutspådde att ingen belöning skulle komma för den rättegången, och ingen gjorde det. Alternativt, eftersom belöningsresultatet för dessa försök var de minsta i antal över experimentet, kan aktiviteten återspegla fortsatt lärande för detta tillstånd.

Ansvarsfriskrivning för förlag: Detta är en PDF-fil av ett oediterat manuskript som har godkänts för publicering. Som en tjänst till våra kunder tillhandahåller vi denna tidiga version av manuskriptet. Manuskriptet kommer att genomgå copyediting, uppsättning och granskning av det resulterande beviset innan det publiceras i sin slutliga formulär. Observera att under tillverkningsprocessen kan det upptäckas fel som kan påverka innehållet och alla juridiska ansvarsfrister som gäller för tidskriften avser.

Gå till:

Referensprojekt

  • Anderson A, Christoff K, Stappen I, Panitz D, Ghahremani D, Glover G, Gabrieli JD, Sobel N. Dissocierade neurala representationer av intensitet och valens vid mänsklig olfaction. Natur Neurovetenskap. 2003;6: 196-202.
  • Berns GS, McClure SM, Pagnoni G, Montague PR. Förutsägbarhet modulerar mänskligt hjärnans respons till belöning. Journal of Neuroscience. 2001;21: 2793-2798. [PubMed]
  • Boynton GM, Engel SA, Glover GH, Heeger DJ. Linjär systemanalys av funktionell magnetisk resonansbildning i humant V1. Journal of Neuroscience. 1996;16: 4207-4221. [PubMed]
  • Cox RW. AFNI: Programvara för analys och visualisering av funktionella magnetiska resonans neuroimages. Beräkningar i biomedicinsk forskning. 1996;29: 162-173.
  • Cox SM, Andrade A, Johnsrude IS. Lär dig att tycka om: En roll för mänsklig orbitofrontal cortex i konditionerad belöning. Journal of Neuroscience. 2005;25: 2733-2740. [PubMed]
  • Craig AD, Chen K, Bandy D, Reiman EM. Termosensorisk aktivering av insulär cortex. Natur Neurovetenskap. 2000;3: 184-190.
  • Critchley HD, Rolls ET. Sult och mättnad modifierar responserna hos luktsymboler och visuella neuroner i primär-orbitofrontal cortex. Journal of Neurophysiology. 1996;75: 1673-1686. [PubMed]
  • De Araujo IET, Kringelbach ML, Rolls ET, McGlone F. Mänskliga kortikala reaktioner på vatten i munnen och effekterna av törst. Journal of Neurophysiology. 2003;90: 1865-1876. [PubMed]
  • Delgado MR, Miller M, Inati S, Phelps EA. En fMRI-studie av belöningsrelaterat sannolikhetsundervisning. Neuroimage. 2005;24: 862-873. [PubMed]
  • Dreher JC, Kohn P, Berman KF. Neural kodning av distinkta statistiska egenskaper hos belöningsinformation hos människor. Hjärnbarken. 2005 Epub före tryck.
  • Elliott R, Newman JL, Longe OA, Deakin JFW. Differentiella responsmönster i striatum och orbitofrontal cortex till ekonomisk belöning hos människor: en parametrisk funktionell magnetisk resonansbildningsstudie. Journal of Neuroscience. 2003;23: 303-307. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Diskret kodning av belöningssannolikhet och osäkerhet av dopaminneuroner. Science. 2003;299: 1898-1902. [PubMed]
  • Galvan A, Hare TA, Davidson M, Spicer J, Glover G, Casey BJ. Den roll som ventrala frontostriatala kretsar i belöningsbaserat lärande hos människor. Journal of Neuroscience. 2005;25: 8650-8656. [PubMed]
  • Galvan A, Hare TA, Parra C, Penn J, Voss H, Glover G, Casey BJ. Tidigare utveckling av accumbens i förhållande till orbitofrontal cortex kan ligga till grund för riskupptagande beteenden hos ungdomar. Journal of Neuroscience. 2006;26: 6885-6892. [PubMed]
  • Gottfried JA, O'Doherty J, Dolan RJ. Kodning av förutsägbart belöningsvärde vid human amygdala och orbitofrontal cortex. Science. 2003;301: 1104-1107. [PubMed]
  • Haber SN. Primata basala ganglier: parallella och integrerade nätverk. Journal of Chemical Neuroanatomy. 2003;26: 317-330. [PubMed]
  • Hollerman J, Schultz W. Dopaminneuroner rapporterar ett fel i den tidsmässiga förutsägelsen av belöning under inlärning. Natur Neurovetenskap. 1998;1: 304-309.
  • Hsu M, Bhatt M, Adolphs R, Tranel D, Camerer CF. Neurala system som svarar mot grader av osäkerhet i mänskligt beslutsfattande. Science. 2005;310: 1680-1683. [PubMed]
  • Knutson B, Adams CM, Fong GW, Hommer D. Förutsättning av ökad monetär belöning selektivt rekryterar kärnan accumbens. Journal of Neuroscience. 2001;21: 1-5.
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Distrbuted neural representation av förväntat värde. Journal of Neuroscience. 2005;25: 4806-4812. [PubMed]
  • Kringelbach ML, O'Doherty J, Rolls ET, Andrews C. Aktivering av den mänskliga orbitofrontala cortexen till en flytande matstimulans är korrelerad med dess subjektiva behaglighet. Hjärnbarken. 2003;13: 1064-1071. [PubMed]
  • Kringelbach ML, Rolls ET. Den funktionella neuroanatomin hos den mänskliga orbitofrontala cortexen: Bevis från neuroimaging och neuropsykologi. Framsteg i neurobiologi. 2004;72: 341-372. [PubMed]
  • Leon MI, Shadlen MN. Effekt av förväntad belöningsstyrka på neuronernas respons i makakens dorsolaterala prefrontala cortex. Neuron. 1999;24: 415-425. [PubMed]
  • McClure SM, Berns GS, Montague PR. Temporala prediktionsfel i en passiv inlärningsuppgift aktiverar mänsklig striatum. Neuron. 2003;38: 339-346. [PubMed]
  • McClure SM, Laibson DI, Loewenstein G, Cohen JD. Separata neurala system värderar omedelbara och försenade monetära belöningar. Science. 2004;306: 503-507. [PubMed]
  • Mirenowicz J, Schultz W. Betydelsen av oförutsägbarhet för belöningssvar i primatdopaminneuroner. Journal of Neurophysiology. 1994;72: 1024-1027. [PubMed]
  • Montague PR, Berns GS. Neuralekonomi och de biologiska substraten för värdering. Neuron. 2002;36: 265-284. [PubMed]
  • Montague PR, Hyman SE, Cohen JD. Beräkningsroller för dopamin vid beteendekontroll. Nature. 2004;431: 379-387.
  • O'Doherty JP. Belöningsrepresentationer och belöningsrelaterat lärande i den mänskliga hjärnan: insikter från neuroimaging. Nuvarande yttrande i neurobiologi. 2004;14: 769-776. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Temporal skillnader modellerar och belöningsrelaterat lärande i den mänskliga hjärnan. Neuron. 2003;38: 329-337. [PubMed]
  • O'Doherty JP, Deichmann R, Critchley HD, Dolan RJ. Neurala svar under förväntan på en primär smakbelöning. Neuron. 2002;33: 815-826. [PubMed]
  • O'Doherty J, Kringelbach M, Rolls ET, Hornak J, Andrews C. Abstrakta belönings- och straffrepresentationer i den mänskliga orbitofrontala cortexen. Natur Neurovetenskap. 2001;4: 95-102.
  • O'Doherty J, Rolls ET, Francis S, Bowtell R, McGlone F, Kobal G, Renner B, Ahne G. Sensorspecifik mättnadsrelaterad olfaktorisk aktivering av den mänskliga orbitofrontala cortexen. Neuroreport. 2000;11: 893-897. [PubMed]
  • Olds J, Milner P. Positiv förstärkning producerad genom elektrisk stimulering av septal-området och andra områden av råtthjärna. Journal of Comparative Physiology and Psychology. 1954;47: 419-427.
  • Ramnani N, Elliott R, Athwal B, Passingham R. Prediktionsfel för fri monetär belöning i den mänskliga prefrontala cortexen. Neuroimage. 2004;23: 777-786. [PubMed]
  • Rescorla R, Wagner A. I: Klassisk konditionering 2: Aktuell forskning och teori. Black A, Prokasy W, redaktörer. Appleton Century-Crofts; New York: 1972. pp. 64-69.
  • Robbins TW, Everitt BJ. Neurobehavioral mekanismer av belöning och motivation. Nuvarande yttranden i neurobiologi. 1996;6: 228-235.
  • Rolls E, Kringelbach M, DeAraujo I. Olika representationer av trevliga och obehagliga luktar i människans hjärna. European Journal of Neuroscience. 2003;18: 695-703. [PubMed]
  • Schultz W, Dayan P, Montague PR. Ett neuralt substrat av förutsägelse och belöning. Science. 1997;275: 1593-1599. [PubMed]
  • Schultz W, Tremblay L, Hollerman JR. Belöningsprocessering i primat orbitofrontal cortex och basal ganglia. Cereb Cortex. 2000;10: 272-284. [PubMed]
  • Schultz W. Komma formellt med dopamin och belöning. Neuron. 2002;36: 241-263. [PubMed]
  • Schultz W. Neuralkodning av grundläggande belöningsvillkor för djurinlärningsteori, spelteori, mikroekonomi och beteendeekologi. Nuvarande yttrande i neurobiologi. 2004;14: 139-147. [PubMed]
  • Skinner BF. Diagrammer för förstärkning. Journal of Experimental Analyse av beteende. 1958;1: 103-107.
  • Sutton RS, Barto AG. Förstärkande lärande: En introduktion. MIT Press; Cambridge, MA: 1998.
  • Schultz W, Tremblay L, Hollerman J. Belöningsprocessering i primatortbitofrontal cortex och basalganglier. Hjärnbarken. 2000;10: 272-284. [PubMed]
  • Talairach J, Tournoux P. Co-planar stereotaxisk atlas av den mänskliga hjärnan. Thieme; New York: 1988.
  • Tobler PN, Fiorillo CD, Schultz W. Adaptiv kodning av belöningsvärde av dopaminneuroner. Science. 2005;307: 1642-1645. [PubMed]
  • Tremblay L, Schultz W. Relativ belöningspreferens i primär orbitofrontal cortex. Nature. 1999;398: 704-708. [PubMed]
  • von Frisch K. Dansspråket och orienteringen av bin. Harvard University Press; Cambridge, Massachusetts: 1967.