Sensitiwiteit van die kern sluit aan by oortredings in verwagting van beloning (2007)

Neuro Image. 2007 Jan 1; 34 (1): 455-61. Epub 2006 Okt 17.

Spicer J, Galvan A, Hare TA, Voss H, Glover G, Casey B.

Bron

Die Sackler Instituut vir Ontwikkelingspsigologie, Weill Cornell Mediese Kollege van Cornell Universiteit, 1300 Yorklaan, Box 140, New York, NY 10021, VSA.

Abstract

Hierdie studie het ondersoek of ventrale frontostriatale streke differensieel kode verwag en onverwagte beloningsuitkomste. Ons het die waarskynlikheid van beloning parametries gemanipuleer en die neurale reaksie ondersoek om die waarskynlikheidstoestand in die ventrale striatum en die orbitofrontale korteks (OFC) te beloon en nie terug te betaal nie. By laatproewe van die eksperiment het vakke stadiger gedragsreaksies getoon vir die toestand met die laagste waarskynlikheid van beloning, relatief tot die toestand met die hoogste waarskynlikheid van beloning. Op die neurale vlak het beide die nucleus accumbens (NAcc) en OFC groter aktivering getoon as gevolg van nie-verhaalde proewe, maar die oplichters blyk die sensitiefste te wees vir oortredings in verwagte beloninguitkomste. Hierdie data dui op verskillende rolle vir frontostriatale kringe in voorspellings vir beloning en in reaksie op oortredings in verwagtinge.

 

Inleiding

Die vorming van akkurate voorspellings en die opsporing van skendings in verwagtinge oor komende lonende gebeure is 'n noodsaaklike onderdeel van doelgerigte gedrag. Nie-menslike primate en menslike beeldingstudies dui daarop dat dopamienryke frontostriatale streke betrokke is by die vorming van voorspellings oor toekomstige beloningsuitkomste en die gedrag daarvolgens te optimaliseer. Die neurale meganismes van beloningsverwante voorspellingsfout - 'n voorstelling van die verskil tussen die werklike en verwagte beloning (Schultz et al., 1997) - is in nie-menslike primate bestudeer in terme van verwagte en onverwagte belonings en / of versuim van beloning (Hollerman et al., 1998, Leon en Shadlen, 1999; Tremblay en Schultz, 1999). Die huidige studie het 'n eenvoudige ruimtelike vertraging-tot-monster-taak gebruik, soortgelyk aan een wat vroeër met nie-menslike primate gebruik is (Fiorillo et al., 2003), wat die waarskynlikheid van beloninguitkoms gemanipuleer het om neurale antwoorde op verwagte en onverwagte belonings te ondersoek.

Konvergerende bewyse impliseer die dopamienstelsel as krities vir voorspelling en beloningverwerking (Olds en Milner, 1954; Montague et al., 2004, Schultz, 2002 Vir hersiening). Nie-menslike primate studies het getoon dat dopamienneurone reageer op onverwagte primêre belonings en uiteindelik na die stimuli wat daardie voordele voorspel (Mirencowicz & Schultz, 1994, Tobler et al., 2005). Dopamienneurone in die ventrale tegmentale area (VTA) van die aap sal brand in reaksie op 'n primêre beloning wat onvoorspelbaar is (of met lae waarskynlikheid voorspel word) meer as 'n beloning wat ten volle voorspel word (Fiorillo et al., 2003;Tobler et al., 2005). Omgekeerd word die aktiwiteit van dieselfde neurone onderdruk wanneer 'n verwagte beloning nie afgelewer word relatief tot 'n verwagte weglating van beloning nie (Fiorillo et al., 2003; Tobler et al., 2005). Dus, dopamienneurone kode vir voorspellingsfout deur die teenstrydigheid tussen die werklike en voorspelde uitkoms te verteenwoordig (Schultz et al., 1997; Tobler et al., 2005), sodanig dat onverwagte aanbieding van beloning lei tot verhoogde aktiwiteit en onverwagte weglatings van beloning, lei tot verminderde aktiwiteit.

Veranderinge in dopamienontsteking in reaksie op veranderinge in beloninguitkoms word gelykgemaak deur veranderings in gedrag. Nie-menslike primaatstudies het bevind dat 'n aap sy anticiperende lek sal verhoog as 'n funksie van die waarskynlikheid waarmee 'n gekondisioneerde stimulus geassosieer word met daaropvolgende onvoorsiene stimulus (saplewering). As sodanig stimuleer stimuli wat 'n hoë waarskynlikheid verteenwoordig vir die daaropvolgende saplewering meer anticiperende lek (Fiorillo et al., 2003).

Wederkerige anatomiese verbindings bestaan ​​tussen streke wat verband hou met doelgerigte gedrag (bv. Prefrontale korteks) en diegene wat verband hou met meer outomatiese aptitiewe gedrag (bv. Ventrale striatum) waar voorspellings bereken kan word (Shultz et al., 1997; Haber et al., 2003). Hierdie streke word swaar geïnkorporeer met dopamien deur middel van projeksies van midbrain dopamienneurone en hierdie verbindings kan 'n funksionele neuroanatomiese kring vorm wat die optimalisering van gedrag ondersteun ten gunste van aksies wat tot die grootste wins lei.

Onlangs het menslike funksionele magnetiese resonansiebeeldvorming (fMRI) studies twee gebiede van hierdie kring, die nucleus accumbens en die orbitofrontale korteks, geïmpliseer in die voorstelling van voorspellingsfout. Byvoorbeeld, onvoorspelbare rye sap- en waterlewering het getoon dat verhoogde aktiwiteit in die NAcc relatief tot voorspelbare aflewering veroorsaak word (Berns et al., 2001). Voorspellingsfout gebaseer op tydelike (McClure et al., 2003) en stimulus (O'Doherty et al., 2003 O'Doherty et al., 2004) oortredings aktiveer ook die ventrale striatum.

Die rol van die OFC in beloningvoorspelling is minder duidelik. Terwyl sommige studies sensitiwiteit van die OFC gerapporteer het onder toestande van voorspellingsfout (Berns et al., 2001; O'Doherty et al., 2003; Ramnini et al., 2004; Dreher et al., 2005) ander het nie (McClure et al., 2003; O'Doherty et al., 2004; Delgado et al., 2005). Studies met minder klem op voorspellingsfout toon groter OFC-aktivering tot gunstige relatief tot ongunstige uitkomste (O'Doherty et al., 2001; Elliott et al, 2003; Galvan et al., 2005) in studies van beloningswaarde (Gottfried et al., 2003), en valensie (Cox et al., 2005; O'Doherty, 2000 O'Doherty, 2003 O'Doherty, 2004). onlangs het Kringelbach en Rolls (2004) die neuroimaging en neuropsigologiese literatuur geïntegreer om rekening te hou met verskillende funksies van die orbitofrontale korteks. Hulle stel voor dat 'n mediale-laterale onderskeiding en 'n anterior-posterior onderskeiding gemaak word. Die mediale en laterale orbitofrontale korteksmonitor beloon waarde en evaluering van strafbeamptes onderskeidelik (bv O'Doherty et al., 2001 ; Rolls et al, 2003). Die anterior orbitofrontale korteks word vermoedelik meer betrokke by die voorstelling van abstrakte versterkers (O'Doherty et al., 2001) oor eenvoudiger verwant aan smaak (bv Die Araujo et al., 2003) en pyn (bv Craig et al, 2000).

Hierdie ventrale frontostriatale streke het onlangs (Knutson et al., 2005) geassosieer met die voorstelling van verwagte waarde (die produk van verwagte waarskynlikheid en grootte van uitkoms) gedurende afwagting van beloninguitkoms. Gegewe die elegante, maar komplekse ontwerp wat 18 aanwysers bevat, wat talle kombinasies van grootte, waarskynlikheid en / of valensie verteenwoordig, het 'n gebrek aan statistiese krag die outeurs uitgesluit om breinaktivering te ondersoek wat verband hou met aansporing uitkomste. In die huidige studie het ons drie duidelike aanwysings gebruik, wat elk met 33%, 66% of 100% beloning vir korrekte proewe verband hou. Die klem van hierdie studie was aan beloning uitkoms eerder as om opwagting te beloon, om sensitiwiteit op die neurale vlak te ondersoek na oortredings om verwagtings te beloon, eerder as om te anticiperen op beloning voor die uitkoms. Hierdie analise is van kritieke belang om die voorspelbaarheid van belonings te verstaan ​​as gevolg van die veranderinge in dopamienontsteking wat by beloninguitkoms voorkom wanneer oortredings van verwagte verwagtinge voorkom (Fiorillo et al., 2003).Die a priori voorspellings oor die accumbens en die OFC se reaksie op verwagte en onverwagte monetêre beloning was gebaseer op voorafgaande beeldwerk wat hierdie streke impliseer in beloningverwerking (Knutson et al., 2001; 2005; O'Doherty et al., 2001; Galvan et al., 2005). Ons het 'n eenvoudige ruimtelike vertraagde wedstryd gebruik om 'n paradigma te laat lyk wat soortgelyk is aan dié wat gebruik word Fiorillo et al (2003) in elektrofisiologiese studies van dopamienneurone in nie-menslike primate. Ons het veronderstel dat die aktiwiteit in die ventrale striatum, veral die NAcc, sal toeneem wanneer 'n onverwagte beloning afgelewer word en sal afneem wanneer 'n verwagte beloning nie afgelewer word nie. Gedrag is na verwagting om hierdie veranderings parallel te maak met vinniger gemiddelde reaksietye vir leidrade wat die meeste voorspel, maar stadiger reaksietye na die leidraad wat die minste voorspel. Verder het ons veronderstel dat die OFC sensitief sal wees om die uitkoms te beloon (beloning of nie), maar dat die accumbens die meeste sensitief sal wees vir veranderinge in beloningsvoorspellings. Hierdie hipoteses is gebaseer op verslae van vorige beeldstudie (Galvan et al 2005, in pers) en nie-menslike primate werk wat groter streatale betrokkenheid toon in die waarskynlikheidsparameters van belonings, relatief tot die beloningsvergrendelde aktiwiteit van die OFC (Schultz, et al., 2000) en op die vaste eerder as wisselende bedrag van die beloning oor die waarskynlikheidsvoorwaardes.

Metodes

Deelnemers

Twaalf regshandige gesonde volwassenes (7-vrou), ouderdomme 19-27 (gemiddelde ouderdom 24 jaar), is ingesluit in die fMRI-eksperiment. Vakke het geen geskiedenis van neurologiese of psigiatriese siektes gehad nie en alle vakke is ingestem tot die Institusionele Oorsigraad goedgekeurde studie voor deelname.

Eksperimentele taak

Deelnemers is getoets met behulp van 'n gewysigde weergawe van 'n vertraagde reaksie-twee-keuse-taak wat voorheen beskryf is (Galvan et al., 2005) in 'n gebeurtenis-verwante fMRI studie (Figuur 1). In hierdie taak is drie aanwysers elk geassosieer met 'n duidelike waarskynlikheid (33%, 66% en 100%) om 'n vaste hoeveelheid beloning te verkry. Vakke is opdrag gegee om hul indeks of middelvinger te druk om die kant aan te dui waarop 'n cue verskyn wanneer gevra word, en om so gou moontlik te reageer sonder om foute te maak. Een van die drie seerower-spotprentbeelde is in willekeurige volgorde aan die linkerkant of regterkant van 'n gesentreerde fiksasie vir 1000 msec aangebied (sien Figuur 1). Na 'n 2000 msec vertraging, is vakke aangebied met 'n reaksieprompt van twee skatkiste aan beide kante van die fiksasie (2000 msec) en opdrag gegee om 'n knoppie met hul regterwysvinger te druk as die seerower aan die linkerkant van die fiksasie was of hul regtervinger as die seerower aan die regterkant van die fiksasie was. Na nog 'n 2000 msec-vertraging, is die terugbetaling van die terugvoer (spotprentmuntstukke) of 'n leë skatkis in die middel van die skerm (1000 msec) aangebied, gebaseer op die beloningswaarskynlikheid van die proef tipe. Daar was 'n 12 sek intertrial interval (ITI) voor die aanvang van die volgende verhoor.

Figuur 1  

Taakontwerp

Daar was drie beloningswaarskynlikheidsvoorwaardes: 'n 33%, 66% en 100% -beloningswaarskynlikheid. In die 33% toestand is vakke beloon op 33% van die proewe en geen beloning ('n leë skatkis) het op die ander 66% van die proewe plaasgevind nie. In die 66% toestand is vakke beloon op 66% van die proewe en geen beloning het voorgekom vir die ander 33% van proewe nie. In die 100% toestand is vakke vir alle korrekte proewe beloon.

Vakke is gewaarborg $ 50 vir deelname aan die studie en het gesê hulle kan tot $ 25 meer verdien, afhangend van die prestasie (soos geïndekseer deur reaksietyd en akkuraatheid) op die taak. Stimuli is aangebied met die geïntegreerde funksionele beeldstelsel (IFIS) (PST, Pittsburgh), met behulp van 'n LCD-videodisplay in die boor van die MR-skandeerder en 'n veseloptiese respons-insamelingsapparaat.

Die eksperiment het bestaan ​​uit vyf lopies 18-proewe (6 elk van die 33%, 66% en 100% waarskynlikheid van beloning proef tipes), wat elk 6 min en 8 s geduur het. Elke lopie het 6-proewe van elke beloningswaarskynlikheid in willekeurige volgorde aangebied. Aan die einde van elke lopie is vakke opgedateer oor hoeveel geld hulle gedurende daardie lopie verdien het. Voordat die eksperiment begin is, het vakke gedetailleerde instruksies ontvang wat bekendheid met die stimuli ingesluit het en 'n oefenlopie uitgevoer het om die begrip van die taak te verseker. Hulle is vertel dat daar 'n verhouding tussen die aanwysings en monetêre uitkomste bestaan ​​het, maar die presiese aard van daardie verhouding is nie geopenbaar nie.

Beeldvervaardiging

Beeldvorming is uitgevoer met behulp van 'n 3T General Electric MRI-skandeerder met behulp van 'n kwadratuurkopspoel. Funksionele skanderings is verkry met behulp van 'n spiraal in en uit-volgorde (Glover & Thomason, 2004). Die parameters het 'n TR = 2000, TE = 30, 64 X 64 matriks, 29 5-mm koronale skywe, 3.125 X 3.125 mm resolusie in die vlak, draai 90 °) vir 184 herhalings, insluitend vier weggegooide aanwinste aan die begin van elke lopie. Anatomiese T1-geweegde in-plane skanderings is versamel (TR = 500, TE = min, 256 X 256, FOV = 200 mm, 5 mm snydikte) op dieselfde plekke as die funksionele beelde, benewens 'n 3D-datastel SPGR-beelde met hoë resolusie (TR = 25, TE = 5, snydikte van 1.5 mm, 124 snye).

Beeldontleding

Die sagteware pakket Brainvoyager QX (Brain Innovations, Johannesburg, Nederland) is gebruik om 'n ewekansige effekanalise van die beelddata uit te voer. Voor die analise is die volgende voorverwerkingsprosedures uitgevoer op die rou beelde: 3D-bewegingsregstelling om klein kopbewegings op te spoor en te korrigeer deur ruimtelike belyning van alle volumes na die eerste volume deur rigiede liggaamstransformasie, sny-skandtyd-korreksie (met sincinterpolasie), lineêre tendensverwydering, hoëpas temporale filter om nie-lineêre drywing van 3 of minder siklusse per tydskursus te verwyder, en ruimtelike data-gladding deur 'n Gaussiese kern met 'n 4mm FWHM te gebruik. Geskatte rotasie- en vertaalbewegings het nooit 2mm oorskry vir vakke wat in hierdie analise ingesluit is nie.

Funksionele data is mede-geregistreerd aan die anatomiese volume deur die ooreenstemming van ooreenstemmende punte en manuele aanpassings om optimale pas by visuele inspeksie te verkry en is dan in Talairach-ruimte omskep. Tydens Talairach-transformasie is funksionele voxels geïnterpoleer tot 'n resolusie van 1 mm3 vir belyningsdoeleindes, maar die statistiese drempels was gebaseer op die oorspronklike verkrygingsvoxelgrootte. Die nucleus accumbens en orbitale frontale korteks is gedefinieer deur 'n hele brein voxelwise GLM met beloning as die primêre voorspeller (sien hieronder) en dan gelokaliseer deur Talairach koördinate in samewerking met verwysing na die Duvernoy breinatlas (Talairach & Tournoux, 1988; Duvernoy, 1991).

Statistiese ontledings van die beelddata is op die brein uitgevoer met behulp van 'n algemene lineêre model (GLM) wat bestaan ​​uit 60 (5 lopies X 12 vakke) z-genormaliseerde funksionele lopies. Die primêre voorspeller was beloning (beloning versus nie-regverdige proewe) oor alle beloningswaarskynlikhede teen beloninguitkoms. Die voorspeller is verkry deur konvolusie van 'n ideale boksreaksie ('n waarde 1 vir die volume taakopdrag en 'n volume 0 vir oorblywende tydspunte) met 'n lineêre model van die hemodinamiese respons (Boynton et al., 1996) en gebruik om die ontwerpmatriks van elke tydskursus in die eksperiment te bou. Slegs korrekte proewe is ingesluit en aparte voorspellers is geskep vir foutproewe. Post-hoc kontras ontledings op die streke van belang is dan uitgevoer op grond van t-toetse op die beta gewigte van voorspellers. Monte Carlo-simulasies is uitgevoer met behulp van die AlphaSim-program binne AFNI (Cox, 1996) om geskikte drempels te bepaal om 'n gekorrigeerde alfa-vlak van p <0.05 te bereik, gebaseer op soekvolumes van onderskeidelik 25,400 mm3 en 450 mm3 vir die orbitale frontale korteks en nucleus accumbens. Persentasie veranderinge in die MR-sein relatief tot die basislyn (interval onmiddellik voor die 20 sek. Verhoor) in die nucleus accumbens en orbitale frontale korteks is bereken met behulp van 'n gebeurtenis-verwante gemiddelde oor beduidend aktiewe voxels verkry uit die kontrasanalises.

Die hele brein GLM is gebaseer op 50 beloning proewe per onderwerp (n = 12) vir 'n totaal van 600 proewe en 30 nie-regverdige proewe per onderwerp (n = 12) vir 'n totaal van 360 nie-regverdige proewe oor die hele eksperiment. Daaropvolgende kontraste op die beloningswaarskynlikheidstoestande het bestaan ​​uit verskillende getalle beloning en geen beloningproewe nie. Vir die 100% -beloningswaarskynlikheidstoestand was daar 6-beloningstoetse per lopie (5) per vak (12) vir 'n totaal van 360-beloningstoetse en geen nie-lopende toetse. Vir die 66% -beloningswaarskynlikheidstoestand was daar 4-beloningproewe per lopie (5) per vak (12) vir 'n totaal van 240-beloningproewe en 120-nie-lopende toetse. Vir die 33% -beloningswaarskynlikheidstoestand was daar 2-beloningproewe per lopie (5) per vak (12) vir 'n totaal van 120-beloningproewe en 240-nie-lopende toetse.

Results

Gedragsdata

Die effekte van beloningswaarskynlikheid en tyd op taak is getoets met 'n 3 (33%, 66%, 100%) x 5 (lopies 1-5) herhaalde metingsanalise van variansie (ANOVA) vir die afhanklike veranderlikes van gemiddelde reaksietyd (RT ) en gemiddelde akkuraatheid.

Daar was geen belangrikste effekte of interaksies oor die waarskynlikheid van beloning nie (F [2,22] =. 12, p <.85) tyd (F [4,44] = 2.02, p <.14) of beloningskans X tyd op taak (F [8, 88] = 1.02, p <.41) vir gemiddelde akkuraatheid. Dit was te verwagte, aangesien die deelnemers se akkuraatheid naby die plafonvlakke vir alle waarskynlikheid van die eksperiment was (33% toestand = 97.2%; 66% toestand = 97.5%; 100% toestand = 97.7%).

Daar was 'n beduidende interaksie tussen waarskynlikheid van beloning en tyd op taak (F [8,88] = 3.5, p <.01) op gemiddelde RT, maar geen belangrikste effekte van tyd op taak nie (F [4,44] = .611 , p <0.59) of waarskynlikheid van beloning (F [2,22] = 2.84, p <0.08). Post-hoc t-toetse van die betekenisvolle interaksie het getoon dat daar 'n beduidende verskil was tussen die 33% en 100% beloningskansvoorwaardes tydens laat proewe van die eksperiment (lopie 5) (t (11) = 3.712, p <.003), met vinniger gemiddelde RT vir die 100% beloningskansvoorwaarde (gemiddeld = 498.30, sd = 206.23) relatief tot die 33% -toestand (gemiddelde = 583.74, sd = 270.23).

Die verskil in gemiddelde reaksietyd tussen die 100% en 33% toestande het tweevoudig van vroeg tot laatproewe toegeneem (sien Figuur 2a). Om die leer verder te wys, het ons 'n ommekeer ingestel, wat die waarskynlikheid van beloning vir die 33% en 100% -toestande verander aan die einde van die eksperiment. 'N 2 (waarskynlikheid) X 2 (omkeer- en nie-omkering) ANOVA vir laatproewe het 'n beduidende interaksie getoon (F (1,11) = 18.97, p = 0.001), met 'n afname in RT volgens die voorwaarde dat die 33% waarskynlikheid was die nie-omkering (gemiddelde = 583.74, sd = 270.24) en 100% in die omkering (gemiddelde = 519.89, sd = 180.46) (Figuur 2b).

Figuur 2  

Gedragsresultate (RT)

Imaging Results

'N GLM vir korrekte proewe met die gebruik van beloningswaarskynlikheid as die primêre voorspeller is gemodelleer op die punt waar die vak terugvoering ontvang van beloning of nie (di uitkoms). Hierdie analise het die streke van die NAcc (x = 9, y = 6, z = -1 en x = -9, y = 9, z = -1) en OFC (x = 28, y = 39, z = - 6) (sien Figuur 3a, b). Post-hoc t-toetse tussen die beta-gewigte van die beloon versus nie-beloonde proewe het groter aktivering in albei hierdie streke getoon om te beloon (NAcc: t (11) = 3.48, p <0.01; OFC x = 28, y = 39, z = −6, t (11) = 3.30, p <0.02)1.

Figuur 3  

Groter aktivering teen beloonde teenoor nie-beloonde uitkomste in die a) nukleus accumbens (x = 9, y = 6, z = -1; x = -9, y = 9, z = -1) en b) orbitale frontale korteks (x = 28, y = 39, z = -6).

Daar was twee moontlike uitkomste (beloning of geen beloning) vir die twee intermitterende beloningskedules (33% en 66% waarskynlikheid) en slegs een uitkoms vir die deurlopende beloningskedule (100% beloningskans), wat as vergelykingsvoorwaarde gebruik is. Terwyl daar 'n hoofeffek was van beloning (beloning versus geen beloningstoetse) in die OFC hierbo beskryf, het OFC-aktiwiteit nie gewissel as 'n funksie van beloningskans in die huidige studie [F (2,10) = 0.84, p = 0.46) . Daarteenoor het die NAcc duidelike veranderinge in die aktiwiteit getoon tot die uitkoms as 'n funksie van die beloning waarskynlikheids manipulasie [F (2,10) = 9.32, p <0.005]. Spesifiek, die NAcc-aktiwiteit het toegeneem tot die beloning van uitkomste, toe die beloning onverwags was (33% beloningskansvoorwaarde) relatief tot die verwagte (100% basislyntoestand) [t (11) = 2.54, p <.03 sien Figuur 4a]. Tweedens was daar 'n verminderde NAcc-aktiwiteit tot geen beloning nie, toe 'n beloning verwag is en nie ontvang is nie (66% beloningskansvoorwaarde) relatief tot beloning wat nie verwag of ontvang is nie (33% beloningskansvoorwaarde; t (59) = 2.08, p <.04; sien Figuur 4b). Let daarop dat daar geen beduidende verskille in aktivering tussen die 33% en 66% -beloningswaarskynlikheidsvoorwaardes is nie [t (11) =. 510, p = .62] of tussen die 66% en 100% -beloningswaarskynlikheidstoestande [t (11) = 1.20, p = .26] in beloonde uitkomste. MR sein as 'n funksie van beloninguitkoms en waarskynlikheid word aangetoon in Figuur 4.

Figuur 4  

Persentasie MR sein verander as 'n funksie van beloningsuitkoms en waarskynlikheid in die kern wat aanleiding gee tot a) beloon en b) nie-beloonde uitkomste.

Bespreking

Hierdie studie het die gevolge van oortredings in verwagte beloningsuitkomste op gedrag en neurale aktiwiteit in die accumbens en orbitale frontale korteks (OFC) ondersoek, wat vroeër getoon is om betrokke te wees in afwagting van beloninguitkomste (McClure et al. 2004; Knutson et al., 2005). Ons het getoon dat beide die nucleus accumbens en OFC gewerf is tydens beloonde proewe ten opsigte van nie-verhaalde proewe, maar slegs die kernkwartiere het sensitiwiteit vir oortredings in die voorspelde beloninguitkoms in hierdie studie getoon. Groter sensitiwiteit van die accumbens om waarde te beloon (bv. Grootte) ten opsigte van die OFC is in vorige werk getoon (Galvan et al 2005), en saam hierdie bevindings suggereer hierdie streek kan betrokke wees by die berekening van beide grootte en waarskynlikheid van beloning. Die gebrek aan sensitiwiteit in die OFC vir hierdie manipulasies kan 'n meer absolute voorstelling van beloning of dubbelsinnigheid in die uitkoms weerspieël (Hsu et al., 2005). Alternatiewelik, aangesien die MR sein meer veranderlik in hierdie streek was, kon hierdie effekte in die huidige studie verswak gewees het.

In elektrofisiologiese studies in diere het dopamienneurone in die middelbrein (wat na die nucleus accumbens lei) min of geen reaksie op die voorspelde beloninguitkomste (waarskynlikheid = 1.0) vertoon nie, maar fasiese vuur vertoon wanneer beloning met minder as 100 gelewer word. % waarskynlikheid, selfs na uitgebreide opleiding (Fiorillo et al., 2003). In die huidige studie het ons meer aktiewe aktiwiteite gehad om te beloon wanneer die beloning onverwags was (33% toestand) relatief tot wanneer dit verwag is (100% toestand) wat met hierdie bevindings ooreenstem. Verder, elektrofisiologiese studies van dopamienneurone by diere (bv. Fiorillo et al., 2003) het getoon dat vir proewe waarop beloning voorspel is, maar nie plaasgevind het nie, neuronale aktiwiteit afgeneem het. Die huidige studie het 'n soortgelyke patroon in die pasgeboorte getoon, met 'n afname in aktiwiteit in hierdie streek in die nie-beloonde toetse vir die 66% -beloningswaarskynlikheidstoestand in verhouding tot die 33% -toestand.2

Dopamienneurone is op twee maniere betrek om te leer. Eerstens, hulle koördineer gebeurlikhede tussen stimuli (of reaksie) en uitkomste deur voorspellingsfoute wat die oortredings in verwagtings opspoor (Schultz et al., 1997; Mirencowicz en Schultz, 1998; Fiorillo et al., 2003). Dus lyk die voorspellingsfout 'n onderrigsein wat ooreenstem met die leerbeginsels wat aanvanklik deur. Beskryf is Rescorla en Wagner (1972). Tweedens dien hulle gedragsresponse te verander (Schultz et al., 1997; McClure et al., 2004) so dat aksies bevooroordeeld is teenoor die leidrade wat die meeste voorspelbaar is. In die huidige studie toon ons dat met die laat proewe van die eksperiment die mees optimale prestasie is vir die toestand met die hoogste waarskynlikheid van beloning (100% -beloningswaarskynlikheid) en die minste optimaal vir die laagste waarskynlikheidstoestand (33% -beloningswaarskynlikheid). Hierdie gedragsbevinding is in ooreenstemming met vorige waarskynlikheidswerk wat die minste optimale prestasie toon met die laagste waarskynlikheid van beloninguitkoms, wat daarop dui dat beloningsvoorsienings oor tyd geleer is (Delgado et al., 2005). Om die leer verder te wys, het ons 'n ommekeer ingestel, wat die waarskynlikheid van beloning vir die 33% en 100% -toestande verander aan die einde van die eksperiment. Hierdie manipulasie het gelei tot die verswakking van verskille tussen hierdie toestande wat verdere leer-effekte bevestig het.

'N Belangrike doelwit van beloningsverwante studies is om vas te stel hoe belonings beïnvloed en vooroordeelgedrag (bv Robbins en Everitt, 1996; Schultz, 2004) bykomend tot die karakterisering van die onderliggende neurale verwerking. Verskeie faktore dra by tot hoe vinnig en sterk belewenis gedrag beïnvloed, insluitende skedules van versterking (Skinner, 1958), beloonwaarde (Galvan et al., 2005), en voorspelbaarheid beloon (Fiorillo et al., 2003; Delgado et al., 2005). Verwagte waarde, wat die produk is van die grootte en waarskynlikheid van 'n beloning (Pascal, ca 1600s), beïnvloed gedragskeuses (von Frisch, 1967; Montague et al., 1995; Montague en Berns, 2002). Deur 'n baie soortgelyke taak te gebruik waarin slegs die uitkoms (grootte in plaas van waarskynlikheid) van die huidige studie verskil het, het ons getoon dat die kernakkapten sensitief is vir diskrete beloningswaardes (Galvan et al., 2005). Tesame met die getuienis wat hier en elders aangebied word (Tobler et al., 2005), stel ons voor dat die ventrale striatum waarskynlik bydra tot die berekening van verwagte beloningswaarde gegewe sy sensitiwiteit vir beide die waarskynlikheid en die grootte van die beloning.

Die rol van die orbitale frontale korteks in beloningvoorspelling is in ooreenstemming met funksionele onderverdelings van hierdie streek deur Kringelbach en Rolls (2004). Hulle stel voor dat meer anterior en mediale gedeeltes OFC sensitief is vir abstrakte beloning manipulasies. Die OFC-aktivering in hierdie studie is op hierdie algemene plek waargeneem. Elektrofisiologiese studies impliseer die OFC in die kodering van subjektiewe waarde van 'n beloningstimulus (vir hersiening, O'Doherty, 2004). Byvoorbeeld, OFC neurone brand na 'n bepaalde smaak wanneer 'n dier honger is, maar verminder hul vuurkoers sodra die dier versadig is en die beloningswaarde van die kos verminder het (Critchley en Rolls, 1996). As sodanig het ander voorgestel dat die OFC die meeste sensitief is vir relatiewe belonings (Tremblay en Schultz, 1999) en beloning voorkeur (Schultz et al., 2000). Neuroimaging studies toon 'n analoog patroon in die mens met 'n verskeidenheid van stimuli, insluitend smaak (O'Doherty et al., 2001; Kringelbach et al., 2003), olfaction (Anderson et al., 2003; Rolls et al, 2003), en geld (Elliott et al, 2003; Galvan et al., 2005), met elke aktivering wat wissel in die ligging van aktiwiteit van anterior na posterior en van mediaal tot laterale OFC. Die OFC is geïmpliseer in afwagting van beloning (O'Doherty et al 2002), maar slegs vir sover die voorspellende waarde van die reaksie gekoppel is aan die spesifieke waarde van die gepaardgaande beloning, eerder as in die waarskynlikheid dat daardie beloning plaasvind (O'Doherty, 2004 ). In die huidige studie het ons nie sensitiwiteit vir oortredings in die voorspelling van beloning in die OFC gesien nie. Knutson en kollegas (2005) het korrelasies tussen waarskynlikheidsberamings en breinaktivering gerapporteer in afwagting van beloning in die mesiale prefrontale korteks (Knutson et al. 2005), maar nie spesifiek in die orbitale frontale korteks nie. In kontras, Ramnani et al (2004 ) gerapporteer OFC sensitiwiteit vir positiewe voorspellings fout in mediale orbitale frontale korteks met behulp van 'n passiewe kijk taak en Dreher et al. (2005) gerapporteer OFC fout voorspelling in 'n taak wat beide die waarskynlikheid en grootte van voorspellende aanwysings gemanipuleer het, maar hierdie gebeurlikhede is voor die skandering geleer. Dit is dus steeds aanvaarbaar dat OFC voorspelde belonings kan bereken, maar miskien is hierdie berekeninge ruwe (dws opgesom oor 'n verskeidenheid waarskynlikhede) of stadiger om te vorm relatief tot die presiese berekeninge wat in die NAcc voorkom. Alternatiewelik kan hierdie streek meer sensitief wees om stimuli van onseker en / of dubbelsinnige waarde op te spoor, soos voorgestel deur Hsu et al (2005), as om oortredings in beloningvoorspelling op te spoor. Hsu et al (2005) toon aan dat die vlak van dubbelsinnigheid in keuses (onseker keuses wat uit ontbrekende inligting gemaak word) korreleer met aktivering in die OFC. Laastens, die groter veranderlikheid in MR sein in hierdie streek kan ons vermoë verminder om hierdie effekte ook op te spoor.

Die fundamentele vraag van die huidige studie was hoe die accumbens en OFC differensiële kode voorspel het dat uitkomste relatief tot onvoorspelbare uitkomste (dws oortredings in verwagtinge) beloon word. Ons het die waarskynlikheid van beloning parametries gemanipuleer en die neurale reaksie nagegaan om beloning en nie-lopende toetse vir elke waarskynlikheidsbeloningstoestand te ondersoek. Ons data is in ooreenstemming met vorige menslike beeldvorming en nie-menslike elektrofisiologiese studies (Fiorillo et al., 2003; Schultz, 2002) en stel voor dat die accumbens en OFC sensitief is om beloning te beloon (beloning of nie). Aktiwiteit in hierdie streke, veral die accumbens, blyk egter deur voorspellings gemoduleer te word oor die waarskynlikheid van beloninguitkomste wat gevorm word met leer oor tyd. Hierdie dinamiese aktiveringspatroon kan veranderinge in dopamienaktiwiteit voorstel of na hierdie streke uitsteek, aangesien inligting oor voorspelde beloning geleer en opgedateer word.

voetnote

1Die NAcc [t (11) = 3.2, p <0.04] en OFC [t (11) = 3.5, p <0.02] het verhoogde aktiwiteit getoon in afwagting op beloning vir die intermitterende, maar nie die voortdurende beloningstoestand nie

2Uitlating van beloningsuitkoms in die 33% toestand het gelei tot 'n effense toename in NAcc aktiwiteit eerder as 'n verminderde een, soortgelyk aan wat waargeneem word deur Knutson et al., 2001. Een moontlike interpretasie van hierdie uitslag is dat vakke intrinsiek gemotiveer of beloon is as hulle voorspel het dat geen beloning vir daardie verhoor sou kom nie, en niemand het dit gedoen nie. Alternatiewelik, aangesien die beloningsuitkoms vir hierdie proewe die minste in die hele eksperiment was, kan die aktiwiteit voortgesette leer weerspieël vir hierdie toestand.

Disclaimer van die uitgewer: Hierdie is 'n PDF-lêer van 'n ongeredigeerde manuskrip wat aanvaar is vir publikasie. As 'n diens aan ons kliënte voorsien ons hierdie vroeë weergawe van die manuskrip. Die manuskrip sal kopieëring, tikwerk en hersiening van die gevolglike bewys ondergaan voordat dit in sy finale citable vorm gepubliseer word. Let asseblief daarop dat tydens die produksieproses foute ontdek kan word wat die inhoud kan beïnvloed, en alle wettige disklaimers wat van toepassing is op die tydskrif betrekking het.

Verwysings

  • Anderson A, Christoff K, Stappen I, Panitz D, Ghahremani D, Glover G, Gabrieli JD, Sobel N. Dissociated neurale voorstellings van intensiteit en valensie in menslike vervulling. Natuur Neurowetenskap. 2003;6: 196-202.
  • Berns GS, McClure SM, Pagnoni G, Montague PR. Voorspelbaarheid moduleer menslike breinrespons om te beloon. Blaar van Neurowetenskap. 2001;21: 2793-2798. [PubMed]
  • Boynton GM, Engel SA, Glover GH, Heeger DJ. Lineêre stelsels analise van funksionele magnetiese resonansie beelding in menslike V1. Blaar van Neurowetenskap. 1996;16: 4207-4221. [PubMed]
  • Cox RW. AFNI: Sagteware vir analise en visualisering van funksionele magnetiese resonansie neuroimages. Berekeninge in Biomediese Navorsing. 1996;29: 162-173.
  • Cox SM, Andrade A, Johnsrude IS. Leer om te hou: 'n Rol vir menslike orbitofrontale korteks in gekondisioneerde beloning. Blaar van Neurowetenskap. 2005;25: 2733-2740. [PubMed]
  • Craig AD, Chen K, Bandy D, Reiman EM. Termosensoriese aktivering van insulêre korteks. Natuur Neurowetenskap. 2000;3: 184-190.
  • Critchley HD, Rolls ET. Honger en versadiging verander die reaksies van olfaktoriese en visuele neurone in die primaat-orbitofrontale korteks. Blaar van Neurofisiologie. 1996;75: 1673-1686. [PubMed]
  • De Araujo IET, Kringelbach ML, Rolls ET, McGlone F. Menslike kortikale reaksies op water in die mond, en die effekte van dors. Blaar van Neurofisiologie. 2003;90: 1865-1876. [PubMed]
  • Delgado MR, Miller M, Inati S, Phelps EA. 'N FMRI studie van beloningsverwante waarskynlikheidsleer. Neuro Image. 2005;24: 862-873. [PubMed]
  • Dreher JC, Kohn P, Berman KF. Neurale kodering van afsonderlike statistiese eienskappe van beloningsinligting by mense. Serebrale korteks. 2005 Epub voor druk.
  • Elliott R, Newman JL, Longe OA, Deakin JFW. Differensiële responspatrone in die striatum- en orbitofrontale korteks tot finansiële beloning in die mens: 'n parametriese funksionele magnetiese resonansiebeeldstudie. Blaar van Neurowetenskap. 2003;23: 303-307. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Diskrete kodering van beloningswaarskynlikheid en onsekerheid deur dopamienneurone. Wetenskap. 2003;299: 1898-1902. [PubMed]
  • Galvan A, Hare TA, Davidson M, Spicer J, Glover G, Casey BJ. Die rol van ventrale frontostriatale kringe in beloningsgebaseerde leer by mense. Die Journal of Neuroscience. 2005;25: 8650-8656. [PubMed]
  • Galvan A, Hare TA, Parra C, Penn J, Voss H, Glover G, Casey BJ. Vroeër ontwikkeling van die toeskouers relatief tot die orbitofrontale korteks kan onderliggend wees aan die neem van risiko's in adolessente. Die Journal of Neuroscience. 2006;26: 6885-6892. [PubMed]
  • Gottfried JA, O'Doherty J, Dolan RJ. Kodering van voorspellende waarde in menslike amygdala en orbitofrontale korteks. Wetenskap. 2003;301: 1104-1107. [PubMed]
  • Haber SN. Die primale basale ganglia: parallelle en integrerende netwerke. Tydskrif van Chemiese Neuroanatomie. 2003;26: 317-330. [PubMed]
  • Hollerman J, Schultz W. Dopamiene neurone rapporteer 'n fout in die tydelike voorspelling van beloning tydens leer. Natuur Neurowetenskap. 1998;1: 304-309.
  • Hsu M, Bhatt M, Adolphs R, Tranel D, Camerer CF. Neurale stelsels reageer op grade van onsekerheid in menslike besluitneming. Wetenskap. 2005;310: 1680-1683. [PubMed]
  • Knutson B, Adams CM, Fong GW, Hommer D. Die verwagting van toenemende monetêre beloning werf selektief kernkwartiere. Blaar van Neurowetenskap. 2001;21: 1-5.
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Distrbuted neurale voorstelling van verwagte waarde. Die Journal of Neuroscience. 2005;25: 4806-4812. [PubMed]
  • Kringelbach ML, O'Doherty J, Rolls ET, Andrews C. Aktivering van die menslike orbitofrontale korteks tot 'n vloeibare voedselstimulus hou verband met sy subjektiewe aangenaamheid. Serebrale korteks. 2003;13: 1064-1071. [PubMed]
  • Kringelbach ML, Rolls ET. Die funksionele neuroanatomie van die menslike orbitofrontale korteks: bewyse van neuroimaging en neuropsigologie. Vordering in Neurobiologie. 2004;72: 341-372. [PubMed]
  • Leon MI, Shadlen MN. Effek van verwagte beloningsgrootte op die respons van neurone in die dorsolaterale prefrontale korteks van die makaak. Neuron. 1999;24: 415-425. [PubMed]
  • McClure SM, Berns GS, Montague PR. Temporale voorspellingsfoute in 'n passiewe leertaak aktiveer menslike striatum. Neuron. 2003;38: 339-346. [PubMed]
  • McClure SM, Laibson DI, Loewenstein G, Cohen JD. Afsonderlike neurale stelsels waardeer onmiddellike en vertraagde monetêre belonings. Wetenskap. 2004;306: 503-507. [PubMed]
  • Mirenowicz J, Schultz W. Belangrikheid van onvoorspelbaarheid vir beloningsresponse in primate dopamienneurone. Blaar van Neurofisiologie. 1994;72: 1024-1027. [PubMed]
  • Montague PR, Berns GS. Neurale ekonomie en die biologiese substraten van waardering. Neuron. 2002;36: 265-284. [PubMed]
  • Montague PR, Hyman SE, Cohen JD. Berekeningsrolle vir dopamien in gedragsbeheer. Die natuur. 2004;431: 379-387.
  • O'Doherty JP. Beloningsvoorstellings en beloningsverwante leer in die menslike brein: insigte van neuro-beelding. Huidige Advies in Neurobiologie. 2004;14: 769-776. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Tydelike verskille-modelle en beloningsverwante leer in die menslike brein. Neuron. 2003;38: 329-337. [PubMed]
  • O'Doherty JP, Deichmann R, Critchley HD, Dolan RJ. Neurale reaksies tydens afwagting van 'n primêre smaakbeloning. Neuron. 2002;33: 815-826. [PubMed]
  • O'Doherty J, Kringelbach M, Rolls ET, Hornak J, Andrews C. Abstrakte beloning- en strafvoorstellings in die menslike orbitofrontale korteks. Natuur Neurowetenskap. 2001;4: 95-102.
  • O'Doherty J, Rolls ET, Francis S, Bowtell R, McGlone F, Kobal G, Renner B, Ahne G. Sensoriese spesifieke versadigingsverwante olfaktoriese aktivering van die menslike orbitofrontale korteks. Neuroreport. 2000;11: 893-897. [PubMed]
  • Olds J, Milner P. Positiewe versterking geproduseer deur elektriese stimulasie van septal area en ander streke van rotbrein. Tydskrif vir vergelykende fisiologie en sielkunde. 1954;47: 419-427.
  • Ramnani N, Elliott R, Athwal B, Passingham R. Voorspellingsfout vir gratis monetêre beloning in die menslike prefrontale korteks. Neuro Image. 2004;23: 777-786. [PubMed]
  • Rescorla R, Wagner A. In: Klassieke kondisionering 2: Huidige navorsing en teorie. Swart A, Prokasy W, redakteurs. Appleton Century-Crofts; New York: 1972. pp. 64-69.
  • Robbins TW, Everitt BJ. Neurobehaviorale meganismes van beloning en motivering. Huidige opinies in Neurobiologie. 1996;6: 228-235.
  • Rolls E, Kringelbach M, DeAraujo I. Verskillende voorstellings van aangename en onaangename geure in die menslike brein. Europese Tydskrif vir Neurowetenschappen. 2003;18: 695-703. [PubMed]
  • Schultz W, Dayan P, Montague PR. 'N Neurale substraat van voorspelling en beloning. Wetenskap. 1997;275: 1593-1599. [PubMed]
  • Schultz W, Tremblay L, Hollerman JR. Beloningsverwerking in primaat-orbitofrontale korteks en basale ganglia. Cereb Cortex. 2000;10: 272-284. [PubMed]
  • Schultz W. Word formele met dopamien en beloning. Neuron. 2002;36: 241-263. [PubMed]
  • Schultz W. Neurale kodering van basiese beloningsvoorwaardes van dierleerteorie, spelteorie, mikro-ekonomie en gedragsekologie. Huidige Advies in Neurobiologie. 2004;14: 139-147. [PubMed]
  • Skinner BF. Diagrammatiese skedules van versterking. Tydskrif van eksperimentele analise van gedrag. 1958;1: 103-107.
  • Sutton RS, Barto AG. Versterkingsleer: 'n Inleiding. MIT Press; Cambridge, MA: 1998.
  • Schultz W, Tremblay L, Hollerman J. Beloning verwerking in primate orbitofrontale korteks en basale ganglia. Serebrale korteks. 2000;10: 272-284. [PubMed]
  • Talairach J, Tournoux P. Ko-planêre stereotaksiese atlas van die menslike brein. Thieme; New York: 1988.
  • Tobler PN, Fiorillo CD, Schultz W. Adaptiewe kodering van beloningswaarde deur dopamienneurone. Wetenskap. 2005;307: 1642-1645. [PubMed]
  • Tremblay L, Schultz W. Relatiewe beloning voorkeur in primate orbitofrontale korteks. Die natuur. 1999;398: 704-708. [PubMed]
  • von Frisch K. Die Danstaal en Oriëntering van Bye. Harvard Universiteit Pers; Cambridge, Massachusetts: 1967.