Sensitiwiteit van die kern sluit aan by oortredings in verwagting van beloning (2007)

Metodes

Eksperimentele taak

Deelnemers is getoets met behulp van 'n gewysigde weergawe van 'n vertraagde reaksie tweekeuse-taak wat voorheen beskryf is (Galvan et al, 2005) in 'n gebeurtenis-verwante fMRI studie (Figuur 1). In hierdie taak is drie leidrade elk geassosieer met 'n duidelike waarskynlikheid (33%, 66% en 100%) om 'n vaste bedrag van beloning te verkry. Proefpersone is opdrag gegee om óf hul wys- óf middelvinger te druk om die kant aan te dui waarop 'n aanduiding verskyn wanneer hulle gevra word, en om so vinnig as moontlik te reageer sonder om foute te maak. Een van drie seerower spotprentbeelde is in ewekansige volgorde aan óf die linker- óf regterkant van 'n gesentreerde fiksasie vir 1000 msek aangebied (sien Figuur 1). Na 'n vertraging van 2000 2000 msek, is aan die proefpersone 'n reaksie-instruksie van twee skatkiste aan beide kante van die fiksasie (2000 msek) gegee en opdrag gegee om 'n knoppie met hul regterwysvinger te druk as die seerower aan die linkerkant van die fiksasie of hul regtermiddelvinger as die seerower aan die regterkant van die fiksasie was. Na nog 'n vertraging van 1000 msek, is óf beloningterugvoer (spotprentmunte) óf 'n leë skatkis in die middel van die skerm (12 msek) aangebied op grond van die beloningwaarskynlikheid van daardie proeftipe. Daar was 'n XNUMX sekondes tussenverhoor interval (ITI) voor die aanvang van die volgende proef.

  

Figuur 1

Taak Ontwerp

Daar was drie beloningwaarskynlikheidstoestande: 'n 33%, 66% en 100% beloningwaarskynlikheid. In die 33%-toestand is proefpersone op 33% van die proewe beloon en geen beloning ('n leë skatkis) het op die ander 66% van die proewe in daardie toestand plaasgevind nie. In die 66%-toestand is proefpersone op 66% van proewe beloon en geen beloning het vir die ander 33% van proewe plaasgevind nie. In die 100% toestand is proefpersone beloon vir alle korrekte proewe.

Vakke is $50 gewaarborg vir deelname aan die studie en is meegedeel dat hulle tot $25 meer kan verdien, afhangend van prestasie (soos geïndekseer deur reaksietyd en akkuraatheid) op die taak. Stimuli is aangebied met die geïntegreerde funksionele beeldingstelsel (IFIS) (PST, Pittsburgh) met behulp van 'n LCD-videoskerm in die boring van die MR-skandeerder en 'n optiesevesel-reaksie-versamelingstoestel.

Die eksperiment het bestaan ​​uit vyf lopies van 18 proewe (6 elk van die 33%, 66% en 100% waarskynlikheid van beloningsproeftipes), wat 6 min en 8 s elk geduur het. Elke lopie het 6 proewe gehad van elke beloningwaarskynlikheid wat in ewekansige volgorde aangebied is. Aan die einde van elke lopie is vakke opgedateer oor hoeveel geld hulle tydens daardie lopie verdien het. Voor die aanvang van die eksperiment het proefpersone gedetailleerde instruksies ontvang wat vertroudheid ingesluit het met die stimuli wat aangewend is en 'n oefenlopie uitgevoer om taakbegrip te verseker. Hulle is meegedeel dat 'n verband tussen die leidrade en geldelike uitkomste bestaan, maar die presiese aard van daardie verhouding is nie geopenbaar nie.

Results

Gedragsdata

Die uitwerking van beloningwaarskynlikheid en tyd op taak is getoets met 'n 3 (33%, 66%, 100%) x 5 (lopies 1-5) herhaalde maatreëls analise van variansie (ANOVA) vir die afhanklike veranderlikes van gemiddelde reaksietyd (RT) ) en gemiddelde akkuraatheid.

Daar was geen hoofeffekte of interaksies van waarskynlikheid van beloning (F[2,22]=.12, p<.85) tyd op taak (F[4,44]=2.02, p<.14) of beloning waarskynlikheid X tyd op taak (F[8, 88]=1.02, p<.41) vir gemiddelde akkuraatheid. Dit was te verwagte aangesien deelnemers se akkuraatheid naby plafonvlakke bereik het vir alle waarskynlikhede van die eksperiment (33% toestand=97.2%; 66% toestand=97.5%; 100% toestand=97.7%).

Daar was 'n beduidende interaksie tussen waarskynlikheid van beloning en tyd op taak (F[8,88] = 3.5, p <.01) op gemiddelde RT, maar geen hoofeffekte van tyd op taak nie (F[4,44] = .611 , p < 0.59) of waarskynlikheid van beloning (F[2,22]= 2.84, p < 0.08). Post-hoc t-toetse van die beduidende interaksie het getoon dat daar 'n beduidende verskil was tussen die 33% en 100% beloning waarskynlikheidstoestande tydens laat proewe van die eksperiment (lopie 5) (t(11)=3.712, p<.003), met vinniger gemiddelde RT vir die 100% beloning waarskynlikheidstoestand (gemiddeld =498.30, sd=206.23) relatief tot die 33% toestand (gemiddeld=583.74, sd=270.23).

Die verskil in gemiddelde reaksietyd tussen die 100% en 33% toestande het tweevoudig toegeneem van vroeë tot laat proewe (sien Figuur 2a). Om leer verder te wys, het ons 'n omkering ingestel, wat die waarskynlikhede van beloning vir die 33%- en 100%-toestande aan die einde van die eksperiment verander het. 'n 2 (waarskynlikheid) X 2 (omkeer en nie-omkeer) ANOVA vir laat proewe het 'n beduidende interaksie getoon (F (1,11)=18.97, p=0.001), met 'n afname in RT tot die toestand wat die 33% was waarskynlikheid in die nie-omkering (gemiddeld=583.74, sd=270.24) en 100% in die ommekeer (gemiddeld=519.89,sd=180.46) (Figuur 2b).

  

Figuur 2

Gedragsresultate (RT)

Imaging Results

'n GLM vir korrekte proewe met behulp van beloningwaarskynlikheid as die primêre voorspeller is gemodelleer op die punt waarin die proefpersoon terugvoer van beloning ontvang het of nie (dws uitkoms). Hierdie analise het die streke van die NAcc (x=9, y=6, z=−1 en x=−9, y=9, z=−1) en OFC (x=28, y=39, z =−) geïdentifiseer 6) (sien Figuur 3a, b). Post-hoc t-toetse tussen die beta-gewigte van die beloonde versus nie-beloonde proewe het groter aktivering in beide hierdie streke getoon om te beloon (NAcc: t(11)=3.48, p<0.01; OFC x=28, y=39, z =−6, t(11)=3.30, p<0.02)¹.

  

Figuur 3

Groter aktivering na beloonde versus nie-beloonde uitkomste in die a) nucleus accumbens (x=9,y=6,z=−1; x=−9, y=9, z=−1) en b) orbitale frontale korteks (x= 28,y=39, z=−6).

Daar was twee moontlike uitkomste (beloning of geen beloning) vir die twee intermitterende beloningskedules (33% en 66% waarskynlikheid) en slegs een uitkoms vir die deurlopende beloningskedule (100% beloning waarskynlikheid), wat as 'n vergelykingsvoorwaarde gebruik is. Terwyl daar 'n hoofeffek van beloning (beloning teenoor geen beloning proewe) in die OFC hierbo beskryf was, het OFC-aktiwiteit nie gewissel as 'n funksie van beloningwaarskynlikheid in die huidige studie nie [F(2,10)=0.84, p=0.46) . In teenstelling hiermee het die NAcc duidelike veranderinge in aktiwiteit tot uitkoms getoon as 'n funksie van die beloningwaarskynlikheidsmanipulasie [F(2,10)=9.32, p<0.005]. Spesifiek, NAcc-aktiwiteit het toegeneem om uitkomste te beloon, wanneer die beloning onverwags was (33% beloning waarskynlikheid toestand) relatief tot verwagte (100% basislyn toestand) [t(11)=2.54, p<.03 sien Figuur 4a]. Tweedens was daar verminderde NAcc-aktiwiteit tot geen beloning, wanneer 'n beloning verwag is en nie ontvang is nie (66% beloning waarskynlikheidstoestand) relatief tot beloning wat nie verwag of ontvang is nie (33% beloning waarskynlikheidstoestand; t(59)=2.08, p <.04; kyk Figuur 4b). Let daarop dat daar geen beduidende verskille in aktivering was tussen die 33% en 66% beloning waarskynlikheidstoestande [t(11)=.510, p=.62] of tussen die 66% en 100% beloningwaarskynlikheidstoestande [t(11)= 1.20, p=.26] in beloonde uitkomste. MR sein as 'n funksie van beloning uitkoms en waarskynlikheid word getoon in Figuur 4.

  

Figuur 4

Persentasie MR sein verander as 'n funksie van beloning uitkoms en waarskynlikheid in die nucleus accumbens na a) beloonde en b) nie-beloonde uitkomste.

Bespreking

Hierdie studie het die uitwerking van oortredings in verwagte beloningsuitkomste op gedrag en neurale aktiwiteit in die accumbens en orbitale frontale korteks (OFC) ondersoek, wat voorheen getoon is betrokke te wees by die afwagting van beloningsuitkomste (McClure et al 2004; Knutson et al, 2005). Ons het getoon dat beide die nucleus accumbens en OFC gewerf is tydens beloonde proewe relatief tot nie-beloonde proewe, maar slegs die nucleus accumbens het sensitiwiteit getoon vir oortredings in die voorspelde beloningsuitkoms in hierdie studie. Groter sensitiwiteit van die accumbens vir beloningswaarde (bv. grootte) relatief tot die OFC is in vorige werk getoon (Galvan et al 2005), en saam dui hierdie bevindinge daarop dat hierdie streek betrokke kan wees by die berekening van beide grootte en waarskynlikheid van beloning. Die gebrek aan sensitiwiteit in die OFC vir hierdie manipulasies kan 'n meer absolute voorstelling van beloning of dubbelsinnigheid in uitkoms weerspieël (Hsu et al., 2005). Alternatiewelik, aangesien die MR-sein meer veranderlik in hierdie streek was, kan hierdie effekte in die huidige studie verswak gewees het.

In elektrofisiologiese studies in diere, is getoon dat dopamienneurone in die middelbrein (wat na die nucleus accumbens projekteer) min tot geen reaksie op voorspelde beloningsuitkomste (waarskynlikheid = 1.0), maar toon fasiese vuur wanneer beloning gelewer word met minder as 100 % waarskynlikheid, selfs na uitgebreide opleiding (Fiorillo et al, 2003). In die huidige studie het ons groter accumbens-aktiwiteit getoon om te beloon wanneer die beloning onverwags was (33% toestand) relatief tot wanneer dit verwag is (100% toestand) in ooreenstemming met hierdie bevindings. Verder, elektrofisiologiese studies van dopamienneurone in diere (bv. Fiorillo et al, 2003) het getoon dat vir proewe waarop beloning voorspel is, maar nie plaasgevind het nie, neuronale aktiwiteit afgeneem het. Die huidige studie het 'n soortgelyke patroon in die accumbens getoon, met 'n afname in aktiwiteit in hierdie streek in die nie-beloonde proewe vir die 66% beloning waarskynlikheid toestand relatief tot die 33% toestand.²

Dopamienneurone is op twee maniere betrokke by leer. Eerstens kodeer hulle gebeurlikhede tussen stimuli (of reaksie) en uitkomste deur middel van voorspellingsfoute seine wat oortredings in verwagtinge opspoor (Schultz et al, 1997; Mirencowicz en Schultz, 1998; Fiorillo et al, 2003). Die voorspellingsfout blyk dus 'n onderrigsein te verskaf wat ooreenstem met die leerbeginsels wat aanvanklik deur beskryf is Rescorla en Wagner (1972). Tweedens dien hulle om gedragsreaksies te verander (Schultz et al, 1997; McClure et al, 2004) sodanig dat aksies bevooroordeeld is na die leidrade wat die meeste voorspellend is. In die huidige studie wys ons dat deur laat proewe van die eksperiment, die mees optimale prestasie is vir die toestand met die hoogste waarskynlikheid van beloning (100% beloning waarskynlikheid) en die minste optimaal vir die laagste waarskynlikheid toestand (33% beloning waarskynlikheid). Hierdie gedragsbevinding stem ooreen met vorige waarskynlikheidswerk wat die minste optimale prestasie toon met die laagste waarskynlikheid van beloningsuitkoms, wat daarop dui dat beloningsgebeurlikhede oor tyd aangeleer is (Delgado et al, 2005). Om leer verder te wys, het ons 'n omkering ingestel, wat die waarskynlikhede van beloning vir die 33%- en 100%-toestande aan die einde van die eksperiment verander het. Hierdie manipulasie het gelei tot verswakking van verskille tussen hierdie toestande wat leereffekte verder bevestig.

’n Belangrike doelwit van beloningsverwante studies is om te bepaal hoe belonings gedrag en vooroordeel beïnvloed (bv Robbins en Everitt, 1996; Schultz, 2004) benewens die karakterisering van die onderliggende neurale prosessering. Talle faktore dra by tot hoe vinnig en robuust belonings gedrag beïnvloed, insluitend skedules van versterking (Skinner, 1958), beloningswaarde (Galvan et al, 2005), en beloon voorspelbaarheid (Fiorillo et al, 2003; Delgado et al, 2005). Verwagte waarde, wat die produk is van die omvang en waarskynlikheid van 'n beloning (Pascal, ongeveer 1600's), beïnvloed gedragskeuses (von Frisch, 1967; Montague et al, 1995; Montague en Berns, 2002). Deur 'n baie soortgelyke taak te gebruik waarin slegs die uitkoms (grootte in plaas van waarskynlikheid) verskil van die huidige studie, het ons getoon dat die nucleus accumbens sensitief was vir diskrete beloningswaardes (Galvan et al, 2005). Tesame met die getuienis wat hier en elders aangebied word (Tobler et al, 2005), stel ons voor dat die ventrale striatum waarskynlik bydra tot die berekening van verwagte beloningswaarde gegewe sy sensitiwiteit vir beide beloningwaarskynlikheid en -omvang.

Die rol van die orbitale frontale korteks in beloningsvoorspelling stem ooreen met funksionele onderafdelings van hierdie streek deur Kringelbach en Rolls (2004). Hulle stel voor dat meer anterior en mediale gedeeltes van OFC sensitief is vir abstrakte beloningsmanipulasies. Die OFC-aktivering in hierdie studie is in hierdie algemene plek waargeneem. Elektrofisiologiese studies impliseer die OFC in die kodering van subjektiewe waarde van 'n beloningstimulus (vir hersiening, O'Doherty, 2004). OFC-neurone brand byvoorbeeld na 'n spesifieke smaak wanneer 'n dier honger is, maar verminder hul vuurtempo sodra die dier versadig is en die beloningswaarde van die kos afgeneem het (Critchley en Rolls, 1996). As sodanig het ander voorgestel dat die OFC die sensitiefste is vir relatiewe belonings (Tremblay en Schultz, 1999) en beloningsvoorkeur (Schultz et al, 2000). Neurobeeldingstudies het 'n analoog patroon by mense getoon met 'n verskeidenheid stimuli, insluitend smaak (O'Doherty et al, 2001; Kringelbach et al, 2003), reuk (Anderson et al, 2003; Rolls et al, 2003), en geld (Elliot et al, 2003; Galvan et al, 2005), met elke aktivering wat wissel in die ligging van aktiwiteit van anterior tot posterior en van mediale tot laterale OFC. Die OFC is geïmpliseer in afwagting van beloning (O'Doherty et al 2002), maar slegs in soverre die voorspellende waarde van die respons aan die spesifieke gekoppel is waarde van die gepaardgaande beloning, eerder as in die waarskynlikheid dat daardie beloning sal plaasvind (O'Doherty, 2004 ). In die huidige studie het ons nie sensitiwiteit vir oortredings in beloningsvoorspelling in die OFC gesien nie. Knutson en kollegas (2005) het korrelasies tussen waarskynlikheidskattings en breinaktivering gerapporteer in afwagting van beloning in die mesiale prefrontale korteks (Knutson et al 2005), maar nie spesifiek in die orbitale frontale korteks nie. In kontras, Ramnani et al (2004 ) het OFC-sensitiwiteit vir positiewe voorspellingsfout in mediale orbitale frontale korteks gerapporteer met behulp van 'n passiewe kyktaak en Dreher et al. (2005) OFC-foutvoorspelling gerapporteer in 'n taak wat beide die waarskynlikheid en omvang van voorspellende leidrade gemanipuleer het, maar hierdie gebeurlikhede is geleer voor skandering. Dit is dus steeds houdbaar dat OFC voorspelde belonings kan bereken, maar miskien is hierdie berekeninge growwer (dws opgesom oor 'n reeks waarskynlikhede) of stadiger om te vorm relatief tot die presiese berekeninge wat blykbaar in die NAcc voorkom. Alternatiewelik kan hierdie streek meer sensitief wees om stimuli van onsekere en/of dubbelsinnige waarde op te spoor, soos voorgestel deur Hsu et al (2005), as om oortredings in beloningsvoorspelling op te spoor. Hsu et al (2005) toon dat die vlak van dubbelsinnigheid in keuses (onsekere keuses gemaak as gevolg van ontbrekende inligting) positief korreleer met aktivering in die OFC. Laastens kan die groter variasie in MR-sein in hierdie streek ons ​​vermoë om hierdie effekte ook op te spoor, verminder het.

Die fundamentele vraag van die huidige studie was hoe die accumbens en OFC differensiële kode beloningsuitkomste relatief tot onvoorspelde uitkomste voorspel het (dws oortredings in verwagtinge). Ons het die waarskynlikheid van beloning parametries gemanipuleer en die neurale reaksie op beloning- en niebeloningproewe vir elke waarskynlikheidsbeloningtoestand ondersoek. Ons data stem ooreen met vorige menslike beelding en nie-menslike elektrofisiologiese studies (Fiorillo et al, 2003; Schultz, 2002) en stel voor dat die accumbens en OFC sensitief is vir beloningsuitkoms (beloning of nie). Dit blyk egter dat aktiwiteit in hierdie streke, veral die accumbens, gemoduleer word deur voorspellings oor die waarskynlikheid van beloningsuitkomste wat met leer oor tyd gevorm word. Hierdie dinamiese patroon van aktivering kan wysigings in dopamienaktiwiteit binne of na hierdie streke voorstel, aangesien inligting oor voorspelde beloning aangeleer en opgedateer word.

voetnote

Verwysings