Kontekstuele Novelty Changes Beloningsverteenwoordigings in die Striatum (2010)

 Volledige studie: Kontekstuele nuwigheid verander beloningsvoorstellings in die Striatum


J Neurosci. Outeur manuskrip; beskikbaar in PMC 2010 3 Aug.
Gepubliseer in finale geredigeerde vorm as:

Marc Guitart-Masip,*,1,2 Nico Bunzeck,*,1 Klaas E Stephan,2,3 Raymond J Dolan,2 en Emrah Düzel1,4

Die uitgewer se finale geredigeerde weergawe van hierdie artikel is gratis beskikbaar by J Neurosci

Sien ander artikels in PMC dat noem die gepubliseerde artikel.

Spring na:

Abstract

Beloningsvoorstelling in ventrale striatum word versterk deur perseptuele nuwigheid, hoewel die meganisme van hierdie effek ontwykend bly. Dierestudies dui op 'n funksionele lus (Lisman en Grace, 2005) wat hippokampus, ventrale striatum en middelbrein insluit as belangrik in die regulering van opvallende toeskrywing binne die konteks van nuwe stimuli. Volgens hierdie model moet beloningsreaksies in ventrale striatum of middelbrein verbeter word in die konteks van nuwigheid, selfs al is beloning en nuwigheid onverwante, onafhanklike gebeurtenisse. Met behulp van fMRI wys ons dat proewe met beloning-voorspellende leidrade en daaropvolgende uitkomste hoër reaksies in die striatum ontlok as dit voorafgegaan word deur 'n onverwante nuwe prentjie wat aandui dat beloningvoorstelling verbeter word in die konteks van nuwigheid. Hierdie effek is veral waargeneem wanneer beloningsvoorkoms, en dus beloningsverwante opvallendheid, laag was. Hierdie bevindinge ondersteun 'n siening dat kontekstuele nuwigheid neurale reaksies onderliggend aan beloningvoorstelling in die striatum verbeter en stem ooreen met die effekte van nuwigheidsverwerking soos voorspel deur die model van Lisman en Grace (2005).

sleutelwoorde: nuwigheid, beloning, striatum, hippokampus, middelbrein, fMRI

Inleiding

Die basale ganglia, tesame met hul dopaminergiese afferente, verskaf 'n meganisme om te leer oor beloningswaarde van verskillende gedragsopsies (Berridge en Robinson, 2003; Frank et al., 2004; Pessiglione et al., 2006). In ooreenstemming met hierdie siening, toon fMRI-studies dat beloon, en beloon voorspellende leidrade, breinaktiwiteit in die striatum ontlok (bv.Delgado et al., 2000; Knutson et al., 2000; O'Doherty et al., 2003; O'Doherty et al., 2004) en middelbrein (Aron et al., 2004; Wittmann et al., 2005). Die middelbrein dopaminergiese stelsel reageer egter ook op nie-belonende nuwe stimuli by ape (Ljungberg et al., 1992) en mense (Bunzeck en Duzel, 2006; Wittmann et al., 2007). Vanuit 'n rekenaarperspektief is daar voorgestel dat nuwigheid self as 'n motiveringssein kan optree wat beloningvoorstelling 'n hupstoot gee en die verkenning van 'n onbekende, nuwe keuse-opsie dryf (Kakade en Dayan, 2002).

Alhoewel die verwerking van nuwigheid en beloning gemeenskaplike neurale meganismes deel, bly die neurale substraat wat 'n interaksie tussen nuwigheid en beloning ondersteun, swak verstaan. Navorsing in diere toon dat hippokampale nuwigheid seine die vermoë van dopamienneurone reguleer om bars-vuuraktiwiteit te toon. Gegewe dat uitbarstingsvuur die hoof dopaminergiese reaksiepatroonkodeer vir belonings en moontlik ander opvallende gebeurtenisse is, is daar goeie rede om te vermoed dat hippokampale nuwigheidseine die potensiaal het om beloningsverwerking en opvallende toeskrywing te reguleer (Lisman en Grace, 2005). Hippokampale nuwigheidseine word na VTA oorgedra deur die subikulum, ventrale striatum en ventrale pallidum waar hulle disinhibisie van stil dopamienneurone veroorsaak om 'n wyse van toniese aktiwiteit te veroorsaak (Lisman en Grace, 2005; Grace and Bunney, 1983). Dit is belangrik dat slegs tonies aktiewe, maar nie stil dopamienneurone oorgedra word na 'n uitbarstingsmodus en fasiese reaksies toon (Floresco et al., 2003). Op hierdie manier het hippokampale nuwigheidseine die potensiaal om fasiese dopamienseine te versterk en enkodering van nuwe inligting in langtermyngeheue te vergemaklik.

Alhoewel onlangse navorsing getoon het dat stimulusnuutheid 'n striatale beloningsvoorspellingsfout verhoog (Wittmann et al., 2008), spreek hierdie bevinding nie 'n fisiologiese hipotese aan dat kontekstuele nuwigheid 'n versterkende effek op daaropvolgende beloningseine uitoefen nie (Lisman en Grace, 2005). Om dit te toets, vereis 'n onafhanklike manipulasie van die vlak van nuutheid en beloning, sodat nuutheid (en bekendheid) as tydelik uitgebreide kontekste optree wat belonings voorafgaan. Ons het die uitdrukking van striatale modulasie van beloningsverwerking in die konteks van nuwigheid ondersoek deur 'n nuwe stimulus aan te bied wat die aanbieding van leidrade voorafgaan wat belonings voorspel. Verder het ons beide faktore (nuutheid en beloning) onafhanklik gemanipuleer; dit het ons toegelaat om hul ooreenstemmende neurale voorstellings te onderskei. Ons het aan proefpersone een van drie verskillende fraktale beelde aangebied wat beloningslewering met 'n gegewe waarskynlikheid aangedui het (geen beloning (p=0), lae (p=0.4) en hoë beloningwaarskynlikheid (p=0.8)). Op hierdie manier het ons ontwerp ons ook in staat gestel om te ondersoek of kontekstuele nuwigheidsinvloede op beloningsreaksies beïnvloed is deur die waarskynlikheid van beloningvoorkoms. 'n Waarskynlikheidsafhanklike effek van nuwigheid op beloningsverwerking sal 'n sterk ondersteuning bied vir die voorspelling dat nuwigheid en beloningverwerking funksioneel in wisselwerking tree. In teenstelling hiermee, sal 'n effek van nuwigheid op beloningsverwante breinaktiwiteit wat onafhanklik is van beloningwaarskynlikheid en -omvang aandui dat nuwigheid en beloning breinstreke deel en addisionele neurale aktiwiteit sonder 'n funksionele interaksie produseer.

Materiaal en metodes

onderwerpe

16 volwassenes het aan die eksperiment deelgeneem (9 vroulik en 7 manlik; ouderdomsgroep 19-32 jaar; gemiddeld 23.8, SD = 3.84 jaar). Alle proefpersone was gesond, regshandig en het normale of gekorrigeer-na-normale skerpte gehad. Nie een van die deelnemers het 'n geskiedenis van neurologiese, psigiatriese of mediese afwykings of enige huidige mediese probleme gerapporteer nie. Alle eksperimente is uitgevoer met elke proefpersoon se skriftelike ingeligte toestemming en volgens die plaaslike etiese klaring (University College London, VK).

Eksperimentele ontwerp en taak

Die taak is in 3 fases verdeel. In fase 1 is proefpersone vertroud gemaak met 'n stel van 10 beelde (5 binne, 5 buite). Elke beeld is 10 keer vir 1000ms aangebied met 'n interstimulusinterval (ISI) van 1750±500ms. Proefpersone het die binne/buite-status met hul regterwys- en middelvinger aangedui. In fase 2 is 3 fraktale beelde onder verskillende waarskynlikhede (0, 0.4 en 0.8) gepaar met 'n geldelike beloning van 10 pennies in 'n kondisioneringsessie. Elke fraktale beeld is 40 keer aangebied. Op elke proef is een van 3 fraktale beelde vir 750ms op die skerm aangebied en vakke het die opsporing van die stimulusaanbieding met 'n knoppiedruk aangedui. Die waarskynlike uitkoms (10 of 0 pennies) is 750 ms later as 'n nommer op die skerm aangebied vir nog 750 ms en vakke het aangedui of hulle enige geld gewen het of nie met hul wys- en middelvinger nie. Die inter-proef interval (ITI) was 1750±500ms. Laastens, in 'n toetsfase (fase 3) is die effek van kontekstuele nuwigheid op beloningsverwante response in vier elf minute sessies bepaal (Figuur 1). Hier is 'n beeld vir 1000ms aangebied en vakke het die binne/buite-status met hul regterwys- en middelvinger aangedui. Reaksies kon gemaak word terwyl die toneelprent en die daaropvolgende fraktale beeld op die skerm vertoon is (1750 ms in totaal). Die beeld was óf van die bekende stel prente van fase 1 (na verwys as 'bekende beelde') of van 'n ander stel prente wat nog nooit aangebied is nie (na verwys as 'romanbeelde'). In totaal is 240 nuwe beelde aan elke onderwerp aangebied. Daarna is een van die 3 fraktale beelde van fase 2 (na verwys as beloning voorspellende leidraad) aangebied vir 750ms (hier is vakke opdrag gegee om nie te reageer nie). Soos in die tweede fase, is die waarskynlikheidsuitkoms (10 of 0 pennies) 750 ms later vir nog 750 ms aangebied en proefpersone het aangedui of hulle geld gewen het of nie met hul wys- en middelvinger nie. Reaksies kon gemaak word terwyl die uitkoms op die skerm vertoon is en tydens die daaropvolgende interproef-interval (2500±500 ms in totaal). Die ITI was 1750±500ms. Tydens elke sessie is elke fraktale beeld 20 keer aangebied na aanleiding van 'n nuwe prent en 20 keer na aanleiding van 'n bekende prent, wat gelei het tot 120 proewe per sessie. Die aanbiedingsvolgorde van die ses proeftipes is ten volle gerandomiseer. Al drie eksperimentele fases is binne die MRI-skandeerder uitgevoer, maar BOLD-data is slegs tydens die toetsfase (fase 3) verkry. Onderwerpe is opdrag gegee om so vinnig en so korrek moontlik te reageer en dat hulle hul verdienste tot £20 uitbetaal sou word. Deelnemers is meegedeel dat 10 pennies afgetrek sou word vir elke verkeerde respons - hierdie proewe is uitgesluit van die analise. Totale verdienste is eers aan die einde van die 4de blok op die skerm vertoon.

Figuur 1 

Eksperimentele ontwerp

Alle beelde was grysskaal en genormaliseer tot 'n gemiddelde gryswaarde van 127 en 'n standaardafwyking van 75. Geen van die tonele het mense of menslike liggaamsdele (insluitend gesigte) op die voorgrond uitgebeeld nie. Stimuli is op die middel van 'n skerm geprojekteer en die proefpersone het dit dopgehou deur 'n spieëlstelsel wat op die kopspoel van die fMRI-skandeerder gemonteer is.

fMRI data-verkryging

fMRI is uitgevoer op 'n 3-Tesla Siemens Allegra magnetiese resonansie skandeerder (Siemens, Erlangen, Duitsland) met eggo planêre beelding (EPI). In die funksionele sessie is 48 T2*-geweegde beelde per volume (wat die hele kop dek) met bloedoksigenasievlak-afhanklike (BOLD) kontras verkry (matriks: 64 × 64; 48 skuins aksiale snye per volume skuins teen -30° in die anteroposterior as; ruimtelike resolusie: 3 × 3 × 3 mm; TR = 2880 ms; TE = 30 ms). Die fMRI-verkrygingsprotokol is geoptimaliseer om vatbaarheid-geïnduseerde BOLD-sensitiwiteitsverliese in inferior frontale en temporale lob-streke te verminder (Weiskopf et al., 2006). Vir elke vak is funksionele data verkry in vier skanderingsessies wat 224 volumes per sessie bevat het. Ses bykomende volumes aan die begin van elke reeks is verkry om bestendige toestand magnetisering moontlik te maak en is daarna weggegooi. Anatomiese beelde van elke proefpersoon se brein is versamel met behulp van multi-echo 3D FLASH vir die kartering van protondigtheid (PD), T1 en magnetisasie-oordrag (MT) by 1 mm3 resolusie (Weiskopf en Helms, 2008) en deur T1-geweegde inversieherwinning voorbereide EPI (IR-EPI) rye (ruimtelike resolusie: 1 × 1 × 1 mm). Daarbenewens is individuele veldkaarte aangeteken deur gebruik te maak van 'n dubbele eggo FLITS-volgorde (matriksgrootte = 64 × 64; 64 skywe; ruimtelike resolusie = 3 × 3 × 3 mm; gaping = 1 mm; kort TE = 10 ms; lang TE = 12.46 ms. ; TR = 1020 ms) vir vervormingskorreksie van die verkry EPI-beelde (Weiskopf et al., 2006). Gebruik die 'FieldMap-nutsgoedkas' (Hutton et al., 2002) veldkaarte is beraam uit die faseverskil tussen die beelde wat by die kort en lang TE verkry is.

fMRI data analise

Voorverwerking het herbelyning, ontwringing met behulp van individuele veldkaarte, ruimtelike normalisering na die Montreal Neurology Institute (MNI) ruimte ingesluit en uiteindelik gladmaak met 'n 4 mm Gaussiese kern. Die fMRI-tydreeksdata is hoogdeurlaatgefiltreer (afsnypunt = 128 s) en gewit met 'n AR(1)-model. Vir elke vak is 'n statistiese model bereken deur die toepassing van 'n kanonieke hemodinamiese responsfunksie (HRF) gekombineer met tyd en dispersie afgeleides (Friston et al., 1998).

Ons 2×3 faktoriële ontwerp het 6 toestande van belang ingesluit wat as afsonderlike regressors gemodelleer is: bekende-beeld met beloning-waarskynlikheid 0, bekende-beeld met beloning-waarskynlikheid 0.4, bekende-beeld met beloning-waarskynlikheid 0.8, nuwe-beeld met beloning -waarskynlikheid 0, nuwe-beeld met beloning-waarskynlikheid 0.4, nuwe-beeld met beloning-waarskynlikheid 0.8. Die tydelike nabyheid van die beloning-voorspellende leidrade (dws fraktale beeld) en die beloningsuitkoms self stel probleme in vir die skeiding van BOLD seine wat voortspruit uit hierdie twee gebeurtenisse. Daarom het ons elke proef gemodelleer as 'n saamgestelde gebeurtenis, met behulp van 'n mini-bokskar wat die aanbieding van beide die aanduiding en die uitkoms ingesluit het. Hierdie tegniese beperking was nie problematies vir ons faktoriale analise wat gekonsentreer het op die interaksie tussen nuwigheid en beloning verwerking en mede-voorvalle van beloning en nuwigheid effekte. Foutproewe is gemodelleer as 'n regressor van geen belang nie. Om oorblywende bewegingsverwante artefakte vas te vang is ses kovariate ingesluit (die drie rigiede-liggaam-translasie en drie rotasies as gevolg van herbelyning) as regressors van geen belang nie. Streekspesifieke toestand-effekte is getoets deur lineêre kontraste vir elke proefpersoon en elke toestand te gebruik (eerstevlak-analise). Die gevolglike kontrasbeelde is in 'n tweedevlak ewekansige effekte-analise ingevoer. Hier is die hemodinamiese effekte van elke toestand beoordeel deur gebruik te maak van 'n 2×3-analise van variansie (ANOVA) met die faktore 'nuutheid' (nuut, bekend), en beloningwaarskynlikheid (0, 0.4, 0.8).

Ons het ons analise gefokus op 3 anatomies gedefinieerde streke van belang (striatum, middelbrein en hippokampus) waar interaksies tussen nuwigheid en beloningverwerking veronderstel is gebaseer op vorige studies (Lisman en Grace, 2005; Wittmann et al., 2005; Bunzeck en Duzel, 2006). Vir volledigheid rapporteer ons ook heelbreinresultate in die aanvullende materiaal. Beide die striatum en hippokampus streke van belang (ROI's) is gedefinieer gebaseer op die Pick Atlas toolbox (Maldjian et al., 2003; Maldjian et al., 2004). Terwyl die striatale ROI die hoof van caudate, caudate body en putamen ingesluit het, het die hippocampale ROI die amygdala en omliggende rhinale korteks uitgesluit. Laastens is die SN/VTA ROI met die hand gedefinieer, met behulp van die sagteware MRIcro en die gemiddelde MT-beeld vir die groep. Op MT-beelde kan die SN/VTA van omliggende strukture onderskei word as 'n helder streep (Bunzeck en Duzel, 2006). Daar moet op gelet word dat by primate beloningsresponsiewe dopaminerge neurone oor die SN/VTA-kompleks versprei word en dit is dus gepas om die aktivering van die hele SN/VTA-kompleks te oorweeg eerder as om op die subkompartemente daarvan te fokus (Duzel et al., 2009). Vir hierdie doel, 'n resolusie van 3mm3, soos gebruik in die huidige eksperiment, maak dit moontlik om 20-25 voxels van die SN/VTA-kompleks te monster, wat 'n volume van 350 tot 400 mm het3.

Results

Gedragsgewys het proefpersone hoë akkuraatheid in taakverrigting tydens die binne/buite-diskriminasietaak getoon (gemiddelde trefkoers 97.1%, SD=2.8% vir bekende prente; gemiddelde trefkoers 96.8%, SD=2.1% vir nuwe prente; t15=0.38, ns), sowel as vir die wen/geen wen-diskriminasie by die uitkomstyd (gemiddelde trefkoers 97.8%, SD=2.3% vir wengeleenthede; gemiddelde trefkoers 97.7%, SD=2.2% vir geen wen-geleenthede; t15=0.03, ns). Vakke het binne- en buitestatus vinniger gediskrimineer vir bekend in vergelyking met nuwe beelde (gemiddelde reaksietyd (RT) RT=628.2 ms, SD=77.3ms vir bekende prente; gemiddelde RT=673.8 ms, SD=111 ms vir nuwe prente; t15=4.43, P=0.0005). Daar was geen RT-verskil vir die wen/geen-wen-diskriminasie tydens die uitkomstyd nie (gemiddelde RT=542 ms, SD=82.2 ms vir wenproewe; gemiddelde RT=551 ms, SD=69 ms vir geen wenproewe; t15=0.82, ns). Net so, tydens kondisionering was daar geen RT verskille vir die 3 verskillende fraktale beelde nie (0.8-waarskynlikheid: RT=370.1 ms, SD=79 ms; 0.4-waarskynlikheid: RT=354.4, SD=73.8ms; 0-waarskynlikheid: RT=372.2 ms, SD=79.3ms; F(1,12)=0.045, ns). Laasgenoemde RT-analise het drie vakke uitgesluit weens tegniese probleme tydens data-verkryging.

In die ontleding van die fMRI-data het 'n 2×3 ANOVA met faktore 'nuutheid' (nuut, bekend) en beloningwaarskynlikheid (p=0, p=0.4, p=0.8) 'n hoofeffek van nuwigheid bilateraal in die hippokampus getoon (Figuur 2A) en regter striatum, FDR-gekorrigeer vir die soekvolume van die ROI's. 'n Eenvoudige hoofeffek van beloning ('p=0.8 > p=0') is waargeneem binne die linker SN/VTA-kompleks (Figuur 2B) en binne bilaterale striatum (Figuur 2C). sien Tabel 1 vir alle geaktiveerde breinstreke.

Figuur 2 

fMRI resultate
Tabel 1 

fMRI resultate

Ons het nie 'n nuwigheid × beloning waarskynlikheidsinteraksie waargeneem toe ons vir veelvuldige toetse reggestel het oor die hele soekvolume van ons ROI's nie. Toe ons egter 'n post hoc-analise (t-toets) van die drie piekvoxels uitvoer wat 'n hoofeffek van beloning in die striatum toon, het ons (ortogonale) effekte van nuwigheid en die interaksie daarvan met beloning gevind: een voxel het ook 'n hoofeffek van nuwigheid en 'n nuwigheid × beloning interaksie, terwyl 'n ander voxel ook 'n hoofeffek van nuwigheid getoon het.

Soos aangedui in figuur 2C (middel), in die eerste voxel ([8 10 0]; hoofeffek van beloning F(2,30)=8.12, P=0.002; hoofeffek van nuwigheid F(1,15)=7.03, P=0.02; nuwigheid × beloningsinteraksie F(2,30)=3.29, P=0.05) hierdie effek is gedryf deur hoër BOLD-reaksies op proewe met beloningwaarskynlikheid 0.4 en voorafgegaan deur 'n nuwe prentjie (post-hoc t-toets: t(15)=3.48 , P=0.003). In die tweede voxel (2C regs) ([−10 14 2] hoofeffek van beloning F(2,30)=13.13, P<0.001; hoofeffek van nuwigheid F(1,15)=9.19, P=0.008; nee beduidende interaksie F(2,30)=1.85, ns) post-hoc t-toetse het weer getoon dat die hoofeffek van nuwigheid gedryf is deur verskille tussen nuwe en bekende beelde by die twee lae waarskynlikhede van beloningslewering (t(15)= 2.79, P=0.014; en t(15)=2.19, P=0.045, vir waarskynlikheid p=0 en p=0.4, onderskeidelik), (sien figuur 2C). Daarenteen het die derde voxel (2C links [−22 4 0] hoofeffek van beloning, F(2,30)=9.1, P=0.001) nie 'n hoofeffek van nuwigheid getoon nie (F(1,15)=2.33, ns) ook nie 'n interaksie (F(2,30)=1.54, ns).

In die middelbrein het die voxel met maksimum beloning-verwante response ([−8 −14 −8], F(2,30)=12.19, P<0.001), ook 'n neiging getoon na 'n hoofeffek van nuwigheid (F(1,15) ,4.18)=0.059, P=2,30) in die afwesigheid van 'n betekenisvolle interaksie (F(0.048)=XNUMX, ns).

Bespreking

Nuwe beelde van tonele het striatale beloningsreaksies verbeter wat deur daaropvolgende en onverwante lonende gebeure ontlok is (voorspel abstrakte leidrade en beloningslewering). Soos verwag, het nuwe beelde ook die hippokampus geaktiveer. Hierdie bevindinge verskaf eerste bewyse, na ons kennis, vir 'n fisiologiese voorspelling dat nuwigheidverwante hippokampale aktivering 'n kontekstueel versterkende effek op beloningsverwerking in die ventrale striatum moet uitoefen (Lisman en Grace, 2005; Bunzeck en Duzel, 2006).

As gevolg van die eienskappe van die BOLD-sein, het die tydelike nabyheid van die beloning-voorspellende aanduiding en uitkomslewering 'n skatting van die effekte van nuwigheid op hierdie gebeure afsonderlik verhoed. Ons het eerder die cue-outcome-volgorde as 'n saamgestelde gebeurtenis beskou en gevind dat die effek van nuwigheid op beloningsverwerking gewissel het as 'n funksie van die waarskynlikheid van beloning. 'n Verbetering is slegs waargeneem wanneer die waarskynlikheid van voorspelde beloning laag was (0 of 0.4) en afwesig was vir hoë beloningwaarskynlikheid (0.8) (Figuur 2C). Dit is belangrik om daarop te let dat hierdie patroon van resultate nie verklaar kan word deur onafhanklike effekte van nuwigheid en beloning in dieselfde streek nie. BOLD-effekte wat veroorsaak word deur twee funksioneel afsonderlike maar ruimtelik oorvleuelende neurale populasies sal byvoegend wees, ongeag beloningwaarskynlikheid en lei dus tot 'n nuwigheidseffek ook in die 0.8-waarskynlikheidstoestand. Daarom argumenteer hierdie waarskynlikheidafhanklike effekte van nuwigheid op beloningsverwerking teen die moontlikheid dat dit 'n besoedeling weerspieël deur BOLD-reaksies wat deur nuwe stimuli self ontlok word. Die bevindinge dui eerder daarop dat kontekstuele nuwigheid die beloningsverwerking per se verhoog het, alhoewel slegs in die lae waarskynlikheidstoestand.

Soos hierbo verduidelik, kon ons nie BOLD-reaksies tussen beloningsafwagting (aanwysings) en beloningslewering (uitkomste) ondubbelsinnig maak nie. Nuwigheid het moontlik die verwerking van nie-belonende uitkomste selektief verhoog (geen wenproewe). Dit sal ooreenstem met die feit dat ons geen beduidende nuwigheidseffek op proewe met 'n hoë beloningwaarskynlikheid waargeneem het nie, want 80% van hierdie proewe het daartoe gelei dat beloning gelewer is. Alternatiewelik kan nuwigheid beloningsafwagting beïnvloed het vir leidrade wat beloningslewering met lae waarskynlikheid voorspel het (dws 0 en 0.4). In beide gevalle het kontekstuele nuwigheid breinvoorstelling verbeter vir daardie gebeure wat objektief minder lonend was. Boonop is dit onwaarskynlik dat die gebrek aan nuwigheidsmodulasie van beloningseine in die hoëwaarskynlikheidstoestand te wyte is aan 'n plafon-effek in beloningverwerking. Vorige werk het getoon dat beloningsverwante response in die menslike striatum aanpasbaar in verskillende kontekste afgeskaal word, wat lei tot 'n sein wat verteenwoordig of 'n uitkoms gunstig of ongunstig is in 'n bepaalde omgewing (Nieuwenhuis et al 2004). Dit kan dus verwag word dat beloningsreaksies ook in staat moet wees om 'n nuwigheidsbonus te akkommodeer onder toestande van hoë beloningwaarskynlikheid.

Dit is goed gevestig dat die primaatbrein leer oor die waarde van verskillende stimuli gepaard met beloning in klassieke kondisioneringseksperimente soos gemeet deur verhoogde afwagting van die uitkoms (bv. verhoogde lek). In die huidige eksperiment het ons reaksietye tydens die kondisioneringsfase gemeet, maar het nie verskille gevind oor die verskillende vlakke van voorspellende aanduidingsterktes nie. Met inagneming van die eenvoud van die taak en die spoed waarteen vakke gereageer het (<375ms vir alle toestande), kan hierdie gebrek aan 'n differensiële reaksie te wyte wees aan 'n plafon-effek. Ten spyte van die gebrek aan 'n objektiewe gedragsmaatstaf vir kondisionering, is die suksesvolle gebruik van hierdie leidraadtipe in vorige studies (bv. O'Doherty et al., 2003) stel voor dat vakke steeds 'n assosiasie gevorm het tussen die leidrade en die verskillende waarskynlikhede van beloningslewering.

In vorige werk is beloningseine in die striatum gekoppel aan 'n verskeidenheid beloningsverwante eienskappe, beide by mense en nie-menslike primate, insluitend waarskynlikheid (Preuschoff et al., 2006; Tobler et al., 2008), grootte (Knutson et al., 2005), onsekerheid (Preuschoff et al., 2006) en aksiewaarde (Samejima et al., 2005). Hierdie diversiteit van beloningsverwante veranderlikes wat in die striatum uitgedruk word, pas goed by sy rol as 'n limbiese/sensorimotoriese koppelvlak met 'n kritieke rol in die organisasie van doelgerigte gedrag (Wickens et al., 2007). Beide die SN/VTA en die striatum, een van die belangrikste projeksieterreine van die middelbrein dopamienstelsel, reageer ook op beloning en beloon voorspellende leidrade in klassieke kondisioneringsparadigmas (bv.Delgado et al., 2000; Knutson et al., 2000; Fiorillo et al., 2003; Knutson et al., 2005; Tobler et al., 2005; Wittmann et al., 2005; D'Ardenne et al., 2008). Volgens verskeie berekeningsperspektiewe leer dopamienoordrag wat in die SN/VTA ontstaan ​​​​die striatum oor die waarde van gekondisioneerde stimuli via 'n voorspellingsfoutsein (Schultz et al., 1997).

Alhoewel in klassieke kondisioneringstudies beloning en nie-beloning voorstellings wat in die striatum uitgedruk word nie altyd ooglopende gedragsgevolge het nie (O'Doherty et al., 2003; den Ouden et al., 2009), het fMRI-studies sistematies getoon dat veranderinge in striatale BOLD-aktiwiteit korreleer met voorspellingsfoute wat verband hou met die waarde van keuse-opsies soos gekenmerk deur berekeningsmodelle wat pas by gedragsdata (O'Doherty et al., 2004; Pessiglione et al., 2006). Striatale staatswaarde-voorstellings wat nie aan 'n aksie gekoppel is nie, kan verband hou met seine van beloning beskikbaarheid wat vertaal word in voorbereidende reaksies, byvoorbeeld benadering of verkwikkende effekte soos gesien in pavlovian-instrumentele oordrag (PIT) (Kardinaal et al., 2002; Talmi et al., 2008). Ons data dui daarop dat nuwigheid sulke staatswaarde-voorstellings moduleer deur die verwagting van beloning of die reaksie op nie-belonende uitkomste te verhoog. Die gevolg van hierdie interaksie tussen nuwigheid en beloning kan die generering van onvoorwaardelike voorbereidende reaksies wees. In die werklike wêreld sal sulke reaksies lei tot verbeterde benadering wanneer nuwigheid geïdentifiseer word met 'n aanduiding (Wittmann et al., 2008) of ewekansige verkenning van die omgewing wanneer nuwigheid bespeur word, maar nie geassosieer word met 'n spesifieke aanduiding soos waargeneem in die diereliteratuur nie (Hooks en Kalivas, 1994). Hierdie siening stem ook ooreen met invloedryke berekeningsmodelle (Kakade en Dayan, 2002).

Een kritieke struktuur wat waarskynlik betrokke is by die kontekstueel verbeterde beloningsreaksies in die striatum is die hippokampus. Soos in vorige studies (Tulving et al., 1996; Strange et al., 1999; Bunzeck en Duzel, 2006; Wittmann et al., 2007) wys ons dat kontekstuele nuwigheid die hippokampus sterker geaktiveer het as bekendheid. Gegewe sy sterk (indirekte) projeksies na die SN/VTA stel ons voor dat hierdie struktuur die waarskynlike bron is vir 'n nuwigheidsein na die middelbrein dopaminergiese stelsel (Lisman en Grace, 2005; Bunzeck en Duzel, 2006). Die dopaminerge middelbrein ontvang ook insette van ander breinareas soos die prefrontale korteks wat ook nuwe seine daaraan kon oorgedra het (Fields et al., 2007). Gegewe die bewyse tot op hede, beskou ons egter die hippokampus as die mees waarskynlike kandidaat vir die bestuur van 'n nuwigheid-verwante disinhibisie van middelbrein dopamien neurone wat 'n versterking van striatale beloning seine in die konteks van nuwigheid sal verduidelik. Aan die ander kant kan die waarskynlikheidsafhanklike moderering van die kontekstuele nuwigheidseffek op sy beurt in die prefrontale korteks (PFC) ontstaan ​​het. Fisiologiese studies toon dat die verhoging van PFC-dryf na SN/VTA-neurone slegs dopaminerge modulasie van PFC-streke verbeter, maar nie dopaminerge insette na die ventrale striatum nie (Margolis et al., 2006). Deur so 'n meganisme kan PFC die waarskynlikheidsafhanklike kontekstuele effekte van nuwigheid op SN / VTA en ventrale striatale beloning-voorstelling reguleer.

Om af te sluit, demonstreer die huidige resultate dat kontekstuele nuwigheid beloningverwerking in die striatum verhoog in reaksie op onverwante leidrade en uitkomste. Hierdie bevindinge is versoenbaar met die voorspellings van 'n polisinaptiese padmodel (Lisman en Grace, 2005) waarin hippokampale nuwigheid-seine 'n meganisme bied vir die kontekstuele regulering van opvallende toeskrywing aan onverwante gebeurtenisse.

Aanvullende materiaal

Supp1

Bedankings

Hierdie werk is ondersteun deur 'n Wellcome Trust Project Grant (aan ED en RJD 81259; www.wellcome.ac.uk; RD word ondersteun deur 'n Wellcome-trustprogramtoekenning. MG het 'n Marie Curie-genootskap (www.mariecurie.org.uk). KES erken ondersteuning deur die SystemsX.chh-projek NEUROCHOICE.

Verwysingslys

  • Aron AR, Shohamy D, Clark J, Myers C, Gluck MA, Poldrack RA. Menslike middelbrein sensitiwiteit vir kognitiewe terugvoer en onsekerheid tydens klassifikasieleer. J Neurophysiol. 2004;92:1144–1152. [PubMed]
  • Berridge KC, Robinson TE. Parseer beloning. Neigings Neurosci. 2003; 26: 507-513. [PubMed]
  • Bunzeck N, Duzel E. Absolute kodering van stimulusnuutheid in die menslike substantia nigra/VTA. Neuron. 2006;51:369–379. [PubMed]
  • Kardinale RN, Parkinson JA, Hall J, Everitt BJ. Emosie en motivering: die rol van die amygdala, ventrale striatum en prefrontale korteks. Neurosci Biobehav Eerw. 2002; 26: 321-352. [PubMed]
  • D'Ardenne K, McClure SM, Nystrom LE, Cohen JD. BOLD reaksies wat dopaminerge seine in die menslike ventrale tegmentale area weerspieël. Wetenskap. 2008;319:1264–1267. [PubMed]
  • Delgado MR, Nystrom LE, Fissell C, Noll DC, Fiez JA. Volg die hemodinamiese reaksies op beloning en straf in die striatum. J Neurofisiolo. 2000; 84: 3072-3077. [PubMed]
  • den Ouden HE, Friston KJ, Daw ND, McIntosh AR, Stephan KE. 'n Dubbele rol vir voorspellingsfout in assosiatiewe leer. Sereb Cortex. 2009;19:1175–1185. [PMC gratis artikel] [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Funksionele beelding van die menslike dopaminerge middelbrein. Tendense Neurosci. 2009 [PubMed]
  • Velden HL, Hjelmstad GO, Margolis EB, Nicola SM. Ventrale tegmentale area neurone in geleerde eetlus en positiewe versterking. Annu Rev Neurosci. 2007; 30: 289-316. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Diskrete kodering van beloningswaarskynlikheid en onsekerheid deur dopamienneurone. Wetenskap. 2003; 299: 1898-1902. [PubMed]
  • Floresco SB, Wes AR, Ash B, Moore H, Grace AA. Afferente modulasie van dopamienneuronskiet differensieel reguleer toniese en fasiese dopamien-oordrag. Nat Neurosci. 2003; 6: 968-973. [PubMed]
  • Frank MJ, Seeberger LC, O'Reilly RC. Deur wortel of per stok: kognitiewe versterkingsleer in parkinsonisme. Wetenskap. 2004;306:1940–1943. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. Gebeurtenis-verwante fMRI: kenmerkende differensiële response. Neuro Image. 1998; 7: 30-40. [PubMed]
  • Grace AA, Bunney BS. Intrasellulêre en ekstrasellulêre elektrofisiologie van nigrale dopaminerge neurone-1. Identifikasie en karakterisering. Neurowetenskap. 1983;10:301–315. [PubMed]
  • Hooks MS, Kalivas PW. Betrokkenheid van dopamien en opwindende aminosuuroordrag in nuwigheid-geïnduseerde motoriese aktiwiteit. J Pharmacol Exp Ther. 1994;269:976–988. [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Beeldvervormingskorreksie in fMRI: 'n Kwantitatiewe evaluering. Neuro Image. 2002; 16: 217-240. [PubMed]
  • Kakade S, Dayan P. Dopamien: veralgemening en bonusse. Neurale Netw. 2002;15:549–559. [PubMed]
  • Knutson B, Westdorp A, Kaiser E, Hommer D. FMRI visualisering van breinaktiwiteit tydens 'n monetêre aansporingvertragingstaak. Neurobeeld. 2000;12:20–27. [PubMed]
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Verspreide neurale voorstelling van verwagte waarde. J Neurosci. 2005;25:4806–4812. [PubMed]
  • Lisman JE, Grace AA. Die hippocampus-VTA-lus: beheer die inskrywing van inligting in die langtermyngeheue. Neuron. 2005; 46: 703-713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Reaksies van aapdopamienneurone tydens die leer van gedragsreaksies. J Neurofisiolo. 1992; 67: 145-163. [PubMed]
  • Maldjian JA, Laurienti PJ, Burdette JH. Presentrale gyrus-teenstrydigheid in elektroniese weergawes van die Talairach-atlas. Neurobeeld. 2004;21:450–455. [PubMed]
  • Maldjian JA, Laurienti PJ, Kraft RA, Burdette JH. 'n Outomatiese metode vir neuroanatomiese en sito-argitektoniese atlas-gebaseerde ondervraging van fMRI-datastelle. Neurobeeld. 2003;19:1233–1239. [PubMed]
  • Margolis EB, Lock H, Chefer VI, Shippenberg TS, Hjelmstad GO, Fields HL. Kappa-opioïede beheer selektief dopaminerge neurone wat na die prefrontale korteks uitsteek. Proc Natl Acad Sci US A. 2006;103:2938–2942. [PMC gratis artikel] [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Dissociable rolle van ventrale en dorsale striatum in instrumentale kondisionering. Wetenskap. 2004; 304: 452-454. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Temporele verskilmodelle en beloningsverwante leer in die menslike brein. Neuron. 2003;38:329–337. [PubMed]
  • Pessiglione M, Seymour B, Flandin G, Dolan RJ, Frith CD. Dopamien-afhanklike voorspellingsfoute ondersteun beloningsoekende gedrag by mense. Aard. 2006;442:1042–1045. [PMC gratis artikel] [PubMed]
  • Preuschoff K, Bossaerts P, Quartz SR. Neurale differensiasie van verwagte beloning en risiko in menslike subkortikale strukture. Neuron. 2006;51:381–390. [PubMed]
  • Samejima K, Ueda Y, Doya K, Kimura M. Voorstelling van aksiespesifieke beloningswaardes in die striatum. Wetenskap. 2005;310:1337–1340. [PubMed]
  • Schultz W, Dayan P, Montague PR. 'N Neurale substraat van voorspelling en beloning. Wetenskap. 1997; 275: 1593-1599. [PubMed]
  • Vreemde BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Skeiding van die funksies van menslike hippokampus. Proc Natl Acad Sci VSA A. 1999; 96: 4034-4039. [PMC gratis artikel] [PubMed]
  • Talmi D, Seymour B, Dayan P, Dolan RJ. Menslike pavlovian-instrumentele oordrag. J Neurosci. 2008;28:360–368. [PMC gratis artikel] [PubMed]
  • Tobler PN, Fiorillo CD, Schultz W. Aanpasbare kodering van beloningswaarde deur dopamienneurone. Wetenskap. 2005;307:1642–1645. [PubMed]
  • Tobler PN, Christopoulos GI, O'Doherty JP, Dolan RJ, Schultz W. Neuronale vervormings van beloning waarskynlikheid sonder keuse. J Neurosci. 2008;28:11703–11711. [PMC gratis artikel] [PubMed]
  • Tulving E, Markowitsch HJ, Craik FE, Habib R, Houle S. Novelty en bekendheid aktiverings in PET studies van geheue kodering en herwinning. Cereb Cortex. 1996; 6: 71-79. [PubMed]
  • Weiskopf N, Helms G. Multi-parameter kartering van die menslike brein by 1 mm resolusie in minder as 20 minute; ISMRM 16; Toronto, Kanada. 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. Optimale EPI-parameters vir die vermindering van vatbaarheid-geïnduseerde BOLD-sensitiwiteitsverliese: 'n heelbreinanalise by 3 T en 1.5 T. Neuroimage. 2006;33:493–504. [PubMed]
  • Wickens JR, Horvitz JC, Costa RM, Killcross S. Dopaminerge meganismes in aksies en gewoontes. J Neurosci. 2007;27:8181–8183. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Verwagting van nuwigheid werf beloningstelsel en hippocampus terwyl die herinnering bevorder word. Neuro Image. 2007; 38: 194-202. [PMC gratis artikel] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Striatale aktiwiteit hou verband met nuwigheidsgebaseerde keuse by mense. Neuron. 2008; 58: 967-973. [PMC gratis artikel] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Beloningsverwante FMRI-aktivering van dopaminerge middelbrein word geassosieer met verhoogde hippokampus-afhanklike langtermyn-geheueformasie. Neuron. 2005; 45: 459-467. [PubMed]