Kontekstuele Novelty Changes Beloningsverteenwoordigings in die Striatum (2010)

 Volle Studie: Kontekstuele Novelty Changes Beloning Verteenwoordigings in die Striatum


J Neurosci. Skrywer manuskrip; beskikbaar in PMC 2010 Aug 3.
Gepubliseer in finale geredigeerde vorm as:

Marc Guitart-Masip,*,1,2 Nico Bunzeck,*,1 Klaas E Stephan,2,3 Raymond J Dolan,2 en Emrah Düzel1,4

Die uitgewer se finale geredigeerde weergawe van hierdie artikel is gratis beskikbaar by J Neurosci

Sien ander artikels in PMC dat noem die gepubliseerde artikel.

Spring na:

Abstract

Beloning verteenwoordiging in ventrale striatum word versterk deur perseptuele nuwigheid, hoewel die meganisme van hierdie effek onwrikbaar bly. Diere studies dui op 'n funksionele lus (Lisman en Grace, 2005) wat hippokampus, ventrale striatum en middelbrein insluit, is belangrik vir die regulering van die toewysing van salience binne die konteks van nuwe stimuli. Volgens hierdie model moet beloningsresponse in ventrale striatum of middelbrein verbeter word in die konteks van nuwigheid, selfs al is beloning en nuwigheid onverwante, onafhanklike gebeure. Met behulp van fMRI wys ons dat proewe met beloningsvoorspellende leidrade en daaropvolgende uitkomste hoër response in die striatum uitlok as voorafgegaan deur 'n onverbonde nuwe prentjie wat aandui dat beloning verteenwoordiging verbeter word in die konteks van nuwigheid. Boonop is hierdie effek slegs waargeneem wanneer beloning voorkoms, en dus beloningverwante saligheid was laag. Hierdie bevindinge ondersteun 'n siening dat kontekstuele nuwigheid neurale response onderliggend aan beloningverteenwoordiging in die striatum versterk en ooreenstem met die gevolge van nuwigheidsverwerking soos voorspel deur die model van Lisman en Grace (2005).

sleutelwoorde: nuwigheid, beloning, striatum, hippokampus, middelbrein, fMRI

Inleiding

Die basale ganglia, tesame met hul dopaminerge afferente, bied 'n meganisme om te leer oor die beloningswaarde van verskillende gedragsopsies (Berridge en Robinson, 2003; Frank et al., 2004; Pessiglione et al., 2006). In ooreenstemming met hierdie siening toon fMRI studies dat beloning en beloning voorspellende aanwysings ontlok breinaktiwiteit in die striatum (bv. (Delgado et al., 2000; Knutson et al., 2000; O'Doherty et al., 2003; O'Doherty et al., 2004) en middelbrein (Aron et al., 2004; Wittmann et al., 2005). Die middelbrein dopaminerge sisteem reageer egter ook op nie-lonende nuwe stimuli in ape (Ljungberg et al., 1992) en mense (Bunzeck en Duzel, 2006; Wittmann et al., 2007). Uit 'n berekeningsperspektief word voorgestel dat nuwigheid self kan dien as 'n motiverings sein wat beloningspresentasie verhoog en die verkenning van 'n onbekende, nuwe keusemodus dryf (Kakade en Dayan, 2002).

Alhoewel die verwerking van nuwigheid en beloning gemeenskaplike neurale meganismes deel, bly die neurale substraat wat 'n interaksie tussen nuwigheid en beloning ondersteun, swak verstaan. Navorsing in diere onthul dat hippocampale nuwigheidsseine die vermoë van dopamienneurone reguleer om ontploffingsaktiwiteit te toon. Gegewe dat die ontploffing ontplof is die hoof dopaminerge reaksiepatroon wat vir belonings koester, en moontlik ander belangrike gebeure, is daar goeie rede om te vermoed dat hippocampale nuwigheidseine die potensiaal het om beloningsverwerking en saligheidsverdeling te reguleer (Lisman en Grace, 2005). Hippocampale nuwigheidseine word deur die subikulum, ventrale striatum en ventrale pallidum na VTA oorgedra waar hulle disinhibisie van stille dopamienneurone veroorsaak om 'n modus van toniese aktiwiteit te veroorsaak (Lisman en Grace, 2005; Grace and Bunney, 1983). Belangrik is dat slegs tonikale aktiewe, maar nie stille dopamienneurone oorskakel na die ontbrandingsmodus en fasiese response toon (Floresco et al., 2003). Op hierdie manier het hippocampale nuwigheidseine die potensiaal om fasiese dopamien seine te versterk en kodering van nuwe inligting in langtermyngeheue te fasiliteer.

Hoewel onlangse navorsing het getoon dat stimulus-nuwigheid 'n striatale beloning-voorspellingsfout verhoog (Wittmann et al., 2008), hierdie bevinding spreek nie 'n fisiologiese hipotese aan dat kontekstuele nuwigheid 'n verbeterende effek op daaropvolgende beloningseine uitoefen nie (Lisman en Grace, 2005). Om dit te toets vereis 'n onafhanklike manipulasie van die vlak van nuwigheid en beloning sodat die nuwigheid (en vertroudheid) optree as tydelik uitgebreide kontekste wat belonings voorafgaan. Ons het die uitdrukking van striatale modulasie van beloningsverwerking ondersoek in die konteks van nuwigheid deur 'n nuwe stimulus voor te lê wat die voorlegging van leidrade voorspel wat voordele voorspel. Verder het ons beide faktore (nuwigheid en beloning) onafhanklik gemanipuleer; Dit het ons toegelaat om hul ooreenstemmende neurale voorstellings te onderskei. Ons het vakke aangebied met een van drie verskillende fraktale beelde wat beloning met 'n gegewe waarskynlikheid gekry het (geen beloning (p = 0), lae (p = 0.4) en hoë beloningswaarskynlikheid (p = 0.8)). Op hierdie manier het ons ontwerp ons ook in staat gestel om te ondersoek of kontekstuele nuwigheidsinvloede op beloningsreaksies beïnvloed is deur die waarskynlikheid van beloning. 'N Waarskynlikheidsafhanklike effek van nuwigheid op beloningsverwerking sal sterk steun verleen aan die voorspelling dat nuwigheid en beloningverwerking funksioneel in wisselwerking is. In teenstelling hiermee, kan 'n effek van nuwigheid op beloningsverwante breinaktiwiteit wat onafhanklik is van beloningswaarskynlikheid en grootte, aandui dat nuwigheid en beloning breinstreke deel en addisionele neurale aktiwiteit produseer sonder 'n funksionele interaksie.

Materiaal en metodes

onderwerpe

16 volwassenes het deelgeneem aan die eksperiment (9 vroulike en 7 man; ouderdom 19-32 jaar; gemiddelde 23.8, SD = 3.84 jaar). Alle vakke was gesond, regshandig en het normale of korrek-tot-normale skerpte. Nie een van die deelnemers het 'n geskiedenis van neurologiese, psigiatriese of mediese afwykings of enige huidige mediese probleme gehad nie. Alle eksperimente is uitgevoer met elke vak se skriftelike ingeligte toestemming en volgens die plaaslike etiese klaring (Universiteitskollege Londen, VK).

Eksperimentele ontwerp en taak

Die taak is verdeel in 3 fases. In fase 1 was vakke bekend met 'n stel 10 beelde (5 binne, 5 buite). Elke beeld is 10 keer aangebied vir 1000ms met 'n inter-stimulus interval (ISI) van 1750 ± 500ms. Vakke het die binnenshuise / buitelugstatus aangedui deur hul regter indeks en middelvinger te gebruik. In fase 2 is 3 fraktale beelde gepaar, onder verskillende waarskynlikhede (0, 0.4 en 0.8), met 'n monetêre beloning van 10-pennies in 'n kondisioneringsessie. Elke fraktale beeld is 40 keer aangebied. By elke verhoor is een van 3-fraktale beelde op die skerm vir 750ms aangebied, en vakke het die opsporing van die stimulusaanbieding met 'n drukpers aangedui. Die probabilistiese uitkoms (10 of 0 pence) is as 'n nommer op die skerm 750ms aangebied vir 'n ander 750s en vakke het aangedui of hulle enige geld gewen het of nie hul indeks en middelvinger gebruik nie. Die interproefinterval (ITI) was 1750 ± 500ms. Ten slotte, in 'n toetsfase (fase 3) is die effek van kontekstuele nuwigheid op beloningsverwante antwoorde vasgestel in vier elf minute sessies (Figuur 1). Hier is 'n beeld vir 1000ms aangebied en vakke het die binnenshuise / buitelugstatus aangedui met hul regter indeks en middel vingers. Reaksies kan gemaak word terwyl die toneelfoto en die daaropvolgende fraktale beeld op die skerm vertoon word (1750 ms in totaal). Die beeld was óf uit die bekende stel prente van fase 1 (bekend as 'bekende beelde') of van 'n ander stel prente wat nog nooit aangebied is nie (verwys na as 'nuwe beelde'). In totaal is 240 nuwe beelde vir elke vak aangebied. Daarna is een van die 3 fraktale beelde uit fase 2 (verwys as voorspellingsvoorspelling) vir 750ms aangebied (hier is vakke opdrag gegee om nie te reageer nie). Soos in die tweede fase is die probabilistiese uitkoms (10 of 0 pence) 750ms later vir nog 750ms aangebied en vakke het aangedui of hulle geld gewen het of nie hul indeks en middelvinger gebruik nie. Reaksies kan gemaak word terwyl die uitkoms op die skerm en tydens die daaropvolgende interproefinterval (2500 ± 500 ms in totaal) vertoon word. Die ITI was 1750 ± 500ms. Tydens elke sessie is elke fraktale beeld 20 keer aangebied na 'n nuwe prentjie en 20 keer na 'n bekende prentjie, wat 120-proewe per sessie tot gevolg het. Die aanbiedingsbevel van die ses proefsoorte was volledig gerandomiseerd. Al drie eksperimentele fases is binne die MRI-skandeerder uitgevoer, maar BOLD-data is eers gedurende die toetsfase (fase 3) verkry. Vakke is opdrag gegee om so vinnig en so korrek moontlik te reageer en dat hulle hul verdienste tot £ 20 sal betaal. Deelnemers is vertel dat 10-pennies vir elke verkeerde reaksie afgetrek sal word - hierdie proewe is uitgesluit van die analise. Totale verdienste is net op die skerm vertoon aan die einde van die 4th-blok.

Figuur 1 

Eksperimentele ontwerp

Alle beelde was grysskaal en genormaliseer tot 'n gemiddelde gryswaarde van 127 en 'n standaardafwyking van 75. Nie een van die skerms het mense of menslike liggaamsdele (insluitende gesigte) op die voorgrond uitgebeeld nie. Stimuli is geprojekteer op die middel van 'n skerm en die vakke het hulle deur 'n spieëlsisteem op die kopspoel van die fMRI-skandeerder gekyk.

fMRI data verkryging

fMRI is uitgevoer op 'n 3-Tesla Siemens Allegra-magnetiese resonansskandeerder (Siemens, Erlangen, Duitsland) met echo-planêre beeldvorming (EPI). In die funksionele sessie is 48 T2 * -gewigde beelde per volume (wat hele kop bedek) met bloed oksigenasievlak afhanklike (BOLD) kontras verkry (matriks: 64 × 64; 48 skuins aksiale snye per volume wat by -30 ° in die anteroposterior as; ruimtelike resolusie: 3 × 3 × 3 mm; TR = 2880 ms; TE = 30 ms). Die fMRI-verkrygingsprotokol is geoptimaliseer om gevoeligheid-geïnduseerde BOLD sensitiwiteitsverliese in minderwaardige frontale en tydelike lob gebiede te verminder (Weiskopf et al., 2006). Vir elke vak is funksionele data verkry in vier skandering sessies wat 224 volumes per sessie bevat. Ses addisionele volumes aan die begin van elke reeks is verkry om toe te laat vir stabiele magnetisering en is daarna weggegooi. Anatomiese beelde van elke vak se brein is ingesamel met behulp van multi-echo 3D FLASH vir die kartering van proton digtheid (PD), T1 en magnetisasie oordrag (MT) by 1mm3 resolusie (Weiskopf en Helms, 2008) en deur T1 geweegde inversie herstel voorbereide EPI (IR-EPI) sekwense (ruimtelike resolusie: 1 × 1 × 1 mm). Daarbenewens is individuele veldkaarte aangeteken deur gebruik te maak van 'n dubbele echo FLASH-volgorde (matriksgrootte = 64 × 64; 64 snye; ruimtelike resolusie = 3 × 3 × 3 mm; gap = 1 mm; kort TE = 10 ms; lang TE = 12.46 ms ; TR = 1020 ms) vir vervorming regstelling van die verworwe EPI beelde (Weiskopf et al., 2006). Gebruik die 'FieldMap toolbox' (Hutton et al., 2002) veld kaarte is geskat uit die fase verskil tussen die beelde wat verkry is by die kort en lang TE.

fMRI data analise

Voorverwerking sluit in herrangskikking, ongewone gebruik van individuele veldkaarte, ruimtelike normalisering na die Montreal Neurology Institute (MNI) -ruimte en uiteindelik gladding met 'n 4mm Gauss-kern. Die fMRI tydreeksdata is hooggesuurde filtreer (cutoff = 128 s) en geverf met behulp van 'n AR (1) -model. Vir elke vak is 'n statistiese model bereken deur 'n kanoniese hemodinamiese responsfunksie (HRF) te gebruik, gekombineer met tyd- en dispersie-afgeleides (Friston et al., 1998).

Ons 2 × 3-fakulteitontwerp het 6-voorwaardes ingesluit wat as afsonderlike regressors gemodelleer is: bekende beeld met beloningswaarskynlikheid 0, bekende beeld met beloningswaarskynlikheid 0.4, bekende beeld met beloningswaarskynlikheid 0.8, roman-beeld met beloning waarskynlikheid 0, roman-beeld met beloningswaarskynlikheid 0.4, roman-beeld met beloningswaarskynlikheid 0.8. Die tydelike nabyheid van die beloning-voorspellende aanwysers (dws fraktale beeld) en die beloninguitkoms self stel probleme voor vir die skeiding van BOLD seine wat voortspruit uit hierdie twee gebeurtenisse. Daarom het ons elke verhoor as 'n saamgestelde gebeurtenis gemodelleer, met 'n mini-bakkie wat die aanbieding van beide die cue en die uitslag insluit. Hierdie tegniese beperking was nie problematies vir ons feitelike analise wat gekonsentreer het op die interaksie tussen nuwigheid en beloning van verwerking en mede-voorkomings van beloning en nuwigheidseffekte. Foutproewe is gemodelleer as 'n regressor van geen belang nie. Om oorblywende bewegingsverwante artefakte te vang, is ses kovariate ingesluit (die drie rigiede liggaamsvertaling en drie rotasies voortspruitend uit herrangskikking) as regressors van geen belang nie. Streeks spesifieke toestand effekte is getoets deur lineêre kontraste vir elke vak en elke toestand (eerste vlak analise) te gebruik. Die gevolglike kontrasbeelde is ingeskryf vir 'n tweevlak-ewekansige analise. Hier is die hemodinamiese effekte van elke toestand geassesseer met behulp van 'n 2 × 3-analise van variansie (ANOVA) met die faktore 'nuwigheid' (roman, bekend) en beloningswaarskynlikheid (0, 0.4, 0.8).

Ons het ons analise op 3-anatomies gedefinieerde streke van belangstelling (striatum, middelbrein en hippokampus) gefokus waar interaksies tussen nuwigheid en beloningverwerking op grond van vorige studies veronderstel is (Lisman en Grace, 2005; Wittmann et al., 2005; Bunzeck en Duzel, 2006). Vir volledigheid rapporteer ons ook breinresultate in die aanvullende materiaal. Beide die streatum en hippocampus streke van belang (ROI's) is gedefinieer op grond van die Pick Atlas toolbox (Maldjian et al., 2003; Maldjian et al., 2004). Terwyl die straling-ROI die hoof van caudate, caudate liggaam en putamen ingesluit het, het die hippocampale ROI die amygdala en omliggende rhinale korteks uitgesluit. Ten slotte is die SN / VTA ROI handmatig gedefinieer, met die sagteware MRIcro en die gemiddelde MT-beeld vir die groep. Op MT-beelde kan die SN / VTA onderskei word van omliggende strukture as 'n blink streep (Bunzeck en Duzel, 2006). Daar moet op gelet word dat primêre dopaminerge neurone responsiewe dopaminerge neurone oor die SN / VTA kompleks versprei word en dit is dus gepas om die aktivering van die hele SN / VTA kompleks te oorweeg eerder as om daarop te fokus op subkompartemente (Duzel et al., 2009). Vir hierdie doel, 'n resolusie van 3mm3, soos gebruik in die huidige eksperiment, kan 20-25 voxels van die SN / VTA kompleks, wat 'n volume van 350 tot 400 mm het, monstreer.3.

Results

Gedragsgedrewe het vakke hoë akkuraatheid in taakprestasie tydens die binne- en buite-diskriminasie-taak (gemiddelde trefferratio 97.1%, SD = 2.8% vir bekende prente, gemiddelde trefferratio 96.8%, SD = 2.1% vir nuwe prente;15= 0.38%, SD = 97.8% vir oorwinningsgeleenthede; gemiddelde trefkoers 2.3%, SD = 97.7% vir geen wen-gebeurtenisse nie; t15= 0.03, ns). Vakke gediskrimineer binnenshuise en buitelugstatus vinniger vir bekende in vergelyking met nuwe beelde (gemiddelde reaksietyd (RT) RT = 628.2 ms, SD = 77.3ms vir bekende foto's; gemiddelde RT = 673.8 ms, SD = 111 ms vir nuwe prente; t15= 4.43, P = 0.0005). Daar was geen RT verskil vir die wen / geen wen diskriminasie by die uitkoms tyd (gemiddelde RT = 542ms, SD = 82.2 ms vir wenproewe; gemiddelde RT = 551 ms, SD = 69 ms vir geen wenproewe; t15= 0.82, ns). Net so was daar geen RT verskille vir die 3 verskillende fraktale beelde (0.8-waarskynlikheid: RT = 370.1 ms, SD = 79 ms; 0.4-waarskynlikheid: RT = 354.4, SD = 73.8ms; 0-waarskynlikheid: RT = 372.2ms, SD = 79.3ms; F (1,12) = 0.045, ns). Laasgenoemde RT-analise het drie vakke uitgesluit weens tegniese probleme tydens data-verkryging.

By die ontleding van die fMRI-data het 'n 2 × 3 ANOVA met faktore se nuwigheid (roman, bekende) en beloningswaarskynlikheid (p = 0, p = 0.4, p = 0.8) 'n hoofuitwerking van nuwigheid bilateraal in die hippokampus (Figuur 2A) en regter striatum, FDR-gekorrigeer vir die soekvolume van die ROI's. 'N Eenvoudige hoofeffek van beloning (' p = 0.8> p = 0 ') is waargeneem binne die linker SN / VTA-kompleks (Figuur 2B) en binne bilaterale striatum (Figuur 2C). sien Tabel 1 vir alle geaktiveerde breinstreke.

Figuur 2 

fMRI resultate
Tabel 1 

fMRI resultate

Ons het nie 'n nuwigheid × beloningswaarskynlikheidsinteraksie waargeneem wanneer ons vir verskeie toetse reggestel het oor die hele soekvolume van ons ROI's nie. By die uitvoer van 'n post-hoc-analise (t-toets) van die drie piekvoëls wat 'n hoof effek van beloning in die striatum toon, het ons (ortogonale) effekte van nuwigheid en sy interaksie met beloning gevind: een voxel het ook 'n hoof-effek van nuwigheid en 'n nuwigheid × beloning interaksie, terwyl 'n ander voxel ook 'n hoof-effek van nuwigheid toon.

Soos aangedui in figuur 2C (middel), in die eerste voxel ([8 10 0]; hoofeffek van beloning F (2,30) = 8.12, P = 0.002; hoofeffek van nuwigheid F (1,15) = 7.03, P = 0.02; nuwigheid × beloningsinteraksie F (2,30) = 3.29, P = 0.05) hierdie effek is aangedryf deur hoër BOLD reaksies op proewe met beloningskans 0.4 en voorafgegaan deur 'n nuwe prentjie (post-hoc t-toets: t (15) = 3.48 , P = 0.003). In die tweede voxel (2C regs) ([−10 14 2] hoofeffek van beloning F (2,30) = 13.13, P <0.001; hoofeffek van nuwigheid F (1,15) = 9.19, P = 0.008; nee beduidende interaksie F (2,30) = 1.85, ns) post-hoc t-toetse het weer getoon dat die belangrikste effek van nuutheid gedryf is deur verskille tussen nuwe en bekende beelde by die twee lae waarskynlikheid van beloninglewering (t (15) = 2.79, P = 0.014; en t (15) = 2.19, P = 0.045, vir die waarskynlikheid onderskeidelik p = 0 en p = 0.4), (sien figuur 2C). In teenstelling hiermee het die derde voxel (2C links [XXXXXXXXXXXXXXXX] hoof effek van beloning, F (22) = 4, P = 0) ook nie 'n hoof-effek van nuwigheid (F (2,30) = 9.1, ns) of 'n interaksie (F (0.001) = 1,15, ns).

In die middelbrein het die voxel met maksimale beloningsverwante reaksies ([−8 −14 −8], F (2,30) = 12.19, P <0.001) ook 'n neiging getoon na 'n hoofeffek van nuwigheid (F (1,15 , 4.18) = 0.059, P = 2,30) in die afwesigheid van 'n beduidende interaksie (F (0.048) = XNUMX, ns).

Bespreking

Nuwe beelde van tonele verbeterde striatale beloningsreaksies wat deur latere en onverwante belonende gebeure ontlok word (voorspel abstrakte aanwysings en beloninglewering). Soos verwag, het nuwe beelde ook die hippocampus geaktiveer. Hierdie bevindinge verskaf eerste bewyse, na ons kennis, vir 'n fisiologiese voorspelling dat nuwelingverwante hippocampale aktivering 'n kontekstuele versterkende effek op beloningverwerking in die ventrale striatum moet uitoefen (Lisman en Grace, 2005; Bunzeck en Duzel, 2006).

As gevolg van die eienskappe van die BOLD-sein, het die temporele nabyheid van die beloning-voorspellende kuier- en uitkomslewering 'n beraming van die gevolge van nuwigheid op hierdie gebeurtenisse afsonderlik voorkom. Ons het eerder die cue-uitkoms volgorde beskou as 'n saamgestelde gebeurtenis en het bevind dat die effek van nuwigheid op loonverwerking verander as 'n funksie van die waarskynlikheid van beloningsvoorkoms. 'N Verbetering is slegs waargeneem wanneer die waarskynlikheid van die voorspelde beloning laag was (0 of 0.4) en was afwesig vir hoë waarskynlikheidswaarskynlikheid (0.8) (Figuur 2C). Dit is belangrik om daarop te let dat hierdie patroon van resultate nie verklaar kan word deur onafhanklike effekte van nuwigheid en beloning in dieselfde streek nie. BOLD effekte wat veroorsaak word deur twee funksioneel afsonderlike, maar ruimtelik oorvleuelende neurale populasies, sal toevoeging wees ongeag die waarskynlikheid van beloning en lei dus tot 'n nuwigheidseffek ook in die 0.8 waarskynlikheidstoestand. Daarom beredeneer hierdie waarskynlikheidsafhanklike effekte van nuwigheid op beloningsverwerking teen die moontlikheid dat hulle 'n kontaminasie weerspieël deur BOLD-antwoorde wat deur nuwe stimuli self ontwikkel word. Die bevindinge dui eerder daarop dat kontekstuele nuwigheid die vergoeding per se verhoog, alhoewel slegs in die lae waarskynlikheidstoestand.

Soos hierbo verduidelik, kon ons nie BOLD-antwoorde tussen beloningsvooruitsig (leidrade) en beloning aflewering (uitkomste) ontwrig nie. Nuutheid kan die verwerking van nie-belonende uitkomste selektief verhoog het (geen wenproewe nie). Dit sal in ooreenstemming wees met die feit dat ons nie enige beduidende nuwigheidseffek op proewe met hoë beloningswaarskynlikheid waargeneem het nie, omdat 80% van hierdie proewe tot gevolg gehad het dat beloning gelewer word. Alternatiewelik kan nuwigheid beïnvloed word deur beloningsverwagting vir leidrade wat laer waarskynlikheidslewering voorspel het (dws 0 en 0.4). In beide gevalle het kontekstuele nuwigheid verbeterde breinvoorstelling vir die gebeure wat objektief minder beloonend was. Daarbenewens is die tekort aan nuwigheidsmodulasie van beloningssignale in die hoë waarskynlikheidstoestand onwaarskynlik dat dit te wyte is aan 'n plafon-effek in loonverwerking. Vorige werk het getoon dat beloningsverwante reaksies in die menslike striatum aangepas word adaptief in verskillende kontekste, wat 'n sein tot gevolg het wat aandui of 'n uitkoms gunstig of ongunstig is in 'n bepaalde omgewing (Nieuwenhuis et al. 2004). Dit kan dus verwag word dat beloningsresponse ook in staat moet wees om 'n nuwigheidsbonus te akkommodeer onder toestande van hoë beloningswaarskynlikheid.

Dit is goed gevestig dat die primaatbrein leer oor die waarde van verskillende stimuli wat gepaard gaan met beloning in klassieke kondisioneringseksperimente, gemeet aan verhoogde afwagting van die uitkoms (bv. Verhoogde lek). In die huidige eksperiment het ons reaksietye tydens die kondisioneringsfase gemeet, maar nie verskille gevind tussen die verskillende vlakke van voorspellende sterkte nie. Met inagneming van die eenvoud van die taak en die spoed waarmee proefpersone reageer (<375ms vir alle toestande), kan hierdie gebrek aan differensiële reaksie te wyte wees aan 'n plafoneffek. Ondanks die gebrek aan 'n objektiewe gedragsmaatreël vir kondisionering, is die suksesvolle gebruik van hierdie tipe aanwysings in vorige studies (bv O'Doherty et al., 2003) stel voor dat vakke steeds 'n assosiasie tussen die aanwysers en die verskillende waarskynlikhede van beloningslewering gevorm het.

In vorige werk is beloningseine in die striatum gekoppel aan 'n verskeidenheid beloningsverwante eienskappe, beide in mense en nie-menslike primate, insluitende waarskynlikheid (Preuschoff et al., 2006; Tobler et al., 2008), grootte (Knutson et al., 2005), onsekerheid (Preuschoff et al., 2006) en aksie waarde (Samejima et al., 2005). Hierdie verskeidenheid van beloningsverwante veranderlikes wat in die striatum uitgedruk word, pas goed met sy rol as 'n limbiese / sensorimotoriese koppelvlak met 'n kritieke rol in die organisasie van doelgerigte gedrag (Wickens et al., 2007). Beide die SN / VTA en die striatum, een van die groot projeksie terreine van die midbrain dopaminesisteem, reageer ook op voorspellende leidrade in klassieke kondisioneringsparadigmas (bv. (Delgado et al., 2000; Knutson et al., 2000; Fiorillo et al., 2003; Knutson et al., 2005; Tobler et al., 2005; Wittmann et al., 2005; D'Ardenne et al., 2008). Volgens verskeie berekeningsperspektiewe leer dopamien-oordrag van die SN / VTA die striatum oor die waarde van gekondisioneerde stimuli via 'n voorspellingsfout sein (Schultz et al., 1997).

Alhoewel in klassieke kondisioneringstudies beloning en nie-beloningsvoorstellings wat in die striatum uitgespreek word, nie altyd duidelike gedragsgevolge het nie (O'Doherty et al., 2003; Den Ouden et al., 2009), fMRI studies het stelselmatig getoon dat veranderinge in striatale BOLD aktiwiteit korreleer met voorspellingsfoute wat verband hou met die waarde van keusemoontlikhede soos gekenmerk deur berekeningsmodelle wat pas by gedragsdata (O'Doherty et al., 2004; Pessiglione et al., 2006). Striatale staatswaarde-voorstellings wat nie aan 'n aksie gekoppel is nie, kan verband hou met seine van beloning beskikbaarheid wat in voorbereidende antwoorde vertaal word, byvoorbeeld benadering of verfrissende effekte soos gesien in die pavlovian-instrumentele oordrag (PIT) (Kardinaal et al., 2002; Talmi et al., 2008). Ons data stel voor dat nuwigheid sulke staatswaardevertoë moduleer deur die verwagting van beloning of die reaksie op nie-belonende uitkomste te verhoog. Die gevolg van hierdie interaksie tussen nuwigheid en beloning kan die opwekking van onvoorwaardelike voorbereidende antwoorde wees. In die werklike wêreld sal sulke antwoorde lei tot 'n beter benadering wanneer nuwigheid met 'n sleutel geïdentifiseer word (Wittmann et al., 2008) of ewekansige verkenning van die omgewing wanneer nuwigheid opgespoor word, maar nie geassosieer word met 'n spesifieke kuier soos waargeneem in die dierlike literatuur nie (Hake en Kalivas, 1994). Hierdie siening is ook in ooreenstemming met invloedryke berekeningsmodelle (Kakade en Dayan, 2002).

Een kritiese struktuur wat waarskynlik betrokke is by die kontekstueel verbeterde beloningsreaksies in die striatum, is die hippokampus. Soos in vorige studies (Tulving et al., 1996; Vreemd et al., 1999; Bunzeck en Duzel, 2006; Wittmann et al., 2007) Ons wys dat kontekstuele nuwigheid die hippokampus sterker as bekendheid geaktiveer het. Gegewe sy sterk (indirekte) projeksies vir die SN / VTA, stel ons voor dat hierdie struktuur die waarskynlike bron is vir 'n nuwigheidsignaal aan die midbrain dopaminerge sisteem (Lisman en Grace, 2005; Bunzeck en Duzel, 2006). Die dopaminergiese middelbrein ontvang ook insette van ander breinareas soos die prefrontale korteks wat ook nuwigheidsseine daaroor kon oordra (Fields et al., 2007). Gegewe die getuienis tot op datum, beskou ons egter die hippokampus as die mees waarskynlike kandidaat vir die bestuur van 'n nuwigheidverwante disinhibisie van midbrain dopamienneurone wat 'n versterking van striatale beloningseine in die konteks van nuwigheid sou verduidelik. Aan die ander kant kan die waarskynlikheidsafhanklike moderering van die kontekstuele nuwigheidseffek op sy beurt ontstaan ​​het in die prefrontale korteks (PFC). Fisiologiese studies toon dat toenemende PFC-drywing na SN / VTA-neurone die dopaminerge modulasie van PFC-streke slegs verhoog, maar nie dopaminerge toevoer aan die ventrale striatum nie (Margolis et al., 2006). Deur so 'n meganisme kan PFC die waarskynlikheidsafhanklike kontekstuele effekte van nuwigheid op SN / VTA en ventrale striatale beloningverteenwoordiging reguleer.

Om te concludeer, toon die huidige resultate dat kontekstuele nuwigheid die verwerking van vergoeding in die striatum verhoog in reaksie op onverwante aanwysings en uitkomste. Hierdie bevindings is verenigbaar met die voorspellings van 'n polysinaptiese baanmodel (Lisman en Grace, 2005) waarin hippocampale nuwigheidseine 'n meganisme bied vir die kontekstuele regulering van toegewyde toewysing aan onverwante gebeurtenisse.

Aanvullende materiaal

Supp1

Bedankings

Hierdie werk is ondersteun deur 'n Wellcome Trust Project Grant (aan ED en RJD 81259; www.wellcome.ac.uk; RD word ondersteun deur 'n Wellcome Trust Program Grant. MG het 'n Marie Curie-genootskapwww.mariecurie.org.uk). KES erken ondersteuning deur die SystemsX.chh-projek NEUROCHOICE.

Verwysingslys

  • Aron AR, Shohamy D, Clark J, Myers C, Gluck MA, Poldrack RA. Menslike middelbrein sensitiwiteit vir kognitiewe terugvoer en onsekerheid tydens klassifikasie leer. J Neurofisiolo. 2004; 92: 1144-1152. [PubMed]
  • Berridge KC, Robinson TE. Parseer beloning. Neigings Neurosci. 2003; 26: 507-513. [PubMed]
  • Bunzeck N, Duzel E. Absolute kodering van stimulus nuwigheid in die menslike substantia nigra / VTA. Neuron. 2006; 51: 369-379. [PubMed]
  • Kardinale RN, Parkinson JA, Hall J, Everitt BJ. Emosie en motivering: die rol van die amygdala, ventrale striatum en prefrontale korteks. Neurosci Biobehav Eerw. 2002; 26: 321-352. [PubMed]
  • D'Ardenne K, McClure SM, Nystrom LE, Cohen JD. BOLD antwoorde wat dopaminerge seine weerspieël in die menslike ventrale tegmentale area. Wetenskap. 2008; 319: 1264-1267. [PubMed]
  • Delgado MR, Nystrom LE, Fissell C, Noll DC, Fiez JA. Volg die hemodinamiese reaksies op beloning en straf in die striatum. J Neurofisiolo. 2000; 84: 3072-3077. [PubMed]
  • die Ouden HJ, Friston KJ, Daw ND, McIntosh AR, Stephan KE. 'N Dubbele rol vir voorspellingsfout in assosiatiewe leer. Cereb Cortex. 2009; 19: 1175-1185. [PMC gratis artikel] [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Funksionele beeldvorming van die menslike dopaminerge middelbrein. Neigings Neurosci. 2009 [PubMed]
  • Velden HL, Hjelmstad GO, Margolis EB, Nicola SM. Ventrale tegmentale area neurone in geleerde eetlus en positiewe versterking. Annu Rev Neurosci. 2007; 30: 289-316. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Diskrete kodering van beloningswaarskynlikheid en onsekerheid deur dopamienneurone. Wetenskap. 2003; 299: 1898-1902. [PubMed]
  • Floresco SB, Wes AR, Ash B, Moore H, Grace AA. Afferente modulasie van dopamienneuronskiet differensieel reguleer toniese en fasiese dopamien-oordrag. Nat Neurosci. 2003; 6: 968-973. [PubMed]
  • Frank MJ, Seeberger LC, O'Reilly RC. Deur wortel of stok: kognitiewe versterkingsleer in parkinsonisme. Wetenskap. 2004; 306: 1940-1943. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. Gebeurtenis-verwante fMRI: kenmerkende differensiële response. Neuro Image. 1998; 7: 30-40. [PubMed]
  • Grace AA, Bunney BS. Intrasellulêre en ekstrasellulêre elektrofisiologie van nigrale dopaminerge neurone – 1. Identifisering en karakterisering. Neurowetenskap. 1983; 10: 301–315. [PubMed]
  • Haken MS, Kalivas PW. Betrokkenheid van dopamien- en opwekkende aminosuur-oordrag in nuwigheidsgeïnduceerde motoriese aktiwiteit. J Pharmacol Exp Ther. 1994; 269: 976-988. [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Beeldvervormingskorreksie in fMRI: 'n Kwantitatiewe evaluering. Neuro Image. 2002; 16: 217-240. [PubMed]
  • Kakade S, Dayan P. Dopamien: veralgemening en bonusse. Neurale Netw. 2002; 15: 549-559. [PubMed]
  • Knutson B, Westdorp A, Kaiser E, Hommer D. FMRI visualisering van breinaktiwiteit tydens 'n monetêre aansporing vertraging taak. Neuro Image. 2000; 12: 20-27. [PubMed]
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Verspreide neurale voorstelling van verwagte waarde. J Neurosci. 2005; 25: 4806-4812. [PubMed]
  • Lisman JE, Grace AA. Die hippocampus-VTA-lus: beheer die inskrywing van inligting in die langtermyngeheue. Neuron. 2005; 46: 703-713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Reaksies van aapdopamienneurone tydens die leer van gedragsreaksies. J Neurofisiolo. 1992; 67: 145-163. [PubMed]
  • Maldjian JA, Laurienti PJ, Burdette JH. Precentrale gyrus-teenstrydigheid in elektroniese weergawes van die Talairach-atlas. Neuro Image. 2004; 21: 450-455. [PubMed]
  • Maldjian JA, Laurienti PJ, Kraft RA, Burdette JH. 'N Outomatiese metode vir neuroanatomiese en sitoarchitoniese atlasgebaseerde ondervraging van fMRI datastelle. Neuro Image. 2003; 19: 1233-1239. [PubMed]
  • Margolis EB, Lock H, Chefer VI, Shippenberg TS, Hjelmstad GO, Fields HL. Kappa opioïede beheer selektief dopaminerge neurone wat na die voorfrontale korteks projiseer. Proc Natl Acad Sci VSA A. 2006; 103: 2938-2942. [PMC gratis artikel] [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Dissociable rolle van ventrale en dorsale striatum in instrumentale kondisionering. Wetenskap. 2004; 304: 452-454. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Temporale verskilmodelle en beloningsverwante leer in die menslike brein. Neuron. 2003; 38: 329-337. [PubMed]
  • Pessiglione M, Seymour B, Flandin G, Dolan RJ, Frith CD. Dopamien-afhanklike voorspellingsfoute ondersteun beloning-soekende gedrag by mense. Aard. 2006; 442: 1042-1045. [PMC gratis artikel] [PubMed]
  • Preuschoff K, Bossaerts P, Quartz SR. Neurale differensiasie van verwagte beloning en risiko in menslike subkortiese strukture. Neuron. 2006; 51: 381-390. [PubMed]
  • Samejima K, Ueda Y, Doya K, Kimura M. Verteenwoordiging van aksie-spesifieke beloningswaardes in die striatum. Wetenskap. 2005; 310: 1337-1340. [PubMed]
  • Schultz W, Dayan P, Montague PR. 'N Neurale substraat van voorspelling en beloning. Wetenskap. 1997; 275: 1593-1599. [PubMed]
  • Vreemde BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Skeiding van die funksies van menslike hippokampus. Proc Natl Acad Sci VSA A. 1999; 96: 4034-4039. [PMC gratis artikel] [PubMed]
  • Talmi D, Seymour B, Dayan P, Dolan RJ. Menslike pavlovian-instrumentele oordrag. J Neurosci. 2008; 28: 360-368. [PMC gratis artikel] [PubMed]
  • Tobler PN, Fiorillo CD, Schultz W. Adaptiewe kodering van beloningswaarde deur dopamienneurone. Wetenskap. 2005; 307: 1642-1645. [PubMed]
  • Tobler PN, Christopoulos GI, O'Doherty JP, Dolan RJ, Schultz W. Neuronale vervormings van beloningswaarskynlikheid sonder keuse. J Neurosci. 2008; 28: 11703-11711. [PMC gratis artikel] [PubMed]
  • Tulving E, Markowitsch HJ, Craik FE, Habib R, Houle S. Novelty en bekendheid aktiverings in PET studies van geheue kodering en herwinning. Cereb Cortex. 1996; 6: 71-79. [PubMed]
  • Weiskopf N, Helms G. Multi-parameter kartering van die menslike brein by 1mm resolusie in minder as 20 minute; ISMRM 16; Toronto, Kanada. 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. Optimale EPI parameters vir die vermindering van vatbaarheidsgeïnduceerde BOLD sensitiwiteitsverliese: 'n heelbreinanalise by 3 T en 1.5 T. Neuroimage. 2006; 33: 493-504. [PubMed]
  • Wickens JR, Horvitz JC, Costa RM, Killcross S. Dopaminerge meganismes in aksies en gewoontes. J Neurosci. 2007; 27: 8181-8183. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Verwagting van nuwigheid werf beloningstelsel en hippocampus terwyl die herinnering bevorder word. Neuro Image. 2007; 38: 194-202. [PMC gratis artikel] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Striatale aktiwiteit hou verband met nuwigheidsgebaseerde keuse by mense. Neuron. 2008; 58: 967-973. [PMC gratis artikel] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Beloningsverwante FMRI-aktivering van dopaminerge middelbrein word geassosieer met verhoogde hippokampus-afhanklike langtermyn-geheueformasie. Neuron. 2005; 45: 459-467. [PubMed]