Contextual Novelty Changes Reward Representations in the Striatum (2010)

Marc Guitart-Masip,^*,1,2 Nico Bunzeck,^*,1 Klaas E Stephan,^2,3 Raymond J Dolan,² en Emrah Düzel^1,4

Auteursinformatie ► Informatie over auteursrecht en licentie ►

Ga naar:

Abstract

Introductie

De basale ganglia, samen met hun dopaminerge afferenten, bieden een mechanisme om meer te weten te komen over de beloningswaarde van verschillende gedragsopties (Berridge en Robinson, 2003; Frank et al., 2004; Pessiglione et al., 2006). In overeenstemming met deze visie tonen fMRI-onderzoeken aan dat beloning en beloningsvoorspellende aanwijzingen hersenactiviteit in het striatum oproepen (bijv.Delgado et al., 2000; Knutson et al., 2000; O'Doherty et al., 2003; O'Doherty et al., 2004) en middenhersenen (Aron et al., 2004; Wittmann et al., 2005). Het dopaminerge systeem van de middenhersenen reageert echter ook op niet-lonende nieuwe stimuli bij apen (Ljungberg et al., 1992) en mensen (Bunzeck en Duzel, 2006; Wittmann et al., 2007). Vanuit een computationeel perspectief is gesuggereerd dat nieuwigheid zelf kan fungeren als een motiverend signaal dat de representatie van beloningen stimuleert en onderzoek doet naar een onbekende, nieuwe keuzemogelijkheid (Kakade en Dayan, 2002).

Hoewel de verwerking van nieuwheid en beloning gemeenschappelijke neurale mechanismen delen, blijft het neurale substraat dat een interactie tussen nieuwheid en beloning ondersteunt, slecht begrepen. Onderzoek bij dieren onthult dat hippocampale nieuwheidssignalen het vermogen van dopamine-neuronen om barstvuuractiviteit te vertonen reguleren. Gezien het feit dat burst-burst het belangrijkste dopaminerge responspatroon is dat codeert voor beloningen en mogelijk andere opvallende gebeurtenissen, is er goede reden om te vermoeden dat hippocampale nieuwheidssignalen het potentieel hebben om de verwerking van beloningen en salience-attributie te reguleren (Lisman en Grace, 2005). Nieuwheidssignalen van het hippocampus worden via het subiculum, het ventrale striatum en het ventrale pallidum naar VTA overgebracht, waar ze disinhibitie van stille dopamineneuronen veroorzaken om een ​​modus van tonische activiteit te induceren (Lisman en Grace, 2005; Grace en Bunney, 1983). Belangrijk is dat alleen tonisch actieve maar niet stille dopamine-neuronen in de burst-modus overgaan en fasische reacties vertonen (Floresco et al., 2003). Op deze manier hebben hippodamp-nieuwigheidssignalen het potentieel om fasische dopaminesignalen te stimuleren en het coderen van nieuwe informatie in langetermijngeheugen te vergemakkelijken.

Hoewel recent onderzoek heeft aangetoond dat stimulusnieuwigheid een striatale beloning-voorspellingsfout verbetert (Wittmann et al., 2008), heeft deze bevinding geen betrekking op een fysiologische hypothese dat contextuele nieuwheid een versterkend effect uitoefent op daaropvolgende beloningssignalen (Lisman en Grace, 2005). Het testen hiervan vereist een onafhankelijke manipulatie van het niveau van nieuwheid en beloning zodanig dat nieuwheid (en vertrouwdheid) fungeren als temporeel uitgebreide contexten voorafgaand aan beloningen. We onderzochten de expressie van striatale modulatie van beloningsverwerking in de context van nieuwheid door een nieuwe stimulus te presenteren voorafgaand aan de presentatie van cues die beloningen voorspellen. Bovendien hebben we beide factoren (nieuwheid en beloning) onafhankelijk gemanipuleerd; hierdoor konden we hun overeenkomstige neurale representaties onderscheiden. We presenteerden onderwerpen met een van de drie verschillende fractalafbeeldingen die de beloning opleverden met een gegeven waarschijnlijkheid (geen beloning (p = 0), laag (p = 0.4) en hoge beloningskans (p = 0.8)). Op deze manier stelde ons ontwerp ons ook in staat om te onderzoeken of contextuele nieuwheidsinvloeden op beloningsreacties beïnvloed werden door de kans op beloning. Een waarschijnlijkheidsafhankelijk effect van nieuwheid op beloningsverwerking zou een sterke ondersteuning bieden voor de voorspelling dat nieuwheid en beloningsverwerking functioneel op elkaar inwerken. Een nieuw effect op beloningsgerelateerde hersenactiviteit dat onafhankelijk is van beloningskans en -grootte, zou daarentegen aangeven dat nieuwheid en beloning hersenregio's delen en additieve neurale activiteit produceren zonder functionele interactie.

Materiaal en Methoden

vakken

16-volwassenen namen deel aan het experiment (9 vrouwelijk en 7 mannelijk, leeftijdbereik 19-32 jaar, gemiddelde 23.8, SD = 3.84 jaar). Alle proefpersonen waren gezond, rechtshandig en hadden een normale of gecorrigeerde tot normale scherpte. Geen van de deelnemers rapporteerde een geschiedenis van neurologische, psychiatrische of medische aandoeningen of huidige medische problemen. Alle experimenten werden uitgevoerd met de schriftelijke geïnformeerde toestemming van elk onderwerp en volgens de plaatselijke ethische goedkeuring (University College London, UK).

Experimenteel ontwerp en taak

De taak was verdeeld in 3-fasen. In fase 1 werden proefpersonen vertrouwd gemaakt met een reeks 10-afbeeldingen (5 indoor, 5 outdoor). Elke afbeelding kreeg 10-tijden voor 1000ms met een inter-stimulusinterval (ISI) van 1750 ± 500ms. Onderwerpen gaven de binnen- / buitenstatus aan met hun rechter wijsvinger en middelvinger. In fase 2 werden 3-fractalafbeeldingen met verschillende waarschijnlijkheden gepaard (0, 0.4 en 0.8), met een geldelijke beloning van 10-pence in een conditioneringssessie. Elke fractal afbeelding werd 40 keer getoond. Bij elke proef werd een van de 3-fractalafbeeldingen op het scherm voor 750ms gepresenteerd en gaven de proefpersonen de detectie van de stimuluspresentatie aan met een druk op de knop. De probabilistische uitkomst (10 of 0 pence) werd later op het scherm 750ms gepresenteerd als een cijfer voor nog een 750ms en de proefpersonen gaven aan of ze wel of geen geld hadden verdiend met hun wijsvinger en middelvinger. Het Inter Trial-interval (ITI) was 1750 ± 500ms. Ten slotte werd in een testfase (fase 3) het effect van de contextuele nieuwheid op beloningsgerelateerde reacties bepaald in vier sessies van elf minuten (Figuur 1). Hier werd een afbeelding gepresenteerd voor 1000ms en gaven proefpersonen de indoor / outdoor-status aan met hun rechter wijsvinger en middelvinger. Er konden antwoorden worden gegeven terwijl de scènebeeld en het daaropvolgende fractalbeeld op het scherm werden weergegeven (in totaal 1750-ms). De afbeelding was afkomstig uit de vertrouwde set foto's uit fase 1 ('vertrouwde afbeeldingen' genoemd) of uit een andere reeks foto's die nog nooit waren gepresenteerd ('nieuwe afbeeldingen' genoemd). In totaal werden 240 nieuwe afbeeldingen gepresenteerd aan elk onderwerp. Daarna werd een van de 3-fractalafbeeldingen van fase 2 (aangeduid als beloningsvoorspellende cue) gepresenteerd voor 750ms (hier werd de proefpersonen geïnstrueerd niet te reageren). Net als in de tweede fase, werd de probabilistische uitkomst (10 of 0 pence) 750ms later gepresenteerd voor nog een 750ms en gaven proefpersonen aan of ze geld wonnen of hun wijsvinger en middelvinger niet gebruikten. Er konden antwoorden worden gegeven terwijl de uitkomst op het scherm en tijdens het daaropvolgende intertriale interval (in totaal 2500 ± 500 ms) werd weergegeven. De ITI was 1750 ± 500ms. Tijdens elke sessie werd elk fractal-beeld 20 keer getoond na een nieuwe afbeelding en 20 keer na een vertrouwde afbeelding, resulterend in 120-onderzoeken per sessie. De presentatievolgorde van de zes soorten proeven was volledig gerandomiseerd. Alle drie de experimentele fasen werden uitgevoerd binnen de MRI-scanner, maar er werden alleen BOLD-gegevens verzameld tijdens de testfase (fase 3). De proefpersonen kregen de opdracht om zo snel en correct mogelijk te reageren en hun inkomsten tot £ 20 te betalen. Deelnemers kregen te horen dat 10-pence voor elke foutieve respons zou worden afgetrokken - deze onderzoeken werden van de analyse uitgesloten. Het totale inkomen werd pas aan het einde van het 4th-blok op het scherm weergegeven.

 

Figuur 1

Experimenteel ontwerp

Alle afbeeldingen zijn grijs geschaald en genormaliseerd naar een gemiddelde grijswaarde van 127 en een standaardafwijking van 75. Geen van de scènes verbeeldde menselijke wezens of menselijke lichaamsdelen (inclusief gezichten) op de voorgrond. Stimuli werden op het midden van een scherm geprojecteerd en de proefpersonen keken door een spiegelsysteem dat op de kopspoel van de fMRI-scanner was bevestigd.

fMRI data-acquisitie

fMRI werd uitgevoerd op een 3-Tesla Siemens Allegra magnetische resonantiescanner (Siemens, Erlangen, Duitsland) met echo-vlakke beeldvorming (EPI). In de functionele sessie werden 48 T2 * -gewogen afbeeldingen per volume (die het hele hoofd bedekken) met bloedoxygeniveau-afhankelijk (BOLD) contrast verkregen (matrix: 64 × 64; 48 schuine axiale plakken per volume schuin op -30 ° in de anteroposterior as; ruimtelijke resolutie: 3 × 3 × 3 mm; TR = 2880 ms; TE = 30 ms). Het fMRI-acquisitieprotocol was geoptimaliseerd om door gevoeligheid geïnduceerde BOLD-gevoeligheidsverliezen in inferieure frontale en temporale lobgebieden (Weiskopf et al., 2006). Voor elk onderwerp werden functionele gegevens verzameld in vier scansessies met 224-volumes per sessie. Zes extra volumes aan het begin van elke reeks werden verkregen om steady-state-magnetisatie mogelijk te maken en werden vervolgens weggegooid. Anatomische beelden van de hersenen van elk individu werden verzameld met behulp van multi-echo 3D FLASH voor het in kaart brengen van proton density (PD), T1 en magnetisatieoverdracht (MT) bij 1mm³ resolutie (Weiskopf en Helms, 2008) en door T1 gewogen inversieherstel voorbereide EPI (IR-EPI) -sequenties (ruimtelijke resolutie: 1 × 1 × 1 mm). Daarnaast werden afzonderlijke veldkaarten vastgelegd met behulp van een dubbele echo-FLASH-reeks (matrixgrootte = 64 × 64; 64-segmenten; ruimtelijke resolutie = 3 × 3 × 3 mm; spatie = 1 mm; korte TE = 10 ms; lange TE = 12.46 ms ; TR = 1020 ms) voor vervormingscorrectie van de verkregen EPI-afbeeldingen (Weiskopf et al., 2006). Gebruik van de 'FieldMap-toolbox' (Hutton et al., 2002) veldmappen werden geschat op basis van het faseverschil tussen de beelden die werden verkregen bij de korte en lange TE.

fMRI data-analyse

Pre-processing bestond uit herschikking, unwarping met behulp van individuele fieldmaps, ruimtelijke normalisatie naar de Montreal Neurology Institute (MNI) -ruimte en tot slot smoothing met een 4mm Gauss-kernel. De gegevens van de fMRI-tijdreeksen werden hoogdoorlaatgefilterd (afkapping = 128 s) en gewit met een AR (1) -model. Voor elk onderwerp werd een statistisch model berekend door een canonieke hemodynamische responsfunctie (HRF) in combinatie met tijd- en dispersieafgeleiden toe te passen (Friston et al., 1998).

Ons 2 × 3-faculteitontwerp omvatte interessante 6-voorwaarden die werden gemodelleerd als afzonderlijke regressoren: bekend beeld met beloningswaarschijnlijkheid 0, bekend beeld met beloningswaarschijnlijkheid 0.4, bekend beeld met beloningswaarschijnlijkheid 0.8, nieuw beeld met beloning -waarschijnlijkheid 0, nieuw beeld met beloningswaarschijnlijkheid 0.4, nieuw beeld met beloningswaarschijnlijkheid 0.8. De temporele nabijheid van de beloningsvoorspellende cues (dwz het fractale beeld) en het resultaat van de beloning zelf levert problemen op voor de scheiding van BOLD-signalen die voortkomen uit deze twee gebeurtenissen. Daarom hebben we elke proef gemodelleerd als een samengestelde gebeurtenis, met behulp van een mini-boxcar met de presentatie van zowel de keu als de uitkomst. Deze technische beperking was niet problematisch voor onze faculteitanalyse, die zich concentreerde op de wisselwerking tussen nieuwheid en beloningverwerking en co-occurrences van beloning en nieuwheidseffecten. Foutproeven werden gemodelleerd als een regressor zonder interesse. Om resterende bewegingsgerelateerde artefacten vast te leggen, werden zes covariaten opgenomen (de drie rigide-lichaamsvertaalingen en drie rotaties als gevolg van herschikking) als regressoren zonder interesse. Regio-specifieke conditie-effecten werden getest door gebruik te maken van lineaire contrasten voor elk onderwerp en elke conditie (analyse op het eerste niveau). De resulterende contrastbeelden werden ingevoerd in een analyse van effecten op het tweede niveau. Hier werden de hemodynamische effecten van elke aandoening beoordeeld met behulp van een 2 × 3-variantieanalyse (ANOVA) met de 'nieuwheid' van de factoren (nieuw, bekend) en de kans op beloning (0, 0.4, 0.8).

We hebben onze analyse gericht op 3-anatomisch gedefinieerde interessante regio's (striatum, middenhersenen en hippocampus), waarbij op basis van eerdere studies werd verondersteld dat interacties tussen nieuwheid en beloningsverwerking werden verondersteld (Lisman en Grace, 2005; Wittmann et al., 2005; Bunzeck en Duzel, 2006). Voor de volledigheid rapporteren we ook resultaten over de gehele hersenen in het aanvullende materiaal. Zowel de interessegebieden van het striatum en de hippocampus (ROI's) werden gedefinieerd op basis van de werkset van Pick Atlas (Maldjian et al., 2003; Maldjian et al., 2004). Terwijl de striatale ROI de kop van het caudaat, het caudate lichaam en het putamen omvatte, sloot de ROI van de hippocampus de amygdala en de omliggende rhinale cortex uit. Ten slotte werd de SN / VTA ROI handmatig gedefinieerd, met behulp van de software MRIcro en de gemiddelde MT-afbeelding voor de groep. Op MT-beelden kan de SN / VTA worden onderscheiden van omliggende structuren als een heldere streep (Bunzeck en Duzel, 2006). Opgemerkt moet worden dat bij primaten de responsieve dopaminerge neuronen verdeeld zijn over het SN / VTA-complex en het daarom passend is om de activering van het gehele SN / VTA-complex in overweging te nemen in plaats van het te richten op subcompartimenten (Duzel et al., 2009). Voor dit doel een resolutie van 3mm³, zoals gebruikt in het huidige experiment, maakt het mogelijk om 20-25 voxels van het SN / VTA-complex te bemonsteren, dat een volume heeft van 350 tot 400 mm³.

Resultaten

Gedrag vertonen een hoge nauwkeurigheid van taakprestaties tijdens de discriminatietaak binnenshuis / buitenshuis (gemiddelde hitratio 97.1%, SD = 2.8% voor bekende foto's; gemiddelde hitratio 96.8%, SD = 2.1% voor nieuwe foto's;₁₅= 0.38, ns), evenals voor de win / no-win-discriminatie op de uitkomsttijd (gemiddelde hitratio 97.8%, SD = 2.3% voor win-evenementen; gemiddelde hitratio 97.7%, SD = 2.2% voor geen win-evenementen; t₁₅= 0.03, ns). Onderwerpen discrimineerden de binnen- en buitenstatus sneller voor vertrouwd in vergelijking met nieuwe afbeeldingen (gemiddelde reactietijd (RT) RT = 628.2 ms, SD = 77.3ms voor bekende afbeeldingen; gemiddelde RT = 673.8 ms, SD = 111 ms voor nieuwe foto's;₁₅= 4.43, P = 0.0005). Er was geen RT-verschil voor de win / no-win-discriminatie op de uitkomsttijd (gemiddelde RT = 542ms, SD = 82.2 ms voor winstproeven; gemiddelde RT = 551-ms, SD = 69 ms voor geen winproeven; t₁₅= 0.82, ns). Evenzo waren er tijdens conditionering geen RT-verschillen voor de 3 verschillende fractalafbeeldingen (0.8-waarschijnlijkheid: RT = 370.1 ms, SD = 79 ms; 0.4-waarschijnlijkheid: RT = 354.4, SD = 73.8ms; 0-waarschijnlijkheid: RT = 372.2ms, SD = 79.3ms; F (1,12) = 0.045, ns). De laatste RT-analyse sloot drie onderwerpen uit vanwege technische problemen tijdens de data-acquisitie.

Bij de analyse van de fMRI-gegevens liet een 2 × 3-ANOVA met factoren 'nieuwheid' (nieuw, bekend) en kans op beloning (p = 0, p = 0.4, p = 0.8) een belangrijk nieuwheidseffect zien in de hippocampus (Figuur 2A) en rechter striatum, FDR-gecorrigeerd voor het zoekvolume van de ROI's. Een eenvoudig hoofdeffect van beloning ('p = 0.8> p = 0') werd waargenomen binnen het linker SN / VTA-complex (Figuur 2B) en binnen het bilaterale striatum (Figuur 2C). Zien Tabel 1 voor alle geactiveerde hersengebieden.

 

Figuur 2

fMRI resultaten

 

Tabel 1

fMRI resultaten

We hebben geen nieuwigheid × beloningswaarschijnlijkheidsinteractie waargenomen bij het corrigeren van meerdere tests over het volledige zoekvolume van onze ROI's. Bij het uitvoeren van een post hoc-analyse (t-test) van de drie piekvoxels die een hoofdeffect van beloning in het striatum vertoonden, vonden we echter (orthogonale) effecten van nieuwheid en de interactie ervan met beloning: één voxel vertoonde ook een hoofdeffect van nieuwheid en een nieuwigheid x beloningsinteractie, terwijl een andere voxel ook een belangrijk effect van nieuwheid vertoonde.

Zoals getoond in figuur 2C (midden), in de eerste voxel ([8 10 0]; hoofdeffect van beloning F (2,30) = 8.12, P = 0.002; hoofdeffect van nieuwheid F (1,15) = 7.03, P = 0.02; nieuwheid × beloningsinteractie F (2,30) = 3.29, P = 0.05) dit effect werd aangedreven door hogere BOLD-reacties op onderzoeken met beloningskans 0.4, 15 en voorafgegaan door een nieuwe afbeelding (post-hoc t-test: t (3.48) = 0.003 , P = 2). In de tweede voxel (10C rechts) ([−14 2 2,30] hoofdeffect van beloning F (13.13) = 0.001, P <1,15; hoofdeffect van nieuwigheid F (9.19) = 0.008, P = 2,30; nee significante interactie F (1.85) = 15, ns) post-hoc t-tests toonden opnieuw aan dat het belangrijkste effect van nieuwheid werd aangedreven door verschillen tussen nieuwe en bekende afbeeldingen bij de twee lage waarschijnlijkheden van beloning (t (2.79) = 0.014, P = 15; en t (2.19) = 0.045, P = 0, voor waarschijnlijkheid p = 0.4 en p = XNUMX, respectievelijk), (zie figuur 2C). In tegenstelling hiermee vertoonde de derde voxel (2C links [-22 4 0] hoofdeffect van beloning, F (2,30) = 9.1, P = 0.001) geen van beide een belangrijk effect van nieuwheid (F (1,15) = 2.33, ns) noch een interactie (F (2,30) = 1.54, ns).

In de middenhersenen vertoonde de voxel met maximale beloningsgerelateerde reacties ([−8 −14 −8], F (2,30) = 12.19, P <0.001) ook een trend naar een hoofdeffect van nieuwheid (F (1,15 , 4.18) = 0.059, P = 2,30) bij afwezigheid van een significante interactie (F (0.048) = XNUMX, ns).

Discussie

Nieuwe afbeeldingen van scènes met verbeterde striatale beloningsreacties die worden opgeroepen door daaropvolgende en niet-gerelateerde beloningsgebeurtenissen (voorspellen van abstracte aanwijzingen en beloningstoediening). Zoals verwacht activeerden nieuwe beelden ook de hippocampus. Deze bevindingen verschaffen, voor zover ons bekend, eerste bewijs voor een fysiologische voorspelling dat nieuwheidsgerelateerde hippocampale activering een contextueel versterkend effect zou moeten hebben op beloningsverwerking in het ventrale striatum (Lisman en Grace, 2005; Bunzeck en Duzel, 2006).

Vanwege de eigenschappen van het VETTE signaal, verhinderde de temporele nabijheid van de beloningsvoorspellende cue en uitkomstafgifte een schatting van de effecten van nieuwheid op deze gebeurtenissen afzonderlijk. In plaats daarvan hebben we de cue-uitkomstsequentie als een samengestelde gebeurtenis beschouwd en hebben we vastgesteld dat het effect van nieuwheid op beloningsverwerking varieert als een functie van de kans op beloning. Een verbetering werd alleen waargenomen wanneer de kans op voorspelde beloning laag was (0 of 0.4) en afwezig was voor hoge beloningskans (0.8) (Figuur 2C). Het is belangrijk op te merken dat dit patroon van resultaten niet kan worden verklaard door onafhankelijke effecten van nieuwheid en beloning in dezelfde regio. Vette effecten veroorzaakt door twee functioneel verschillende, maar ruimtelijk overlappende neurale populaties zouden additief zijn ongeacht de kans op belonen en dus leiden tot een nieuwigheidseffect, ook in de 0.8-waarschijnlijkheidstoestand. Daarom zijn deze waarschijnlijkheidsafhankelijke effecten van nieuwheid op de verwerking van beloningen in tegenspraak met de mogelijkheid dat ze een besmetting weerspiegelen door BOLD-responsen die worden opgewekt door nieuwe stimuli zelf. In plaats daarvan wijzen de bevindingen erop dat de contextuele nieuwheid de beloningsverwerking op zich verhoogde, hoewel alleen in de lage waarschijnlijkheidstoestand.

Zoals hierboven uitgelegd, konden we BOLD-antwoorden tussen reward-anticipatie (cues) en beloninglevering (uitkomsten) niet ondubbelzinnig schaden. Nieuwigheid heeft mogelijk selectief de verwerking van niet-lonende resultaten verhoogd (geen winstrials). Dit zou in overeenstemming zijn met het feit dat we geen significant nieuwigheidseffect hebben waargenomen bij onderzoeken met een hoge beloningskans omdat 80% van deze onderzoeken resulteerde in een beloning die werd afgeleverd. Als alternatief kan nieuwheid de anticipatie op beloning hebben beïnvloed voor cues die beloningstoediening met een lage waarschijnlijkheid voorspelden (bijv. 0 en 0.4). In beide gevallen verbeterde contextuele nieuwigheid de hersenweergave voor die gebeurtenissen die objectief minder lonend waren. Bovendien is het onwaarschijnlijk dat het gebrek aan nieuwheidsmodulatie van beloningssignalen in de hoge waarschijnlijkheidstoestand te wijten is aan een plafondeffect in beloningsverwerking. Eerder werk heeft aangetoond dat beloningsgerelateerde reacties in het menselijke striatum adaptief geschaald zijn in verschillende contexten, wat resulteert in een signaal dat aangeeft of een resultaat in een bepaalde situatie gunstig of ongunstig is (Nieuwenhuis et al. 2004). Het is dus te verwachten dat beloningsreacties ook in staat zouden moeten zijn om een ​​nieuwheidbonus onder te brengen onder omstandigheden van hoge beloningskans.

Het is algemeen bekend dat de hersenen van primaten leren over de waarde van verschillende stimuli die gepaard gaan met beloning in klassieke conditioneringsexperimenten, zoals gemeten door een verhoogde anticipatie op de uitkomst (bijv. Meer likken). In het huidige experiment hebben we reactietijden gemeten tijdens de conditioneringsfase, maar we vonden geen verschillen tussen de verschillende niveaus van voorspellende cue-sterktes. Gezien de eenvoud van de taak en de snelheid waarmee proefpersonen reageerden (<375 ms voor alle omstandigheden), kan dit gebrek aan een differentiële respons het gevolg zijn van een plafondeffect. Ondanks het ontbreken van een objectieve gedragsmaatregel voor conditionering, is het succesvolle gebruik van dit cue-type in eerdere studies (bijv O'Doherty et al., 2003) suggereert dat proefpersonen nog steeds een verband vormden tussen de aanwijzingen en de verschillende kansen op beloning.

In vorig werk zijn beloningssignalen in het striatum gekoppeld aan een verscheidenheid aan beloninggerelateerde eigenschappen, zowel bij mensen als niet-menselijke primaten, inclusief waarschijnlijkheid (Preuschoff et al., 2006; Tobler et al., 2008), omvang (Knutson et al., 2005), onzekerheid (Preuschoff et al., 2006) en actiewaarde (Samejima et al., 2005). Deze diversiteit van beloninggerelateerde variabelen uitgedrukt in het striatum past goed bij haar rol als een limbisch / sensorimotorisch interface met een cruciale rol in de organisatie van doelgericht gedrag (Wickens et al., 2007). Zowel de SN / VTA als het striatum, een van de belangrijkste projectiesites van het dopaminesysteem van de middenhersenen, reageren ook op belonings- en beloningsvoorspellende aanwijzingen in klassieke conditioneringsparadigma's (bijv.Delgado et al., 2000; Knutson et al., 2000; Fiorillo et al., 2003; Knutson et al., 2005; Tobler et al., 2005; Wittmann et al., 2005; D'Ardenne et al., 2008). Volgens verschillende computationele perspectieven leert dopamine-transmissie afkomstig van de SN / VTA het striatum over de waarde van geconditioneerde stimuli via een voorspellingsfoutsignaal (Schultz et al., 1997).

Hoewel in klassieke conditioneringsstudies niet altijd evidente gedragsconsequenties zijn voor beloning en niet-beloning in het striatum (O'Doherty et al., 2003; den Ouden et al., 2009), hebben fMRI-onderzoeken systematisch aangetoond dat veranderingen in striatale BOLD-activiteit correleren met voorspellingsfouten die verband houden met de waarde van keuzemogelijkheden zoals gekenmerkt door computationele modellen die geschikt zijn voor gedragsgegevens (O'Doherty et al., 2004; Pessiglione et al., 2006). Striatale toestandswaardeweergaven die niet aan een actie zijn gekoppeld, kunnen verband houden met signalen van beloningsbeschikbaarheid die worden vertaald in voorbereidende reacties, bijvoorbeeld aanpak of verkwikkende effecten zoals te zien bij de overdracht van pavloviaanse instrumenten (PIT) (Cardinal et al., 2002; Talmi et al., 2008). Onze gegevens suggereren dat nieuwigheid dergelijke representaties van de staatswaardes moduleert door de verwachte beloning of de respons op niet-lonende resultaten te vergroten. Het gevolg van deze interactie tussen nieuwheid en beloning zou het genereren van onvoorwaardelijke voorbereidende reacties kunnen zijn. In de echte wereld zouden dergelijke antwoorden leiden tot een verbeterde aanpak wanneer nieuwheid wordt geïdentificeerd met een cue (Wittmann et al., 2008) of willekeurige verkenning van de omgeving wanneer nieuwheid wordt ontdekt, maar niet wordt geassocieerd met een specifiek signaal, zoals waargenomen in de dierenliteratuur (Hooks and Kalivas, 1994). Deze weergave komt ook overeen met invloedrijke computermodellen (Kakade en Dayan, 2002).

Een cruciale structuur die waarschijnlijk is betrokken bij de contextueel verbeterde beloningsreacties in het striatum is de hippocampus. Zoals in eerdere studies (Tulving et al., 1996; Strange et al., 1999; Bunzeck en Duzel, 2006; Wittmann et al., 2007) tonen we aan dat contextuele nieuwigheid de hippocampus sterker activeerde dan vertrouwdheid. Gezien de sterke (indirecte) projecties op de SN / VTA suggereren we dat deze structuur de waarschijnlijke bron is voor een nieuwheidsignaal naar het dopaminerge systeem van de middenhersenen (Lisman en Grace, 2005; Bunzeck en Duzel, 2006). De dopaminerge middenhersenen ontvangen ook input van andere hersengebieden, zoals de prefrontale cortex, die ook nieuwigheidssignalen zou kunnen hebben overgebracht (Fields et al., 2007). Gezien het bewijs tot nu toe beschouwen we de hippocampus echter als de meest waarschijnlijke kandidaat voor het aansturen van een aan nieuwigheid gerelateerde disinhibitie van dopamineneuronen van de middenhersenen die een versterking van striatale beloningsignalen in de context van nieuwheid zouden verklaren. Aan de andere kant kan de waarschijnlijkheidsafhankelijke moderatie van het contextuele nieuwheidseffect op zijn beurt zijn oorsprong vinden in de prefrontale cortex (PFC). Fysiologische studies tonen aan dat een verhoogde PFC-drift naar SN / VTA-neuronen alleen de dopaminerge modulatie van PFC-regio's verbetert, maar niet de dopaminerge input voor het ventrale striatum (Margolis et al., 2006). Door een dergelijk mechanisme zou PFC de waarschijnlijkheidsafhankelijke contextuele effecten van nieuwheid op SN / VTA en ventrale striatale beloningsrepresentatie kunnen reguleren.

Tot slot tonen de huidige resultaten aan dat contextualiteit de verwerking van beloningen in het striatum verhoogt als reactie op niet-gerelateerde aanwijzingen en uitkomsten. Deze bevindingen zijn verenigbaar met de voorspellingen van een polysynaptisch reactiemodel (Lisman en Grace, 2005) waarin hippische nieuwigheid-signalen een mechanisme bieden voor de contextuele regulatie van de toewijzing van de salience aan niet-gerelateerde gebeurtenissen.

Aanvullend materiaal

Danksagung

Referentielijst