Contextuele interactie tussen nieuwheid en beloning binnen het mesolimbische systeem (2012)

  • Hum Brain Mapp. 2012 juni; 33 (6): 1309-1324.
  • Gepubliceerd online 2011 apr 21. doi:  10.1002 / hbm.21288

Nico Bunzeck,*,1 Christian F Doeller,2,3,4 Ray J Dolan,5 en Emrah Duzel2,6

Dit artikel is geweest geciteerd door andere artikelen in PMC.

Ga naar:

Abstract

Mediale, temporale lob (MTL) -afhankelijk langetermijngeheugen voor nieuwe gebeurtenissen wordt gemoduleerd door een schakeling die ook reageert op beloning en omvat het ventrale striatum, dopaminerge middenhersenen en mediale orbitofrontale cortex (mOFC). Dit gemeenschappelijke neurale netwerk kan een functionele link tussen nieuwheid en beloning weerspiegelen waarbij nieuwigheid onderzoek motiveert in het zoeken naar beloningen; een link die ook wel 'exploratiebonus' wordt genoemd. We gebruikten fMRI in een coderingsparadigma voor scènes om de interactie tussen nieuwheid en beloning te onderzoeken, met een focus op neurale signalen die lijken op een verkenningsbonus. Zoals verwacht, correleerde het langetermijngeheugen met betrekking tot de beloning voor de scènes (na 24 uur) sterk met de activiteit van MTL, ventraal striatum en substantia nigra / ventraal tegmentaal gebied (SN / VTA). Bovendien toonde de hippocampus een belangrijk nieuwheidseffect, het striatum toonde een belangrijk effect van beloning, en de mOFC signaleerde zowel nieuwheid als beloning. In de hippocampus werd een wisselwerking gevonden tussen nieuwheid en beloning vergelijkbaar met een exploratiebonus. Deze gegevens suggereren dat MTL-innovatiesignalen worden geïnterpreteerd in termen van hun beloning-voorspellende eigenschappen in de mOFC, die striatale beloningsreacties vertekenen. Het striatum regelt samen met de SN / VTA vervolgens MTL-afhankelijke langetermijngeheugenvorming en contextuele exploratiebonus signalen in de hippocampus.

sleutelwoorden: nieuwigheid, beloning, mesolimbisch systeem, geheugen, hippocampus, substantia nigra / ventrale tegmentale ruimte, ventraal striatum, mOFC, verkenningsbonus

INLEIDING

Nieuwigheid is een motiverend opvallend leersignaal dat de aandacht trekt, geheugencodering bevordert en doelgericht gedrag aanpast [Knight,1996; Lisman en Grace, 2005; Mesulam, 1998; Sokolov, 1963]. Recent bewijs uit humane en niet-humane primaatstudies werpt de mogelijkheid op dat de motiverende aspecten van nieuwheid deels betrekking hebben op zijn gedeelde eigenschappen met beloning [Bunzeck en Duzel, 2006; Kakade en Dayan, 2002; Mesulam, 1998]. Deze suggestie volgt uit observaties dat in dierstudies het substantia nigra / ventrale tegmentale gebied (SN / VTA) van de middenhersenen wordt geactiveerd door stimuli die zowel beloningen voorspellen als stimuli die nieuw zijn [Ljungberg, et al. 1992]; voor een recensie zie [Lisman en Grace, 2005]. Evenzo wordt de menselijke SN / VTA geactiveerd door zowel beloning [Knutson en Cooper, 2005] en nieuwigheid [Bunzeck en Duzel, 2006; Bunzeck, et al. 2007; Wittmann, et al. 2005] en door aanwijzingen die hun optreden voorspellen [Knutson en Cooper, 2005; O'Doherty, et al. 2002; Wittmann, et al. 2005, 2007]. De neurotransmitter dopamine die wordt geproduceerd in de SN / VTA reguleert diep motiverende aspecten van gedrag [Berridge, 2007; Niv, et al. 2007].

Verder is er convergerende evidentie dat de hippocampus, een mediale temporale lob (MTL) -structuur, die cruciaal is voor de vorming van episodische herinneringen op lange termijn voor nieuwe gebeurtenissen, ook betrokken is bij verschillende vormen van belonen met beloning [Devenport, et al.1981; Holscher, et al. 2003; Ploghaus, et al. 2000; Purves, et al. 1995; Rolls en Xiang, 2005; Solomon, et al. 1986; Tabuchi, et al. 2000; Weiner, 2003; Wirth, et al. 2009]. De hippocampus van het knaagdier vertoont bijvoorbeeld verhoogde activiteit in gelooide maar niet onuitgesproken doolhofarmen [Holscher, et al. 2003]; bij niet-menselijke primaten is het betrokken bij het leren plaatsen van beloningsverenigingen [Rolls en Xiang, 2005]; hippocampusactiviteit volgt voorspellingsfout leerregels voor aversieve stimuli bij mensen [Ploghaus, et al. 2000]; en beloning verhoogt de synchronisatie tussen hippocampus en nucleus accumbens neuronen [Tabuchi, et al. 2000].

Een overeenkomst in de effecten van beloning en nieuwheid kan theoretisch worden verzoend met de suggestie dat nieuwigheid de verkenning van een omgeving stimuleert om oogstbeloningen te oogsten [Kakade en Dayan,2002]. Volgens deze suggestie is een belangrijk motiverend kenmerk van nieuwheid het potentieel om beloningen te voorspellen, terwijl vertrouwde stimuli, als ze herhaald worden als er geen beloning is, dit potentieel geleidelijk aan verliezen. De hypothese van de verkenningsbonus maakt twee soorten voorspellingen: een eerste heeft betrekking op de potentie waarmee de status van nieuw of vertrouwd beloning kan voorspellen en een tweede op de contextuele externe effecten van deze contingentie op andere stimuli. Volgens de eerste voorspelling zou een nieuwe stimulus een krachtiger voorspeller van beloning moeten zijn dan een bekende stimulus [bijv. Wittmann, et al. 2008]. Dat wil zeggen, wanneer nieuwe stimuli de beloning voorspellen, moet de beloningsverwachting hoger zijn dan wanneer bekende prikkels voorspellingen voorspellen. De tweede (meer indirecte) voorspelling is dat het motiverend versterkende effect van nieuwheid op verkennend gedrag een contextueel effect zou moeten hebben op de motivationele betekenis van andere stimuli die aanwezig zijn in dezelfde context. Compatibel met deze suggestie, Bunzeck en Duzel [ 2006] toonde aan dat vertrouwde stimuli in een context waarin nieuwe stimuli aanwezig zijn, minder herhalingonderdrukking in MTL-structuren vertonen. Dit suggereert dat zelfs in de afwezigheid van expliciete beloning, in een context waarin nieuwe stimuli aanwezig zijn, er een sterkere motivatie is om ook de bekende stimuli in die context te onderzoeken [Bunzeck en Duzel, 2006]. Tot op heden zijn deze voorspellingen over de relatie tussen nieuwheid en beloning echter niet direct getest. In experimentele termen vereist dit het manipuleren van de beloningsvoorspellende eigenschap van nieuwheid zodat beloningen in een gegeven context worden voorspeld door nieuw te zijn of door bekend te zijn. Hier hebben we deze experimentele benadering gebruikt om de functionele interactie tussen nieuwheid en beloning in een fMRI-onderzoek te onderzoeken.

Het begrijpen van de functionele interactie tussen nieuwheid en beloning heeft diepgaande implicaties voor het begrijpen hoe plasticiteit op de lange termijn voor nieuwe stimuli wordt gereguleerd. Een grote hoeveelheid fysiologisch bewijs toont aan dat dopamine afkomstig van de SN / VTA niet alleen de motiverende aspecten van het gedrag reguleert, maar ook kritisch is voor het versterken en stabiliseren van plasticiteit van de hippocampus [Frey en Morris,1998; Li, et al. 2003] en hippocampus-afhankelijke geheugenconsolidatie [O'Carroll, et al. 2006]. Volgens het zogenaamde hippocampus-VTA-lusmodel [Lisman en Grace, 2005] nieuwheidssignalen worden gegenereerd in de hippocampus en via de nucleus accumbens en het ventrale pallidum naar de SN / VTA overgebracht [Lisman en Grace, 2005]. Hoewel het model nieuwigheid zelf benadrukt als het belangrijkste cognitieve signaal om dopamine vanuit de SN / VTA te moduleren, roept het ook expliciet de vraag op hoe motivationele factoren de impact van nieuwheid op de activiteit van de hippocampus en de SN / VTA reguleren. Het doel van deze studie is om deze vraag vanuit het gezichtspunt van gedeelde eigenschappen tussen nieuwheid en beloning en hun functionele interactie te benaderen.

Als nieuwigheid een signaal is dat onderzoek naar oogstbeloningen stimuleert [Bunzeck en Duzel,2006; Kakade en Dayan, 2002; Wittmann, et al. 2008] delen van de hippocampus-SN / VTA-lus mogen alleen een voorkeursantwoord op nieuwheid vertonen in een context waarin nieuw zijn voorspellingen voorspelt, maar niet in een context waarin bekend zijn beloning voorspelt. Tegelijkertijd moet het verbeteren van de exploratie wanneer het nieuw is, worden beloond om de respons van de hippocampus op bekende stimuli die in dezelfde context worden gepresenteerd, te stimuleren, hoewel deze geen beloningen voorspellen. In tegenstelling, in een context waarin vertrouwd zijn, maar niet nieuw zijn, voorspellingen voor beloningen oplevert, zou er minder contextuele motivatie moeten zijn om te verkennen en bijgevolg zou hippocampale activiteit laag moeten zijn voor zowel de roman als de bekende stimuli in die context. Vandaar dat de hypothese dat nieuwheid een intrinsieke eigenschap heeft om exploratief gedrag te motiveren bij het zoeken naar beloningen, leidt tot de voorspelling van een interactie tussen de nieuwheid- en beloningsstatus van stimuli. Dienovereenkomstig zou de hippocampus sterk reageren op zowel nieuwe als bekende stimuli wanneer nieuw zijn beloning en zwak voorspelt voor zowel nieuwe als bekende stimuli wanneer bekend is dat het beloning voorspelt.

De alternatieve mogelijkheid is dat de nieuwheid en beloningsstatus van informatie onafhankelijk is. Volgens deze mogelijkheid zou er geen functionele interactie moeten zijn tussen nieuwheid en beloning. Met andere woorden, delen van de hippocampus-SN / VTA-lus zouden alleen een belangrijk effect van nieuwheid of beloning uitdrukken, maar geen interactie tussen beide.

Alles bij elkaar genomen, kan het manipuleren van de contingentie tussen nieuwheid en beloningen helpen om de belangrijkste mechanismen te begrijpen die nieuwheidsreacties binnen het mesolimbische systeem aandrijven. Daartoe ontwikkelden we een paradigma waarbij het ontvangen van geldelijke beloningen afhankelijk was van de nieuwheidstatus van afbeeldingen van scènes [Bunzeck, et al.2009]. Dus, het maken van juiste beslissingen voor beloningsvoorkeuren (zie methoden) was alleen mogelijk na het correct onderscheiden van nieuwe en bekende stimuli. Belangrijk is dat we het herkenningsgeheugen één dag na codering evalueerden en dus in staat waren om te identificeren in hoeverre componenten van de hippocampus-SN / VTA-lus zouden correleren met de beloningsgerelateerde verbetering van langetermijngeheugen voor nieuwe en bekende stimuli.

MATERIALEN EN METHODES

Twee experimenten werden uitgevoerd. Terwijl het eerste experiment (experiment 1) een gedragsexperiment was, betrof het tweede experiment (experiment 2) gedragsmetingen en fMRI.

vakken

Aan Experiment 1 namen 17 volwassenen deel (13 vrouwen en vier mannen; leeftijdscategorie 19-33 jaar; gemiddeld 23.1, SD = 4.73 jaar) en 14 volwassenen namen deel aan Experiment 2 (vijf mannen en negen vrouwen; leeftijdscategorie: 19-34 jaar) ; gemiddelde = 22.4 jaar; SD = 3.8 jaar). Alle proefpersonen waren gezond, rechtshandig en hadden een normale of gecorrigeerde naar normale scherpte. Geen van de deelnemers maakte melding van een geschiedenis van neurologische, psychiatrische of medische aandoeningen of actuele medische problemen. Alle experimenten werden uitgevoerd met de schriftelijke geïnformeerde toestemming van elke proefpersoon en volgens de lokale ethische verklaring (University College London, VK).

Experimenteel ontwerp en taak

In beide experimenten werden drie sets (1) een vertrouwdheidsfase gevolgd door (2) een op herkenning geheugen gebaseerde voorkeurbeoordelingstaak uitgevoerd. Hier werden nieuwe afbeeldingen voor elke set gebruikt, wat resulteerde in 120-roman en 120 vertrouwde afbeeldingen werden volledig gebruikt. De experimentele procedures waren identiek voor beide experimenten behalve dat Experiment 1 werd uitgevoerd op een computerscherm en Experiment 2 werd uitgevoerd binnen een MRI-scanner. (3) Op dag twee werden herkenningsherinneringen voor alle gepresenteerde afbeeldingen getest met behulp van de procedure "onthouden / kennen" (zie hieronder).

(1) Vertrouwdmaking: proefpersonen werden in eerste instantie vertrouwd gemaakt met een reeks 40-afbeeldingen (20 indoor en 20 buitenbeelden). Hier werd elke foto twee keer in willekeurige volgorde gepresenteerd voor 1.5 s met een interstimulus-interval (ISI) van 3 s en gaven proefpersonen de binnen- / buitenstatus aan met hun rechterwijzer en middelvinger. (2) Herkenningsgeheugentest: daaropvolgend voerden proefpersonen een op 9 minuten herkenninggeheugen gebaseerde voorkeurbeoordelingstaak (sessie) uit. Dit deel (sessie) werd verder onderverdeeld in twee blokken met daarin elke 20-afbeeldingen uit de vertrouwdmakingsfase (bekend als "vertrouwde afbeeldingen") en 20 eerder niet-gepresenteerde afbeeldingen ("nieuwe afbeeldingen" genoemd), onderwerpen konden pauzeren voor 20 s tussen blokken). In elk gegeven blok dienden nieuwe afbeeldingen als CS + en vertrouwde afbeeldingen als CS- of omgekeerd (Fig..1). Deelnemers kregen de opdracht om een ​​"voorkeur" oordeel te geven aan elk beeld via een tweekeuze drukknop die aangeeft "Ik verkies" of "Ik verkies niet" afhankelijk van de contingentie tussen nieuwheidsstatus en versterkingswaarde. Belangrijk is dat de term "voorkeur" en "niet-voorkeur" verwijst naar de beloningsvoorspellingsstatus van het beeld (afhankelijk van de contexuele contingentie) in plaats van de esthetische eigenschappen van het beeld.

Figuur 1 

Experimenteel ontwerp.

De contingentie werd willekeurig weergegeven en vóór elke run op het scherm aangegeven met "Noviteit wordt als voorkeur beloond" (in dat geval dienden nieuwe afbeeldingen als CS + en vertrouwde afbeeldingen als CS-) of "Vertrouwdheid wordt beloond als de voorkeur wordt gegeven" (hier vertrouwde afbeeldingen dienden als CS + en nieuwe afbeeldingen als CS-). Alleen correcte "Ik geef de voorkeur" antwoorden na een CS + leidde tot een winst van £ 0.50 terwijl (onjuist) "Ik geef de voorkeur" antwoorden na CS leidde tot een verlies van £ -0.10. Beide correcte "Ik heb geen voorkeur" -antwoorden na CS- en (onjuist) "Ik heb geen voorkeur" antwoorden na een CS + hebben geleid tot noch winnen noch verlies. Afbeeldingen werden gepresenteerd in willekeurige volgorde voor 1 s op een grijze achtergrond gevolgd door een witte fixatiekruis voor 2 s (ISI = 3 s). Om ervoor te zorgen dat neurale beloningsreacties beperkt bleven tot de gepresenteerde afbeeldingen (dwz anticipatie in plaats van uitkomst belonen) werd er geen feedback gegeven op een proef op proefbasis. In plaats daarvan werden proefpersonen geïnformeerd over hun algemene prestaties na elke sessie (met 2-blokken met elke onvoorziene gebeurtenis). Voorafgaand aan het experiment kregen de proefpersonen de opdracht om zo snel en correct mogelijk te reageren en dat alleen 20% van alle inkomsten zou worden betaald.

Alle afbeeldingen zijn grijs geschaald en genormaliseerd naar een gemiddelde grijswaarde van 127 en een standaardafwijking van 75. Geen van de scènes verbeeldde menselijke wezens of delen van menselijke wezens inclusief gezichten op de voorgrond.

Oefensessies

Elke proefpersoon voerde twee trainingssessies uit voorafgaand aan het experiment. Net als bij het eigenlijke experiment begonnen beide trainingsfasen met een gewenningsfase, waarin slechts 10 afbeeldingen tweemaal in willekeurige volgorde werden gepresenteerd (duur = 1.5 s; ISI = 3 s) en proefpersonen hun status binnen / buiten gaven. Zoals het geval was bij het hoofdexperiment, werd de vertrouwdheid gevolgd door een op geheugen gebaseerde taak om de voorkeur te beoordelen, inclusief bekende en nieuwe beelden. Voor trainingsdoeleinden werd in trainingssessie 1 na elke respons een terugkoppeling gegeven op proefbasis. In trainingssessie 2 werd beloningsfeedback niet onmiddellijk na elke stimulus / reactie getoond. Na elke trainingssessie werd de financiële beloning van de proefpersoon (maximaal £ 1) aan de proefpersoon gerapporteerd. In Experiment 2 ontvingen proefpersonen ook een korte trainingssessie met 10 bekende en 10 nieuwe afbeeldingen per respons onvoorzien blok.

Een dag later voerden proefpersonen een geheugentest met incidentele herkenning volgens de procedure "remember / know" [Tulving,1985]. Hier werden in willekeurige volgorde alle 240 eerder getoonde foto's (60 per conditie) gepresenteerd samen met 60 nieuwe distractor-foto's in het midden van een computerscherm. Taak: het onderwerp maakte eerst een "oude / nieuwe" beslissing voor elke individueel gepresenteerde foto met behulp van hun rechter wijsvinger of middelvinger. Na een "nieuwe" beslissing werden proefpersonen gevraagd om aan te geven of ze zelfverzekerd ("zeker nieuw") of onzeker ("gok") waren, wederom met behulp van hun rechterwijsheid en middelvinger. Na een "oude" beslissing werden proefpersonen gevraagd om aan te geven of ze iets specifieks konden onthouden over het zien van de scène tijdens de studie ("onthoud reactie"), voelden zich gewoon vertrouwd met de foto zonder enige recollectieve ervaring ("vertrouwde" reactie) of gokten alleen maar dat de foto een oude was ("gis" -antwoord). Het onderwerp had 4 s om elk van beide beoordelingen te maken en er was een breuk van 15 s na elke 75-foto's.

fMRI-methoden

We voerden fMRI uit op een 3-Tesla Siemens Allegra magnetische resonantiescanner (Siemens, Erlangen, Duitsland) met echo-vlakke beeldvorming (EPI) met behulp van een kwadratuur-transceiverspoel met een ontwerp op basis van het "vogelkooi" -principe. In de functionele sessie werden 48 T2 * -gewogen afbeeldingen (EPI-reeks, die de hele kop bedekken) per volume met bloedoxygeniveau-afhankelijk (BOLD) contrast verkregen (matrixgrootte: 64 × 64; 48 schuine axiale schijfjes per volume gebogen op -30 ° in de antero-posterieure as: ruimtelijke resolutie: 3 × 3 × 3 mm; TR = 3120 ms; TE = 30 ms; z-shimming pre-puls gradiëntmoment van PP = 0 mT / m * ms; positieve fase -coderingspolariteit). Het fMRI-acquisitieprotocol was geoptimaliseerd om door gevoeligheid geïnduceerde BOLD-gevoeligheidsverliezen in inferieure frontale regio's en temporale lobgebieden te verminderen [Deichmann, et al.2003; Weiskopf, et al. 2006]. Voor elk onderwerp werden functionele gegevens verzameld in drie scansessies met 180 volumes per sessie. Zes extra volumes per sessie werden aan het begin van elke serie verkregen om stationaire magnetisatie mogelijk te maken en werden vervolgens weggegooid voor verdere analyse. Anatomische beelden van de hersenen van elke proefpersoon werden verzameld met behulp van multi-echo 3D FLASH voor het in kaart brengen van protondichtheid, T1 en magnetisatieoverdracht (MT) met een resolutie van 1 mm [Helms, et al. 2009; Weiskopf en Helms, 2008] en door T1 gewogen inversieherstel geprepareerde EPI (IR-EPI) -reeksen (matrixafmetingen: 64 × 64; 64-segmenten; ruimtelijke resolutie: 3 × 3 × 3 mm). Daarnaast werden afzonderlijke veldkaarten vastgelegd met behulp van een dubbele echo-FLASH-reeks (matrixgrootte = 64 × 64; 64-segmenten; ruimtelijke resolutie = 3 × 3 × 3 mm; spatie = 1 mm; korte TE = 10 ms; lange TE = 12.46 ms ; TR = 1020 ms) voor vervormingscorrectie van de verkregen EPI-afbeeldingen [Weiskopf, et al. 2006]. Gebruik van de "FieldMap-toolbox" [Hutton, et al. 2002, 2004] veldmappen werden geschat op basis van het faseverschil tussen de beelden die werden verkregen bij de korte en lange TE.

De fMRI-gegevens werden voorbewerkt en statistisch geanalyseerd met behulp van het softwarepakket SPM5 (Wellcome Trust Center for Neuroimaging, University College London, VK) en MATLAB 7 (The MathWorks, Inc., Natick, MA). Alle functionele afbeeldingen werden gecorrigeerd voor bewegingsartefacten door opnieuw uitlijnen op het eerste volume; gecorrigeerd voor vervormingen op basis van de veldkaart [Hutton, et al.2002]; gecorrigeerd voor de interactie van beweging en vervorming met behulp van de "Unwarp-toolbox" [Andersson, et al. 2001; Hutton, et al. 2004]; ruimtelijk genormaliseerd naar een standaard T1-gewogen SPM-sjabloon [Ashburner en Friston, 1999] (er werd voor gezorgd dat met name regio's met een middenbrein in lijn waren met de standaardsjabloon); opnieuw bemonsterd tot 2 × 2 × 2 mm; en afgevlakt met een isotrope 4 mm half-maximale Gauss-kernel met de volledige breedte. Een dergelijke fijne schaal ruimtelijke resolutie in combinatie met een relatief kleine afvlakkingskern is de basis voor het kunnen detecteren van kleine clusters van activering, bijvoorbeeld in de middenhersenen en MTL-gebieden waar differentiële activeringspatronen (dwz nieuwheidsreacties en interacties tussen nieuwheid en beloning ) kan zich in de buurt bevinden [Bunzeck, et al. 2010]. De gegevens van de fMRI-tijdreeksen werden hoogdoorlaatgefilterd (afkapping = 128 s) en gewit met een AR (1) -model. Voor elk onderwerp werd een event-gerelateerd statistisch model berekend door een "stick-functie" te creëren voor elke gebeurtenis begin (duration = 0 s), die geconvolueerd was met de canonieke hemodynamische responsfunctie gecombineerd met tijd- en dispersie-derivaten [Friston, et al. 1998]. Gemodelleerde omstandigheden omvatten nieuw-beloonde, nieuw-niet-beloonde, vertrouwd-beloonde, bekende-niet-beloonde en onjuiste antwoorden. Om resterende bewegingsgerelateerde artefacten vast te leggen, werden zes covariaten opgenomen (de drie rigide-lichaamsvertaalingen en drie rotaties als gevolg van herschikking) als regressoren zonder interesse. Regio-specifieke conditie-effecten werden getest door gebruik te maken van lineaire contrasten voor elk onderwerp en elke conditie (analyse op het eerste niveau). De resulterende contrastbeelden werden ingevoerd in een analyse van effecten op het tweede niveau. Hier werden de hemodynamische effecten van elke aandoening beoordeeld met behulp van een 2 × 2 variantieanalyses (ANOVA) met de factoren "beloning" (belonen, niet belonen) en "nieuwheid" (nieuw, bekend). Met dit model konden we testen op de belangrijkste effecten van nieuwheid, de belangrijkste effecten van beloning en de interactie tussen beide. Alle contrasten waren op drempels gebaseerd P = 0.001 (niet gecorrigeerd) behalve de regressieanalyses (P = 0.005, niet gecorrigeerd). Beide relatief liberale drempels werden gekozen op basis van onze precieze a priori anatomische hypotheses binnen het mesolimbische systeem.

De anatomische lokalisatie van significante activeringen werd beoordeeld met verwijzing naar de standaard stereotactische atlas door superpositie van de SPM-kaarten op een van de twee groepssjablonen. Een T1-gewogen en een MT-gewogen groepssjabloon werden afgeleid uit het middelen van de genormaliseerde T1- of MT-afbeeldingen van alle proefpersonen (ruimtelijke resolutie van 1 × 1 × 1 mm). Terwijl het T1-sjabloon anatomische lokalisatie buiten de middenhersenen op MT-beelden mogelijk maakt, kan het SN / VTA-gebied worden onderscheiden van de omliggende structuren als een heldere streep, terwijl de aangrenzende rode kern en hersensteel donker lijken [Bunzeck en Duzel,2006; Bunzeck, et al. 2007; Eckert, et al. 2004].

Merk op dat we de voorkeur geven aan het gebruik van de term SN / VTA en BOLD-activiteit van het gehele SN / VTA-complex om verschillende redenen beschouwen [Duzel, et al.2009]. In tegenstelling tot vroege formuleringen van de VTA als een anatomische entiteit, zijn verschillende dopaminerge projectiepaden verspreid en overlappen ze zich binnen het SN / VTA-complex. Vooral dopamine-neuronen die naar de limbische regio's projecteren en beloningsgemotiveerd gedrag reguleren, zijn niet beperkt tot de VTA, maar ze worden ook verspreid over de SN (pars compacta) [Gasbarri, et al. 1994, 1997; Ikemoto, 2007; Smith en Kieval, 2000]. Functioneel gezien komt dit overeen met het feit dat DA-neuronen in de mens en de primaten in de SN en VTA zowel op beloning als op nieuwheid reageren [zie bijvoorbeeld Ljungberg, et al., 1992 of Tobler, et al., 2003 voor een afbeelding van opnamesites].

RESULTATEN

Alle analyses (gedragsmatige en fMRI) zijn gebaseerd op onderzoeken met juiste voorkeursreacties.

experiment 1

Subjecten discrimineerden tussen omstandigheden in beide contexten met hoge nauwkeurigheid (Tabel I) en er waren geen statistisch significante verschillen tussen de omstandigheden. Reactietijd (Fig. 2A) analyse onthulde dat proefpersonen het snelst reageerden op bekende beloningsvoorspellende stimuli (allemaal P's <0.007), maar er was geen verschil tussen de andere drie voorwaarden (roman-beloond, roman-niet-beloond, vertrouwd-niet-beloond; alle P's> 0.05).

Figuur 2 

Gedragsresultaten. (A) Reactietijden. In beide experimenten waren RT's aanzienlijk sneller voor bekende beloonde afbeeldingen in vergelijking met alle andere omstandigheden (allemaal P <0.01) - zoals aangegeven door de asterisk - maar er was geen ander verschil ...
Tabel I 

Gedragsresultaten

Herkenningsgeheugenprestaties-tweede dag. Herkenning van herkenningsgeheugens was gebaseerd op beide hits (onthoud antwoorden, ken reacties volgend op foto's eerder gezien tijdens codering) en valse alarmen ([FA]: onthoud, weet aan afleiders). In een eerste stap berekenden we het aandeel herinnerings- en kennisantwoorden voor oude en nieuwe afbeeldingen (dwz hit-rates en FA-rates) door het aantal hits (en FA, respectievelijk) te delen door het aantal items per staat. Ten tweede werden gecorrigeerde hit-rates verkregen voor onthoudingsreacties ([Rcorr], onthoud hit-rate minus FA-rate onthouden) en know-responses ([Kcorr], weet hit-rate minus FA-rate) (zie Tabel II). In een geplande vergelijking hebben we het effect van beloning op het algehele herkenningsgeheugen (gecorrigeerde hit-rate = Rcorr + Kcorr) voor nieuwe en vertrouwde afbeeldingen beoordeeld. Hieruit bleek dat de beloning het totale geheugen voor nieuwe afbeeldingen aanzienlijk verbeterde in vergelijking met nieuwe, niet-beloonde afbeeldingen (P = 0.036) maar er was geen verbetering van het algehele geheugen door beloning voor bekende afbeeldingen (P > 0.5; Fig 2). Bovendien was het versterkende effect van beloning op herkenningsgeheugen voor nieuwe afbeeldingen even sterk voor herinnering en bekendheid als onthuld door variantieanalyse (ANOVA; geen interactie tussen beloning en herkenningsgeheugentype [F(1,16) = 2.28, P > 0.15)].

Tabel II 

Herkenningsgeheugen

experiment 2

Net als in Experiment 1, discrimineerden subjecten tussen omstandigheden in beide contexten met hoge nauwkeurigheid en geen significante verschillen tussen condities (Tabel I). Zoals in Experiment 1, reactietijd (Fig. 2A) analyse toonde aan dat de reacties significant sneller waren voor bekende beloningsvoorspellende stimuli (allemaal P's <0.001) maar er was geen verschil tussen de andere drie voorwaarden (roman-beloond, roman-niet-beloond, vertrouwd-niet-beloond; alle P's> 0.05).

Herkenningsgeheugenprestaties-tweede dag. In tegenstelling tot Experiment 1 was het herkenningsgeheugen voor nieuwe beloonde afbeeldingen niet significant verbeterd in vergelijking met nieuwe niet-beloonde afbeeldingen (noch het algehele herkenningsgeheugen noch Rcorr / Kcorr; P > 0.05 XNUMX, Tabel II). Ook in tegenstelling tot Experiment 1 was de herinnering aan Experiment 2 voor bekende beloonde afbeeldingen aanzienlijk verbeterd in vergelijking met bekende niet-beloonde afbeeldingen (P = 0.001, Tabel II) wat resulteerde in verbeterd algemeen geheugen (Rcorr + Kcorr) voor bekende beloningen vergeleken met vertrouwde niet-beloonde afbeeldingen (er was geen significant verschil tussen de gecorrigeerde kennis van bekende beloonde en bekende niet-beloonde afbeeldingen, P > 0.05). Bovendien data in Tabel II en Figuur 2B laat zien dat de totale geheugenprestatie aanzienlijk lager was in Experiment 2 in vergelijking met Experiment 1, dat werd ondersteund door een ANOVA met gemengde effecten.

fMRI-resultaten-beloning op basis van geheugenherkenningstest. Ten eerste hebben we fMRI-gegevens geanalyseerd met behulp van een 2 × 2 ANOVA met factoren "nieuwheid" (nieuw, bekend) en "beloning" (beloning, geen beloning). We vonden een belangrijk effect van nieuwheid in bilaterale mediale orbitofrontale cortex (mOFC) en de juiste MTL inclusief de hippocampus en de rhinale cortex, (Fig 3; zie Ondersteunende informatie tabel S1 voor een volledige lijst van geactiveerde hersenstructuren). Een hoofdeffect van beloning werd waargenomen in de bilaterale caudate, septum / fornix, ventral striatum (ncl accumens), bilaterale mOFC en mediale prefrontale cortex (mPFC) (mPFC) (Fig 4; Ondersteunende informatie tabel S1). Deze twee hoofdeffecten werden uitsluitend gemaskeerd met de effecten van interacties (exclusieve maskering, P = 0.05, niet gecorrigeerd) om alleen die regio's te identificeren die de belangrijkste effecten vertoonden bij afwezigheid van enige interactie.

Figuur 3 

fMRI-resultaten Experiment 2. Een belangrijk effect van nieuwheid werd waargenomen in de rechter hippocampus (A), de rhinale cortex (B) en mediale OFC (C). Activeringskaarten werden gesuperimposeerd op een T1-gewogen groepssjabloon (zie methoden), coördinaten worden gegeven in MNI-ruimte ...
Figuur 4 

fMRI-resultaten Experiment 2. Een hoofdeffect van beloning werd waargenomen in het striatum, inclusief ncl. accumbens (A) en caudate ncl. (C), septum / fornix (B), mediale PFC (C) en mediale OFC (D). Activeringskaarten werden gesuperponeerd op een T1-gewogen groepssjabloon ...

Om onze twee voorspellingen met betrekking tot de hypothese van de exploratiebonus te testen, hebben we twee aanvullende analyses uitgevoerd. Ten eerste, binnen hersenregio's die een belangrijk beloningseffect vertoonden, analyseerden we, welke gebieden ook een sterkere respons vertoonden voor nieuwe beloningen dan bekende beloonde stimuli (dwz conjunctie). Deze analyse leverde geen significante resultaten op, wat suggereert dat er geen hersenregio's zijn waar nieuw zijn leiden tot een sterkere beloningsvoorspellingsreactie dan vertrouwd zijn. Ten tweede hebben we de interactie (F-contrast) tussen nieuwheid en beloning beoordeeld. Een dergelijke interactie werd uitgedrukt in verschillende hersenregio's, waaronder rechter hippocampus, inferieure frontale gyrus en rechter OFC (ondersteunende informatietabel S1, Fig 5). Specifiek toonde de hippocampus het verwachte interactiepatroon met hogere responsen voor stimuli gepresenteerd in de context waarin nieuw zijn wordt beloond (T-contrast). Dat wil zeggen dat hippocampusactiviteit hoger was voor nieuwe beloonde stimuli en bekende niet-beloonde stimuli (merk op dat deze beide stimuli in dezelfde context werden gepresenteerd) dan voor nieuwe niet-beloonde en bekende beloonde stimuli (nogmaals, merk op dat beide stimuli werden gepresenteerd in de dezelfde context). Geplande post-hocvergelijking bevestigde statistisch significante verschillen tussen nieuw-beloond versus nieuw niet-beloond (P <0.025) en vertrouwd beloond vs. vertrouwd niet beloond (P <0.01; Fig 5).

Figuur 5 

fMRI-resultaten Experiment 2. Een interactie tussen nieuwheid en beloning werd waargenomen in de hippocampus en OFC. Binnen de hippocampus werden reacties op bekende, niet-beloonde items verbeterd vergeleken met items die al in de context werden gepresenteerd en die al bekend waren ...

Opgemerkt moet worden dat het activeringspatroon voor de interactie tussen nieuwheid en beloning (36, -14, -16; Fig 5) is aangrenzend maar niet identiek aan de activering van een hoofdeffect van nieuwheid, dat zich ook binnen de rechter hippocampus bevindt (28, -14, -20; Fig 3). Een dergelijk differentieel activeringspatroon komt overeen met onze hypotheses, celopnamen bij dieren en menselijke fMRI-onderzoeken. Dieronderzoek heeft bijvoorbeeld aangetoond dat verschillende hippocampale neuronen kunnen reageren op verschillende kenmerken (zoals nieuwheid of vertrouwdheid) binnen dezelfde taak [Brown en Xiang,1998]. In overeenstemming met deze waarnemingen hebben we bij de mens aangetoond dat ruimtelijk verschillende hippocampale activeringen verschillende eigenschappen van nieuwheidsverwerking, absolute nieuwheidssignalen, adaptief geschaalde nieuwheidssignalen en nieuwheidsvoorspellingsfouten kunnen weerspiegelen ([Bunzeck, et al. 2010], Ondersteunende informatie Fig. S4). Johnson et al. (2008) rapporteerden dat ruimtelijk zeer nauwe clusters van activatie zeer verschillende reacties op nieuwheid vertoonden: één cluster toonde een categorisch verschil tussen nieuwe items en oude items, terwijl de andere cluster een lineaire responsafname vertoonde als een functie van toegenomen stimulusbekendheid. Om echter de mogelijkheid van een vals-positief resultaat uit te sluiten, hebben we een kleine volumecorrectie toegepast op beide activeringspatronen met de rechter voorste hippocampus als volume. De analyse bereikte statistische significantie (P ≤ 0.05; FWE-gecorrigeerd).

Ten slotte probeerden we beloningsgerelateerde geheugenverbetering te koppelen aan regionale hersenactiviteitspatronen met behulp van regressieanalyses (alle analyses werden uitgevoerd met gegevens van Experiment 2). Ten eerste werd de nieuwe contrastbeloning versus nieuwe niet-beloonde afbeeldingen ingevoerd in een eenvoudige regressieanalyse op tweede niveau met behulp van individuele geheugenverbetering door beloning als regressor (Δ gecorrigeerde hit-rate = gecorrigeerde hitrate [Rcorr + Fcorr] voor nieuw-beloonde - gecorrigeerde hit-rate voor nieuwe niet-beloond). Deze analyse werd gemotiveerd door onze eerste observatie van verbeterd totaalgeheugen (dat wil zeggen herinnering en bekendheid) voor nieuwe afbeeldingen per beloning (Experiment 1) en eerdere vergelijkbare bevindingen [Adcock, et al.2006; Krebs, et al. 2009; Wittmann, et al. 2005]. Dit onthulde een significante positieve correlatie tussen hemodynamische responsen (HR) en verbetering van het herkenningsgeheugen binnen de SN / VTA, rechter anterieure MTL (verbinding van de rhiniscortex hippocampus / amygdala) en rechter ventrale striatum (Fig 6, Ondersteunende informatie Tabel S1 voor alle geactiveerde regio's). In een tweede regressieanalyse was hetzelfde contrast voor bekende afbeeldingen (vertrouwde beloningen versus vertrouwde niet-beloning) gecorreleerd met de individuele verbeterde recoliefrequentie (gedragsverhouding, de recensiesnelheid was aanzienlijk verhoogd voor bekende beloningen vergeleken met niet-beloonde afbeeldingen maar er was geen verbetering in Fcorr). Omdat RT's voor vertrouwde beloonde afbeeldingen aanzienlijk sneller waren dan voor bekende niet-beloonde afbeeldingen, werd het verschil tussen beide voor elk onderwerp ook als regressor ingevoerd. Hier waren we alleen geïnteresseerd in die regio's die een significante positieve correlatie vertoonden tussen HR-verschillen (vertrouwde beloningen versus bekende niet beloond) en verhoogde herinneringspercentages (vertrouwde beloningen versus bekende niet-beloond) maar niet die die ook enige correlatie vertoonden met RT verbetering. Deze analyse onthulde vergelijkbare effecten als de eerste regressieanalyse, namelijk een significante correlatie tussen HR en beloningsgerelateerde recolementsnelheidverbetering in het ventrale striatum (links), rechter hippocampus en linker rhinale cortex (Fig 7, Ondersteunende informatie tabel S1), maar geen correlatie binnen de SN / VTA. Een statistisch meer gevoelige post-hoc analyse van de SN / VTA voxel [4, -18, -16] die een significante correlatie vertoonde voor nieuwe beelden bracht ook geen correlatie aan het licht tussen hemodynamische responsen en een betere herinneringssnelheid voor bekende beelden (r = -0.07, P = 0.811).

Figuur 6 

fMRI-resultaten Experiment 2-regressieanalyse. Een significante correlatie tussen verbetering van het herkenningsgeheugen voor nieuwe beloningen vergeleken met niet-beloonde afbeeldingen (Δ gecorrigeerde hit-rate) en hemodynamische responsverschillen tussen nieuwe ...
Figuur 7 

fMRI-resultaten Experiment 2-regressieanalyse. Een significante correlatie tussen de verbetering van de herkenningssnelheid voor bekende beloningen vergeleken met bekende niet-beloonde afbeeldingen (Δ recollection rate) en hemodynamische responsverschillen tussen ...

DISCUSSIE

Onze bevinding dat een cluster van voxels in de MTL (inclusief de hippocampus en de rhinale cortex) een belangrijk effect van nieuwheid vertoonde, maar niet een belangrijk effect van beloning (Fig. 3A, B), ondersteunt het idee dat de hippocampus en de rhinale cortex nieuwheid kunnen signaleren, onafhankelijk van de beloningswaarde. Deze bevinding stemt overeen met een breed scala van dier- en humane studies die suggereren dat zowel de hippocampus als de rhinale cortex gevoelig zijn voor nieuwheid [Brown en Xiang,1998; Dolan en Fletcher, 1997; Ridder, 1996; Lisman en Grace, 2005; Strange, et al. 1999; Yamaguchi, et al. 2004]. Een ander gebied binnen de hippocampus toonde echter ook de veronderstelde interactie van nieuwheid en beloning (Fig 5) met significant verbeterde hemodynamische reacties op vertrouwde niet-beloonde foto's indien gepresenteerd in een context waarin nieuw zijn werd beloond.

Deze interactie van nieuwheid en beloning in de hippocampus levert bewijs voor onze tweede voorspelling van een contextueel effect in overeenstemming met het kader van de exploratiebonus (zie [Sutton en Barto,1981] voor een formele beschrijving van de exploratiebonus binnen het dilemma van de exploratie-exploitatie. Gebaseerd op het idee dat nieuwigheid kan fungeren als een verkenningsbonus voor beloning [Kakade en Dayan, 2002] we voorspelden dat in een context waarin nieuw zijn wordt beloond, er ook een betere verkenning moet zijn van de bekende stimuli (zelfs als ze niet worden beloond). Compatibel met deze mogelijkheid, veroorzaakten bekende stimuli sterkere hippocampusactiviteit in een context waarin de beschikbaarheid van beloning werd gesignaleerd door nieuw te zijn in vergelijking met een context waarin beloning wordt gesignaleerd door bekend te zijn. Deze contextueel verbeterde neurale activering in de hippocampus tijdens de codering vertaalde zich echter niet direct in langetermijngeheugen, dat wil zeggen, een beter geheugen voor bekende items wanneer gepresenteerd in context met nieuwe items voor beloningsvoorspelling. In plaats daarvan werd de herkenningsprestatie bepaald door de beloningsvoorspellingsstatus van een item, zowel voor nieuwe (Experiment 1) als bekende (Experiment 2) stimuli (zie hieronder). Dit suggereert dat, in een experimentele omgeving waarin beloningsvoorspelling en contextuele nieuwheid beide het leren kunnen beïnvloeden, de beloningsvoorspelling de dominantie-invloed kan uitoefenen.

Een andere voorspelling met betrekking tot het kader voor exploratiebonussen werd niet bevestigd. We hebben geen hersenregio's gevonden die een hoofdeffect van beloning vertoonden en tegelijkertijd een aanzienlijk sterkere activiteit voor nieuw beloonde dan bekende beloonde afbeeldingen. Op het eerste gezicht lijkt deze negatieve bevinding op gespannen voet te staan ​​met eerdere studies [Krebs, et al.2009; Wittmann, et al. 2008]. Echter, in beide, de Krebs et al. [ 2009] en de Wittmann et al. [ 2008] studie, verbeterde beloningsvoorspelling voor nieuwe stimuli werd gevonden onder omstandigheden waarbij de nieuwheidsstatus van stimuli impliciet was en deelnemers aanwezig waren om onvoorziene gebeurtenissen te belonen. In feite, Krebs et al. rapporteerde dat deze verbetering afwezig was wanneer deelnemers de nieuwigheidsstatus van stimuli bijwoonden in plaats van aandacht te besteden aan onvoorziene gebeurtenissen (merk echter op dat in Krebs et al. nieuwheidstatus als zodanig geen voorspelling van beloning was). Vandaar dat, in tegenstelling tot de contextuele interactie tussen nieuwheid en beloning (Fig 5), kan dit aspect van de exploratiebonus sterk taakafhankelijk zijn, maar alleen optreden wanneer proefpersonen onvoorbereid kunnen worden bijgeschreven zonder nieuw te beoordelen. Op basis van knaagdierstudies is gesuggereerd dat prefrontale en hippocampale ingangen met elkaar concurreren om controle over de nucleus accumbens (een deel van het ventrale striatum) [Goto en Grace, 2008]. Het is aannemelijk dat taakgerelateerde aandacht voor nieuwheid of beloning van invloed zou zijn op een dergelijke wedstrijd.

Herkenningsgeheugenscores van Experiment 1 (Fig 2) waren goed compatibel met het exploratie-bonusraamwerk in het tonen van een op beloning betrekking hebbende gedragsversterking van lange-termijn geheugenprestaties voor nieuwe maar niet voor bekende stimuli. De gedragsresultaten verkregen onder omstandigheden waarbij codering optrad in de fMRI-scanner (Experiment 2) waren echter verschillend in dat geheugen voor vertrouwde stimuli die een verhoging vertoonden door beloning (voor nieuwe stimuli bereikte deze verbetering geen significantie). Een reden voor dit verschil kan zijn dat in Experiment 1 de coderingscontext en de ophaalcontext van de volgende dag identiek waren (onderwerpen die werden geleerd en in dezelfde ruimte werden getest), terwijl voor Experiment 2 ze verschillend waren (onderwerpen gecodeerd in de fMRI en werden getest in een testkamer). Het is bekend dat veranderingen tussen coderings- en ophaalcontext diepgaande invloed kunnen hebben op de geheugenprestaties [Godden en Baddeley,1975]. Compatibel met deze mogelijkheid was de geheugenprestatie aanzienlijk lager in Experiment 2 dan in Experiment 1 (Fig 2). Dergelijke contexteffecten hebben mogelijk ook geleid tot het verschil in gedragspatronen waargenomen in Experimenten 1 en 2.

Het ventrale striatum (Fig. 4A) en mediale prefrontale cortex (Fig. 4 C, D) brachten de belangrijkste effecten van de verwachte opbrengstwaarde naar voren. In onze taak hing de beloningsvoorspelling af van expliciete nieuwheidsdiscriminatie en dus is het duidelijk dat gebieden die verwachte beloningswaarde tot uitdrukking brengen (ventrale striatum, septum / fornix) toegang vereisen tot informatie over het geheugen voor de gepresenteerde afbeelding. Een waarschijnlijke oorsprong van dergelijke declaratieve geheugeninformatie is de MTL. In feite vertoonden hippocampus en rhinale cortex, als onderdeel van de MTL, niet alleen het belangrijkste effect van nieuwheid, maar ze zijn ook welbekend om efferenten naar het ventrale striatum en de mediale prefrontale cortex te sturen (merk op dat de projectie van de de NAcc stam voornamelijk uit de entorhinale cortex [Friedman, et al.2002; Selden, et al. 1998; Thierry, et al. 2000]). De precieze mechanismen en rekenprocessen die mogelijk een rol spelen bij het vertalen van nieuwheid in beloningsreacties, zijn echter onduidelijk. Mogelijk betreft dit de mediale prefrontale cortex (inclusief orbitale delen) die - in lijn met eerdere studies [O'Doherty, et al. 2004; Ranganath en Rainer, 2003] -Expressie van zowel nieuwheid als beloningsgerelateerde activering (Fig. 3C en 4C, D).

De functionele implicaties van onze resultaten met betrekking tot de weergave van nieuwheid en beloningsreacties in de hippocampus, SN / VTA, ventraal striatum en mediale PFC zijn samengevat in Figure8. Om dit model te ondersteunen, hebben we een correlatie berekend tussen de activering van onze interessegebieden, met behulp van een Spearman-correlatieanalyse voor elk onderwerp in de gedeconvolueerde tijdreeks, om een ​​groepscorrelatiecoëfficiënt R en een P-waarde.

Figuur 8 

Schematische illustratie van de functionele relatie tussen hippocampus, Nucleus accumbens (NAcc), mediale prefrontale cortex (mPFC) en substantia nigra / ventraal tegmentaal gebied (SN / VTA). Om dit model te ondersteunen, hebben we een correlatie berekend tussen ...

Aangezien beloning afhankelijk was van nieuwheid en het enige gebied dat beide typen signalen vertegenwoordigde de mPFC was, is dit gebied waarschijnlijk de bron van op nieuwheid gebaseerde beloningssignalen (R = 0.09; P <0.001). De hippocampus daarentegen is hoogstwaarschijnlijk de bron van het nieuwheidssignaal voor de mPFC (R = 0.11; P <0.001). Dit is aannemelijk aangezien er directe projecties zijn van de hippocampus naar mPFC [Ferino, et al.1987; Rosene en Van Hoesen, 1977]. Het is ook aannemelijk dat het mPFC-belonsignaal vervolgens wordt overgebracht naar de NAcc (R = 0.09; P <0.001) en de SN / VTA (R = 0.03; P = 0.08). Opgemerkt moet worden dat het SN / VTA-signaal alleen correleerde met de op nieuwheid reagerende mPFC (R = 0.03; P = 0.08) maar niet de beloningsresponsieve mPFC (R = 0.007; P > 0.6). Dit suggereert dat mOFC-invoer naar de SN / VTA sterker zou kunnen voortkomen uit die mPFC-regio's die verband houden met nieuwheidsverwerking in plaats van beloningsverwerking. Onze waarneming dat de mPFC reageert op nieuwheid en correleert met het SN / VTA-signaal is ook compatibel met de suggestie [Lisman en Grace, 2005] dat de PFC een bron is van een nieuwheidsignaal in dopaminerge schakelingen. De rol van de NAcc in de signalering van nieuwigheden is echter nog steeds onduidelijk [Duzel, et al. 2009]. Dat wil zeggen, hoewel we geen nieuwigheidssignalen binnen de NAcc waarnamen, was er een sterke correlatie tussen signalen in de NAcc en op nieuwheid reagerende mOFC-gebieden (R = 0.09; P <0.001), NAcc- en nieuwheidsgevoelige hippocampusregio's (R = 0.15; P <0.001), en de NAcc en SN / VTA (R = 0.19; P <0.001). Ten slotte moet worden opgemerkt dat de pijlen in ons model veronderstelde directionaliteit aangeven op basis van bekende projecties in plaats van kwantitatief geschatte causaliteit.

Beloningsgerelateerde verbetering van herkenningsgeheugen was gecorreleerd met ventraal striatum, SN / VTA en MTL-activering (Fig 6). Een belangrijk aspect van hippocampaal leren en plasticiteit is een vereiste voor DA in de expressie van de late fase LTP (lange termijn potentiatie) maar niet in de vroege fase LTP [Frey en Morris,1998; Frey, et al. 1990; Huang en Kandel 1995; vlaamse gaai 2003; Morris 2006]. Dit ondersteunt de opvatting dat DA vereist is voor geheugenconsolidatie op lange termijn, wat wordt ondersteund door recente gedragsgegevens bij knaagdieren [O'Carroll, et al. 2006]. Onze gegevens zijn compatibel met deze weergave in het aantonen van een correlatie tussen verbetering van het geheugen op lange termijn door beloning één dag na codering en activering binnen putatieve dopaminerge gebieden en hippocampus. In het bijzonder zien we een correlatie voor nieuwe beloonde versus niet-beloonde items binnen SN / VTA, ventraal striatum en hippocampus en een correlatie voor bekende beloonde versus niet-beloonde items in ventrale striatum en hippocampus. Aangezien het ventrale striatum een ​​primaire uitgangsstructuur is van de dopaminerge middenhersenen (SN / VTA) [Fields, et al. 2007] onze resultaten suggereren dat een vermogen om een ​​beloningsgerelateerde verbetering van langetermijngeheugen door de hippocampus-SN / VTA te observeren niet beperkt is tot nieuwe stimuli, maar ook geldt voor bekende stimuli. In feite was het waarschijnlijk dat de mate van vertrouwdheid van de klasse van bekende stimuli (tijdens de codering) nogal variabel was en dat die stimuli waarvan codering het meeste baat had bij beloning de minst bekende (relatief meest nieuwe) waren. Daarom is het redelijk om aan te nemen dat de correlaties voor de nieuwe en bekende stimulusklassen werden aangedreven door dezelfde mechanismen.

We hebben ook een belangrijk effect van beloning waargenomen in het septum / fornix (Fig. 4B), een regio met waarschijnlijk cholinerge neuronen die projecteren op mediale temporele structuren. Interessant is dat dierstudies aantonen dat vergelijkbaar met DA-neuronen, cholinergische neuronen (in de basale voorhersenen) reageren op nieuwheid en gewenning wanneer stimuli bekend worden [Wilson en Rolls,1990b]. Bij taken waarbij vertrouwde stimuli echter beloning voorspellen, weerspiegelt de activiteit van neuronen van de basale voorhersenen eerder de beloningsvoorspelling dan de nieuwheidsstatus [Wilson en Rolls, 1990]. Onze bevindingen (Fig. 4B) zijn compatibel met de waarneming van Wilson en Rolls (1990) hoewel we niet kunnen zeggen in welke mate deze activeringen eigenlijk reacties van cholinerge neuronen omvatten.

Samen genomen repliceren we recente waarnemingen dat activiteit van het ventrale striatum, SN / VTA, hippocampus en rhinale cortex correleren met beloningsgerelateerde geheugenversterking die compatibel is met de hippocampus-SN / VTA-lus. Belangrijk is dat onze bevindingen nieuwe belangrijke inzichten verschaffen in de functionele eigenschappen van de componenten van deze lus. In een taak waarin de nieuwheidsstatus van een voorwerp voorspelde beloning uitte, gaf de hippocampus bij voorkeur de nieuwheidstoestand weer, terwijl de activiteit van het ventrale striatum de beloningswaarde reflecteerde onafhankelijk van de nieuwheidstatus. De mediale PFC (inclusief orbitale delen) was waarschijnlijk de plaats waar nieuwheids- en beloningssignalen werden geïntegreerd omdat het zowel nieuwheid als beloningseffecten tot uitdrukking bracht en waarvan bekend is dat het verbonden is met de hippocampus en het ventrale striatum. Ten slotte, in overeenstemming met de exploratiebonus theorie [Kakade en Dayan,2002] nieuwe beloningsvoorspellende stimuli hadden contextueel verbeterende effecten op vertrouwde (niet-belonende) items, die werden uitgedrukt als versterkte neurale responsen in de hippocampus.

Dankwoord

We willen K. Herriot graag bedanken voor de ondersteuning bij het verzamelen van gegevens.

Aanvullende ondersteunende informatie is te vinden in de online versie van dit artikel.

REFERENTIES

  • Adcock RA, Thangavel A, Whitfield-Gabrieli S, Knutson B, Gabrieli JD. Beloning gemotiveerd leren: Mesolimbische activering gaat vooraf aan geheugenvorming. Neuron. 2006, 50: 507-517. [PubMed]
  • Andersson JL, Hutton C, Ashburner J, Turner R, Friston K. Modellering van geometrische vervormingen in EPI-tijdreeksen. NeuroImage. 2001, 13: 903-919. [PubMed]
  • Ashburner J, Friston KJ. Niet-lineaire ruimtelijke normalisatie met behulp van basisfuncties. Hum Brain Mapp. 1999, 7: 254-266. [PubMed]
  • Berridge KC. Het debat over de rol van dopamine bij beloning: de argumenten voor incentive-salience. Psychopharmacology (Berl) 2007; 191: 391-431. [PubMed]
  • Brown MW, Xiang JZ. Herkenningsgeheugen: neuronale substraten van het oordeel van eerder voorkomen. Prog Neurobiol. 1998, 55: 149-189. [PubMed]
  • Bunzeck N, Duzel E. Absolute codering van stimulus nieuwheid in de menselijke substantie Nigra / VTA. Neuron. 2006, 51: 369-379. [PubMed]
  • Bunzeck N, Schutze H, Stallforth S, Kaufmann J, Duzel S, Heinze HJ, Duzel E. Mesolimbic nieuwheidsverwerking bij oudere volwassenen. Cereb Cortex. 2007, 17: 2940-2948. [PubMed]
  • Bunzeck N, Doeller CF, Fuentemilla L, Dolan RJ, Duzel E. Beloning-motivatie versnelt het begin van neurale nieuwheidssignalen bij mensen tot 85 milliseconden. Curr Biol. 2009, 19: 1294-1300. [PMC gratis artikel] [PubMed]
  • Bunzeck N, Dayan P, Dolan RJ, Duzel E. Een gemeenschappelijk mechanisme voor adaptieve schaalvergroting van beloning en nieuwheid. Hum Brain Mapp. 2010, 31: 1380-1394. [PMC gratis artikel] [PubMed]
  • Deichmann R, Gottfried JA, Hutton C, Turner R. Geoptimaliseerde EPI voor fMRI-onderzoeken van de orbitofrontale cortex. NeuroImage. 2003; 19 (2 Pt 1): 430-441. [PubMed]
  • Devenport LD, Devenport JA, Holloway FA. Door beloning geïnduceerde stereotypie: modulatie door de hippocampus. Wetenschap. 1981, 212: 1288-1289. [PubMed]
  • Dolan RJ, Fletcher pc. Difociëren van prefrontale en hippocampale functies in episodische geheugencodering. Natuur. 1997, 388: 582-585. [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Functionele beeldvorming van de menselijke dopaminerge middenhersenen. Trends Neurosci. 2009, 32: 321-328. [PubMed]
  • Eckert T, Sailer M, Kaufmann J, Schrader C, Peschel T, Bodammer N, Heinze HJ, Schoenfeld MA. Differentiatie van idiopathische ziekte van Parkinson, meervoudige systeematrofie, progressieve supranucleaire verlamming en gezonde controles met behulp van magnetisatieoverdrachtsbeeldvorming. Neuroimage. 2004; 21: 229-235. [PubMed]
  • Ferino F, Thierry AM, Glowinski J.Anatomisch en elektrofysiologisch bewijs voor een directe projectie van Ammon's hoorn naar de mediale prefrontale cortex bij de rat. Exp Brain Res. 1987; 65: 421-426. [PubMed]
  • Velden HL, Hjelmstad GO, Margolis EB, Nicola SM. Ventral Tegmental Area Neuronen in geleerd behendig gedrag en positieve versterking. Annu Rev Neurosci. 2007, 30: 289-316. [PubMed]
  • Frey U, Morris RG. Synaptic-tagging: implicaties voor laat onderhoud van hippocampus-potentiatie op de lange termijn. Trends Neurosci. 1998, 21: 181-188. [PubMed]
  • Frey U, Schroeder H, Matthies H. Dopaminerge antagonisten voorkomen langdurig behoud van posttetanisch LTP in het CA1-gebied van ratten hippocampusplakjes. Brain Res. 1990, 522: 69-75. [PubMed]
  • Friedman DP, Aggleton JP, Saunders RC. Vergelijking van hippocampus-, amygdala- en perirhinale projecties met de nucleus accumbens: gecombineerde anterograde en retrograde tracingsstudie in de makaken hersenen. J Comp Neurol. 2002, 450: 345-365. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. Event-related fMRI: kenmerkende differentiële responsen. NeuroImage. 1998, 7: 30-40. [PubMed]
  • Gasbarri A, Packard MG, Campana E, Pacitti C. Anterograde en retrograde tracering van projecties van het ventrale tegmentale gebied naar de hippocampusformatie bij de rat. Brain Res Bull. 1994, 33: 445-452. [PubMed]
  • Gasbarri A, Sulli A, Packard MG. De dopaminerge mesencefale projecties op de hippocampusformatie bij de rat. Prog Neuropsychopharmacol Biol Psychiatry. 1997, 21: 1-22. [PubMed]
  • Godden DR, Baddeley AD. Context-afhankelijk geheugen in twee natuurlijke omgevingen: op het land en onder water. British Journal of Psychology. 1975, 66: 325-331.
  • Ga naar Y, Grace AA. Limbische en corticale informatieverwerking in de nucleus accumbens. Trends Neurosci. 2008, 31: 552-558. [PMC gratis artikel] [PubMed]
  • Helms G, Draganski B, Frackowiak R, Ashburner J, Weiskopf N. Verbeterde segmentatie van deep brain grijze stofstructuren met behulp van magnetisatieoverdracht (MT) parameterkaarten. NeuroImage. 2009, 47: 194-198. [PMC gratis artikel] [PubMed]
  • Holscher C, Jacob W, Mallot HA. Beloning moduleert de neuronale activiteit in de hippocampus van de rat. Gedrag Brain Res. 2003, 142: 181-191. [PubMed]
  • Huang YY, Kandel ER. D1 / D5-receptoragonisten induceren een eiwitsynthese-afhankelijke late potentiëring in het CA1-gebied van de hippocampus. Proc Natl Acad Sci US A. 1995; 92: 2446-2450. [PMC gratis artikel] [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Beeldvervormingscorrectie in fMRI: een kwantitatieve evaluatie. NeuroImage. 2002, 16: 217-240. [PubMed]
  • Hutton C, Deichmann R, Turner R, Andersson JL. 2004. Gecombineerde correctie voor geometrische vervorming en zijn interactie met hoofdbeweging in fMRI; Proceedings of ISMRM 12, Kyoto, Japan.
  • Ikemoto S. Dopamine-beloningscircuits: twee projectiesystemen van de ventrale middenhersenen tot het nucleus accumbens-olfactorische tubercle-complex. Brain Res Rev. 2007; 56: 27-78. [PMC gratis artikel] [PubMed]
  • Jay TM. Dopamine: een potentieel substraat voor synaptische plasticiteit en geheugenmechanismen. Prog Neurobiol. 2003, 69: 375-390. [PubMed]
  • Johnson JD, Muftuler LT, Rugg MD. Meerdere herhalingen onthullen functioneel en anatomisch verschillende patronen van hippocampale activiteit tijdens continuherkenningsgeheugen. Zeepaardje. 2008, 18: 975-980. [PMC gratis artikel] [PubMed]
  • Kakade S, Dayan P. Dopamine: generalisatie en bonussen. Neural Netw. 2002, 15: 549-559. [PubMed]
  • Knight R. Bijdrage van humane hippocampusregio tot nieuwheidsdetectie. Natuur. 1996, 383: 256-259. [PubMed]
  • Knutson B, Cooper JC. Functionele magnetische resonantie beeldvorming van beloningsvoorspelling. Curr Opin Neurol. 2005, 18: 411-417. [PubMed]
  • Krebs RM, Schott BH, Schutze H, Duzel E. De nieuwheidsexploratiebonus en zijn aandachtsmodulatie. Neuropsychologia. 2009, 47: 2272-2281. [PubMed]
  • Li S, Cullen WK, Anwyl R, Rowan MJ. Dopamine-afhankelijke facilitatie van LTP-inductie in hippocampus CA1 door blootstelling aan ruimtelijke nieuwheid. Nat Neurosci. 2003, 6: 526-531. [PubMed]
  • Lisman JE, Grace AA. De Hippocampal-VTA-lus: de invoer van informatie in langetermijngeheugen regelen. Neuron. 2005, 46: 703-713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Antwoorden van dopamine-neuronen bij het leren van gedragsreacties. J Neurophysiol. 1992, 67: 145-163. [PubMed]
  • Mesulam MM. Van sensatie tot cognitie. Hersenen. 1998; 121 (Pt 6): 1013-1052. [PubMed]
  • Morris RG. Elementen van een neurobiologische theorie van hippocampusfunctie: de rol van synaptische plasticiteit, synaptische tagging en schema's. Eur J Neurosci. 2006, 23: 2829-2846. [PubMed]
  • Niv Y, Daw ND, Joel D, Dayan P. Tonic dopamine: alternatieve kosten en de controle van de reactievermogen. Psychopharmacology (Berl) 2007; 191: 507-520. [PubMed]
  • O'Carroll CM, Martin SJ, Sandin J, Frenguelli B, Morris RG. Dopaminerge modulatie van de persistentie van een één-proef hippocampusafhankelijk geheugen. Leer Mem. 2006; 13: 760-769. [PMC gratis artikel] [PubMed]
  • O'Doherty JP, Deichmann R, Critchley HD, Dolan RJ. Neurale reacties tijdens het anticiperen op een primaire smaakbeloning. Neuron. 2002, 33: 815-826. [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Dissocieerbare rollen van ventrale en dorsale striatum bij instrumentele conditionering. Wetenschap. 2004, 304: 452-454. [PubMed]
  • Ploghaus A, Tracey I, Clare S, Gati JS, Rawlins JN, Matthews PM. Leren over pijn: het neurale substraat van de voorspellingsfout voor aversieve gebeurtenissen. Proc Natl Acad Sci US A. 2000; 97: 9281-9286. [PMC gratis artikel] [PubMed]
  • Purves D, Bonardi C, Hall G. Versterking van latente remming bij ratten met elektrolytische laesies van de hippocampus. Gedrag Neurosci. 1995, 109: 366-370. [PubMed]
  • Ranganath C, Rainer G. Neurale mechanismen voor het detecteren en onthouden van nieuwe gebeurtenissen. Nat Rev Neurosci. 2003, 4: 193-202. [PubMed]
  • Rolls ET, Xiang JZ. Beloning-ruimtelijke weergave-afbeeldingen en leren in de hippocampus van de primaat. J Neurosci. 2005, 25: 6167-6174. [PubMed]
  • Rosene DL, Van Hoesen GW. Hippocampus efferenten bereiken wijdverspreide gebieden van de hersenschors en amygdala in de rhesus aap. Wetenschap. 1977, 198: 315-317. [PubMed]
  • Selden NR, Gitelman DR, Salamon-Murayama N, Parrish TB, Mesulam MM. Trajecten van cholinerge routes in de hersenhersenhelften van het menselijk brein. Hersenen. 1998; 121 (Pt 12): 2249-2257. [PubMed]
  • Smith Y, Kieval JZ. Anatomie van het dopamine-systeem in de basale ganglia. Trends Neurosci. 2000; 23 (10 Suppl): S28-S33. [PubMed]
  • Sokolov EN. Hogere zenuwfuncties; de oriëntatiereflex. Annu Rev Physiol. 1963, 25: 545-580. [PubMed]
  • Solomon PR, Vander Schaaf ER, Thompson RF, Weisz DJ. Hippocampus en sporenconditionering van de klassiek geconditioneerde nictiterende membraanrespons van het konijn. Behav Neurosci. 1986; 100: 729-744. [PubMed]
  • Strange BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Segregatie van de functies van menselijke hippocampus. Proc Natl Acad Sci US A. 1999; 96: 4034-4039. [PMC gratis artikel] [PubMed]
  • Sutton RS, Barto AG. Op weg naar een moderne theorie van adaptieve netwerken: verwachting en voorspelling. Psychol Rev. 1981; 88: 135-170. [PubMed]
  • Tabuchi ET, Mulder AB, Wiener SI. Positie en gedragsmodulatie van synchronisatie van hippocampus en accumbens neuronale ontladingen in vrij bewegende ratten. Zeepaardje. 2000, 10: 717-728. [PubMed]
  • Thierry AM, Gioanni Y, Degenetais E, Glowinski J. Hippocampo-prefrontale cortex route: anatomische en elektrofysiologische kenmerken. Zeepaardje. 2000, 10: 411-419. [PubMed]
  • Tulving E. Geheugen en bewustzijn. Canadese psychologie. 1985, 26: 1-12.
  • Weiner I. Het "tweekoppige" latente remmingsmodel van schizofrenie: modellering van positieve en negatieve symptomen en hun behandeling. Psychopharmacology (Berl) 2003; 169 (3-4): 257-297. [PubMed]
  • Weiskopf N, Helms G. Multi-parameter mapping van het menselijk brein met 1mm resolutie in minder dan 20 minuten. ISMRM 16, Toronto, Canada: 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. Optimale EPI-parameters voor vermindering van door gevoeligheid geïnduceerde gevoeligheid van BOLD-gevoeligheid: een analyse van de gehele hersenen bij 3 T en 1.5 T. Neuroimage. 2006, 33: 493-504. [PubMed]
  • Wilson FA, Rolls ET. Leren en geheugen wordt weerspiegeld in de respons van versterkingsgerelateerde neuronen in de basale voorhersenen van de primaat. J Neurosci. 1990a; 10: 1254-1267. [PubMed]
  • Wilson FA, Rolls ET. Neuronale reacties hadden betrekking op de nieuwheid en bekendheid van visuele stimuli in de substantia innominata, diagonale band van Broca en het periventriculaire gebied van de basale voorhersenen van de primaat. Exp Brain Res. 1990b; 80: 104-120. [PubMed]
  • Wirth S, Avsar E, Chiu CC, Sharma V, Smith AC, Brown E, Suzuki WA. Proefuitkomst en associatief leren signalen in de aap-hippocampus. Neuron. 2009, 61: 930-940. [PMC gratis artikel] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Beloningsgerelateerde FMRI-activering van dopaminerge middenhersenen gaat gepaard met een verbeterde hippocampusafhankelijke langetermijngeheugenvorming. Neuron. 2005, 45: 459-467. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Anticiperen op nieuwheid werft beloningssysteem en hippocampus, terwijl recollectie wordt bevorderd. NeuroImage. 2007, 38: 194-202. [PMC gratis artikel] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Striatale activiteit ligt ten grondslag aan op nieuwheid gebaseerde keuze bij mensen. Neuron. 2008, 58: 967-973. [PMC gratis artikel] [PubMed]
  • Yamaguchi S, Hale LA, D'Esposito M, Knight RT. Snelle prefrontale hippocampale gewenning aan nieuwe gebeurtenissen. J Neurosci. 2004; 24: 5356-5363. [PubMed]