Kontextová interakcia medzi novinkou a procesom odmeňovania v mezolimbickom systéme (2012)

  • Hum Brain Mapp. 2012 Jun; 33 (6): 1309 – 1324.
  • Publikované online 2011 Apr 21. doi:  10.1002 / hbm.21288

Nico Bunzeck,*,1 Christian F Doeller,2,3,4 Ray J Dolan,5 a Emrah Duzel2,6

Tento článok bol citované iné články v PMC.

Prejsť na:

abstraktné

Dlhodobá pamäť závislá od mediálneho spánkového laloku (MTL) pre nové udalosti je modulovaná obvodmi, ktoré tiež reagujú na odmenu a zahŕňajú ventrálnu striatum, dopaminergný stredný mozog a mediálnu orbitofrontálnu kôru (mOFC). Táto spoločná neurónová sieť môže odrážať funkčné prepojenie medzi novinkou a odmenou, pričom novosť motivuje prieskum pri hľadaní odmien; odkaz tiež nazval novinkou "prieskumný bonus." Použili sme fMRI v scéne kódovanie paradigma skúmať interakciu medzi novinkou a odmenou so zameraním na nervové signály podobné prieskumu bonus. Ako sa dalo očakávať, dlhodobá pamäť súvisiaca s odmenou (po 24 hodinách) silne korelovala s aktivitou MTL, ventrálnej striatum a substantia nigra / ventrálnej tegmentálnej oblasti (SN / VTA). Okrem toho hipokampus ukázal hlavný efekt novosti, striatum ukázalo hlavný efekt odmeny a mOFC signalizoval novosť aj odmenu, Interakcia medzi novinkou a odmenou podobnou bonusu pri prieskume sa našla v hipokampuse. Tieto údaje naznačujú, že MTL novinkové signály sú interpretované z hľadiska ich vlastností predpovedania odmeňovania v mOFC, čo ovplyvňuje odozvy striatálnej odmeny. Striatum spolu so SN / VTA potom reguluje tvorbu dlhodobej pamäte závislej od MTL a bonusové signály kontextového prieskumu v hipokampuse.

Kľúčové slová: novosť, odmena, mezolimbický systém, pamäť, hipokampus, substantia nigra / ventrálna tegmentálna oblasť, ventrálna striatum, mOFC, prieskumný bonus

ÚVOD

Novosť je motivačne výstižný vzdelávací signál, ktorý priťahuje pozornosť, podporuje kódovanie pamäte a upravuje cieľovo orientované správanie [Knight,1996; Lisman a Grace, 2005; Mešullám, 1998; Sokolov, 1963]. Nedávne dôkazy zo štúdií o ľudských a neľudských primátoch poukazujú na možnosť, že motivačné aspekty novosti čiastočne súvisia s jej spoločnými vlastnosťami s odmenou [Bunzeck a Duzel, 2006; Kakade a Dayan, 2002; Mešullám, 1998]. Tento návrh vyplýva z pozorovaní, že v štúdiách na zvieratách je substantia nigra / ventrálna tegmentálna oblasť (SN / VTA) stredného mozgu aktivovaná stimulmi, ktoré predpovedajú odmeny, ako aj stimuly, ktoré sú nové [Ljungberg, et al. 1992]; pre recenziu pozri [Lisman and Grace, 2005]. Podobne, ľudský SN / VTA je aktivovaný ako odmenu [Knutson a Cooper, 2005] a novinkou [Bunzeck a Duzel, 2006; Bunzeck a kol. 2007; Wittmann a kol. 2005], ako aj podnetmi predpovedajúcimi ich výskyt [Knutson a Cooper, 2005; O'Doherty a kol. 2002; Wittmann a kol. 2005, 2007]. Neurotransmiter dopamín, ktorý je produkovaný v SN / VTA, hlboko reguluje motivačné aspekty správania [Berridge, 2007; Niv a kol. 2007].

Okrem toho existujú dôkazy o tom, že hipokampus, štruktúra mediálneho spánkového laloku (MTL), ktorá je rozhodujúca pre tvorbu dlhodobých epizodických spomienok na nové udalosti, sa tiež podieľa na rôznych formách výučby odmeňovania [Devenport, et al.1981; Holscher a kol. 2003; Ploghaus a kol. 2000; Purves a kol. 1995; Rolls a Xiang, 2005; Solomon a kol. 1986; Tabuchi a kol. 2000; Weiner, 2003; Wirth a kol. 2009]. Napríklad hipokampus hlodavcov vykazuje zvýšenú aktivitu v bludných ramenách s návnadou, ale nie nevyváženými [Holscher a kol. 2003]; v neľudských primátoch je zapojený do vzdelávacích asociácií [Rolls and Xiang, 2005]; hipokampálna aktivita nasleduje predikčné pravidlá učenia chýb pre averzívne stimuly u ľudí [Ploghaus, et al. 2000]; a odmena zvyšuje synchronizáciu medzi neurónmi hipokampu a nucleus accumbens [Tabuchi a kol. 2000].

Zhoda v účinkoch odmeňovania a novosti môže byť teoreticky zladená s návrhom, že novosť aktov motivuje skúmanie životného prostredia na odmeňovanie [Kakade and Dayan,2002]. Podľa tohto návrhu je kľúčovou motivačnou vlastnosťou novosti jeho potenciál predpovedať odmeny, zatiaľ čo známe stimuly, ak sa opakujú v neprítomnosti odmeny, postupne tento potenciál strácajú. Hypotéza prieskumného bonusu robí dva typy predpovedí: prvá sa týka sily, s akou stav novosti alebo známeho môže predpovedať odmenu a druhý súvisí s kontextovo vzdialenými účinkami tejto podmienenosti na iné stimuly. Podľa prvej predpovede by mal byť nový stimul silnejším prediktorom odmeny, ako byť známym podnetom [napr. Wittmann a kol. 2008]. To znamená, že keď nové stimuly predpovedajú odmenu, očakávaná odmena by mala byť vyššia ako keď známe stimuly predpovedajú odmeny. Druhá (nepriama) predpoveď je, že motivačne zvyšujúci účinok novosti na prieskumné správanie by mal mať kontextový vplyv na motivačný význam iných podnetov, ktoré sú prítomné v rovnakom kontexte. Kompatibilný s týmto návrhom, Bunzeck a Duzel [ 2006] ukázali, že v kontexte, v ktorom sú prítomné nové stimuly, známe stimuly vykazujú menšie potlačenie opakovania v štruktúrach MTL. To naznačuje, že aj v prípade absencie explicitnej odmeny, v kontexte, v ktorom sú prítomné nové podnety, existuje silnejšia motivácia preskúmať v tomto kontexte aj známe podnety [Bunzeck a Duzel, 2006]. Tieto predpovede o vzťahu medzi novinkou a odmenou však neboli priamo testované. Z experimentálneho hľadiska si to vyžaduje manipuláciu s vlastnosťou novosti, ktorá predpovedá odmenu tak, že odmeny v danom kontexte sú predpovedané buď tým, že sú nové, alebo tým, že sú známe. Tu sme použili tento experimentálny prístup na skúmanie funkčnej interakcie medzi novinkou a odmenou v štúdii fMRI.

Pochopenie funkčnej interakcie medzi novinkou a odmenou má hlboké dôsledky pre pochopenie toho, ako je regulovaná dlhodobá plasticita nových stimulov. Veľký súbor fyziologických dôkazov ukazuje, že dopamín pochádzajúci zo SN / VTA nielen reguluje motivačné aspekty správania, ale je rozhodujúci pre zvýšenie a stabilizáciu plasticity hipokampu [Frey a Morris,1998; Li a kol. 2003] a konsolidácia pamäte závislá od hipokampu [O'Carroll, et al. 2006]. Podľa tzv. Hippocampus-VTA loop modelu [Lisman a Grace, 2005] v hipokampuse sú generované nové signály a sú prenášané do SN / VTA cez nucleus accumbens a ventrálnu palidu [Lisman a Grace, 2005]. Hoci model zdôrazňuje novosť ako kľúčový kognitívny signál na moduláciu dopamínu zo SN / VTA, explicitne nastoľuje aj otázku, ako motivačné faktory regulujú vplyv novosti na aktivitu hipokampu a SN / VTA. Cieľom tejto štúdie je priblížiť túto otázku z pohľadu spoločných vlastností medzi novinkou a odmenou a ich funkčnou interakciou.

Ak novinka pôsobí ako signál, ktorý motivuje k prieskume úrody [Bunzeck a Duzel,2006; Kakade a Dayan, 2002; Wittmann a kol. 2008] časti hippocampus-SN / VTA slučky by mali ukázať len preferenčnú odozvu na novosť v kontexte, kde je román predpovedá odmeny, ale nie v kontexte, kde je známe, že odmena je známa. Zároveň by sa malo odmeniť zlepšenie prieskumu, keď sa román stane, a tým by sa mali posilniť hipokampálne reakcie na známe podnety, ktoré sa prezentujú v rovnakom kontexte, aj keď by to nepredpovedalo odmeny. Naopak, v kontexte, v ktorom je známe, ale nie nové, predpovedá odmeny, mala by existovať menšia kontextová motivácia na skúmanie a následne by aktivita hipokampu mala byť nízka tak pre román, ako aj pre známe stimuly v tomto kontexte. Preto hypotéza, že novosť má vlastnú vlastnosť motivovať exploratívne správanie pri hľadaní odmien, vedie k predikcii interakcie medzi stavom podnetov novosti a odmeny. V súlade s tým by hipokampus silne reagoval na nové a známe stimuly, keď je román predpovedá odmenu a slabo tak na nové, ako aj na známe stimuly, keď je známy, predpovedá odmenu.

Alternatívnou možnosťou je, že novosť a status odmeňovania informácií sú nezávislé. Podľa tejto možnosti by nemala existovať žiadna funkčná interakcia medzi novinkou a odmenou. Inými slovami, časti hippocampus-SN / VTA slučky by vyjadrili len hlavný efekt novosti alebo odmeny, ale žiadne interakcie medzi oboma.

Spoločne, manipulácia s podmienkou medzi novinkami a odmenami môže pomôcť pochopiť kľúčové mechanizmy, ktoré riadia novátorské reakcie v mezolimbickom systéme. Na tento účel sme vyvinuli paradigmu, kde prijímanie peňažnej odmeny závisí od novosti stavu obrazov scén [Bunzeck a kol.2009]. Uskutočňovanie správnych rozhodnutí o preferenciách odmeňovania (pozri metódy) bolo možné len po správnom rozlíšení nových a známych podnetov. Dôležité je, že sme rozpoznali rozpoznávaciu pamäť jeden deň po kódovaní, a tak sme boli schopní identifikovať, do akej miery by komponenty hipokampálnej-SN / VTA slučky korelovali s odmenou súvisiacou podporou dlhodobej pamäte pre nové a známe stimuly.

MATERIÁLY A METÓDY

Uskutočnili sa dva pokusy. Zatiaľ čo prvý experiment (Experiment 1) bol behaviorálnym experimentom, druhý experiment (Experiment 2) zahŕňal behaviorálne opatrenia a fMRI.

Predmety

V experimente 1 sa zúčastnilo 17 dospelých (13 žien a štyria muži; vekové rozpätie 19–33 rokov; priemer 23.1, SD = 4.73 rokov) a 14 dospelých sa zúčastnilo experimentu 2 (päť mužov a deväť žien; vekové rozpätie: 19–34 rokov) ; priemer = 22.4 rokov; SD = 3.8 roka). Všetci jedinci boli zdraví, praváci a mali normálnu alebo korigovanú ostrosť. Žiadny z účastníkov neuvádzal anamnézu neurologických, psychiatrických alebo zdravotných porúch alebo akékoľvek súčasné zdravotné problémy. Všetky experimenty sa uskutočňovali s písomným informovaným súhlasom každého subjektu a podľa miestneho etického klírensu (University College London, UK).

Experimentálny dizajn a úloha

V obidvoch experimentoch sa vykonali tri sady (1), fáza familiarizácie nasledovaná (2) úlohou rozpoznávania pamäťovej preferencie. Tu boli použité nové obrázky pre každú sadu, čo viedlo k použitiu 120 románu a 120 známych obrázkov. Experimentálne postupy boli identické pre oba experimenty okrem toho, že Experiment 1 bol uskutočnený na obrazovke počítača a Experiment 2 bol uskutočnený v MRI skeneri. (3) V deň 2 boli testované dve rozpoznávacie pamäte pre všetky prezentované obrazy pomocou postupu „zapamätať / vedieť“ (pozri nižšie).

(1) Oboznámenie: Subjekty boli spočiatku oboznámené so súborom 40 snímok (20 indoor a 20 outdoor images). Tu bol každý obraz prezentovaný dvakrát v náhodnom poradí pre 1.5 s interstimulus intervalom (ISI) 3 s a subjekty indikovali vnútorný / vonkajší stav pomocou ich pravého indexu a prostredného prsta. (2) Test pamäte rozpoznávania: subjekty následne vykonali úlohu posudzovania preferencií (session) na základe rozpoznávania pamäte 9. Táto časť (relácia) bola ďalej rozdelená do dvoch blokov, z ktorých každý obsahoval obrázky 20 z fázy familiarizácie (označované ako „známe obrázky“) a 20 predtým nepredstavovali obrázky (označované ako „nové obrázky“; subjekty sa mohli pozastaviť na 20 s medzi jednotlivými snímkami). bloky). V každom danom bloku buď nové obrázky slúžili ako CS + a známe obrázky ako CS− alebo naopak (Fig..1). Účastníci boli inštruovaní, aby urobili „preferenčný“ úsudok ku každému obrázku pomocou tlačidla s dvomi voľbami, ktoré označujú „preferujem“ alebo „nemám radosť“ v závislosti od nepredvídateľnosti stavu novosti a hodnoty zosilnenia. Dôležité je, že pojem „uprednostňovaný“ a „nepreferovaný“ sa vzťahuje skôr na stav predpovedania obrazu odmeny (v závislosti od kontextovej podmienenosti) než na estetické vlastnosti obrazu.

Obrázok 1 

Experimentálny dizajn.

Núdzová udalosť bola náhodne označená a uvedená na obrazovke pred každým spustením buď „Novinka bude odmenená, ak bude preferovaná“ (v tomto prípade budú nové obrázky slúžiť ako CS + a známe obrázky ako CS−) alebo „Oboznámenosť bude odmenená, ak bude preferovaná“ (tu známe obrázky slúžili ako CS + a nové obrazy ako CS−). Iba správne odpovede „preferujem“ po CS + viedli k víťazstvu £ 0.50, zatiaľ čo (nesprávne) odpovede „preferujem“ po CS− viedli k strate £ -0.10. Obe správne odpovede typu „nemám radšej“ podľa odpovedí CS− a (nesprávne) odpovedí „Nesúhlasím“ po CS + viedli k víťazstvu ani strate. Obrázky boli prezentované v náhodnom poradí pre 1 s na sivom pozadí nasledovanom bielym fixačným krížikom pre 2 s (ISI = 3 s). Aby sa zabezpečilo, že reakcie na neurálnu odmenu boli obmedzené na prezentované obrázky (tj očakávania odmeňovania namiesto výsledku), na skúšobnej báze sa neposkytla žiadna spätná väzba. Namiesto toho boli subjekty informované o ich celkovom výkone po každej relácii (obsahujúce bloky 2 s každou podmienkou). Pred experimentom boli subjekty inštruované, aby odpovedali čo najrýchlejšie a čo najpresnejšie a aby sa vyplatilo len 20% všetkých zárobkov.

Všetky obrázky boli sivé a normalizované na priemernú hodnotu šedej 127 a štandardnú odchýlku 75. Žiadna zo scén nenaznačovala ľudské bytosti alebo časti ľudských bytostí vrátane tvárí v popredí.

Školenia

Každý subjekt pred experimentom absolvoval dva tréningy. Obdobne ako v prípade skutočného experimentu, obe tréningové fázy začali fázou oboznámenia, počas ktorej bolo dvakrát v náhodnom poradí predstavených iba 10 snímok (doba trvania = 1.5 s; ISI = 3 s) a subjekty označili svoj vnútorný / vonkajší stav. Rovnako ako v prípade hlavného experimentu, po oboznámení nasledovala úloha úsudku o preferencii založenú na pamäti vrátane známych a nových obrázkov. Na účely tréningu bola na tréningu 1 po každej odpovedi daná spätná väzba pokus po skúške. Na tréningu 2 sa spätná väzba odmien neukázala bezprostredne po každom stimule / reakcii. Po každom tréningu bola subjektu oznámená finančná odmena (maximálne 1 £). V experimente 2 subjekty tiež absolvovali krátke školenie obsahujúce 10 známych a 10 nových obrázkov na blok nepredvídaných udalostí.

O jeden deň neskôr pacienti vykonali náhodný test rozpoznávania pamäte podľa postupu „zapamätať / vedieť“ [Tulving,1985]. Tu boli v náhodnom poradí všetky 240 predtým videné snímky (60 za podmienky) prezentované spolu s 60 novými distraktorovými obrazmi v strede obrazovky počítača. Úloha: Subjekt najprv urobil „staré / nové“ rozhodnutie ku každému jednotlivo prezentovanému obrázku pomocou pravého indexu alebo prostredníka. Po „novom“ rozhodnutí boli subjekty vyzvané, aby uviedli, či boli si istí („určite nové“) alebo si neboli istí („hádajte“), opäť pomocou pravého indexu a prostredníka. Po „starom“ rozhodnutí boli subjekty vyzvané, aby uviedli, či si boli schopní spomenúť si na niečo konkrétne o tom, že by si mohli pozrieť scénu v štúdii („zapamätať si odpoveď“). len hádali, že obraz bol starý (odpoveď „hádajte“). Subjekt mal 4 s, aby každý z oboch rozsudkov a tam bola prestávka 15 s po každom 75 obrázky.

Metódy fMRI

Vykonali sme fMRI na skeneri 3-Tesla Siemens Allegra s magnetickou rezonanciou (Siemens, Erlangen, Nemecko) s echo planárnym zobrazovaním (EPI) s použitím kvadratúrnej transceiverovej cievky s dizajnom založeným na princípe „birdcage“. Vo funkčnej relácii boli získané 48 T2 *-vážené obrazy (EPI-sekvencia; pokrývajúce celú hlavu) na objem s kontrastom závislým od hladiny kyslíka v krvi (BOLD) (veľkosť matice: 64 × 64; 48 šikmé axiálne rezy na jeden objem uhlov pri −30 ° v antero-posteriornej osi, priestorové rozlíšenie: 3 × 3 × 3 mm, TR = 3120 ms, TE = 30 ms, z-redukčný prechodový impulz impulzov PP = 0 mT / m * ms; - polarita kódovania). FMRI akvizičný protokol bol optimalizovaný na zníženie citlivosti BOLD citlivosti vyvolanej citlivosťou v dolných frontálnych oblastiach a oblastiach temporálneho laloku [Deichmann a kol.2003; Weiskopf a kol. 2006]. Pre každý subjekt boli funkčné údaje získané v troch skenovacích reláciách obsahujúcich 180 zväzkov na reláciu. Na začiatku každej série sa získalo šesť ďalších objemov na reláciu, aby sa umožnila stabilizácia magnetizácie, a následne sa vyradili z ďalšej analýzy. Anatomické snímky mozgu každého subjektu boli zhromaždené pomocou multi-echo 3D FLASH na mapovanie protónovej hustoty, T1 a magnetizačného prenosu (MT) v rozlíšení 1 mm [Helms a kol. 2009; Weiskopf a Helms, 2008] a T1 vážené inverzné zotavenie pripravené sekvencie EPI (IR-EPI) (veľkosť matice: 64 × 64; rezy 64; priestorové rozlíšenie: 3 × 3 × 3 mm). Okrem toho boli zaznamenané jednotlivé mapy poľa s použitím dvojitej echovej sekvencie FLASH (veľkosť matice = 64 × 64; rezy 64; priestorové rozlíšenie = 3 × 3 × 3 mm; medzera = 1 mm; krátka TE = 10 ms; dlhá TE = 12.46 ms TR = 1020 ms) na korekciu skreslenia získaných obrázkov EPI [Weiskopf et al. 2006]. Použitie „FieldMap toolbox“ [Hutton, et al. 2002, 2004] mapy poľa boli odhadnuté z fázového rozdielu medzi obrazmi získanými na krátkom a dlhom TE.

Údaje fMRI boli predspracované a štatisticky analyzované použitím SPM5 softvérového balíka (Wellcome Trust Center for Neuroimaging, University College London, UK) a MATLAB 7 (The MathWorks, Inc., Natick, MA). Všetky funkčné obrazy boli opravené pre pohybové artefakty opätovným nastavením na prvý zväzok; korigované na skreslenie na základe mapy poľa [Hutton a kol.2002]; korigované na interakciu pohybu a skreslenia pomocou „Unwarp toolbox“ [Andersson, et al. 2001; Hutton a kol. 2004]; priestorovo normalizovaný na štandardnú SPN-šablónu s váženým rozlíšením T1 [Ashburner a Friston, 1999] (bola venovaná pozornosť tomu, aby najmä oblasti stredného mozgu boli zarovnané so štandardnou šablónou); znovu vzorkované na 2 × 2 × 2 mm; a vyhladené izotropným 4 mm polovičným maximálnym Gaussovým jadrom. Takéto jemné priestorové rozlíšenie v kombinácii s relatívne malým vyhladzovacím jadrom je základom pre schopnosť detegovať malé klastre aktivácie, napríklad v oblastiach stredného mozgu a MTL, kde sú rozdielne vzory aktivácie (tj novátorské reakcie a interakcie medzi novinkou a odmenou). ) sa môže nachádzať v tesnej blízkosti [Bunzeck, et al. 2010]. Údaje časových radov fMRI boli filtrované s vysokou priepustnosťou (cutoff = 128 s) a bielené použitím AR (1) -modelu. Pre každý subjekt bol vypočítaný štatistický model súvisiaci s udalosťami vytvorením „funkcie stick“ pre každý nástup udalosti (trvanie = 0 s), ktorý bol konvolvovaný s funkciou kanonickej hemodynamickej odozvy kombinovanou s časom a disperznými derivátmi [Friston a kol. 1998]. Modelované podmienky zahŕňali novo odmenené, novo neodmenené, známe odmeny, známe a neodmeňované a nesprávne odpovede. Na zachytenie reziduálnych artefaktov súvisiacich s pohybom sa zahrnulo šesť kovariantov (tri translácie tuhých telies a tri rotácie vyplývajúce z preusporiadania) ako regresory bez záujmu. Regionálne špecifické stavové účinky boli testované použitím lineárnych kontrastov pre každý subjekt a každý stav (analýza prvej úrovne). Výsledné kontrastné obrazy boli vložené do analýzy náhodných efektov druhej úrovne. Tu boli hemodynamické účinky každého stavu hodnotené pomocou analýzy rozptylu 2 × 2 (ANOVA) s faktormi „odmena“ (odmeňovanie, neodmeňovanie) a „novosť“ (román, známy). Tento model nám umožnil testovať hlavné účinky novosti, hlavné účinky odmeny a interakciu medzi oboma. Všetky kontrasty boli prahové P = 0.001 (nekorigované) okrem regresných analýz (P = 0.005, nekorigované). Obe relatívne liberálne prahy boli vybrané na základe našich presných a priori anatomických hypotéz v mezolimbickom systéme.

Anatomická lokalizácia významných aktivácií sa hodnotila s odkazom na štandardný stereotaxický atlas superpozíciou SPM máp na jednej z dvoch skupinových šablón. Templát vážený T1 a MT vážený pre skupinu boli odvodené z priemeru normalizovaných obrazov T1 alebo MT všetkých subjektov (priestorové rozlíšenie 1 × 1 × 1 mm). Zatiaľ čo šablóna T1 umožňuje anatomickú lokalizáciu mimo stredný mozog na snímkach MT, oblasť SN / VTA sa dá odlíšiť od okolitých štruktúr ako jasný pruh, zatiaľ čo priľahlé červené jadro a mozgový stopka vyzerajú tmavé [Bunzeck a Duzel,2006; Bunzeck a kol. 2007; Eckert a kol. 2004].

Všimnite si, že uprednostňujeme použitie výrazu SN / VTA a zvažujeme aktivitu BOLD z celého komplexu SN / VTA z niekoľkých dôvodov [Duzel a kol.2009]. Na rozdiel od skorých formulácií VTA ako anatomickej entity sú rôzne dopaminergné projekcie dráhy dispergované a prekrývajú sa v komplexe SN / VTA. Najmä dopamínové neuróny, ktoré premietajú do limbických oblastí a regulujú správanie motivované odmenou, sa neobmedzujú len na VTA, ale sú distribuované aj cez SN (pars compacta) [Gasbarri, et al. 1994, 1997; Ikemoto, 2007; Smith a Kieval, 2000]. Funkčne je to paralelné v tom, že u ľudí a primátov DA neurón v SN a VTA reaguje na odmenu aj na novosť [pozri napríklad Ljungberg, et al. 1992 alebo Tobler a kol., 2003 pre zobrazenie záznamových miest].

VÝSLEDKY

Všetky analýzy (behaviorálne a fMRI) sú založené na štúdiách so správnymi preferenciami.

experiment 1

Subjekty s vysokou presnosťou rozlišovali medzi podmienkami v oboch kontextoch (Tabuľka I) a neexistovali žiadne štatisticky významné rozdiely medzi podmienkami. Reakčný čas (Obrázok 2A) analýza odhalila, že subjekty reagovali najrýchlejšie na známe stimuly predpovedania odmien (všetky P<0.007), ale medzi ostatnými tromi podmienkami (román s odmenou, román bez odmenenia, familiár neodmenený) nebol žiadny rozdiel. P> 0.05).

Obrázok 2 

Výsledky správania. (A) Reakčné časy. V obidvoch experimentoch boli RTs podstatne rýchlejšie pri známych hodnotených snímkach v porovnaní so všetkými ostatnými podmienkami (všetko P <0.01) - ako je označené hviezdičkou - ale nebol tu žiadny iný rozdiel ...
Tabuľka I 

Behaviorálne výsledky

Výkon pamäte rozpoznávania - druhý deň. Rozpoznávanie pamäte analýza bola založená na oboch hity (pamätať odpovede, poznať odpovede po obrázkoch predtým vidieť počas kódovania), a falošné alarmy ([FA]: pamätajte, vedieť, že rušivé). V prvom kroku sme vypočítali podiel spomienok a známych odpovedí na staré a nové obrázky (tj miery hitov a FA-sadzby) vydelením počtu zhôd (a FA) počtom položiek na stav. Po druhé, korigované miery hit-hitov boli získané pre zapamätanie-odpovede ([Rcorr], pamätať hit-rate mínus pamätať FA-rate) a know-response ([Kcorr], vedieť hit-rate mínus FA-rate) (pozri Tabuľka II). V plánovanom porovnaní sme vyhodnotili vplyv odmeny na celkovú pamäť na rozpoznávanie (korigovaná rýchlosť zásahu = Rcorr + Kcorr) pre nové a známe obrázky. To odhalilo, že odmena výrazne zlepšila celkovú pamäť pre nové obrazy v porovnaní s novinkami, ktoré neboli odmeňované (P = 0.036), ale nedošlo k žiadnemu zlepšeniu celkovej pamäte odmenou za známe obrázky (P > 0.5; Obr. 2). Okrem toho, zosilňujúci účinok odmeny na rozpoznávaciu pamäť pre nové obrazy bol rovnako silný pre spätnú väzbu a dôveru, ako sa ukázalo analýzou rozptylu (ANOVA; žiadna interakcia medzi typom odmeny a rozpoznávania [F(1,16) = 2.28, P > 0.15)].

Tabuľka II 

Pamäť rozpoznávania

experiment 2

Podobne ako v experimente 1, subjekty rozlišovali medzi podmienkami v oboch kontextoch s vysokou presnosťou a bez významných rozdielov medzi podmienkami (Tabuľka I). Ako v experimente 1, aj čas reakcie (Obrázok 2A) analýza ukázala, že reakcie boli významne rýchlejšie pre známe stimuly predpovedania odmien (všetko P<0.001), ale medzi ostatnými tromi podmienkami (novo odmenený, nový-neodmenený, známy-neodmenený) nebol žiadny rozdiel; všetky P> 0.05).

Výkon pamäte rozpoznávania - druhý deň. Na rozdiel od experimentu 1 nebola rozpoznávacia pamäť pre nové odmenené obrazy významne zlepšená v porovnaní s novými nezosúladenými obrázkami (ani celková rozpoznávacia pamäť ani Rcorr / Kcorr; P > 0.05, Tabuľka II). Na rozdiel od experimentu 1 sa v experimente 2 významne zlepšila spätná väzba pre známe odmenené obrázky v porovnaní so známymi neodmeňovanými obrázkami (P = 0.001, Tabuľka II), čo viedlo k zlepšeniu celkovej pamäte (Rcorr + Kcorr) pre známych odmenených v porovnaní so známymi neodmenenými obrázkami (nebol zistený žiadny významný rozdiel medzi korigovanými znalosťami známych odmenených a známych neodmeňovaných obrázkov, P > 0.05). Ďalej údaje v Tabuľka II a Obrázok 2B ukazuje, že celkový výkon pamäte bol podstatne nižší v experimente 2 v porovnaní s experimentom 1, ktorý bol podporený zmiešanými efektmi ANOVA.

fMRI výsledky - test založený na rozpoznávacej pamäti. Najprv sme analyzovali fMRI dáta pomocou 2 × 2 ANOVA s faktormi „novosť“ (román, známa) a „odmena“ (odmena, žiadna odmena). Zistili sme hlavný účinok novosti v bilaterálnej mediálnej orbitofrontálnej kôre (mOFC) a pravej MTL vrátane hipokampu a rinálnej kôry, (Obr. 3; pozrite si tabuľku podporných informácií S1, kde nájdete úplný zoznam aktivovaných štruktúr mozgu). Hlavný účinok odmeny bol pozorovaný v bilaterálnom kaudate, septum / fornix, ventrálnom striate (ncl. Accumbens), bilaterálnom mOFC a mediálnom prefrontálnom kortexe (mPFC) (Obr. 4; Tabuľka podporných informácií S1). Tieto dva hlavné účinky boli maskované výlučne účinkami interakcií (výhradné maskovanie, P = 0.05, nekorigované) na identifikáciu len tých regiónov, ktoré vyjadrili hlavné účinky v neprítomnosti akejkoľvek interakcie.

Obrázok 3 

Výsledky fMRI Experiment 2. Hlavný účinok novosti bol pozorovaný v pravom hipokampuse (A), rinálnom kortexe (B) a mediálnom OFC (C). Aktivačné mapy boli prekryté na T1-váženej skupinovej šablóne (pozri metódy), súradnice sú uvedené v MNI priestore ...
Obrázok 4 

Výsledky fMRI Experiment 2. Hlavný účinok odmeny bol pozorovaný v striate, vrátane ncl. accumbens (A) a caudate ncl. (C), septum / fornix (B), mediálny PFC (C) a stredný OFC (D). Mapy aktivácie boli prekryté šablónou skupiny váženou T1 ...

Na otestovanie našich dvoch predpovedí týkajúcich sa hypotézy prieskumných bonusov sme vykonali dve ďalšie analýzy. Po prvé, v oblastiach mozgu, ktoré ukázali hlavný efekt odmeny, sme analyzovali, ktoré oblasti tiež ukázali silnejšiu reakciu na román odmenený ako známe odmenené stimuly (tj spojenie). Táto analýza nepriniesla žiadne významné výsledky, z ktorých by vyplývalo, že neexistovali žiadne oblasti mozgu, kde by nový román viedol k silnejšej odozve na predikciu odmien, než by bol známy. Po druhé, hodnotili sme interakciu (F-kontrast) medzi novinkou a odmenou. Takáto interakcia bola exprimovaná v niekoľkých oblastiach mozgu vrátane pravého hipokampu, horného frontálneho gyrusu a pravej OFC (podporná informačná tabuľka S1, Obr. 5). Konkrétne, hipokampus ukázal očakávaný interakčný model s vyššími odozvami pre podnety prezentované v kontexte, kde je odmenený román (T-kontrast). To znamená, že hipokampálna aktivita bola vyššia u nových odmenených podnetov a známych neospravedlnených podnetov (všimnite si, že obidva tieto podnety boli prezentované v rovnakom kontexte) ako v prípade nových nezodpovedaných a známych odmenených podnetov (opäť, že oba tieto podnety boli prezentované v súvislosti). Plánované post hoc porovnanie potvrdilo štatisticky signifikantné rozdiely medzi novo odmenenou verziou románu, ktorá nebola odmenená (P <0.025) a známi odmenení vs. známi bez odmeny (P <0.01; Obr. 5).

Obrázok 5 

Výsledky fMRI Experiment 2. Interakcia medzi novinkou a odmenou bola pozorovaná v rámci hipokampu a OFC. V rámci hipokampu boli odpovede na známe nezodpovedané položky vylepšené v porovnaní so známymi hodnotami, ak boli prezentované v kontexte ...

Treba poznamenať, že vzor aktivácie interakcie medzi novinkou a odmenou (36, −14, −16; Obr. 5) susedí, ale nie je totožný s aktiváciou hlavného efektu novosti, ktorá sa nachádza aj v pravom hipokampe (28, −14, −20; Obr. 3). Takýto diferenciálny aktivačný vzor zodpovedá našim hypotézam, bunkovým záznamom u zvierat a štúdiám ľudského fMRI. Výskum na zvieratách napríklad ukázal, že rôzne hipokampálne neuróny môžu reagovať na rôzne funkcie (ako napríklad novosť alebo dôvernosť) v rámci tej istej úlohy [Brown and Xiang,1998]. V súlade s týmito pozorovaniami sme ukázali u ľudí, že prostorovo odlišné hipokampálne aktivácie môžu odrážať rozdielne vlastnosti spracovania novosti, absolútne novátorské signály, adaptívne zmenšené novinové signály a novinky predikčných chýb ([Bunzeck, et al. 2010], Podporné informácie Obr. S4). Johnson a kol. (2008) uviedli, že priestorovo veľmi úzke klastre aktivácie vykazovali veľmi odlišné odozvy na novosť: jeden klaster vykazoval kategorický rozdiel medzi novými položkami a starými položkami, zatiaľ čo druhý klaster vykazoval lineárny pokles odozvy ako funkciu zvýšenej známosti stimulov. Na ďalšie vylúčenie možnosti falošne pozitívneho výsledku sme však aplikovali malú korekciu objemu na obidva aktivačné vzory s použitím pravého predného hipokampu ako objemu. Analýza dosiahla štatistický význam (P ≤ 0.05; Fwe korigovaná).

Nakoniec sme sa snažili spojiť zlepšovanie pamäte súvisiace s odmenou s regionálnymi modelmi mozgovej aktivity pomocou regresných analýz (všetky analýzy boli vykonané s údajmi z experimentu 2). Po prvé, kontrastné romány odmenené vs. nové neohodnotené obrazy boli vložené do jednoduchej regresnej analýzy druhej úrovne pomocou zlepšenia individuálnej pamäte o odmenu ako regresora (Δ korigovaná miera úspešnosti = korigovaná miera zásahu [Rcorr + Fcorr] pre novo odmenené - opravená miera hitov pre román, ktorý nebol odmenený). Táto analýza bola motivovaná naším počiatočným pozorovaním zlepšenej celkovej pamäte (tj spätného získavania a známosti) pre nové obrazy odmenou (Experiment 1) a predchádzajúcich podobných zistení [Adcock a kol.2006; Krebs a kol. 2009; Wittmann a kol. 2005]. To odhalilo signifikantnú pozitívnu koreláciu medzi hemodynamickými odpoveďami (HR) a zlepšením rozpoznávania pamäte v rámci SN / VTA, pravého predného MTL (spojenie hipokampu rinálnej kôry / amygdala) a pravého ventrálneho striata (Obr. 6, Tabuľka podporných informácií S1 pre všetky aktivované regióny). V druhej regresnej analýze bol rovnaký kontrast pre známe obrázky (známe odmeny oproti známym ne-odmenám) korelovaný s individuálnou zlepšenou mierou spätného odozvy (behaviorálne, miera spätného odozvy bola významne zvýšená pre známych odmenených v porovnaní s neodmyslenými obrázkami, ale nebol tu žiadny zlepšenie vo Fcorr). Vzhľadom k tomu, RTs pre známe odmenené obrázky boli výrazne rýchlejšie ako pre známe ne-odmenené obrazy rozdiel medzi oboma pre každý predmet bol tiež zadaný ako regresor. Tu sme sa zaujímali len o tie regióny, ktoré vykazovali výraznú pozitívnu koreláciu medzi HR rozdielmi (známe odmenené vs. známe, nie odmenené) a zvýšenou mierou spätného odmeňovania (známe odmenené vs. známe odmenené), ale nie tie, ktoré tiež vykazovali akúkoľvek koreláciu s RT zlepšenie. Táto analýza odhalila podobné účinky ako pri prvej regresnej analýze, a to významnú koreláciu medzi zlepšením rýchlosti HR a odmeňovania v rámci ventrálneho striatu (vľavo), pravého hipokampu a ľavého rinálneho kortexu (Obr. 7, Tabuľka podporných informácií S1), ale žiadna korelácia v rámci SN / VTA. Štatisticky citlivejšia post hoc analýza voxelu SN / VTA [4, −18, −16], ktorá ukázala významnú koreláciu medzi novými obrazmi, tiež neodhalila žiadnu koreláciu medzi hemodynamickými odpoveďami a lepšou mierou spätného odozvu pre známe snímky (r = -0.07, P = 0.811).

Obrázok 6 

Výsledky fMRI Experiment 2 – regresná analýza. Významná korelácia medzi zlepšením rozpoznávania pamäte pre román v porovnaní s neodmenenými obrázkami (Δ korigovaná miera úspešnosti) a rozdielmi hemodynamickej odozvy medzi románmi. ...
Obrázok 7 

Výsledky fMRI Experiment 2 – regresná analýza. Významná korelácia medzi zlepšením miery spätného vychytávania pre známych odmeňovaných v porovnaní so známymi neodmeňovanými obrázkami (miera lection recollection) a rozdielmi hemodynamickej odozvy medzi ...

DISKUSIA

Naše zistenie, že klaster voxelov v rámci MTL (vrátane hipokampu a mozgovej kôry) ukázal hlavný efekt novosti, ale nie hlavný účinok odmeny (Obr. 3A, B), podporuje myšlienku, že hipokampus a rinálna kôra môžu signalizovať novosť nezávisle od hodnoty odmeny. Toto zistenie je v súlade so širokou škálou štúdií na zvieratách a ľuďoch, čo naznačuje, že hipokampus aj rinálna kôra sú citlivé na novosť [Brown and Xiang,1998; Dolan a Fletcher, 1997; Rytier, 1996; Lisman a Grace, 2005; Strange a kol. 1999; Yamaguchi a kol. 2004]. Iný región v rámci hipokampu však ukázal aj predpokladanú interakciu novosti a odmeny (Obr. 5) s výrazne zlepšenými hemodynamickými odozvami na známe nezodpovedané obrazy, ak boli prezentované v kontexte, v ktorom bol román odmenený.

Táto interakcia novosti a odmeny v hipokampe poskytuje dôkaz pre našu druhú predpoveď kontextuálneho efektu v súlade s rámcom bonusového prieskumu (pozri [Sutton and Barto,1981] na formálny opis bonusu na prieskum v rámci dilemy prieskumného využívania). Na základe názoru, že novosť môže pôsobiť ako bonus za prieskum za odmenu [Kakade a Dayan, 2002] sme predpovedali, že v kontexte, v ktorom je román odmenený, by sa malo posilniť skúmanie aj známych podnetov (aj keď sú neodmyslené). Kompatibilné s touto možnosťou, známe stimuly vyvolali silnejšiu hipokampálnu aktivitu v kontexte, kde bola dostupnosť odmeny signalizovaná tým, že je román v porovnaní s kontextom, v ktorom je odmena signalizovaná oboznámením sa. Táto kontextovo zosilnená neurálna aktivácia v rámci hipokampu počas kódovania sa však nepremietla priamo do dlhodobej pamäte, teda lepšej pamäte pre známe položky, keď sa prezentovala v kontexte s novými položkami predpovedania odmeny. Namiesto toho bol výsledok rozpoznávania poháňaný stavom predpovedania odmeny za položku ako pre nové (Experiment 1), tak aj známe (Experiment 2) stimuly (pozri nižšie). To naznačuje, že v experimentálnom prostredí, v ktorom môže predikcia odmeňovania a kontextová novosť ovplyvniť učenie, môže predikcia odmeňovania uplatniť vplyv dominancie.

Ďalšia predpoveď týkajúca sa rámca prieskumu nebola potvrdená. Nenašli sme žiadne oblasti mozgu, ktoré vykazovali hlavný efekt odmeny a zároveň výrazne silnejšiu aktivitu pre román odmenený ako známe odmenené obrazy. Na prvý pohľad sa zdá, že toto negatívne zistenie je v rozpore s predchádzajúcimi štúdiami [Krebs a kol.2009; Wittmann a kol. 2008]. Avšak v oboch, Krebs et al. [ 2009] a Wittmann et al. [ 2008] štúdia, zvýšená predikcia odmien za nové podnety bola zistená v podmienkach, kde bol implicitný stav podnetov implicitný a účastníci sa zúčastnili na odmeňovaní nepredvídaných okolností. V skutočnosti Krebs et al. uviedli, že toto zlepšenie chýbalo, keď sa účastníci radšej venovali novátorskému stavu podnetov, než aby sa zúčastňovali na odmeňovaní nepredvídaných okolností (pozn., že v Krebs et al. novinka status per se nebol predikciou odmeny). Na rozdiel od kontextuálnej interakcie medzi novinkou a odmenou (Obr. 5), tento aspekt bonusu pri prieskume môže byť silne závislý od úlohy, keď sa subjekty môžu zúčastniť na odmeňovaní nepredvídaných udalostí bez toho, aby museli posudzovať novosť. Na základe štúdií na hlodavcoch sa navrhlo, že prefrontálne a hippokampálne vstupy si navzájom konkurujú o kontrolu nad nucleus accumbens (časť ventrálneho striata) [Goto and Grace, 2008]. Je pravdepodobné, že takáto súťaž by ovplyvnila pozornosť týkajúcu sa novosti alebo odmeny.

Skóre pamäte rozpoznávania z experimentu 1 (Obr. 2) boli dobre zluči- teľné s rámcom bonusového prieskumu pri preukazovaní zlepšenia správania, ktoré súvisí s odmenou dlhodobého výkonu pamäte pre nové, ale nie pre známe stimuly. Výsledky správania získané za podmienok, keď sa kódovanie vyskytlo v skeneri fMRI (Experiment 2), sa však líšili v tom, že pamäť pre známe stimuly vykazovala zvýšenie odmeny (pre nové stimuly toto zlepšenie nedosiahlo význam). Jedným z dôvodov tejto nezrovnalosti môže byť to, že v experimente 1 boli kontext kódovania a kontext vyhľadávania na nasledujúci deň identické (subjekty sa naučili a boli testované v tej istej miestnosti), zatiaľ čo v prípade experimentu 2 boli rôzne (subjekty kódované vo fMRI a boli testované v testovacej miestnosti). Je dobre známe, že zmeny medzi kódovaním a vyhľadávaním môžu mať hlboký vplyv na výkon pamäte [Godden a Baddeley,1975]. Kompatibilný s touto možnosťou, výkon pamäte bol podstatne nižší v experimente 2 ako v experimente 1 (Obr. 2). Takéto kontextové účinky môžu tiež viesť k rozporom v modeloch správania pozorovaných v experimentoch 1 a 2.

Ventrálna striatum (Obrázok 4A) a mediálny prefrontálny kortex (Obr. 4 C, D) vyjadrila hlavné účinky očakávanej hodnoty odmeny. V našej úlohe odmena-predikcia závisela od explicitnej diskriminácie novosti, a preto je zrejmé, že regióny vyjadrujúce očakávanú hodnotu odmeny (ventrálna striatum, septum / fornix) vyžadujú prístup k informáciám o pamäti pre prezentovaný obraz. Pravdepodobným pôvodom takýchto deklaratívnych informácií o pamäti je MTL. V skutočnosti, hipokampus a rinálna kôra, ako súčasť MTL, nielenže vyjadrili hlavný účinok novosti, ale sú tiež dobre známe, že vysielajú eferentné látky do ventrálneho striata a mediálneho prefrontálneho kortexu (pozn. kmeň NAcc pochádza primárne z entorhinalnej kôry [Friedman a kol.2002; Selden a kol. 1998; Thierry a kol. 2000]). Presné mechanizmy a výpočtové procesy, ktoré sa môžu podieľať na transformácii novinky na odpovede na odmeny, sú však nejasné. Toto pravdepodobne zahŕňa mediálnu prefrontálnu kôru (vrátane orbitálnych častí), ktorá - v súlade s predchádzajúcimi štúdiami [O'Doherty a kol. 2004; Ranganath a Rainer, 2003] - vyjadrila aktiváciu súvisiacu s novinkou a odmenou (Obrázok 3C a 4C, D).

Funkčné dôsledky našich výsledkov týkajúce sa reprezentácie novosti a odozvy v hipokampe, SN / VTA, ventrálnom striate a mediálnom PFC sú sumarizované Figure8, Aby sme poskytli podporu pre tento model, vypočítali sme koreláciu medzi aktiváciou našich záujmových regiónov pomocou Spearmanovej korelačnej analýzy pre každý subjekt v časovo delených časových radoch, aby sme poskytli skupinový korelačný koeficient R a a. P-hodnota.

Obrázok 8 

Schematické znázornenie funkčného vzťahu medzi hipokampom, Nucleus accumbens (NAcc), mediálnym prefrontálnym kortexom (mPFC) a substantia nigra / ventrálnou tegmentálnou oblasťou (SN / VTA). Na podporu tohto modelu sme vypočítali vzťah medzi ...

Keďže odmena bola podmienená novinkou a jediným regiónom, ktorý predstavoval oba typy signálov, bol mPFC, tento región je pravdepodobne zdrojom novátorskej signalizácie odmien (R = 0.09; P <0.001). Na druhej strane je hipokampus s najväčšou pravdepodobnosťou zdrojom signálu novinky pre mPFC (R = 0.11; P <0.001). Je to pravdepodobné, pretože existujú priame projekcie z hipokampu na mPFC [Ferino a kol.1987; Rosene a Van Hoesen, 1977]. Je tiež možné, že signál mPFC odmeny je potom odovzdaný NAcc (R = 0.09; P <0.001) a SN / VTA (R = 0.03; P = 0.08). Treba poznamenať, že signál SN / VTA koreloval iba s novinkou mPFC s citlivosťou (R = 0.03; P = 0.08), ale nie mPFC reagujúce na odmenu (R = 0.007; P > 0.6). To naznačuje, že vstupy mOFC do SN / VTA môžu silnejšie pochádzať z tých oblastí mPFC, ktoré sú spojené so spracovaním novinky, a nie so spracovaním odmien. Naše pozorovanie, že mPFC reaguje na novosť a koreluje so signálom SN / VTA, je tiež kompatibilné s návrhom [Lisman a Grace, 2005], že PFC je zdrojom novátorského signálu do dopaminergných obvodov. Úloha NAcc v signalizácii novosti je však stále nejasná [Duzel a kol. 2009]. To znamená, že hoci sme nezaznamenali nové signály v rámci NAcc, existovala silná korelácia medzi signálmi v NAcc a novo reagujúcich mOFC oblastiach (R = 0.09; P <0.001), NAcc a oblasti hippokampu reagujúce na novotu (R = 0.15; P <0.001) a NAcc a SN / VTA (R = 0.19; P <0.001). Na záver je potrebné poznamenať, že šípky v našom modeli naznačujú predpokladanú smernosť na základe známych projekcií, a nie na kvantitatívne odhadnutej príčinnej súvislosti.

Zlepšenie rozpoznávacej pamäte súvisiace s odmenou korelovalo s ventrálnou striatum, aktiváciou SN / VTA a MTL (Obr. 6). Dôležitým aspektom hipokampálneho učenia a plasticity je požiadavka na DA v expresii neskorej fázy LTP (dlhodobá potenciácia), ale nie v skorej fáze LTP [Frey a Morris,1998; Frey a kol. 1990; Huang a Kandel 1995; sojka 2003; morris 2006]. To podporuje názor, že DA je potrebný na dlhodobú konsolidáciu pamäte, čo je podporené nedávnymi údajmi o správaní u hlodavcov [O'Carroll a kol. 2006]. Naše údaje sú kompatibilné s týmto pohľadom v tom, že ukazujú koreláciu medzi dlhodobým zlepšením pamäte prostredníctvom odmeny jeden deň po kódovaní a aktivácii v domnelých dopaminergných oblastiach a hippocampus. Najmä vidíme koreláciu medzi novými odmenenými a neodmenenými položkami v rámci SN / VTA, ventrálnej striatum a hipokampu a korelácie medzi známými odmenenými verziami a neodmeňovanými položkami v rámci ventrálneho striata a hipokampu. Vzhľadom na to, že ventrálna striatum je primárnou výstupnou štruktúrou dopaminergného stredného mozgu (SN / VTA) [Fields a kol. 2007] naše výsledky naznačujú, že schopnosť pozorovať zlepšenie dlhodobej pamäte prostredníctvom hipokampu-SN / VTA nie je obmedzená na nové stimuly, ale vzťahuje sa aj na známe stimuly. V skutočnosti je pravdepodobné, že stupeň oboznámenia sa s triedou známych podnetov (počas kódovania) bol celkom variabilný a že tie stimuly, ktorých kódovanie najviac profitovalo z odmeny, boli najmenej známe (relatívne najviac nové). Preto je rozumné predpokladať, že korelácie pre nové a známe triedy stimulov boli riadené rovnakými mechanizmami.

Tiež sme pozorovali hlavný efekt odmeny v septum / fornix (Obrázok 4B), čo je oblasť, ktorá pravdepodobne ukrýva cholinergné neuróny, ktoré premietajú do mediálnych časových štruktúr. Zaujímavé je, že štúdie na zvieratách ukazujú, že podobné ako neuróny DA, cholinergné neuróny (v bazálnom prednom mozgu) reagujú na novosť a zvyk, keď sa podnety zoznámia [Wilson and Rolls,1990b]. Avšak v úlohách, v ktorých známe stimuly predpovedajú odmenu, aktivita bazálnych neurónov predného mozgu odráža skôr predikciu odmeňovania ako status novosti [Wilson and Rolls, 1990]. Naše zistenia (Obrázok 4B) sú zlučiteľné s pozorovaním spoločnosti Wilson a Rolls (\ t1990), hoci nemôžeme povedať, do akej miery tieto aktivácie skutočne zahŕňajú reakcie cholinergných neurónov.

Celkovo vzaté, opakujeme nedávne pozorovania, že aktivita ventrálnej striatum, SN / VTA, hipokampu a rinálneho kortexu korelovala s vylepšením pamäte súvisiacim s odmenou kompatibilným so slučkou hippocampus-SN / VTA. Dôležité je, že naše zistenia poskytujú nový kľúčový pohľad na funkčné vlastnosti komponentov tejto slučky. V úlohe, v ktorej stav novosti položky predpovedal odmenu, hipokampus prednostne vyjadril status novosti, zatiaľ čo aktivita ventrálnej striatum odrážala hodnotu odmeny nezávisle od stavu novosti. Mediálne PFC (vrátane orbitálnych častí) bolo pravdepodobne miestom, kde boli integrované novinkové a odmeňovacie signály, pretože vyjadrili tak novosť, ako aj účinky odmeňovania a je známe, že sú spojené s hipokampom a ventrálnym striatom. Nakoniec, v súlade s teóriou bonusov za prieskum [Kakade a Dayan,2002] nové stimuly predpovedajúce odmenu uplatňované kontextovo zosilňujúcimi účinkami na známe (nie odmeňujúce) položky, ktoré boli vyjadrené ako zosilnené nervové reakcie v rámci hipokampu.

Poďakovanie

Ďakujeme K. Herriotovi za podporu pri získavaní údajov.

Ďalšie podporné informácie nájdete v online verzii tohto článku.

REFERENCIE

  • Adcock RA, Thangavel A, Whitfield-Gabrieli S, Knutson B, Gabrieli JD. Odmeňovanie motivované učenie: Mesolimbická aktivácia predchádza tvorbe pamäte. Neurón. 2006, 50: 507-517. [PubMed]
  • Andersson JL, Hutton C, Ashburner J, Turner R, Friston K. Modelovanie geometrických deformácií v časových radoch EPI. Neuroimage. 2001, 13: 903-919. [PubMed]
  • Ashburner J, Friston KJ. Nelineárna priestorová normalizácia s využitím bázových funkcií. Hum Brain Mapp. 1999, 7: 254-266. [PubMed]
  • Berridge KC. Diskusia o úlohe dopamínu v odmeňovaní: dôvod pre stimulačný význam. Psychopharmacology (Berl) 2007; 191: 391–431. [PubMed]
  • Brown MW, Xiang JZ. Rozpoznávacia pamäť: neurónové substráty podľa úsudku predchádzajúceho výskytu. Prog Neurobiol. 1998, 55: 149-189. [PubMed]
  • Bunzeck N, Duzel E. Absolútne kódovanie stimulačnej novely v ľudskom substante Nigra / VTA. Neurón. 2006, 51: 369-379. [PubMed]
  • Bunzeck N, Schutze H, Stallforth S, Kaufmann J., Duzel S, Heinze HJ, Duzel E. Mesolimbická novinka spracovania u starších dospelých jedincov. Cereb Cortex. 2007, 17: 2940-2948. [PubMed]
  • Bunzeck N, Doeller CF, Fuentemilla L, Dolan RJ, Duzel E. Motivácia odmeňovania urýchľuje nástup signálov nervovej novosti u ľudí na 85 milisekúnd. Curr Biol. 2009, 19: 1294-1300. [Článok bez PMC] [PubMed]
  • Bunzeck N, Dayan P, Dolan RJ, Duzel E. Spoločný mechanizmus adaptívneho škálovania odmien a novosti. Hum Brain Mapp. 2010, 31: 1380-1394. [Článok bez PMC] [PubMed]
  • Deichmann R, Gottfried JA, Hutton C, Turner R. Optimalizovaný EPI pre štúdie fMRI orbitofrontálneho kortexu. Neuroimage. 2003; 19 (2 Pt 1): 430 – 441. [PubMed]
  • Devenport LD, Devenport JA, Holloway FA. Odmena indukovaná stereotypia: Modulácia prostredníctvom hipokampu. Science. 1981, 212: 1288-1289. [PubMed]
  • Dolan RJ, Fletcher PC. Disociácia prefrontálnej a hippokampálnej funkcie v epizodickom kódovaní pamäte. Nature. 1997, 388: 582-585. [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Funkčné zobrazovanie ľudského dopaminergného stredného mozgu. Trends Neurosci. 2009, 32: 321-328. [PubMed]
  • Eckert T, Sailer M, Kaufmann J, Schrader C, Peschel T, Bodammer N, Heinze HJ, Schoenfeld MA. Diferenciácia idiopatickej Parkinsonovej choroby, atrofia viacerých systémov, progresívna supranukleárna obrna a zdravé kontroly pomocou magnetizačného prenosu. Neuroimage. 2004; 21: 229–235. [PubMed]
  • Ferino F, Thierry AM, Glowinski J. Anatomické a elektrofyziologické dôkazy pre priamu projekciu z Ammonovho rohu do mediálneho prefrontálneho kortexu u potkanov. Exp Brain Res. 1987; 65: 421–426. [PubMed]
  • Fields HL, Hjelmstad GO, Margolis EB, Nicola SM. Neuróny ventrálnej tegmentálnej oblasti v naučenom chuťovom správaní a pozitívnom posilnení. Annu Rev Neurosci. 2007, 30: 289-316. [PubMed]
  • Frey U, Morris RG. Synaptické značkovanie: implikácie pre neskoré udržanie dlhodobej potenciácie hipokampu. Trends Neurosci. 1998, 21: 181-188. [PubMed]
  • Frey U, Schroeder H, Matthies H. Dopaminergní antagonisti zabraňujú dlhodobému udržaniu posttetanického LTP v CA1 oblasti potkaních hipokampálnych rezov. Brain Res. 1990, 522: 69-75. [PubMed]
  • Friedman DP, Aggleton JP, Saunders RC. Porovnanie hipokampálnych, amygdálových a perirálnych projekcií do nucleus accumbens: kombinovaná anterográdna a retrográdna stopová štúdia v mozgu makakov. J Comp Neurol. 2002, 450: 345-365. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. FMRI súvisiace s udalosťami: charakterizácia diferenciálnych odpovedí. Neuroimage. 1998, 7: 30-40. [PubMed]
  • Gasbarri A, Packard MG, Campana E, Pacitti C. Anterograde a retrográdne sledovanie projekcií z ventrálnej tegmentálnej oblasti do hipokampálnej formácie u potkanov. Brain Res Bull. 1994, 33: 445-452. [PubMed]
  • Gasbarri A, Sulli A, Packard MG. Dopaminergné mesencefalické projekcie hipokampálnej formácie u potkanov. Prog Neuropsychopharmacol Biol Psychiatry. 1997, 21: 1-22. [PubMed]
  • Godden DR, Baddeley AD. Pamäť závislá od kontextu v dvoch prírodných prostrediach: na súši a pod vodou. British Journal of Psychology. 1975, 66: 325-331.
  • Goto Y, Grace AA. Spracovanie limbických a kortikálnych informácií v nucleus accumbens. Trends Neurosci. 2008, 31: 552-558. [Článok bez PMC] [PubMed]
  • Helms G, Draganski B, Frackowiak R, Ashburner J, Weiskopf N. Zlepšená segmentácia štruktúr sivej hmoty v hlbokom mozgu pomocou mapovania parametrov prenosu magnetizácie (MT). Neuroimage. 2009, 47: 194-198. [Článok bez PMC] [PubMed]
  • Holscher C, Jacob W, Mallot HA. Odmena moduluje neuronálnu aktivitu v hipokampe potkana. Behav Brain Res. 2003, 142: 181-191. [PubMed]
  • Huang YY, Kandel ER. Agonisti receptora D1 / D5 indukujú neskorú potenciáciu v závislosti od syntézy proteínov v oblasti CA1 hipokampu. Proc Natl Acad Sci US A. 1995: 92: 2446 – 2450. [Článok bez PMC] [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Korekcia skreslenia obrazu fMRI: kvantitatívne hodnotenie. Neuroimage. 2002, 16: 217-240. [PubMed]
  • Hutton C, Deichmann R, Turner R, Andersson JL. 2004. Kombinovaná korekcia pre geometrické skreslenie a jej interakcia s pohybom hlavy v fMRI; Zborník ISMRM 12, Kjóto, Japonsko.
  • Ikemoto S. Dopamínový systém odmeňovania: Dva projekčné systémy od ventrálneho stredného mozgu po komplex nukleus accumbens-olfactory tubercle. 2007: 56 – 27. [Článok bez PMC] [PubMed]
  • Jay TM. Dopamín: potenciálny substrát pre synaptickú plasticitu a pamäťové mechanizmy. Prog Neurobiol. 2003, 69: 375-390. [PubMed]
  • Johnson JD, Muftuler LT, Rugg MD. Viacnásobné opakovania odhalia funkčne a anatomicky odlišné vzory hipokampálnej aktivity počas kontinuálneho rozpoznávania pamäte. Hippocampus. 2008, 18: 975-980. [Článok bez PMC] [PubMed]
  • Kakade S, Dayan P. Dopamine: Generalizácia a bonusy. Neural Netw. 2002, 15: 549-559. [PubMed]
  • Knight R. Príspevok ľudského hipokampálneho regiónu k detekcii novosti. Nature. 1996, 383: 256-259. [PubMed]
  • Knutson B, Cooper JC. Funkčné zobrazovanie magnetickej rezonancie predikcie odmeny. Curr Opin Neurol. 2005, 18: 411-417. [PubMed]
  • Krebs RM, Schott BH, Schutze H, Duzel E. Bonus za prieskum novosti a jeho modulácia pozornosti. Neuropsychológie. 2009, 47: 2272-2281. [PubMed]
  • Li S, Cullen WK, Anwyl R, Rowan MJ. Dopamínovo závislé uľahčenie LTP indukcie v hipokampálnom CA1e vystavením priestorovej novosti. Nat Neurosci. 2003, 6: 526-531. [PubMed]
  • Lisman JE, Grace AA. Hippocampal-VTA slučka: Ovládanie vstupu informácií do dlhodobej pamäte. Neurón. 2005, 46: 703-713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Reakcie opičích dopamínových neurónov počas štúdia behaviorálnych reakcií. J Neurophysiol. 1992, 67: 145-163. [PubMed]
  • Mesulam MM. Od pocitu k poznaniu. Brain. 1998; 121 (Pt 6): 1013 – 1052. [PubMed]
  • Morris RG. Prvky neurobiologickej teórie hippokampálnej funkcie: Úloha synaptickej plasticity, synaptické značkovanie a schémy. Eur J Neurosci. 2006, 23: 2829-2846. [PubMed]
  • Niv Y, Daw ND, Joel D, Dayan P. Tonic dopamín: náklady na príležitosti a kontrola ráznosti odpovede. Psychofarmakológia (Berl) 2007, 191: 507 – 520. [PubMed]
  • O'Carroll CM, Martin SJ, Sandin J, Frenguelli B, Morris RG. Dopaminergná modulácia perzistencie pamäti závislej od jedného pokusu od hipokampu. Naučte sa Mem. 2006; 13: 760–769. [Článok bez PMC] [PubMed]
  • O'Doherty JP, Deichmann R, Critchley HD, Dolan RJ. Neurálne odpovede počas očakávania primárnej odmeny chuti. Neurón. 2002, 33: 815-826. [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Disociovateľné úlohy ventrálneho a dorzálneho striata v inštrumentálnej kondícii. Science. 2004, 304: 452-454. [PubMed]
  • Ploghaus A, Tracey I, Clare S, Gati JS, Rawlins JN, Matthews PM. Poznanie bolesti: Neurálny substrát predikčnej chyby pre averzívne udalosti. Proc Natl Acad Sci US A. 2000: 97: 9281 – 9286. [Článok bez PMC] [PubMed]
  • Purves D, Bonardi C, Hall G. Zvýšenie latentnej inhibície u potkanov s elektrolytickými léziami hipokampu. Behav Neurosci. 1995, 109: 366-370. [PubMed]
  • Ranganath C, Rainer G. Neurónové mechanizmy na detekciu a zapamätanie si nových udalostí. Nat Rev Neurosci. 2003, 4: 193-202. [PubMed]
  • Rolls ET, Xiang JZ. Reprezentácie reprezentujúce priestorové zobrazenie a učenie sa v hipokampe primáta. J Neurosci. 2005, 25: 6167-6174. [PubMed]
  • Rosene DL, Van Hoesen GW. Hippokampálne eferentné látky dosahujú rozšírené oblasti mozgovej kôry a amygdaly v opici rhesus. Science. 1977, 198: 315-317. [PubMed]
  • Selden NR, Gitelman DR, Salamon-Murayama N, Parrish TB, Mesulam MM. Trajektórie cholinergných dráh v mozgových hemisférach ľudského mozgu. Brain. 1998; 121 (Pt 12): 2249 – 2257. [PubMed]
  • Smith Y, Kieval JZ. Anatómia dopamínového systému v bazálnych gangliách. Trends Neurosci. 2000; 23 (10 Suppl): S28 – S33. [PubMed]
  • Sokolov EN. Vyššie nervové funkcie; orientačný reflex. Annu Rev Physiol. 1963, 25: 545-580. [PubMed]
  • Solomon PR, Vander Schaaf ER, Thompson RF, Weisz DJ. Hipokampus a stopová úprava klasicky podmienenej reakcie králika na nity. Behav Neurosci. 1986; 100: 729–744. [PubMed]
  • Strange BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Segregácia funkcií ľudského hipokampu. Proc Natl Acad Sci US A. 1999: 96: 4034 – 4039. [Článok bez PMC] [PubMed]
  • Sutton RS, Barto AG. K modernej teórii adaptívnych sietí: Očakávanie a predikcia. 1981, 88: 135 – 170. [PubMed]
  • Tabuchi ET, Mulder AB, Wiener SI. Pozičná a behaviorálna modulácia synchronizácie hipokampálnych a akumulovaných výbojov u voľne sa pohybujúcich potkanov. Hippocampus. 2000, 10: 717-728. [PubMed]
  • Thierry AM, Gioanni Y, Degenetais E, Glowinski J. Hippocampo-prefrontálna kortexová dráha: Anatomické a elektrofyziologické charakteristiky. Hippocampus. 2000, 10: 411-419. [PubMed]
  • Tyl E. Pamäť a vedomie. Kanadská psychológia. 1985, 26: 1-12.
  • Weiner I. „Dvojhlavý“ model latentnej inhibície schizofrénie: Modelovanie pozitívnych a negatívnych symptómov a ich liečby. Psychofarmakológia (Berl) 2003, 169 (3 – 4): 257 – 297. [PubMed]
  • Weiskopf N, Helms G. Viacparametrové mapovanie ľudského mozgu pri rozlíšení 1mm za menej ako 20 minút. ISMRM 16, Toronto, Kanada: 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. Optimálne parametre EPI pre zníženie citlivosti BOLD na citlivosť vyvolanú citlivosťou: Analýza celého mozgu v 3 T a 1.5 T. Neuroimage. 2006, 33: 493-504. [PubMed]
  • Wilson FA, Rolls ET. Učenie a pamäť sa odrážajú v odpovediach neurónov posilňujúcich v bazálnom prednom mozgu primátov. J Neurosci. 1990; 10: 1254-1267. [PubMed]
  • Wilson FA, Rolls ET. Neuronálne reakcie súviseli s novinkou a familiárnosťou vizuálnych podnetov v substantia innominata, diagonálnom pásme Broca a periventrikulárnej oblasti bazálneho predného mozgu primáta. Exp Brain Res. 1990b; 80: 104-120. [PubMed]
  • Wirth S., Avsar E, Chiu CC, Sharma V, Smith AC, Brown E, Suzuki WA. Skúšobný výsledok a asociatívne učebné signály v opičom hippokampuse. Neurón. 2009, 61: 930-940. [Článok bez PMC] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Aktivita dopamínergného stredného mozgu súvisiaca s FMRI súvisiaca s odmenou je spojená so zvýšenou tvorbou dlhodobej pamäte závislej od hipokampu. Neurón. 2005, 45: 459-467. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Očakávanie novosti rekrutuje systém odmien a hipokampu a zároveň podporuje spomienky. Neuroimage. 2007, 38: 194-202. [Článok bez PMC] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Striatálna aktivita je základom voľby na báze novosti u ľudí. Neurón. 2008, 58: 967-973. [Článok bez PMC] [PubMed]
  • Yamaguchi S, Hale LA, D'Esposito M, rytier RT. Rýchle prefrontálne-hipokampálne zvykanie si na nové udalosti. J Neurosci. 2004; 24: 5356–5363. [PubMed]