Interacțiunea contextuală între noutate și procesarea recompenselor în cadrul sistemului mezolimbic (2012)

  • Harta creierului Hum. iunie 2012; 33(6): 1309–1324.
  • Publicat online 2011 aprilie 21. doi:  10.1002 / hbm.21288

Nico Bunzeck,*,1 Christian F Doeller,2,3,4 Ray J Dolan,5 și Emrah Duzel2,6

Acest articol a fost citat de alte articole din PMC.

Du-te la:

Abstract

Memoria pe termen lung dependentă de lobul temporal medial (MTL) pentru evenimente noi este modulată de un circuit care răspunde, de asemenea, la recompensă și include striatul ventral, creierul mediu dopaminergic și cortexul orbitofrontal medial (mOFC). Această rețea neuronală comună poate reflecta o legătură funcțională între noutate și recompensă, prin care noutatea motivează explorarea în căutarea recompenselor; un link numit și noutate „bonus de explorare”. Am folosit fMRI într-o paradigmă de codificare a scenei pentru a investiga interacțiunea dintre noutate și recompensă, cu accent pe semnalele neuronale asemănătoare cu un bonus de explorare. După cum era de așteptat, memoria pe termen lung legată de recompensă pentru scene (după 24 de ore) s-a corelat puternic cu activitatea MTL, striatul ventral și substanța neagră/zona tegmentală ventrală (SN/VTA). Mai mult, hipocampul a arătat un efect principal de noutate, striatul a arătat un efect principal de recompensă, iar mOFC a semnalat atât noutate, cât și recompensă.. O interacțiune între noutate și recompensă asemănătoare cu un bonus de explorare a fost găsită în hipocamp. Aceste date sugerează că semnalele de noutate MTL sunt interpretate în termeni de proprietățile lor de predicție a recompensei în mOFC, care influențează răspunsurile de recompensă striatale. Striatul împreună cu SN/VTA reglează apoi formarea memoriei pe termen lung dependentă de MTL și semnalele bonus de explorare contextuală în hipocamp.

Cuvinte cheie: noutate, recompensă, sistem mezolimbic, memorie, hipocamp, substanță neagră/zonă tegmentală ventrală, striat ventral, mOFC, bonus de explorare

INTRODUCERE

Noutatea este un semnal de învățare important din punct de vedere motivațional care atrage atenția, promovează codificarea memoriei și modifică comportamentul direcționat către un scop [Knight,1996; Lisman și Grace, 2005; Mesulam, 1998; Sokolov, 1963]. Dovezi recente din studiile asupra primatelor umane și non-umane ridică posibilitatea ca aspectele motivaționale ale noutății să se refere parțial la proprietățile sale comune cu recompensă [Bunzeck și Duzel, 2006; Kakade și Dayan, 2002; Mesulam, 1998]. Această sugestie rezultă din observațiile conform cărora, în studiile pe animale, substanța neagră/zona tegmentală ventrală (SN/VTA) a mezencefalului este activată de stimuli care prezic recompense, precum și de stimuli care sunt noi [Ljungberg, et al. 1992]; pentru o recenzie vezi [Lisman and Grace, 2005]. În mod similar, SN/VTA uman este activat atât prin recompensă [Knutson și Cooper, 2005] și noutate [Bunzeck și Duzel, 2006; Bunzeck și colab. 2007; Wittmann, şi colab. 2005] precum și prin indicii care prezic apariția lor [Knutson și Cooper, 2005; O'Doherty și colab. 2002; Wittmann, şi colab. 2005, 2007]. Neurotransmițătorul dopamină care este produs în SN/VTA reglează profund aspectele motivaționale ale comportamentului [Berridge, 2007; Niv, și colab. 2007].

În plus, există dovezi convergente că hipocampul, o structură a lobului temporal medial (MTL), care este critică pentru formarea de amintiri episodice pe termen lung pentru evenimente noi, este, de asemenea, implicată în diferite forme de învățare a recompensei [Devenport, et al.1981; Holscher și colab. 2003; Ploghaus, și colab. 2000; Purves, et al. 1995; Rolls și Xiang, 2005; Solomon și colab. 1986; Tabuchi și colab. 2000; Weiner, 2003; Wirth și colab. 2009]. De exemplu, hipocampul rozătoarelor prezintă o activitate crescută în brațele labirintului cu momeală, dar nu nemomeale [Holscher, et al. 2003]; la primatele non-umane este implicat în asocierile de recompense ale locului de învățare [Rolls și Xiang, 2005]; Activitatea hipocampului urmează regulile de învățare a erorilor de predicție pentru stimulii aversivi la oameni [Ploghaus, et al. 2000]; iar recompensa crește sincronizarea dintre hipocamp și neuronii nucleului accumbens [Tabuchi, et al. 2000].

O caracteristică comună în efectele recompensei și noutății poate fi reconciliată teoretic printr-o sugestie că noutatea acționează pentru a motiva explorarea unui mediu pentru a recolta recompense [Kakade și Dayan,2002]. Conform acestei sugestii, o proprietate motivațională cheie a noutății este potențialul său de a prezice recompense, în timp ce stimulii familiari, dacă sunt repeți în absența recompensei, pierd treptat acest potențial. Ipoteza bonusului de explorare face două tipuri de predicții: una se referă la potența cu care statutul de a fi nou sau familiar poate prezice recompensa și a doua se referă la efectele contextual la distanță ale acestei contingențe asupra altor stimuli. Conform primei predicții, a fi un stimul nou ar trebui să fie un predictor mai puternic al recompensei decât a fi un stimul familiar [de exemplu, Wittmann, et al. 2008]. Adică, atunci când stimulii noi prezic recompense, speranța de recompensă ar trebui să fie mai mare decât atunci când stimulii familiari prezic recompense. A doua predicție (mai indirectă) este că efectul de stimulare motivațional al noutății asupra comportamentului explorator ar trebui să aibă un efect contextual asupra semnificației motivaționale a altor stimuli care sunt prezenți în același context. Compatibil cu această sugestie, Bunzeck și Duzel [ 2006] a arătat că într-un context în care sunt prezenți stimuli noi, stimulii familiari arată mai puțină suprimare a repetiției în structurile MTL. Acest lucru sugerează că, chiar și în absența unei recompense explicite, într-un context în care sunt prezenți stimuli noi, există o motivație mai puternică de a explora și stimulii familiari în acel context [Bunzeck și Duzel, 2006]. Cu toate acestea, până în prezent, aceste predicții despre relația dintre noutate și recompensă nu au fost testate direct. În termeni experimentali, acest lucru necesită manipularea proprietății de predicție a recompensei a noutății, astfel încât recompensele într-un context dat să fie prezise fie prin faptul că sunt noi, fie că sunt familiare. Aici, am folosit această abordare experimentală pentru a investiga interacțiunea funcțională dintre noutate și recompensă într-un studiu fMRI.

Înțelegerea interacțiunii funcționale dintre noutate și recompensă are implicații profunde pentru înțelegerea modului în care este reglementată plasticitatea pe termen lung pentru stimuli noi. Un număr mare de dovezi fiziologice arată că dopamina care provine din SN/VTA nu numai că reglează aspectele motivaționale ale comportamentului, ci este esențială pentru îmbunătățirea și stabilizarea plasticității hipocampului [Frey și Morris,1998; Li și colab. 2003] și consolidarea memoriei dependentă de hipocamp [O'Carroll, et al. 2006]. Conform așa-numitului model de buclă hipocampus-VTA [Lisman și Grace, 2005] semnalele de noutate sunt generate în hipocamp și sunt transmise către SN/VTA prin nucleul accumbens și pallidum ventral [Lisman și Grace, 2005]. Deși modelul subliniază noutatea în sine ca semnalul cognitiv cheie pentru modularea dopaminei din SN/VTA, de asemenea, ridică în mod explicit întrebarea cum factorii motivaționali reglează impactul noutății asupra activității hipocampului și a SN/VTA. Scopul acestui studiu este de a aborda această întrebare din punctul de vedere al proprietăților partajate între noutate și recompensă și interacțiunea lor funcțională.

Dacă noutatea acționează ca un semnal care motivează explorarea pentru a recolta recompense [Bunzeck și Duzel,2006; Kakade și Dayan, 2002; Wittmann, şi colab. 2008] părți ale buclei hipocampus-SN/VTA ar trebui să arate doar un răspuns preferențial la noutate într-un context în care a fi nou prezice recompense, dar nu într-un context în care a fi familiar prezice recompensă. În același timp, îmbunătățirea explorării atunci când este recompensată a fi nou ar trebui să stimuleze răspunsurile hipocampului la stimuli familiari care sunt prezentați în același context, chiar dacă aceștia nu ar prezice recompense. În schimb, într-un context în care a fi familiar, dar a nu fi nou prezice recompense, ar trebui să existe mai puțină motivație contextuală pentru a explora și, în consecință, activitatea hipocampului ar trebui să fie scăzută atât pentru stimulii romani, cât și pentru cei familiari în acel context. Prin urmare, ipoteza că noutatea are o proprietate intrinsecă de a motiva comportamentul explorator în căutarea recompenselor conduce la predicția unei interacțiuni între noutatea și starea de recompensă a stimulilor. În consecință, hipocampul ar răspunde puternic atât la stimuli noi, cât și la stimuli familiari atunci când a fi nou prezice recompensa și slab la stimuli noi și familiari atunci când a fi familiar prezice recompensa.

Posibilitatea alternativă este ca noutatea și statutul de recompensă al informațiilor să fie independente. Conform acestei posibilități, nu ar trebui să existe o interacțiune funcțională între noutate și recompensă. Cu alte cuvinte, părți ale buclei hipocampus-SN/VTA ar exprima doar un efect principal de noutate sau recompensă, dar nicio interacțiune între ambele.

Luate împreună, manipularea contingenței dintre noutate și recompense poate ajuta la înțelegerea mecanismelor cheie care conduc răspunsurile de noutate în sistemul mezolimbic. În acest scop, am dezvoltat o paradigmă în care primirea recompensei monetare era condiționată de statutul de noutate al imaginilor scenelor [Bunzeck, et al.2009]. Astfel, luarea unor decizii corecte de preferință de recompensă (vezi metode) a fost posibilă numai după discriminarea corectă a stimulilor noi și familiari. Foarte important, am evaluat memoria de recunoaștere la o zi după codificare și, astfel, am putut identifica în ce măsură componentele buclei hipocampal-SN/VTA s-ar corela cu îmbunătățirea legată de recompensă a memoriei pe termen lung pentru stimuli noi și familiari.

MATERIALE SI METODE

Au fost efectuate două experimente. În timp ce primul experiment (Experimentul 1) a fost un experiment comportamental, al doilea experiment (Experimentul 2) a implicat măsuri comportamentale și fMRI.

Subiecții

La Experimentul 1, au participat 17 adulți (13 femei și patru bărbați; interval de vârstă 19-33 de ani; medie 23.1, SD = 4.73 ani) și 14 adulți au participat la Experimentul 2 (cinci bărbați și nouă femei; interval de vârstă: 19-34 de ani). ; medie = 22.4 ani; SD = 3.8 ani). Toți subiecții erau sănătoși, dreptaci și aveau acuitate normală sau corectată la normal. Niciunul dintre participanți nu a raportat un istoric de tulburări neurologice, psihiatrice sau medicale sau orice probleme medicale curente. Toate experimentele au fost efectuate cu consimțământul informat scris al fiecărui subiect și în conformitate cu autorizația etică locală (University College London, Marea Britanie).

Proiectare experimentală și sarcină

În ambele experimente, au fost efectuate trei seturi de (1) o fază de familiarizare urmată de (2) o sarcină de judecată a preferințelor bazată pe memorie de recunoaștere. Aici, imagini noi au fost folosite pentru fiecare set, rezultând 120 de imagini noi și 120 de imagini familiare utilizate în total. Procedurile experimentale au fost identice pentru ambele experimente, cu excepția faptului că Experimentul 1 a fost efectuat pe un ecran de computer și Experimentul 2 a fost efectuat în interiorul unui scaner RMN. (3) În a doua zi, memoriile de recunoaștere pentru toate imaginile prezentate au fost testate utilizând procedura „remember/know” (a se vedea mai jos).

(1) Familiarizare: Subiecții au fost familiarizați inițial cu un set de 40 de imagini (20 de imagini de interior și 20 de imagini în aer liber). Aici, fiecare imagine a fost prezentată de două ori în ordine aleatorie timp de 1.5 s, cu un interval interstimul (ISI) de 3 s, iar subiecții au indicat starea de interior/exterior folosind indexul mâinii drepte și degetul mijlociu. (2) Test de memorie de recunoaștere: ulterior, subiecții au efectuat o sarcină de judecată a preferințelor bazată pe memoria de recunoaștere de 9 minute (sesiune). Această parte (sesiune) a fost subdivizată în două blocuri care conțineau fiecare 20 de imagini din faza de familiarizare (denumite „imagini familiare”) și 20 de imagini neprezentate anterior (denumite „imagini noi”; subiecții puteau întrerupe 20 de secunde între blocuri). În orice bloc dat, imaginile noi au servit ca CS+ și imaginile familiare ca CS− sau invers (Fig..1). Participanții au fost instruiți să emită o judecată de „preferință” pentru fiecare imagine prin apăsarea unui buton cu două variante care indică „prefer” sau „nu prefer”, în funcție de contingența dintre statutul de noutate și valoarea de întărire. Foarte important, termenul „preferat” și „nepreferat” se referă la statutul de prezicere a recompensei a imaginii (în funcție de contingența contextuală) mai degrabă decât la proprietățile estetice ale imaginii.

Figura 1 

Proiectare experimentală.

Contingenta a fost randomizată și indicată pe ecran înainte de fiecare rulare fie prin „Noutatea va fi recompensată dacă se preferă” (caz în care imaginile noi au servit ca CS+ și imaginile familiare ca CS−) sau „Familiaritatea va fi recompensată dacă se preferă” (aici imaginile familiare au servit ca CS+ și imaginile noi ca CS−). Doar răspunsurile corecte „Prefer” după un CS+ au condus la o victorie de 0.50 GBP, în timp ce răspunsurile „Prefer” (incorecte) după CS− au condus la o pierdere de -0.10 GBP. Ambele răspunsuri corecte „Nu prefer” după CS− și răspunsurile (incorecte) „Nu prefer” după un CS+ nu au condus nici la câștig, nici la pierdere. Imaginile au fost prezentate în ordine aleatorie timp de 1 s pe un fundal gri, urmate de o cruce albă de fixare timp de 2 s (ISI = 3 s). Pentru a se asigura că răspunsurile neuronale de recompensă au fost limitate la imaginile prezentate (adică, anticiparea recompensei, mai degrabă decât rezultatul), nu a fost oferit niciun feedback pe o bază de încercare. În schimb, subiecții au fost informați despre performanța lor generală după fiecare sesiune (conținând 2 blocuri cu fiecare contingență). Înainte de experiment, subiecții au fost instruiți să răspundă cât mai repede și cât mai corect posibil și că doar 20% din toate câștigurile vor fi plătite.

Toate imaginile au fost scalate de gri și normalizate la o valoare medie de gri de 127 și o abatere standard de 75. Niciuna dintre scene nu a reprezentat ființe umane sau părți ale ființelor umane, inclusiv fețe în prim-plan.

Sesiuni de instruire

Fiecare subiect a efectuat două sesiuni de antrenament înainte de experiment. Similar experimentului propriu-zis, ambele faze de antrenament au început cu o fază de familiarizare, în timpul căreia doar 10 imagini au fost prezentate de două ori în ordine aleatorie (durata = 1.5 s; ISI = 3 s) iar subiecții și-au indicat starea lor în interior/exterior. Așa cum a fost cazul experimentului principal, familiarizarea a fost urmată de o sarcină de judecată a preferințelor bazată pe memorie, inclusiv imagini familiare și noi. În scopuri de instruire, în sesiunea de instruire 1 a fost oferit un feedback pe o bază de încercare după fiecare răspuns. În sesiunea de antrenament 2, feedbackul de recompensă nu a fost afișat imediat după fiecare stimul/răspuns. După fiecare sesiune de instruire, recompensa financiară a subiectului (maximum 1 GBP) a fost raportată subiectului. În Experimentul 2, subiecții au primit, de asemenea, o scurtă sesiune de instruire care conținea 10 imagini familiare și 10 imagini noi per bloc de contingențe de răspuns.

O zi mai târziu, subiecții au efectuat un test de memorie de recunoaștere incidentală, urmând procedura „amintește-ți/știi” [Tulving,1985]. Aici, în ordine aleatorie, toate cele 240 de imagini văzute anterior (60 per condiție) au fost prezentate împreună cu 60 de imagini noi care distrag atenția în centrul ecranului unui computer. Sarcină: Subiectul a luat mai întâi o decizie „veche/nouă” pentru fiecare imagine prezentată individual folosind degetul arătător sau mijlociu drept. În urma unei „noui” decizii, subiecții au fost îndemnați să indice dacă erau încrezători („cu siguranță noi”) sau nesiguri („ghici”), folosind din nou degetul arătător și mijlociu drept. După o decizie „veche”, subiecții au fost îndemnați să indice dacă își puteau aminti ceva specific despre vederea scenei de la studiu („răspunsul amintește-ți”), doar s-au simțit familiarizați cu imaginea fără nicio experiență de amintire (răspuns „familiar”) sau ghiciu doar că imaginea era una veche (răspunsul „ghici”). Subiectul a avut 4 s pentru a face fiecare dintre ambele judecăți și a existat o pauză de 15 s după fiecare 75 de imagini.

Metode fMRI

Am efectuat fMRI pe un scaner de rezonanță magnetică Siemens Allegra de 3 Tesla (Siemens, Erlangen, Germania) cu imagistică planară echo (EPI) folosind o bobină transceiver în cuadratura cu un design bazat pe principiul „birdcage”. În sesiunea funcțională s-au obținut 48 de imagini ponderate T2* (secvență EPI; acoperind întregul cap) per volum cu contrast dependent de nivelul de oxigenare din sânge (BOLD) (dimensiunea matricei: 64 × 64; 48 de felii axiale oblice pe volum în unghi la −30° în axa antero-posterior: 3 × 3 × 3 mm TR = 3120 ms z-shimming faza pozitivă; -polaritate de codificare). Protocolul de achiziție fMRI a fost optimizat pentru a reduce pierderile de sensibilitate BOLD induse de susceptibilitate în regiunile frontale inferioare și regiunile lobului temporal [Deichmann, et al.2003; Weiskopf și colab. 2006]. Pentru fiecare subiect, datele funcționale au fost obținute în trei sesiuni de scanare care conțineau 180 de volume per sesiune. Au fost achiziționate șase volume suplimentare pe sesiune la începutul fiecărei serii pentru a permite magnetizarea în stare de echilibru și au fost ulterior eliminate din analize ulterioare. Imaginile anatomice ale creierului fiecărui subiect au fost colectate folosind FLASH 3D multi-echo pentru cartografierea densității protonilor, T1 și transferul de magnetizare (MT) la rezoluție de 1 mm [Helms, et al. 2009; Weiskopf și Helms, 2008] și secvențe EPI (IR-EPI) pregătite prin recuperarea inversării ponderate T1 (dimensiunea matricei: 64 × 64; 64 felii; rezoluție spațială: 3 × 3 × 3 mm). În plus, hărțile de câmp individuale au fost înregistrate folosind o secvență FLASH cu eco dublu (dimensiunea matricei = 64 × 64; 64 felii; rezoluție spațială = 3 × 3 × 3 mm; distanță = 1 mm; TE scurtă = 10 ms; TE lung = 12.46 ms TR = 1020 ms) pentru corectarea distorsiunii imaginilor EPI dobândite [Weiskopf, et al. 2006]. Folosind „Setul de instrumente FieldMap” [Hutton, et al. 2002, 2004] hărțile de câmp au fost estimate din diferența de fază dintre imaginile dobândite la TE scurt și lung.

Datele fMRI au fost preprocesate și analizate statistic folosind pachetul software SPM5 (Wellcome Trust Center for Neuroimaging, University College London, Marea Britanie) și MATLAB 7 (The MathWorks, Inc., Natick, MA). Toate imaginile funcționale au fost corectate pentru artefacte de mișcare prin realinierea la primul volum; corectate pentru distorsiuni pe baza hărții de câmp [Hutton, et al.2002]; corectat pentru interacțiunea mișcării și a distorsiunii folosind „Setul de instrumente Unwarp” [Andersson, et al. 2001; Hutton, et al. 2004]; normalizat spațial la un șablon SPM standard ponderat T1 [Ashburner și Friston, 1999] (s-a avut grijă ca în special regiunile mezencefalului să fie aliniate cu șablonul standard); reeșantionat la 2 × 2 × 2 mm; și netezite cu un sâmbure gaussian izotrop de 4 mm la jumătatea maximă a lățimii. O astfel de rezoluție spațială la scară fină, în combinație cu un nucleu de netezire relativ mic, este baza pentru a putea detecta grupuri mici de activare, de exemplu în interiorul creierului mediu și regiunile MTL unde modele de activare diferențială (adică răspunsuri de noutate și interacțiuni între noutate și recompensă). ) ar putea fi situate în imediata apropiere [Bunzeck, et al. 2010]. Datele seriei temporale fMRI au fost filtrate cu trecere înaltă (cutoff = 128 s) și albite folosind un model AR(1). Pentru fiecare subiect a fost calculat un model statistic legat de evenimente prin crearea unei „funcții stick” pentru fiecare declanșare a evenimentului (durata = 0 s), care a fost implicată cu funcția de răspuns hemodinamic canonic combinată cu derivate de timp și dispersie [Friston, et al. 1998]. Condițiile modelate au inclus răspunsuri recompensate cu roman, nerecompensate, răsplătite familiar, răspunsuri familiare nerecompensate și incorecte. Pentru a capta artefactele reziduale legate de mișcarea au fost incluse șase covariate (cele trei translații ale corpului rigid și trei rotații rezultate din realiniere) ca regresori fără interes. Efectele condiției specifice regionale au fost testate prin utilizarea contrastelor liniare pentru fiecare subiect și fiecare condiție (analiza de prim nivel). Imaginile de contrast rezultate au fost introduse într-o analiză cu efecte aleatoare de nivel al doilea. Aici, efectele hemodinamice ale fiecărei afecțiuni au fost evaluate folosind o analiză de varianță 2 × 2 (ANOVA) cu factorii „recompensă” (recompensă, nu recompensă) și „noutate” (roman, familiar). Acest model ne-a permis să testăm principalele efecte ale noutății, principalele efecte ale recompensei și interacțiunea dintre ambele. Toate contrastele au fost pragizate la P = 0.001 (necorectat) cu excepția analizelor de regresie (P = 0.005, necorectat). Ambele praguri relativ liberale au fost alese pe baza ipotezelor noastre anatomice a priori precise în cadrul sistemului mezolimbic.

Localizarea anatomică a activărilor semnificative a fost evaluată cu referire la atlasul stereotaxic standard prin suprapunerea hărților SPM pe unul dintre cele două șabloane de grup. Un șablon de grup ponderat T1 și ponderat MT au fost obținute din media imaginilor T1 sau MT normalizate ale tuturor subiecților (rezoluție spațială de 1 × 1 × 1 mm). În timp ce șablonul T1 permite localizarea anatomică în afara creierului mediu pe imaginile MT, regiunea SN/VTA poate fi distinsă de structurile înconjurătoare ca o dungă strălucitoare, în timp ce nucleul roșu adiacent și pedunculul cerebral par întunecate [Bunzeck și Duzel,2006; Bunzeck și colab. 2007; Eckert și colab. 2004].

Rețineți că preferăm să folosim termenul SN/VTA și să luăm în considerare activitatea BOLD din întregul complex SN/VTA din mai multe motive [Duzel, et al.2009]. Spre deosebire de formulările timpurii ale VTA ca entitate anatomică, diferite căi de proiecție dopaminergică sunt dispersate și se suprapun în cadrul complexului SN/VTA. În special, neuronii dopaminergici care se proiectează în regiunile limbice și reglează comportamentul motivat de recompensă nu sunt limitați la VTA, ci sunt distribuiți și în SN (pars compacta) [Gasbarri, et al. 1994, 1997; Ikemoto, 2007; Smith și Kieval, 2000]. Din punct de vedere funcțional, acest lucru este paralel cu faptul că la oameni și primate neuronul DA din SN și VTA răspund atât la recompensă, cât și la noutate [a se vedea, de exemplu, Ljungberg și colab., 1992 sau Tobler, et al., 2003 pentru o descriere a locurilor de înregistrare].

REZULTATE

Toate analizele (comportamentale și fMRI) se bazează pe studii cu răspunsuri corecte de preferință.

experimentul 1

Subiecții au discriminat condițiile în ambele contexte cu mare precizie (Tabelul I) și nu au existat diferențe semnificative statistic între condiții. Timp de reactie (Fig. 2A) a arătat că subiecții au răspuns cel mai rapid la stimulii familiari care prezic recompense (toți P's < 0.007), dar nu a existat nicio diferență între celelalte trei condiții (roman-recompensat, roman-nerecompensat, familiar-nu-recompensat; toate P's > 0.05).

Figura 2 

Rezultate comportamentale. (A) Timpi de reacție. În ambele experimente, RT-urile au fost semnificativ mai rapide pentru imaginile recompensate familiare, comparativ cu toate celelalte condiții (toate P < 0.01) - așa cum este indicat de asterisc - dar nu a existat nicio altă diferență ...
Tabelul I 

Rezultate comportamentale

Performanța memoriei de recunoaștere – a doua zi. Analiza memoriei de recunoaștere s-a bazat atât pe accesări (amintiți-vă răspunsurile, cunoașteți răspunsurile în urma imaginilor văzute anterior în timpul codificării), cât și pe alarme false ([FA]: amintiți-vă, cunoașteți distractorii). Într-un prim pas, am calculat proporția de răspunsuri de reamintire și de cunoaștere pentru imaginile vechi și noi (adică, ratele de accesări și ratele FA) împărțind numărul de accesări (și, respectiv, FA) la numărul de articole pe condiție. În al doilea rând, s-au obținut rate de atins corectate pentru răspunsurile-reține ([Rcorr], rata de reținere minus rata de reținere FA) și răspunsurile-știi ([Kcorr], rata de reținere minus rata de știi FA) (vezi Tabelul II). Într-o comparație planificată, am evaluat efectul recompensei asupra memoriei generale de recunoaștere (rata de lovituri corectată = Rcorr + Kcorr) pentru imagini noi și familiare. Acest lucru a arătat că recompensa a îmbunătățit semnificativ memoria generală pentru imaginile noi, comparativ cu imaginile noi nerecompensate (P = 0.036), dar nu a existat o astfel de îmbunătățire a memoriei generale prin recompensă pentru imaginile familiare (P > 0.5; Fig. 2). Mai mult, efectul de îmbunătățire al recompensei asupra memoriei de recunoaștere pentru imaginile noi a fost la fel de puternic pentru reamintire și familiaritate, așa cum a evidențiat analiza varianței (ANOVA; nicio interacțiune între recompensă și tipul de memorie de recunoaștere.F(1,16) = 2.28, P > 0.15)].

Tabelul II 

Memoria de recunoaștere

experimentul 2

Ca și în Experimentul 1, subiecții au discriminat condițiile în ambele contexte cu o acuratețe ridicată și fără diferențe semnificative între condiții (Tabelul I). Ca și în experimentul 1, timpul de reacție (Fig. 2A) analiza a arătat că răspunsurile au fost semnificativ mai rapide pentru stimulii familiari care prezic recompense (toți P's < 0.001), dar nu a existat nicio diferență între celelalte trei condiții (roman-recompensat, roman-ne-recompensat, familiar-nu-recompensat; toate P's > 0.05).

Performanța memoriei de recunoaștere – a doua zi. Spre deosebire de Experimentul 1, memoria de recunoaștere pentru imaginile noi recompensate nu a fost îmbunătățită semnificativ în comparație cu imaginile noi nerecompensate (nici memoria de recunoaștere generală și nici Rcorr/Kcorr; P > 0.05, Tabelul II). De asemenea, spre deosebire de Experimentul 1, în Experimentul 2 rememorarea imaginilor familiare recompensate a fost semnificativ îmbunătățită în comparație cu imaginile familiare nerecompensate (P = 0.001, Tabelul II) care a dus la o memorie globală îmbunătățită (Rcorr + Kcorr) pentru imaginile familiare recompensate în comparație cu imaginile familiare nerecompensate (nu a existat o diferență semnificativă între ratele de cunoștințe corectate ale imaginilor familiare recompensate și familiare nerecompensate, P > 0.05). În plus, datele în Tabelul II și Figura 2B arată că performanța generală a memoriei a fost considerabil mai scăzută în Experimentul 2, comparativ cu Experimentul 1, care a fost susținut de un ANOVA cu efecte mixte.

Test de memorie de recunoaștere bazat pe rezultate fMRI. În primul rând, am analizat datele fMRI folosind un ANOVA 2 × 2 cu factori „noutate” (roman, familiar) și „recompensă” (recompensă, fără recompensă). Am găsit un efect principal de noutate în cortexul orbitofrontal medial bilateral (mOFC) și MTL drept, inclusiv hipocampul și cortexul rinal, (Fig. 3; vezi Tabelul S1 cu informații justificative pentru o listă completă a structurilor cerebrale activate). Un efect principal al recompensei a fost observat în caudat bilateral, sept/fornix, striat ventral (ncl. accumbens), mOFC bilateral și cortex prefrontal medial (mPFC) (Fig. 4; Informații justificative Tabelul S1). Aceste două efecte principale au fost mascate exclusiv cu efectele interacțiunilor (mascare exclusivă, P = 0.05, necorectat) pentru a identifica numai acele regiuni care au exprimat efectele principale în absența oricărei interacțiuni.

Figura 3 

Rezultatele fMRI Experimentul 2. Un efect principal de noutate a fost observat în hipocampul drept (A), cortexul rinal (B) și OFC medial (C). Hărțile de activare au fost suprapuse pe un șablon de grup ponderat T1 (vezi metode), coordonatele sunt date în spațiul MNI ...
Figura 4 

Rezultatele fMRI Experimentul 2. Un efect principal al recompensei a fost observat în interiorul striatumului, inclusiv ncl. accumbens (A) și caudat ncl. (C), sept/fornix (B), PFC medial (C) și OFC medial (D). Hărțile de activare au fost suprapuse pe un șablon de grup ponderat T1 ...

Pentru a testa cele două predicții ale noastre cu privire la ipoteza bonusului de explorare, am efectuat două analize suplimentare. În primul rând, în regiunile creierului care au arătat un efect principal al recompensei pe care le-am analizat, zonele care au arătat, de asemenea, un răspuns mai puternic pentru stimuli recompensați noi decât cei familiari (adică, conjuncție). Această analiză nu a dat rezultate semnificative care să sugereze că nu au existat regiuni ale creierului în care a fi nou să ducă la un răspuns mai puternic de predicție a recompensei decât a fi familiar. În al doilea rând, am evaluat interacțiunea (contrast F) dintre noutate și recompensă. O astfel de interacțiune a fost exprimată în mai multe regiuni ale creierului, inclusiv hipocampul drept, circumvoluția frontală inferioară și OFC drept (Tabelul de informații suport S1, Fig. 5). Mai exact, hipocampul a arătat modelul de interacțiune așteptat cu răspunsuri mai mari pentru stimuli prezentați în contextul în care a fi nou este recompensat (contrast T). Adică, activitatea hipocampului a fost mai mare pentru stimuli noi recompensați și stimuli familiari nerecompensați (rețineți că ambii stimuli au fost prezentați în același context) decât pentru stimuli noi recompensați și familiari (din nou, rețineți că ambii stimuli au fost prezentați în același context). Comparația post-hoc planificată a confirmat diferențele semnificative statistic între romanul recompensat și romanul nerecompensat (P < 0.025) și familiar recompensat vs. familiar nerecompensat (P <0.01; Fig. 5).

Figura 5 

Rezultatele fMRI Experimentul 2. A fost observată o interacțiune între noutate și recompensă în hipocamp și OFC. În cadrul hipocampului, răspunsurile la articolele familiare nerecompensate au fost îmbunătățite în comparație cu articolele familiare recompensate dacă sunt prezentate în context ...

Trebuie remarcat faptul că modelul de activare pentru interacțiunea dintre noutate și recompensă (36, −14, −16; Fig. 5) este adiacent, dar nu identic cu activarea unui efect principal de noutate, care se află și în interiorul hipocampului drept (28, −14, −20; Fig. 3). Un astfel de model de activare diferențială corespunde ipotezelor noastre, înregistrărilor celulare la animale și studiilor fMRI umane. De exemplu, cercetările pe animale au arătat că diferiți neuroni hipocampali pot răspunde la diferite caracteristici (cum ar fi noutatea sau familiaritatea) în cadrul aceleiași sarcini [Brown și Xiang,1998]. În conformitate cu aceste observații, am arătat la oameni că activările hipocampale distincte spațial pot reflecta proprietăți diferențiale de procesare a noutății, semnale de noutate absolută, semnale de noutate scalate adaptiv și erori de predicție a noutății ([Bunzeck, et al. 2010], Informații suport Fig. S4). Johnson și colab. (2008) au raportat că grupurile de activare foarte apropiate din punct de vedere spațial au arătat răspunsuri foarte diferite la noutate: un grup a arătat o diferență categorică între elemente noi și articole vechi, în timp ce celălalt grup a arătat o scădere a răspunsului liniar ca funcție de familiaritatea sporită a stimulului. Cu toate acestea, pentru a exclude și mai mult posibilitatea unui rezultat fals pozitiv, am aplicat o corecție de volum mic la ambele modele de activare folosind hipocampul anterior drept ca volum. Analiza a atins semnificație statistică (P ≤ 0.05; corectat FWE).

În cele din urmă, am căutat să legăm îmbunătățirea memoriei legate de recompensă de tiparele regionale de activitate a creierului folosind analize de regresie (toate analizele au fost efectuate cu date din Experimentul 2). În primul rând, romanul de contrast recompensat vs. imaginile noi nerecompensate a fost introdus într-o analiză de regresie simplă de nivel al doilea utilizând îmbunătățirea memoriei individuale prin recompensă ca regresor (Δ rata de lovituri corectată = rata de lovituri corectată [Rcorr + Fcorr] pentru romanul recompensat – rata de succes corectată pentru romanul nerecompensat). Această analiză a fost motivată de observația noastră inițială a memoriei generale îmbunătățite (adică, reamintirea și familiaritatea) pentru imagini noi prin recompensă (Experimentul 1) și constatări similare anterioare [Adcock, et al.2006; Krebs și colab. 2009; Wittmann, şi colab. 2005]. Acest lucru a relevat o corelație pozitivă semnificativă între răspunsurile hemodinamice (HR) și îmbunătățirea memoriei de recunoaștere în SN/VTA, MTL anterior drept (joncțiunea hipocampului/amigdalei cortexului rinal) și striatul ventral drept (Fig. 6, Tabelul de informații de sprijin S1 pentru toate regiunile activate). Într-o a doua analiză de regresie, același contrast pentru imaginile familiare (recompense familiare vs. recompense familiare nerecompensate) a fost corelat cu o rată individuală de amintire îmbunătățită (din punct de vedere comportamental, rata de amintire a fost îmbunătățită semnificativ pentru imaginile familiare recompensate în comparație cu imaginile nerecompensate, dar nu a existat îmbunătăţire a Fcorr). Deoarece RT-urile pentru imaginile familiare recompensate au fost semnificativ mai rapide decât pentru imaginile familiare nerecompensate, diferența dintre ambele pentru fiecare subiect a fost, de asemenea, introdusă ca regresor. Aici, ne-au interesat doar acele regiuni care au arătat o corelație pozitivă semnificativă între diferențele de HR (familiar recompensat vs. familiar nerecompensat) și rata crescută de rememorare (familiar recompensat vs. familiar nerecompensat), dar nu cele care au arătat, de asemenea, vreo corelare cu Îmbunătățirea RT. Această analiză a evidențiat efecte similare cu prima analiză de regresie, și anume, o corelație semnificativă între HR și îmbunătățirea ratei de amintire legată de recompensă în striatul ventral (stânga), hipocampul drept și cortexul rinal stâng (Fig. 7, Tabelul de informații S1), dar nicio corelație în cadrul SN/VTA. O analiză post-hoc mai sensibilă din punct de vedere statistic a voxelului SN/VTA [4, -18, -16] care a arătat o corelație semnificativă pentru imaginile noi, de asemenea, nu a evidențiat nicio corelație între răspunsurile hemodinamice și rata îmbunătățită de rememorare a imaginilor familiare (r = -0.07, P = 0.811).

Figura 6 

Rezultate fMRI Experimentul 2 – analiza de regresie. O corelație semnificativă între îmbunătățirea memoriei de recunoaștere pentru romanul recompensat în comparație cu imaginile nerecompensate (Δ rata de lovituri corectată) și diferențele de răspuns hemodinamic între romanul ...
Figura 7 

Rezultate fMRI Experimentul 2 – analiza de regresie. O corelație semnificativă între îmbunătățirea ratei de rememorare pentru familiare recompensate în comparație cu imaginile familiare nerecompensate (Δ rata de rememorare) și diferențele de răspuns hemodinamic dintre ...

DISCUŢIE

Constatarea noastră că un grup de voxeli în MTL (inclusiv hipocampus și cortexul rinal) a arătat un efect principal de noutate, dar nu un efect principal de recompensă (Fig. 3A, B), susține ideea că hipocampul și cortexul rinal pot semnala noutate independent de valoarea recompensei. Această constatare este în concordanță cu o gamă largă de studii pe animale și oameni care sugerează că atât hipocampul, cât și cortexul rinal sunt sensibile la noutate [Brown și Xiang,1998; Dolan și Fletcher, 1997; Cavaler, 1996; Lisman și Grace, 2005; Strange, și colab. 1999; Yamaguchi și colab. 2004]. Cu toate acestea, o altă regiune din hipocampus a arătat, de asemenea, interacțiunea ipotetică a noutății și recompensei (Fig. 5) cu răspunsuri hemodinamice semnificativ îmbunătățite la imagini familiare nerecompensate, dacă sunt prezentate într-un context în care a fi nou a fost recompensat.

Această interacțiune de noutate și recompensă în hipocamp oferă dovezi pentru a doua noastră predicție a unui efect contextual în conformitate cu cadrul de bonus de explorare (vezi [Sutton și Barto,1981] pentru o descriere formală a bonusului de explorare în cadrul dilemei explorare-exploatare). Bazat pe ideea că noutatea poate acționa ca un bonus de explorare pentru recompensă [Kakade și Dayan, 2002] am prezis că, într-un context în care a fi nou este recompensat, ar trebui să existe o explorare sporită și a stimulilor familiari (chiar și atunci când aceștia nu sunt răsplătiți). Compatibili cu această posibilitate, stimulii familiari au provocat o activitate hipocampală mai puternică într-un context în care disponibilitatea recompensei a fost semnalată prin faptul că sunt noi, în comparație cu un context în care recompensa este semnalată prin familiaritate. Această activare neuronală îmbunătățită contextual în hipocamp în timpul codificării, totuși, nu s-a tradus direct în memorie pe termen lung, adică o memorie mai bună pentru elemente familiare atunci când sunt prezentate în context cu elemente noi de predicție a recompensei. În schimb, performanța de recunoaștere a fost determinată de starea de predicție a recompensei a unui element atât pentru stimuli noi (Experimentul 1), cât și pentru stimuli familiari (Experimentul 2) (vezi mai jos). Acest lucru sugerează că, într-un cadru experimental în care predicția recompensei și noutatea contextuală pot influența atât învățarea, predicția recompensei poate exercita influența dominantă.

O altă predicție privind cadrul de bonus de explorare nu a fost confirmată. Nu am găsit nicio regiune a creierului care să prezinte un efect principal de recompensă și, în același timp, o activitate semnificativ mai puternică pentru imaginile recompensate noi decât cele familiare. La prima vedere, această constatare negativă pare să fie în contradicție cu studiile anterioare [Krebs, et al.2009; Wittmann, şi colab. 2008]. Cu toate acestea, în ambele, Krebs și colab. [ 2009] și Wittmann și colab. [ 2008], predicția îmbunătățită a recompensei pentru stimuli noi a fost găsită în condițiile în care statutul de noutate al stimulilor a fost implicit și participanții au participat pentru a recompensa contingențele. De fapt, Krebs et al. au raportat că această îmbunătățire a fost absentă atunci când participanții s-au ocupat de statutul de noutate al stimulilor, mai degrabă decât de a se ocupa de situațiile de recompensă (rețineți totuși că, în Krebs și colab., statutul de noutate în sine nu era predictiv pentru recompensă). Prin urmare, spre deosebire de interacțiunea contextuală dintre noutate și recompensă (Fig. 5), acest aspect al bonusului de explorare poate fi puternic dependent de sarcină, care apare numai atunci când subiecții pot participa pentru a recompensa contingențele fără a fi nevoiți să evalueze noutatea. S-a sugerat, pe baza studiilor la rozătoare, că intrările prefrontale și hipocampale concurează între ele pentru controlul asupra nucleului accumbens (o parte a striatului ventral) [Goto și Grace, 2008]. Este plauzibil ca atenția legată de sarcină la noutate sau recompensă să afecteze o astfel de competiție.

Scoruri de memorie de recunoaștere din experimentul 1 (Fig. 2) au fost bine compatibile cu cadrul de bonus de explorare pentru a arăta o îmbunătățire comportamentală legată de recompensă a performanței memoriei pe termen lung pentru stimuli noi, dar nu pentru stimuli familiari. Cu toate acestea, rezultatele comportamentale obținute în condițiile în care codificarea a avut loc în scanerul fMRI (Experimentul 2) au fost diferite, deoarece memoria pentru stimulii familiari a arătat o îmbunătățire prin recompensă (pentru stimulii noi, această îmbunătățire nu a atins semnificație). Un motiv pentru această discrepanță poate fi faptul că, în Experimentul 1, contextul de codificare și contextul de recuperare în ziua următoare au fost identice (subiecții învățați și au fost testați în aceeași cameră), în timp ce pentru Experimentul 2 au fost diferite (subiecții codificați în fMRI și au fost testate într-o sală de testare). Este binecunoscut faptul că schimbările dintre codarea și contextul de recuperare pot avea influențe profunde asupra performanței memoriei [Godden și Baddeley,1975]. Compatibil cu această posibilitate, performanța memoriei a fost considerabil mai scăzută în Experimentul 2 decât în ​​Experimentul 1 (Fig. 2). Asemenea efecte de context ar putea să fi condus, de asemenea, la discrepanța în modelele comportamentale observate în experimentele 1 și 2.

striatul ventral (Fig. 4A) și cortexul prefrontal medial (Fig. 4 C,D) au exprimat principalele efecte ale valorii recompensei așteptate. În sarcina noastră, predicția recompensei depindea de discriminarea explicită a noutății și, prin urmare, este evident că regiunile care exprimă valoarea recompensă așteptată (striat ventral, sept/fornix) necesită acces la informații despre memorie pentru imaginea prezentată. O origine probabilă a unor astfel de informații declarative de memorie este MTL. De fapt, hipocampul și cortexul rinal, ca parte a MTL, nu numai că au exprimat efectul principal al noutății, dar sunt, de asemenea, binecunoscute că trimit eferente către striatul ventral și către cortexul prefrontal medial (rețineți că proiecția de la cortexul rinal la NAcc provine în principal din cortexul entorinal [Friedman, et al.2002; Selden și colab. 1998; Thierry și colab. 2000]). Cu toate acestea, mecanismele și procesele de calcul precise, care pot fi implicate în traducerea noutății în răspunsuri de recompensă, sunt neclare. Aceasta implică, probabil, cortexul prefrontal medial (inclusiv părțile orbitale) care, în conformitate cu studiile anterioare [O'Doherty, et al. 2004; Ranganath și Rainer, 2003] – a exprimat atât noutate cât și activare legată de recompensă (Fig. 3C și 4C, D).

Implicațiile funcționale ale rezultatelor noastre cu privire la reprezentarea răspunsurilor de noutate și recompensă în hipocamp, SN/VTA, striatul ventral și PFC medial sunt rezumate în Figure8. Pentru a oferi suport pentru acest model, am calculat o corelație între activarea regiunilor noastre de interes, folosind o analiză a corelației Spearman pentru fiecare subiect pe seria temporală deconvoluată, pentru a furniza un coeficient de corelație de grup R și un P-valoare.

Figura 8 

Ilustrare schematică a relației funcționale dintre hipocamp, Nucleus accumbens (NAcc), cortexul prefrontal medial (mPFC) și substanța nigra/zona tegmentală ventrală (SN/VTA). Pentru a oferi suport pentru acest model, am calculat o corelație între ...

Deoarece recompensa a fost condiționată de noutate și singura regiune care a reprezentat ambele tipuri de semnale a fost mPFC, această regiune este probabil să fie sursa semnalizării recompensei bazate pe noutăți (R = 0.09; P < 0.001). Hipocampul, pe de altă parte, este cel mai probabil sursa semnalului de noutate pentru mPFC (R = 0.11; P < 0.001). Acest lucru este plauzibil având în vedere că există proiecții directe de la hipocamp la mPFC [Ferino, et al.1987; Rosene și Van Hoesen, 1977]. De asemenea, este plauzibil ca semnalul de recompensă mPFC să fie apoi transmis către NAcc (R = 0.09; P < 0.001) și SN/VTA (R = 0.03; P = 0.08). Trebuie remarcat faptul că semnalul SN/VTA s-a corelat doar cu mPFC sensibil la noutate (R = 0.03; P = 0.08), dar nu mPFC receptiv la recompensă (R = 0.007; P > 0.6). Acest lucru sugerează că intrările mOFC către SN/VTA ar putea apărea mai puternic din acele regiuni mPFC asociate cu procesarea noutăților, mai degrabă decât procesarea recompensei. Observația noastră că mPFC răspunde la noutate și se corelează cu semnalul SN/VTA este, de asemenea, compatibilă cu sugestia [Lisman și Grace, 2005] că PFC este o sursă de semnal nou în circuitele dopaminergice. Cu toate acestea, rolul NAcc în semnalizarea noutății rămâne încă neclar [Duzel, et al. 2009]. Adică, deși nu am observat semnale de noutate în NAcc, a existat o corelație puternică între semnalele din NAcc și regiunile mOFC sensibile la noutate (R = 0.09; P < 0.001), NAcc și regiunile hipocampului sensibile la noutate (R = 0.15; P < 0.001), iar NAcc și SN/VTA (R = 0.19; P < 0.001). În cele din urmă, trebuie remarcat faptul că săgețile din modelul nostru indică direcționalitatea presupusă pe baza proiecțiilor cunoscute, mai degrabă decât cauzalitatea estimată cantitativ.

Îmbunătățirea legată de recompensă a memoriei de recunoaștere a fost corelată cu striatul ventral, activarea SN/VTA și MTL (Fig. 6). Un aspect important al învățării și plasticității hipocampului este o cerință pentru DA în exprimarea LTP în faza târzie (potenciarea pe termen lung), dar nu LTP în faza timpurie [Frey și Morris,1998; Frey și colab. 1990; Huang și Kandel 1995; Jay 2003; Morris 2006]. Acest lucru susține opinia conform căreia DA este necesară pentru consolidarea memoriei pe termen lung, care este susținută de date recente comportamentale la rozătoare [O'Carroll, et al. 2006]. Datele noastre sunt compatibile cu acest punct de vedere, arătând o corelație între îmbunătățirea memoriei pe termen lung prin recompensă la o zi după codificare și activare în regiunile dopaminergice presupuse și hipocamp. În special, vedem o corelație pentru articolele noi recompensate vs. nerecompensate în SN/VTA, striatul ventral și hipocamp și o corelație pentru articolele familiare recompensate vs. nerecompensate din striatul ventral și hipocampus. Având în vedere că striatul ventral este o structură de ieșire primară a creierului mediu dopaminergic (SN/VTA) [Fields, et al. 2007] rezultatele noastre sugerează că capacitatea de a observa o îmbunătățire a memoriei pe termen lung legată de recompensă prin hipocampul-SN/VTA nu se limitează la stimuli noi, ci se aplică și stimulilor familiari. De fapt, este probabil ca gradul de familiaritate în rândul clasei de stimuli familiari (în timpul codificării) să fi fost destul de variabil și că acei stimuli a căror codificare a beneficiat cel mai mult de recompensă să fie cei mai puțin familiari (relativ cei mai noi). Prin urmare, este rezonabil să presupunem că corelațiile pentru clasele de stimul noi și familiare au fost conduse de aceleași mecanisme.

De asemenea, am observat un efect principal al recompensei în sept/fornix (Fig. 4B), o regiune care este probabil să adăpostească neuroni colinergici care se proiectează către structurile temporale mediale. În mod interesant, studiile pe animale arată că, similar neuronilor DA, neuronii colinergici (din procreierul bazal) răspund la noutate și se obișnuiesc atunci când stimulii devin familiari [Wilson și Rolls,1990b]. Cu toate acestea, în sarcinile în care stimulii familiari prezic recompensa, activitatea neuronilor bazali ai creierului anterior reflectă mai degrabă predicția recompensei decât statutul de noutate [Wilson și Rolls, 1990a]. Descoperirile noastre (Fig. 4B) sunt compatibile cu observația lui Wilson și Rolls (1990a) deși nu putem spune în ce măsură aceste activări implică de fapt răspunsuri ale neuronilor colinergici.

Luate împreună, replicăm observațiile recente conform cărora activitatea striatului ventral, SN/VTA, hipocampusului și cortexului rinal este corelată cu îmbunătățirea memoriei legată de recompensă, compatibilă cu bucla hipocampus-SN/VTA. Important este că descoperirile noastre oferă noi perspective cheie asupra proprietăților funcționale ale componentelor acestei bucle. Într-o sarcină în care statutul de noutate al unui articol a prezis recompensa, hipocampul a exprimat de preferință statutul de noutate, în timp ce activitatea striatumului ventral a reflectat valoarea recompensei independent de statutul de noutate. PFC medial (inclusiv părțile orbitale) a fost probabil locul în care au fost integrate semnalele de noutate și recompensă, deoarece a exprimat atât efecte de noutate, cât și de recompensă și se știe că este conectat cu hipocampul și striatul ventral. În cele din urmă, în conformitate cu teoria bonusului de explorare [Kakade și Dayan,2002] noii stimuli de predicție a recompensei au exercitat efecte de îmbunătățire contextual asupra elementelor familiare (nu recompensante), care au fost exprimate ca răspunsuri neuronale îmbunătățite în hipocamp.

recunoasteri

Dorim să-i mulțumim lui K. Herriot pentru sprijinul în achiziția de date.

Informații suplimentare suplimentare pot fi găsite în versiunea online a acestui articol.

REFERINȚE

  • Adcock RA, Thangavel A, Whitfield-Gabrieli S, Knutson B, Gabrieli JD. Învățare motivată de recompensă: activarea mezolimbică precede formarea memoriei. Neuron. 2006;50:507–517. [PubMed]
  • Andersson JL, Hutton C, Ashburner J, Turner R, Friston K. Modeling geometric deformations in EPI time series. Neuroimagine. 2001;13:903–919. [PubMed]
  • Ashburner J, Friston KJ. Normalizare spațială neliniară folosind funcții de bază. Harta creierului Hum. 1999;7:254–266. [PubMed]
  • Berridge KC. Dezbaterea asupra rolului dopaminei în recompensă: argumentul pentru importanța stimulentelor. Psychopharmacology (Berl) 2007;191:391–431. [PubMed]
  • Brown MW, Xiang JZ. Memoria de recunoaștere: substraturi neuronale ale judecății apariției anterioare. Prog Neurobiol. 1998;55:149–189. [PubMed]
  • Bunzeck N, Duzel E. Codarea absolută a noutății stimulului în substanța umană Nigra/VTA. Neuron. 2006;51:369–379. [PubMed]
  • Bunzeck N, Schutze H, Stallforth S, Kaufmann J, Duzel S, Heinze HJ, Duzel E. Procesarea noutății mesolimbice la adulții în vârstă. Cortexul cerebral. 2007;17:2940–2948. [PubMed]
  • Bunzeck N, Doeller CF, Fuentemilla L, Dolan RJ, Duzel E. Motivația recompensei accelerează apariția semnalelor de noutate neuronală la oameni la 85 de milisecunde. Curr Biol. 2009;19:1294–1300. [Articol gratuit PMC] [PubMed]
  • Bunzeck N, Dayan P, Dolan RJ, Duzel E. Un mecanism comun pentru scalarea adaptivă a recompensei și noutății. Harta creierului Hum. 2010;31:1380–1394. [Articol gratuit PMC] [PubMed]
  • Deichmann R, Gottfried JA, Hutton C, Turner R. Optimized EPI pentru studii fMRI ale cortexului orbitofrontal. Neuroimagine. 2003;19(2 Pt 1):430–441. [PubMed]
  • Devenport LD, Devenport JA, Holloway FA. Stereotipie indusă de recompensă: modularea de către hipocamp. Ştiinţă. 1981;212:1288–1289. [PubMed]
  • Dolan RJ, Fletcher PC. Disociarea funcției prefrontale și hipocampale în codificarea memoriei episodice. Natură. 1997;388:582–585. [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Imagistica funcțională a creierului mediu dopaminergic uman. Tendințe Neurosci. 2009; 32: 321-328. [PubMed]
  • Eckert T, Sailer M, Kaufmann J, Schrader C, Peschel T, Bodammer N, Heinze HJ, Schoenfeld MA. Diferențierea bolii Parkinson idiopatice, atrofie multiplă a sistemului, paralizie supranucleară progresivă și controale sănătoase folosind imagistica de transfer de magnetizare. Neuroimagine. 2004;21:229–235. [PubMed]
  • Ferino F, Thierry AM, Glowinski J. Dovezi anatomice și electrofiziologice pentru o proiecție directă de la cornul lui Ammon la cortexul prefrontal medial la șobolan. Exp Brain Res. 1987;65:421–426. [PubMed]
  • Fields HL, Hjelmstad GO, Margolis EB, Nicola SM. Neuronii zonei tegmentale ventrale în comportamentul apetitiv învățat și întărirea pozitivă. Annu Rev Neurosci. 2007;30:289–316. [PubMed]
  • Frey U, Morris RG. Etichetarea sinaptică: implicații pentru menținerea tardivă a potențarii hipocampului pe termen lung. Trends Neurosci. 1998;21:181–188. [PubMed]
  • Antagonistii dopaminergici Frey U, Schroeder H, Matthies H. împiedică menținerea pe termen lung a LTP posttetanic în regiunea CA1 a feliilor de hipocampal de șobolan. Rez. Creier 1990; 522: 69-75. [PubMed]
  • Friedman DP, Aggleton JP, Saunders RC. Comparația proiecțiilor hipocampale, amigdalei și perirhinale cu nucleul accumbens: studiu de urmărire anterograd și retrograd combinat în creierul Macaque. J Comp Neurol. 2002;450:345–365. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. FMRI legat de eveniment: caracterizarea răspunsurilor diferențiale. Neuroimage. 1998; 7: 30-40. [PubMed]
  • Gasbarri A, Packard MG, Campana E, Pacitti C. Trasarea anterogradă și retrogradă a proiecțiilor din zona tegmentală ventrală până la formarea hipocampului la șobolan. Brain Res Bull. 1994; 33: 445-452. [PubMed]
  • Gasbarri A, Sulli A, Packard MG. Proiecțiile mezenfalice dopaminergice la formarea hipocampului la șobolan. Prog Neuropsichopharmacol Biol Psihiatrie. 1997; 21: 1-22. [PubMed]
  • Godden DR, Baddeley AD. Memoria dependentă de context în două medii naturale: pe uscat și subacvatic. Jurnalul Britanic de Psihologie. 1975;66:325–331.
  • Goto Y, Grace AA. Prelucrarea informațiilor limbice și corticale din nucleul accumbens. Tendințe Neurosci. 2008; 31: 552-558. [Articol gratuit PMC] [PubMed]
  • Helms G, Draganski B, Frackowiak R, Ashburner J, Weiskopf N. Segmentarea îmbunătățită a structurilor de materie cenușie a creierului profund folosind hărțile parametrilor de transfer de magnetizare (MT). Neuroimagine. 2009;47:194–198. [Articol gratuit PMC] [PubMed]
  • Holscher C, Jacob W, Mallot HA. Recompensa modulează activitatea neuronală în hipocampul șobolanului. Behav Brain Res. 2003;142:181–191. [PubMed]
  • Huang YY, Kandel ER. Agoniștii receptorilor D1 / D5 induc o potențare tardivă dependentă de sinteză de proteine ​​în regiunea CA1 a hipocampului. Proc Natl Acad Sci SUA A. 1995; 92: 2446 – 2450. [Articol gratuit PMC] [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Corectarea distorsionării imaginii în fMRI: O evaluare cantitativă. Neuroimage. 2002; 16: 217-240. [PubMed]
  • Hutton C, Deichmann R, Turner R, Andersson JL. 2004. Corecția combinată pentru distorsiunea geometrică și interacțiunea acesteia cu mișcarea capului în fMRI; Actele ISMRM 12, Kyoto, Japonia.
  • Ikemoto S. Circuitele recompensei dopaminei: două sisteme de proiecție de la mijlocul creierului ventral la complexul nucleu accumbens-tubercul olfactiv. Brain Res Rev. 2007;56:27–78. [Articol gratuit PMC] [PubMed]
  • Jay TM. Dopamina: un potențial substrat pentru plasticitate sinaptică și mecanisme de memorie. Prog Neurobiol. 2003; 69: 375-390. [PubMed]
  • Johnson JD, Muftuler LT, Rugg MD. Repetări multiple dezvăluie modele distincte din punct de vedere funcțional și anatomic ale activității hipocampului în timpul memoriei de recunoaștere continuă. Hipocampul. 2008;18:975–980. [Articol gratuit PMC] [PubMed]
  • Kakade S, Dayan P. Dopamina: Generalizare și bonusuri. Rețeaua neuronală 2002;15:549–559. [PubMed]
  • Knight R. Contribuția regiunii hipocampului uman la detectarea noutății. Natură. 1996;383:256–259. [PubMed]
  • Knutson B, Cooper JC. Imagistica prin rezonanță magnetică funcțională a predicției recompensei. Curr Opin Neurol. 2005;18:411–417. [PubMed]
  • Krebs RM, Schott BH, Schutze H, Duzel E. Bonusul de explorare a noutății și modulația sa atențională. Neurophologie. 2009;47:2272–2281. [PubMed]
  • Li S, Cullen WK, Anwyl R, Rowan MJ. Facilitarea dependentă de dopamină a inducției LTP în hipocampal CA1 prin expunerea la noutățile spațiale. Nat Neurosci. 2003; 6: 526-531. [PubMed]
  • Lisman JE, Grace AA. Bucla Hipocampal-VTA: Controlul introducerii informațiilor în memoria pe termen lung. Neuron. 2005;46:703–713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Răspunsurile neuronilor dopaminei de maimuță în timpul învățării reacțiilor comportamentale. J Neurophysiol. 1992; 67: 145-163. [PubMed]
  • Mesulam MM. De la senzație la cunoaștere. Creier. 1998;121(Pt 6):1013–1052. [PubMed]
  • Morris RG. Elemente ale unei teorii neurobiologice a funcției hipocampului: rolul plasticității sinaptice, etichetarea sinaptică și schemele. Eur J Neurosci. 2006;23:2829–2846. [PubMed]
  • Niv Y, Daw ND, Joel D, Dayan P. Tonic dopamina: costuri de oportunitate și controlul vigorii răspunsului. Psihofarmacologie (Berl) 2007; 191: 507-520. [PubMed]
  • O'Carroll CM, Martin SJ, Sandin J, Frenguelli B, Morris RG. Modulația dopaminergică a persistenței memoriei dependente de hipocampus cu un singur proces. Aflați Mem. 2006; 13: 760-769. [Articol gratuit PMC] [PubMed]
  • O'Doherty JP, Deichmann R, Critchley HD, Dolan RJ. Răspunsuri neuronale în timpul anticipării unei recompense primare de gust. Neuron. 2002; 33: 815-826. [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Rolurile disciplinabile ale striatului ventral și dorsal în condiționarea instrumentală. Ştiinţă. 2004; 304: 452-454. [PubMed]
  • Ploghaus A, Tracey I, Clare S, Gati JS, Rawlins JN, Matthews PM. Învățare despre durere: substratul neural al erorii de predicție pentru evenimentele aversive. Proc Natl Acad Sci US A. 2000;97:9281–9286. [Articol gratuit PMC] [PubMed]
  • Purves D, Bonardi C, Hall G. Îmbunătățirea inhibiției latente la șobolani cu leziuni electrolitice ale hipocampului. Behav Neurosci. 1995;109:366–370. [PubMed]
  • Ranganath C, Rainer G. Mecanisme neuronale pentru detectarea și amintirea evenimentelor noi. Nat Rev Neurosci. 2003;4:193–202. [PubMed]
  • Rolls ET, Xiang JZ. Reprezentări de vedere spațială recompensă și învățare în hipocampul primatelor. J Neurosci. 2005;25:6167–6174. [PubMed]
  • Rosene DL, Van Hoesen GW. Eferentele hipocampale ajung în zone larg răspândite ale cortexului cerebral și amigdalei la maimuța rhesus. Ştiinţă. 1977;198:315–317. [PubMed]
  • Selden NR, Gitelman DR, Salamon-Murayama N, Parrish TB, Mesulam MM. Traiectorii căilor colinergice în emisferele cerebrale ale creierului uman. Creier. 1998;121(Pt 12):2249–2257. [PubMed]
  • Smith Y, Kieval JZ. Anatomia sistemului dopaminergic în ganglionii bazali. Trends Neurosci. 2000;23(10 Suppl):S28–S33. [PubMed]
  • Sokolov EN. Funcții nervoase superioare; reflexul de orientare. Annu Rev Physiol. 1963;25:545–580. [PubMed]
  • Solomon PR, Vander Schaaf ER, Thompson RF, Weisz DJ. Hipocampul și condiționarea urmelor răspunsului membranei nictitante condiționate clasic al iepurelui. Behav Neurosci. 1986;100:729–744. [PubMed]
  • Strange BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Segregarea funcțiilor hipocampului uman. Proc Natl Acad Sci SUA A. 1999; 96: 4034-4039. [Articol gratuit PMC] [PubMed]
  • Sutton RS, Barto AG. Spre o teorie modernă a rețelelor adaptive: așteptări și predicții. Psychol Rev. 1981;88:135–170. [PubMed]
  • Tabuchi ET, Mulder AB, Wiener SI. Poziția și modularea comportamentală a sincronizării descărcărilor neuronale din hipocamp și accumbens la șobolanii care se mișcă liber. Hipocampul. 2000;10:717–728. [PubMed]
  • Thierry AM, Gioanni Y, Degenetais E, Glowinski J. Hipocampo-prefrontal cortex pathway: Anatomical and electrophysiological features. Hipocampul. 2000;10:411–419. [PubMed]
  • Tulving E. Memorie și conștiință. Psihologie canadiană. 1985;26:1–12.
  • Weiner I. Modelul de inhibiție latentă „cu două capete” a schizofreniei: modelarea simptomelor pozitive și negative și tratamentul lor. Psychopharmacology (Berl) 2003;169(3–4):257–297. [PubMed]
  • Weiskopf N, Helms G. Maparea multi-parametrică a creierului uman la rezoluție de 1 mm în mai puțin de 20 de minute. ISMRM 16, Toronto, Canada: 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. Parametrii EPI optimi pentru reducerea pierderilor de sensibilitate BOLD induse de susceptibilitate: O analiză a creierului întreg la 3 T și 1.5 T. Neuroimage. 2006;33:493–504. [PubMed]
  • Wilson FA, Rolls ET. Învățarea și memoria se reflectă în răspunsurile neuronilor legați de întărire din creierul bazal al primatelor. J Neurosci. 1990a;10:1254–1267. [PubMed]
  • Wilson FA, Rolls ET. Răspunsuri neuronale legate de noutatea și familiaritatea stimulilor vizuali în substanța innominata, banda diagonală a lui Broca și regiunea periventriculară a creierului bazal al primatelor. Exp Brain Res. 1990b;80:104–120. [PubMed]
  • Wirth S, Avsar E, Chiu CC, Sharma V, Smith AC, Brown E, Suzuki WA. Rezultatul studiului și semnalele de învățare asociativă în hipocampul maimuței. Neuron. 2009;61:930–940. [Articol gratuit PMC] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Activarea FMRI a midbraminei dopaminergice legate de recompensă este asociată cu formarea memoriei pe termen lung dependentă de hipocampus. Neuron. 2005; 45: 459-467. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Anticiparea recruților de noutăți și a hipocampului, promovând în același timp recollegerea. Neuroimage. 2007; 38: 194-202. [Articol gratuit PMC] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Activitatea stridentă se bazează pe alegerea bazată pe noutate la om. Neuron. 2008; 58: 967-973. [Articol gratuit PMC] [PubMed]
  • Yamaguchi S, Hale LA, D'Esposito M, Knight RT. Obișnuirea prefrontală-hipocampală rapidă cu evenimente noi. J Neurosci. 2004;24:5356–5363. [PubMed]