Modificările contextuale ale noului articol reflectă reprezentările în Striatum (2010)

 Studiu complet: Noutatea contextuală schimbă reprezentările în Striatum


J Neurosci. Manuscris de autor; disponibil în PMC 2010 Aug 3.
Publicat în formularul final modificat ca:

Marc Guitart-Masip,*,1,2 Nico Bunzeck,*,1 Klaas E Stephan,2,3 Raymond J Dolan,2 și Emrah Düzel1,4

Ultima versiune editată a editorului a acestui articol este disponibilă gratuit la adresa J Neurosci

Vezi alte articole din PMC că citează articolul publicat.

Du-te la:

Abstract

Rata de reprezentare a striatumului ventral este stimulată de noutatea perceptuală, deși mecanismul acestui efect rămâne evaziv. Studiile la animale indică o buclă funcțională (Lisman și Grace, 2005) care include hipocampul, striatul ventral și miezul central ca fiind importante în reglarea atribuției de saliență în contextul noilor stimuli. Conform acestui model, răspunsurile la recompensă în striatum ventral sau midbrain ar trebui îmbunătățite în contextul noutății, chiar dacă recompensa și noutatea constituie evenimente independente, independente. Folosind fMRI, arătăm că studiile cu indicii recompensă-predictive și rezultatele ulterioare generează răspunsuri mai mari în striatum dacă sunt precedate de o imagine românească independentă care indică faptul că reprezentarea recompensării este sporită în contextul noutății. În mod deosebit, acest efect a fost observat numai când apariția recompensei și, prin urmare, salienței legate de recompense, a fost scăzută. Aceste constatări susțin ideea că noutatea contextuală amplifică răspunsurile neuronale care stau la baza reprezentării recompenselor în striatum și concordă cu efectele procesării de noutate așa cum este prevăzută de modelul Lisman și Grace (2005).

Cuvinte cheie: noutate, recompensa, striatum, hipocampus, midbrain, fMRI

Introducere

Ganglionii bazali, împreună cu aferenții dopaminergici, oferă un mecanism de învățare a valorii de recompensă a diferitelor opțiuni de comportament (Berridge și Robinson, 2003; Frank și colab., 2004; Pessiglione și colab., 2006). În concordanță cu această viziune, studiile fMRI arată că recompensarea și recompensarea indicilor predictivi determină activitatea creierului în striatum (ex.Delgado și colab., 2000; Knutson și colab., 2000; O'Doherty și colab., 2003; O'Doherty și colab., 2004) și midbrain (Aron și colab., 2004; Wittmann și colab., 2005). Cu toate acestea, sistemul dopaminergic la miezul miezului răspunde, de asemenea, la stimuli noi care nu sunt premiați la maimuțe (Ljungberg și colab., 1992) și oameni (Bunzeck și Duzel, 2006; Wittmann și colab., 2007). Din perspectivă computațională, sa sugerat că noutatea însăși poate acționa ca un semnal motivațional care stimulează reprezentarea recompensării și conduce explorarea unei opțiuni de alegere necunoscută (Kakade și Dayan, 2002).

Deși prelucrarea noutății și a recompensei împărtășește mecanismele neuronale comune, substratul neural care susține o interacțiune între noutate și recompensă rămâne slab înțeleasă. Cercetările efectuate pe animale arată că semnalele de noutate ale hipocampului reglează capacitatea neuronilor dopaminergici de a arăta o activitate de ardere a exploziilor. Având în vedere că arderea cu explozie este principalul tip de răspuns dopaminergic care codifică recompensele și, eventual, alte evenimente importante, există motive întemeiate să suspectăm că semnalele de noutate ale hipocampului au potențialul de a reglementa atribuirea de recompense și atribuirea de saliențăLisman și Grace, 2005). Semnalele de noutate ale hipocampului sunt transmise la VTA prin subicul, striatum ventral și pallidum ventral unde acestea determină dezinhibarea neuronilor dopaminici tăcuți pentru a induce un mod de activitate tonică (Lisman și Grace, 2005; Grace și Bunney, 1983). Este important faptul că numai neuronii dopaminergici activi, dar nu silențioși, transferă în modul de declanșare și arată răspunsurile fazice (Floresco și colab., 2003). În acest fel, semnalele de noutate ale hipocampului au potențialul de a stimula semnalele de dopamină fazică și de a facilita codificarea informațiilor noi în memoria pe termen lung.

Deși cercetările recente au arătat că noutatea stimulentelor sporește o eroare de predicție a recompenselor striate (Wittmann și colab., 2008), această constatare nu se referă la o ipoteză fiziologică că noutatea contextuală exercită un efect de amplificare asupra semnalelor de recompensă ulterioare (Lisman și Grace, 2005). Testarea acestui lucru necesită o manipulare independentă a nivelului de noutate și recompensă, astfel încât noutatea (și familiaritatea) să acționeze ca și contexte extinse temporal care preced premii. Am investigat expresia modulației striatale a procesării recompenselor în contextul noutății prin prezentarea unui stimul nou care a precedat prezentarea unor indicii care prevăd recompense. Mai mult, am manipulat în mod independent ambii factori (noutate și recompensă); acest lucru ne-a permis să distingem reprezentările neurale corespunzătoare. Am prezentat subiecte cu una dintre cele trei imagini fractale diferite, care au dat dovadă de recompensă cu o probabilitate dată (fără recompensă (p = 0), scăzută (p = 0.4) și probabilitate mare de recompensă (p = 0.8). În acest fel, designul nostru ne-a permis de asemenea să investigăm dacă influențele de noutate contextuale asupra răspunsurilor la recompense au fost afectate de probabilitatea apariției recompensei. Un efect dependent de probabilitate al noutății asupra procesului de recompensare ar oferi un sprijin puternic pentru prezicerea faptului că noutatea și procesarea recompensării interacționează funcțional. În schimb, un efect al noutății asupra activității cerebrale legate de recompense, care este independent de probabilitatea de recompensă și de magnitudinea acesteia, ar indica faptul că noutatea și împărțirea împărtășesc regiunile creierului și produc activitate aditivă neurală fără o interacțiune funcțională.

Material si metode

Subiecții

Adulții 16 au participat la experiment (9 feminin și 7 masculin, vârstă 19-32 ani, medie 23.8, SD = 3.84 ani). Toți subiecții au fost sănătoși, dreptaci și au avut acuitate normală sau corectată la normal. Niciunul dintre participanți nu a raportat o istorie a tulburărilor neurologice, psihiatrice sau medicale sau a oricăror probleme medicale actuale. Toate experimentele au fost realizate cu consimțământul informat în scris al fiecărui subiect și în conformitate cu aprobarea de etică locală (University College London, Marea Britanie).

Proiectare și sarcină experimentală

Sarcina a fost împărțită în fazele 3. În faza 1, subiecții au fost familiarizați cu un set de imagini 10 (5 indoor, 5 outdoor). Fiecare imagine a fost prezentată 10 ori pentru 1000ms cu un interval de inter-stimul (ISI) de 1750 ± 500ms. Subiecții au indicat statutul de interior / exterior folosind indicele drept și degetul mijlociu. În faza 2, imaginile fractale 3 au fost asociate, sub diferite probabilități (0, 0.4 și 0.8), cu o recompensă monetară a penalizării 10 într-o sesiune de condiționare. Fiecare imagine fractală a fost prezentată ori 40. La fiecare încercare, unul dintre imaginile fractale 3 a fost prezentat pe ecran pentru 750ms, iar subiecții au indicat detectarea prezentării stimulului printr-o apăsare de buton. Rezultatul probabilistic (10 sau 0 pence) a fost prezentat ca un număr pe ecran 750ms mai târziu pentru un alt 750ms, iar subiecții au indicat dacă au câștigat bani sau nu și-au folosit indexul și degetul mijlociu. Intervalul inter-proces (ITI) a fost 1750 ± 500ms. În final, într-o fază de testare (faza 3), efectul noutății contextuale asupra răspunsurilor legate de recompensă a fost determinat în patru sesiuni de câte unsprezece minute (Figura 1). Aici a fost prezentată o imagine pentru 1000ms, iar subiecții au indicat statutul de interior / exterior folosind indicele drept și degetele mijlocii. Răspunsurile ar putea fi făcute în timp ce imaginea de scenă și imaginea fractală ulterioară au fost afișate pe ecran (1750 ms în total). Imaginea era fie din setul familiar de imagini din faza 1 (denumit "imagini familiare"), fie dintr-un alt set de imagini care nu fuseseră prezentate niciodată (numite "imagini romane"). În total, au fost prezentate imaginile romane 240 fiecărui subiect. Ulterior, a fost prezentată una dintre imaginile fractale 3 din faza 2 (denumită recompensă de predicție recompensă) pentru 750ms (aici, subiecții au fost instruiți să nu răspundă). Ca și în a doua fază, rezultatul probabilistic (10 sau 0 pence) a fost prezentat 750ms mai târziu pentru un alt 750ms, iar subiecții au indicat dacă au câștigat bani sau nu și-au folosit indexul și degetul mijlociu. Răspunsurile s-ar putea face în timp ce rezultatul a fost afișat pe ecran și în timpul intervalului intertrial ulterior (2500 ± 500 ms în total). ITI a fost 1750 ± 500ms. În timpul fiecărei sesiuni, fiecare imagine fractală a fost prezentată timp de 20 după o imagine nouă și 20 ori după o imagine obișnuită, rezultând în 120 teste pe sesiune. Ordinea de prezentare a celor șase tipuri de trialuri a fost pe deplin randomizată. Toate cele trei faze experimentale au fost efectuate în interiorul scanerului RMN, dar datele BOLD au fost obținute numai în faza de testare (faza 3). Subiecții au fost instruiți să răspundă cât mai rapid și cât mai corect posibil și să li se plătească câștigurile până la £ 20. Participanților i sa spus că pensia 10 va fi scăzută pentru fiecare răspuns incorect - aceste studii au fost excluse din analiză. Veniturile totale au fost afișate pe ecran numai la sfârșitul blocului 4.

Figura 1 

Proiectare experimentală

Toate imaginile au fost scalate în gri și au fost normalizate la valoarea medie gri a 127 și o deviație standard a 75. Niciuna dintre scenele nu prezintă ființe umane sau părți ale corpului uman (inclusiv chipuri) în prim-plan. Stimulele au fost proiectate în centrul ecranului și subiecții i-au urmărit printr-un sistem oglindă montat pe bobina de cap a scanerului fMRI.

achiziția de date fMRI

fMRI a fost efectuată pe un scanner cu rezonanță magnetică 3-Tesla Siemens Allegra (Siemens, Erlangen, Germania) cu imagistică ecografică plană (EPI). În sesiunea funcțională, s-au obținut imagini 48 T2 * pe fiecare volum (care acoperă întregul cap) cu contrast în funcție de nivelul oxigenării în sânge (BOLD) (matrice: 64 × 64; 48 fise axiale oblice pe volum înclinat la -30 ° în anteroposterior axă, rezoluție spațială: 3 × 3 × 3 mm; TR = 2880 ms; TE = 30 ms). Protocolul de achiziție a fMRI a fost optimizat pentru a reduce pierderile de sensibilitate indusă de sensibilitate BOLD în regiuni inferioare lobului frontal și temporal (Weiskopf și colab., 2006). Pentru fiecare subiect au fost obținute date funcționale în patru sesiuni de scanare care conțin volume 224 pe sesiune. Șase volume suplimentare la începutul fiecărei serii au fost achiziționate pentru a permite magnetizarea la starea de echilibru și au fost ulterior aruncate. Imaginile anatomice ale creierului fiecărui subiect au fost colectate folosind multi-ecou 3D FLASH pentru cartografiere densitate de protoni (PD), T1 și transfer de magnetizare (MT) la 1mm3 rezoluție (Weiskopf și Helms, 2008) și cu secvențe EPI (IR-EPI) pregătite pentru recuperarea inversă T1 (rezoluție spațială: 1 × 1 × 1 mm). În plus, s-au înregistrat hărți individuale de câmp utilizând o secvență de ecou dublu FLASH (dimensiunea matricei = 64 × 64; 64, rezoluție spațială = 3 × 3 × 3 mm; spațiu = 1 mm; scurt TE = 10 ms; ; TR = 12.46 ms) pentru corectarea distorsionării imaginilor EPI dobândite (Weiskopf și colab., 2006). Utilizând caseta de instrumente "FieldMap" (Hutton și colab., 2002) au fost estimate din diferența de fază dintre imaginile achiziționate la TE și lungi.

Analiza datelor fMRI

Pre-procesarea a inclus realinierea, nerespectarea folosind câmpuri individuale, normalizarea spațială la spațiul Institutului de Neurologie din Montreal (MNI) și, în final, netezirea cu un kernel 4mm Gaussian. Datele din seria fMRI au fost filtrate cu trecere înaltă (cutoff = 128 s) și albite folosind un model AR (1). Pentru fiecare subiect a fost calculat un model statistic prin aplicarea unei funcții canonice de răspuns hemodinamic (HRF) combinată cu derivate de timp și de dispersie (Friston și colab., 1998).

Designul nostru factorial 2 × 3 a inclus condițiile 6 de interes care au fost modelate ca regresoare separate: imagine familiară cu probabilitate de recompensă 0, imagine familiară cu probabilitate de recompensă 0.4, imagine familiară cu probabilitate de recompensă 0.8, imagine romantică cu recompensă -probability 0, imagine roman cu probabilitate de recompensă 0.4, imagine nouă cu probabilitate de recompensă 0.8. Proximitatea temporală a indiciilor recompensă-predicție (adică imaginea fractală) și rezultatul recompensei în sine prezintă probleme pentru separarea semnalelor BOLD generate de aceste două evenimente. Prin urmare, am modelat fiecare încercare ca un eveniment compus, folosind un mini-boxcar care a inclus prezentarea atât a tacului cât și a rezultatului. Această limitare tehnică nu a fost problematică pentru analiza noastră factorială, care sa concentrat asupra interacțiunii dintre noutate și procesarea recompensă și co-apariția unor efecte de recompensă și noutate. Eșantioanele de eroare au fost modelate ca un regresor de interes. Pentru a capta artefacte reziduale legate de mișcare au fost incluse șase covariate (cele trei translații ale corpului rigid și trei rotații rezultate din realiniere) ca regresori de interes. Efectele specifice condiției regionale au fost testate prin utilizarea contrastului liniar pentru fiecare subiect și fiecare condiție (analiză la primul nivel). Imaginile de contrast rezultate au fost introduse într-o analiză de efecte aleatoare la al doilea nivel. Aici, efectele hemodinamice ale fiecărei stări au fost evaluate utilizând o analiză a varianței 2 × 3 (ANOVA) cu noutatea factorilor (nouă, familiară) și probabilitatea recompensării (0, 0.4, 0.8).

Ne-am concentrat analiza pe regiuni de interes 3 (striatum, midbrain și hippocampus) unde interacțiunile dintre noutate și procesarea recompenselor au fost ipoteze pe baza studiilor anterioare (Lisman și Grace, 2005; Wittmann și colab., 2005; Bunzeck și Duzel, 2006). Pentru completitudine, raportăm, de asemenea, rezultatele întregului creier în materialul suplimentar. Atât regiunile de striat, cât și hipocampul (ROI) au fost definite pe baza setului de instrumente Pick Atlas (Maldjian și colab., 2003; Maldjian și colab., 2004). În timp ce ROI striatal a inclus capul caudatului, corpului caudat și putamenului, ROI-ul hipocampal a exclus amigdala și cortexul rinale din jur. În final, rentabilitatea SN / VTA a fost definită manual, utilizând software-ul MRIcro și imaginea medie MT pentru grup. Pe imaginile MT, SN / VTA se pot distinge de structurile din jur ca o bandă luminată (Bunzeck și Duzel, 2006). Trebuie remarcat faptul că la primatele recompensă, neuronii dopaminergici responsivi sunt distribuiți în complexul SN / VTA și este, prin urmare, oportun să se ia în considerare activarea întregului complex SN / VTA, mai degrabă decât focalizarea pe subcompartamente (Duzel și colab., 2009). În acest scop, o rezoluție de 3mm3, așa cum este utilizat în prezentul experiment, permite să se eșantioneze voxele 20-25 ale complexului SN / VTA, care are un volum de 350 până la 400 mm3.

REZULTATE

Din punct de vedere comportamental, subiecții au arătat o precizie ridicată a performanței sarcinii în timpul sarcinii de discriminare interioară / în aer liber (rata medie de succes 97.1%, SD = 2.8% pentru imaginile familiare, rata medie de succes 96.8%, SD = 2.1% pentru imaginile noi;15= 0.38, ns), precum și pentru diferența de victorie / fără victorie la momentul rezultatului (rata medie de succes 97.8%, SD = 2.3% pentru evenimentele câștigătoare, rata medie de succes 97.7%, SD = 2.2% T15= 0.03, ns). Subiecții discriminează starea internă și cea exterioară mai rapidă pentru imagini familiare comparativ cu imaginile noi (timp de reacție mediu RT = 628.2 ms, SD = 77.3ms pentru imagini familiare, RT = 673.8 ms, SD = 111 ms pentru imagini noi;15= 4.43, P = 0.0005). Nu a existat nici o diferență RT pentru victoria / nici o discriminare la câștig în timpul rezultat (medie RT = 542ms, SD = 82.2 ms pentru încercările câștigătoare, medii RT = 551 ms, SD = 69 ms pentru câștigarea studiilor;15= 0.82, ns). În mod asemănător, în timpul condiționării nu au existat diferențe RT pentru diferitele imagini fractale 3 (probabilitate 0.8: RT = 370.1 ms, SD = 79 ms; 0.4- probabilitate: RT = 354.4, SD = 73.8ms; SD = 0ms; F (372.2) = 79.3, ns). Ultima analiză RT a exclus trei subiecte din cauza unor probleme tehnice în timpul achiziției de date.

În analiza datelor fMRI, o analiză 2 × 3 ANOVA cu probabilitatea de recompensă (p = 0, p = 0.4, p = 0.8) prezintă un efect principal al noutății bilaterale în hipocampus (Figura 2A) și striatul drept, corectat prin FDR pentru volumul de căutare al ROI-urilor. Un efect principal simplu al recompensei ('p = 0.8> p = 0') a fost observat în cadrul complexului SN / VTA din stânga (Figura 2B) și în interiorul striatumului bilateral (Figura 2C). Vedea Tabelul 1 pentru toate regiunile activate ale creierului.

Figura 2 

Rezultate fMRI
Tabelul 1 

Rezultate fMRI

Nu am observat o interacțiune de probabilitate de recompensă x noutate atunci când am corectat pentru mai multe teste pe întregul volum de căutare al rentabilității investiției. Cu toate acestea, atunci când efectuăm o analiză post-hoc (t-test) a celor trei voxeli de vârf care arată un efect principal al recompensării în striatum, am descoperit (ortogonale) efectele noutății și interacțiunea cu recompensa: un voxel a arătat, de asemenea, noutate și o noutate × interacțiune de recompensă, în timp ce un alt voxel a arătat, de asemenea, un efect principal al noutății.

Așa cum se arată în figura 2C (mijloc), în primul voxel ([8 10 0]; efectul principal al recompensei F (2,30) = 8.12, P = 0.002; efectul principal al noutății F (1,15) = 7.03, P = 0.02; noutate × interacțiunea de recompensă F (2,30) = 3.29, P = 0.05) acest efect a fost determinat de răspunsuri BOLD mai mari la studii cu probabilitate de recompensă 0.4 și precedat de o imagine nouă (test t-post-hoc: t (15) = 3.48 , P = 0.003). În al doilea voxel (2C dreapta) ([−10 14 2] efectul principal al recompensei F (2,30) = 13.13, P <0.001; efectul principal al noutății F (1,15) = 9.19, P = 0.008; nu interacțiune semnificativă F (2,30) = 1.85, ns) testele t-hoc din nou au demonstrat că efectul principal al noutății a fost determinat de diferențele dintre imaginile noi și familiare la cele două probabilități scăzute de livrare a recompensei (t (15) = 2.79, P = 0.014; și t (15) = 2.19, P = 0.045, pentru probabilitatea p = 0 și, respectiv, p = 0.4), (a se vedea figura 2C). În schimb, al treilea voxel (2C a lăsat [22 4 0] efectul principal al recompensei, F (2,30) = 9.1, P = 0.001) nici nu a arătat un efect principal al noutății (F (1,15) = 2.33, interacțiune (F (2,30) = 1.54, ns).

În creierul mediu, voxelul cu răspunsuri maxime legate de recompensă ([−8 −14 −8], F (2,30) = 12.19, P <0.001), a arătat, de asemenea, o tendință către un efect principal al noutății (F (1,15 , 4.18) = 0.059, P = 2,30) în absența unei interacțiuni semnificative (F (0.048) = XNUMX, ns).

Discuție

Imaginile noi ale scenelor au îmbunătățit răspunsurile striatale de recompensă generate de evenimentele de recompensare ulterioare și fără legătură (prezicând indicii abstracte și livrarea recompenselor). După cum era de așteptat, imaginile noi au activat hipocampul. Aceste constatări furnizează prima dovadă, după cunoștința noastră, pentru o predicție fiziologică că activarea hipocampului legată de noutate ar trebui să exercite un efect de îmbunătățire contextuală asupra procesării recompenselor în striatum ventral (Lisman și Grace, 2005; Bunzeck și Duzel, 2006).

Datorită proprietăților semnalului BOLD, apropierea temporală a răspunsului predictiv recompensat și a rezultatului a împiedicat o estimare separată a efectelor noutății asupra acestor evenimente. Mai degrabă am considerat secvența rezultatului final drept un eveniment compus și am constatat că efectul noutății asupra procesării recompenselor a variat ca o funcție a probabilității de apariție a recompensei. O creștere a fost observată numai atunci când probabilitatea recompensării anticipate a fost scăzută (0 sau 0.4) și a fost absentă pentru probabilitatea de recompensă mare (0.8) (Figura 2C). Este important de observat că acest model de rezultate nu poate fi explicat prin efectele independente ale noutății și recompensei din aceeași regiune. Efectele BOLD cauzate de două populații neuronale care se suprapun funcțional, dar care se suprapun spațial, ar fi aditiv indiferent de probabilitatea de recompensă și, prin urmare, vor conduce la un efect de noutate și în starea de probabilitate 0.8. Prin urmare, aceste efecte dependente de probabilitate ale noutății asupra procesării recompensării susțin posibilitatea ca acestea să reflecte o contaminare prin răspunsuri BOLD provocate de noi stimuli înșiși. Mai degrabă, constatările indică faptul că noutatea contextuală a crescut procesarea de recompensare per se, deși numai în condiția de probabilitate scăzută.

După cum am explicat mai sus, nu am putut să dezambiguăm răspunsurile BOLD între anticiparea recompensei (recompense) și livrarea de recompense (rezultate). Noutatea poate să fi crescut selectiv procesarea rezultatelor fără recompense (fără încercări de câștig). Acest lucru ar fi în concordanță cu faptul că nu am observat niciun efect de noutate semnificativ asupra studiilor cu probabilitate mare de recompensă, deoarece 80% din aceste studii au dus la obținerea unei recompense. Alternativ, noutatea poate fi influențată anticiparea recompensării pentru indicii care au prezis livrarea de recompensă cu probabilitate mică (de exemplu, 0 și 0.4). În ambele cazuri, noutatea contextuală a îmbunătățit reprezentarea creierului pentru acele evenimente care au fost în mod obiectiv mai puțin satisfăcătoare. Mai mult decât atât, este puțin probabil ca lipsa modulației de noutate a semnalelor de recompensă în condiții de probabilitate ridicată să se datoreze unui efect de plafon în procesarea recompenselor. Lucrările anterioare au arătat că răspunsurile legate de răsplată în striatum uman sunt scalate adaptiv în diferite contexte, rezultând un semnal care reprezintă dacă un rezultat este favorabil sau nefavorabil într-o anumită situație (Nieuwenhuis et al 2004). Se poate deci aștepta ca răspunsurile la recompense să fie, de asemenea, capabile să găzduiască un bonus de noutate în condiții de probabilitate mare de recompensă.

Este bine stabilit că creierul primatului învață despre valoarea diferiților stimuli asociați cu recompensa în experimentele de condiționare clasică, măsurate prin anticiparea crescută a rezultatului (de exemplu, linsul crescut). În experimentul de față am măsurat timpii de reacție în timpul fazei de condiționare, dar nu am găsit diferențe între diferitele niveluri ale punctelor tari predictive. Având în vedere simplitatea sarcinii și viteza cu care au răspuns subiecții (<375 ms pentru toate condițiile), această lipsă a unui răspuns diferențial se poate datora unui efect plafon. În ciuda lipsei unei măsuri comportamentale obiective pentru condiționare, utilizarea cu succes a acestui tip de tac în studiile anterioare (de ex O'Doherty și colab., 2003) sugerează că subiecții încă formează o asociere între indicii și diferitele probabilități de livrare a recompensei.

În lucrările anterioare, semnalele de recompensă din striat au fost legate de o varietate de proprietăți legate de recompensă atât la oameni, cât și la primatele non-umane, inclusiv probabilitatea (Preuschoff și colab., 2006; Tobler și colab., 2008), magnitudinea (Knutson și colab., 2005), incertitudinea (Preuschoff și colab., 2006) și valoarea de acțiune (Samejima și colab., 2005). Această diversitate a variabilelor legate de recompensă exprimată în striatum se potrivește bine cu rolul său de interfață limbic / senzorimotor cu rol critic în organizarea comportamentelor orientate spre țintă (Wickens și colab., 2007). Atât SN / VTA, cât și striatumul, unul dintre locurile principale de proiecție ale sistemului dopaminei midbrain, răspund, de asemenea, la recompensarea și recompensarea indicilor predictivi în paradigmele clasice de condiționare (ex.Delgado și colab., 2000; Knutson și colab., 2000; Fiorillo și colab., 2003; Knutson și colab., 2005; Tobler și colab., 2005; Wittmann și colab., 2005; D'Ardenne și colab., 2008). Conform mai multor perspective computaționale, transmisia dopaminei originare din SN / VTA învață striatumul despre valoarea stimulilor condiționați printr-un semnal de eroare de predicție (Schultz și colab., 1997).

Deși în studiile de condiționare clasică, reprezentările de recompensare și non-recompensare exprimate în striatum nu au întotdeauna consecințe comportamentale evidente (O'Doherty și colab., 2003; den Ouden și colab., 2009), studiile fMRI au arătat în mod sistematic că schimbările în activitatea BOLD striatal corelează cu erorile de predicție legate de valoarea opțiunilor de alegere așa cum sunt caracterizate de modelele computaționale care se potrivesc datelor de comportament (O'Doherty și colab., 2004; Pessiglione și colab., 2006). Afirmațiile strate de valoare de stat care nu sunt legate de o acțiune pot fi corelate cu semnalele de disponibilitate a recompenselor care sunt transpuse în răspunsuri pregătitoare, de exemplu abordări sau efecte revigorante, așa cum se observă în transferul instrumental pavlovian (PIT) (Cardinal și colab., 2002; Talmi și colab., 2008). Datele noastre sugerează că noutatea modulează astfel de reprezentări ale valorii de stat prin creșterea speranței de recompensă sau a răspunsului la rezultate nerevenite. Consecința acestei interacțiuni dintre noutate și recompensă ar putea fi generarea de răspunsuri pregătitoare necondiționate. În lumea reală, astfel de răspunsuri ar conduce la o abordare îmbunătățită atunci când noutatea este identificată cu un indiciu (Wittmann și colab., 2008) sau explorarea aleatorie a mediului atunci când este detectată noutatea, dar nu este asociată cu o indicație specifică, așa cum se observă în literatura de specialitate (Cârlige și Kalivas, 1994). Această viziune este, de asemenea, în concordanță cu modelele computaționale influente (Kakade și Dayan, 2002).

O structură critică care este probabil implicată în răspunsurile de recompensă îmbunătățite contextual în striatum este hipocampul. Ca și în studiile anterioare (Tulving și colab., 1996; Strange și colab., 1999; Bunzeck și Duzel, 2006; Wittmann și colab., 2007) am arătat că noutatea contextuală a activat hipocampul mai puternic decât familiaritatea. Având în vedere proiecțiile sale puternice (indirecte) față de SN / VTA, sugerăm că această structură este sursa probabilă pentru un semnal de noutate pentru sistemul dopaminergic al midbrainului (Lisman și Grace, 2005; Bunzeck și Duzel, 2006). Midbrainul dopaminergic primește, de asemenea, contribuții din alte zone ale creierului, cum ar fi cortexul prefrontal care ar fi putut transmite și semnale de noutate (Fields și colab., 2007). Având în vedere dovezile de până acum, însă, considerăm că hipocampul este cel mai probabil candidat pentru conducerea unei dezinhibiții legate de noutate a neuronilor dopaminei midbrain care ar explica o amplificare a semnalelor de răsplată striatală în contextul noutății. Pe de altă parte, moderarea dependentă de probabilitate a efectului de noutate contextual, la rândul său, poate să fi survenit în cortexul prefrontal (PFC). Studiile fiziologice arată că creșterea PFC a condus la SN / VTA neuroni îmbunătățește modularea dopaminergică a regiunilor PFC numai dar nu și dopaminergic de intrare în striatum ventral (Margolis și colab., 2006). Printr-un astfel de mecanism, PFC ar putea reglementa efectele contextuale dependente de probabilitate ale noutății asupra SN / VTA și a reprezentării de recompensă striatală ventrală.

În concluzie, rezultatele de față demonstrează că noutatea contextuală mărește procesarea de recompensare în striatum, ca răspuns la indiciile și rezultatele nerelate. Aceste constatări sunt compatibile cu predicțiile unui model de cale polisinaptică (Lisman și Grace, 2005) în care semnalele de noutate ale hipocampului oferă un mecanism pentru reglarea contextuală a atribuirii de saliență evenimentelor care nu au legătură.

Material suplimentar

Mulţumiri

Această lucrare a fost susținută de o finanțare a proiectului Wellcome Trust (către ED și RJD 81259; www.wellcome.ac.uk; RD este susținută de un program de încredere pentru programul Wellcome Trust. MG deține o Fellowship Marie Curie (www.mariecurie.org.uk). KES recunoaște sprijinul oferit de proiectul SystemsX.chh NEUROCHOICE.

Lista de referinte

  • Aron AR, Shohamy D, Clark J, Myers C, Gluck MA, Poldrack RA. Semnificația sensibilității umane la feedback-ul cognitiv și incertitudinea în timpul învățării în clasificare. J Neurophysiol. 2004; 92: 1144-1152. [PubMed]
  • Berridge KC, Robinson TE. Parsarea recompensării. Tendințe Neurosci. 2003; 26: 507-513. [PubMed]
  • Bunzeck N, Duzel E. Codificarea absolută a noutății stimulului în substanța nigra umană / VTA. Neuron. 2006; 51: 369-379. [PubMed]
  • Cardinalul RN, Parkinson JA, Sala J, Everitt BJ. Emoția și motivația: rolul amigdalei, striatum ventral și cortexul prefrontal. Neurosci Biobehav Rev. 2002; 26: 321-352. [PubMed]
  • D'Ardenne K, McClure SM, Nystrom LE, Cohen JD. Răspunsurile BOLD reflectă semnale dopaminergice în zona tegmentală ventrală umană. Ştiinţă. 2008; 319: 1264-1267. [PubMed]
  • Delgado MR, Nystrom LE, Fissell C, Noll DC, Fiez JA. Urmărirea răspunsurilor hemodinamice pentru recompensă și pedeapsă în striatum. J Neurophysiol. 2000; 84: 3072-3077. [PubMed]
  • den Ouden HE, Friston KJ, Daw ND, McIntosh AR, Stephan KE. Un rol dublu pentru eroarea de predicție în învățarea asociativă. Cereb Cortex. 2009; 19: 1175-1185. [Articol gratuit PMC] [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Imagistica funcțională a midbrainului dopaminergic uman. Tendințe Neurosci. 2009 [PubMed]
  • Domeniile HL, Hjelmstad GO, Margolis EB, Nicola SM. Ventilul neuronilor din zona tegmentală a ventriculului în comportamentul apetit învățat și armarea pozitivă. Annu Rev Neurosci. 2007; 30: 289-316. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Codificarea discretă a probabilității de recompensă și incertitudinea neuronilor dopaminergici. Ştiinţă. 2003; 299: 1898-1902. [PubMed]
  • Floresco SB, West AR, Ash B, Moore H, Grace AA. Modularea aferentă a procesului de ardere a neuronilor dopaminici reglează diferențiat transmisia tonică și fazică a dopaminei. Nat Neurosci. 2003; 6: 968-973. [PubMed]
  • Frank MJ, Seeberger LC, O'Reilly RC. Prin morcov sau prin băț: învățarea armării cognitive în parkinsonism. Ştiinţă. 2004; 306: 1940-1943. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. FMRI legat de eveniment: caracterizarea răspunsurilor diferențiale. Neuroimage. 1998; 7: 30-40. [PubMed]
  • Grace AA, Bunney BS. Electrofiziologie intracelulară și extracelulară a neuronilor dopaminergici nigral – 1. Identificare și caracterizare. Neuroștiințe. 1983; 10: 301-315. [PubMed]
  • Hooks MS, Kalivas PW. Implicarea transmiterii aminoacizilor dopaminici și excitatori în activitatea motrică indusă de noutate. J. Pharmacol Exp Ther. 1994; 269: 976-988. [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Corectarea distorsionării imaginii în fMRI: O evaluare cantitativă. Neuroimage. 2002; 16: 217-240. [PubMed]
  • Kakade S, Dayan P. Dopamina: generalizare și bonusuri. Neural Netw. 2002; 15: 549-559. [PubMed]
  • Knutson B, Westdorp A, Kaiser E, Hommer D. FMRI vizualizarea activității creierului în timpul unei sarcini de întârziere a stimulentelor financiare. Neuroimage. 2000; 12: 20-27. [PubMed]
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Distribuția reprezentării neuronale a valorii așteptate. J Neurosci. 2005; 25: 4806-4812. [PubMed]
  • Lisman JE, Grace AA. Hipocampă-VTA bucla: controlul de intrare a informațiilor în memoria pe termen lung. Neuron. 2005; 46: 703-713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Răspunsurile neuronilor dopaminei de maimuță în timpul învățării reacțiilor comportamentale. J Neurophysiol. 1992; 67: 145-163. [PubMed]
  • Maldjian JA, Laurienti PJ, Burdette JH. Discrepanță gyrus discretă în versiunile electronice ale atlasului Talairach. Neuroimage. 2004; 21: 450-455. [PubMed]
  • Maldjian JA, Laurienti PJ, Kraft RA, Burdette JH. O metodă automatizată de interogare pe bază de atlas neuroanatomic și cytoarchitectonic a seturilor de date fMRI. Neuroimage. 2003; 19: 1233-1239. [PubMed]
  • Margolis EB, Lock H, Chefer VI, Shippenberg TS, Hjelmstad GO, Fields HL. Kappa opioidele controlează selectiv neuronii dopaminergici care se proiectează în cortexul prefrontal. Proc Natl Acad Sci SUA A. 2006; 103: 2938-2942. [Articol gratuit PMC] [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Rolurile disciplinabile ale striatului ventral și dorsal în condiționarea instrumentală. Ştiinţă. 2004; 304: 452-454. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Modelele temporale de diferență și învățarea bazată pe recompense în creierul uman. Neuron. 2003; 38: 329-337. [PubMed]
  • Pessiglione M, Seymour B, Flandin G, Dolan RJ, Frith CD. Erorile de predicție dependente de dopamină susțin comportamentul de căutare a recompenselor la om. Natură. 2006; 442: 1042-1045. [Articol gratuit PMC] [PubMed]
  • Preuschoff K, Bossaerts P, cuarț SR. Diferențierea neurală a recompenselor și riscurilor așteptate în structurile subcortice umane. Neuron. 2006; 51: 381-390. [PubMed]
  • Samejima K, Ueda Y, Doya K, Kimura M. Reprezentarea valorilor de recompensă specifice acțiunii în striatum. Ştiinţă. 2005; 310: 1337-1340. [PubMed]
  • Schultz W, Dayan P, Montague PR. Un substrat neural de predicție și recompensă. Ştiinţă. 1997; 275: 1593-1599. [PubMed]
  • Strange BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Segregarea funcțiilor hipocampului uman. Proc Natl Acad Sci SUA A. 1999; 96: 4034-4039. [Articol gratuit PMC] [PubMed]
  • Talmi D, Seymour B, Dayan P, Dolan RJ. Transferul pavlovian-instrumental uman. J Neurosci. 2008; 28: 360-368. [Articol gratuit PMC] [PubMed]
  • Tobler PN, Fiorillo CD, Schultz W. Codificarea adaptivă a valorii de recompensă de către neuronii dopaminergici. Ştiinţă. 2005; 307: 1642-1645. [PubMed]
  • Tobler PN, Christopoulos GI, O'Doherty JP, Dolan RJ, Schultz W. Distorsiuni neuronale ale probabilității de recompensă fără alegere. J Neurosci. 2008; 28: 11703-11711. [Articol gratuit PMC] [PubMed]
  • Tulving E, Markowitsch HJ, Craik FE, Habib R, Houle S. Activități de noutate și familiaritate în studiile PET de codificare și regăsire a memoriei. Cereb Cortex. 1996; 6: 71-79. [PubMed]
  • Weiskopf N, Helms G. Cartografierea cu mai multe parametri a creierului uman la rezoluția 1mm în mai puțin de 20 minute; ISMRM 16; Toronto, Canada. 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. Parametrii optimi EPI pentru reducerea pierderilor de sensibilitate indusă de sensibilitate: o analiză între creier la 3 T și 1.5 T. Neuroimage. 2006; 33: 493-504. [PubMed]
  • Wickens JR, Horvitz JC, Costa RM, Killcross S. Mecanisme dopaminergice în acțiuni și obiceiuri. J Neurosci. 2007; 27: 8181-8183. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Anticiparea recruților de noutăți și a hipocampului, promovând în același timp recollegerea. Neuroimage. 2007; 38: 194-202. [Articol gratuit PMC] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Activitatea stridentă se bazează pe alegerea bazată pe noutate la om. Neuron. 2008; 58: 967-973. [Articol gratuit PMC] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Activarea FMRI a midbraminei dopaminergice legate de recompensă este asociată cu formarea memoriei pe termen lung dependentă de hipocampus. Neuron. 2005; 45: 459-467. [PubMed]