Semnalele dopaminei pentru valoarea și riscul recompensării Date de bază și recente (2010)

Wolfram Schultz 1

Behav Brain Funct. 2010; 6: 24.

Publicat online 2010 April 23. doi: 10.1186 / 1744-9081-6-24.

STUDIU COMPLET: Semnalele Dopaminei pentru Valoarea Recompenselor și Riscului Date de bază și recente

1Departamentul de Fiziologie, Dezvoltare și Neuroștiință, Universitatea din Cambridge, Downing Street, Cambridge CB2 3DY, Marea Britanie

Autorul corespunzator.

Wolfram Schultz: [e-mail protejat]

Abstract

Context

Studiile anterioare de leziune, auto-stimulare electrică și dependența de droguri sugerează că sistemele de dopamină ale creierului mijlociu sunt părți ale sistemului de recompensare a creierului. Această revizuire oferă o imagine de ansamblu actualizată despre semnalele de bază ale neuronilor dopaminici către stimuli de mediu.

Metode

Experimentele descrise au utilizat metode standard comportamentale și neurofiziologice pentru a înregistra activitatea neuronilor dopaminici singulari la maimuțele trează în timpul sarcinilor comportamentale specifice.

REZULTATE

Neuronii Dopamina prezintă activări fazice la stimuli externi. Semnalul reflectă recompensa, sănătatea fizică, riscul și pedeapsa, în ordinea descrescătoare a fracțiilor neuronilor răspunzători. Valoarea estimată a recompensei este o variabilă cheie de decizie pentru alegerile economice. Codurile de răspuns recompensează valoarea, probabilitatea și produsul rezumat, valoarea preconizată. Valoarea de recompensă a codului neuronilor, deoarece diferă de predicție, îndeplinind astfel cerința de bază pentru o eroare de predicție bidirecțională semnal de predare postat de teoria învățării. Acest răspuns este redus în unități de abatere standard. În schimb, relativ puțini neuroni dopaminici arată activarea fazică în urma pedepselor și a stimulilor aversivi condiționați, ceea ce sugerează o lipsă de relație a răspunsului recompenselor la atenția generală și la excitare. Proporții mari de neuroni dopaminici sunt, de asemenea, activate de stimuli intensi, salienti fizic. Acest răspuns este îmbunătățit atunci când stimulii sunt noi; pare a fi distinct de semnalul valorii recompensei. Neuronii Dopamine arată, de asemenea, activări nespecifice la stimuli nerecompensatori, care sunt posibil datorate generalizării de către stimuli similari și pseudocondiționare prin recompense primare. Aceste activări sunt mai scurte decât răspunsurile la recompense și sunt adesea urmate de depresia activității. Un semnal separat de dopamină mai lent informează despre risc, o altă variabilă importantă de decizie. Răspunsul la eroarea de predicție apare numai cu recompensă; acesta este scăzut de riscul recompenselor preconizate.

Concluzii

Studiile neurofiziologice relevă semnalele de dopamină fazică care transmit informații legate în mod predominant, dar nu exclusiv, pentru a recompensa. Deși nu este complet omogen, semnalul dopaminei este mai restricționat și stereotip decât activitatea neuronală în cele mai multe alte structuri ale creierului implicate în comportamentul orientat spre scop.

Context

Rezultatele obținute din leziuni și studii psihofarmacologice sugerează o gamă largă de funcții comportamentale pentru sistemele de dopamină ale creierului mijlociu. Întrebarea cheie este, care dintre aceste numeroase funcții sunt codificate în mod activ printr-un semnal de dopamină fazică compatibilă cu mecanismele neuronale rapide? Sugestii bune provin din dependența de droguri și auto-stimularea electrică, ceea ce sugerează că activitatea dopaminei are efecte satisfăcătoare și generatoare de abordare [1,2].

Putem defini recompense ca obiecte sau evenimente care generează abordare și comportament consumator, produc învățarea unui astfel de comportament, reprezintă rezultate pozitive ale deciziilor economice și angajează emoții pozitive și sentimente hedonice. Recompensele sunt cruciale pentru supraviețuirea individuală și a genelor și sprijină procesele elementare, cum ar fi băutul, alimentația și reproducerea. Această definiție comportamentală atribuie funcția de recompensă și anumitor entități nonalimentare și non-sexuale, inclusiv bani, artefacte tehnice, atribute de stimulare estetică și evenimente mentale. Recompensele angajează agenții în comportamente atât de diverse precum furajarea și tranzacționarea pe piețele bursiere.

Noțiuni de bază

Recompensele au magnitudini specifice și apar cu probabilități specifice. Agenții își propun să optimizeze opțiunile dintre opțiuni ale căror valori sunt determinate de tipul obiectului ales și de amploarea și probabilitatea acestuia [3]. Prin urmare, recompensele pot fi descrise în mod adecvat prin distribuirea probabilității valorilor recompensei. Într-o lume ideală, aceste distribuții urmează o funcție gaussiană, recompensele extreme apar mai rar decât rezultatele intermediare. Testele experimentale utilizează adesea distribuții binare de probabilitate cu valori echiprobabile (fiecare valoare de recompensă apare la p = 0.5). Distribuțiile de probabilitate gaussiene și binare sunt descrise pe deplin prin valoarea matematică așteptată (primul moment al distribuției probabilității) și dispersiile sau abaterile valorilor de la medie, și anume varianța (așteptată) (al doilea moment) sau deviația standard (așteptată) (rădăcină pătrată) de varianță). Varianța și abaterea standard sunt adesea considerate măsuri de risc. În economia comportamentală, termenul „risc” se referă la o formă de incertitudine în care este cunoscută distribuția probabilității, în timp ce „ambiguitate” indică cunoașterea incompletă a probabilităților și este adesea denumită pur și simplu „incertitudine”. Riscul se referă la șansa de a câștiga sau a pierde, mai degrabă decât la asocierea mai îngustă, de bun simț cu pierderea.

Predicțiile sunt de o importanță fundamentală pentru luarea unei decizii în cunoștință de cauză, oferind informații în avans despre opțiunile de alegere disponibile, spre deosebire de ghicirile care apar atunci când rezultatele nu sunt cunoscute. Deoarece recompensa poate fi cuantificată prin distribuția probabilității a valorii, previziunile recompensei specifică valoarea așteptată și variația (așteptată) sau abaterea standard a distribuției.

Presiunea evolutivă favorizează procesarea eficientă din punct de vedere energetic a informațiilor. O soluție potențială este de a stoca predicții despre evenimente viitoare în centrele creierului superior și de a calcula în centrele cerebrale inferioare diferența dintre noile informații despre mediu și predicția stocată. Discrepanța dintre evenimentul real și predicția lui se numește eroare de predicție a evenimentului. Menținerea situației mediului în schimbare de către centrele creierului superior ar implica pur și simplu actualizarea predicțiilor cu informații care conțin și mai puține erori de energie, erori de predicție, mai degrabă decât procesarea informațiilor periferice complete de fiecare dată când un lucru mic s-a schimbat [4]. În acest fel, centrele cerebrale superioare au acces la informațiile complete despre lumea externă pentru percepții, decizii și reacții comportamentale la un cost energetic mult mai mic. Această proprietate fundamentală a predicțiilor duce la fenomenul observabil al învățării, definit de modificările de comportament bazate pe predicții actualizate.

Teoria învățării animalelor și modelele eficiente de întărire a diferenței temporale postulează că erorile de predicție ale rezultatului sunt cruciale pentru condiționarea pavloviană și operantă [5,6]. Opiniile actuale conceptualizează învățarea pavloviană ca orice formă de dobândire a predicției care duce la modificări ale reacțiilor vegetative sau contracții musculare striate, atâta timp cât rezultatul nu este condiționat de reacția comportamentală. Astfel, predicțiile pavloviene de recompensă transmit informații nu numai despre valoarea recompensei (valoarea așteptată), ci și despre riscul (varianța) recompenselor viitoare, care constituie o extensie importantă a conceptului propus de Pavlov acum o sută de ani. Importanța erorilor de predicție se bazează pe efectul de blocare al lui Kamin [7], care demonstrează că învățarea și dispariția avansează numai în măsura în care un întăritor este mai bun sau mai rău decât s-a prevăzut; învățarea încetinește progresiv pe măsură ce predicția abordează asimptotic valoarea întăritorului.

Răspunsul Dopaminei la primirea recompenselor

Majoritatea neuronilor de dopamină din creierul mediu (75-80%) prezintă activări fazice destul de stereotipate, cu latențe <100 ms și durate <200 ms după hrană imprevizibilă temporar și recompense lichide (Figura (Figura 1A) .1A). Acest răspuns la explozie depinde de activarea și plasticitatea receptorilor glutamatergici NMDA și AMPA localizați pe neuronii dopaminici [8-12]. Explozia este esențială pentru învățarea comportamentală a sarcinilor apetitive, cum ar fi preferința condiționată a locului și alegerile T-labirintului pentru recompensa alimentelor sau cocainei și pentru răspunsurile la frică condiționate [9].

Figura 1

Activări fazice ale activității de impuls neurofiziologic a neuronilor dopaminergici. A: Activări fazice după recompense primare. B: Activări fazice în urma stimulilor condiționați, care prevăd recompensa. C: Sus: Lipsa activării fazice după primare (mai multe ...)

Codificarea erorilor de predicție a recompensei

Răspunsul dopaminei la eliberarea recompenselor pare să codifice o eroare de predicție; o recompensă care este mai bună decât cea prevăzută determină o activare (eroare de predicție pozitivă), o recompensă complet prevăzută nu atrage niciun răspuns și o recompensă mai slabă decât cea prevăzută induce o depresie (eroare negativă) [13-24]. Astfel, răspunsul dopaminei pune în aplicare pe deplin termenul crucial al modelului de învățare Rescorla-Wagner și seamănă îndeaproape cu semnalul didactic al modelelor eficiente de învățare a întăririi diferenței temporale [6,23].

Răspunsul la eroare variază cantitativ cu diferența dintre valoarea recompensei primite și valoarea de recompensă preconizată [18-23]. Răspunsul la eroarea de predicție este sensibil la timpul recompensei; o recompensă întârziată induce o depresie la momentul inițial și o activare la noul său timp [24,25]. Codificarea erorilor cantitative este evidentă pentru activări care reflectă erori de predicție pozitive. În schimb, depresia care apare cu erori de predicție negativă arată în mod natural o gamă dinamică mai restrânsă, deoarece activitatea neuronală nu poate scădea sub zero, iar o evaluare cantitativă corespunzătoare necesită să țină cont de perioada completă a depresiei [26].

Astfel, neuronii dopaminei răspund doar la măsura în care diferă de predicție. Deoarece predicția provine din recompensa experimentată anterior, neuronii dopaminici sunt activi doar atunci când recompensa actuală este mai bună decât recompensa anterioară. Aceeași recompensă nu va activa neuronii dopaminici. Dacă activarea neuronilor dopaminici are un efect de consolidare pozitivă asupra comportamentului, numai recompense crescânde vor oferi consolidarea continuă prin mecanisme dopaminergice. Acesta poate fi unul dintre motivele pentru care recompensele constante, neschimbătoare, par să își piardă influența stimulatoare și de ce avem întotdeauna nevoie de mai multe recompense.

Teste stricte pentru codificarea erorilor de predicție a recompenselor

Teoria învățării animalelor a dezvoltat paradigme formale pentru testarea erorilor de predicție a recompenselor. În testul de blocare [7], un stimul care este asociat cu o recompensă complet prevăzută nu poate fi învățat și astfel nu devine un predictor de recompense valabil. Absența unei recompense în urma stimulului blocat nu constituie o eroare de predicție și nu duce la un răspuns în neuronii dopaminici, chiar și după împerecherea extinsă a recompenselor cu stimul [27]. În schimb, eliberarea unei recompense după un stimul blocat constituie o eroare de predicție pozitivă și determină în consecință o activare de dopamină.

Paradigma de inhibare condiționată [28] oferă un test suplimentar pentru erori de predicție. În sarcina folosită în experimentele noastre, un stimul test este prezentat simultan cu un stimul stabilit care prezice recompensa, dar nici o recompensă nu este dată după compus, ceea ce face ca testul să fie un predictor pentru absența recompensei. Omenirea de recompensă după un astfel de inhibitor condiționat nu constituie o eroare de predicție negativă și, în consecință, nu reușește să inducă o depresie în neuronii dopaminici [29]. În schimb, administrarea unei recompense după inhibitor produce o eroare puternică de predicție pozitivă și, în consecință, o activare puternică a dopaminei.

Rezultatele acestor două teste formale confirmă faptul că neuronii dopaminei indică codificarea bidirecțională a erorilor de predicție a recompenselor.

Codificarea erorilor de predicție a recompenselor adaptative

Într-un sens general, un stimul care prezice recompense specifică valoarea recompenselor viitoare, informând despre distribuția probabilității valorilor recompensei. Astfel, stimulul indică valoarea așteptată (primul moment) și variația (așteptată) (al doilea moment) sau abaterea standard a distribuției.

Răspunsul la eroarea de predicție a valorii dopaminei este sensibil atât la primul, cât și al doilea moment al distribuției de recompensă prevăzută la două secunde după stimul. Într-un experiment, diferiți stimuli vizuali pot prezice distribuții specifice ale probabilității binare ale mărimilor de recompensare echiprobabile, cu valori și variații așteptate diferite. Deoarece răspunsul la eroarea de predicție reflectă diferența dintre valoarea recompensă obținută și cea așteptată, mărimea identică a recompensei primite produce fie o creștere, fie o scădere a activității dopaminei, în funcție de faptul că această recompensă este mai mare sau mai mică decât predicția sa, respectiv [23]. Acest rezultat sugerează că codificarea erorilor de predicție a valorii furnizează informații referitoare la o valoare de referință sau ancoră.

Codificarea dopaminei erorii de predicție a valorii recompensei se adaptează la variația sau deviația standard a distribuției. Într-o distribuție binară a recompenselor echiprobabile, livrarea de recompense cu o mărime mai mare în cadrul fiecărei distribuții determină aceeași activare a dopaminei cu fiecare distribuție, în ciuda diferențelor 10 de plată între mărimile de recompensă obținute (și erorile de predicție a valorii rezultate) [23]. Calculele numerice dezvăluie faptul că răspunsul la dopamină codifică eroarea de predicție a valorii divizată la abaterea standard a distribuției prevăzute. Aceasta s-a ridicat la o normalizare eficientă sau la reducerea răspunsului la eroarea de predicție a valorii în termeni de abatere standard, ceea ce indică cât de mult valoarea de recompensă obținută diferă de valoarea așteptată în unitățile de abatere standard. Considerații teoretice sugerează că semnalele de predare a erorilor care sunt reduse prin variație sau abatere standard, mai degrabă decât media pot media învățarea stabilă, care este rezistentă la riscul prevăzut de rezultate [30].

Răspunsul Dopaminei pentru a recompensa stimuli previzibili

Neuronii dopaminici prezintă activări („excitații”) după recompensă care prezice stimuli vizuali, auditivi și somatosenzoriali (Figura (Figura1B) 1B) [31-33]. Răspunsurile apar indiferent de modalitățile senzoriale și pozițiile spațiale ale stimulilor și indiferent de efectorii care sunt mișcările brațului, gurii sau ochilor.

Activările cresc monoton cu probabilitatea de recompensă [18] și amploarea recompensei, cum ar fi volumul lichidului [23]. Cu toate acestea, răspunsurile la dopamină nu fac distincție între probabilitatea recompensei și mărimea, atât timp cât valoarea așteptată este identică [23]. Astfel, activările par să codifice valoarea așteptată a distribuțiilor de probabilitate de recompense. Valoarea așteptată este explicația mai parsimoniosă, iar zgomotul din răspunsurile neuronale împiedică o caracterizare în termeni de utilitate (subiectivă) așteptată. Rețineți că reducerea temporală descrisă mai jos dezvăluie codificarea subiectivă și poate oferi un pic de lumină asupra problemei.

Mărimea răspunsului crește odată cu scăderea timpului de reacție comportamental, indicând faptul că răspunsul la dopamină este sensibil la motivația animalului [19]. În alegerile dintre diferite valori ale recompensei sau întârzieri, răspunsurile dopaminei la prezentarea opțiunilor de alegere reflectă recompensa aleasă în viitor a animalului [34] sau cea mai mare recompensă posibilă dintre două opțiuni de alegere disponibile [35].

Pe parcursul învățării, activarea dopaminei la recompensă scade treptat pe parcursul încercărilor de învățare succesive și se dezvoltă în același timp o activare la stimulul de predicție a recompensei [36,37]. Achiziția răspunsului condiționat este sensibilă la blocare, ceea ce indică faptul că erorile de predicție joacă un rol în achiziția răspunsurilor de dopamină la stimuli condiționați [27]. Transferul de răspuns la stimulii de predicție răsplătește respectă caracteristicile principale ale semnalelor de predare ale modelelor eficiente de întărire a diferenței temporale [38]. Schimbarea de răspuns nu implică retropropagarea erorilor de predicție de-a lungul intervalului stimul-recompensă al modelelor de diferență temporală anterioară [27,38], dar este reprodusă în modelul diferenței temporale originale și în implementările inițiale și mai recente ale diferenței temporale [6,37,39].

Codificarea subiectivă a valorii recompensei afișată prin actualizarea temporală

Măsurarea obiectivă a valorii de recompensă subiectivă după preferințele de alegere relevă că recompensele își pierd o parte din valoare atunci când sunt întârziate. De fapt, șobolanii, porumbeii, maimuțele și oamenii preferă adesea recompense mai mici decât recompensele mai mari mai târziu [40-42]. Astfel, valoarea subiectivă a recompensei pare să se descompună cu întârzieri în timp crescând, chiar dacă recompensa fizică, și deci valoarea obiectivă a recompensei este aceeași.

Măsurile psihometrice ale alegerilor comportamentale intertemporale între recompense mai devreme și mai târziu ajustează magnitudinea recompensei timpurii până la apariția indiferenței de alegere, definită ca probabilitatea alegerii fiecărei opțiuni cu p = 0.5. Astfel, o recompensă timpurie mai mică la indiferență la alegere indică o valoare subiectivă mai mică a recompensei ulterioare. În experimentul nostru recent pe maimuțe, valorile de indiferență de alegere pentru recompense întârziate de 4, 8 și 16 s-au redus monoton cu aproximativ 25%, 50% și respectiv 75%, comparativ cu o recompensă după 2 s [43]. Scăderea se potrivește unei funcții de reducere hiperbolică.

Răspunsurile de dopamină la stimulii de predicție scad monoton în timpul întârzierilor de recompensă de 2 la 16 s [25,43], în ciuda aceleiași cantități fizice de recompensă fiind livrate după fiecare întârziere. Aceste date sugerează că întârzierile temporale afectează răspunsurile la dopamină pentru a recompensa stimuli previzibili într-o manieră similară, deoarece acestea afectează valoarea subiectivă a recompensei evaluate de alegerile intertemporale. Interesant este că scăderea răspunsului la dopamină cu întârziere de recompensă este nedistinguibilă de la scăderea răspunsului cu o magnitudine mai mică a recompensei. Această asemănare sugerează că întârzierile temporale afectează răspunsurile la dopamină prin modificări ale valorii recompensei. Astfel, pentru neuronii dopaminici, recompensele întârziate apar ca și cum ar fi mai mici.

Astfel, neuronii dopaminei par să codifice subiectivul mai degrabă decât valoarea fizică și obiectivă a recompenselor întârziate. Având în vedere că utilitatea este o măsură pentru valoarea subiectivă și nu obiectivă a recompensei, scăderea răspunsului cu reducerea temporală ar putea sugera că neuronii dopaminici codifică recompensă ca utilitate (subiectivă) și nu ca valoare (obiectivă). Experimente suplimentare pot ajuta la testarea mai directă a codării utilităților.

Răspunsul dopaminei la stimuli aversivi

Stimuli aversivi, precum pufurile de aer, soluția salină hipertonică și șocul electric induc răspunsuri de activare („excitatorii”) într-o proporție mică de neuroni dopaminici la animalele treji (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), iar majoritatea neuronilor dopaminergici sunt fie deprimați în activitatea lor, fie nu sunt influențați de evenimente aversive (Figura (Figura 1C1C sus). Spre deosebire de recompense, pufurile de aer nu reușesc să inducă răspunsuri de eroare de predicție bidirecțională tipice pentru recompensă ; predicția modulează doar activările aversive [45,46].

Stimularea avversivă la animalele anesteziate produce grade diferite, dar deseori scăzute, în majoritate mai lente, activând răspunsuri (50% [47]; 18% [48]; 17% [49]; 14% [50]) și deseori depresii de activitate. Reinvestigările neurofiziologice cu o mai bună identificare a neuronilor dopaminici au confirmat incidența generală scăzută generală a activărilor aversive ale dopaminei la animalele anesteziate [51] și au localizat neuroni dopaminici cu reacție aversă în zona tegmentală ventromedială a creierului mijlociu [52].

Stimulii care prezic puf în aer condiționat în maimuțele trează provoacă activări în minoritatea neuronilor dopaminei și depresiuni într-o fracțiune mai mare de neuroni dopaminici (11% [33]; 13% [45]; 37% [46]). Răspunsurile depresive anulează puținele activări ale răspunsurilor populației medii ale neuronilor dopaminei la stimuli aversivi [33] (vezi Figura Figura1C1C de jos, negru). Într-un studiu, stimulul aversiv condiționat a activat mai mulți neuroni decât puful de aer în sine (37% vs. 11% [46]), deși un stimul condiționat este mai puțin aversiv decât evenimentul primordial aversiv pe care îl prezice, cum ar fi un puf de aer. Numărul mai mare de activări la stimulul condiționat în comparație cu puful de aer sugerează o relație inversă între aversivitate și activare (cu cât stimulul este mai aversiv, cu atât este mai puțin frecvent activarea) sau o componentă suplimentară de stimulare non-aversivă responsabilă de creșterea proporției de activat neuroni de la 11% la 37%. Deși activările stimulului s-au corelat pozitiv cu probabilitatea pufului de aer în populație, acestea nu au fost evaluate la neuronii individuali [46]. O corelație a populației poate apărea dintr-un număr relativ mic de neuroni corelați pozitiv în cadrul acelei populații, iar activările cu adevărat aversive ale stimulului ar putea fi mai aproape de 11% decât de 37%. Într-un alt studiu, proporții mari de neuroni dopaminici au arătat activări fazice la stimuli aversivi condiționați atunci când aceștia au fost prezentați în alternanță aleatorie, cu stimuli de predicție a recompenselor din aceeași modalitate senzorială (Figura (Figura1C1C de jos, gri) (65% [33]); activările au fost mult mai puțin frecvente când cele două tipuri de stimuli condiționați au avut modalități senzoriale diferite (Figura (Figura1C1C de jos, negru) (11%). Capitolul următor va discuta factorii care stau la baza acestor activări inexplicabile la stimuli aversivi și alți, nerevelați.

Desi unii neuroni dopaminici sunt activati ​​de evenimente aversive, cea mai mare activare a dopaminei este legata de recompensa. Datele obținute cu alte metode duc la concluzii similare. Voltametria de scanare rapidă la șobolani care se comportă arată eliberarea de dopamină striatică indusă de recompensă și o schimbare către recompensarea stimulilor predictivi după condiționare [53], ceea ce sugerează că răspunsurile la impulsuri ale neuronilor dopaminei duc la eliberarea corespunzătoare a dopaminei din varicozitățile striatale. Creșterea dopaminei durează doar câteva secunde și are astfel cursul de timp cel mai scurt din toate metodele neurochimice, cea mai apropiată de activarea electrofiziologică. Eliberarea de dopamină este diferențiată pentru recompensă (zaharoză) și nu are loc cu pedeapsa (chinina) [54]. Deoarece voltammetria evaluează mediile locale ale concentrației de dopamină, absența eliberării măsurabile cu chinină ar putea ascunde câteva activări anulate de depresii în răspunsul populației de dopamină [33]. Studiile care utilizează microdialysis in sensibil in vivo detectează eliberarea de dopamină în urma stimulilor aversivi [55].

Acest răspuns poate reflecta o schimbare de dopamină indusă de câțiva neuroni activați de stimuli aversivi, deși cursul în timp al măsurătorilor de microdializă este de aproximativ 300-500 ori mai lent decât răspunsul la impuls și ar putea fi suficient pentru a permite interacțiunilor presinaptice să influențeze eliberarea dopaminei [56] . Întreruperea arderii explozive a neuronilor dopaminei perturbă mai multe sarcini de învățare apetisante, dar și frica condiționării [9]. Rezultatul ar putea sugera o funcție de învățare a răspunsurilor de dopamină aversive dacă se exclude efectul nespecific, care dezactivează concentrația de dopamină mai mică, ceea ce rămâne de arătat. Stimularea specifică a neuronilor dopaminici prin metode optogenetice prin canalrodhodinină introdusă genetic induce condiționarea preferinței locului Pavlovian la șoareci [57]. În schimb, un efect aversiv net al stimulării dopaminei ar fi produs în mod conceput învățarea evitării locului. Aceste rezultate confirmă noțiunea unei funcții de consolidare pozitivă globală a sistemelor de dopamină derivate din activitatea de leziune anterioară, auto-stimulare electrică și dependența de droguri [1,2]. Cu toate acestea, aceste argumente nu postulează nici că recompensa este singura funcție a sistemelor de dopamină și nici că toate funcțiile de recompensă implică neuroni dopaminici.

Activările de dopamină fazică care nu recompensează codificarea

Stimulii pot induce reacții de alertă și de atenție atunci când sunt importante din punct de vedere fizic (evidență fizică) sau atunci când sunt legate de întăritori (evidență „motivațională” sau „afectivă”). Reacțiile comportamentale la stimulii salienti sunt gradate de intensitatea fizică a stimulilor și, respectiv, de valoarea întăritorului. Evidența fizică nu depinde deloc de întărire, iar evidența motivațională nu depinde de valența întăritorilor (recompensă și pedeapsă).

Răspunsuri la stimuli salienti din punct de vedere fizic

Stimulii vizivi și auditivi intens fizic induc activări la neuronii dopaminici (Figura (Figura1D) .1D). Aceste răspunsuri sunt îmbunătățite prin noutatea stimulului [58-60], dar persistă la un nivel mai mic timp de câteva luni, cu condiția ca stimulii să fie suficient de intens fizic. Răspunsurile sunt clasificate în funcție de dimensiunea stimulilor (Figura 4 din [15]). Sănătatea fizică ar putea explica parțial și răspunsurile la pedepsitorii primari cu intensitate fizică substanțială [45]. Aceste răspunsuri pot constitui un tip separat de răspuns al dopaminei legate de sănătatea fizică a atenției care induce stimuli de mediu sau pot fi legate de atributele care motivează și consolidează pozitiv stimulii intense și noi.

Activările la stimuli salienti din punct de vedere fizic nu par să reflecte o tendință generală a neuronilor dopaminei de a fi activat de orice eveniment generator de atenție. În special, alte evenimente puternice care generează atenție, cum ar fi omisiunea recompensei, inhibitori condiționați și stimuli aversivi determină predominant depresii și rareori activări autentice ale dopaminei [14,29]. Astfel, activarea dopaminei de către stimuli salienti din punct de vedere fizic nu poate constitui un răspuns general de alertă. Răspunsul la recompensă este probabil să constituie un răspuns separat care poate să nu reflecte atenția generată de majorarea motivațională a recompensei.

Alte activări de codificare care nu sunt recompensate

Alți stimuli induc activări în neuronii dopaminei fără a arata codificarea valorii recompensei. Aceste activări sunt mai mici și mai scurte decât răspunsurile pentru a recompensa stimuli previzibili și sunt adesea urmate de depresie atunci când stimulii sunt nerevelați (Figura (Figura1E1E).

Neuronii Dopamina prezintă activări în urma stimulilor de control care sunt prezentați în alternanța pseudorandomului cu stimuli recompensați [27,29,32]. Incidența activărilor depinde de numărul de stimuli alternativi și recompensați în sarcina comportamentală; activările sunt frecvente atunci când sunt recompensate trei din patru stimuli de sarcină (25% -63% [27]) și devin rare atunci când doar unul din cei patru stimuli de sarcină este nerecomandat (1% [29]). Această dependență argumentează o natură pur senzorială a răspunsului.

Neuronii Dopamina prezintă o componentă inițială destul de stereotipă de activare la stimuli care prezic recompense care apar după diferite întârzieri [43]. Activarea inițială variază foarte puțin odată cu întârzierea recompensei și, prin urmare, nu pare să codifice valoarea recompensei. În schimb, componenta de răspuns ulterioară scade odată cu întârzierile în creștere și, prin urmare, codifică (subiectiv) valoarea recompensei (vezi mai sus).

Neuronii Dopamina prezintă activări frecvente după stimuli aversivi condiționați, prezentați în alternanță aleatorie, cu stimuli de predicție a recompenselor; activările dispar în mare măsură atunci când se utilizează diferite modalități senzoriale (65% vs. 11% din neuroni [33]), ceea ce sugerează codificarea componentelor de stimulare non-aversive. Chiar și atunci când stimuli aversivi și apetitori sunt separați în diferite blocuri de încercare, neuronii dopaminici sunt considerabil activați de stimuli aversivi condiționați. Cu toate acestea, activările mai frecvente la stimulii condiționați în comparație cu puful de aer primar mai aversiv (37% vs. 11% [46]) sugerează o relație inversă cu aversivitatea stimulilor și, eventual, cu componente de răspuns neversibile.

Motivele pentru aceste activări diferite ale dopaminei pot consta în generalizarea, pseudocondiționarea sau creșterea stimulului motivațional. Generalizarea apare din similitudinile dintre stimuli. S-ar putea explica activările dopaminei într-o serie de situații, și anume activările la stimuli vizuali nerevelați atunci când aceștia alternează cu stimuli care prevăd recompense vizuale (Figura (Figura1E1E stânga) [27,29,32] și componenta inițială, slab gradată, pentru a recompensa stimuli previzibili cu întârziere (fig. . .

Pseudocondiționarea poate apărea atunci când un consolidator primar stabilește un context contextual și provoacă răspunsuri comportamentale nespecifice la orice evenimente din acest context [61]. Întrucât neuronii dopaminei sunt foarte sensibili la recompensă, un context satisfăcător poate induce pseudocondiționarea stimulilor stabiliți în acest context și, prin urmare, o activare neuronală. Acest mecanism poate sta la baza activărilor neuronale la stimuli necompensatori care apar într-un context satisfăcător, cum ar fi laboratorul în care un animal primește recompense zilnice, indiferent de stimulii care sunt prezentați în alternanță aleatorie cu stimuli recompensați sau în blocuri de încercare separate [46]. Pseudocondiționarea poate explica activările la stimuli de control nerevelați [27,29,32], majoritatea activărilor după stimuli aversivi [33,45,46] și componenta inițială, slab gradată, pentru a recompensa stimuli previzivi [43]. Astfel, pseudocondiționarea poate apărea din recompensa primară, mai degrabă decât dintr-un stimul condiționat și afectează activările dopaminei atât pentru stimuli condiționați, cât și pentru întăritori primari care apar într-un context satisfăcător.

Deși stimulii cu un grad de sănătate fizic substanțial par să conducă neuronii dopaminici [15,58-60] (a se vedea mai sus), stimulii care induc activări de dopamină care nu codifică recompensă sunt adesea mici și nu sunt foarte salienti din punct de vedere fizic. Sfinția motivațională este, prin definiție, comună recompenselor și pedepsitorilor și, singură, ar putea explica activările atât pentru recompensare cât și pentru pedeapsă în 10-20% dintre neuronii dopaminici. Stimulii care nu consolidează ar putea deveni motivanți prin proximitatea lor de recompensare și pedeapsă prin pseudocondiționare. Cu toate acestea, activările dopaminei par a fi mult mai sensibile la recompensă decât la pedeapsă. Deoarece sănătatea motivațională implică sensibilitate la ambele armături, sănătatea motivațională dobândită prin pseudocondiționare ar putea să nu explice bine activările de dopamină care nu codifică recompensă.

Luate împreună, multe dintre activările de dopamină care nu codifică recompensă se pot datora generalizării stimulului sau, în special, pseudocondiționării. Cu toate acestea, par să rămână adevărate activări la stimuli de control nerevelați și la stimuli aversivi primari și condiționați într-o proporție limitată de neuroni dopaminici atunci când acești factori sunt excludeți. Experimentele ulterioare care evaluează astfel de răspunsuri ar trebui să utilizeze controale mai bune și să elimine complet toate asociațiile contextuale de recompense cu stimuli în laborator.

Având în vedere apariția activărilor de codificare care nu sunt răsplătite, este rezonabil să ne întrebăm cum un animal ar distinge recompensarea de stimuli nerevelați pe baza unui răspuns la dopamină. Componenta de răspuns foarte rapidă, inițială, pseudoconditionată și slab discriminativă poate oferi un bonus temporal pentru facilitarea reacțiilor comportamentale rapide și implicite care ajută animalul să detecteze foarte repede o recompensă potențială [62]. În schimb, componenta de răspuns imediat următor detectează natura adevărată a evenimentului prin activarea sa gradată cu valoare de recompensă [43] și depresia sa frecventă cu stimuli nerevelați și aversivi [27,29,32,33] (Figura (Figura1E) .1E). Mai mult decât atât, sistemul de dopamină nu este singura recompensă care codifică structura creierului, iar alte sisteme neuronale precum cortexul orbitofrontal, striatul și amigdala pot oferi informații discriminatorii suplimentare.

Semnal de risc de recompensă a dopaminei

Dacă un semnal de recompensă reflectă eroarea medie de predicție a recompensei scalată de abaterea standard a distribuțiilor de probabilitate a recompensei și dacă privim abaterea standard ca o măsură a riscului, ar putea exista un semnal neuronal direct pentru risc? Atunci când probabilitățile de recompensă variază de la 0 la 1 și amploarea recompensei rămâne constantă, valoarea medie a recompensei crește monoton cu probabilitatea, în timp ce cantitatea de risc urmărește o funcție U inversată, atingând vârful p = 0.5 (Figura (Figura2,2, inserție). La p = 0.5, există exact aceeași șansă de a obține o recompensă, încât nu există ratarea unei recompense, în timp ce probabilitățile mai mari și mai mici decât p = 0.5 fac ca anumite câștiguri și pierderi să fie mai sigure și, prin urmare, sunt asociate cu un risc mai mic.

Figura 2

Activări susținute legate de risc. Răspunsul la risc apare în timpul intervalului stimul-recompensă (săgeată) ulterior activării fazice, legate de valoare la stimul (triunghi). Inserția, în dreapta sus, arată că riscul (ordonată) variază în funcție de (mai mult ...)

Aproximativ o treime dintre neuronii dopaminici prezintă o activare relativ lentă, moderată, semnificativă din punct de vedere statistic, care crește treptat în intervalul dintre stimulul care prezice recompensa și recompensă; acest răspuns variază monoton cu riscul (Figura (Figura2) 2) [18]. Activarea are loc în încercări individuale și nu pare să constituie un răspuns de eroare de predicție care se propagă înapoi de la recompensă la stimulul care prezice recompensa. Activarea crește monoton, de asemenea, cu abaterea standard sau variația atunci când se utilizează distribuții binare ale diferitelor mărimi de recompensare echiprobabile, non-zero. Astfel, deviația standard sau variația par a fi măsuri viabile pentru riscuri codificate de neuronii dopaminici. Activările legate de risc au latențe mai lungi (aproximativ 1 s), cursuri mai lente și vârfuri mai mici în comparație cu răspunsurile la valoarea recompensei la stimuli și recompense.

Datorită mărimii sale mai mici, semnalul de risc este probabil să inducă o eliberare mai mică de dopamină la varicozitățile de dopamină, comparativ cu activările mai fazice care codifică valoarea recompensei. Concentrația de dopamină relativ scăzută posibil indusă de semnalul de risc ar putea activa receptorii D2 care sunt în mare parte într-o stare de afinitate ridicată, dar nu de receptorii D1 de afinitate scăzută [63]. În schimb, răspunsul cu valoare de recompensă fazică mai mare ar putea duce la mai multe concentrații de dopamină suficientă pentru a activa pe scurt receptorii D1 în starea lor de afinitate mai mică. Astfel, cele două semnale ar putea fi diferențiate de neuroni postsinaptici pe baza diferiților receptori de dopamină activați. În plus, valoarea dopaminei și semnalele de risc împreună ar conduce la activarea aproape simultană atât a receptorilor D1, cât și a D2, care în multe situații normale și clinice este esențială pentru funcții dependente de dopamină.

Un semnal de risc al dopaminei poate avea mai multe funcții. În primul rând, ar putea influența scalarea răspunsului de eroare de predicție imediat următor prin abatere standard imediat după recompensă [23]. În al doilea rând, ar putea îmbunătăți eliberarea de dopamină indusă de răspunsul de eroare de predicție imediat următor. Deoarece riscul induce atenție, îmbunătățirea unui potențial semnal de predare prin risc ar fi compatibilă cu rolul atenției în învățare conform teoriilor de învățare a asocierii [64,65]. În al treilea rând, ar putea oferi o contribuție la structurile creierului implicate în evaluarea riscului de recompensă în sine. În al patrulea rând, s-ar putea combina cu un semnal de valoare așteptat economic pentru a reprezenta informații considerabile despre utilitatea preconizată la indivizii sensibili la risc, conform abordării varianței medii în teoria deciziei financiare [66]. Cu toate acestea, latența de aproximativ 1 s este prea lungă pentru ca semnalul să joace un rol instantaneu în alegerile în condiții de incertitudine.

Interese concurente

Autorul declară că nu are interese concurente.

Contribuțiile autorilor

WS a scris lucrarea.

Mulţumiri

Această recenzie a fost scrisă cu ocazia Simpozionului privind tulburarea de hiperactivitate cu deficit de atenție (ADHD) din Oslo, Norvegia, 2010 februarie. Activitatea noastră a fost susținută de Wellcome Trust, Fundația Națională a Științei Elvețiene, Programul de Știință a Frontierelor Umane și alte agenții de grant și bursă.

Referinte

1. Wise RA, Rompre PP. Creșterea dopaminei și recompensă. Ann Rev Psychol. 1989; 40: 191-225. doi: 10.1146 / annurev.ps.40.020189.001203.

2. Everitt BJ, Robbins TW. Sisteme neuronale de armare pentru dependența de droguri: de la acțiuni la obiceiuri până la compulsie. Nat Neurosci. 2005; 8: 1481-1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]

3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Documente Imp. Acad. Sci. St. Petersburg) 1738; 5: 175 – 192. Tradus ca: Expunerea unei noi teorii privind măsurarea riscului. Econometrica 1954, 22: 23-36.

4. Rao RPN, Ballard DH. Codificare predictivă în cortexul vizual: o interpretare funcțională a unor efecte receptive extraclasice. Nat Neurosci. 1999; 2: 79-87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]

5. Rescorla RA, Wagner AR. În: condiționare clasică II: cercetare curentă și teorie. Black AH, Prokasy WF, editor. New York: Appleton Century Crofts; 1972. O teorie a condiționării pavloviene: variații ale eficienței armăturii și neinforțării; pp. 64 – 99.

6. Sutton RS, Barto AG. Spre o teorie modernă a rețelelor adaptive: așteptare și predicție. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Ref.]

7. Kamin LJ. În: Probleme fundamentale în învățarea instrumentală. Mackintosh NJ, Honig WK, editor. Halifax: Dalhousie University Press; 1969. Asociere și condiționare selectivă; pp. 42 – 64.

8. Blythe SN, Atherton JF, Bevan MD. Activarea sinaptică a receptorilor AMPA și NMDA dendritici generează arderi tranzitorii de înaltă frecvență în neuronii de dopamina substantia nigra in vitro. J Neurofiziol. 2007; 97: 2837-2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Ref Ref]

9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Întreruperea tragerii prin explozie dependentă de NMDAR de către neuronii dopaminei oferă o evaluare selectivă a comportamentului dependent de dopamină fazică. Proc Natl Acad Sci. 2009; 106: 7281-7288. doi: 10.1073 / pnas.0813415106. [Articol gratuit PMC] [PubMed] [Cross Ref]

10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Plasticitatea dependentă de expirație a timpului de transmisie mediată de receptorul NMDA în neuronele dopaminei cerebrale. Neuron. 2009; 62: 826-838. doi: 10.1016 / j.neuron.2009.05.011. [Articol gratuit PMC] [PubMed] [Cross Ref]

11. Jones S, Bonci A. Plasticitatea sinaptică și dependența de droguri. Curr Opin Pharmacol. 2005; 5: 20-25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Ref Cross]

12. Kauer JA, Malenka RC. Plasticitate și dependență sinaptică. Nat Rev Neurosci. 2007; 8: 844-858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]

13. Ljungberg T, Apicella P, Schultz W. Răspunsurile neuronilor de dopamină ale creierului mijlociu în timpul performanțelor de alternanță întârziate. Rez. Creier 1991; 586: 337-341. doi: 10.1016 / 0006-8993 (91) 90816-E.

14. Schultz W, Apicella P, Ljungberg T. Răspunsurile neuronilor dopaminei maimuței pentru a recompensa și a stimula condiționate în timpul etapelor succesive de învățare a unei sarcini de răspuns întârziat. J Neurosci. 1993; 13:. 900-913 [PubMed]

15. Schultz W. Semnal de recompensă predictivă a neuronilor dopaminici. J Neurofiziol. 1998; 80:. 1-27 [PubMed]

16. Schultz W, Dayan P, Montague RR. Un substrat neuronal de predicție și recompensă. Ştiinţă. 1997; 275: 1593-1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]

17. Neuronii Hollerman JR, Schultz W. Dopamina raportează o eroare în predicția temporală a recompensei în timpul învățării. Neurosci de natură. 1998; 1: 304-309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]

18. Fiorillo CD, Tobler PN, Schultz W. Codificare discretă a probabilității de recompensă și a incertitudinii de către neuronii dopaminici. Ştiinţă. 2003; 299: 1898-1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]

19. Satoh T, Nakai S, Sato T, Kimura M. Codificarea corelată a motivației și rezultatul deciziei de către neuronii dopaminici. J Neurosci. 2003; 23:. 9913-9923 [PubMed]

20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Mesaje întâmplătoare, dar distincte ale dopaminei creierului mijlociu și ale neuronilor tonici activi striatali. Neuron. 2004; 43: 133-143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Ref Cross]

21. Neronhara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Neuronii dopaminici pot reprezenta o eroare de predicție dependentă de context. Neuron. 2004; 41: 269-280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]

22. Bayer HM, Glimcher PW. Neuronii de dopamină midbrain codifică un semnal de eroare de predicție cantitativă. Neuron. 2005; 47: 129-141. doi: 10.1016 / j.neuron.2005.05.020. [Articol gratuit PMC] [PubMed] [Cross Ref]

23. Tobler PN, Fiorillo CD, Schultz W. Codificarea adaptivă a valorii recompensei de către neuronii dopaminici. Ştiinţă. 2005; 307: 1642-1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]

24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Neuronii de substanță nigra umană codifică recompense financiare neașteptate. Ştiinţă. 2009; 323: 1496-1499. doi: 10.1126 / science.1167342. [Articol gratuit PMC] [PubMed] [Cross Ref]

25. Fiorillo CD, Newsome WT, Schultz W. Precizia temporală a prezicerii recompenselor în neuronii dopaminici. Nat Neurosci. 2008; 11: 966-973. doi: 10.1038 / nn.2159.

26. Bayer HM, Lau B, Glimcher PW. Statisticile dopului neuronului dopamină se antrenează în primatul treaz. J Neurofiziol. 2007; 98: 1428-1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Ref Ref]

27. Răspunsurile Waelti P, Dickinson A, Schultz W. Dopamina respectă ipotezele de bază ale teoriei învățării formale. Natură. 2001; 412: 43-48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]

28. Rescorla RA. Inhibiția condiționată de Pavlovian. Psychol Bull. 1969; 72: 77-94. doi: 10.1037 / h0027760.

29. Tobler PN, Dickinson A, Schultz W. Codificarea omisiunii de recompensă prevăzută de neuronii dopaminei într-o paradigmă de inhibare condiționată. J Neurosci. 2003; 23:. 10402-10410 [PubMed]

30. Preuschoff, Bossaerts P. Adăugarea riscului de predicție la teoria învățării recompensei. Ann NY Acad Sci. 2007; 1104: 135-146. doi: 10.1196 / annals.1390.005. [PubMed] [Ref Ref]

31. Romo R, Schultz W. Neuronii dopaminici ai creierului mijlociu maimuță: contingențele răspunsurilor la atingerea activă în timpul mișcărilor brațului auto-inițiate. J Neurofiziol. 1990; 63:. 592-606 [PubMed]

32. Schultz W, Romo R. Neuronii dopaminici ai creierului maimuțelor: Contingențele răspunsurilor la stimuli care au apărut reacții comportamentale imediate. J Neurofiziol. 1990; 63:. 607-624 [PubMed]

33. Mirenowicz J, Schultz W. Activarea preferențială a neuronilor dopaminei cerebrale mijlocii prin stimuli apetisanți și nu aversivi. Natură. 1996; 379: 449-451. doi: 10.1038 / 379449a0. [PubMed] [Ref Ref]

34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain dopamine neuronii codifică deciziile pentru acțiuni viitoare. Nat Neurosci. 2006; 9: 1057-1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]

35. Neuronii Roesch, Calu DJ, Schoenbaum G. Dopamina codifică opțiunea mai bună la șobolanii care decid între recompense diferite diferit sau mărite. Nat Neurosci. 2007; 10: 1615-1624. doi: 10.1038 / nn2013. [Articol gratuit PMC] [PubMed] [Cross Ref]

36. Takikawa Y, Kawagoe R, Hikosaka O. Un posibil rol al neuronilor dopaminei din creierul mijlociu în adaptarea pe termen scurt și lung a sacadelor la cartografierea poziției-recompensă. J Neurofiziol. 2004; 92: 2520-2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Ref Ref]

37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Celulele Dopamine răspund la evenimentele prezise în timpul condiționării clasice: dovezi pentru urmele de eligibilitate în rețeaua de învățare a recompenselor. J Neurosci. 2005; 25: 6235-6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Ref.]

38. Montague PR, Dayan P, Sejnowski TJ. Un cadru pentru sistemele de dopamină mezenfalice bazate pe învățarea predicabilă Hebbian. J Neurosci. 1996; 16:. 1936-1947 [PubMed]

39. Suri R, Schultz W. O rețea neuronală cu semnal de armare asemănătoare dopaminei care învață o sarcină de răspuns întârziată spațial. Neuroscience. 1999; 91: 871-890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]

40. Ainslie G. Recompense specifice: o teorie comportamentală a impulsivității și controlului impulsurilor. Psych Bull. 1975; 82: 463-496. doi: 10.1037 / h0076860.

41. Rodriguez ML, Logue AW. Reglarea întârzierii la întărire: compararea alegerii la porumbei și la oameni. Procesul J Exp Psychol Anim Behav. 1988; 14: 105-117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Ref Cross]

42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Determinarea funcțiilor de reducere la șobolani printr-o procedură de ajustare. J Exp Anal Behav. 1997; 67: 353-366. doi: 10.1901 / jeab.1997.67-353. [Articol gratuit PMC] [PubMed] [Cross Ref]

43. Kobayashi S, Schultz W. Influența întârzierilor de recompensă asupra răspunsurilor neuronilor dopaminici. J Neurosci. 2008; 28: 7837-7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Ref.]

44. Guarraci FA, Kapp BS. O caracterizare electrofiziologică a neuronilor dopaminergici ai zonei tegmentale ventrale în timpul condiționării diferențiale a pavloviei de frică în iepurele treaz. Rezervarea creierului Behav. 1999; 99: 169-179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]

45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain, neuroni dopaminergici și striatali colinergici interneuroni codifică diferența dintre recompensă și evenimente aversive la diferite epoci ale încercărilor de condiționare clasică probabilistică. J Neurosci. 2008; 28: 1673-11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.

46. Matsumoto M, Hikosaka O. Două tipuri de neuron dopamină transmit distinct semnale motivaționale pozitive și negative. Natură. 2009; 459: 837-841. doi: 10.1038 / nature08028. [Articol gratuit PMC] [PubMed] [Cross Ref]

47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Stimulii senzoriali modifică rata de descărcare a neuronilor dopaminei (DA): dovezi pentru două tipuri funcționale de celule DA în substanța nigra. Rez. Creier 1980; 189: 544-549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Ref.]

48. Mantz J, Thierry AM, Glowinski J. Efectul ciupirii nocive a cozii asupra vitezei de descărcare a neuronilor dopaminei mesocorticale și mezolimbice: activarea selectivă a sistemului mezocortical. Rez. Creier 1989; 476: 377-381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Ref.]

49. Schultz W, Romo R. Răspunsurile neuronilor dopaminei nigrostriatale la stimularea somatosenzorială de intensitate ridicată la maimuța anesteziată. J Neurofiziol. 1987; 57:. 201-217 [PubMed]

50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Răspunsurile nociceptive ale neuronilor dopaminergici din creierul mijlociu sunt modulate de coliculul superior la șobolan. Neuroscience. 2006; 139: 1479-1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]

51. Brown MTC, Henny P, Bolam JP, Magill PJ. Activitatea neuronilor dopaminergici neurochimic heterogeni în substanța nigra în timpul modificărilor spontane și conduse ale stării creierului. J Neurosci. 2009; 29: 2915-2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Ref.]

52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Excitarea fazică a neuronilor dopaminei în VTA ventrală de către stimuli nocivi. Proc Natl Acad Sci SUA. 2009; 106: 4894-4899. doi: 10.1073 / pnas.0811507106. [Articol gratuit PMC] [PubMed] [Cross Ref]

53. Ziua JJ, Roitman MF, Wightman RM, Carelli RM. Învățarea asociativă mediază schimbări dinamice în semnalizarea dopaminei din nucleul accumbens. Nat Neurosci. 2007; 10: 1020-1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]

54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Răspunsurile chimice în timp real din nucleul obișnuit diferențiază stimuli recompensatori și aversivi. Nat Neurosci. 2008; 11: 1376-1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]

55. Tânăr AMJ. Creșterea dopaminei extracelulare în nucleul obișnuit ca răspuns la stimuli aversivi necondiționate și condiționate: studii care utilizează micrododiază 1 min la șobolani. J Neurosci Met. 2004; 138: 57-63. doi: 10.1016 / j.jneumeth.2004.03.003.

56. Schultz W. Funcții multiple de dopamină la diferite cursuri de timp. Ann Rev Neurosci. 2007; 30: 259-288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Ref Cross]

57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Tragerea fazică în neuronii dopaminergici este suficientă pentru condiționarea comportamentului. Ştiinţă. 2009; 324: 1080-1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]

58. Strecker RE, Jacobs BL. Activitatea unității dopaminergice a substanței nigra la pisicile care se comportă: Efectul excitației asupra descărcării spontane și asupra activității senzoriale evocate. Rez. Creier 1985; 361: 339-350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Ref.]

59. Ljungberg T, Apicella P, Schultz W. Răspunsurile neuronilor dopaminei maimuței în timpul învățării reacțiilor comportamentale. J Neurofiziol. 1992; 67:. 145-163 [PubMed]

60. Horvitz JC, Stewart T, Jacobs BL. Activitatea izbucnită a neuronilor dopaminali dopaminali ventrali este generată de stimuli senzoriali la pisica trează. Rez. Creier 1997; 759: 251-258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]

61. Sheafor PJ. Mișcările pseudocondiționate ale maxilarului iepurelui reflectă asociațiile condiționate de indicii contextuale de fond. J Exp Psychol: Anim Behav Proc. 1975; 104: 245-260. doi: 10.1037 / 0097-7403.1.3.245.

62. Kakade S, Dayan P. Dopamina: generalizare și bonusuri. Rețea Neurală. 2002; 15: 549-559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]

63. Richfield EK, Pennney JB, Young AB. Comparații anatomice și de stare de afinitate între receptorii dopaminei D1 și D2 în sistemul nervos central al șobolanului. Neuroscience. 1989; 30: 767-777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Ref.]

64. Mackintosh NJ. O teorie a atenției: variații în asocierea stimulului cu armarea. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.

65. Pearce JM, Hall G. Un model pentru condiționarea pavloviană: variații ale eficienței stimulilor condiționați, dar nu ai necondiționatului. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Ref.]

66. Levy H, Markowitz HM. Aproximarea utilității preconizate în funcție de medie și de variație. Am Econ Rev. 1979; 69: 308 – 317.