Ce înseamnă dopamina? (2018)

Abstract

Este dopamina un semnal pentru învățare, motivare sau ambele?

Înțelegerea noastră despre dopamină sa schimbat în trecut și se schimbă din nou. O distinctie critica este intre efectele dopaminei curent comportament (performanță) și efectele dopaminei asupra viitor comportament (învățare). Ambele sunt reale și importante, dar la momente diferite cineva a fost în favoarea și celălalt nu a fost.

Atunci când (în 70s) a devenit posibilă efectuarea unor leziuni selective, complete ale căilor dopaminei, consecința comportamentală evidentă a fost o reducere severă a mișcării¹. Aceasta se potrivește cu efectele akinetice ale pierderii de dopamină la om, produsă de boala Parkinson avansată, medicamente toxice sau encefalită². Cu toate acestea, nici șobolanii, nici cazurile umane nu prezintă o inabilitate fundamentală de a se mișca. Sobolanii afectați de dopamină înotau în apă rece³, iar pacienții akinetici se pot ridica și se pot alerga dacă se aude o alarmă de incendiu (kinesia "paradoxală"). De asemenea, nu există un deficit de bază în aprecierea recompenselor: șobolanii cu leziune dopamină vor consuma alimente plasate în gură și vor avea semne de a se bucura de acestea⁴. Mai degrabă, ei nu vor alege să depună eforturi pentru a obține în mod activ recompense. Aceste și multe alte rezultate au stabilit o legătură fundamentală între dopamină și motivație⁵. Chiar și încetinirea mișcării observate în cazurile mai puțin severe ale bolii Parkinson poate fi considerată un deficit motivator, reflectând deciziile implicite că nu merită să cheltuiți energia necesară pentru mișcări mai rapide⁶.

Apoi (în "80-uri") s-au înregistrat înregistrări de pionierat ale neuronilor dopaminergici în comportamentul maimuțelor (în zonele mediane care se proiectează în creierul anterior: zona tegmentală ventrală, VTA / substantia nigra pars compacta, SNc). Printre modelele de tragere observate au fost scurte explozii de activitate la stimuli care au declanșat mișcări imediate. Această "focalizare" dopamină "fazică" a fost inițial interpretată ca susținând "activarea comportamentală"⁷ și "excitația motivațională"⁸ - cu alte cuvinte, ca revigorant comportamentul actual al animalului.

O schimbare radicală a apărut în "90-urile, cu reinterpretarea izbucnirilor de dopamină fazică ca codificare recompensa erorile de predicție (RPES⁹). Acest lucru se baza pe o observație-cheie: celulele dopamice răspund la stimulii neașteptate asociate cu recompensa viitoare, dar de multe ori nu mai răspund dacă acești stimuli se așteaptă¹⁰. Ideea RPE își are originea în teoriile de învățare anterioare, și mai ales în domeniul dezvoltării de științe informatice din domeniul creșterii informației¹¹. Punctul unui semnal RPE este actualizarea Valorile(estimări ale recompenselor viitoare). Aceste valori sunt utilizate mai târziu, pentru a ajuta la efectuarea alegerilor care maximizează recompensa. Deoarece arderea celulelor dopaminergice seamănă cu RPE și RPE sunt folosite pentru învățare, a devenit natural să se sublinieze rolul dopaminei în procesul de învățare. Ulterior, manipulările optogenetice au confirmat identitatea dopaminergică a celulelor care codifică RPE^12,13 și au arătat că într-adevăr modulează învățarea^14,15.

Ideea că dopamina oferă un semnal de învățare se potrivește frumos cu literatura de specialitate că dopamina modulează plasticitatea sinaptică în striatum, ținta primară a creierului dopaminei. De exemplu, coincidența triplă a stimulării cu glutamat a coloanei vertebrale dendrite striate, depolarizarea postsynaptică și eliberarea dopaminei determină creșterea coloanei vertebrale¹⁶. Modularea dopaminergică a mecanismelor de învățare pe termen lung ajută la explicarea efectelor comportamentale persistente ale medicamentelor dependente, care împărtășesc proprietatea de a spori eliberarea dopaminei striate¹⁷. Chiar și acesia profundă cu pierderea de dopamină poate fi parțial reprezentată de astfel de mecanisme de învățare¹⁸. Lipsa dopaminei poate fi tratată ca un RPE constant-negativ, care actualizează treptat valorile acțiunilor spre zero. Programe asemănătoare progresive, asemănătoare cu extincția asupra comportamentului pot fi produse de antagoniști ai dopaminei^19,20.

Cu toate acestea, ideea că dopamina este implicată în mod critic în motivația continuă nu a dispărut niciodată - dimpotrivă, este luată pe scară largă de la neurologii comportamentali. Acest lucru este adecvat având în vedere dovezile puternice că funcțiile dopaminei în motivație / mișcare / revigorare sunt disociabile de învățare^15,20-23. Mai puțin apreciată este provocarea implicată în reconcilierea acestui rol motivațional cu teoria că DA oferă un semnal de învățare RPE.

Motivația "așteaptă cu nerăbdare": folosește predicțiile recompenselor viitoare (valori) pentru a energiza în mod adecvat comportamentul actual. În schimb, învățarea "privește înapoi" la statele și acțiunile din trecutul recent și își actualizează valorile. Acestea sunt faze complementare ale unui ciclu: valorile actualizate pot fi folosite în luarea deciziilor ulterioare dacă acele state sunt re-întâlnite, apoi actualizate din nou și așa mai departe. Dar care este faza ciclului în care se implică dopamina - folosirea valorilor pentru a lua decizii (performanță) sau pentru a actualiza valorile (învățarea)?

În unele situații, este ușor să vă imaginați că dopamina joacă ambele roluri simultan.²⁴Reacțiile neașteptate, recompensă-predictive sunt evenimentele arhetipice care evocă arderea și eliberarea celulelor dopaminei, iar astfel de indicii în mod obișnuit atât invigorează comportamentul, cât și evocă învățarea (Fig. 1). În această situație specială, atât predicția recompensării, cât și erorile de predicție recompensă, cresc simultan - dar nu este întotdeauna cazul. Ca doar un exemplu, oamenii și alte animale sunt adesea motivați să lucreze pentru recompense, chiar și atunci când apare puțin sau nimic surprinzător. Ei pot lucra din ce în ce mai mult pe măsură ce se apropie din ce în ce mai mult de recompensă (valoarea crește pe măsură ce recompensele se apropie). Ideea este că învățarea și motivația sunt distincte din punct de vedere conceptual, computațional și comportamental - și totuși dopamina pare să facă ambele.

Mai jos apreciez critic ideile actuale despre modul în care dopamina este capabilă să atingă atât funcțiile de învățare, cât și cele motivaționale. Propun un model actualizat, bazat pe trei fapte fundamentale: eliberarea dopaminei de la terminale nu provine pur și simplu din arderea celulelor dopaminei, dar poate fi și controlată la nivel local; 1) afectează atât plasticitatea sinaptică, cât și excitabilitatea celulelor țintă, cu consecințe distincte asupra învățării și a performanței; 2), efectele dopaminei asupra plasticității pot fi pornite sau oprite de elemente de circuit din apropiere. Împreună, aceste caracteristici pot permite circuitelor cerebrale să comute între două mesaje distincte de dopamină, respectiv pentru învățare și motivație.

Există semnale separate de "dopaj fuzic" și "tonic" cu semnificații diferite?

Se afirmă adesea că rolurile de învățare și motivație ale dopaminei apar pe scări diferite de timp²⁵. Celulele dopamină se declanșează continuu ("tonic") la câteva vârfuri pe secundă, cu ocazionale scurte ("fazice") explozii sau pauze. Exploziile, în special dacă sunt sincronizate artificial între celulele dopaminei, conduc la creșteri rapide corespunzătoare în dopamina din creierul din față²⁶ care sunt extrem de tranzitorii (durata secundară²⁷). Contribuția separată a arderii celulelor dopamice tonice la concentrațiile de dopamină din creierul din față este mai puțin clară. Unele dovezi sugerează că această contribuție este foarte mică²⁸. Poate fi suficient să se producă stimularea aproape continuă a receptorilor D2 cu afinitate mai mare, permițând sistemului să observe pauze scurte în arderea celulelor dopamine²⁹ și folosiți aceste pauze ca erori de predicție negativă.

Microdializa a fost utilizată pe scară largă pentru măsurarea directă a nivelurilor de dopamină din creier, deși cu o rezoluție temporară scăzută (de obicei, medii de-a lungul multor minute). Astfel de măsurări lente ale dopaminei pot fi dificile pentru a se referi tocmai la comportament. Cu toate acestea, microdializa dopaminei în nucleul accumbens (NAc, striatum ventral / medial) prezintă corelații pozitive cu activitatea locomotorie³⁰ și alți indicatori ai motivației⁵. Acest lucru a fost considerat pe scară largă pentru a însemna că există schimbări lente ("tonice") în concentrația de dopamină și că aceste modificări lente transmit un semnal motivator. Mai exact, modelele computaționale au propus ca nivelul tonic al dopaminei să urmărească rata medie de recompensă pe termen lung³¹ - o variabilă motivațională utilă pentru alocarea timpului și deciziile de căutare. Merită subliniat faptul că foarte puține lucrări definesc în mod clar nivelurile de dopamină „tonice” - de obicei presupun că concentrația de dopamină se schimbă încet pe scara de timp de mai multe minute a microdializei.

Cu toate acestea, această "viziune fazică dopamină = RPE / învățare, tonic dopamină = motivație" se confruntă cu multe probleme. În primul rând, nu există dovezi directe că arderea tonică a celulelor dopaminice variază în mod normal în timp. Ratele de ardere a tonului nu se modifică odată cu schimbarea motivației^32,33. Sa afirmat că nivelul tonic al dopaminei se schimbă datorită unei proporții în schimbare a celulelor active de dopamină^34,35. Dar, în cadrul mai multor studii efectuate pe animale nedenaturate, neinfluențate, celulele dopaminice nu au fost niciodată raportate pentru a comuta între stările silențioase și cele active.

În plus, faptul că microdializa măsoară nivelurile de dopamină încet nu înseamnă că nivelurile de dopamină se schimbă efectiv încet. Noi de curând¹⁵ a examinat dopamina NAc de șobolan într-o sarcină probabilistică de recompensă, utilizând atât microdializa cât și voltammetria ciclică de scanare rapidă. Am confirmat că dopamina mezolimbică, măsurată prin microdializă, se corelează cu rata de recompensă (recompense / min). Cu toate acestea, chiar și cu o rezoluție temporală îmbunătățită (1min), dopamina a fluctuat la fel de repede ca și când i-am prelevat eșantionul: nu am văzut nici o dovadă pentru un semnal inerent de lent dopamină.

Folosind rezoluția temporală mai fină a voltammetriei, am observat o strânsă legătură între fluctuațiile sub-secundare și motivația dopaminei. Pe măsură ce șobolanii au efectuat succesiunea de acțiuni necesare pentru a obține recompense, dopamina a crescut și a crescut, atingând un vârf la fel cum au obținut recompensa (și scăderea rapidă pe măsură ce o consumau). Am arătat că dopamina se corelează puternic cu valoarea de stat instantanee - definită ca recompensa viitoare așteptată, redusă de timpul așteptat necesar pentru a fi primit. Aceste dinamici rapide ale dopaminei pot explica, de asemenea, rezultatele microdializei, fără a invoca semnale separate de dopamină pe scări de timp diferite. Pe masura ce animalele experimenteaza mai multe recompense, cresc asteptarile lor de recompense viitoare la fiecare pas din secventa procesului. Mai degrabă decât un semnal de rată medie a rata de recompensă, corelația dintre rata dopaminei și rata de recompensă este cel mai bine explicată ca o medie a acestor valori de stare în evoluție rapidă în timpul perioadei de colectare a probelor de microdializă prelungită.

Această interpretare a valorii eliberării mezolimbice a dopaminei este în concordanță cu rezultatele voltammetriei din alte grupuri de cercetare, care au constatat în mod repetat că eliberarea de dopamină crește odată cu creșterea proximității pentru a recompensa^36-38(Fig. 2). Acest semnal motivațional nu este în mod inerent "lent", ci mai degrabă poate fi observat într-un interval continuu de timp. Deși rampele de dopamină pot dura câteva secunde când un comportament de abordare durează și câteva secunde³⁸, aceasta reflectă evoluția timpului comportamentului, mai degrabă decât dinamica intrinsecă a dopaminei. Relația dintre eliberarea mezolimbică a dopaminei și valoarea fluctuantă este vizibilă la fel de rapidă pe cât permite tehnica de înregistrare, adică într-un interval de timp de ~ 100ms cu electrozi de voltammetrie acută¹⁵.

Fluctuațiile rapide ale dopaminei nu reflectă doar motivația, ci conduc imediat și comportamentul motivat. Răspunsurile fazice mai mari ale celulelor dopaminei pentru a declanșa indiciile prezic timpi de reacție mai scurți pe acel proces foarte asemănător³⁹. Stimularea optogenetică a celulelor dopamine VTA îi face pe șobolani mai multe șanse să înceapă să lucreze în sarcina noastră de recompensă probabilistică¹⁵, ca și cum ar fi avut o așteptare mai mare de recompensă. Stimularea optogenetică a neuronilor dopaminei SNC sau a axonilor lor în striat dorsal crește probabilitatea de mișcare^40,41. Critic, aceste efecte comportamentale sunt evidente în câteva sute de milisecunde de la debutul stimulării optogenetice. Abilitatea recompensa-predictive pentru stimularea motivației pare a fi mediată de modularea dopaminergică foarte rapidă a excitabilității neuronilor spinoși ai NAc⁴². Deoarece dopamina se schimbă repede, iar aceste modificări ale dopaminei afectează rapid motivația, funcțiile motivaționale ale dopaminei sunt mai bine descrise ca fiind rapid ("fazic"), nu lent ("tonic").

Mai mult, invocarea unor scale de timp separate și rapide nu rezolvă în sine problema de decodare cu care se confruntă neuronii cu receptori de dopamină. Dacă dopamina semnalează învățarea, modularea plasticității sinaptice ar părea un răspuns celular adecvat. Dar efectele imediate asupra comportamentului motivat implică efecte imediate asupra creșterii - de exemplu, prin schimbări rapide ale excitabilității. Dopamina poate avea ambele efecte postsinaptice (și multe altele), deci o anumită concentrație de dopamină are un sens specific? Sau trebuie să se construiască această semnificație - de exemplu, prin compararea nivelurilor de dopamină în timp sau prin utilizarea altor semnale coincidente pentru a determina ce utilaj celular să se angajeze? Această posibilitate este discutată mai jos.

Are eliberarea dopaminei transmite aceleași informații ca și arderea celulelor dopaminergice?

Relația dintre fluctuațiile rapide ale dopaminei și valoarea motivațională pare ciudată, având în vedere că arderea celulelor dopaminergice seamănă cu RPE. În plus, unele studii au raportat semnale RPE în eliberarea dopaminei mezolimbice⁴³. Este important de observat o provocare în interpretarea unor forme de date neuronale. Semnalele de valoare și RPE-urile sunt corelate între ele - nu este surprinzător deoarece RPE este de obicei definit ca schimbarea valorii de la un moment la altul (RPE cu „diferență temporală”). Datorită acestei corelații, este esențial să se utilizeze modele și analize experimentale care să distingă valoarea de conturile RPE. Problema se agravează atunci când se utilizează o măsură neuronală care se bazează pe modificări relative, mai degrabă decât absolute, ale semnalului. Analizele de voltametrie compară, de obicei, dopamina la un moment dat de interes cu o epocă „de bază” mai devreme în fiecare proces (pentru a elimina componentele semnalului care nu sunt dependente de dopamină, inclusiv încărcarea electrodului pe fiecare curgere de tensiune și deriva pe o perioadă de timp de minute). Dar scăderea unei linii de bază poate face ca un semnal valoric să semene cu un semnal RPE. Aceasta este ceea ce am observat în datele noastre despre voltametrie (Fig. 2e). Modificările așteptărilor de recompensare s-au reflectat în modificările concentrației de dopamină la începutul fiecărui proces, iar aceste modificări sunt ratate dacă se presupune că există o bază constantă în toate studiile¹⁵. Concluziile cu privire la eliberarea dopaminei și codificarea RPE trebuie, așadar, privite cu prudență. Acest pericol de interpretare a datelor se aplică nu numai voltametriei, ci oricărei analize care se bazează pe modificări relative - incluzând potențial unele fMRI și fotometrie⁴⁴.

Cu toate acestea, trebuie încă să reconciliem eliberarea de dopamină legată de valoare în nucleul NAc cu absența consecventă a sporirii legate de valoare de către neuronii dopaminergici¹³, chiar și în zona VTA laterală care furnizează dopamina la nucleul NAc⁴⁵. Un factor potențial este faptul că celulele dopaminice sunt înregistrate, de obicei, în animalele fixate la cap care îndeplinesc sarcini de condiționare clasică, în timp ce eliberarea de dopamină este măsurată în mod obișnuit în animalele neîngrădite care se mișcă activ prin mediul lor. Am propus ca dopamina mezolimbică să indice în mod specific valoarea "muncii"¹⁵ - că reflectă o cerință de a dedica timp și efort pentru a obține recompensa. În concordanță cu aceasta, dopamina crește odată cu semnalele care instruiesc mișcarea, dar nu cu semnale care instruiesc liniștea, chiar și atunci când indică o recompensă similară în viitor⁴⁶. Dacă - ca în multe sarcini clasice de condiționare - nu există niciun beneficiu pentru „munca” activă, atunci modificările dopaminergice care indică valoarea muncii pot fi mai puțin evidente.

Chiar mai important poate fi faptul că eliberarea dopaminei poate fi controlată local la terminalele înseși și, astfel, prezintă modele spațio-temporale, independente de spikingul celulelor celulare. De exemplu, amigdala bazolaterală (BLA) poate influența eliberarea dopaminei NAc chiar și atunci când VTA este inactivat⁴⁷. În mod invers, inactivarea BLA reduce eliberarea de dopamină NAc și comportamentul motivat corespunzător, fără a afecta aparent arderea VTA⁴⁸. Terminalele dopamine au receptori pentru o serie de neurotransmițători, inclusiv glutamat, opioide și acetilcolină. Receptorii nicotinici de acetilcolină permit interneuronilor colinergici striatali (CIN) să controleze rapid eliberarea dopaminei^49,50. Deși sa constatat mult timp că controlul local al eliberării dopaminei este potențial important^7,51, nu a fost inclusă în conturile computaționale ale funcției dopaminei. Propun ca dinamica eliberării dopaminei legată de codificarea valorii să apară în mare măsură prin intermediul local control, chiar dacă arderea celulelor dopaminergice oferă semnale importante ca RPE pentru învățare.

Cum poate dopamina să însemne atât învățarea cât și motivația fără confuzie?

În principiu, un semnal de valoare este suficient pentru a transmite RPE, de asemenea, deoarece diferențele temporale RPE sunt pur și simplu schimbări rapide ale valorii (Fig. 2B). De exemplu, căile intracelulare distincte în neuronii țintă pot fi diferit sensibile la concentrația absolută a dopaminei (reprezentând valoarea) față de modificările relative rapide ale concentrației (reprezentând RPE). Această schemă pare plauzibilă, având în vedere modularea complexă a dopaminei a fiziologiei neuronilor spinoși⁵² și sensibilitatea lor la modele temporale de concentrație de calciu⁵³. Cu toate acestea, acest lucru pare, de asemenea, oarecum redundant. Dacă există deja un semnal asemănător RPE în stimularea celulelor dopaminei, ar trebui să fie posibil să se folosească mai degrabă decât să se recupereze RPE de la un semnal de valoare.

Pentru a utiliza în mod adecvat RPE distincte și semnale de valoare, circuitele receptorului dopamină pot schimba în mod activ modul în care interpretează dopamina. Există dovezi interesante că acetilcolina poate servi și acest rol de comutare. În același timp, când celulele dopamice declanșează explozii de piroane la indicii neașteptate, CIN-urile arată scurt (~ 150ms) pauze în ardere, care nu scară cu RPE⁵⁴. Aceste pauze CIN pot fi conduse de neuroni VTA GABAergic⁵⁵ precum și celulele "surprinzătoare" din talamusul intralaminar și au fost propuse să acționeze ca un semnal de asociere care promovează învățarea⁵⁶. Morris și Bergman au sugerat⁵⁴ că pauzele colinergice definesc ferestrele temporale pentru plasticitatea striatală, în timpul căreia dopamina poate fi folosită ca un semnal de învățare. Dopedia plastică dependentă de dopamină este suprimată continuu prin mecanisme care includ receptorii muscarinici m4 pe neuronii striatali ai căilor directe⁵⁷. Modelele de semnalizare intracelulară sugerează că, în timpul pauzelor CIN, absența legării m4 poate acționa sinergic cu exploziile de dopamină fazică pentru a stimula activarea PKA⁵⁸, promovând astfel schimbarea sinaptică.

Celulele colinergice striate sunt astfel poziționate bine pentru a comuta dinamic semnificația unui mesaj dopaminergic multiplex. În timpul pauzelor CIN, scutirea unui bloc muscarinic de plasticitatea sinaptică ar permite utilizarea dopaminei pentru învățare. În alte cazuri, eliberarea de la terminalele de dopamină ar fi sculptată local pentru a afecta performanțele comportamentale continue. În prezent, această sugestie este atât speculativă, cât și incompletă. S-a propus ca CIN-urile să integreze informații din mai multe neuroni spinoase din jurul lor pentru a extrage semnale utile la nivelul rețelei, cum ar fi entropia^59,60. Dar nu este deloc clar că dinamica activității CIN poate fi utilizată pentru a genera semnale de valoare a dopaminei⁶¹, precum și pentru a porni semnalele de învățare a dopaminei.

Are dopamina inseamna acelasi lucru in intregul creier?

Pe măsură ce ideea RPE a luat amploare, sa imaginat că dopamina a fost un semnal global, transmiterea unui mesaj de eroare în toate țintele corticalului striat și frontal. Schultz a subliniat faptul că celulele dopaminei din maimuțe din VTA și SNc au răspunsuri foarte asemănătoare⁶². Studiile asupra celulelor dopamine identificate au găsit, de asemenea, răspunsuri destul de omogene RPE la rozătoare, cel puțin pentru neuronii VTA laterali în contexte clasice de condiționare¹³. Cu toate acestea, celulele dopaminice sunt diverse din punct de vedere molecular și fiziologic^63-65 și există acum multe rapoarte care arată că există diferite modele de ardere în comportamentul animalelor. Acestea includ creșterea fazică a tragerii la evenimente aversive⁶⁶ și indicii de declanșare⁶⁷ care se potrivesc prost cu contul RPE standard. Multe celule dopamice prezintă un răspuns inițial scurt latență la evenimente senzoriale care reflectă surpriză sau "alertare" mai mult decât codificarea RPE specifică^68,69. Acest aspect de alertare este mai proeminent în SNC⁶⁹, unde celulele dopamine promit mai mult la "senzorimotor" dorsal / striatum lateral (DLS^45,63). Subpopulațiile celulelor dopamine SNC au fost, de asemenea, raportate a crește⁴¹ sau să scadă⁷⁰ arderea în combinație cu mișcările spontane, chiar și fără indiciile externe.

Mai multe grupuri au folosit fotometria cu fibre și indicatorul de calciu GCaMP pentru a examina activitatea în vrac a subpopulațiilor neuronilor dopaminergici^71,72. Celulele dopamice care se proiectează la striatul dorsal / medial (DMS) au prezentat activitate depresivă tranzitorie la șocuri scurte neașteptate, în timp ce cele care se proiectează la DLS au prezentat activitate crescută⁷¹- mai consistent cu un răspuns de alertă. S-au observat, de asemenea, răspunsuri dopaminergice distincte în diferite subregiuni ale creierului anterior folosind GCaMP pentru a examina activitatea axonilor și terminalelor dopaminergice.^40,72,73. Folosind imagistica cu două fotoni la șoarecii cu cap opritor, Howe și Dombeck⁴⁰ a raportat activitate dopamină fazică legată de mișcările spontane. Aceasta a fost observată predominant în axoanele individuale de dopamină de la SNc care au terminat în striatum dorsal, în timp ce axonii dopaminei VTA din NAc au răspuns mai mult la livrarea de recompensă. Alții au descoperit, de asemenea, activitate dopaminergică legată de recompensă în NAc, în schimb DMS este mai mult legată de acțiunile contralaterale⁷² și coada posterioară a striatumului receptiv la stimuli aversivi și noi⁷⁴.

Măsurile directe de eliberare a dopaminei indică, de asemenea, eterogenitatea între subregiuni^30,75. Cu ajutorul microdializei, am găsit că dopamina trebuie corelată cu valoarea specifică în nucleul NAc și în cortexul frontal medial ventral, nu în alte părți medii ale striatumului (coajă NAc, DMS) sau cortexul frontal. Acest lucru este intrigant, deoarece pare să hărțuie bine la două "hotspoturi" de codificare a valorii observate în mod constant în studiile de studiu fMRI umane^76,77. În special, semnalul NAc BOLD, care are o relație strânsă cu semnalarea dopaminei⁷⁸, crește cu anticiparea recompensei (valoare) - mai mult decât cu RPE⁷⁶.

Indiferent dacă aceste modele spațiale de eliberare a dopaminei provin din arderea subpopulațiilor distincte ale celulelor dopaminice, controlul local al eliberării dopaminei sau ambele, ele provoacă ideea unui mesaj global de dopamină. S-ar putea concluziona că există multe funcții de dopamină diferite, cu (de exemplu) dopamina în striatare dorsală de semnalizare "mișcare" și dopamină în striatum ventral semnalizând "recompensa"⁴⁰. Cu toate acestea, eu prefer o altă abordare conceptuală. Diferitele subregiuni striatale primesc intrări din diferite regiuni corticale și astfel vor fi procesate diferite tipuri de informații. Totuși, fiecare subregiune striatală împarte o arhitectură comună a microcircuitului, incluzând separat D1-versus D2-receptor care poartă neuronii spini⁷⁹, CIN-uri și așa mai departe. Deși este comun să se facă referire la diferite subregiuni striate (de exemplu, DLS, DMS, nucleul NAc) ca și cum ar fi zone discrete, nu există limite anatomice ascuțite între ele (carcasa NAc este un pic mai distinct neurochimic). În schimb, există doar gradiente blânde în densitatea receptorilor, proporțiile interneuronului etc., care par mai mult ca trucuri la parametrii unui algoritm comun de calcul. Având în vedere această arhitectură comună, putem descrie o funcție comună a dopaminei, abstractizată de informațiile specifice care sunt tratate de fiecare subregiune?

Striatal dopamina și alocarea de resurse limitate.

Propun ca o varietate de efecte disparate de dopamină asupra comportamentului în curs de desfășurare să poată fi înțeleasă ca o modulare a alocarea resurselor. În mod specific, dopamina furnizează estimări cu privire la modul în care este utilă cheltuirea unei resurse interne limitate, cu o resursă deosebită care diferă între subregiunile striate. Pentru "striatum" motor (~ DLS) resursa este mișcare, care este limitată deoarece costurile de mișcare sunt energii și deoarece multe acțiuni sunt incompatibile între ele⁸⁰. Creșterea dopaminei face mai probabil ca un animal să decidă că merită să cheltuiți energia pentru a vă deplasa sau pentru a vă mișca mai repede^6,40,81. Rețineți că un semnal dopamină care codifică "mișcarea este utilă" va produce corelații între dopamină și mișcare, chiar și fără codificarea dopaminei "mișcare" în sine.

Pentru striatum "cognitiv" (~ DMS), resursele sunt procese cognitive, inclusiv atenție (care este limitată de capacitate prin definiție⁸²) și memoria de lucru⁸³. Fără dopamină, indiciile externe semnificative care în mod normal provoacă mișcări de orientare sunt neglijate, ca și cum ar fi considerate mai puțin atente³. În plus, procesele de control cognitiv în mod deliberat sunt eforturi (costisitoare⁸⁴). Dopamina - în special în DMS⁸⁵ - joacă un rol cheie în a decide dacă merită să depuneți acest efort^86,87. Aceasta poate include dacă să se folosească mai multe strategii decizionale cognitiv-solicitante, deliberative ("bazate pe modele")⁸⁸.

Pentru striatumul "motivațional" (~ NAc), o resursă limitată poate fi timpul animalului. Mesolimbic dopamina nu este necesară atunci când animalele efectuează o acțiune simplă, fixă ​​pentru a obține rapid recompense⁸⁹. Dar multe forme de recompensă pot fi obținute numai prin muncă prelungită: secvențe extinse de acțiuni neremediate, ca și în hrănirea animalelor. Alegerea să se angajeze în muncă înseamnă că alte metode benefice de petrecere a timpului trebuie să fie prelungite. Doamna mezolimbică ridicată indică faptul că angajarea în muncă temporală-extinsă, de efort este util, dar ca dopamina este coborât animalele nu deranjez, și poate în loc să se pregătească doar să doarmă⁹⁰.

În cadrul fiecărui circuit de buclă cortico-striatală, contribuția dopaminei la comportamentul continuu este atât economică (în ceea ce privește alocarea resurselor), cât și motivațională (indiferent dacă este merită să cheltuiască resurse⁸¹). Aceste circuite nu sunt pe deplin independente, ci mai degrabă o organizație ierarhică, spiralată: mai multe porțiuni ventrale de striatum influențează celulele dopaminei care se proiectează la porțiuni mai dorsale^5,91. În acest fel, deciziile de angajare în muncă pot contribui, de asemenea, la revigorarea mișcărilor specifice, mai scurte, necesare. Dar, în general, dopamina furnizează semnale „activative” - creșterea probabilității luării unor decizii - mai degrabă decât semnale „direcționale” care specifică cum resursele ar trebui cheltuite⁵.

Care este rolul computațional al dopaminei în ceea ce privește luarea deciziilor?

O modalitate de a gândi despre acest rol activist este în termenii "pragurilor" de luare a deciziilor. În anumite modele matematice, procesele decizionale cresc până la atingerea unui prag, când sistemul devine angajat într-o acțiune⁹². O doză mai mare de dopamină ar echivala cu o distanță mai mică față de prag, astfel încât deciziile să fie luate mai rapid. Această idee este simplistă, dar face predicții cantitative care au fost confirmate. Micsorarea pragurilor de mișcare ar determina o schimbare specifică a formei distribuției timpului de reacție, ceea ce se observă atunci când amfetamina este infuzată în striatum senzorimotor²⁰.

În locul pragurilor fixe, datele comportamentale și neuronale pot fi mai bine adaptate dacă pragurile scad în timp, ca și când deciziile devin din ce în ce mai urgente. Ieșirea gangliei bazale a fost propusă pentru a furniza un semnal de urgență în evoluție dinamic, care invigorează mecanismele de selecție în cortex⁹³. Urgența a fost, de asemenea, mai mare atunci când recompensele viitoare s-au apropiat în timp, făcând acest concept similar cu codificarea valorii, rolul activator al dopaminei.

Este un rol de activare suficient pentru a descrie efectele modulatoare ale performanței dopaminei striate? Acest lucru este legat de întrebarea de lungă durată dacă circuitele de ganglioni bazali selectează direct între acțiunile învățate⁸⁰ sau doar invigorează alegerile făcute în altă parte^93,94. Există cel puțin două moduri în care dopamina poate avea un efect mai "direcțional". Primul este când dopamina acționează într-o subregiune a creierului care procesează informații direcționale inerente. Bazele ganglionare bazale au un rol important, parțial lateral, orientat spre și apropiindu-se de recompense potențiale. Primul caudat (~ DMS) este implicat în mișcarea ochilor de conducere spre câmpurile spațiale contralaterale⁹⁵. Un semnal dopaminergic pe care merită orientat ceva în spațiul contralateral poate explica corelația observată între activitatea dopaminergică în DMS și mișcările contralaterale⁷², precum și comportamentul de rotație produs de manipularea dopaminei⁹⁶. O a doua influență "direcțională" a dopaminei este evidentă atunci când leziunile (bilaterale) ale leziunilor dopaminei previn șobolanii față de alegeri cu efort scăzut / recompensă redusă, mai degrabă decât alternative cu efort înaltă / recompensă înaltă⁹⁷. Acest lucru poate reflecta faptul că unele decizii sunt mai serioase decât cele paralele, șobolanii (și oamenii) evaluând opțiunile o singură dată⁹⁸. În aceste contexte decizionale, dopamina poate încă să plătească un rol activ activ prin transmiterea valorii opțiunii considerate în prezent, care poate fi acceptată sau nu²⁴.

Animalele active iau decizii la mai multe niveluri, adesea la rate mari. Dincolo de gândirea deciziilor individuale, ar fi util să analizăm o traiectorie generală printr-o secvență de state (Fig. 1). Prin facilitarea tranzițiilor de la o stare la alta, dopamina poate accelera fluxul de-a lungul traiectoriilor învățate⁹⁹. Acest lucru se poate referi la influența importantă a dopaminei asupra timpului de comportament^44,100. O frontieră cheie pentru munca viitoare este obținerea unei înțelegeri mai profunde a modului în care astfel de efecte de dopamină asupra comportamentului continuu apar mecanic, prin modificarea procesării informațiilor în celule individuale, microcircuite și bucle largi de ganglioni cortico-bazali. De asemenea, am subliniat rolurile computaționale comune ale dopaminei într-o serie de ținte striatale, dar ținte corticale neglijate în mare măsură și rămâne de văzut dacă funcțiile dopaminei în ambele structuri pot fi descrise în același cadru.

Pe scurt, o descriere adecvată a dopaminei ar explica modul în care dopamina poate semna atât învățarea, cât și motivația, pe aceleași scale de timp rapide, fără confuzie. Ar explica de ce eliberarea de dopamina in covariile principale ale tintelor cu speranta de recompensa, chiar daca arderea celulelor dopaminergice nu o face. Și ar oferi un raport computational unificat al acțiunilor dopaminei în striat și în altă parte, ceea ce explică efecte comportamentale disparate asupra mișcării, cunoașterii și timpului. Unele idei specifice prezentate aici sunt speculative, dar sunt menite să stimuleze discuțiile, modelarea și experimentele noi incisive.

Acknowledgements.

Referinte: