Semnalul de recompensă predictivă a neuronilor dopaminergici (1998)

Funcțiile recompenselor

Anumite obiecte și evenimente din mediu au o importanță motivațională deosebită prin efectele lor asupra bunăstării, supraviețuirii și reproducerii. În funcție de reacțiile comportamentale declanșate, valoarea motivațională a obiectelor de mediu poate fi apetisantă (răsplătitoare) sau aversivă (pedepsitoare). (Rețineți că „apetisant” este utilizat sinonim pentru „recompensant”, dar nu pentru „pregătitor”). Obiectele apetitive au trei funcții de bază separabile. În prima lor funcție, răsplătește abordarea provocată și comportamentul consumator. Acest lucru se datorează faptului că obiectele sunt etichetate cu valoare apetitivă prin mecanisme înnăscute sau, în cele mai multe cazuri, învățare. În a doua lor funcție, recompensele cresc frecvența și intensitatea comportamentului care duc la astfel de obiecte (învățare) și mențin comportamentul învățat prin prevenirea stingerii. Recompensele servesc ca întăritori pozitivi ai comportamentului în procedurile clasice și instrumentale de condiționare. În învățarea stimulativă generală, stimulii de mediu dobândesc valoare apetitivă în urma asociațiilor condiționate-recompensate clasic și induc comportamentul de abordare (Bindra 1968). În condiționarea instrumentală, recompensează „întări” comportamentele prin consolidarea asocierilor dintre stimuli și răspunsurile comportamentale (Legea efectului: Thorndike 1911). Aceasta este esența „a reveni pentru mai mult” și este legată de noțiunea comună de recompense obținute pentru că a făcut ceva bine. Într-o formă instrumentală de învățare stimulativă, recompensele sunt „stimulente” și servesc drept obiective ale comportamentului în urma asocierii dintre răspunsurile comportamentale și rezultatele (Dickinson și Balleine 1994). În a treia lor funcție, recompensele induc sentimente subiective de plăcere (hedonia) și stări emoționale pozitive. Stimulii avversivi funcționează în direcții opuse. Acestea induc răspunsuri de retragere și acționează ca întăritori negativi prin creșterea și menținerea comportamentului de evitare la prezentarea repetată, reducând astfel impactul evenimentelor dăunătoare. Mai mult, ele induc stări emoționale interne de furie, frică și panică.

Funcțiile predicțiilor

Prezicerile oferă informații în avans despre stimuli viitori, evenimente sau stări ale sistemului. Ele oferă avantajul de bază de a câștiga timp pentru reacțiile comportamentale. Unele forme de predicții atribuie valori motivaționale stimulilor de mediu prin asocierea cu rezultate particulare, identificând astfel obiecte de importanță vitală și discriminându-le de obiecte mai puțin valoroase. Alte forme codează parametrii fizici ai obiectelor prezise, ​​cum ar fi poziția spațială, viteza și greutatea. Prezicerile permit unui organism să evalueze evenimentele viitoare înainte de a se produce efectiv, permit selectarea și pregătirea reacțiilor comportamentale și crește probabilitatea de a se apropia sau de a evita obiectele etichetate cu valori motivaționale. De exemplu, mișcările repetate ale obiectelor din aceeași secvență permit unuia să prezică pozițiile viitoare și să pregătească deja următoarea mișcare în timp ce urmărește obiectul prezent. Aceasta reduce timpul de reacție între țintele individuale, accelerează performanța generală și are ca rezultat un rezultat anterior. Mișcările predictive ale ochilor îmbunătățesc performanța comportamentală prin focalizarea în avans (Flori și coborâre 1978).

La un nivel mai avansat, informațiile avansate furnizate de predicții permit luarea de decizii între alternative pentru a atinge anumite stări ale sistemului, abordarea obiectelor care apar rar sau evitarea efectelor adverse ireparabile. Aplicațiile industriale utilizează Controlul modelului intern pentru a prezice și reacționa la stările sistemului înainte de a se produce efectiv (Garcia și colab. 1989). De exemplu, tehnica „fly-by-wire” din aviația modernă calculează stările viitoare de avioane previzibile. Deciziile privind manevrele de zbor iau în considerare aceste informații și ajută la evitarea eforturilor excesive asupra componentelor mecanice ale avionului, reducând astfel greutatea și crescând gama de acțiuni.

Utilizarea informațiilor predictive depinde de natura evenimentelor viitoare reprezentate sau a stărilor de sistem. Reprezentările simple vizează în mod direct poziția obiectivelor viitoare și reacția comportamentală care urmează, reducând astfel timpul de reacție într-o manieră destul de automată. Formele mai mari de predicții se bazează pe reprezentări care permit o inferență logică, care poate fi accesată și tratată cu diferite grade de intenționalitate și alegere. Adesea sunt procesate în mod conștient la om. Înainte de apariția evenimentelor sau a stărilor de sistem prezente și reacțiile comportamentale, astfel de predicții permit evaluarea mentală a diferitelor strategii prin integrarea cunoștințelor din diferite surse, proiectarea diferitelor moduri de reacție și compararea câștigurilor și pierderilor din fiecare reacție posibilă.

Condiționarea comportamentului

Învățarea asociativă apetitivă implică împerecherea repetată și contingentă între un stimul arbitrar și o recompensă primară (Fig. 1). Acest lucru duce la un comportament de abordare din ce în ce mai frecvent indus de stimulul acum „condiționat”, care seamănă parțial cu comportamentul de abordare generat de recompensa primară și, de asemenea, este influențat de natura stimulului condiționat. Se pare că stimulul condiționat servește ca un predictor al recompenselor și, de multe ori pe baza unui impuls adecvat, stabilește o stare motivațională internă care duce la reacția comportamentală. Asemănarea reacțiilor de abordare sugerează că unele dintre componentele generale, pregătitoare ale răspunsului comportamental sunt transferate de la recompensa primară la cel mai timpuriu stimul condiționat, care prezice recompense. Astfel, stimulul condiționat acționează parțial ca un substitut motivațional pentru stimulul primar, probabil prin învățarea pavloviană (Dickinson 1980).

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 1. 

Procesarea stimulilor apetitivi în timpul învățării. Un stimul arbitrar devine asociat cu un aliment primar sau o recompensă lichidă prin împerechere repetată și contingentă. Acest stimul condiționat, care prezice recompensă, induce o stare motivațională internă prin evocarea unei așteptări a recompensei, deseori pe baza unei foame sau a setei corespunzătoare, și provoacă reacția comportamentală. Această schemă reproduce noțiuni de bază ale teoriei motivației stimulente elaborate de Bindra (1968) și Bolle (1972). Se aplică condiționării clasice, unde recompensa este livrată automat după stimulul condiționat și condiționării instrumentale (operante), unde livrarea recompenselor necesită o reacție a subiectului la stimulul condiționat. Această schemă se aplică, de asemenea, condiționării aversive care nu mai sunt elaborate din motive de brevet.

Multe așa-numite „necondiționate” alimente și recompense lichide sunt probabil învățate prin experiență, după cum poate confirma orice vizitator în țări străine. Recompensa primară poate consta în gustul experimentat atunci când obiectul activează receptorii gustativi, dar acesta poate fi învățat din nou. Efectul de satisfacție final al obiectelor nutritive constă probabil în influențele lor specifice asupra variabilelor biologice de bază, cum ar fi concentrațiile de electroliți, glucoză sau aminoacizi în plasmă și creier. Aceste variabile sunt definite de nevoile vegetative ale organismului și apar prin evoluție. Animalele evită nutrienții care nu influențează variabile vegetative importante, de exemplu, alimentele care nu au aminoacizi esențiali precum histidina (Rogers și Harper 1970), treonină (Hrupka și colab. 1997; Wang și colab. 1996), sau metionină (Delaney și Gelperin 1986). Câteva recompense primare pot fi determinate de instincte înnăscute și susțin comportamentul abordării inițiale și ingestia în viața timpurie, în timp ce majoritatea recompenselor ar fi obținute în timpul experienței ulterioare de viață a subiectului. Aspectul fizic al recompenselor ar putea fi folosit pentru a prezice efectele vegetative mult mai lente. Acest lucru ar accelera dramatic detectarea recompenselor și ar constitui un avantaj major pentru supraviețuire. Învățarea recompenselor permite, de asemenea, subiecților să folosească o varietate mult mai mare de nutrienți ca recompense eficiente și, astfel, își crește șansa de supraviețuire în zonele cu resurse limitate.

Activarea prin stimuli apetitivi primari

Aproximativ 75% dintre neuronii dopaminici prezintă activări fazice atunci când animalele ating o mică mușchi de hrană ascunsă în timpul mișcărilor exploratorii în absența altor stimuli fazici, fără a fi activați de mișcarea în sine (Romo și Schultz 1990). Neuronii de dopamină rămași nu răspund la niciunul dintre stimulii de mediu testați. Neuronii Dopamine sunt, de asemenea, activat de o picătură de lichid livrată la gură în afara oricărei sarcini comportamentale sau în timp ce învață astfel de paradigme diferite precum sarcini de reacție vizuală sau auditivă, răspuns sau alternanță spațială întârziată și discriminare vizuală, adesea la același animal (Fig. . 2 top) (Hollerman și Schultz 1996; Ljungberg și colab. 1991, 1992; Mirenowicz și Schultz 1994; Schultz și colab. 1993). Răspunsurile la recompensă apar independent de contextul de învățare. Astfel, neuronii dopaminei nu par să discrimineze între diferite obiecte alimentare și recompense lichide. Cu toate acestea, răspunsurile lor disting recompensele de obiectele nerevendite (Romo și Schultz 1990). Doar 14% dintre neuronii dopaminici arată activările fazice atunci când sunt prezentați stimuli aversivi primari, cum ar fi un puf de aer la mână sau o soluție salină hipertonică la gură, iar majoritatea neuronilor activi răspund și la recompense (Mirenowicz și Schultz 1996). Deși sunt nepericuloși, acești stimuli sunt aversivi prin faptul că perturbă comportamentul și induc reacții active de evitare. Cu toate acestea, neuronii dopaminici nu sunt în totalitate insensibili la stimuli aversivi, așa cum se arată prin depresii lente sau activări lente ocazionale după stimularea durerii în maimuțele anesteziate (Schultz și Romo 1987) și prin eliberarea crescută de dopamină striată după șoc electric și ciupit de coadă la șobolani treaz (Abercrombie et al. 1989; Doherty și Gratton 1992; Louilot și colab. 1986; Young și colab. 1993). Acest lucru sugerează că răspunsurile fazice ale neuronilor dopaminei raportează în mod preferențial stimuli de mediu cu valoare apetitivă primară, în timp ce evenimentele aversive pot fi semnalate cu un curs de timp considerabil mai lent.

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 2. 

Neuronii Dopamina raportează recompense în funcție de o eroare în predicția recompenselor. Top: se produce o picătură de lichid, deși nu se prevede nicio recompensă în acest moment. Apariția recompenselor constituie astfel o eroare pozitivă în predicția recompensei. Neuronul Dopamina este activat prin apariția neprevăzută a lichidului. De mijloc: stimulul condiționat prezice o recompensă, iar recompensa apare în funcție de predicție, deci nici o eroare în predicția recompensei. Neuronul Dopamine nu reușește să fie activat de recompensa prevăzută (dreapta). De asemenea, arată o activare după stimulul de a prezice recompensa, care apare indiferent de o eroare în prezicerea recompensei ulterioare (stânga). De jos: stimulul condiționat prezice o recompensă, dar recompensa nu apare din cauza lipsei de reacție a animalului. Activitatea neuronului dopaminic este deprimată exact în momentul în care s-ar fi produs recompensa. Rețineți depresia care apare> 1 s după stimulul condiționat fără niciun stimul intervenit, dezvăluind un proces intern de așteptare a recompensei. Activitatea neuronală din cele 3 grafice urmează ecuația: răspunsul dopaminei (recompensă) = recompensă apărută - recompensă prezisă. CS, stimul condiționat; R, recompensă primară. Retipărit din Schultz și colab. (1997) cu permisiunea Asociației Americane pentru Avansarea Științei.

Imprevizibilitatea recompensei

O caracteristică importantă a răspunsurilor la dopamină este dependența lor de imprevizibilitatea evenimentelor. Activările care urmează recompense nu au loc atunci când recompense alimentare și lichide sunt precedate de stimuli fazici care au fost condiționate să prezică astfel de recompense (Fig. 2, de mijloc) (Ljungberg și colab. 1992; Mirenowicz și Schultz 1994; Romo și Schultz 1990). O diferență crucială între învățare și comportamentul dobândit pe deplin este gradul de imprevizibilitate a recompenselor. Neuronii Dopamine sunt activate prin recompense în faza de învățare, dar nu mai răspund după achiziția completă a sarcinilor de reacție vizuală și auditivă (Ljungberg și colab. 1992; Mirenowicz și Schultz 1994), sarcini cu răspuns întârziat spațial (Schultz și colab. 1993) și discriminări vizuale simultane (Hollerman și Schultz 1996). Pierderea răspunsului nu se datorează unei dezvoltări generale a insensibilității la recompense, întrucât activările în urma recompenselor furnizate în afara sarcinilor nu scad în decursul mai multor luni de experimentare (Mirenowicz și Schultz 1994). Importanța imprevizibilității include timpul de recompensă, așa cum este demonstrat de activările tranzitorii după recompense care sunt furnizate brusc mai devreme sau mai târziu decât a fost prevăzut (Hollerman și Schultz 1996). Luate împreună, apariția recompenselor, inclusiv timpul său, trebuie să fie neprevăzută pentru a activa neuronii dopaminici.

Depresia prin omiterea recompensei prevăzute

Neuronii Dopamina sunt deprimați exact la momentul apariției obișnuite a recompensei, atunci când o recompensă complet prevăzută nu reușește să apară, chiar și în absența unui stimul precedent imediat (Fig. 2, de jos). Acest lucru se observă atunci când animalele nu obțin recompensă din cauza comportamentului eronat, atunci când fluxul de lichid este oprit de experimentator în ciuda comportamentului corect sau când o valvă se deschide în mod auditiv fără a furniza lichid (Hollerman și Schultz 1996; Ljungberg și colab. 1991; Schultz și colab. 1993). Atunci când livrarea recompenselor este întârziată pentru 0.5 sau 1.0 s, apare o depresie a activității neuronale la momentul regulat al recompensei, iar o activare urmărește recompensa la noul moment (Hollerman și Schultz 1996). Ambele răspunsuri apar numai în câteva repetări până când noul timp de livrare a recompenselor devine din nou prevăzut. În schimb, obținerea de recompense mai devreme decât obișnuitul are ca rezultat o activare la noul moment al recompensei, dar nu reușește să inducă o depresie la momentul obișnuit. Acest lucru sugerează că livrarea de recompense neobișnuit timpurie anulează predicția recompensei pentru timpul obișnuit. Astfel neuronii dopaminei monitorizează atât apariția cât și timpul recompensei. În absența stimulilor care preced imediat recompensa omisă, depresiile nu constituie un răspuns neuronal simplu, ci reflectă un proces de așteptare bazat pe un ceas intern care urmărește timpul precis al recompensei.

Activare prin stimuli condiționați, care prezic recompense

Despre 55-70% dintre neuronii dopaminici sunt activați de stimuli vizibili și auditivi condiționați în diferitele sarcini condiționate clasic sau instrumental descrise anterior (Fig. 2, de mijloc și de jos) (Hollerman și Schultz 1996; Ljungberg și colab. 1991, 1992; Mirenowicz și Schultz 1994; Schultz 1986; Schultz și Romo 1990; P. Waelti, J. Mirenowicz și W. Schultz, date nepublicate). Primele răspunsuri la dopamină la lumina condiționată au fost raportate de Miller și colab. (1981) la șobolani tratați cu haloperidol, care a crescut incidența și activitatea spontană a neuronilor dopaminici, dar a dus la răspunsuri mai susținute decât la animalele nedorite. Deși răspunsurile apar aproape de reacțiile comportamentale (Nishino și colab. 1987), nu au legătură cu mișcările brațului și ale ochilor, deoarece apar și ipsilaterale cu brațul în mișcare și în încercări fără mișcări ale brațului sau ale ochilor (Schultz și Romo 1990). Stimulii condiționați sunt ceva mai puțin eficienți decât recompensele primare în ceea ce privește magnitudinea răspunsului și fracțiile neuronilor activați. Neuronii Dopamine răspund doar la apariția stimulilor condiționați și nu la compensarea lor, chiar dacă compensarea stimulului prezice recompensa (Schultz și Romo 1990). Neuronii dopaminei nu fac distincție între modalitățile vizuale și cele auditive ale stimulilor apetitivi condiționați. Cu toate acestea, ei fac discriminări între stimuli apetitivi și neutri sau aversivi, atât timp cât sunt fizic suficient de disimilați (Ljungberg și colab. 1992; P. Waelti, J. Mirenowicz și W. Schultz, date nepublicate). Doar 11% dintre neuronii dopaminici, cei mai mulți cu răspunsuri apetitive, arată activările fazice tipice, ca răspuns la stimulii vizuali sau auditivi aversivi condiționați în sarcini de evitare activă, în care animalele eliberează o cheie pentru a evita un puf de aer sau o picătură de soluție salină hipertonică. (Mirenowicz și Schultz 1996), deși o astfel de evitare poate fi considerată „răsplătitoare”. Aceste puține activări nu sunt suficient de puternice pentru a induce un răspuns mediu al populației. Astfel, răspunsurile fazice ale neuronilor dopaminei raportează în mod preferențial stimuli de mediu cu valoare motivațională apetisantă, dar fără a discrimina între diferitele modalități senzoriale.

Transfer de activare

Pe parcursul învățării, neuronii dopaminei sunt activate treptat de stimuli condiționați, care prevăd recompense și își pierd progresiv răspunsurile la alimentele primare sau la recompense lichide care devin prezise (Hollerman și Schultz 1996; Ljungberg și colab. 1992; Mirenowicz și Schultz 1994) (Fig. 2 și 3). În timpul unei perioade de învățare tranzitorie, atât recompensele, cât și stimulii condiționați determină activări ale dopaminei. Acest transfer de la recompensa primară la stimulul condiționat are loc instantaneu în neuronii dopamina singuri testați în două sarcini bine învățate, care au, respectiv, recompense neprevăzute și prezise (Romo și Schultz 1990).

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 3. 

Transferul de răspuns al dopaminei la primul stimul predictiv. Răspunsurile la recompensele primare neprevăzute se transferă la stimuli premizători mai devreme. Toate afișările arată histogramele populației obținute prin medierea histogramelor de timp perievent normalizate ale tuturor neuronilor dopamină înregistrați în situațiile comportamentale indicate, independent de prezența sau absența unui răspuns. Top: în afara oricărei sarcini comportamentale, nu există răspuns la populație în neuronii 44 testați cu o lumină mică (date de la Ljungberg și colab. 1992), dar un răspuns mediu apare la 35 de neuroni la o picătură de lichid livrată la un gura din fața gurii animalului (Mirenowicz și Schultz 1994). De mijloc: răspuns la un stimul declanșator care prezice recompensă într-o sarcină spațială cu alegere 2, dar absența răspunsului la recompensă livrată în timpul performanței stabilite a sarcinii în aceiași neuroni 23 (Schultz și colab. 1993). De jos: răspuns la o instrucțiune care precede stimulul de declanșare a recompensării printr-un interval fix de 1 s într-o sarcină de atins spațială instruită (neuroni 19) (Schultz și colab. 1993). Baza de timp este împărțită din cauza unor intervale variate între stimuli condiționați și recompensă. Reedit din Schultz și colab. (1995b) cu permisiunea MIT Press.

Imprevizibilitatea stimulilor condiționați

Activările după stimuli condiționați, care prezic recompensă, nu apar atunci când acești stimuli înșiși sunt precedați la un interval fix de stimuli condiționați fazic în situații comportamentale complet stabilite. Astfel, cu stimuli condiționați în serie, neuronii dopaminici sunt activați de cel mai timpuriu stimul predictor de recompensă, în timp ce toți stimulii și recompensele care urmează în momentele previzibile ulterior sunt ineficiente (Fig. 3) (Schultz și colab. 1993). Doar stimuli secvențiali distanțați la întâmplare provoacă răspunsuri individuale. De asemenea, suprasolicitarea extinsă cu performanța înaltă stereotipată a sarcinilor atenuează răspunsurile la stimuli condiționați, probabil pentru că stimulii devin prevestiți de evenimentele din procesul precedent (Ljungberg și colab. 1992). Acest lucru sugerează că imprevizibilitatea stimulilor este o cerință comună pentru toți stimulatorii care activează neuronii dopaminici.

Depresia prin omiterea stimulilor condiționați prevăzuți

Date preliminare dintr-un experiment anterior (Schultz și colab. 1993) sugerează că și neuronii dopaminici sunt deprimați atunci când un stimul condiționat, care prevede recompensa este prevăzut la un moment fix de un stimul precedent, dar nu reușește să apară din cauza unei erori a animalului. Ca și în cazul recompenselor primare, depresiile apar la momentul apariției obișnuite a stimulului condiționat, fără a fi direct provocate de un stimul precedent. Astfel, depresia indusă de omisiune poate fi generalizată la toate evenimentele apetisante.

Activare-depresie cu generalizarea răspunsului

Neuronii Dopamina răspund, de asemenea, la stimuli care nu prezic recompense, dar seamănă îndeaproape cu stimuli care prezic recompense care apar în același context. Aceste răspunsuri constau în cea mai mare parte dintr-o activare urmată de o depresie imediată, dar, uneori, poate consta în activare pură sau depresie pură. Activările sunt mai mici și mai puțin frecvente decât cele care urmează stimuli care prezic recompensă, iar depresiile sunt observate în 30-60% dintre neuroni. Neuronii Dopamine răspund la stimuli vizuali care nu sunt urmați de recompensă, ci seamănă îndeaproape cu stimuli de predicție a recompenselor, în ciuda discriminării comportamentale corecte (Schultz și Romo 1990). Deschiderea unei cutii goale nu reușește să activeze neuronii dopaminei, dar devine eficientă în fiecare proces imediat ce cutia conține ocazional alimente (Ljungberg și colab. 1992; Schultz 1986; Schultz și Romo 1990) sau când o cutie vecină, identică, care conține mereu, se deschide în alternanță aleatorie (Schultz și Romo 1990). Cutia goală determină activări mai slabe decât caseta cu momeli. Animalele efectuează reacții indiscriminate de orientare oculară la fiecare cutie, dar se apropie doar de cutia momeală cu mâna. În timpul învățării, neuronii dopamină continuă să răspundă la stimuli condiționați anterior, care își pierd predicția de recompensă atunci când se schimbă contingențele de recompensă (Schultz și colab. 1993) sau să răspundă la noi stimuli care seamănă cu stimuli condiționați anterior (Hollerman și Schultz 1996). Răspunsurile apar chiar și la stimuli aversivi, prezentați în alternanță aleatorie, cu stimuli apetitori, condiționați fizic, similari din aceeași modalitate senzorială, răspunsul aversiv fiind mai slab decât cel apetisant (Mirenowicz și Schultz 1996). Răspunsurile generalizează chiar și până la stimuli apetitivi stingeți comportamental. Aparent, răspunsurile neuronale se generalizează la stimuli neapetitori din cauza asemănării lor fizice cu stimuli apetitivi.

Răspunsuri de noutate

Stimuli noi determină activări în neuronii dopaminici, care sunt adesea urmate de depresii și persistă atâta timp cât apar reacții de orientare comportamentală (de exemplu, sacade oculare). Activările scad împreună cu reacțiile de orientare după mai multe repetări de stimul, în funcție de impactul fizic al stimulilor. În timp ce diodele emițătoare de lumină mici provoacă cu greu răspunsuri noi, luminile intermitente și deschiderea rapidă vizuală și auditivă a unei cutii mici provoacă activări care se descompun treptat până la momentul inițial în timpul a <100 de studii (Ljungberg și colab. 1992). Clicurile puternice sau imaginile mari imediat în fața unui animal provoacă răspunsuri puternice de noutate care se descompun, dar care totuși induc activări măsurabile cu> 1,000 de teste (Hollerman și Schultz 1996; Horvitz și colab. 1997; Steinfels și colab. 1983). Figura 4 prezintă schematic diferitele magnitudini de răspuns cu stimuli noi de diferență fizică. Răspunsurile se descompun treptat cu expunerea repetată, dar pot persista la mărimi reduse cu stimuli foarte salienti. Mărimile de răspuns cresc din nou atunci când aceiași stimuli sunt condiționați apetitiv. În schimb, răspunsurile la stimuli noi, chiar mari, se reduc rapid atunci când stimulii sunt folosiți pentru condiționarea comportamentului de evitare activă (Mirenowicz și Schultz 1996). Foarte puțini neuroni (<5%) răspund pentru mai mult de câteva studii la stimuli vizibili, dar slabi din punct de vedere fizic, cum ar fi sfărâmarea hârtiei sau mișcările brute ale mâinilor experimentatorului.

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 4. 

Cursuri de timp ale activării neuronilor dopaminei până la stimuli noi, de alertă și condiționat. Activările după noi stimuli scad cu expunerea repetată în timpul încercărilor consecutive. Mărimea lor depinde de sănătatea fizică a stimulilor, deoarece stimulii mai puternici induc activări mai mari, care uneori le depășesc pe cele după stimuli condiționați. Stimulii deosebit de importanți continuă să activeze neuronii dopaminici cu magnitudine limitată chiar și după ce și-au pierdut noutatea fără a fi împerecheați cu recompense primare. Activările consistente apar din nou când stimulii devin asociați cu recompensele primare. Această schemă a fost contribuită de Jose Contreras-Vidal.

Caracterul omogen al răspunsurilor

Experimentele efectuate până acum au relevat faptul că majoritatea neuronilor din grupele de celule dopaminice ale creierului mediu A8, A9 și A10 arată activări și depresii foarte similare într-o situație comportamentală dată, în timp ce neuronii dopaminici rămași nu răspund deloc. Există o tendință pentru fracții mai mari de neuroni care răspund în regiuni mai mediale ale creierului mijlociu, cum ar fi zona tegmentală ventrală și substanța mediană nigra, în comparație cu mai multe regiuni laterale, care ocazional ajung la semnificație statistică (Schultz 1986; Schultz și colab. 1993). Latențele de răspuns (50-110 ms) și duratele (<200 ms) sunt similare între recompensele primare, stimulii condiționați și stimulii noi. Astfel, răspunsul dopaminei constituie un semnal relativ omogen, al populației scalare. Este gradat în mărime prin reacția neuronilor individuali și prin fracția de neuroni care răspund în cadrul populației.

Rezumat 1: răspunsuri adaptive în timpul episoadelor de învățare

Caracteristicile răspunsurilor la dopamină la stimulii asociați recompenselor sunt ilustrate cel mai bine în episoadele de învățare în timpul cărora recompensele sunt deosebit de importante pentru obținerea de răspunsuri comportamentale. Semnalul de recompensă dopamină suferă modificări sistematice în timpul progresului învățării și apare la cel mai timpuriu stimul legat de recompensă fazică, acesta fiind fie o recompensă primară, fie un stimul predictiv al recompenselor (Ljungberg și colab. 1992; Mirenowicz și Schultz 1994). În timpul învățării, noii stimuli neutri intrinsec induc tranzitorii răspunsuri care slăbesc curând și dispar (Fig. 4). Recompensele primare apar imprevizibil în timpul împerecherii inițiale cu astfel de stimuli și provoacă activări neuronale. Odată cu împerecherea repetată, recompensele devin prezise de stimuli condiționați. Activările după recompensă scad treptat și sunt transferate la stimulul condiționat, care prezice recompensele. Dacă totuși, o recompensă prevăzută nu reușește să apară din cauza unei erori a animalului, neuronii dopaminici sunt deprimați în momentul în care s-ar fi produs recompensa. În timpul învățării repetate a sarcinilor (Schultz și colab. 1993) sau componente ale sarcinii (Hollerman și Schultz 1996), primii stimuli condiționați activează neuronii dopaminei în toate fazele de învățare, din cauza generalizării la stimuli similari învățați anterior, în timp ce stimulii condiționați ulterior și recompensele primare activează neuronii dopaminici doar în timp ce sunt incerti și sunt stabilite contingențe noi.

Rezumat 2: stimuli eficienți pentru neuronii dopaminici

Răspunsurile dopaminei sunt determinate de trei categorii de stimuli. Prima categorie cuprinde recompense primare și stimuli care au devenit predictori valoroși ai recompenselor prin împerecherea repetată și contingentă cu recompense. Acești stimuli formează o clasă comună de stimuli de predicție explicită a recompenselor, deoarece recompensele primare servesc ca predictori ai efectelor vegetative răsplătitoare. Stimulii eficienți au aparent o componentă de alertă, întrucât sunt eficienți doar stimulii cu debut clar. Neuronii Dopamina prezintă activări pure în urma stimulilor expliciti de predicție a recompenselor și sunt deprimați atunci când o recompensă prevăzută, dar omisă, nu reușește să apară (Fig. 5, top).

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 5. 

Afișarea schematică a răspunsurilor neuronilor dopaminei la tipurile 2 de stimuli condiționați. Top: prezentarea unui stimul explicit de predicție a recompensei duce la activarea după stimul, niciun răspuns la recompensa prevăzută și depresie atunci când o recompensă prevăzută nu apare. De jos: prezentarea unui stimul care seamănă strâns cu un stimul condiționat, care prevede recompensa duce la activarea urmată de depresie, activarea după recompensă și niciun răspuns atunci când nu apare nicio recompensă. Activarea după stimul reflectă probabil generalizarea răspunsului din cauza asemănării fizice. Acest stimul nu prezice explicit o recompensă, ci este legat de recompensă prin asemănarea cu stimulul care prezice recompensa. În comparație cu stimulii de predicție explicită a recompenselor, activările sunt mai scăzute și sunt adesea urmate de depresii, astfel discriminând între stimuli condiționați (CS +) și stimulați nerecomandați (CS-). Această schemă rezumă rezultatele experimentelor anterioare și actuale (Hollerman și Schultz 1996; Ljungberg și colab. 1992; Mirenowicz și Schultz 1996; Schultz și Romo 1990; Schultz și colab. 1993; P. Waelti și W. Schultz, rezultate nepublicate).

A doua categorie cuprinde stimuli care generează răspunsuri generalizante. Acești stimuli nu prezic în mod explicit recompense, dar sunt eficienți datorită similitudinii lor fizice cu stimulii care au devenit predictori de recompensă explicită prin condiționare. Acești stimuli induc activări cu o mărime mai mică și implică mai puțini neuroni, în comparație cu stimuli expliciți care prezic recompensă (Fig. 5, de jos). Sunt urmate frecvent de depresii imediate. În timp ce activarea inițială poate constitui un răspuns apetisant generalizat care semnalează o posibilă recompensă, depresia ulterioară poate reflecta predicția de nicio recompensă într-un context general de predicție a recompenselor și poate anula presupunerea eronată a recompensei. Lipsa predicției explicite a recompensei este sugerată în continuare de prezența activării după recompensă primară și absența depresiei fără recompensă. Împreună cu răspunsurile la stimuli care prezic recompensă, se pare că activările dopaminei raportează o „etichetă” apetisantă pe stimuli care au legătură cu recompensele.

A treia categorie cuprinde stimuli noi sau deosebit de importanți care nu sunt neapărat legați de recompense specifice. Prin stimularea reacțiilor de orientare comportamentală, acești stimuli atrag atenția și comandă atenția. Cu toate acestea, au și funcții de motivare și pot fi satisfăcătoare (Fujita 1987). Stimulii noi sunt potențial apetitivi. Stimulii noi sau deosebit de importanți induc activări care sunt frecvent urmate de depresii, similare cu răspunsurile la stimuli generalizatori.

Astfel, răspunsurile fazice ale neuronilor dopaminei raportează evenimente cu efecte de motivare pozitive și potențial pozitive, cum ar fi recompense primare, stimuli care prevăd recompensă, evenimente asemănătoare recompenselor și stimuli de alertă. Cu toate acestea, nu detectează în mare măsură evenimente cu efecte motivaționale negative, cum ar fi stimuli aversivi.

Rezumat 3: semnal de eroare de predicție a recompensei dopaminei

Răspunsurile dopaminei la evenimentele explicite legate de recompensă pot fi cel mai bine conceptualizate și înțelese în termenii teoriilor formale ale învățării. Neuronii Dopamine raportează recompense în raport cu predicția lor, mai degrabă decât să semnalizeze recompense primare necondiționat (Fig. 2). Răspunsul la dopamină este pozitiv (activare) atunci când apar recompense primare, fără a fi prezis. Răspunsul este nul atunci când apar recompense așa cum s-a prevăzut. Răspunsul este negativ (depresia) atunci când sunt omise recompensele preconizate. Astfel neuronii dopamină raportează recompense primare în funcție de diferența dintre apariția și predicția recompensei, ceea ce poate fi denumită o eroare în predicția recompensei (Schultz și colab. 1995b, 1997) și este formalizat tentativ ca

Ecuația 1 Această sugestie poate fi extinsă la evenimentele apetitive condiționate, care sunt, de asemenea, raportate de neuronii dopaminici în raport cu predicția. Astfel, neuronii dopaminici pot raporta o eroare în prezicerea tuturor evenimentelor apetitive și Eq. 1 poate fi precizat în forma mai generală

Ecuația 2Această generalizare este compatibilă cu ideea că majoritatea recompenselor sunt stimuli condiționați. Cu mai multe evenimente consecutive, bine stabilite care prezic recompense, doar primul eveniment este imprevizibil și provoacă activarea dopaminei.

Originea răspunsului la dopamină

Care intrări anatomice ar putea fi responsabile pentru selectivitatea și natura polisenzorială a răspunsurilor la dopamină? Ce activitate de intrare ar putea duce la codificarea erorilor de predicție, a induce transferul de răspuns adaptiv la cel mai devreme eveniment apetisant și neprevăzut timp de recompensă?

Dopamina influențează fazic asupra structurilor țintă

NATURA GLOBALĂ A SEMNALULUI DOPAMINEI.

Proiecții divergente. Există neuroni amine8,000 dopamină în fiecare substanță nigra de șobolani (Oorschot 1996) și 80,000 – 116,000 în maimuțele macaque (German și colab. 1988; Percheron și colab. 1989). Fiecare striatum conține ∼2.8 milioane de neuroni la șobolani și 31 milioane la macaci, ceea ce duce la un factor de divergență nigrostriatală a 300-400. Fiecare axon de dopamină se ramifică din abundență într-o zonă terminală limitată în striat și are varicozități ria500,000 striatale din care este eliberată dopaminaAndén și colab. 1966). Aceasta duce la aportul de dopamină la aproape fiecare neuron striatal (Groves și colab. 1995) și o proiecție moderat topografică nigrostriatală (Lynd-Balta și Haber 1994). Inervația corticală a dopaminei la maimuțe este cea mai ridicată în zonele 4 și 6, este încă importantă în lobii frontali, parietali și temporari și este cea mai mică în lobul occipital (Berger și colab. 1988; Williams și Goldman-Rakic ​​1993). Sinapsele de dopamină corticală se găsesc predominant în straturile I și V-VI, care intră în contact cu o proporție mare de neuroni corticali. Împreună cu natura răspunsului destul de omogen, aceste date sugerează că răspunsul la dopamină avansează ca o undă simultană, paralelă de activitate, de la nivelul creierului central până la striat și cortexul frontal (Fig. 7).

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 7. 

Semnal global de dopamină care avansează spre striatum și cortex. Răspunsul relativ relativ omogen al majorității neuronilor dopaminei la stimuli apetitivi și de alertă și progresia acestuia de la substantia nigra la structurile postsinaptice poate fi privit schematic ca o undă de activitate paralelă sincronă care avansează la o viteză de 1-2 m / s (Schultz și Romo 1987) de-a lungul proiecțiilor divergente de la nivelul creierului mijlociu la striatum (caudat și putamen) și cortex. Răspunsurile sunt indistinguibile calitativ între neuronii substanței nigra (SN) pars compacta și zona tegmentală ventrală (VTA). Inervarea dopaminei tuturor neuronilor din striatum și a multor neuroni din cortexul frontal ar permite semnalului de întărire a dopaminei să exercite un efect destul de global. Wave a fost comprimat pentru a sublinia natura paralelă.

Eliberare de dopamină. Impulsurile neuronilor dopaminei la intervale de 20-100 ms duc la o concentrație de dopamină mult mai mare în striat decât același număr de impulsuri la intervale de 200 ms (Garris și Wightman 1994; Gonon 1988). Această neliniaritate se datorează în principal saturației rapide a transportorului de recaptare a dopaminei, care elimină dopamina eliberată din regiunea extrasinaptică (Chergui și colab. 1994). Același efect se observă și în nucleus accumbens (Wightman și Zimmerman 1990) și apare chiar și cu intervale de impuls mai lungi din cauza locurilor de recaptare mai reduse (Garris și colab. 1994b; Marshall și colab. 1990; Stamford și colab. 1988). Eliberarea dopaminei după o explozie de impuls <300 ms este prea scurtă pentru a activa reducerea eliberării mediată de autoreceptor (Chergui și colab. 1994) sau degradarea enzimatică și mai lentă (Michael și colab. 1985). Astfel, un răspuns al dopaminei explozive este deosebit de eficient pentru eliberarea dopaminei.

Estimările bazate pe voltammetrie in vivo sugerează că un singur impuls eliberează molecule de dopamină ∼1,000 la sinapsele din striatum și nucleu accumbens. Aceasta duce la concentrații de dopamină sinaptică imediată de 0.5 – 3.0 μM (Garris și colab. 1994a; Kawagoe și colab. 1992). La 40 μs după debutul eliberării,> 90% din dopamină a părăsit sinapsa, unele din rest fiind ulterior eliminate prin recaptare sinaptică (timpul de debut la jumătate de 30-37 ms). La 3-9 ms după debutul eliberării, concentrațiile de dopamină ating un vârf de ± 250 nM atunci când toate varicozitățile învecinate eliberează simultan dopamină. Concentrațiile sunt omogene într-o sferă de 4 μm diam (Gonon 1997), care este distanța medie între varicozități (Doucet și colab. 1986; Groves și colab. 1995). Difuzia maximă este restricționată la 12 μm de către transportorul de recaptare și este atinsă în 75 ms după debutul eliberării (timpul de declanșare a jumătății transportorului de 30-37 ms). Concentrațiile ar fi ușor mai mici și mai puțin omogene în regiunile cu mai puține varicozități sau atunci când <100% din neuronii dopaminei sunt activate, dar sunt de două până la trei ori mai mari cu explozii de impuls. Astfel, activările explozive ușor sincrone, induse de recompensă, în aproximativ 75% din neuronii dopaminergici pot duce la vârfuri de concentrație destul de omogene în ordinea 150-400 nM. Creșterile totale ale dopaminei extracelulare durează 200 ms după un singur impuls și 500-600 ms după impulsuri multiple cu intervale de 20-100 ms aplicate pe parcursul a 100-200 ms (Chergui și colab. 1994; Dugast și colab. 1994). Transportor extrasinaptic de recaptare (Nirenberg și colab. 1996) readuce ulterior concentrațiile de dopamină la nivelul lor inițial de 5 – 10 nM (Herrera-Marschitz și colab. 1996). Astfel, spre deosebire de neurotransmisia clasică, strict sinaptică, dopamina eliberată sinaptic difuzează rapid în zona juxtasinaptică imediată și atinge vârfuri scurte ale concentrațiilor extracelulare omogene din regiune.

Receptorii. Dintre cele două tipuri principale de receptori de dopamină, receptorii de activare a adenilatului ciclazei, receptorii de tip D1 constituie ∼80% de receptori de dopamină în striat. Dintre acestea 80% se află în starea de afinitate scăzută a 2 – 4 μM și 20% în starea de afinitate înaltă a 9 – 74 nM (Richfield și colab. 1989). Restul de 20% din receptorii striatali de dopamină aparțin tipului D2 inhibitor de adenilază ciclază din care 10-0% sunt în stare de afinitate scăzută și 80-90% în stare de afinitate ridicată, cu afinități similare ca receptorii D1. Astfel, receptorii D1 în general au o afinitate de ∼100 ori mai mică decât receptorii D2. Receptorii Striatali D1 sunt localizați cu precădere pe neuronii proiecți la pallidum intern și substanța nigra pars reticulata, în timp ce receptorii D2 striatali sunt localizați mai ales pe neuroni proiecți la palidum extern (Bergson și colab. 1995; Gerfen și colab. 1990; Hersch și colab. 1995; Levey și colab. 1993). Cu toate acestea, diferențele de sensibilitate ale receptorilor nu pot juca un rol dincolo de transducția semnalului, reducând astfel diferențele de sensibilitate la dopamină între cele două tipuri de neuroni de ieșire striatală.

Dopamina este eliberată în 30-40% din sinaptic și în 60-70% din varicozitățile extrasinaptice (Descarries și colab. 1996). Dopamina eliberată sinaptic acționează asupra receptorilor dopaminei postsinaptice la patru situri anatomice distincte din striatum, și anume în interiorul sinapselor dopaminei, imediat adiacentă sinapselor dopaminei, în interiorul sinapselor cu glutamat corticostriatal și la siturile extrasinaptice îndepărtate de siturile de eliberare (Fig. 8) (Levey și colab. 1993; Sesack și colab. 1994; Yung și colab. 1995). Receptorii D1 sunt localizați în principal în afara sinapselor de dopamină (Caillé și colab. 1996). Concentrațiile tranzitorii mari de dopamină după izbucniri de impulsuri fazice ar activa receptorii D1 în imediata apropiere a locurilor de eliberare activă și ar activa și chiar satura receptorii D2 de pretutindeni. Receptorii D2 ar rămâne parțial activați atunci când concentrația de dopamină ambientală revine la nivelul inițial după creșterea fazică.

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 8. 

Influențe de eliberare de dopamină asupra neuronilor tipici medii spinoși în striatul dorsal și ventral. Dopamina eliberată de impulsuri de la varicozitățile sinaptice activează câțiva receptori sinaptici (probabil de tip D2 în stare de afinitate scăzută) și se difuzează rapid din sinapsă pentru a ajunge la receptorii de tip D1 de afinitate scăzută (D1?), Care se află în apropiere, în cadrul sinapselor corticostriatale , sau la distanță limitată. Dopamina crescută din punct de vedere fazic activează receptorii de tip D2 de înaltă afinitate până la saturație (D2?). Receptorii D2 rămân parțial activați de concentrațiile de dopamină ambientală după eliberarea treptat crescută. Dopamina eliberată extrasinaptic se poate dilua prin difuzie și poate activa receptorii D2 de înaltă afinitate. Trebuie menționat că, în funcție de această diagramă schematică, majoritatea receptorilor D1 și D2 sunt localizați pe diferiți neuroni. Glutamatul eliberat din terminalele corticostriatale ajunge la receptorii postsinaptici localizați pe aceleași coloane dendritice ca varicozitățile dopaminei. Glutamatul atinge, de asemenea, varicozități dopaminice presinaptice unde controlează eliberarea dopaminei. Influențele dopaminei asupra neuronilor spinoși din cortexul frontal sunt comparabile în multe privințe.

Rezumat. Răspunsul observat, moderat, de scurtă durată, aproape sincron, al majorității neuronilor dopaminei duce la eliberarea optimă și simultană a dopaminei din majoritatea varicozelor striatale strâns distanțate. Răspunsul neuronal induce un puf scurt de dopamină care este eliberat din siturile extrasinaptice sau difuzează rapid de sinapsele în zona juxtasinaptică. Dopamina atinge rapid concentrații omogene din punct de vedere regional, care pot influența dendritele probabil tuturor striatilor și multor neuroni corticali. În acest fel, mesajul de recompensă din 60-80% dintre neuronii dopaminici este transmis ca un semnal de armare divergent, mai degrabă global, către striatum, nucleus accumbens și cortexul frontal, asigurând o influență fazică asupra unui număr maxim de sinapse implicate în procesare de stimuli și acțiuni care duc la recompensare (Fig. 7). Dopamina eliberată prin activări neuronale după recompense și stimuli care prevăd recompense ar afecta receptorii juxtasinaptici D1 pe neuronii striatali care se proiectează spre pallidum intern și substania nigra pars reticulata și toți receptorii D2 pe neuronii care se proiectează spre palidum extern. Reducerea eliberării de dopamină indusă de depresii cu recompense omise și stimuli care prevăd recompensă ar reduce stimularea tonică a receptorilor D2 de către dopamina ambientală. Astfel, erorile de predicție pozitivă de recompensă ar influența toate tipurile de neuroni de ieșire striatală, în timp ce eroarea de predicție negativă ar putea influența preponderent neuronii care se proiectează spre palidum extern.

Posibile mecanisme de cocaină. Blocarea transportorului de recaptare a dopaminei prin medicamente precum cocaina sau amfetamina îmbunătățește și prelungește creșterea fazică a concentrațiilor de dopamină (Church și colab. 1987a; Giros și colab. 1996; Suaud-Chagny și colab. 1995). Îmbunătățirea ar fi deosebit de pronunțată atunci când creșterea rapidă, provocată de explozie, a concentrației de dopamină atinge un vârf înainte ca reglarea feedbackului să devină efectivă. Acest mecanism ar duce la un semnal de dopamină sporit masiv după recompense primare și stimuli care prezic recompensă. De asemenea, acesta ar crește semnalul de dopamină oarecum mai slab după stimulii care seamănă cu recompense, stimuli noi și în special stimulenți deosebit de pot fi frecventi în viața de zi cu zi. Îmbunătățirea cu cocaină ar permite ca acești stimuli nerecomandanți să apară la fel de puternici sau chiar mai puternici decât recompensele naturale fără cocaină. Neuronii post-sinaptici ar putea interpreta greșit un astfel de semnal ca un eveniment deosebit de important legat de recompensă și suferă modificări pe termen lung în transmiterea sinaptică.

Teorii de învățare

Algoritmi de întărire

INVATAREA DIFERINȚEI TEMPORALE

Într-o clasă deosebit de eficientă de algoritmi de armare (Sutton 1988; Sutton și Barto 1981), greutățile sinaptice sunt modificate în funcție de eroarea din predicția de armare calculată în pași de timp consecutivi (t) în fiecare proces

rˆ(t)=r(t)+P(t)-P(t-l)

Ecuația 6 undeva r este întărire și P este previziune de întărire. P (t) este de obicei multiplicat cu un factor de reducere γ cu 0 ≤ γ <1 pentru a ține cont de influența descrescătoare a recompenselor din ce în ce mai îndepărtate. Din motive de simplitate, γ este setat la 1 aici. În cazul unui singur stimul care prezice un singur întăritor, predicția P(t - 1) există înainte de timp t de armare, dar se încheie în momentul armării [P (t) = 0]. Acest lucru duce la un semnal eficient de armare la momentul respectiv (T) de întărire

rˆ (t)=r(t)-P(t-l)

Ecuația 6a r(t) termenul indică diferența dintre întărirea reală și cea prevăzută. În timpul învățării, armarea este prevăzută complet, termenul de eroare este pozitiv atunci când apare întărirea, iar ponderile sinaptice sunt crescute. După învățare, consolidarea este prevăzută complet de un stimul precedent [P(t - 1) = r(t)], termenul de eroare este nul pe un comportament corect, iar greutățile sinaptice rămân neschimbate. Atunci când armarea este omisă din cauza performanței inadecvate sau a contingențelor modificate, eroarea este negativă și greutățile sinaptice sunt reduse. r(t) termenul este analog cu (λ-V) termenul de eroare al modelului Rescorla-Wagner (Eq. 4 ). Cu toate acestea, se referă la etapele individuale (t) în cadrul fiecărui proces, mai degrabă decât predicțiile care evoluează în timpul încercărilor consecutive. Aceste modele temporale de armare valorifică faptul că predicțiile dobândite includ timpul exact al întăririi (Dickinson și colab. 1976; Gallistel 1990; Smith 1968).

Algoritmii diferenței temporale (TD) utilizează, de asemenea, predicții dobândite pentru schimbarea greutăților sinaptice. În cazul unui stimul neprevăzut, unic condiționat, care prezice un singur întăritor, prezicerea P (t) începe la timp (T), nu există nicio predicție precedentă [P(t - 1) = 0], iar armarea nu a avut loc încă [r(t) = 0]. Conform Eq. 6, modelul emite un semnal de întărire efectiv pur predictiv la momentul respectiv (t) a prezicerii

rˆ=P(t)

Ecuația 6b În cazul mai multor stimuli predictivi consecutivi, din nou, cu armare absentă la momentul predicțiilor, semnalul de armare efectiv la momentul respectiv (T) a prezicerii reflectă diferența dintre prezicerea curentă P (t) și predicția precedentă P(t - 1)

rˆ=P(t)-P(t-l)

Ecuația 6cAceasta constituie un termen de eroare de consolidare a ordinelor superioare. Similar cu armatoarele prezise complet, toți stimulii predictivi înșiși sunt anticipați complet [P(t - 1) = P(t)], Rezultând r = 0 la ore (T) dintre acești stimuli. Doar cel mai timpuriu stimul predictiv contribuie la semnalul de întărire eficient, ca și acest stimul P (t) nu este prezis de un alt stimul [P(t - 1) = 0]. Aceasta rezultă la fel r = P (t) atunci (T) a primei predicții ca în cazul unei singure predicții (Eq. 6b).

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 9. 

Arhitecturi de bază ale modelelor de rețele neuronale care implementează algoritmi de diferență temporală în comparație cu conectivitatea ganglionilor bazali. A: în implementarea inițială, semnalul de predare eficient y - ȳ este calculat în modelul neuronului A și trimis la terminalele presinaptice de intrări x la neuron B, influențând astfel x → B procesarea și schimbarea greutăților sinaptice la x → B sinapsă. Neuron B influențează ieșirea comportamentală prin axon y și în același timp contribuie la proprietățile adaptive ale neuronului A, și anume răspunsul său la stimulii care prevăd consolidarea. Implementări mai recente ale acestei arhitecturi simple folosesc neuron A mai degrabă decât neuron B pentru emiterea unei ieșiri O a modelului (Montague și colab. 1996; Schultz și colab. 1997). Reedit din Sutton și Barto (1981) cu permisiunea Asociației Psihologice Americane. B: implementarea recentă separă componenta de predare A, numit criticul (dreapta), dintr-o componentă de ieșire compusă din mai multe unități de procesare B, l-a numit actorul (stânga). Semnal de armare eficient r(t) se calculează scăzând diferența temporală în predicția γ de armare ponderatăP(t) - P(t - 1) din armătură primară r(t) primite din mediu (γ este factorul de reducere care reduce valoarea armăturilor mai îndepărtate). Predicția armatorului este calculată într-o unitate de predicție separată C, care face parte din critic și formează o buclă închisă cu elementul didactic A, întrucât întărirea primară intră în critică printr-o intrare separată r_t. Semnalul de armare eficient influențează greutățile sinaptice la axonii de intrare în actor, care mediază ieșirea și în unitatea de predicție adaptivă a criticului. Reedit din Barto (1995) cu permisiunea MIT Press. C: conectivitatea de bază a ganglionilor bazali relevă asemănări izbitoare cu arhitectura actor-critic. Proiecția de dopamină emite semnalul de armare la striat și este comparabilă cu unitatea A În părți A și B, striatul limbic (sau striosome-patch) ia poziția unității de predicție C în critic, iar senzorimotorul striatum (sau matrice) seamănă cu unitățile actorului B. În modelul inițial (A), abaterea majoră unică de la anatomia ganglionilor bazali consistați constă în influența neuronului A fiind direcționată către terminalele presinaptice, în timp ce sinapsele dopaminice sunt localizate pe dendritele postsinaptice ale neuronilor striatali (Freund și colab. 1984). Reedit din Smith și Bolam (1990) cu permisiunea Elsevier Press.

Luate împreună, semnalul de armare eficient (Eq. 6 ) este compus din armatura primară, care scade odată cu predicțiile emergente (Eq. 6a) și este înlocuit treptat de predicțiile dobândite (SCM. 6b și 6c). Cu stimuli predictivi consecutivi, semnalul efectiv de armare se deplasează înapoi în timp, de la armătura primară la cel mai timpuriu stimul predictor de consolidare. Transferul retrograd are ca rezultat o alocare mai specifică a creditului către sinapsele implicate, deoarece previziunile apar mai aproape în timp de stimulii și reacțiile comportamentale care urmează să fie condiționate, în comparație cu întărirea la sfârșitul încercării (Sutton și Barto 1981).

Implementarea algoritmilor de învățare la armare utilizează eroarea de predicție în două moduri, pentru schimbarea greutăților sinaptice pentru ieșirea comportamentală și pentru însușirea predicțiilor în sine pentru a calcula în mod continuu eroarea de predicție (Fig. 9 A) (McLaren 1989; Sutton și Barto 1981). Aceste două funcții sunt separate în implementări recente, în care eroarea de predicție este calculată în componenta adaptativă critică și schimbă greutățile sinaptice din componența actorului care mediază ieșirea comportamentală (Fig. 9 B) (Barto 1995). O eroare pozitivă crește predicția de întărire a criticului, în timp ce o eroare negativă din armatura omisă reduce predicția. Acest lucru face ca semnalul de armare eficient să fie foarte adaptabil.

Implementări neurobiologice ale învățării diferențelor temporale

APLICĂRI PENTRU PROBLEME NEUROBIOLOGICE.

Deși inițial dezvoltate pe baza modelului Rescorla-Wagner de condiționare clasică, modelele care folosesc algoritmi TD învață o mare varietate de sarcini comportamentale prin forme esențial instrumentale de condiționare. Aceste sarcini pot ajunge de la echilibrarea unui stâlp pe o roată de căruță (Barto și colab. 1983) pentru a juca backgammonul clasei mondiale (Tesauro 1994). Roboții care folosesc algoritmii TD învață să se miște în spațiul bidimensional și să evite obstacolele, să atingă și să înțeleagă (Fagg 1993) sau introduceți o țepă într-o gaură (Gullapalli și colab. 1994). Utilizarea semnalului de armare TD pentru a influența și selecta direct comportamentul (Fig. 9 A), Modelele TD reproduc comportamentul de hrănire a albinelor (Montague și colab. 1995) și simulează luarea deciziilor umane (Montague și colab. 1996). Modelele TD cu o arhitectură explicită a actorului critic constituie modele foarte puternice care învață eficient mișcările ochilor (Friston și colab. 1994; Montague și colab. 1993), mișcări secvențiale (Fig. 10) și orientarea reacțiilor (Contreras-Vidal și Schultz 1996). Un model recent a adăugat semnale de noutate de activare-deprimare pentru îmbunătățirea semnalului de predare, a folosit urme de stimulare și acțiune în critic și actor și a folosit reguli câștigătoare-pentru a îmbunătăți semnalul de predare și pentru selectarea neuronilor actorului cu cea mai mare activare. Aceasta a reprodus în detaliu atât răspunsurile neuronilor dopaminei, cât și comportamentul de învățare a animalelor în sarcinile cu răspuns întârziat (Suri și Schultz 1996). Este deosebit de interesant de observat că semnalele de predare care utilizează erori de predicție au ca rezultat o învățare mai rapidă și mai completă în comparație cu semnalele de întărire necondiționate (Fig. 10) (Friston și colab. 1994).

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 10. 

Avantajul semnalelor de întărire predictivă pentru învățare. Un model de diferență temporală cu arhitectura actorului critic și urmărirea eligibilității în actor a fost instruit într-o sarcină de alegere secvențială 2 pas-3 (introduceți stânga sus). Învățarea a avansat mai repede și a obținut performanțe mai mari atunci când a fost utilizat un semnal de întărire predictivă ca semnal de predare (critic adaptiv, top) în comparație cu utilizarea unui semnal de armare necondiționat la sfârșitul încercării (de jos). Acest efect devine progresiv mai accentuat cu secvențe mai lungi. Performanțele comparabile cu semnalul de armare necondiționată ar necesita o urmă de eligibilitate mult mai lungă. Datele au fost obținute din simulări 10 (R. Suri și W. Schultz, observații nepublicate). O îmbunătățire similară a învățării cu întărire predictivă a fost găsită într-un model de comportament oculomotor (Friston și colab. 1994).

Posibile mecanisme de învățare folosind semnalul de dopamină

Secțiunea precedentă a arătat că semnalul de eroare de predicție formal emis de răspunsul dopaminei poate constitui un semnal de învățare deosebit de potrivit pentru învățarea modelelor. Următoarele secțiuni descriu modul în care răspunsul biologic al dopaminei ar putea fi utilizat pentru învățarea de către structurile ganglionilor bazali și sugerează ipoteze testabile.

PLASTICITATEA POSTSINAPTICĂ MEDIATĂ PRIN SEMNALUL PREDICȚIEI REPARATE.

Învățarea va continua în doi pași. Primul pas implică achiziția unui răspuns de predicție a recompensei dopaminei. În studiile ulterioare, semnalul de dopamină predictivă ar consolida în mod specific greutățile sinaptice (ω) ale sinapselor corticostriatale de tip Hebbian, care sunt active la momentul stimulării de a recompensa, în timp ce sinapsele corticostriatale inactive sunt lăsate neschimbate. Aceasta duce la regula celor trei factori de învățare

Δω=ɛ rˆ i o

Ecuația 8 undeva r este semnal de întărire a dopaminei, i este activitate de intrare, o este activitate de ieșire și ɛ este rata de învățare.

Într-un model simplificat, patru intrări corticale (i1 – i4) intră în contact cu coloanele dendritice ale celor trei neuroni striatici spinoși de mărime medie (o1 – o3; Fig. 11). Intrările corticale converg asupra neuronilor striatali, fiecare intrare contactând o coloană vertebrală diferită. Aceeași coloană vertebrală sunt contactate în mod neselectiv de o intrare comună de dopamină R. Activarea aportului de dopamină R indică faptul că în mediul înconjurător a avut loc un stimulent neprevăzut de a recompensa recompensa, fără a oferi detalii suplimentare (semnal de bunătate). Să presupunem că aportul cortical i2 este activat simultan cu neuronii dopaminici și codifică unul dintre mai mulți parametri specifici aceluiași stimul care prezice recompensă, cum ar fi modalitatea sa senzorială, latura corpului, culoarea, textura și poziția sau un parametru specific al unei mișcări declanșat de stimul. Un set de parametri ai acestui eveniment ar fi codat de un set de intrări corticale i2. Intrările corticale i1, i3 și i4 care nu au legătură cu stimulii și mișcările actuale sunt inactive. Răspunsul dopaminei duce la eliberarea neselectivă a dopaminei la toate varicozitățile, dar ar întări selectiv doar sinapsele corticostriatale active i2 – o1 și i2 – o2, cu condiția ca aporturile corticale să fie suficient de puternice pentru a activa neuronii striatali o1 și o2.

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 11. 

Influențe diferențiale ale unui semnal global de întărire a dopaminei asupra activității selective a corticostriatului. Coloanele vertebrale dendritice ale neuronilor striatali spini de dimensiuni medii 3 o1, o2 și o3 sunt contactate de inputuri corticale 4 i1, i2, i3 și i4 și prin varicozități axonale dintr-o neuronă dopamină neogenă R (sau de la o populație activată) ). Fiecare neuron striatal primește ∼10,000 corticale și 1,000 dopamine. La spine dendritice unice, diferite inputuri corticale converg cu aportul de dopamină. În versiunea 1 a modelului, semnalul de dopamină îmbunătățește transmisia corticostriatală simultană activă în raport cu transmisia nonactivă. De exemplu, aportul de dopamină R este activ în același timp cu intrarea corticală i2, în timp ce i1, i3, i4 sunt inactive. Aceasta duce la o modificare a transmisiei i2 → o1 și i2 → o2, dar lasă transmisiile i1 → o1, i3 → o2, i3 → o3 și i4 → o3. Într-o versiune a modelului care folosește plasticitate, greutățile sinaptice ale sinapselor corticostriatale sunt modificate pe termen lung prin semnalul de dopamină conform aceleiași reguli. Acest lucru poate apărea atunci când răspunsurile dopaminei la un stimul condiționat acționează asupra sinapselor corticostriatale care sunt de asemenea activate de acest stimul. Într-o altă versiune care folosește plasticitate, răspunsurile dopaminei la o recompensă primară pot acționa înapoi în timp asupra sinapselor corticostriatale care au fost anterior active. Aceste sinapsele ar fi eligibile pentru modificare printr-o ipotetică urmă neuronală postsinaptică rămasă din acea activitate. În compararea structurii ganglionilor bazali cu modelul TD recent al Fig. 9 B, aportul de dopamină R reproduce criticul cu neuron A, striatul cu neuroni o1 – o3 replică actorul cu neuron B, intrări corticale i1 – i4 replică intrarea actorului, iar proiecția divergentă a neuronilor dopaminelor R pe spine multiple ale neuronilor striatali multipli o1 – o3 replică influența globală a criticului asupra actorului. O comparație similară a fost făcută de Houk și colab. (1995). Acest desen se bazează pe date anatomice de Freund și colab. (1984), Smith și Bolam (1990), Flaherty și Graybiel (1993), și Smith și colab. (1994).

Acest mecanism de învățare folosește răspunsul dobândit de dopamină la momentul stimulării care prezice recompensele ca un semnal didactic pentru inducerea unor schimbări sinaptice de lungă durată (Fig. 12 A). Învățarea stimulului predictiv sau a mișcării declanșate se bazează pe achiziția demonstrată a răspunsului de dopamină la stimulul care prezice recompensă, împreună cu plasticitatea dependentă de dopamină în striat. Modificările de plasticitate pot apărea în mod alternativ în structurile corticale sau subcorticale în aval de striatum după îmbunătățirea pe termen scurt a mediatiei dopaminei de transmitere sinaptică în striatum. Efectele retroactive ale recompensei asupra stimulilor și mișcărilor anterioare recompensei sunt mediate de transferul de răspuns la cel mai timpuriu stimul prezicător. Răspunsul de dopamină la recompensa primară prevăzută sau omisă nu este utilizat pentru modificările de plasticitate ale striatului, deoarece nu apare simultan cu evenimentele care urmează să fie condiționate, deși ar putea fi implicat în calcularea răspunsului dopaminei la stimulul care prezice recompensa în analogie cu arhitectura și mecanismul modelelor TD.

• Descărcați cifra
• Deschideți în fila nouă
• Descărcați powerpoint

Fig. 12. 

Influențele semnalului de consolidare a dopaminei asupra posibilelor mecanisme de învățare în striatum. A: răspunsul predictiv al recompensei dopaminei la un stimul condiționat (CS) are un efect direct de îmbunătățire sau de plasticitate asupra neurotransmisiei striatice legate de acel stimul. B: răspunsul dopaminei la recompensă primară are un efect de plasticitate retrogradă asupra neurotransmisiei striatice în legătură cu stimulul condiționat anterior. Acest mecanism este mediat printr-o urmă de eligibilitate care depășește activitatea striatică. Săgețile solide indică efectele directe ale semnalului de dopamină asupra neurotransmisiei striatale (A) sau urmele de eligibilitate (B), săgeată mică înăuntru B indică un efect indirect asupra neurotransmisiei striatale prin urmele de eligibilitate.

Stimularea electrică a neuronilor dopaminici ca stimul necondiționat

Stimularea electrică a regiunilor circumscrise creierului servește în mod fiabil ca întărire pentru dobândirea și susținerea comportamentului de abordare (Olds și Milner 1954). Unele site-uri de auto-stimulare foarte eficiente coincid cu corpurile de celule dopaminice și mănunchii de axoni din creierul mijlociu (Corbett și Wise 1980), nucleul accumbens (Phillips și colab. 1975), striatum (Phillips și colab. 1976) și cortexul prefrontal (Mora și Myers 1977; Phillips și colab. 1979), dar se găsesc și în structuri care nu au legătură cu sistemele de dopamină (Alb și Milner 1992). Auto-stimularea electrică implică activarea neuronilor dopaminici (Fibiger și Phillips 1986; 1989 Wise and Rompré) și este redus de leziunile induse de 6-hydroxydopamine ale axonilor dopaminei (Fibiger și colab. 1987; Phillips și Fibiger 1978), inhibarea sintezei dopaminei (Edmonds și Gallistel 1977), inactivarea depolarizării neuronilor dopaminici (Rompré și Wise 1989) și antagoniști ai receptorilor dopaminei administrați sistemic (Furiezos și Wise 1976) sau în nucleu accumbens (Mogenson și colab. 1979). Auto-stimularea este facilitată prin creșterea indusă de cocaină sau de amfetamină a dopaminei extracelulare (Colle and Wise 1980; Stein 1964; Wauquier 1976). Auto-stimularea crește în mod direct utilizarea dopaminei în nucleul accumbens, striatum și cortexul frontal (Fibiger și colab. 1987; Mora și Myers 1977).

Este intrigant să ne imaginăm că impulsurile și eliberarea de dopamină evocate electric pot servi ca stimul necondiționat în învățarea asociativă, similar cu stimularea neuronilor octopaminei în albinele care învață reflexul proboscis (Ciocan 1993). Cu toate acestea, auto-stimularea legată de dopamină diferă în cel puțin trei aspecte importante de activarea naturală a neuronilor dopaminici. În loc să activeze doar neuronii dopaminici, recompensele naturale activează de obicei mai multe sisteme neuronale în paralel și permit codificarea distribuită a diferitelor componente de recompensă (vezi textul suplimentar). În al doilea rând, stimularea electrică se aplică ca întărire necondiționată, fără a reflecta o eroare în predicția recompenselor. În al treilea rând, stimularea electrică este livrată doar ca o recompensă după o reacție comportamentală, mai degrabă decât în ​​momentul unui stimul care prezice recompensă. Ar fi interesant să se aplice auto-stimularea electrică în același mod în care neuronii dopamină emit semnalul lor.

Deficiențe de învățare cu neurotransmisie de dopamină afectată

Multe studii au investigat comportamentul animalelor cu neurotransmisie de dopamină afectată după aplicarea locală sau sistemică a antagoniștilor receptorilor de dopamină sau distrugerea axonilor dopaminei în creierul central ventral, nucleus accumbens sau striatum. Pe lângă observarea deficitelor locomotorii și cognitive care amintesc de parkinsonism, aceste studii au relevat deficiențe în procesarea informațiilor despre recompense. Primele studii au argumentat deficite în percepția subiectivă, hedonică a recompenselor (Wise 1982; Wise și colab. 1978). Experimentarea ulterioară a evidențiat utilizarea afectată a recompenselor primare și a stimulilor apetitivi condiționați pentru abordare și comportament consumator (Beninger și colab. 1987; Ettenberg 1989; Miller și colab. 1990; Salamone 1987; Ungerstedt 1971; Wise and Colle 1984; Înțelept și Rompre 1989). Multe studii au descris deficiențe în procesele motivaționale și atenționale care stau la baza învățării apetitive (Beninger 1983, 1989; Beninger și Hahn 1983; Fibiger și Phillips 1986; LeMoal și Simon 1991; Robbins și Everitt 1992, 1996; Alb și Milner 1992; Wise 1982). Majoritatea deficitelor de învățare sunt asociate cu neurotransmisia dopaminei afectate în nucleul accumbens, în timp ce deficiențele de striat dorsal duc la deficite de senzoriAmalric și Koob 1987; Robbins și Everitt 1992; Alb 1989). Cu toate acestea, învățarea sarcinilor instrumentale în general și în special a proprietăților stimulative discriminatorii par a fi deseori scutite, și nu este în totalitate rezolvat dacă unele dintre deficiențele de învățare aparente pot fi confundate cu deficiențe de performanță motorie (Salamone 1992).

Degenerarea neuronilor dopaminergici în boala Parkinson duce, de asemenea, la o serie de deficite de învățare declarative și procedurale, inclusiv învățarea asociativă (Linden și colab. 1990; Sprengelmeyer și colab. 1995). Deficientele sunt prezente în învățarea încercărilor și a erorilor cu întărire imediată (Vriezen și Moscovitch 1990) și când asociați stimuli expliciți cu rezultate diferite (Knowlton și colab. 1996), chiar și în stadiile incipiente ale bolii Parkinson fără atrofie corticală (Canavan și colab. 1989). De asemenea, pacienții parkinsonieni prezintă percepția de timp afectată (Pastor și colab. 1992). Toate aceste deficiențe apar în prezența tratamentului L-Dopa, care restabilește nivelurile tonice de dopamină striatală fără a reinstala semnale de dopamină fazică.

Aceste studii sugerează că neurotransmisia dopaminei joacă un rol important în procesarea recompenselor pentru comportamentul de abordare și în formele de învățare care implică asocieri între stimuli și recompense, în timp ce o implicare în forme mai instrumentale de învățare ar putea fi pusă la îndoială. Nu este clar dacă aceste deficite reflectă o inactivare comportamentală mai generală datorită stimulării reduse tonic a receptorului dopamină, mai degrabă decât absența unui semnal de recompensă cu dopamină fazică. Pentru a rezolva această întrebare, precum și pentru a elucida mai precis rolul dopaminei în diferite forme de învățare, ar fi util să studiem învățarea în acele situații în care apare efectiv răspunsul dopaminic fazic la stimuli apetitivi.

Forme de învățare mediate posibil de semnalul de dopamină

Caracteristicile răspunsurilor la dopamină și influența potențială a dopaminei asupra neuronilor striatici pot ajuta la delimitarea unora dintre formele de învățare în care ar putea fi implicați neuronii dopaminici. Răspunsurile preferențiale la apetisant, spre deosebire de evenimentele aversive, ar favoriza implicarea în învățarea comportamentului de abordare și mediarea efectelor pozitive de întărire, mai degrabă decât retragerea și pedeapsa. Răspunsurile la recompensele primare în afara sarcinilor și contextelor de învățare ar permite neuronilor dopaminei să joace un rol într-un spectru relativ larg de învățare care implică recompense primare, atât în ​​condiționarea clasică, cât și în cea instrumentală. Răspunsurile la stimuli care prezic recompensă reflectă asociații stimul-recompensă și ar fi compatibile cu implicarea în așteptarea recompensei care stă la baza învățării stimulente generale (Bindra 1968). În schimb, răspunsurile la dopamină nu codifică în mod explicit recompensele ca obiecte, deoarece raportează doar erori în predicția recompenselor. De asemenea, par a fi insensibili la stările motivaționale, defavorizând astfel un rol specific în învățarea stimulativă dependentă de stat a actelor direcționate prin obiectiv (Dickinson și Balleine 1994). Lipsa unor relații clare cu mișcările brațului și ale ochilor ar defavoriza un rol în medierea directă a răspunsurilor comportamentale care urmează stimulii de stimulare. Cu toate acestea, comparațiile dintre descărcările de neuroni individuali și învățarea organismelor întregi sunt intrinsec dificile. La nivel sinaptic, dopamina eliberată treptat ajunge la numeroase dendrite pe probabil fiecare neuron striatal și ar putea astfel să exercite un efect de plasticitate asupra multitudinii de componente comportamentale care implică striatul, care poate include învățarea mișcărilor.

Condițiile specifice în care semnalele de dopamină fazică ar putea juca un rol în învățare sunt determinate de tipurile de stimuli care induc eficient un răspuns la dopamină. În laboratorul animalelor, răspunsurile la dopamină necesită apariția fazică a stimulilor apetitivi, noi sau deosebit de salienti, incluzând recompense primare de nutrienți și stimuli predictori de recompense, în timp ce stimulii aversivi nu joacă un rol major. Răspunsurile de dopamină pot apărea în toate situațiile comportamentale controlate de rezultate fazice și explicite, deși stimuli condiționați de ordin superior și armături secundare nu au fost încă testate. Răspunsurile cu dopamină fazică probabil nu ar juca un rol în formele de învățare care nu sunt mediate de rezultatele care apar fazic, iar răspunsul predictiv nu ar putea contribui la învățare în situații în care nu apar stimuli predictivi fazici, cum ar fi schimbări relativ lente ale contextului . Acest lucru duce la întrebarea interesantă dacă reducerea unor forme de învățare prin leziuni de dopamină sau neuroleptice ar putea pur și simplu să reflecte absența răspunsurilor fazice de dopamină în primul rând, deoarece stimulii eficienți care îi determină nu au fost folosiți.

Implicarea semnalelor de dopamină în învățare poate fi ilustrată printr-un exemplu teoretic. Imaginează-ți răspunsurile la dopamină în timpul achiziției unei sarcini de timp în reacție în serie, când o reacție corectă duce brusc la o recompensă de nutrienți. Răspunsul la recompensă este ulterior transferat la stimuli de predicție a recompenselor progresiv mai devreme. Timpii de reacție se îmbunătățesc în continuare cu o practică prelungită, deoarece pozițiile spațiale ale țintelor devin tot mai previzibile. Deși neuronii dopaminici continuă să răspundă la stimulii de predicție a recompenselor, îmbunătățirea ulterioară a comportamentului s-ar putea datora în principal achiziției procesării predictive a pozițiilor spațiale de către alte sisteme neuronale. Astfel, răspunsurile la dopamină ar apărea în timpul părții inițiale de stimulare a învățării în care subiecții ajung să se apropie de obiecte și să obțină recompense primare și, eventual, condiționate. Aceștia ar fi mai puțin implicați în situații în care progresul învățării depășește inducerea comportamentului de abordare. Acest lucru nu ar restricționa rolul dopaminei la etapele inițiale de învățare, deoarece multe situații necesită să învețe inițial din exemple și să implice abia mai târziu învățarea prin rezultate explicite.

Eroare de predicție

Semnalul de eroare de predicție al neuronilor dopaminici ar fi un indicator excelent al valorii apetitive a evenimentelor de mediu în raport cu predicția, dar nu reușește să discrimineze între alimente, lichide și stimuli de predicție a recompenselor și printre modalitățile vizuale, auditive și somatosenzoriale. Acest semnal poate constitui un mesaj de alertă prin care neuronii postsinaptici sunt informați despre apariția sau omiterea surprinzătoare a unui eveniment satisfăcător sau potențial răsplătitor, fără a indica în continuare identitatea acestuia. Are toate caracteristicile formale ale unui puternic semnal de armare pentru învățare. Cu toate acestea, informațiile despre natura specifică a recompenselor sunt cruciale pentru a determina care dintre obiecte trebuie abordate și în ce mod. De exemplu, un animal flămând ar trebui să se apropie în primul rând de mâncare, dar nu de lichid. Pentru a discrimina relevanța de recompense irelevante, semnalul de dopamină trebuie completat cu informații suplimentare. Experimentele recente de dializă in vivo au arătat o eliberare mai mare de dopamină indusă de alimente la foame decât la șobolani satiați (Wilson și colab. 1995). Această dependență de eliberare de eliberare de dopamină poate să nu implice răspunsuri de impuls, deoarece nu am reușit să găsim dependența clară de unitate cu răspunsurile de dopamină atunci când am comparat între perioadele precoce și cele târzii ale sesiunilor experimentale individuale în timpul cărora animalele s-au satiat fluid (JL Contreras-Vidal și W. Schultz, date nepublicate).

Specificul recompenselor

Informațiile referitoare la recompense lichide și alimentare sunt, de asemenea, procesate în structuri ale creierului, altele decât neuronii dopaminei, cum ar fi striatul dorsal și ventral, nucleul subthalamic, amigdala, cortexul prefrontal dorsolateral, cortexul orbitofrontal și cortexul cingulat anterior. Cu toate acestea, aceste structuri nu par să emită un semnal global de eroare de predicție a recompensei similare cu neuronii dopaminici. În primate, aceste structuri procesează recompense ca. 1) răspunsuri tranzitorii după livrarea recompensei (Apicella și colab. 1991a,b, 1997; Bowman și colab. 1996; Hikosaka și colab. 1989; Niki și Watanabe 1979; Nishijo și colab. 1988; Tremblay și Schultz 1995; Watanabe 1989), 2) răspunsuri tranzitorii la indicii de predicție a recompenselor (Aosaki și colab. 1994; Apicella și colab. 1991b; 1996; Hollerman și colab. 1994; Nishijo și colab. 1988; Thorpe și colab. 1983; Tremblay și Schultz 1995; Williams și colab. 1993), 3) activări susținute în timpul așteptării unor recompense imediat următoare (Apicella și colab. 1992; Hikosaka și colab. 1989; Matsumura și colab. 1992; Schultz și colab. 1992; Tremblay și Schultz 1995), Şi 4) modulări ale activărilor legate de comportament prin recompensă prevăzută (Hollerman și colab. 1994; Watanabe 1990, 1996). Mulți dintre acești neuroni diferențiază bine între recompense alimentare diferite și între recompense lichide diferite. Astfel, ele procesează natura specifică a evenimentului recompensator și pot servi percepția recompenselor. Unele dintre răspunsurile la recompense depind de imprevizibilitatea recompensei și sunt reduse sau absente atunci când recompensa este prevăzută de un stimul condiționat (Apicella și colab. 1997; Matsumoto și colab. 1995; L. Tremblay și W. Schultz, date nepublicate). Aceștia pot procesa predicții pentru recompense specifice, deși nu este clar dacă semnalează erori de predicție, deoarece răspunsurile lor la recompense omise nu sunt cunoscute.

Menținerea performanțelor stabilite

Trei mecanisme neuronale par a fi importante pentru menținerea performanței comportamentale consacrate, și anume detectarea recompenselor omise, detectarea stimulilor de predicție a recompenselor și detectarea recompenselor prezise. Neuronii Dopamina sunt deprimați atunci când sunt omise recompensele preconizate. Acest semnal ar putea reduce eficacitatea sinaptică legată de răspunsurile comportamentale eronate și de a preveni repetarea acestora. Răspunsul dopaminei la stimuli care prezic recompensă este menținut în timpul comportamentului stabilit și, astfel, continuă să servească drept informație avansată. Deși recompensele pe deplin prevăzute nu sunt detectate de neuronii dopaminici, ele sunt prelucrate de sistemele nondopaminergice corticale și subcorticale menționate mai sus. Acest lucru ar fi important pentru evitarea dispariției comportamentului învățat.

Luate împreună, se pare că prelucrarea unor recompense specifice pentru învățare și menținerea comportamentului abordării ar profita puternic dintr-o cooperare între neuronii dopaminici care semnalează apariția sau omisiunea neprevăzută a recompensei și neuronilor în celelalte structuri simultan, indicând natura specifică a recompensei.

Neuronii noradrenalinei

Aproape întreaga populație de neuroni noradrenalină din locus coeruleus la șobolani, pisici și maimuțe arată răspunsuri destul de omogene, activatoare-deprimante bifazice la stimuli vizuali, auditivi și somatosenzoriali care provoacă reacții orientative (Aston-Jones și Bloom 1981; Foote și colab. 1980; Rasmussen și colab. 1986). Sunt deosebit de eficiente evenimentele rare la care animalele acordă atenție, cum ar fi stimulii vizuali într-o sarcină de discriminare ciudată (Aston-Jones și colab. 1994). Neuronii noradrenalinei discriminează foarte bine între evenimentele trezitoare sau motivaționale și neutre. Ei dobândesc rapid răspunsuri la noi stimuli țintă în timpul inversării și își pierd răspunsurile la țintele anterioare înainte de inversarea comportamentului (Aston-Jones și colab. 1997). Răspunsurile apar la eliberarea lichidului în afara oricărei sarcini și se transferă la stimulii țintă care prezic recompense în cadrul unei sarcini, precum și la stimuli aversivi primari și condiționați (Aston-Jones și colab. 1994; Foote și colab. 1980; Rasmussen și Jacobs 1986; Sara și Segal 1991). Răspunsurile sunt adesea tranzitorii și par să reflecte modificări ale apariției sau semnificației stimulului. Activările pot apărea numai pentru câteva încercări cu prezentări repetate de obiecte alimentare (Vankov și colab. 1995) sau cu stimuli auditivi condiționați asociați cu recompensă lichidă, puf de aer aversiv sau șoc electric de picior (Rasmussen și Jacobs 1986; Sara și Segal 1991). În timpul condiționării, răspunsurile apar la primele câteva prezentări ale stimulilor noi și reapar tranzitorii ori de câte ori se schimbă contingențele de armare în timpul achiziției, inversării și stingerii (Sara și Segal 1991).

Luate împreună, răspunsurile neuronilor noradrenalină seamănă cu răspunsurile neuronilor dopaminei în mai multe privințe, fiind activate de recompense primare, stimuli care prezic recompensă și stimuli noi și transferă răspunsul de la evenimentele apetitive primare la condiționate. Cu toate acestea, neuronii noradrenalină diferă de neuronii dopaminei, răspunzând la o varietate mult mai mare de stimuli trezitori, reacționând bine la stimuli aversivi primari și condiționați, prin discriminarea bine împotriva stimulilor neutri, prin urmărirea rapidă a inversărilor comportamentale și prin afișarea de răspunsuri decrementante cu stimul repetat prezentare care poate necesita teste 100 pentru răspunsuri apetitive solide (Aston-Jones și colab. 1994). Răspunsurile la noradrenalină sunt strâns legate de proprietățile care stârnesc sau atrag atenția stimulilor care determină reacții orientative, fiind în același timp concentrate mult mai puțin pe proprietățile stimulului apetitiv, precum majoritatea neuronilor dopaminici. Probabil sunt determinate mai mult de atragerea atenției decât de motivele componente ale evenimentelor apetisante.

Neuronii serotoninei

Activitatea în diferitele nuclee raphe facilitează ieșirea motorie prin setarea tonusului muscular și a activității motorii stereotipate (Jacobs și Fornal 1993). Neuronii raphe dorsali la pisici prezintă răspunsuri fazice, neabitente la stimuli vizuali și auditivi, fără o semnificație comportamentală particulară (Heym și colab. 1982; LeMoal și Olds 1979). Aceste răspunsuri seamănă cu răspunsurile neuronilor dopaminei la stimuli noi și deosebit de importanți. Comparațiile ulterioare ar necesita o experimentare mai detaliată.

Nucleus basalis Meynert

Neuronii primari ai antebrainului bazal sunt activați treptat de o mare varietate de evenimente comportamentale incluzând stimuli condiționați, care prezic recompense și recompense primare. Multe activări depind de memorie și asociații cu consolidare în discriminare și sarcini cu răspuns întârziat. Activările reflectă familiaritatea stimulilor (Wilson and Rolls 1990a), deveniți mai importanți, deoarece stimulii și mișcările apar mai aproape de momentul recompensei (Richardson și DeLong 1990), diferențiați bine între stimuli vizuali pe baza asociațiilor apetitive și aversive (Wilson and Rolls 1990b) și schimbați în câteva încercări în timpul inversării (Wilson and Rolls 1990c). De asemenea, neuronele sunt activate de stimuli aversivi, stimuli vizuali și auditivi și mișcări. Ei răspund frecvent la recompensele pe deplin prevăzute în sarcinile comportamentale bine stabilite (Mitchell și colab. 1987; Richardson și DeLong 1986, 1990), deși răspunsurile la recompense neprevăzute sunt mai abundente în unele studii (Richardson și DeLong 1990) dar nu și în altele (Wilson and Rolls 1990a-c). În comparație cu neuronii dopaminici, aceștia sunt activi de un spectru mult mai mare de stimuli și evenimente, inclusiv evenimente aversive, și nu arată răspunsul destul de omogen la recompense neprevăzute și transferul acesteia către stimuli predictori de recompense.

Fibrele de cățărare cerebeloasă

Probabil că primul semnal de învățare determinat de erori în creier a fost postulat pentru a implica proiecția fibrelor care urcă de la măslinul inferior la neuronii Purkinje din cortexul cerebelos (Marr 1969) și multe studii de învățare a cerebelelor se bazează pe acest concept (Houk și colab. 1996; Pentru a 1989; Kawato și Gomi 1992; Llinele și galezul 1993). Intrările de fibre care urcă la neuronii Purkinje își schimbă tranzitoriu activitatea atunci când se schimbă sarcini pentru mișcări sau câștiguri între mișcări și feedback vizual și maimuțele se adaptează la noua situație (Gilbert și Thach 1977; Ojakangas și Ebner 1992). Majoritatea acestor schimbări constau în creșterea activității, mai degrabă decât activarea versus răspunsurile la depresie, observate cu erori în direcții opuse în neuronii dopaminici. Dacă activarea fibrelor de escaladă ar servi ca semnal de predare, activarea concomitentă a fibrei paralele ar trebui să conducă la modificări ale aportului de fibre paralele pentru neuronii Purkinje. Acest lucru se produce într-adevăr ca o depresie pe termen lung a aportului de fibre paralele, în principal în preparatele in vitro (Pentru a 1989). Cu toate acestea, schimbările comparabile ale fibrelor paralele sunt mai greu de găsit în situațiile de învățare comportamentală (Ojakangas și Ebner 1992), lăsând deschise consecințele potențialelor semnale de predare a fibrelor în ascensiune.

Un al doilea argument pentru un rol al ascensiunii fibrelor în învățare implică o condiționare clasică aversivă. O fracțiune de fibre care se înalță este activată de pufuri de aer aversive spre cornee. Aceste răspunsuri se pierd după condiționarea pleoapelor Pavloviene cu ajutorul unui stimul auditiv (Sears și Steinmetz 1991), sugerând o relație cu imprevizibilitatea evenimentelor primare aversive. După condiționare, neuronii din nucleul interpositului cerebelos răspund la stimulul condiționat (Berthier și Moore 1990; McCormick și Thompson 1984). Leziuni ale acestui nucleu sau injecții ale biciclulinei antagoniste GABA în măslinul inferior previne pierderea răspunsurilor inferioare ale aerului de măsline după condiționare, ceea ce sugerează că inhibiția monosinaptică sau polisinaptică de la interpositus la măslinul inferior suprimă răspunsurile după condiționare (Thompson și Gluck 1991). Acest lucru ar putea permite neuronilor inferiori de măsline să fie deprimați în absența stimulilor aversivi prevăzuți și, astfel, să raporteze o eroare negativă în predicția evenimentelor aversive similare cu neuronii dopaminici.

Astfel, fibrele de cățărare pot raporta erori în performanța motorie și erori în predicția evenimentelor aversive, deși acest lucru nu poate implica întotdeauna modificări bidirecționale ca în cazul neuronilor dopaminici. Fibrele care urcă nu par să obțină răspunsuri la stimuli aversivi condiționați, dar astfel de răspunsuri se găsesc în nucleul interpositus. Calculul erorilor de predicție aversivă poate presupune coborârea intrărilor inhibitoare la neuronii inferiori de măsline, în analogie cu proiecțiile striatale la neuronii dopaminici. Astfel, circuitele cerebelare procesează semnale de eroare, deși diferă de neuronii dopaminei și modelele TD, și ar putea implementa reguli de învățare a erorilor precum regula Rescorla-Wagner (Thompson și Gluck 1991) sau regula echivalentă formală Widrow-Hoff (Kawato și Gomi 1992).