Dopamina în controlul motivațional: recompensă, aversivă și alertare (2010)

Neuron. Manuscris de autor; disponibil în PMC Dec 9, 2011.

Publicat în formularul final modificat ca:

PMCID: PMC3032992

NIHMSID: NIHMS253484

Vezi alte articole din PMC că citează articolul publicat.

Du-te la:

REZUMAT

Semnele neuronilor dopaminei midbrain sunt bine cunoscute pentru răspunsurile lor puternice la recompense și rolul lor critic în motivația pozitivă. Totuși, devine din ce în ce mai clar că neuronii dopaminei transmit, de asemenea, semnale legate de experiențe semnificative, dar nerefundabile, cum ar fi evenimente aversive și alerte. Aici analizăm progresele recente în înțelegerea funcțiilor recompensă și non-recompensă ale dopaminei. Pe baza acestor date, ne propunem ca neuronii dopaminergici să vină în mai multe tipuri care sunt legate de rețelele creierului distincte și au roluri distincte în controlul motivațional. Unii neuroni ai dopaminei codifică valoarea motivațională, sprijinind rețelele creierului pentru căutarea, evaluarea și valoarea învățării. Alții codifică saliența motivațională, sprijinind rețelele creierului pentru orientare, cunoaștere și motivație generală. Ambele tipuri de neuroni ai dopaminei sunt amplificați de un semnal de alertă implicat în detectarea rapidă a semnelor senzoriale potențial importante. Noi presupunem că aceste căi dopaminergice de valoare, saliență și alertare cooperează pentru a susține un comportament adaptiv.

Introducere

Neurotransmitatorul dopamina (DA) are un rol crucial în controlul motivațional - în învățarea a ceea ce este bine și rău în lume și în alegerea acțiunilor pentru a câștiga lucrurile bune și a evita lucrurile rele. Sursele majore ale DA în cortexul cerebral și în cele mai multe zone subcortice sunt neuronii DA-eliberatori ai mozarului ventral, localizați în substantia nigra pars compacta (SNc) și zona tegmentală ventrală (VTA) (Bjorklund și Dunnett, 2007). Acești neuroni transmit DA în două moduri: "tonic" și "phasic" (Grace, 1991; Grace și colab., 2007). În modul lor tonic, neuronii DA mențin un nivel constant al DA în structurile neuronale din aval, vital pentru a permite funcțiile normale ale circuitelor neuronaleSchultz, 2007). În modul lor fazic, neuronii DA cresc sau scad brusc ratele de ardere pentru milisecunde 100-500, provocând modificări mari ale concentrațiilor de DA în structurile din aval de câteva secunde (Schultz, 1998; Schultz, 2007).

Aceste răspunsuri DA fazice sunt declanșate de numeroase tipuri de recompense și recompense legate de senzori (Schultz, 1998) și sunt poziționate în mod ideal pentru a îndeplini rolurile DA în controlul motivațional, inclusiv rolurile sale ca semnal didactic care stă la baza învățării prin întărire (Schultz și colab., 1997; Înțelept, 2005) și ca un semnal de stimulare care promovează căutarea imediată a recompensei (Berridge și Robinson, 1998). Ca rezultat, aceste semnale fazice de recompensă DA au preluat un rol proeminent în teoriile despre funcțiile circuitelor corticale și subcortice și au devenit obiectul unei cercetări intense în domeniul neuroștiințelor. În prima parte a acestei revizuiri vom introduce teoria convențională a semnalelor fazice de recompensă DA și vom examina progresele recente în înțelegerea naturii și a controlului asupra procesării și comportamentului neural.

Spre deosebire de rolul acceptat al DA în procesarea recompenselor, a existat o dezbatere considerabilă asupra rolului activității DA fazice în procesarea evenimentelor nerevenite. Unele teorii sugerează că răspunsurile fazice ale neuronului DA codifică în principal evenimente legate de recompense (Schultz, 1998; Unghii, 2004; Schultz, 2007), în timp ce alții sugerează că neuronii DA transmit semnale suplimentare non-recompensă legate de experiențe surprinzătoare, noi, importante și chiar aversive (Redgrave și colab., 1999; Horvitz, 2000; Di Chiara, 2002; Joseph și colab., 2003; Pezze și Feldon, 2004; Lisman și Grace, 2005; Redgrave și Gurney, 2006). În a doua parte a acestei analize vom discuta o serie de studii care au pus aceste teorii la încercare și au dezvăluit multe despre natura semnalelor non-recompensă în neuronii DA. În special, aceste studii oferă dovezi că neuronii DA sunt mai diferiți decât se credea anterior. Mai degrabă decât codificarea unui singur semnal motivațional omogen, neuronii DA vin în mai multe tipuri care codifică evenimentele de recompensă și non-recompensă în diferite moduri. Aceasta reprezintă o problemă pentru teoriile generale care încearcă să identifice dopamina cu un singur semnal neural sau un mecanism motivațional.

Pentru a remedia această dilemă, în ultima parte a acestei revizuiri propunem o nouă ipoteză pentru a explica prezența mai multor tipuri de neuroni DA, natura semnalelor lor neurale și integrarea lor în rețele distincte de creier pentru controlul motivațional. Propunerea noastră de bază este după cum urmează. Un tip de neuroni DA codifică motivațional, excitat de recompensarea evenimentelor și inhibat de evenimentele aversive. Acești neuroni susțin sistemele creierului pentru a căuta obiective, a evalua rezultatele și a valoriza învățarea. Un al doilea tip de neuroni DA codifică motivațională, incantati de evenimente atat de pline de raspundere cat si de evenimente aversive. Acești neuroni susțin sistemele creierului pentru orientare, procesare cognitivă și unitate motivațională. În plus față de activitatea lor de codificare a valorii și a semnificației, ambele tipuri de neuroni DA transmit, de asemenea, semnal de alertare, declanșate de indicații senzoriale neașteptate, de mare importanță potențială. Împreună, putem presupune că aceste semnale de valoare, saliență și alertă cooperează pentru a coordona structurile creierului în aval și pentru a controla comportamentul motivat.

Dopamina în recompensă: teoria convențională

Dopamina în motivația acțiunilor de răsplată

Dopamina este de mult cunoscută ca fiind importantă pentru întărirea și motivația acțiunilor. Medicamentele care interferează cu transmisia DA interferează cu procesul de învățare a armăturilor, în timp ce manipulările care sporesc transmisia DA, cum ar fi stimularea creierului și drogurile dependente, acționează adesea ca agenți de întărire (Înțelept, 2004). Transmiterea DA este crucială pentru a crea o stare de motivație pentru a căuta recompense (Berridge și Robinson, 1998; Salamone și colab., 2007) și pentru stabilirea amintirilor asociațiilor de recompense (Dalley și colab., 2005). Eliberarea DA nu este necesară pentru toate formele de învățare a recompensei și nu poate fi întotdeauna "plăcută" în sensul de a provoca plăcere, dar este esențială pentru ca scopurile să devină "dorite" în sensul acțiunilor motivante pentru a le realiza (Berridge și Robinson, 1998; Palmiter, 2008).

O ipoteză despre modul în care dopamina susține învățarea de întărire este că ajustează puterea conexiunilor sinaptice dintre neuroni. Cea mai simplă versiune a acestei ipoteze este aceea că dopamina controlează plasticitatea sinaptică conform unei reguli Hebbiene modificate, care poate fi declarată aproximativ drept "neuroni care împrăștie fire împreună, atâta timp cât ei primesc o explozie de dopamină". Cu alte cuvinte, dacă celula A activează celula B și celula B provoacă o acțiune comportamentală care are ca rezultat o recompensă, atunci dopamina va fi eliberată și conexiunea A → B va fi armată (Montague și colab., 1996; Schultz, 1998). Acest mecanism ar permite unui organism să învețe alegerea optimă a acțiunilor pentru a obține recompense, având în vedere experiența suficientă de încercare și eroare. În concordanță cu această ipoteză, dopamina are o influență puternică asupra plasticității sinaptice în numeroase regiuni ale creierului (Surmeier și colab., 2010; Goto și colab., 2010; Molina-Luna și colab., 2009; Marowsky și colab., 2005; Lisman și Grace, 2005). În unele cazuri, dopamina permite plasticitatea sinaptică în conformitate cu regulile Hebbiei descrise mai sus, într-o manieră corelată cu comportamentul care caută recompense (Reynolds și colab., 2001). Pe lângă efectele sale asupra plasticității sinaptice pe termen lung, dopamina poate de asemenea să exercite controlul imediat asupra circuitelor neuronale prin modularea activității spiralării neuronale și a conexiunilor sinaptice între neuroni (Surmeier și colab., 2007; Robbins și Arnsten, 2009), în unele cazuri făcând acest lucru într-o manieră care să promoveze acțiuni de răscumpărare imediate (Frank, 2005).

Semnale de recompensă a neuronilor dopamine

Pentru a motiva acțiunile care duc la recompense, dopamina ar trebui eliberată în timpul experiențelor recompensatoare. Într-adevăr, majoritatea neuronilor DA sunt puternic activate de recompense primare neașteptate, cum ar fi alimentele și apa, adesea producând explozii fazice de activitate (Schultz, 1998) (excitații fazice incluzând spițe multiple (Grace și Bunney, 1983)). Cu toate acestea, studiile de pionierat ale lui Wolfram Schultz au arătat că aceste răspunsuri neuronale DA nu sunt declanșate de consumul de recompense în sine. În schimb, ele se aseamănă cu o "eroare de predicție a recompensei", raportând diferența dintre recompensa primită și recompensa care a fost prevăzută să apară (Schultz și colab., 1997) (Figura 1A). Astfel, dacă o recompensă este mai mare decât sa prevăzut, neuronii DA sunt puternic excitați (eroare predictivă pozitivă, Figura 1E, roșu); dacă o recompensă este mai mică decât cea prognozată sau nu apare la momentul stabilit, neuronii DA sunt inhibați fazic (eroare de predicție negativă, Figura 1E, albastru); și dacă o recompensă este acumulată în avans, astfel încât dimensiunea sa să fie pe deplin previzibilă, neuronii DA au un răspuns mic sau deloc (eroare de predicție zero, Figura 1C, negru). Același principiu este valabil și pentru răspunsurile DA la indiciile senzoriale care oferă noi informații despre recompensele viitoare. DA neuronii sunt excitați atunci când un indiciu indică o creștere a valorii viitoare a recompenselor (Figura 1C, roșu), inhibată atunci când un indiciu indică o scădere a valorii viitoare a recompensei (Figura 1C, albastru) și, în general, au puține răspunsuri la indicii care nu transmit informații noi despre recompense (Figura 1E, negru). Aceste răspunsuri DA se aseamănă cu un tip specific de eroare de predicție a recompensei numit eroare temporală de diferență sau "eroare TD", care a fost propusă să acționeze ca un semnal de întărire pentru învățarea valorii acțiunilor și a stărilor de mediuHouk și colab., 1995; Montague și colab., 1996; Schultz și colab., 1997). Modelele computaționale care utilizează un semnal de întărire asemănător TD pot explica multe aspecte ale învățării armăturii la oameni, animale și neuroni DA (Sutton și Barto, 1981; Waelti și colab., 2001; Montague și Berns, 2002; Dayan și Niv, 2008).

Figura 1 

Codificarea dopamină a erorilor de predicție a recompensei și preferința pentru informațiile predictive

O serie impresionantă de experimente au arătat că semnalele DA reprezintă previziuni de recompensare într-un mod care se potrivește cu preferințele comportamentale, inclusiv preferința pentru recompense mari față de cele mici (Tobler și colab., 2005) recompensări probabile față de cele improbabile (Fiorillo și colab., 2003; Satoh și colab., 2003; Morris și colab., 2004) și recompense imediate față de cele întârziate (Roesch și colab., 2007; Fiorillo și colab., 2008; Kobayashi și Schultz, 2008). Există chiar dovezi că neuronii DA la oameni codifică valoarea recompensă a banilor (Zaghloul și colab., 2009). Mai mult, semnalele DA apar în timpul învățării, cu o perioadă similară de timp, măsurilor comportamentale de predicție a recompensei (Hollerman și Schultz, 1998; Satoh și colab., 2003; Takikawa și colab., 2004; Day și colab., 2007) și sunt corelate cu măsuri subiective de preferință de recompensă (Morris și colab., 2006). Aceste descoperiri au stabilit neuronii DA ca fiind unul dintre cele mai bine înțelese și cele mai replicate exemple de codificare a recompenselor în creier. Ca urmare, studii recente au supus neuronii DA la o examinare intensă pentru a descoperi modul în care generează predicții de recompensă și modul în care semnalele lor acționează asupra structurilor din aval pentru a controla comportamentul.

Dopamina în recompensă: Avansuri recente

Semnale de recompensă a neuronilor dopamine

Progresele recente în înțelegerea semnalelor de recompensare a DA provin de la examinarea a trei întrebări generale: Cum pot învăța neuronii DA să prezică recompense? Cât de precise sunt predicțiile lor? Și ce anume trăiesc ca recompensă?

Cum neuroni DA invata predictii recompensa? Teoriile clasice sugerează că predicțiile de recompensă sunt învățate printr-un proces de întărire treptată, care necesită corecții de stimulare-recompensă repetate (Rescorla și Wagner, 1972; Montague și colab., 1996). De fiecare dată când stimulul A este urmat de o recompensă neașteptată, valoarea estimată a lui A crește. Datele recente, totuși, arată că neuronii DA depășesc învățarea simplă și recompensă și fac previziuni bazate pe convingeri sofisticate despre structura lumii. DA neuroni pot prezice recompense corect, chiar și în medii neconvenționale, în cazul în care recompensele asociate cu un stimul provoca o scădea în valoarea stimulului (Satoh și colab., 2003; Nakahara și colab., 2004; Bromberg-Martin și colab., 2010c) sau să provoace o schimbare a valorii unui stimul complet diferit (Bromberg-Martin și colab., 2010b). De asemenea, neuronii DA pot adapta semnalele lor de recompensă pe baza unor statistici de ordin superior ale distribuției de recompense, cum ar fi scalarea semnalelor de eroare de predicție pe baza varianței lor așteptate (Tobler și colab., 2005) și "recuperarea spontană" a răspunsurilor lor la indicii de recompensă stinsi (Pan și colab., 2008). Toate aceste fenomene formează o paralelă remarcabilă cu efectele similare observate în adaptarea senzorială și motorie (Braun și colab., 2010; Fairhall și colab., 2001; Shadmehr și colab., 2010), sugerând că acestea pot reflecta un mecanism general neural pentru învățarea predictivă.

Cât de precise sunt predicțiile recompensei DA? Studiile recente au arătat că neuronii DA ajustează cu fidelitate semnalele lor de recompensă pentru a ține cont de trei surse de incertitudine de predicție. În primul rând, oamenii și animalele suferă de zgomotul de sincronizare internă, care îi împiedică să facă predicții fiabile despre intervalele de timp cu recompense lungi (Gallistel și Gibbon, 2000). Astfel, dacă întârzierile cu recompensă cu cue sunt scurte (1-2 secunde) predicțiile temporizării sunt corecte, iar livrarea de recompensă declanșează un răspuns redus DA, dar pentru întârzieri cu recompensă mai lungă, previziunile de sincronizare devin mai puțin fiabile, iar recompensele evocă explozii clare DAKobayashi și Schultz, 2008; Fiorillo și colab., 2008). În al doilea rând, multe indicii în viața de zi cu zi sunt imprecise, specificând o distribuție largă a timpilor de livrare a recompenselor. DA neuronii reflectă din nou această formă de incertitudine în timp: ele sunt inhibate treptat în timpul întârzierilor variabile ale recompenselor, ca și cum ar semnala erorile anticipative din ce în ce mai negative de recompensă în fiecare moment în care recompensa nu apare (Fiorillo și colab., 2008; Bromberg-Martin și colab., 2010a; Nomoto și colab., 2010). În cele din urmă, multe indicii sunt perceptual complexe, necesitând o inspecție detaliată pentru a ajunge la o concluzie fermă cu privire la valoarea lor de recompensă. În astfel de situații, semnalele de recompensare DA apar la latențe îndelungate și într-o manieră treptată, care reflectă fluxul treptat de informații perceptuale pe măsură ce valoarea stimulului este decodificată (Nomoto și colab., 2010).

Doar ce evenimente trăiesc neuronii DA ca recompensați? Teoriile convenționale de învățare a recompenselor sugerează că neuronii DA atribuie o valoare bazată pe valoarea estimată a viitoarei recompense primare (Montague și colab., 1996). Cu toate acestea, chiar și atunci când rata primelor recompense este menținută constantă, oamenii și animalele exprimă adesea o preferință suplimentară pentru mediile de predictibilitate în care dimensiunea, probabilitatea și calendarul fiecărei recompense pot fi cunoscute în avans (Daly, 1992; Chew și Ho, 1994; Ahlbrecht și Weber, 1996). Un studiu recent efectuat la maimuțe a constatat că neuronii DA semnalează această preferință (Bromberg-Martin și Hikosaka, 2009). Maimuțele au exprimat o preferință puternică de a vedea indicii vizuale informative care le-ar permite să prezică dimensiunea unei recompense viitoare, mai degrabă decât cuvintele neinformative care nu au furnizat informații noi. În paralel, neuronii DA au fost excitați de ocazia de a vedea indicațiile informative într-o manieră corelată cu preferința comportamentală a animalului (Figura 1B, D). Acest lucru sugerează că neuronii DA nu numai că motivează acțiunile pentru a obține recompense, dar și motivează acțiunile de a face previziuni exacte cu privire la aceste recompense, pentru a se asigura că recompensele pot fi anticipate în mod corespunzător și pregătite în avans.

Luate împreună, aceste constatări arată că semnalele de eroare de predicție a recompenselor DA sunt sensibile la factorii sofisticați care informează previziunile privind recompensele umane și animale, inclusiv adaptarea la statisticile recompenselor de rang înalt, recompensa incertitudinii și preferințele pentru informațiile predictive.

Efectele semnalelor fazice de recompensă a dopaminei asupra structurilor din aval

Raspunsurile de recompensare DA apar în exploziile sincrone fazice (Joshua și colab., 2009b), un model de răspuns care formează eliberarea DA în structurile țintă (Gonon, 1988; Zhang și colab., 2009; Tsai și colab., 2009). De mult timp teoretizam faptul că aceste explozii fazice influențează învățarea și motivația într-o manieră distinctă de activitatea DA tonică (Grace, 1991; Grace și colab., 2007; Schultz, 2007; Lapish și colab., 2007). Tehnologia dezvoltată recent a făcut posibilă confirmarea acestei ipoteze prin controlul activității neuronului DA cu precizie spațială și temporală fină. Stimularea optogenetică a neuronilor VTA DA induce o preferință a locului condiționat condiționată care apare numai atunci când se aplică stimularea într-un model de spargere (Tsai și colab., 2009). În schimb, distrugerea genetică a receptorilor NMDA din neuronii DA, care afectează spargerea în timp ce lasă activitatea tonică în mare parte intactă, cauzează o deficiență selectivă în formele specifice de învățare a recompensei (Zweifel și colab., 2009; Parker și colab., 2010) (deși observăm că acest knockout afectează, de asemenea, plasticitatea sinaptică DA neuronică (Zweifel și colab., 2008)). Exploziile DA pot îmbunătăți procesul de învățare prin reconfigurarea circuitelor neuronale locale. În mod deosebit, exploziile DA-predictive recompensate sunt trimise către anumite regiuni ale nucleului accumbens, iar aceste regiuni au niveluri deosebit de ridicate de activitate neuronală predictivă de recompensă (Cheer și colab., 2007; Owesson-White și colab., 2009).

În comparație cu exploziile fazice, se știe mai puțin despre importanța pauzelor fazice în activitatea de spiking pentru erorile de predicție a recompensei negative. Aceste pauze determină modificări mai mici ale ratei de vârf, sunt mai puțin modulate prin așteptarea recompensării (Bayer și Glimcher, 2005; Joshua și colab., 2009a; Nomoto și colab., 2010) și pot avea efecte mai mici asupra învățării (Rutledge și colab., 2009). Cu toate acestea, anumite tipuri de învățare erori de predicție negative necesită VTA (Takahashi și colab., 2009), sugerând că pauzele phasice pot fi în continuare decodate de structurile din aval.

Deoarece izbucnirile și pauzele determină modele foarte diferite de eliberare a DA, este posibil ca acestea să influențeze structurile din aval prin mecanisme distincte. Există dovezi recente pentru această ipoteză într-o țintă majoră a neuronilor DA, striatul dorsal. Diverse neuroni de proiecție striatum vin în două tipuri care exprimă diferiți receptori DA. Un tip exprima receptorii și proiectele D1 la "calea directă" a ganglionilor bazali pentru a facilita mișcările corpului; cel de-al doilea tip exprima receptorii D2 și proiectele la "calea indirectă" de a suprima mișcările corpului (Figura 2) (Albin și colab., 1989; Gerfen și colab., 1990; Kravitz și colab., 2010; Hikida și colab., 2010). Pe baza proprietăților acestor căi și a receptorilor, sa susținut că exploziile DA produc condiții de DA înalte, activează receptorii D1 și determină calea directă de a selecta mișcări de mare valoare (Figura 2A), în timp ce pauzele DA produc condiții de DA scăzute, inhibă receptorii D2 și determină calea indirectă de a suprima mișcările cu valoare scăzută (Figura 2B) (Frank, 2005; Hikosaka, 2007). În concordanță cu această ipoteză, activarea înaltă a receptorului DA promovează potențarea sinapselor cortico-striatale pe calea directă (Shen și colab., 2008) și învățarea de la rezultate pozitive (Frank și colab., 2004; Voon și colab., 2010), în timp ce blocarea receptorilor striatali D1 afectează în mod selectiv mișcările către obiectivele recompensate (Nakamura și Hikosaka, 2006). Într-un mod analog, activarea receptorului DA scăzut promovează potențarea sinapselor cortico-striatale pe calea indirectă (Shen și colab., 2008) și învățarea de la rezultate negative (Frank și colab., 2004; Voon și colab., 2010), în timp ce blocarea receptorilor striatali D2 suprimă selectiv mișcările către obiective neremediabile (Nakamura și Hikosaka, 2006). Această diviziune a funcțiilor receptorilor D1 și D2 în controlul motivațional explică multe dintre efectele genelor legate de DA asupra comportamentului uman (Ullsperger, 2010; Frank și Fossella, 2010) și se poate extinde dincolo de striatumul dorsal, deoarece există dovezi pentru o diviziune similară a travaliului în striatum ventral (Grace și colab., 2007; Lobo și colab., 2010).

Figura 2 

Controlul dopaminei asupra motivației pozitive și negative în striatul dorsal

În timp ce schema de mai sus prezintă o imagine simplă a controlului fazic al comportamentului DA prin efectele sale asupra striatumului, imaginea completă este mult mai complexă. DA influențează comportamentul de recompensă prin acțiunea asupra multor regiuni ale creierului, inclusiv a cortexului prefrontal (Hitchcott și colab., 2007), cortexul rinocer (Liu și colab., 2004), hipocampus (Packard și White, 1991; Grecksch și Matties, 1981) și amygdala (Phillips și colab., 2010). Efectele DA sunt susceptibile de a diferi foarte mult între aceste regiuni datorită variațiilor densității inervării DA, transportatorilor DA, enzimelor metabolice, autoreceptorilor, receptorilor și cuplării receptorilor la căile de semnalizare intracelulare (Neve și colab., 2004; Bentivoglio și Morelli, 2005; Frank și Fossella, 2010). Mai mult, cel puțin în VTA, DA neuronii pot avea proprietăți celulare diferite în funcție de obiectivele de proiecție (Lammel și colab., 2008; Margolis și colab., 2008), iar unele au abilitatea remarcabilă de a transmite glutamat și dopamină (Descarries și colab., 2008; Chuhma și colab., 2009; Hnasko și colab., 2010; Tecuapetla și colab., 2010; Stuber și colab., 2010; Birgner și colab., 2010). Astfel, întinderea completă a controlului neuronului DA asupra procesării neuronale începe doar să fie dezvăluită.

Dopamina: Dincolo de recompensă

Până acum, am discutat despre rolul neuronilor DA în comportamente legate de recompense, bazate pe răspunsurile dopaminei asemănătoare erorilor de predicție a recompenselor. Cu toate acestea, devine din ce în ce mai clar faptul că neuronii DA răspund în mod fazic la mai multe tipuri de evenimente care nu sunt intrinsec de recompensă și nu sunt indicii pentru recompense viitoare și că aceste semnale non-recompensare au un rol important în procesarea motivațională. Aceste evenimente non-recompense pot fi grupate în două categorii largi, aversiv și alertare, pe care o vom discuta în detaliu mai jos. Evenimentele aversive includ stimuli intrinsec nedoriți (cum ar fi bătăile de aer, gusturile amare, șocurile electrice și alte senzații neplăcute) și indiciile senzoriale care au câștigat proprietăți aversive prin asocierea cu aceste evenimente. Evenimentele de alertare sunt indicații senzoriale neașteptate de importanță majoră potențiale, care declanșează în general reacții imediate pentru a determina semnificația lor.

Răspunsuri diferite la dopamină la evenimente aversive

Răspunsul unui neuron la evenimentele aversive oferă un test crucial al funcțiilor sale în controlul motivațional (Schultz, 1998; Berridge și Robinson, 1998; Redgrave și colab., 1999; Horvitz, 2000; Joseph și colab., 2003). În multe privințe, tratăm evenimente pline de răsplătire și aversiuni în moduri opuse, reflectând opusul lor motivațional. Căutăm recompense și le atribuim o valoare pozitivă, evitând evenimentele aversive și atribuindu-le valoare negativă. În alte privințe, tratăm evenimentele de recompensare și aversivi în moduri similare, reflectând asemănările lor motivațională [FOOTNOTE1]. Atât evenimentele de recompensare cât și cele aversive declanșează orientarea atenției, procesarea cognitivă și creșterea motivației generale.

Care dintre aceste funcții suportă neuronii DA? De mult timp sa știut că experiențele stresante și aversive provoacă schimbări mari în concentrațiile DA în structurile cerebrale din aval și că reacțiile comportamentale la aceste experiențe sunt modificate dramatic de agoniști, antagoniști și leziuni ale DA (Salamone, 1994; Di Chiara, 2002; Pezze și Feldon, 2004; Young și colab., 2005). Aceste studii au generat însă o diversitate izbitoare a rezultatelor (Levita și colab., 2002; Di Chiara, 2002; Young și colab., 2005). Multe studii sunt compatibile cu neuronii DA care codifică saliența motivațională. Ei declară că evenimentele aversive măresc nivelurile DA și că aversiunea comportamentală este susținută de niveluri ridicate de transmisie DA (Salamone, 1994; Joseph și colab., 2003; Ventura și colab., 2007; Barr și colab., 2009; Fadok și colab., 2009), inclusiv exploziile fazice DA (Zweifel și colab., 2009). Dar alte studii sunt mai consecvente cu neuronii DA care codifică valoarea motivațională. Ei declară că evenimentele aversive reduc nivelurile DA și că aversiunea comportamentală este susținută de niveluri scăzute de transmitere DA (Mark și colab., 1991; Shippenberg și colab., 1991; Liu și colab., 2008; Roitman și colab., 2008). În multe cazuri, aceste rezultate mixte au fost găsite în studii unice, indicând faptul că experiențele aversive cauzează diferite modele de eliberare a DA în diferite structuri ale creierului (Thierry și colab., 1976; Besson și Louilot, 1995; Ventura și colab., 2001; Jeanblanc și colab., 2002; Bassareo și colab., 2002; Pascucci și colab., 2007) și că medicamentele asociate cu DA pot produce un amestec de efecte neuronale și comportamentale similare cu cele cauzate atât de experiențele revelatoare, cât și de cele aversive (Ettenberg, 2004; Wheeler și colab., 2008).

Această diversitate a modelelor și funcțiilor de eliberare a DA este dificil de reconciliat cu ideea că neuronii DA transmit un semnal motivațional uniform tuturor structurilor creierului. Aceste răspunsuri diferite ar putea fi totuși explicate dacă neuronii DA sunt diferiți - compuși din mai multe populații neuronale care susțin diferite aspecte ale procesării aversive. Această viziune este susținută de studii de înregistrare neuronală la animalele anestezite. Aceste studii au arătat că stimulii nocivi evocă excitația în unele neuroni DA, dar inhibarea în alte neuroni DA (Chiodo și colab., 1980; Maeda și Mogenson, 1982; Schultz și Romo, 1987; Mantz și colab., 1989; Gao și colab., 1990; Coizet și colab., 2006). Foarte important, ambele răspunsuri excitatorii și inhibitorii apar în neuronii confirmați a fi dopaminergici utilizând etichetarea juxtacelulară (Brischoux și colab., 2009) (Figura 3). O diversitate similară de răspunsuri aversive are loc în timpul comportamentului activ. Diferite grupe de neuroni DA sunt excitate sau inhibate fazic prin evenimente aversive incluzând stimularea nocivă a pielii (Kiyatkin, 1988a; Kiyatkin, 1988b), indicii senzoriale care prezic șocuri aversive (Guarraci și Kapp, 1999), airpuffs aversive (Matsumoto și Hikosaka, 2009b), și indicii senzoriale care prezic aerul aversiv (Matsumoto și Hikosaka, 2009b; Joshua și colab., 2009a). Mai mult, atunci când doi neuroni DA sunt înregistrați simultan, răspunsurile lor aversive au, în general, o mică corelație trial-la-încercare (Joshua și colab., 2009b), sugerând că răspunsurile aversive nu sunt coordonate la nivelul întregii populații DA.

Figura 3 

Diferitele răspunsuri neuronilor dopaminergici la evenimente aversive

Pentru a înțelege funcțiile acestor răspunsuri aversive diverse, trebuie să știm cum sunt combinate cu răspunsurile la recompense pentru a genera un semnal motivator semnificativ. Un studiu recent a investigat acest subiect și a arătat că neuronii DA sunt împărțiți în mai multe populații cu semnale motivaționale distincte (Matsumoto și Hikosaka, 2009b). O populație este încântată de recompensarea evenimentelor și inhibată de evenimente aversive, ca și cum ar fi codificarea motivațional (Figura 4A). O a doua populație este încântată atât de evenimentele de recompensare, cât și de evenimentele aversive, în moduri similare, ca și când ar fi codificate motivațională (Figura 4B). În ambele aceste populații, mulți neuroni sunt sensibili la predicții de recompensă și aversivă: răspund atunci când evenimentele de recompensare sunt mai pline de satisfacții decât se prevede și când evenimentele aversive sunt mai aversive decât cele preziseMatsumoto și Hikosaka, 2009b). Acest lucru demonstrează că răspunsurile lor aversive sunt cu adevărat cauzate de predicții despre evenimente aversive, excluzând posibilitatea ca acestea să poată fi cauzate de factori nespecifici, cum ar fi inputul senzorial brut sau asociațiile generalizate cu recompensă (Schultz, 2010). Aceste două populații diferă, totuși, în natura detaliată a codului lor predictiv. Codificarea valorii motivaționale a neuronilor DA codifică un semnal de eroare de predicție precisă, incluzând inhibarea puternică prin omisiune de recompense și excitație ușoară prin omisiunea evenimentelor aversiveFigura 4A, dreapta). Spre deosebire de aceasta, neuronii DA care codifică saliența motivațională răspund la prezența evenimentelor semnificative, dar nu și atunci când sunt absenți (Figura 4B, dreapta), în conformitate cu noțiunile teoretice de excitare (Lang și Davis, 2006) [FOOTNOTE2]. Dovezile pentru aceste două populații de neuron DA au fost observate chiar și atunci când activitatea neuronală a fost examinată într-o manieră medie. Astfel, studiile care vizează diferite părți ale sistemului DA au descoperit semnale DA fazice care codifică evenimentele aversive cu inhibiție (Roitman și colab., 2008), similar codării valorii motivaționale sau excitației (Joshua și colab., 2008; Anstrom și colab., 2009), asemănătoare codificării salienței motivaționale.

Figura 4 

Distinează populațiile de neuroni ai dopaminei care codifică valoarea și importanța motivațională

Aceste descoperiri recente ar putea să pară să contrazică un raport precoce că neuronii DA răspund preferențial pentru a recompensa indicii, mai degrabă decât indici aversiviMirenowicz și Schultz, 1996). Cu toate acestea, atunci când este examinat îndeaproape, chiar și acel studiu este pe deplin în concordanță cu codarea valorii DA și a evidenței. În acest studiu, indicii de recompensă au condus la recompensarea rezultatelor cu probabilitate mare (> 90%), în timp ce indicii aversivi au condus la rezultate aversive cu probabilitate scăzută (<10%). Prin urmare, neuronii DA care codifică valoarea și rezistența ar avea un răspuns mic la indicii aversivi, codificând cu precizie nivelul lor scăzut de aversivitate.

Rolul funcțional al valorilor motivaționale și al semnalelor de saliență

Luate impreuna, constatarile de mai sus indica faptul ca neuronii DA sunt impartiti in mai multe populatii potrivite pentru roluri distincte in controlul motivational. Motivational value coding Neuronii DA se potrivesc bine cu teoriile curente ale neuronilor dopaminergici și procesarea recompenselor (Schultz și colab., 1997; Berridge și Robinson, 1998; Înțelept, 2004). Acești neuroni codifică un semnal complet de eroare de predicție și codifică evenimentele recompensatoare și aversive în direcții opuse. Astfel, acești neuroni oferă un semnal instructiv adecvat pentru căutarea, evaluarea și valorizarea învățării (Figura 5). Dacă un stimulent determină stimularea neuronilor de codificare a valorii DA, atunci ar trebui să ne apropiem de el, să îi atribuim o valoare ridicată și să învățăm acțiunile să îl căutăm din nou în viitor. Dacă un stimulent determină inhibarea valorii de codificare a neuronilor DA, ar trebui să o evităm, să o atribuim unei valori scăzute și să învățăm acțiuni pentru ao evita din nou în viitor.

Figura 5 

Funcțiile ipoteze ale valorii motivaționale, semnalului de saliență și ale semnalului de alertă

Spre deosebire de aceasta, neuronii DA care codifică saliența motivațională se potrivesc bine cu teoriile neuronilor dopaminergici și cu procesarea evenimentelor importante (Redgrave și colab., 1999; Horvitz, 2000; Joseph și colab., 2003; Kapur, 2003). Acești neuroni sunt excitați atât de evenimentele de recompensare, cât și de cele aversive și au răspunsuri mai slabe la evenimentele neutre, oferind un semnal instructiv adecvat pentru circuitele neuronale pentru a învăța să detecteze, să prezică și să răspundă unor situații de importanță majoră. Aici vom lua în considerare trei astfel de sisteme ale creierului (Figura 5). În primul rând, circuitele neuronale pentru orientare vizuală și atențională sunt calibrate pentru a descoperi informații despre toate tipurile de evenimente, atît recompensante, cît și aversive. De exemplu, ambele recompense și reperele aversive atrag reacțiile de orientare mai eficient decât indiciile neutre (Lang și Davis, 2006; Matsumoto și Hikosaka, 2009b; Austin și Duka, 2010). În al doilea rând, atât situațiile pline de satisfacție, cât și cele aversive angajează sisteme neuronale pentru controlul cognitiv și selecția acțiunii - trebuie să angajăm memoria de lucru pentru a ține cont de informații, rezolvarea conflictelor pentru a decide un curs de acțiune și memoria pe termen lung pentru a ne aminti rezultatul rezultatBradley și colab., 1992; Botvinick și colab., 2001; Savine și colab., 2010). În al treilea rând, atât situațiile de recompensare cât și cele aversive necesită o creștere a motivației generale de a energiza acțiunile și de a se asigura că acestea sunt executate în mod corespunzător. Într-adevăr, neuronii DA sunt critici în motivarea eforturilor de a atinge obiective de valoare ridicată și de a traduce cunoștințele despre cerințele sarcinilor în performanțe motorii fiabile (Berridge și Robinson, 1998; Mazzoni și colab., 2007; Niv și colab., 2007; Salamone și colab., 2007).

Excitația dopaminei prin alertarea indicațiilor senzoriale

În plus față de semnalele care codifică valoarea motivațională și semnificația, majoritatea neuronilor DA au și răspunsuri de rupere la mai multe tipuri de evenimente senzoriale care nu sunt direct asociate cu experiențe recompensatoare sau aversive. Aceste răspunsuri au fost teoretice depinzând de o serie de factori neuronali și psihologici, incluzând contribuția senzorială directă, surpriza, noutatea, excitarea, atenția, saliența, generalizarea și pseudo-condiționarea (Schultz, 1998; Redgrave și colab., 1999; Horvitz, 2000; Lisman și Grace, 2005; Redgrave și Gurney, 2006; Joshua și colab., 2009a; Schultz, 2010).

Aici vom încerca să sintetizăm aceste idei și să răspundem pentru aceste răspunsuri DA în termenii unui singur semnal subiacent, semnal de alertare (Figura 5). Termenul "alertare" a fost utilizat de Schultz (Schultz, 1998) ca termen general pentru evenimente care atrag atenția. Aici îl vom folosi într-un sens mai specific. Printr-un eveniment de alertare, înțelegem un indiciu senzorial neașteptat care captează atenția pe baza unei evaluări rapide a importanței sale potențiale, folosind caracteristici simple cum ar fi locația, dimensiunea și modalitatea senzorială. Astfel de evenimente de alertă declanșează adesea reacții comportamentale imediate pentru a le investiga și a determina sensul lor precis. Astfel, semnalele de alertă DA au loc în mod obișnuit la latențe scurte, se bazează pe trăsăturile grave ale unui stimul și se corelează cel mai bine cu reacțiile imediate cum ar fi reacțiile de orientare (Schultz și Romo, 1990; Joshua și colab., 2009a; Schultz, 2010). Acest lucru este în contrast cu alte semnale motivaționale din neuronii DA care apar de obicei la latențe mai lungi, iau în considerare identitatea exactă a stimulului și sunt cel mai bine corelate cu acțiunile comportamentale considerate, cum ar fi deciziile de abordare sau evitare (Schultz și Romo, 1990; Joshua și colab., 2009a; Schultz, 2010).

Răspunsurile de alertă DA pot fi declanșate de evenimente senzoriale surprinzătoare, cum ar fi flash-uri neașteptate de lumină și clicuri auditive, care evocă excitări de izbucnire proeminentă în 60-90% din neuronii DA în SNc și VTAStrecker și Jacobs, 1985; Horvitz și colab., 1997; Horvitz, 2000) (Figura 6A). Aceste răspunsuri de alertare par să reflecte gradul în care stimulul este surprinzător și captează atenția; acestea sunt reduse dacă se produce un stimul în momente previzibile, dacă atenția este angajată în altă parte sau în timpul somnului (Schultz, 1998; Takikawa și colab., 2004; Strecker și Jacobs, 1985; Steinfels și colab., 1983). De exemplu, un sunet de clicuri neașteptat evocă o explozie DA proeminentă atunci când o pisică se află într-o stare pasivă de trezire liniștită, dar nu are efect atunci când pisica este angajată în activități care necesită atenție, cum ar fi vânarea unui șobolan, hrănirea, îngrijirea, de experimentator și așa mai departe (Strecker și Jacobs, 1985) (Figura 6A). În mod similar, răspunsurile la izbucnirea DA sunt declanșate de evenimente senzoriale care sunt slabe din punct de vedere fizic, dar alertează din cauza noutății lor (Ljungberg și colab., 1992; Schultz, 1998). Aceste răspunsuri obișnuiesc ca noul stimulent să devină familiar, în paralel cu obișnuința de orientare a reacțiilor (Figura 6B). În concordanță cu aceste constatări, evenimente surprinzătoare și noi evocă eliberarea DA în structurile din aval (Lisman și Grace, 2005) și să acționeze circuitele cerebrale legate de DA într-o manieră care formează procesarea recompensării (Zink și colab., 2003; Davidson și colab., 2004; Duzel și colab., 2010).

Figura 6 

Răspunsurile excitației neuronului dopaminei la evenimentele de alertă

DA răspunsurile de alertare sunt, de asemenea, declanșate de indiciile neașteptate senzoriale care au potențialul de a furniza informații noi despre evenimente motivante motivant. Așa cum era de așteptat pentru un semnal de alertă de scurtă durată, aceste răspunsuri sunt mai degrabă neselective: ele sunt declanșate de orice stimulent care doar seamana un cuget motivațional, chiar dacă asemănarea este foarte mică (un fenomen numit generalizare) (Schultz, 1998). Ca urmare, neuronii DA răspund adesea la un stimul cu un amestec de două semnale: un semnal rapid de alertă care codifică faptul că stimulul este potenţial important, și un al doilea semnal care îi codifică curent recompensa sau sensul aversiv (Schultz și Romo, 1990; Waelti și colab., 2001; Tobler și colab., 2003; Day și colab., 2007; Kobayashi și Schultz, 2008; Fiorillo și colab., 2008; Nomoto și colab., 2010) (vedea (Kakade și Dayan, 2002; Joshua și colab., 2009a; Schultz, 2010) pentru revizuire). Un exemplu poate fi văzut într-un set de neuroni DA care codifică saliența motivațională prezentată în Figura 6C (Bromberg-Martin și colab., 2010a). Acesti neuroni au fost incantati de recompense si indiciri aversive, dar au fost si ele incantati de un indiciu neutru. Tacul neutru nu a fost niciodată asociat cu rezultate motivaționale, dar a avut o (foarte ușoară) asemănare fizică cu recompensele și cu indiciile aversive.

Aceste răspunsuri de alertare par a fi strâns legate de capacitatea senzorilor de a declanșa reacții de orientare pentru ao examina mai departe și pentru a descoperi semnificația ei. Acest lucru poate fi văzut în trei proprietăți notabile. Mai întâi, răspunsurile de alertare apar numai pentru indiciile senzoriale care trebuie examinate pentru a determina semnificația lor, nu pentru evenimentele cu efecte intrinsec de recompensare sau aversivi, cum ar fi livrarea de suc sau de aeropurturi (Schultz, 2010). În al doilea rând, răspunsurile de alertare apar doar atunci când un indiciu este potențial important și are capacitatea de a declanșa reacții de orientare, nu atunci când tacul este irelevant pentru sarcina la îndemână și nu reușește să declanșeze reacții de orientareSchultz și Romo, 1990). În al treilea rând, răspunsurile de alertare sunt sporite în situațiile în care indicii ar declanșa o schimbare bruscă de atenție - atunci când apar într-un timp neașteptat sau departe de centrul ochilor (Bromberg-Martin și colab., 2010a). Astfel, atunci când indicii motivaționali sunt prezentați cu un timp imprevizibil, acestea declanșează reacții de orientare imediate și un răspuns generalizat de alertare DA - excitație prin toate indicațiile, inclusiv indicii neutre (Figura 6C, negru). Dar dacă calendarul lor este previzibil - de exemplu, prin avertizarea subiecților cu un "start trial trial" prezentat o secundă înainte de apariția indiciilor - indicii nu mai evocă un răspuns alergic (Figura 6D, gri). În schimb, răspunsul la alertă se schimbă la începutul trialului - primul eveniment al procesului care are un timp imprevizibil și evocă reacțiile de orientare (Figura 6D, negru).

Care este mecanismul care generează semnale de alertare a neuronilor DA? O ipoteză este că răspunsurile de alertare sunt pur și simplu semnale de eroare de predicție a recompenselor convenționale care apar la latențe scurte, codificând valoarea recompensă preconizată a unui stimul înainte de a fi fost complet discriminați (Kakade și Dayan, 2002). Dovezi mai recente, cu toate acestea, sugerează că semnalele de alertare pot fi generate de un mecanism distinct față de semnalele de recompensare DA convenționale (Satoh și colab., 2003; Bayer și Glimcher, 2005; Bromberg-Martin și colab., 2010a; Bromberg-Martin și colab., 2010c; Nomoto și colab., 2010). Cel mai surprinzător, răspunsul alertei la procesul de începere a procesului nu se limitează la sarcini de recompensare; poate avea o forță egală în timpul unei sarcini aversive în care nu se livrează recompense (Figura 6C, D, partea de jos, "sarcină aversivă"). Acest lucru se întâmplă chiar dacă semnalele de recompensare DA convenționale în aceleași neuroni semnalează în mod corect că sarcina de recompensare are o valoare mult mai mare așteptată decât sarcina aversivăBromberg-Martin și colab., 2010a). Aceste semnale de alertare nu sunt doar o formă de codificare a valorii sau o formă pură de codificare a salienței, deoarece ele apar în majoritatea valorilor motivaționale și ale neuronilor DA care codifică saliența (Bromberg-Martin și colab., 2010a). O a doua disociere poate fi văzută în modul în care neuronii DA prezică recompense viitoare bazate pe memoria rezultatelor recompenselor trecute (Satoh și colab., 2003; Bayer și Glimcher, 2005). În timp ce semnalele de recompensare DA convenționale sunt controlate de o lungă memorie de timp optimizată pentru o predicție corectă de recompensă, alertele de răspuns la testele de start ale procesului sunt controlate de o urmă de memorie separată asemănătoare cu cea observată în reacțiile de orientare imediatăBromberg-Martin și colab., 2010c). O a treia disociere poate fi observată în modul în care aceste semnale sunt distribuite pe populația neuronului DA. În timp ce semnalele de recompensare DA convenționale sunt cele mai puternice în SNC ventromedial, alertele de răspuns la testele de începere a procesului (și la alte repere neașteptate de timp) sunt difuzate pe tot parcursul SNCNomoto și colab., 2010).

În contrast cu aceste disocieri față de semnalele de recompensare convenționale, semnalele de alertă DA sunt corelate cu viteza de orientare și abordare a răspunsurilor la evenimentul de alertă (Satoh și colab., 2003; Bromberg-Martin și colab., 2010a; Bromberg-Martin și colab., 2010c). Acest lucru sugerează că semnalele de alertă sunt generate de un proces neural care motivează reacțiile rapide pentru a investiga evenimente potențial importante. În prezent, din păcate, se cunoaște relativ puține despre evenimentele pe care acest proces le tratează ca fiind "importante". De exemplu, răspunsurile de avertizare sunt la fel de sensibile la evenimentele de recompensare și aversivă? Sunt cunoscute răspunsurile de alertare pentru stimuli care seamănă cu indicii de recompensă sau care seamănă atât cu recompensele cât și cu indiciile aversive (de exemplu, prin împărtășirea aceleiași modalități senzoriale). Dar nu este încă cunoscut dacă răspunsurile alergice apar pentru stimuli care seamănă doar cu indiciile aversive.

Rolul funcțional al semnalelor de alertare a dopaminei

După cum am văzut, este posibil ca semnalele de alertare să fie generate de un mecanism distinct față de semnalele de valoare motivațională și semnalul de saliență. Cu toate acestea, semnalele de alertă sunt trimise atât la valoarea motivațională, cât și la cea de codificare a neuronilor DA și, prin urmare, sunt susceptibile de a reglementa procesarea cerebrală și comportamentul într-o manieră similară cu semnalele de valoare și de saliențăFigura 5).

Semnalele de alertă trimise la codificarea neuronilor DA de saliență motivațională ar sprijini orientarea atenției către stimulul de alertă, angajarea resurselor cognitive pentru a-și descoperi semnificația și pentru a decide asupra unui plan de acțiune și pentru a crește nivelurile de motivare pentru implementarea eficientă a acestui planFigura 5). Aceste efecte pot apărea prin efecte imediate asupra procesării neuronale sau prin întărirea acțiunilor care au condus la detectarea evenimentului de alertă. Acest rol funcțional se potrivește bine corelației dintre răspunsurile de alertă DA și reacțiile rapide de comportament la stimulul de alertare și cu teoriile că răspunsurile neuronului DA latente de scurtă durată sunt implicate în orientarea atenției, excitația, intensificarea procesării cognitive și reacțiile comportamentale imediateRedgrave și colab., 1999; Horvitz, 2000; Joseph și colab., 2003; Lisman și Grace, 2005; Redgrave și Gurney, 2006; Joshua și colab., 2009a).

Prezența semnalelor de alertare în neuronii DA care codifică valoarea motivațională este mai dificil de explicat. Acești neuroni transmit semnale de valoare motivațională care sunt ideale pentru căutarea, evaluarea rezultatelor și valorificarea învățării; dar ele pot fi, de asemenea, incantati de alerte de evenimente, cum ar fi sunete neasteptate clic si debutul de studiile aversive. Conform căii noastre ipotetice (Figura 5), acest lucru ar face ca evenimentele de alertare să fie atribuite unei valori pozitive și să fie căutate într-un mod similar cu recompensele! Deși surprinzătoare la prima vedere, există motive să se suspecteze că evenimentele de alertare pot fi tratate ca obiective pozitive. Semnalele de avertizare furnizează primul avertisment că este pe cale să apară un eveniment potențial important și, prin urmare, oferă prima ocazie de a lua măsuri pentru a controla evenimentul respectiv. Dacă sunt disponibile indicații de alertare, evenimentele motivante pot fi detectate, prezise și pregătite în avans; în cazul în care indicii de alertă lipsesc, evenimentele motivante motivante apar întotdeauna ca o surpriză neașteptată. Într-adevăr, oamenii și animalele exprimă adesea o preferință pentru medii în care se pot observa și se previzionează în prealabil eventuale evenimente senzoriale neutre, rewarding, aversive și chiar motivaționale (Badia și colab., 1979; Herry și colab., 2007; Daly, 1992; Chew și Ho, 1994) și mulți neuroni DA semnalează preferința comportamentală pentru a vedea informații de recompensă-predictivă (Bromberg-Martin și Hikosaka, 2009). Semnalele de alertă DA pot susține aceste preferințe prin atribuirea valorii pozitive mediilor în care pot fi anticipate în prealabil indici potențiali sensibili.

Căi neurale pentru valoare motivațională, saliență și alertare

Până acum am împărțit neuronii DA în două tipuri care codifică valoarea motivațională și saliența motivațională și sunt potrivite pentru roluri distincte în controlul motivațional (Figura 5). Cum schimba această schemă conceptuală pe căile neuronale din creier? Aici propunem o ipoteză despre locațiile anatomice ale acestor neuroni, proiecțiile lor în structurile din aval și sursele semnalelor lor motivaționale (Cifrele 6,, 77).

Figura 7 

Locația anatomică ipotetizată și proiecții ale valorii motivaționale a dopaminei și ale neuronilor care codifică saliența

Locații anatomice ale neuronilor care codifică valoarea și saliența

Un studiu recent a reprezentat localizarea semnalelor DA de recompensă și aversivă în midbrainul lateral, inclusiv partea SNC și partea laterală a VTA (Matsumoto și Hikosaka, 2009b). Valoarea motivațională și semnalele de saliență motivațională au fost distribuite în această regiune într-un gradient anatomic. Semnalele de valoare motivațională au fost găsite mai frecvent în neuroni în SNC ventromedial și VTA laterală, în timp ce semnalele de saliență motivațională au fost găsite mai frecvent în neuronii din SNc dorsolateral (Figura 7B). Acest lucru este în concordanță cu rapoartele conform cărora codarea valorii recompensării DA este cea mai puternică în ventromediul SNc (Nomoto și colab., 2010), în timp ce excitațiile aversive tind să fie mai puternice mai lateral (Mirenowicz și Schultz, 1996). Alte studii au explorat miezul medial mai mult. Aceste studii au constatat un amestec de răspunsuri aversive excitatorii și inhibitoare, fără o diferență semnificativă în locațiile lor, deși cu tendința ca excitațiile aversive să fie localizate mai ventral (Guarraci și Kapp, 1999; Brischoux și colab., 2009) (Figura 7C).

Destinațiile semnalelor de valoare motivațională

Conform ipotezei noastre, valorile motivaționale care codifică neuronii DA ar trebui să proiecteze regiunilor creierului implicate în acțiunile de abordare și evitare, evaluarea rezultatelor și învățarea valorică (Figura 5). Într-adevăr, proiectul ventromedial SNc și VTA se desfășoară pe cortexul prefrontal ventromedial (Williams și Goldman-Rakic, 1998) incluzând cortexul orbitofrontal (OFC) (Porrino și Goldman-Rakic, 1982) (Figura 7A). OFC a fost implicată în mod constant în codificarea valorii în studiile de imagistică funcțională (Anderson și colab., 2003; Small și colab., 2003; Jensen și colab., 2007; Litt și colab., 2010) și înregistrări neuronale unice (Morrison și Salzman, 2009; Roesch și Olson, 2004). OFC se gândește să evalueze opțiunile de alegere (Padoa-Schioppa, 2007; Kable și Glimcher, 2009), codifică așteptările rezultatelor (Schoenbaum și colab., 2009) și să actualizeze aceste așteptări în timpul învățării (Walton și colab., 2010). Mai mult, OFC este implicat în învățarea din erorile de predicție a recompensei negative (Takahashi și colab., 2009) care sunt cele mai puternice în neuronii DA care codifică valoarea (Figura 4).

În plus, porțiunile mediane ale proiectului mozinar dopaminergic la striatum ventral, incluzând coajă nucleu accumbens (coajă NAc) (Haber și colab., 2000) (Figura 7A). Un studiu recent a demonstrat că shell-ul NAc primește semnale DA fazice care codifică valoarea motivațională a rezultatelor gustului (Roitman și colab., 2008). Aceste semnale sunt susceptibile de a provoca învățarea valorii, deoarece perfuzia directă a medicamentelor DA în cochilia NAc este puternic consolidată (Ikemoto, 2010), în timp ce tratamentele care reduc intrarea DA în cochilie pot induce aversiuni (Liu și colab., 2008). Unul este că studiile de eliberare a coajă-lui NAc pe timpuri lungi (minute) au produs rezultate mixte, unele în concordanță cu codarea valorii și altele cu codificare de saliență (ex.Bassareo și colab., 2002; Ventura și colab., 2007)). Acest lucru sugerează că semnalele de valoare pot fi restricționate la locații specifice din cadrul shell-ului NAc. În special, diferite regiuni ale carcasei NAc sunt specializate pentru controlul comportamentului apetit și aversiv (Reynolds și Berridge, 2002), care necesită ambele date de la neuronii DA (Faure și colab., 2008).

În cele din urmă, neuronii DA în toată întinderea SNc trimit proiecții grele la striatul dorsal (Haber și colab., 2000), sugerând că striatumul dorsal poate primi atât valori motivaționale, cât și semnale DA de codificare a salienței (Figura 7A). Codul de valoare motivațional care codifică neuronii DA ar oferi un semnal instructiv ideal pentru circuitele striatale implicate în învățarea valorii, cum ar fi învățarea obiceiurilor de răspuns-stimul (Faure și colab., 2005; Yin și Knowlton, 2006; Balleine și O'Doherty, 2010). Atunci când acești neuroni DA se izbucnesc, ei vor angaja calea directă pentru a învăța să obțină rezultate de recompensă; atunci când se întrerup, ei ar angaja calea indirectă pentru a învăța să evite rezultatele aversive (Figura 2). Într-adevăr, există dovezi recente că căile striatale urmăresc exact această diviziune a forței de muncă pentru recompensă și prelucrare aversivă (Hikida și colab., 2010). Totuși, este încă necunoscut modul în care neuronii din aceste căi răspund la evenimentele recompensatoare și aversive în timpul comportamentului. Cel puțin în striatumul dorsal ca un întreg, un subset de neuroni răspund la anumite evenimente pline de satisfacții și aversive în maniere distincte (Ravel și colab., 2003; Yamada și colab., 2004, 2007; Joshua și colab., 2008).

Destinațiile semnalelor de saliență motivațională

Conform ipotezei noastre, neuronii DA care codifică saliența motivațională ar trebui să proiecteze regiunile creierului implicate în orientarea, prelucrarea cognitivă și motivația generală (Figura 5). Într-adevăr, neuronii DA din midbrainul dorsolateral trimit proiecții cortexului frontal dorsal și lateral (Williams și Goldman-Rakic, 1998) (Figura 7A), o regiune implicată în funcțiile cognitive, cum ar fi căutarea atențională, memoria de lucru, controlul cognitiv și luarea deciziilor între rezultatele motivaționale (Williams și Castner, 2006; Lee și Seo, 2007; Înțelept, 2008; Kable și Glimcher, 2009; Wallis și Kennerley, 2010). Funcțiile cognitive prefrontale precocerale sunt strict reglementate de nivelul DA (Robbins și Arnsten, 2009) și sunt teoretice care depind de activarea neuronului DA fazic (Cohen și colab., 2002; Lapish și colab., 2007). În mod special, un subset de neuroni laterali prefrontali răspunde atât la repetițiile pline de reverberare, cât și la cele aversive, iar marea majoritate răspund în aceeași direcție asemănătoare codificării salienței motivaționale (Kobayashi și colab., 2006). Mai mult, activitatea acestor neuroni este corelată cu succesul comportamental la îndeplinirea sarcinilor de memorie de lucru (Kobayashi și colab., 2006). Deși această cale dorsolaterală DA → cortex frontal dorsolateral frontal pare a fi specifică pentru primate (Williams și Goldman-Rakic, 1998), o cale similară din punct de vedere funcțional poate exista și în alte specii. În particular, multe dintre funcțiile cognitive ale cortexului prefrontal dorsolateral al primatelor sunt realizate de cortexul prefrontal medial al rozătoarelor (Uylings și colab., 2003) și există dovezi că această regiune primește DA semnale de saliență motivațională și controlează comportamentul referitor la saliență (Mantz și colab., 1989; Di Chiara, 2002; Joseph și colab., 2003; Ventura și colab., 2007; Ventura și colab., 2008).

Având în vedere dovezile că VTA conține atât neuroni de codificare și valorificare, cât și semnalele de codificare a valorii sunt trimise în shell-ul NAc, semnalele de saliență pot fi trimise la nucleul NAc (Figura 7A). Într-adevăr, nucleul NAc (dar nu coajă) este esențial pentru a permite motivația de a depăși costurile de răspuns, cum ar fi efortul fizic; pentru îndeplinirea sarcinilor de setare-schimbare care necesită flexibilitate cognitivă; și pentru a permite indicilor de recompensă să provoace o creștere a motivației generale (Ghods-Sharifi și Floresco, 2010; Floresco și colab., 2006; Hall și colab., 2001; Cardinal, 2006). În concordanță cu codificarea motivului motivațional, nucleul NAc primește exploziile fazice ale DA în timpul ambelor experiențe pline de satisfacție (Day și colab., 2007) și experiențe aversive (Anstrom și colab., 2009).

În cele din urmă, așa cum s-a discutat mai sus, unele neuroni DA care codifică saliența pot să se proiecteze la striatul dorsal (Figura 7A). În timp ce unele regiuni ale striatumului dorsal sunt implicate în funcții legate de valorile acțiunii de învățare, striatumul dorsal este, de asemenea, implicat în funcțiile care ar trebui angajate pentru toate evenimentele importante, cum ar fi orientarea, atenția, memoria de lucru și motivația generalăHikosaka și colab., 2000; Klingberg, 2010; Palmiter, 2008). Într-adevăr, un subset de neuroni dorsali striatali sunt mai receptivi la evenimentele recompensatoare și aversive decât la evenimentele neutre (Ravel și colab., 1999; Blazquez și colab., 2002; Yamada și colab., 2004, 2007), deși rolul lor cauzal în comportamentul motivat nu este încă cunoscut.

Surse de semnale de valoare motivațională

O serie recentă de studii sugerează că neuronii DA primesc semnale de valoare motivațională dintr-un mic nucleu din epitalamus, habenula laterală (LHb) (Hikosaka, 2010) (Figura 8). LHb exercită un control negativ puternic asupra neuronilor DA: Stimularea LHb inhibă neuronii DA la latențe scurte (Christoph și colab., 1986) și poate reglementa învățarea într-o manieră opusă stimulării VTA (Shumake și colab., 2010). În concordanță cu un semnal de control negativ, mulți neuroni LHb au răspunsuri fazice inversate în oglindă la neuronii DA: neuronii LHb sunt inhibat prin erori de predicție a recompensei pozitive și excitat prin erori de predicție a recompensei negative (Matsumoto și Hikosaka, 2007, 2009a; Bromberg-Martin și colab., 2010a; Bromberg-Martin și colab., 2010c). În mai multe cazuri aceste semnale apar la latențe mai scurte în LHb, în ​​concordanță cu transmisia LHb → DA (Matsumoto și Hikosaka, 2007; Bromberg-Martin și colab., 2010a).

Figura 8 

Sursa ipotetică a valorii motivaționale, semnalizării și semnalelor de alertă

LHb este capabil să controleze neuronii DA în midbrain, dar mai multe linii de dovezi sugerează că exercită un control preferențial asupra valorilor motivaționale care codifică neuronii DA. În primul rând, neuronii LHb codifică valoarea motivațională într-o manieră care reflectă în mod clar neuronii DA care codifică valorile - codifică atât erorile de predicție a recompenselor pozitive, cât și negative și răspund în direcții opuse evenimentelor recompensatoare și aversiveMatsumoto și Hikosaka, 2009a; Bromberg-Martin și colab., 2010a). În al doilea rând, stimularea LHb are cele mai puternice efecte asupra neuronilor DA ale căror proprietăți sunt coerente cu codificarea valorii, incluzând inhibiția prin indiciile fără recompensă și localizarea anatomică în SNC ventromedial (Matsumoto și Hikosaka, 2007, 2009b). În al treilea rând, leziunile la LHb afectează răspunsurile inhibitorilor neuronului DA la evenimente aversive, sugerând un rol cauzal pentru LHb în generarea semnalelor DA (Gao și colab., 1990).

LHb face parte dintr-o cale neuronală mai largă prin care neuronii DA pot fi controlați de ganglionii bazali (Figura 8). LHb primește semnale asemănătoare erorilor de predicție a recompenselor printr-o proiecție dintr-o populație de neuroni situate în jurul graniței globus pallidus (GPb) (Hong și Hikosaka, 2008). Odată ce aceste semnale ajung la LHb, acestea sunt probabil trimise la neuronii DA printr-o cale dezinaptică în care LHb excită neuronii GABA midbrain care, la rândul lor, inhibă neuronii DAJi și Shepard, 2007; Omelchenko și colab., 2009; Brinschwitz și colab., 2010). Acest lucru se poate întâmpla prin proiecțiile LHb la interneuron în VTA și la un nucleu GABA-ergic adiacent numit nucleul tegmental patromedial (RMTg) (Jhou și colab., 2009b) (denumită și "coada caudală a VTA" (Kaufling și colab., 2009)). În mod special, neuronii RMTg au proprietăți de răspuns similare cu neuronii LHb, codifică valoarea motivațională și au o proiecție inhibitoare puternică la midbrainul dopaminergic (Jhou și colab., 2009a). Astfel, calea completă a ganglionilor bazali pentru transmiterea semnalelor de valoare motivațională către neuronii DA poate fi GPb → LHb → RMTg → DA (Hikosaka, 2010).

O întrebare importantă pentru cercetarea viitoare este dacă semnalele de valoare motivațională sunt direcționate numai prin LHb sau dacă sunt purtate prin multiple căi de intrare. În mod special, inhibițiile DA prin picioarele aversive sunt controlate de activitatea din nucleul parabrahial mezopontin (PBN) (Coizet și colab., 2010) (Figura 8). Acest nucleu conține neuroni care primesc o intrare directă din măduva spinării care codifică senzațiile nocive și ar putea inhiba neuronii DA prin proiecții excitatorii la RMTg (Coizet și colab., 2010; Gauriau și Bernard, 2002). Acest lucru sugerează că LHb trimite semnale DA de neuroni de valoare motivațională atât pentru recompense, cât și pentru cele aversive și rezultate, în timp ce PBN furnizează o componentă a semnalului de valoare specific legată de rezultatele aversive.

Surse de semnale de saliență motivațională

Se cunosc mai puține despre sursa semnalelor de saliență motivațională din neuronii DA. Un candidat interesant este nucleul central al amigdalei (CeA), care a fost implicat constant în orientarea, atenția și răspunsurile motivaționale generale atât în ​​timpul evenimentelor atât de pline de recompensă cât și de cele aversiveOlanda și Gallagher, 1999; Baxter și Murray, 2002; Merali și colab., 2003; Balleine și Killcross, 2006) (Figura 8). Ceii CeA și alți nuclei amigdali conțin mulți neuroni ale căror semnale sunt în concordanță cu saliența motivațională: ele semnalează evenimentele recompensatoare și aversive în aceeași direcție, sunt amplificate atunci când evenimentele apar în mod neașteptat și sunt corelate cu măsuri comportamentale de excitareNishijo și colab., 1988; Belova și colab., 2007; Shabel și Janak, 2009). Aceste semnale pot fi trimise la neuronii DA, deoarece CeA are descendențe descendente ale brainstemului care transporta informații plină de satisfacții și aversiuni (Lee și colab., 2005; Pascoe și Kapp, 1985) și CeA este necesară pentru eliberarea DA în timpul evenimentelor legate de recompense (Phillips și colab., 2003a). Mai mult, CeA participă cu neuroni DA în căi coerente cu rețelele noastre anatomice și funcționale propuse pentru saliență motivațională. O cale care include striatul CeA, SNc și striatul dorsal este necesară pentru orientarea învățării către indicațiile alimentare (Han și colab., 1997; Lee și colab., 2005; El-Amamy și Olanda, 2007). În concordanță cu diviziunea noastră de saliență față de semnalele de valoare, această cale este necesară pentru a învăța să se orienteze la indicii de alimentație, dar nu pentru a învăța să abordăm rezultatele alimentare (Han și colab., 1997). O a doua cale, care include nucleul CeA, SNc, VTA și NAc, este necesară pentru ca recompensele să provoace o creștere a motivației generale de a efectua acțiuni de răsplătire (Hall și colab., 2001; Corbit și Balleine, 2005; El-Amamy și Olanda, 2007).

În plus față de CeA, neuronii DA pot primi semnale de saliență motivațională din alte surse, cum ar fi neuronii care codifică saliența în creierul bazal (Lin și Nicolelis, 2008; Richardson și DeLong, 1991) și neuroni în PBN (Coizet și colab., 2010), deși aceste căi rămân să fie investigate.

Surse de semnale de alertă

Există mai mulți candidați buni pentru furnizarea de neuroni DA cu semnale de alertă. Poate că cel mai atractiv candidat este coliculul superior (SC), nucleul miezului mijlociu care primește intrări senzoriale latente de scurtă durată din mai multe modalități senzoriale și controlează orientarea reacțiilor și a atenției (Redgrave și Gurney, 2006) (Figura 8). SC are o proiecție directă către SNC și VTA (May și colab., 2009; Comoli și colab., 2003). La animalele anestezite SC este o conductă vitală pentru semnale vizuale cu o lățime scurtă pentru a ajunge la neuronii DA și declanșa eliberarea DA în structurile din aval (Comoli și colab., 2003; Dommett și colab., 2005). Calea SC-DA este cea mai potrivită pentru transmiterea semnalelor de alertă, mai degrabă decât pentru semnalele de recompensă și aversiune, deoarece neuronii SC au un răspuns redus la livrarea de recompense și au doar o influență ușoară asupra răspunsurilor aversive DACoizet și colab., 2006). Acest lucru sugerează o secvență de evenimente în care neuronii SC (1) detectează un stimul, (2) îl selectează ca potențial important (3) declanșează o reacție de orientare pentru a examina stimulul și (4) declanșează simultan un răspuns de alertă DA care provoacă o explozie de DA în structurile din aval (Redgrave și Gurney, 2006).

Un al doilea candidat pentru trimiterea semnalelor de alertă către neuronii DA este LHb (Figura 8). În mod particular, debutul neașteptat al unui test de începere a studiului inhibă multe neuroni LHb într-o manieră inversă în semnalul de alertă neuron DA, iar acest răspuns apare la o latență mai scurtă în LHb în concordanță cu o direcție de transmisie LHb → DA (Bromberg-Martin și colab., 2010a; Bromberg-Martin și colab., 2010c). De asemenea, am observat anecdotal că neuronii LHb sunt inhibați de imaginile vizuale și sunetele neașteptate în mod invers la excitațiile DA (MM, ESB-M. Și OH, observații nepublicate), deși aceasta așteaptă o investigație mai sistematică.

În cele din urmă, un al treilea candidat pentru trimiterea semnalelor de alertă către neuronii DA este nucleul tegmental pedunculopontin (PPTg), care se proiectează atât la SNC cât și la VTA și este implicat în procesarea motivațională (Winn, 2006) (Figura 8). PPTg este important pentru activarea exploziilor neuronale VTA DA (Grace și colab., 2007), incluzând răspunsurile de spargere pentru a recompensa indicii (Pan și Hyland, 2005). În concordanță cu un semnal de alertă, neuronii PPTg au răspunsuri latente de scurtă durată la multiple modalități senzoriale și sunt activi în timpul orientării reacțiilor (Winn, 2006). Există dovezi că răspunsurile senzoriale PPTg sunt influențate de valoarea recompensării și de cerințele pentru acțiunea imediată (Dormont și colab., 1998; Okada și colab., 2009) (dar vezi (Pan și Hyland, 2005)). Unii neuroni PPTg răspund, de asemenea, la rezultatele recompensatoare sau aversive (Dormont și colab., 1998; Kobayashi și colab., 2002; Ivlieva și Timofeeva, 2003b, a). Va fi important să testați dacă semnalele pe care PPTg le trimite către neuronii DA sunt legate în mod special de alertă sau dacă conțin alte semnale motivaționale, cum ar fi valoarea și semnificația.

Direcții pentru cercetări viitoare

Am analizat natura semnalelor de recompensă, aversivă și alertă în neuronii DA și am propus o ipoteză despre căile neuronale care stau la baza și rolul lor în comportamentul motivat. Considerăm că aceasta este o ipoteză de lucru, un ghid pentru teorii și cercetări viitoare care ne vor aduce la o înțelegere mai completă. Aici vom evidenția mai multe domenii în care sunt necesare investigații suplimentare pentru a descoperi complexitatea mai profundă.

În prezent, înțelegerea noastră a căilor neuronale care stau la baza semnalelor DA este într-un stadiu incipient. Prin urmare, am încercat să deducem sursele și destinațiile semnalelor de codificare a semnalelor de valoare și de saliență bazate în mare măsură pe măsuri indirecte, cum ar fi proprietățile răspunsului neuronal și rolurile funcționale ale diferitelor zone ale creierului. Va fi important să se pună aceste căi candidate la un test direct și să se descopere proprietățile lor detaliate, ajutat de instrumentele recent dezvoltate care permit monitorizarea transmiterii DA (Robinson și colab., 2008) și controlate (Tsai și colab., 2009; Tecuapetla și colab., 2010; Stuber și colab., 2010) cu precizie spațială și temporală mare. După cum sa menționat mai sus, câteva dintre aceste structuri candidate au o organizație topografică, sugerând că comunicarea lor cu neuronii DA poate fi și topografică. Sursele neurale ale semnalelor DA fazice pot fi, de asemenea, mai complexe decât căile simple de avansare pe care le-am propus, deoarece structurile neuronale care comunică cu neuronii DA sunt foarte interconectate (Geisler și Zahm, 2005) și neuronii DA pot comunica între ei în interiorul midbrainului (Ford și colab., 2010).

Ne-am concentrat pe un set selectat de conexiuni neuronale DA, dar neuronii DA primesc intrări funcționale din multe structuri suplimentare, inclusiv nucleul subtalamic, nucleul tegmental laterodorsal, nucleul patului terminalului stria, cortexul prefrontal, ventralul pallidum și hipotalamusul lateralGrace și colab., 2007; Shimo și Wichmann, 2009; Jalabert și colab., 2009). În special, proiectele neuronale hipotalamice neuronale, proiectate pentru neuronii DA, sunt activate de evenimente mai degrabă de recompensă decât de evenimente aversive și de declanșarea comportamentului de căutare a drogurilor (Harris și Aston-Jones, 2006), sugerând un posibil rol în funcțiile legate de valoare. DA neuroni, de asemenea, trimite proiecții la multe structuri suplimentare, inclusiv hipotalamus, hipocampus, amygdala, habenula, și o mare multe zone corticale. În mod special, cortexul cingular anterior (ACC) a fost propus să primească semnale de eroare de predicție a recompensării de la neuroni DA (Holroyd și Coles, 2002) și conține neuroni cu activitate pozitivă legată de valoarea motivațională (Koyama și colab., 1998). Cu toate acestea, activarea ACC este, de asemenea, legată de prelucrarea aversivă (Vogt, 2005; Johansen și Fields, 2004). Aceste funcții ACC ar putea fi susținute de un amestec de semnale de motivare DA și semnale de saliență, care vor fi importante pentru testarea în viitorul studiu. Într-adevăr, semnalele neuronale legate de erorile de predicție a recompenselor au fost raportate în mai multe domenii, incluzând cortexul prefrontal medial (Matsumoto și colab., 2007; Seo și Lee, 2007), cortexul orbitofrontal (Sul și colab., 2010) (dar vezi (Takahashi și colab., 2009; Kennerley și Wallis, 2009)) și striatum dorsal (Kim și colab., 2009; Oyama și colab., 2010), iar relația lor cauzală cu activitatea neuronului DA rămâne a fi descoperită.

Am descris evenimentele motivaționale cu o dihotomie simplă, clasându-le ca fiind "plină de satisfacții" sau "aversive". Cu toate acestea, aceste categorii conțin o mare varietate. O boală aversivă este graduală, prelungită și provocată de evenimentele interne; un airpuff aversiv este rapid, scurt și provocat de lumea exterioară. Aceste situații necesită răspunsuri comportamentale foarte diferite, susceptibile de a fi suportate de diferite sisteme neuronale. În plus, deși ne-am concentrat discuția asupra a două tipuri de neuroni DA cu semnale asemănătoare cu valoarea motivațională și cu saliență, o examinare atentă arată că neuronii DA nu se limitează la această dihotomie strictă. Așa cum este indicat de noțiunea noastră de gradient anatomic, unii neuroni DA transmit amestecuri de semnale asemănătoare salienței și valoroase; încă alți neuroni DA răspund la evenimente satisfacatoare dar nu aversive (Matsumoto și Hikosaka, 2009b; Bromberg-Martin și colab., 2010a). Aceste considerații sugerează că unii neuroni DA nu pot codifica evenimentele motivaționale de-a lungul axei noastre intuitive de "bun" vs. "rău" și pot fi specializate pentru a sprijini anumite forme de comportament adaptiv.

Chiar și în domeniul recompensei, există dovezi că neuronii DA transmit semnale diferite de recompensă diferitelor regiuni ale creierului (Bassareo și Di Chiara, 1999; Ito și colab., 2000; Stefani și Moghaddam, 2006; Wightman și colab., 2007; Aragona și colab., 2009). Răspunsurile diverse raportate în SNC și VTA includ neuroni care: răspund doar la începutul unui proces (Roesch și colab., 2007), probabil codarea unui semnal de alertă pur; răspunde diferit la modalitățile vizuale și auditive (Strecker și Jacobs, 1985), primind probabil intrare din diferite neuroni SC și PPTg; răspunde la primul sau ultimul eveniment dintr-o secvență (Ravel și Richmond, 2006; Jin și Costa, 2010); au susținut activarea prin recompense riscante (Fiorillo și colab., 2003); sau sunt activate în timpul mișcărilor corpului (Schultz, 1986; Kiyatkin, 1988a; Puryear și colab., 2010; Jin și Costa, 2010) (Vezi si (Phillips și colab., 2003b; Stuber și colab., 2005)). În timp ce fiecare dintre aceste modele de răspuns a fost raportat doar într-o minoritate de studii sau neuroni, aceste date sugerează că neuronii DA ar putea fi împărțiți într-un număr mult mai mare de populații distincte funcțional.

O analiză finală și importantă este că studiile de înregistrare prezente în comportamentul animalelor nu oferă încă măsurători concludente pe deplin ale activității neuronului DA, deoarece aceste studii nu au reușit decât să distingă între DA și neuronii DA folosind metode indirecte, bazate pe proprietăți neuronale viteza de ardere, forma de undă spike și sensibilitatea la agoniștii receptorilor D2 (Grace și Bunney, 1983; Schultz, 1986). Aceste tehnici par să identifice neuronii DA în mod credibil în cadrul SNc, indicată prin mai multe linii de evidență, incluzând compararea metodelor intracelulare și extracelulare, înregistrările juxtacelulare și efectele leziunilor specifice DAGrace și Bunney, 1983; Grace și colab., 2007; Brown și colab., 2009). Cu toate acestea, studii recente indică faptul că această tehnică poate fi mai puțin fiabilă în VTA, unde neuronii DA și non-DA au o varietate mai largă de proprietăți celulare (Margolis și colab., 2006; Margolis și colab., 2008; Lammel și colab., 2008; Brischoux și colab., 2009). Chiar și măsurătorile directe ale concentrațiilor de DA în structurile din aval nu oferă dovezi concludente ale activității de stimulare a neuronului DA, deoarece concentrațiile DA pot fi controlate prin factori suplimentari cum ar fi activarea glutamatergică a terminalelor DA axon (Cheramy și colab., 1991) și schimbări rapide în activitatea transportatorilor DA (Zahniser și Sorkin, 2004). Pentru a efectua măsurători concludente pe măsura activității neuronului DA în timpul comportamentului activ, va fi necesar să se utilizeze noi tehnici de înregistrare, cum ar fi combinarea înregistrării extracelulare cu stimulare optogenetică (Jin și Costa, 2010).

Concluzie

Un concept influent al neuronilor DA midbrain a fost acela că transmit un semnal motivațional uniform tuturor structurilor din aval. Aici am analizat dovezile că semnalele DA sunt mai diverse decât se credea. În loc să codificăm un semnal uniform, neuronii DA vin în mai multe tipuri care trimit mesaje distincte motivaționale despre evenimentele care recompensează și nu recompensează. Chiar și unii neuroni DA nu par să transmită semnale motivaționale unice. În schimb, neuronii DA transmit amestecuri de semnale multiple generate de procese neuronale distincte. Unele reflectă previziunile detaliate despre experiențele de recompensare și aversiune, în timp ce altele reflectă răspunsurile rapide la evenimente de importanță majoră.

În plus, am propus o ipoteză despre natura acestor diverse semnale DA, a rețelelor neuronale care le generează și a influenței acestora asupra structurilor cerebrale din aval și asupra comportamentului motivat. Propunerea noastră poate fi văzută ca o sinteză a teoriilor anterioare. Multe teorii anterioare au încercat să identifice neuronii DA cu un singur proces motivațional, cum ar fi căutarea de obiective valoroase, angajarea unor situații motivaționale sau reacționarea la alertarea schimbărilor din mediu. În opinia noastră, neuronii DA primesc semnale legate de toate aceste trei procese. Cu toate acestea, mai degrabă decât distilarea acestor semnale într-un mesaj uniform, am propus ca neuronii DA să transmită aceste semnale unor structuri distincte ale creierului pentru a susține sisteme neuronale distincte pentru cunoașterea și comportamentul motivat. Unii neuroni DA susțin sistemele creierului care atribuie valoare motivațională, promovând acțiuni pentru a căuta evenimente recompensatoare, pentru a evita evenimentele aversive și pentru a vă asigura că evenimentele de alertare pot fi anticipate și pregătite în avans. Alți neuroni DA susțin sistemele creierului care sunt implicați în saliență motivațională, inclusiv orientarea pentru detectarea evenimentelor potențial importante, procesarea cognitivă pentru a alege un răspuns și pentru a-și aminti consecințele acestuia și motivația de a persista în urmărirea unui rezultat optim. Sperăm că această propunere ne ajută să ajungem la o înțelegere mai rafinată a funcțiilor DA din creier, în care neuronii DA își adaptează semnalele pentru a sprijini rețele neuronale multiple cu roluri distincte în controlul motivațional.

MULȚUMIRI

Această lucrare a fost susținută de programul de cercetare intramural la Institutul Național de ochi. Îi mulțumim și lui Amy Arnsten pentru discuții valoroase.

Note de subsol

Declinarea responsabilității editorului: Acesta este un fișier PDF al unui manuscris needitat care a fost acceptat pentru publicare. Ca serviciu pentru clienții noștri oferim această versiune timpurie a manuscrisului. Manuscrisul va fi supus copierii, tipăririi și revizuirii probelor rezultate înainte de a fi publicat în forma sa finală. Rețineți că în timpul procesului de producție pot fi descoperite erori care ar putea afecta conținutul și toate denunțările legale care se referă la jurnal.

FOOTNOTE1By motivațională ne referim la o cantitate care este ridicată atât pentru evenimentele recompensatoare, cât și pentru evenimentele aversive și este scăzută pentru evenimentele motivante neutre (non-recompensatoare și non-aversive). Aceasta este similară cu definiția dată de (Berridge și Robinson, 1998). Rețineți că semnificația motivațională este diferită de alte noțiuni de saliență folosite în neuroștiință, cum ar fi saliența stimulentelor (care se aplică numai evenimentelor de dorit;Berridge și Robinson, 1998)) și saliență perceptuală (care se aplică evenimentelor neutre motivaționale, cum ar fi obiectele în mișcare și luminile colorate;Bisley și Goldberg, 2010)).]

FOOTNOTE2Rețineți că semnalele de codificare a semnalului motivațional DA neuron sunt distincte de noțiunile clasice de "asociabilitate" și "schimbare în asociabilitate" care au fost propuse pentru a regla rata de învățare a armăturilor (ex.Pearce și Hall, 1980)). Astfel de teorii afirmă că animalele învață (și ajustează rata de învățare) atât de erorile de predicție cât și de cele negative. Deși acești neuroni DA pot contribui la învățarea din erorile predictive pozitive, în care pot avea un răspuns puternic (de exemplu, la livrarea de recompense neașteptate), ei pot să nu contribuie la învățarea din erorile de predicție negativă, în timpul cărora pot avea un răspuns puțin sau deloc de exemplu o omisiune de recompensă neașteptată) (Fig. 4B).

REFERINȚE

  1. Ahlbrecht M, Weber M. Rezoluția incertitudinii: un studiu experimental. Revista de economie instituțională și teoretică. 1996; 152: 593-607.
  2. Albin RL, Young AB, Penney JB. Anatomia funcțională a tulburărilor bazale ale ganglionilor. Tendințe în neuroștiințe. 1989; 12: 366-375. [PubMed]
  3. Anderson AK, Christoff K, Stappen I, Panitz D, Ghahremani DG, Glover G, Gabrieli JD, Sobel N. Reprezentări neurale disociate ale intensității și valenței în olfacția umană. Nat Neurosci. 2003; 6: 196-202. [PubMed]
  4. Anstrom KK, Miczek KA, Budygin EA. A crescut semnalizarea fiziologică a dopaminei în calea mezolimbică în timpul înfrângerii sociale la șobolani. Neuroscience. 2009; 161: 3-12. [PubMed]
  5. Aragona BJ, Ziua JJ, Roitman MF, Cleaveland NA, Wightman RM, Carelli RM. Specificitatea regională în dezvoltarea în timp real a tiparelor de transmitere a dopaminei fazice în timpul achiziției unei asociații de tip cue-cocaină la șobolani. Jurnalul european de neuroștiințe. 2009; 30: 1889-1899. [Articol gratuit PMC] [PubMed]
  6. Austin AJ, Duka T. Mecanisme de atenție pentru apariția apetitului și a rezultatelor aversive în condiționarea Pavlovian. Cercetarea creierului comportamental. 2010; 213: 19-26. [PubMed]
  7. Badia P, Harsh J, Abbott B. Alegerea condițiilor de șoc predictibile și imprevizibile: date și teorie. Buletinul psihologic. 1979; 86: 1107-1131.
  8. Balleine BW, Killcross S. Procesare paralelă de stimulare: o vedere integrată a funcției amigdale. Tendințe în neuroștiințe. 2006; 29: 272-279. [PubMed]
  9. Balleine BW, O'Doherty JP. Omologii umane și de rozătoare în controlul acțiunii: determinanți corticostriatali ai acțiunii direcționate către obiective și obișnuite. Neuropsihofarmacologie. 2010; 35: 48-69. [Articol gratuit PMC] [PubMed]
  10. Barr GA, Moriceau S, Shionoya K, Muzny K, Gao P, Wang S, Sullivan RM. Tranzițiile în învățarea infantilă sunt modulate de dopamină în amigdală. Nat Neurosci. 2009; 12: 1364-1366. [Articol gratuit PMC] [PubMed]
  11. Bassareo V, De Luca MA, Di Chiara G. Expresia diferențială a proprietăților stimulative motivaționale de dopamină în nucleul acumbbens Shell versus core și prefrontal Cortex. J Neurosci. 2002; 22: 4709-4719. [PubMed]
  12. Bassareo V, Di Chiara G. Responsabilitatea diferențială a transmiterii dopaminei la stimulii alimentari în compartimentele nucleului / nucleului accumbens. Neuroscience. 1999; 89: 637-641. [PubMed]
  13. Baxter MG, Murray EA. Amigdala și recompensa. Nat Rev Neurosci. 2002; 3: 563-573. [PubMed]
  14. Bayer HM, Glimcher PW. Semnele de neuroni de dopamină midbrain codifică un semnal de eroare de predicție cantitativă de recompensă. Neuron. 2005; 47: 129-141. [Articol gratuit PMC] [PubMed]
  15. Belova MA, Paton JJ, Morrison SE, CD-ul Salzman. Așteptările modulează răspunsurile neuronale la stimulii plăcuți și aversivi în amigdala primatelor. Neuron. 2007; 55: 970-984. [Articol gratuit PMC] [PubMed]
  16. Bentivoglio M, Morelli M. Organizarea și circuitele neuronilor dopainergici mesencefalici și distribuția receptorilor dopaminergici în creier. Manual de Neuroanatomie Chimică. 2005: 1-107.
  17. Berridge KC, Robinson TE. Care este rolul dopaminei în recompensă: impactul hedonic, învățarea recompensă sau semnificația stimulentelor? Cercetarea creierului. 1998; 28: 309-369. [PubMed]
  18. Besson C, Louilot A. Implicarea asimetrică a neuronilor mesolimbici dopaminergici în percepția afectivă. Neuroscience. 1995; 68: 963-968. [PubMed]
  19. Birgner C, Nordenankar K, Lundblad M, Mendez JA, Smith C, le Greves M, Galter D, Olson L, Fredriksson A, Trudeau LE, și colab. VGLUT2 în neuronii dopaminergici este necesară pentru activarea comportamentală indusă de psihostimulant. Proceedings of the National Academy of Sciences din Statele Unite ale Americii. 2010; 107: 389-394. [Articol gratuit PMC] [PubMed]
  20. Bisley JW, Goldberg ME. Atenție, intenție și prioritate în lobul parietal. Revizuirea anuală a neuroștiințelor. 2010; 33: 1-21. [Articol gratuit PMC] [PubMed]
  21. Bjorklund A, Dunnett SB. Sistemele de neuroni de dopamină din creier: o actualizare. Tendințe în neuroștiințe. 2007; 30: 194-202. [PubMed]
  22. Blazquez PM, Fujii N, Kojima J, Graybiel AM. Reprezentarea în rețea a probabilității de răspuns în striatum. Neuron. 2002; 33: 973-982. [PubMed]
  23. Botvinick MM, Braver TS, Barch DM, Carter CS, Cohen JD. Monitorizarea conflictelor și controlul cognitiv. Psiholog Rev 2001; 108: 624-652. [PubMed]
  24. Bradley MM, Greenwald MK, Petry MC, Lang PJ. Amintirea imaginilor: plăcere și excitare în memorie. J Exp Psychol Aflați Mem Cogn. 1992; 18: 379-390. [PubMed]
  25. Braun DA, Mehring C, Wolpert DM. Structura învățării în acțiune. Cercetarea creierului comportamental. 2010; 206: 157-165. [Articol gratuit PMC] [PubMed]
  26. Brinschwitz K, Dittgen A, Madai VI, Lommel R, Geisler S, Veh RW. Axoanele glutamatergice din habenula laterală se termină în principal pe neuronii GABAergici ai midbrainului ventral. Neuroscience. 2010; 168: 463-476. [PubMed]
  27. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Excitarea excitațională a neuronilor dopaminici în VTA ventrală prin stimuli nocivi. Proceedings of the National Academy of Sciences din Statele Unite ale Americii. 2009; 106: 4894-4899. [Articol gratuit PMC] [PubMed]
  28. Bromberg-Martin ES, Hikosaka O. Midbrain dopamine neuroni semnal preferința pentru informații în avans despre recompense viitoare. Neuron. 2009; 63: 119-126. [Articol gratuit PMC] [PubMed]
  29. Bromberg-Martin ES, Matsumoto M, Hikosaka O. Activitate distinctă tonic și fiziologic anticipativ în neuronii laterali habenula și dopaminergici. Neuron. 2010a; 67: 144-155. [Articol gratuit PMC] [PubMed]
  30. Bromberg-Martin ES, Matsumoto M, Hong S, Hikosaka O. O cale pallidus-habenula-dopamină semnalizează valorile stimulului dedus. J Neurophysiol. 2010b; 104: 1068-1076. [Articol gratuit PMC] [PubMed]
  31. Bromberg-Martin ES, Matsumoto M, Nakahara H, Hikosaka O. Timpi multiple de memorie în habenula laterală și neuroni dopaminergici. Neuron. 2010c; 67: 499-510. [Articol gratuit PMC] [PubMed]
  32. Brown MTC, Henny P, Bolam JP, Magill PJ. Activitatea neuronilor dopaminergici heterogeni neurochimici în substantia nigra în timpul schimbărilor spontane și determinate ale creierului. J Neurosci. 2009; 29: 2915-2925. [PubMed]
  33. Cardinalul RN. Sisteme neuronale implicate în armarea întârziată și probabilistică. Neural Netw. 2006; 19: 1277-1301. [PubMed]
  34. Cheer JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM. Coordonarea activității de eliberare a dopaminei și a activității neuronale determină comportamentul orientat spre obiectiv. Neuron. 2007; 54: 237-244. [PubMed]
  35. Chematiile A, Kemel ML, Gauchy C, Desce JM, Galli T, Barbeito L, Glowinski J. Rolul aminoacizilor excitatori în reglarea presinaptică directă și indirectă a eliberării dopaminei de la terminalele nervoase ale neuronilor dopaminergici nigrostriatali. Aminoacizi. 1991; 1: 351-363. [PubMed]
  36. Chew SH, Ho JL. Speranța: un studiu empiric al atitudinii față de momentul soluționării incertitudinii. Jurnalul de risc și incertitudine. 1994; 8: 267-288.
  37. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Stimulările senzoriale modifică rata de descărcare a neuronilor dopaminici (DA): dovezi pentru două tipuri funcționale de celule DA în substantia nigra. Brain Res. 1980; 189: 544-549. [PubMed]
  38. Christoph GR, Leonzio RJ, Wilcox KS. Stimularea habenulei laterale inhibă neuronii care conțin dopamină în substanția nigră și în zona tegmentală ventrală a șobolanului. J Neurosci. 1986; 6: 613-619. [PubMed]
  39. Chuhma N, Choi WY, Mingote S, Rayport S. Co-transmisia de glutamat de neuron dopamină: modulație dependentă de frecvență în proiecția mesoventromedial. Neuroscience. 2009; 164: 1068-1083. [Articol gratuit PMC] [PubMed]
  40. Cohen JD, Braver TS, Brown JW. Perspective computaționale privind funcția dopaminei în cortexul prefrontal. Opinia curentă în neurobiologie. 2002; 12: 223-229. [PubMed]
  41. Coizet V, Dommett EJ, Klop EM, Redgrave P, Overton PG. Nucleul parabrahial este o legătură critică în transmiterea informațiilor nociceptive de latență scurtă către neuronii dopaminergici ai midbrainului. Neuroscience. 2010; 168: 263-272. [Articol gratuit PMC] [PubMed]
  42. Coizet V, Dommett EJ, Redgrave P, Overton PG. Răspunsurile nociceptive ale neuronilor dopaminergici midbrain sunt modulate de coliculul superior la șobolan. Neuroscience. 2006; 139: 1479-1493. [PubMed]
  43. Comoli E, Coizet V, Boyes J, Bolam JP, Canteras NS, Quirk RH, Overton PG, Redgrave P. O proiecție directă de la colliculus superior la substanția nigra pentru detectarea evenimentelor vizuale vizibile. Nat Neurosci. 2003; 6: 974-980. [PubMed]
  44. Corbit LH, Balleine BW. Disocierea dublă a leziunilor bazolaterale și centrale ale amigdalelor asupra formelor generale și ale formelor specifice de transfer instrumental pavlovian. J Neurosci. 2005; 25: 962-970. [PubMed]
  45. Dalley JW, Laane K, Theobald DE, Armstrong HC, Corlett PR, Chudasama Y, Robbins TW. Modularea temporală limitată a memoriei Pavlovian apetită de receptorii D1 și NMDA în nucleul accumbens. Proceedings of the National Academy of Sciences din Statele Unite ale Americii. 2005; 102: 6189-6194. [Articol gratuit PMC] [PubMed]
  46. Daly HB. Preferința pentru nepredictibilitate este inversată atunci când nonreward-ul imprevizibil este aversiv: procedurile, datele și teoriile de achiziție a răspunsului apetit la observație. În: Gormezano I, Wasserman EA, editori. Învățarea și memoria: Substraturile comportamentale și biologice. LE Associates; 1992. pp. 81-104.
  47. Davidson MC, Horvitz JC, Tottenham N, Fossella JA, Watts R, Ulug AM, Casey BJ. Caudate diferențială și activare cingulate după stimulenți neredurați neașteptate. NeuroImage. 2004; 23: 1039-1045. [PubMed]
  48. Ziua JJ, Roitman MF, Wightman RM, Carelli RM. Învățarea asociativă mediază schimbările dinamice în semnalizarea dopaminei în nucleul accumbens. Nat Neurosci. 2007; 10: 1020-1028. [PubMed]
  49. Dayan P, Niv Y. Învățarea de întărire: bună, rea și urâtă. Opinia curentă în neurobiologie. 2008; 18: 185-196. [PubMed]
  50. Descartes L, Berube-Carriere N, Riad M, Bo GD, Mendez JA, Trudeau LE. Glutamatul în neuronii dopaminergici: transmisie sinaptică versus difuzie. Cercetarea creierului. 2008; 58: 290-302. [PubMed]
  51. Di Chiara G. Nucleus accumbens cochilie și dopamină de bază: rol diferențiat în comportament și dependență. Cercetarea creierului comportamental. 2002; 137: 75-114. [PubMed]
  52. Domnitt E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N, Mayhew JE, Overton PG, Redgrave P. Cum stimuli vizuali activează neuronii dopaminergici la latență scurtă. Ştiinţă. 2005; 307: 1476-1479. [PubMed]
  53. Dormont JF, Conde H, Farin D. Rolul nucleului tegmental pedunculopontin în raport cu performanța motorului condiționat în pisică. I. Activitate unitară dependentă de context și de consolidare. Cercetarea experimentală a creierului. Experimentelle Hirnforschung. 1998; 121: 401-410. [PubMed]
  54. Duzel E, Bunzeck N, Guitart-Masip M, Duzel S. Motivarea legată de NOvelty de anticipare și explorare de către dopamină (NOMAD): implicații pentru îmbătrânirea sănătoasă. Neuroștiințe și recenzii biobehaviorale. 2010; 34: 660-669. [PubMed]
  55. El-Amamy H, Olanda PC. Efectele disociabile ale deconectării nucleului central al amigdalei din zona tegmentală ventrală sau substantia nigra asupra orientării învățate și motivației stimulative. Jurnalul european de neuroștiințe. 2007; 25: 1557-1567. [Articol gratuit PMC] [PubMed]
  56. Ettenberg A. Proprietățile procesului oponent al cocainei autoadministrate. Neuroștiințe și recenzii biobehaviorale. 2004; 27: 721-728. [PubMed]
  57. Fadok JP, Dickerson TM, Palmiter RD. Dopamina este necesară pentru condiționarea condiției dependente de tac. J Neurosci. 2009; 29: 11089-11097. [Articol gratuit PMC] [PubMed]
  58. Fairhall AL, Lewen GD, Bialek W, de Ruyter Van Steveninck RR. Eficiența și ambiguitatea într-un cod adaptabil neural. Natură. 2001; 412: 787-792. [PubMed]
  59. Faure A, Haberland U, Conde F, El Massioui N. Lesion la sistemul de dopamină nigrostriatal perturbe formarea obiceiurilor de stimulare-răspuns. J Neurosci. 2005; 25: 2771-2780. [PubMed]
  60. Faure A, Reynolds SM, Richard JM, Berridge KC. Dopamina mesolimbică în dorință și teamă: permite motivația de a fi generată de perturbații localizate de glutamat în nucleul accumbens. J Neurosci. 2008; 28: 7184-7192. [Articol gratuit PMC] [PubMed]
  61. Fiorillo CD, Newsome WT, Schultz W. Precizia temporală a predicției recompensei în neuronii dopaminergici. Nat Neurosci. 2008; 11: 966-973. [PubMed]
  62. Fiorillo CD, Tobler PN, Schultz W. Codificarea discretă a probabilității de recompensă și incertitudinea neuronilor dopaminergici. Ştiinţă. 2003; 299: 1898-1902. [PubMed]
  63. Floresco SB, Ghods-Sharifi S, Vexelman C, Magyar O. Roluri disociabile pentru nucleul nucleului accumbens și coajă în reglarea setării de schimbare. J Neurosci. 2006; 26: 2449-2457. [PubMed]
  64. Ford CP, Gantz SC, Phillips PE, Williams JT. Controlul dopaminei extracelulare la terminalele dendrite și axon. J Neurosci. 2010; 30: 6975-6983. [Articol gratuit PMC] [PubMed]
  65. Frank MJ. Modulația dinamică a dopaminei în ganglionii bazali: o evidență neurocomputantă a deficitelor cognitive în Parkinsonismul medicat și nonmedicat. Revista de neuroștiințe cognitive. 2005; 17: 51-72. [PubMed]
  66. Frank MJ, Fossella JA. Neurogenetica și farmacologia învățării, motivației și cunoașterii. Neuropsychopharmacology. 2010 [Articol gratuit PMC] [PubMed]
  67. Frank MJ, Seeberger LC, O'Reilly RC. Prin morcov sau prin băț: învățarea armării cognitive în parkinsonism. Ştiinţă. 2004; 306: 1940-1943. [PubMed]
  68. Gallistel CR, Gibbon J. Timp, rată și condiționare. Psiholog Rev 2000; 107: 289-344. [PubMed]
  69. Gao DM, Jeaugey L, Pollak P, Benabid AL. Răspunsuri nociceptive dependente de intensitate de la presupușii neuroni dopaminergici ai substantia nigra, pars compacta la șobolan și modificarea lor prin inputurile laterale de habenula. Brain Res. 1990; 529: 315-319. [PubMed]
  70. Gauriau C, Bernard JF. Căile de durere și circuitele parabrahiale la șobolan. Fiziologia experimentală. 2002; 87: 251-258. [PubMed]
  71. Geisler S, Zahm DS. Aferenți ai zonei tegmentale ventrale în substratul anatomic de șobolan pentru funcții integrative. Jurnalul de neurologie comparativă. 2005; 490: 270-294. [PubMed]
  72. Gerfen CR, Engber TM, Mahan LC, Susel Z, Chase TN, Monsma FJ, Jr, Sibley DR. D1 și D2 expresia genică exprimată de receptorul dopamină a neuronilor striatonigrali și striatopalidici. Ştiinţă. 1990; 250: 1429-1432. [PubMed]
  73. Ghods-Sharifi S, Floresco SB. Efecte diferențiale asupra reducerii efortului induse de inactivarea nucleului nucleului accumbens sau a cochiliei. Neuroștiințe comportamentale. 2010; 124: 179-191. [PubMed]
  74. Gonon FG. Relația neliniară dintre fluxul de impulsuri și dopamina eliberată de neuronii dopaminergici ai midbrainului șobolanului studiat prin electrochimie in vivo. Neuroscience. 1988; 24: 19-28. [PubMed]
  75. Goto Y, Yang CR, Otani S. Plasticitate sinaptică funcțională și disfuncțională în cortexul prefrontal: roluri în tulburările psihiatrice. Biologie psihiatrie. 2010; 67: 199-207. [PubMed]
  76. Grație AA. Eliberarea fazică versus eliberarea dopaminei tonice și modularea reactivității sistemului dopaminic: o ipoteză pentru etiologia schizofreniei. Neuroscience. 1991; 41: 1-24. [PubMed]
  77. Grace AA, Bunney BS. Electrofiziologie intracelulară și extracelulară a neuronilor dopaminergici nigral – 1. Identificare și caracterizare. Neuroștiințe. 1983; 10: 301-315. [PubMed]
  78. Grace AA, Floresco SB, Goto Y, Lodge DJ. Reglarea arderii neuronilor dopaminergici și controlul comportamentelor orientate spre țintă. Tendințe în neuroștiințe. 2007; 30: 220-227. [PubMed]
  79. Grecksch G, Matties H. Rolul mecanismelor dopaminergice în hipocampul de șobolan pentru consolidarea într-o discriminare de luminozitate. Psihofarmacologie (Berl) 1981; 75: 165-168. [PubMed]
  80. Guarraci FA, Kapp BS. O caracterizare electrofiziologică a neuronilor dopaminergici din zona tegmentală ventrală în timpul tratamentului diferențial de frică pavloviană la iepurele treaz. Cercetarea creierului comportamental. 1999; 99: 169-179. [PubMed]
  81. Haber SN, Fudge JL, McFarland NR. Căile sterigorigrostriatale la primate formează o spirală ascendentă de la coajă la striatrul dorsolateral. J Neurosci. 2000; 20: 2369-2382. [PubMed]
  82. Hall J, Parkinson JA, Connor TM, Dickinson A, Everitt BJ. Implicarea nucleului central al nucleului amygdală și nucleului accumbens în medierea influențelor Pavlovian asupra comportamentului instrumental. Jurnalul european de neuroștiințe. 2001; 13: 1984-1992. [PubMed]
  83. Han JS, McMahan RW, Olanda P, Gallagher M. Rolul unei căi amigdo-nigrostriatale în învățarea asociativă. J Neurosci. 1997; 17: 3913-3919. [PubMed]
  84. Harris GC, Aston-Jones G. Arousal și recompensă: o dihotomie în funcția de orexină. Tendințe în neuroștiințe. 2006; 29: 571-577. [PubMed]
  85. Herry C, Bach DR, Esposito F, Di Salle F, Perrig WJ, Scheffler K, Luthi A, Seifritz E. Prelucrarea impredictibilității temporale în amigdala umană și animală. J Neurosci. 2007; 27: 5958-5966. [PubMed]
  86. Hikida T, Kimura K, Wada N, Funabiki K, Nakanishi S. Role distincte ale transmiterii sinaptice în căile directe și indirecte ale striatalei pentru a recompensa și comportamentul aversiv. Neuron. 2010; 66: 896-907. [PubMed]
  87. Hikosaka O. Mecanisme de ganglionare bazală a mișcării oculare orientate spre recompensă. Analele Academiei de Științe din New York. 2007; 1104: 229-249. [PubMed]
  88. Hikosaka O. Habenula: de la evaziunea de stres la luarea deciziilor bazată pe valoare. Nat Rev Neurosci. 2010; 11: 503-513. [Articol gratuit PMC] [PubMed]
  89. Hikosaka O, Takikawa Y, Kawagoe R. Rolul gangliei bazale în controlul mișcărilor oculare saccadice intenționate. Recenzii fiziologice. 2000; 80: 953-978. [PubMed]
  90. Hitchcott PK, Quinn JJ, Taylor JR. Modularea bidirecțională a acțiunilor direcționate către țintă de către dopamina corticală prefrontală. Cereb Cortex. 2007; 17: 2820-2827. [PubMed]
  91. Hnasko TS, Chuhma N, Zhang H, Goh GY, Sulzer D, Palmiter RD, Rayport S, Edwards RH. Transmiterea glutamatului vezicular promovează depozitarea dopaminei și corelează de glutamat in vivo. Neuron. 2010; 65: 643-656. [Articol gratuit PMC] [PubMed]
  92. Olanda PC, circuit Gallagher M. Amygdala în procesele atenționale și reprezentare. Tendințe în științele cognitive. 1999; 3: 65-73. [PubMed]
  93. Hollerman JR, Schultz W. Neuronii dopaminici raportează o eroare în predicția temporală a recompensei în timpul învățării. Nat Neurosci. 1998; 1: 304-309. [PubMed]
  94. Holroyd CB, Coles MG. Baza neurală a procesării erorilor umane: învățarea prin întărire, dopamina și negativitatea legată de eroare. Psiholog Rev 2002; 109: 679-709. [PubMed]
  95. Hong S, Hikosaka O. Globul pallidus trimite semnale legate de recompensă la habenula laterală. Neuron. 2008; 60: 720-729. [Articol gratuit PMC] [PubMed]
  96. Horvitz JC. Mesolimbocortic și nigrostriatal răspunsuri la dopamină la evenimente neobișnuite non-recompensă. Neuroscience. 2000; 96: 651-656. [PubMed]
  97. Horvitz JC, Stewart T, Jacobs BL. Activitatea de spargere a neuronilor ventrali tegmentali ai dopaminei este provocată de stimuli senzoriali la pisica trează. Brain Res. 1997; 759: 251-258. [PubMed]
  98. Houk JC, Adams JL, Barto AG. Un model al modului în care ganglionii bazali generează și utilizează semnale neuronale care prevăd armarea. In: Houk JC, Davis JL, Beiser DG, editori. Modele de procesare a informațiilor în ganglioni bazali. Cambridge, MA: MIT Press; 1995. pp. 249-274.
  99. Circuitele de recompensă ale Ikemoto S. Brain dincolo de sistemul dopolar mezolimbic: o teorie neurobiologică. Neuroștiințe și recenzii biobehaviorale. 2010 [Articol gratuit PMC] [PubMed]
  100. Ito R, Dalley JW, Howes SR, Robbins TW, Everitt BJ. Disocierea în eliberarea condiționată de dopamină în nucleul și nucleul nucleului acumbens ca răspuns la cocaina și în timpul comportamentului care suferă de cocaină la șobolani. J Neurosci. 2000; 20: 7489-7495. [PubMed]
  101. Ivlieva NY, Timofeeva NO. Activitatea neuronică în nucleul pedunculopontin în timpul reflexului conditionat al operatorului legat de alimente. Neuroștiință și fiziologie comportamentală. 2003a; 33: 919-928. [PubMed]
  102. Ivlieva NY, Timofeeva NO. Activitatea neuronică în nucleul pedunculopontin în timpul unui reflex conditionat operant. Neuroștiință și fiziologie comportamentală. 2003b; 33: 499-506. [PubMed]
  103. Jalabert M, Aston-Jones G, Herzog E, Manzoni O, Georges F. Rolul nucleului de pat al striei terminale în controlul neuronilor dopaminerici ai zonei tegmentale ventrale. Progrese în neuro-psihofarmacologie și psihiatrie biologică. 2009; 33: 1336–1346. [Articol gratuit PMC] [PubMed]
  104. Jeanblanc J, Hoeltzel A, Louilot A. Disocierea în implicarea neuronilor dopaminergici inervând subregiunile de bază și coajă ale nucleului accumbens în inhibarea latentă și percepția afectivă. Neuroscience. 2002; 111: 315-323. [PubMed]
  105. Jensen J, Smith AJ, Willeit M, Crawley AP, Mikulis DJ, Vitcu I, Kapur S. Regiuni separate ale creierului cod pentru saliență vs. valență în timpul predicției de recompensă la om. Cartografierea creierului uman. 2007; 28: 294-302. [PubMed]
  106. Jhou TC, Fields HL, Baxter MG, Saper CB, Holland PC. Nucleul tegmental patromedial (RMTg), un neuron al dopaminei aferente GABAergic, codifică stimulii aversivi și inhibă răspunsurile motorii. Neuron. 2009a; 61: 786-800. [Articol gratuit PMC] [PubMed]
  107. Jhou TC, Geisler S, Marinelli M, Degarmo BA, Zahm DS. Nucleul tegmental mezomontin patromedial: O structură vizată de habenula laterală care se proiectează în zona tegmentală ventrală Tsai și substantia nigra compacta. Jurnalul de neurologie comparativă. 2009b; 513: 566-596. [Articol gratuit PMC] [PubMed]
  108. Ji H, Shepard PD. Stimularea laterală a habenulei inhibă neuronii dopaminei de midbrain de șobolan printr-un mecanism mediat de receptorul GABA (A). J Neurosci. 2007; 27: 6923-6930. [PubMed]
  109. Jin X, Costa RM. Semnalele de pornire / oprire apar în circuitele nigrostriatale în timpul învățării succesive. Natură. 2010; 466: 457-462. [Articol gratuit PMC] [PubMed]
  110. Johansen JP, Fields HL. Activarea glutamatergică a cortexului cingular anterior produce un semnal de predare aversiv. Nat Neurosci. 2004; 7: 398-403. [PubMed]
  111. Joseph MH, Datla K, Young AM. Interpretarea măsurării nucleului accumbens dopamina prin dializă in vivo: lovitura, pofta sau cunoașterea? Neuroștiințe și recenzii biobehaviorale. 2003; 27: 527-541. [PubMed]
  112. Joshua M, Adler A, Bergman H. Dinamica dopaminei în controlul comportamentului motor. Opinia curentă în neurobiologie. 2009a; 19: 615-620. [PubMed]
  113. Josur M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain neuronii dopaminergici și interneuronii colinergici striatali codifică diferența dintre evenimentele de recompensă și cele aversive la diferite epoci ale studiilor probabilistice clasice de condiționare. J Neurosci. 2008; 28: 11673-11684. [PubMed]
  114. Joshua M, Adler A, Prut Y, Vaadia E, Wickens JR, Bergman H. Sincronizarea neuronilor dopaminergici midbrain este îmbunătățită prin recompensarea evenimentelor. Neuron. 2009b; 62: 695-704. [PubMed]
  115. Kable JW, Glimcher PW. Neurobiologia deciziei: consens și controverse. Neuron. 2009; 63: 733-745. [Articol gratuit PMC] [PubMed]
  116. Kakade S, Dayan P. Dopamina: generalizare și bonusuri. Rețelele neuronale. 2002; 15: 549-559. [PubMed]
  117. Kapur S. Psihoza ca stare de saliență aberantă: un cadru care leagă biologia, fenomenologia și farmacologia în schizofrenie. Jurnalul american de psihiatrie. 2003; 160: 13-23. [PubMed]
  118. Kaufling J, Veinante P, Pawlowski SA, Freund-Mercier MJ, Barrot M. Asociat cu coada GABAergică a zonei tegmentale ventrale la șobolan. Jurnalul de neurologie comparativă. 2009; 513: 597-621. [PubMed]
  119. Kennerley SW, Wallis JD. Evaluarea alegerilor de către neuronii singuri în lobul frontal: valoarea rezultată este codificată în mai multe variabile de decizie. Jurnalul european de neuroștiințe. 2009; 29: 2061-2073. [Articol gratuit PMC] [PubMed]
  120. Kim H, Sul JH, Huh N, Lee D, Jung MW. Rolul striatumului în actualizarea valorilor acțiunilor alese. J Neurosci. 2009; 29: 14701-14712. [PubMed]
  121. Kiyatkin EA. Proprietățile funcționale ale neuronilor prezenți ai dopaminei și ai altor neuroni din zona tegmentală ventrală la șobolanii conștienți. Int J Neurosci. 1988a; 42: 21-43. [PubMed]
  122. Kiyatkin EA. Modificarea indusă de morfină a proprietăților funcționale ale neuronilor din zona tegmentală ventrală în șobolanul conștient. Intern J Neuroscience. 1988b; 41: 57-70. [PubMed]
  123. Klingberg T. Formarea și plasticitatea memoriei de lucru. Tendințe în științele cognitive. 2010; 14: 317-324. [PubMed]
  124. Kobayashi S, Nomoto K, Watanabe M, Hikosaka O, Schultz W, Sakagami M. Influența rezultatelor recompensatoare și aversive asupra activității în cortexul prefrontal lateral de macac. Neuron. 2006; 51: 861-870. [PubMed]
  125. Kobayashi S, Schultz W. Influența întârzierii recompenselor asupra răspunsurilor neuronilor dopaminergici. J Neurosci. 2008; 28: 7837-7846. [Articol gratuit PMC] [PubMed]
  126. Kobayashi Y, Inoue Y, Yamamoto M, Isa T, Aizawa H. Contribuția neuronilor nucleului tegmental pedunculopontin la efectuarea sarcinilor de saccadă ghidate vizual la maimuțe. J Neurophysiol. 2002; 88: 715-731. [PubMed]
  127. Koyama T, Tanaka YZ, Mikami A. Neuronii nociceptive din cingulatul anterior macacului activa în timpul anticipării durerii. Neuroreport. 1998; 9: 2663-2667. [PubMed]
  128. Kravitz AV, Freeze BS, Parker PR, Kay K, Thwin MT, Deisseroth K, Kreitzer AC. Reglarea comportamentelor motorii parkinsoniene prin controlul optogenetic al circuitelor ganglionare bazale. Natură. 2010 [Articol gratuit PMC] [PubMed]
  129. Lammel S, Hetzel A, Hackel O, Jones I, Liss B, Roeper J. Proprietăți unice ale neuronilor mezoprefrontali în cadrul unui sistem dopamină mezocorticolimbic dublu. Neuron. 2008; 57: 760-773. [PubMed]
  130. Lang PJ, Davis M. Emoția, motivația și creierul: fundații reflexe în cercetarea animală și animală. Progresele în cercetarea creierului. 2006; 156: 3-29. [PubMed]
  131. Lapish CC, Kroener S, Durstewitz D, Lavin A, Seamans JK. Abilitatea sistemului dopaminic mezocortic de a funcționa în moduri temporale distincte. Psihofarmacologie (Berl) 2007; 191: 609-625. [PubMed]
  132. Lee D, Seo H. Mecanismele de învățare și luare a deciziilor de întărire în cortexul prefrontal dorsolateral. Analele Academiei de Științe din New York. 2007; 1104: 108-122. [PubMed]
  133. Lee HJ, Groshek F, Petrovich GD, Cantalini JP, Gallagher M, Holland PC. Rolul circuitelor amigdalo-nigrale în condiționarea unui stimul vizual asociat alimentelor. J Neurosci. 2005; 25: 3881-3888. [Articol gratuit PMC] [PubMed]
  134. Levita L, Dalley JW, Robbins TW. Nucleus accumbens dopamină și frica învățată revizuită: o revizuire și unele constatări noi. Cercetarea creierului comportamental. 2002; 137: 115-127. [PubMed]
  135. Lin SC, Nicolelis MA. Ansamblul neuronal care izbucnește în brațul prealabil al bazei codifică Salience indiferent de Valence. Neuron. 2008; 59: 138-149. [Articol gratuit PMC] [PubMed]
  136. Lisman JE, Grace AA. Hipocampă-VTA bucla: controlul de intrare a informațiilor în memoria pe termen lung. Neuron. 2005; 46: 703-713. [PubMed]
  137. Litt A, Plassmann H, Shiv B, Rangel A. Disocierea semnalelor de evaluare și de saliență în timpul luării deciziilor. Cereb Cortex. 2010 in presa. [PubMed]
  138. Liu Z, Richmond BJ, Murray EA, Saunders RC, Steenrod S, Stubblefield BK, Montague DM, Ginns EI. Direcționarea ADN a corneei rinale Proteina receptorului D2 blochează în mod reversibil învățarea indicațiilor care prevăd recompensa. Proceedings of the National Academy of Sciences din Statele Unite ale Americii. 2004; 101: 12336-12341. [Articol gratuit PMC] [PubMed]
  139. Liu ZH, Shin R, Ikemoto S. Rolul dual al neuronilor dopaminergici medici A10 în codificarea afectivă. Neuropsychopharmacology. 2008; 33: 3010-3020. [Articol gratuit PMC] [PubMed]
  140. Ljungberg T, Apicella P, Schultz W. Răspunsurile neuronilor dopaminei de maimuță în timpul învățării reacțiilor comportamentale. J Neurophysiol. 1992; 67: 145-163. [PubMed]
  141. Lobo MK, Covington HE, 3rd, Chaudhury D, Friedman AK, Sun H, Damez-Werno D, Dietz DM, Zaman S, Koo JW, Kennedy PJ și colab. Pierderea specifică a tipului de celule de semnalizare BDNF imită controlul optogenetic al recompensei de cocaină. Ştiinţă. 2010; 330: 385-390. [Articol gratuit PMC] [PubMed]
  142. Maeda H, Mogenson GJ. Efectele stimulării periferice asupra activității neuronilor în zona tegmentală ventrală, formarea reticulară substantia nigra și midbrain a șobolanilor. Buletinul de cercetare în domeniul creierului. 1982; 8: 7-14. [PubMed]
  143. Mantz J, Thierry AM, Glowinski J. Efectul impulsului de coada nociv asupra ratei de descărcare a neuronilor mezocortici și mezolimbici ai dopaminei: activarea selectivă a sistemului mezocortic. Brain Res. 1989; 476: 377-381. [PubMed]
  144. Margolis EB, Lock H, Hjelmstad GO, Fields HL. Suprafața tegmentală ventrală revizuită: există un marker electrofiziologic pentru neuronii dopaminergici? Jurnalul de fiziologie. 2006; 577: 907-924. [Articol gratuit PMC] [PubMed]
  145. Margolis EB, Mitchell JM, Ishikawa J, Hjelmstad GO, Fields HL. Midine neuronii dopaminei: ținta de proiecție determină durata potențialului de acțiune și inhibarea receptorului dopaminei D (2). J Neurosci. 2008; 28: 8908-8913. [PubMed]
  146. Mark GP, Blander DS, Hoebel BG. Un stimulent condiționat scade dopamina extracelulară în nucleul accumbens după dezvoltarea unei atitudini învățate de gust. Brain Res. 1991; 551: 308-310. [PubMed]
  147. Marowsky A, Yanagawa Y, Obata K, Vogt KE. O subclasă specializată a interneuronilor mediază facilitarea dopaminergiei funcției amigdale. Neuron. 2005; 48: 1025-1037. [PubMed]
  148. Matsumoto M, Hikosaka O. Habenula laterală ca sursă de semnale negative de recompensă în neuronii dopaminergici. Natură. 2007; 447: 1111-1115. [PubMed]
  149. Matsumoto M, Hikosaka O. Reprezentarea valorii motivaționale negative în habenula laterală primat. Nat Neurosci. 2009a; 12: 77-84. [Articol gratuit PMC] [PubMed]
  150. Matsumoto M, Hikosaka O. Două tipuri de neuroni ai dopaminei transmit distinct semnale motivaționale pozitive și negative. Natură. 2009b; 459: 837-841. [Articol gratuit PMC] [PubMed]
  151. Matsumoto M, Matsumoto K, Abe H, Tanaka K. Activitatea celulară prefrontală mediană care semnalizează erorile de predicție ale valorilor de acțiune. Nat Neurosci. 2007; 10: 647-656. [PubMed]
  152. Mai PJ, McHaffie JG, Stanford TR, Jiang H, Costello MG, Coizet V, Hayes LM, Haber SN, Redgrave P. Proiecții tectonigrale la primat: o cale de intrare senzorială pre-atentă la neuronii dopaminergici midbrain. Jurnalul european de neuroștiințe. 2009; 29: 575-587. [Articol gratuit PMC] [PubMed]
  153. Mazzoni P, Hristova A, Krakauer JW. De ce nu ne mișcăm mai repede? Boala Parkinson, vigoarea mișcării și motivația implicită. J Neurosci. 2007; 27: 7105-7116. [PubMed]
  154. Merali Z, Michaud D, McIntosh J, Kent P, Anisman H. Implicarea diferențială a sistemului (sistemelor) CRH amigdaloid în evidența și valența stimulilor. Progrese în neuro-psihofarmacologie și psihiatrie biologică. 2003; 27: 1201-1212. [PubMed]
  155. Mirenowicz J, Schultz W. Activarea preferențială a neuronilor dopaminergici midbrain prin stimuli apetisanți, mai degrabă decât aversivi. Natură. 1996; 379: 449-451. [PubMed]
  156. Molina-Luna K, Pekanovic A, Rohrich S, Hertler B, Schubring-Giese M, Rioult-Pedotti MS, Luft AR. Dopamina în cortexul motor este necesară pentru învățarea de îndemânare și plasticitatea sinaptică. Plus unu. 2009; 4: e7082. [Articol gratuit PMC] [PubMed]
  157. Montague PR, Berns GS. Economia neuronală și substraturile biologice ale evaluării. Neuron. 2002; 36: 265-284. [PubMed]
  158. Montague PR, Dayan P, Sejnowski TJ. Un cadru pentru sistemele de dopamină mesencefalică bazate pe învățarea predictivă Hebbian. J Neurosci. 1996; 16: 1936-1947. [PubMed]
  159. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Mesaje coincidente dar distincte ale dopaminei midbrain și ale neuronilor tonari striatali tonici. Neuron. 2004; 43: 133-143. [PubMed]
  160. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Nebraonii dopaminei Midbrain codifică deciziile pentru acțiunile viitoare. Nat Neurosci. 2006; 9: 1057-1063. [PubMed]
  161. Morrison SE, CD-ul Salzman. Convergența informațiilor despre stimulentele recompensatoare și aversive în neuronii singuri. J Neurosci. 2009; 29: 11471-11483. [Articol gratuit PMC] [PubMed]
  162. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Neuronii dopaminei pot reprezenta o eroare predictivă dependentă de context. Neuron. 2004; 41: 269-280. [PubMed]
  163. Nakamura K, Hikosaka O. Rolul dopaminei în nucleul caudat primat în modularea recompensării saccadelor. J Neurosci. 2006; 26: 5360-5369. [PubMed]
  164. Neve KA, Seamans JK, Trantham-Davidson H. Signalizare receptorilor de dopamină. Oficial al cercetării receptorilor și transducției semnalului. 2004; 24: 165-205. [PubMed]
  165. Nishijo H, Ono T, Nishino H. Răspunsuri neuronale singulare în amigdala de maimuță alertă în timpul stimulării senzoriale complexe cu semnificație afectivă. J Neurosci. 1988; 8: 3570-3583. [PubMed]
  166. Niv Y, Daw ND, Joel D, dayan P. Tonic dopamina: costuri de oportunitate și controlul vigorii răspunsului. Psychopharmacology. 2007; 191: 507-520. [PubMed]
  167. Nomoto K, Schultz W, Watanabe T, Sakagami M. Reacțiile dopaminei extinse temporar la stimuli perceptibil de recompensă-predicție. J Neurosci. 2010; 30: 10692-10702. [Articol gratuit PMC] [PubMed]
  168. Okada K, Toyama K, Inoue Y, Isa T, Kobayashi Y. Diferitele neuroni tegmentale pedunculopontine semnalează recompensele predicate și reale. J Neurosci. 2009; 29: 4858-4870. [PubMed]
  169. Omelchenko N, Bell R, Sesack SR. Proiecția laterală a habenulei la neuronii dopaminici și GABA în zona tegmentală ventrală a șobolanului. Jurnalul european de neuroștiințe. 2009; 30: 1239-1250. [Articol gratuit PMC] [PubMed]
  170. Owesson-White CA, Ariansen J, Stuber GD, Cleaveland NA, Cheer JF, Wightman RM, Carelli RM. Codificarea neuronală a comportamentului care caută cocaină coincide cu eliberarea fazică a dopaminei în nucleul și cochilia accumbens. Jurnalul european de neuroștiințe. 2009; 30: 1117-1127. [Articol gratuit PMC] [PubMed]
  171. Oyama K, Hernadi I, Iijima T, Tsutsui K. Recompensarea erorii de predicție care codifică în neuronii dorsali striatali. J Neurosci. 2010; 30: 11447-11457. [PubMed]
  172. Packard MG, White NM. Disocierea sistemelor de memorie hipocampus și caudate prin posttraining de injecție intracerebrală a agoniștilor dopaminergici. Neuroștiințe comportamentale. 1991; 105: 295-306. [PubMed]
  173. Padoa-Schioppa C. Cortexul orbitofrontal și calculul valorii economice. Analele Academiei de Științe din New York. 2007; 1121: 232-253. [PubMed]
  174. Palmiter RD. Semnalarea dopaminei în striatul dorsal este esențială pentru comportamentele motivaționale: lecții de la șoareci cu deficit de dopamină. Analele Academiei de Științe din New York. 2008; 1129: 35-46. [Articol gratuit PMC] [PubMed]
  175. Pan WX, Hyland BI. Nucleul tegmental pedunculopontine controlează răspunsurile condiționate ale neuronilor dopaminergici midbrain la șobolanii care se comportă. J Neurosci. 2005; 25: 4725-4732. [PubMed]
  176. Pan WX, Schmidt R, Wickens JR, Hyland BI. Mecanism tripartit de extincție sugerat de activitatea neuronilor dopaminergici și de modelul de diferență temporală. J Neurosci. 2008; 28: 9619-9631. [PubMed]
  177. Parker JG, Zweifel LS, Clark JJ, Evans SB, Phillips PE, Palmiter RD. Absența receptorilor NMDA în neuronii dopaminergici atenuează eliberarea dopaminei dar nu și abordarea condiționată în timpul condiționării Pavlovian. Proceedings of the National Academy of Sciences din Statele Unite ale Americii. 2010 [Articol gratuit PMC] [PubMed]
  178. Pascoe JP, Kapp BS. Caracteristicile electrofiziologice ale neuronilor nucleului central amigdaloid în timpul condiționării pădurii Pavlovian la iepure. Cercetarea creierului comportamental. 1985; 16: 117-133. [PubMed]
  179. Pascucci T, Ventura R, Latagliata CE, Cabib S, Puglisi-Allegra S. Cortexul prefrontal medial determină răspunsul la dopamină accumbens la stres prin influențele opuse ale norepinefrinei și dopaminei. Cereb Cortex. 2007; 17: 2796-2804. [PubMed]
  180. Pearce JM, Hall G. Un model pentru învățarea Pavlovian: variații în eficacitatea stimulilor condiționați, dar nu și necondiționați. Psiholog Rev 1980; 87: 532-552. [PubMed]
  181. Pezze MA, căile dopaminergice Feldon J. Mesolimbic în condiționarea fricii. Progresul în neurobiologie. 2004; 74: 301-320. [PubMed]
  182. Phillips AG, Ahn S, Howland JG. Controlul amygdalar al sistemului dopamină mezocorticomimbrică: căi paralele pentru comportamentul motivat. Neuroștiințe și recenzii biobehaviorale. 2003a; 27: 543-554. [PubMed]
  183. Phillips GD, Salussolia E, Hitchcott PK. Rolul proiecției mezoamagdaloide a dopaminei în învățarea emoțională. Psychopharmacology. 2010 [PubMed]
  184. Phillips PE, Stuber GD, Heien ML, Wightman RM, Carelli RM. Eliberarea de dopamină secundară promovează căutarea cocainei. Natură. 2003b; 422: 614-618. [PubMed]
  185. Porrino LJ, PS Goldman-Rakic. Brainarea inervării cortexului prefrontal și cingular anterior la maimuța rhesus, evidențiată prin transportul retrograd al HRP. Jurnalul de neurologie comparativă. 1982; 205: 63-76. [PubMed]
  186. Puryear CB, Kim MJ, Mizumori SJ. Codificarea conjunctivă a mișcării și recompensării de către neuronii din zona tegmentală ventrală în rozătoarele de navigație libere. Neuroștiințe comportamentale. 2010; 124: 234-247. [Articol gratuit PMC] [PubMed]
  187. Ravel S, Legallet E, Apicella P. Neuronii tonici activi în striatum de maimuță nu răspund preferențial la stimulii apetisanți. Cercetarea experimentală a creierului. Experimentelle Hirnforschung. 1999; 128: 531-534. [PubMed]
  188. Ravel S, Legallet E, Apicella P. Răspunsurile neuronilor tonici activi în striatum de maimuță discriminează între stimulii motivați opuși. J Neurosci. 2003; 23: 8489-8497. [PubMed]
  189. Ravel S, Richmond BJ. Răspunsurile neuronale ale dopaminei la maimuțe care efectuează programe recompensate vizuale. Jurnalul european de neuroștiințe. 2006; 24: 277-290. [PubMed]
  190. Redgrave P, Gurney K. Semnalul dopaminei cu latență scurtă: un rol în descoperirea unor acțiuni noi? Nat Rev Neurosci. 2006; 7: 967-975. [PubMed]
  191. Redgrave P, Prescott TJ, Gurney K. Este răspunsul la dopamină cu latență scurtă prea scurt pentru a semnala eroarea de recompensă? Tendințe în neuroștiințe. 1999; 12: 146-151. [PubMed]
  192. Rescorla RA, Wagner AR. O teorie a condiționării Pavlovian: variații în eficacitatea de armare și non reinforcement. In: Black AH, Prokasy WF, editori. Condiționarea clasică II: Cercetarea și teoria curente. New York, New York: Appleton Century Crofts; 1972. pp. 64-99.
  193. Reynolds JNJ, Hyland BI, Wickens JR. Un mecanism celular al învățării legate de recompense. Natură. 2001; 413: 67-70. [PubMed]
  194. Reynolds SM, Berridge KC. Motivație pozitivă și negativă în coaja nucleului accumbens: gradienți bivalenți rostrocaudali pentru consumul provocat de GABA, reacții de „gust” / „antipatie” de gust, preferință / evitare a locului și frică. J Neurosci. 2002; 22: 7308–7320. [PubMed]
  195. Richardson RT, DeLong MR. Studii electrofiziologice ale funcțiilor nucleului basalis la primate. Avansuri în medicina experimentală și biologie. 1991; 295: 233-252. [PubMed]
  196. Robbins TW, Arnsten AF. Neuropsihopharmacologia funcției fronto-executive: modularea monoaminergică. Revizuirea anuală a neuroștiințelor. 2009; 32: 267-287. [Articol gratuit PMC] [PubMed]
  197. Robinson DL, Hermans A, Seipel AT, Wightman RM. Monitorizarea comunicării chimice rapide în creier. Recenzii chimice. 2008; 108: 2554-2584. [Articol gratuit PMC] [PubMed]
  198. Roesch MR, Calu DJ, Schoenbaum G. Neuronii dopaminei codifică opțiunea mai bună la șobolanii care decid între recompense diferite sau întârziate. Nat Neurosci. 2007; 10: 1615-1624. [Articol gratuit PMC] [PubMed]
  199. Roesch MR, Olson CR. Activitatea neuronală legată de valoarea recompensă și motivația în cortexul frontal al primatelor. Ştiinţă. 2004; 304: 307-310. [PubMed]
  200. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Răspunsurile chimice în timp real în nucleul accumbens diferențiază stimulii recompensați și aversivi. Nat Neurosci. 2008; 11: 1376-1377. [Articol gratuit PMC] [PubMed]
  201. Rutledge RB, Lazzaro SC, Lau B, Myers CE, Gluck MA, Glimcher PW. Medicamentele dopaminergice modulează ratele de învățare și perseverența la pacienții cu Parkinson într-o sarcină dinamică de căutare. J Neurosci. 2009; 29: 15104-15114. [Articol gratuit PMC] [PubMed]
  202. Salamone JD. Implicarea nucleului accumbens dopamina în motivația apetită și aversivă. Cercetarea creierului comportamental. 1994; 61: 117-133. [PubMed]
  203. Salamone JD, Correa M, Farrar A, Mingote SM. Eforturile legate de nucleus accumbens dopamină și circuitele asociate creierului anterior. Psihofarmacologie (Berl) 2007; 191: 461-482. [PubMed]
  204. Satoh T, Nakai S, Sato T, Kimura M. Corelarea codării motivației și a rezultatului deciziei de către neuronii dopaminergici. J Neurosci. 2003; 23: 9913-9923. [PubMed]
  205. Savine AC, Beck SM, Edwards BG, Chiew KS, Braver TS. Îmbunătățirea controlului cognitiv prin abordarea și evitarea stărilor motivaționale. Cunoaștere și emoție. 2010; 24: 338-356. [Articol gratuit PMC] [PubMed]
  206. Schoenbaum G, Roesch MR, Stalnaker TA, Takahashi YK. O nouă perspectivă asupra rolului cortexului orbitofrontal în comportamentul adaptiv. Nat Rev Neurosci. 2009; 10: 885-892. [Articol gratuit PMC] [PubMed]
  207. Schultz W. Răspunsurile neuronilor dopaminei midbrain la stimulii comportamentali de declanșare la maimuță. J Neurophysiol. 1986; 56: 1439-1461. [PubMed]
  208. Schultz W. Semnal de recompensă predictivă a neuronilor dopaminergici. J Neurophysiol. 1998; 80: 1-27. [PubMed]
  209. Schultz W. Funcțiile multiple ale dopaminei se desfășoară la diferite cursuri de timp. Revizuirea anuală a neuroștiințelor. 2007; 30: 259-288. [PubMed]
  210. Schultz W. Semnalele de dopamină pentru valoarea recompensă și pentru risc: date de bază și recente. Behav Brain Funct. 2010; 6: 24. [Articol gratuit PMC] [PubMed]
  211. Schultz W, Dayan P, Montague PR. Un substrat neural de predicție și recompensă. Ştiinţă. 1997; 275: 1593-1599. [PubMed]
  212. Schultz W, Romo R. Răspunsurile neuronilor dopaminergici nigrostriatali la stimularea somatosenzorială de înaltă intensitate la maimuta anesteziază. J Neurophysiol. 1987; 57: 201-217. [PubMed]
  213. Schultz W, Romo R. Neuronii dopaminergici ai midbrainului de maimuță: contingențe ale răspunsurilor la stimuli care provoacă reacții comportamentale imediate. J Neurophysiol. 1990; 63: 607-624. [PubMed]
  214. Seo H, Lee D. Filtrarea temporară a semnalelor de recompensă în cortexul dorsal anterior cingulate în timpul unui joc de strategie mixtă. J Neurosci. 2007; 27: 8366-8377. [Articol gratuit PMC] [PubMed]
  215. Shabel SJ, Janak PH. Similitudine substanțială în activitatea neuronală amigdă în timpul excitării condiționate a apariției aversiunii și aversiunii. Proceedings of the National Academy of Sciences din Statele Unite ale Americii. 2009; 106: 15031-15036. [Articol gratuit PMC] [PubMed]
  216. Shadmehr R, Smith MA, Krakauer JW. Corectarea erorilor, predicția senzorilor și adaptarea în controlul motorului. Revizuirea anuală a neuroștiințelor. 2010 [PubMed]
  217. Shen W, Flajolet M, Greengard P, Surmeier DJ. Controlul ditotomos dopaminergic al plasticității sinaptice striate. Ştiinţă. 2008; 321: 848-851. [Articol gratuit PMC] [PubMed]
  218. Shimo Y, Wichmann T. Activitatea neuronală în nucleul subthalamic modulează eliberarea dopaminei în striatum de maimuță. Jurnalul european de neuroștiințe. 2009; 29: 104-113. [Articol gratuit PMC] [PubMed]
  219. Shippenberg TS, Bals-Kubik R, Huber A, Herz A. Substraturile neuroanatomice care mediază efectele aversive ale antagoniștilor receptorilor de dopamină D-1. Psihofarmacologie (Berl) 1991; 103: 209-214. [PubMed]
  220. Shumake J, Ilango A, Scheich H, Wetzel W, Ohl FW. Neuromodulări diferențiate de achiziție și recuperare a învățării de evitare de către habenula laterală și zona tegmentală ventrală. J Neurosci. 2010; 30: 5876-5883. [PubMed]
  221. DM DM, Gregory MD, Mak YE, Gitelman D, Mesulam MM, Parrish T. Disocierea reprezentării neuronale a intensității și evaluării afective în gustarea umană. Neuron. 2003; 39: 701-711. [PubMed]
  222. Stefani MR, Moghaddam B. Condiția de învățare și recompensare a regulilor este asociată cu modele disociabile de activare a dopaminei în cortexul prefrontal al șobolanului, nucleul accumbens și striatumul dorsal. J Neurosci. 2006; 26: 8810-8818. [Articol gratuit PMC] [PubMed]
  223. Steinfels GF, Heim J, Strecker RE, Jacobs BL. Răspunsul neuronilor dopaminergici la pisică la stimulii auditivi prezentați pe parcursul ciclului de somn-trezire. Brain Res. 1983; 277: 150-154. [PubMed]
  224. Strecker RE, Jacobs BL. Substanța nigră în activitatea unității dopaminergice în comportamentul pisicilor: efectul excitării asupra descărcării spontane și a activității evocate senzoriale. Brain Res. 1985; 361: 339-350. [PubMed]
  225. Stuber GD, Hnasko TS, Britt JP, Edwards RH, Bonci A. Terminale dopaminergice în nucleul accumbens dar nu glutamat de corelează dorsală corelată. Revista de Neuroștiințe. 2010; 30: 8229-8233. [Articol gratuit PMC] [PubMed]
  226. Stuber GD, Wightman RM, Carelli RM. Stingerea autoadministrării cocainei relevă semnale dopaminergice distincte funcțional și temporal în nucleul accumbens. Neuron. 2005; 46: 661-669. [PubMed]
  227. Sul JH, Kim H, Huh N, Lee D, Jung MW. Role distincte ale cortexului orbitofrontal și medial prefrontal în procesul de luare a deciziilor. Neuron. 2010; 66: 449-460. [Articol gratuit PMC] [PubMed]
  228. Surmeier DJ, Ding J, Ziua M, Wang Z, Shen W. D1 și D2 modularea receptorilor de dopamină a semnalizării striatei glutamatergice în neuronii spinați medii striatali. Tendințe în neuroștiințe. 2007; 30: 228-235. [PubMed]
  229. Surmeier DJ, Shen W, Ziua M, Gertler T, Chan S, Tian X, Plotkin JL. Rolul dopaminei în modularea structurii și funcției circuitelor striatale. Progresele în cercetarea creierului. 2010; 183C: 148-167. [PubMed]
  230. Sutton RS, Barto AG. Către o teorie modernă a rețelelor adaptive: așteptare și predicție. Psiholog Rev 1981; 88: 135-170. [PubMed]
  231. Takahashi YK, Roesch MR, Stalnaker TA, Haney RZ, Calu DJ, Taylor AR, Burke KA, Schoenbaum G. Cortexul orbitofrontal și zona tegmentală ventrală sunt necesare pentru a învăța din rezultate neașteptate. Neuron. 2009; 62: 269-280. [Articol gratuit PMC] [PubMed]
  232. Takikawa Y, Kawagoe R, Hikosaka O. Un rol posibil al neuronilor dopaminergici midbrain în adaptarea succadelor pe termen scurt și pe termen lung la cartografierea poziției-recompensă. J Neurophysiol. 2004; 92: 2520-2529. [PubMed]
  233. Tecuapetla F, Patel JC, Xenias H, Engleza D, Tadros I, Shah F, Berlin J, Deisseroth K, Rice ME, Tepper JM, Koos T. Semnalizarea glutamatergică a neuronilor mezolimbici ai dopaminei în nucleul accumbens. J Neurosci. 2010; 30: 7105-7110. [Articol gratuit PMC] [PubMed]
  234. Thierry AM, Tassin JP, Blanc G, Glowinski J. Activarea selectivă a sistemului DA mezocortic prin stres. Natură. 1976; 263: 242-244. [PubMed]
  235. Tobler PN, Dickinson A, Schultz W. Codificarea premiselor de omisiune a recompenselor de către neuronii dopaminergici într-o paradigmă de inhibiție condiționată. J Neurosci. 2003; 23: 10402-10410. [PubMed]
  236. Tobler PN, Fiorillo CD, Schultz W. Codificarea adaptivă a valorii de recompensă de către neuronii dopaminergici. Ştiinţă. 2005; 307: 1642-1645. [PubMed]
  237. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Phasic Firing în neuronii dopaminergici este suficient pentru condiționarea comportamentală. Ştiinţă. 2009 [PubMed]
  238. Ullsperger M. Studii de asociere genetică privind monitorizarea performanței și învățarea din feedback: rolul dopaminei și serotoninei. Neuroștiințe și recenzii biobehaviorale. 2010; 34: 649-659. [PubMed]
  239. Ungheni MA. Dopamina: problema esențială. Tendințe în neuroștiințe. 2004; 27: 702-706. [PubMed]
  240. Utilings HB, Groenewegen HJ, Kolb B. Șobolanii au un cortex prefrontal? Cercetarea creierului comportamental. 2003; 146: 3-17. [PubMed]
  241. Ventura R, Cabib S, Puglisi-Allegra S. Opoziția răspunsului la dopamină mezocorticolimbic dependent de genotip dependent de stres. Neuroscience. 2001; 104: 627-631. [PubMed]
  242. Ventura R, Latagliata EC, Morrone C, La Mela I, Puglisi-Allegra S. Norepinefrina prefrontală determină atribuirea unei evidențe motivaționale „ridicate”. Plus unu. 2008; 3: e3044. [Articol gratuit PMC] [PubMed]
  243. Ventura R, Morrone C, Puglisi-Allegra S. Sistemul prefrontal / accumbal de catecolamină determină atributul motivational de saliență atât pentru stimulii de recompensă cât și pentru aversiune. Proceedings of the National Academy of Sciences din Statele Unite ale Americii. 2007; 104: 5181-5186. [Articol gratuit PMC] [PubMed]
  244. Vogt BA. Dureri și interacțiuni emoționale în subregiunile gyrusului cingulate. Nat Rev Neurosci. 2005; 6: 533-544. [Articol gratuit PMC] [PubMed]
  245. Voin V, Pessiglione M, Brezing C, Gallea C, Fernandez HH, Dolan RJ, Hallett M. Mecanismele care stau la baza recompensei mediate de dopamină în comportamente compulsive. Neuron. 2010; 65: 135-142. [Articol gratuit PMC] [PubMed]
  246. Waelti P, Dickinson A, Schultz W. Răspunsurile la dopamină respectă ipotezele de bază ale teoriei învățării formale. Natură. 2001; 412: 43-48. [PubMed]
  247. Wallis JD, Kennerley SW. Semnalele de recompensă heteogenă în cortexul prefrontal. Opinia curentă în neurobiologie. 2010; 20: 191-198. [Articol gratuit PMC] [PubMed]
  248. Walton ME, Behrens TE, Buckley MJ, Rudebeck PH, Rushworth MF. Sisteme de învățare separate în creierul macacilor și rolul cortexului orbitofrontal în învățarea contingentă. Neuron. 2010; 65: 927-939. [Articol gratuit PMC] [PubMed]
  249. Wheeler RA, Twining RC, Jones JL, Slater JM, Grigson PS, Carelli RM. Indicii comportamentali și electrofiziologici ai afecțiunilor negative prevăd auto-administrarea cocainei. Neuron. 2008; 57: 774-785. [PubMed]
  250. Wightman RM, Heien MLAV, Wassum KM, Sombers LA, Aragona BJ, Khan AS, Ariansen JL, Cheer JF, Phillips PE, Carelli RM. Eliberarea dopaminei este eterogenă în micro-mediile nucleului accumbens de șobolan. Jurnalul european de neuroștiințe. 2007; 26: 2046-2054. [PubMed]
  251. Williams GV, Castner SA. Sub curba: probleme critice pentru elucidarea funcției receptorului D1 în memoria de lucru. Neuroscience. 2006; 139: 263-276. [PubMed]
  252. Williams SM, PS Goldman-Rakic. La originea generalizată a sistemului de dopamină primat mesofrontal. Cereb Cortex. 1998; 8: 321-345. [PubMed]
  253. Winn P. Cât de bine să luăm în considerare structura și funcția nucleului tegmental pedunculopontin: dovezi din studiile pe animale. Oficial al științelor neurologice. 2006; 248: 234-250. [PubMed]
  254. Wise RA. Dopamina, învățarea și motivația. Nat Rev Neurosci. 2004; 5: 483-494. [PubMed]
  255. Wise RA. Forebrain substraturi de recompensă și motivație. Jurnalul de neurologie comparativă. 2005; 493: 115-121. [Articol gratuit PMC] [PubMed]
  256. Wise SP. Câmpuri frontale înainte: filogenie și funcție fundamentală. Tendințe în neuroștiințe. 2008; 31: 599-608. [Articol gratuit PMC] [PubMed]
  257. Yamada H, Matsumoto N, Kimura M. Neuronii tonici activi din nucleul caudat primat și putamen codifică diferențiat instrucțiunile de motivație ale acțiunii. J Neurosci. 2004; 24: 3500-3510. [PubMed]
  258. Yamada H, Matsumoto N, Kimura M. Istoricul și instrucțiunile actuale de codificare a viitoarelor rezultate comportamentale în striatum. J Neurophysiol. 2007; 98: 3557-3567. [PubMed]
  259. Yin HH, Knowlton BJ. Rolul gangliei bazale în formarea obișnuită. Nat Rev Neurosci. 2006; 7: 464-476. [PubMed]
  260. Tânărul AM, premierul Moran, Joseph MH. Rolul dopaminei în condiționarea și inhibarea latentă: ce, când, unde și cum? Neuroștiințe și recenzii biobehaviorale. 2005; 29: 963-976. [PubMed]
  261. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Neuronii substantia nigra umana codifica recompense financiare neasteptate. Ştiinţă. 2009; 323: 1496-1499. [Articol gratuit PMC] [PubMed]
  262. Zahniser NR, Sorkin A. Reglarea rapidă a transportorului de dopamină: rolul în dependența de stimulent? Neuropharmacology. 2004; 47 Suppl 1: 80-91. [PubMed]
  263. Zhang L, Doyon WM, Clark JJ, Phillips PE, Dani JA. Controale ale transmiterii tonice și fiziologice a dopaminei în striatul dorsal și ventral. Farmacologie moleculară. 2009; 76: 396-404. [Articol gratuit PMC] [PubMed]
  264. Zink CF, Pagnoni G, Martin ME, Dhamala M, Berns GS. Răspunsul striatal uman la stimuli nereligionanți. Revista de Neuroștiințe. 2003; 23: 8092-8097. [PubMed]
  265. Zweifel LS, Argilli E, Bonci A, Palmiter RD. Rolul receptorilor NMDA în neuronii dopaminei pentru plasticitate și comportamente de dependență. Neuron. 2008; 59: 486-496. [Articol gratuit PMC] [PubMed]
  266. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA și colab. Întreruperea tragerii exploziei dependente de NMDAR de către neuronii dopaminei oferă o evaluare selectivă a comportamentului fiziologic dependent de dopamină. Proceedings of the National Academy of Sciences din Statele Unite ale Americii. 2009; 106: 7281-7288. [Articol gratuit PMC] [PubMed]