Rata de învățare ghidată dincolo de dopamină în nucleul accumbens: funcțiile integrative ale rețelelor cortico-bazale ale ganglionilor (2008)

În literatura recente a devenit obișnuit să se găsească un concept monolit de "recompensă" aplicat uniform în comportamentul apetitant, indiferent dacă este vorba de ceva bun pentru organism (de obicei din perspectiva experimenterului) sau folosit interschimbabil cu termeni mai în vârstă "consolidare" sau "stimulare". Această stare de lucruri este încurajată, dacă nu ea însăși, de consecința concentrării pe un singur substrat neural pentru "recompensă" care implică eliberarea dopaminei (DA) în nucleul accumbens (Berke și Hyman, 2000; Grace și colab., 2007).

Legătura dintre calea și recompensa mesoaccumbens, recunoscută acum zeci de ani, a fost revigorată prin dovezi mai recente că semnalul fazic DA codifică o eroare de predicție a recompensării, care probabil servește ca un semnal didactic în învățarea asociativăg (Schultz și colab., 1997). Conform celei mai populare interpretări, la fel cum există un singur semnal de recompensă, există un singur semnal pentru învățarea bazată pe recompensă, care în acest caz înseamnă asocierea unui stimul și a unei recompense (Montague și colab., 2004). Problema modului în care acest tip de învățare controlează comportamentul adaptiv a fost totuși neglijată; se presupune pur și simplu că semnalul dopaminei este suficient atât pentru învățarea predictivă, cât și pentru răspunsurile condiționale generate de aceasta, și pentru acțiunile orientate spre scop, ghidate de asocierea lor cu recompensa. În consecință, majoritatea cercetărilor în domeniul recompensei și al dependenței se axează pe semnalarea DA și pe plasticitatea asociată în calea mesoacumbens (Berridge și Robinson, 1998; Hyman și colab., 2006; Grace și colab., 2007).

Această viziune a procesului de recompensare, așa cum este recunoscută din ce în ce mai mult (Cardinal și colab., 2002; Balleine, 2005; Everitt și Robbins, 2005; Hyman și colab., 2006), este atât inadecvată, cât și înșelătoare. Este inadecvată deoarece nici achiziția, nici performanța acțiunilor direcționate către scop nu pot fi explicate în termenii proceselor asociative care mediază învățarea prin stimulare-recompensă. În plus, este înșelătoare, deoarece focalizarea exclusivă asupra activității în calea mesoacumbens, care nu este nici necesară, nici suficientă pentru acțiunile orientate spre scopuri, a atenționat atenția de la întrebarea mai fundamentală a exact care sunt acțiunile direcționate către scopuri și modul în care acestea sunt puse în aplicare de creier. Într-adevăr, conform unor dovezi convergente dintr-o varietate de abordări experimentale, ceea ce anterior a părut a fi un singur mecanism de recompensă poate cuprinde de fapt mai multe procese cu efecte comportamentale distincte și substraturi neuronaleCorbit și colab., 2001; O'Doherty și colab., 2004; Yin și colab., 2004; Delgado și colab., 2005; Yin și colab., 2005b; Haruno și Kawato, 2006a; Tobler și colab., 2006; Jedynak și colab., 2007; Robinson și colab., 2007; Tobler și colab., 2007).

Aici încercăm să expunem câteva dintre problemele asociate modelului actual de mesoaccumbens și să propunem în locul său un alt model de învățare bazată pe recompense. Vom argumenta că striatumul este o structură extrem de eterogenă care poate fi împărțită în cel puțin patru domenii funcționale, fiecare acționând ca un hub într-o rețea funcțională distinctă cu alte componente cortical, thalamic, pallidal și midbrain. Funcțiile integrative ale acestor rețele, de la producerea răspunsurilor necondiționate provocate de răsplată la controlul acțiunilor direcționate către scop, pot fi disociate și studiate folosind teste comportamentale contemporane.

Predicție și control

Calea mesoaccumbens este adesea presupusă a fi necesară pentru obținerea unei asocieri între recompensa și stimulii de mediu care prezică această recompensă. De exemplu, în unele dintre experimentele care examinează activitatea fazică a celulelor DA obținute prin recompensă, maimuțele au fost instruite să asocieze un stimul cu livrarea de suc (Waelti și colab., 2001) și ulterior să răspundă stimulului cu o lingură de răspuns condiționată (CR). Linsul maimuței poate fi direcționat în funcție de țintă, deoarece consideră că este necesar să se obțină suc. Alternativ, lingerea poate fi provocată de stimulul antecedent cu care sucul este asociat. Care dintre acești factori determinanți ai linsului maimuțelor este controlul comportamentului în orice situație particulară nu este cunoscută a priori, și nu poate fi determinată prin observație superficială; aceasta poate fi determinată numai prin teste concepute special pentru acest scop. Aceste teste, care s-au dezvoltat de mai multe decenii, formează nucleul progreselor moderne majore în studiul învățării și comportamentului (Tabelul 1). Din utilizarea acestor teste, care urmează să fie discutate mai jos, știm acum că același răspuns comportamental - indiferent dacă este vorba de o abordare ambulatorie, de orientare sau de apăsare a unei pârghii - poate apărea din mai multe influențe care sunt disociabile experimental.

  

Tabelul 1

Educație îndrumată cu recompensă

Insensibilitatea față de ambiguitatea centrală în determinanții reali ai comportamentului este, prin urmare, principala problemă cu analiza neuroștiințifică actuală a învățării bazate pe recompensă. To să înțelegem importanța acestei probleme, este necesar să apreciem diferențele dintre modul în care învățarea predictivă (sau cea Pavloviană) și comportamentul apetitual de control al învățării (sau instrumentale) de învățare. Într-adevăr, judecând după cât de des aceste două procese au fost combinate în literatura de specialitate, o scurtă trecere în revistă a acestei distincții pare a fi un punct de pornire util pentru discuția noastră.

În condiționarea condiționată a Pavlovian, recompensa (stimulul necondiționat sau SUA) este asociată cu un stimul (stimul condiționat sau CS), indiferent de comportamentul animalului, în timp ce în învățarea instrumentală, recompensa este condiționată de acțiunile animalelor. Întrebarea critică în ambele situații este, totuși, dacă asociația de stimulare-recompensă sau asocierea-răsplată-acțiune controlează comportamentul.

Oricât de simplu ar părea, această întrebare a evitat anchetatorii timp de multe decenii, în mare măsură, deoarece răspunsurile comportamentale în aceste situații pot apărea identice.

Astfel, răspunsurile condiționate (CR) controlate de asociația de stimulare-recompensă Pavlovian pot avea adesea o furnică de direcționare a țelurilor față de ele. Chiar si salivarea, CR originala a lui Pavlov, ar fi putut fi produsa de cainii sai ca o incercare deliberata de a facilita ingestia. Tocmai din cauza acestei ambiguități, cea mai evidentă explicație - și anume că în condiționarea lui Pavlovian este învățată asocierea rezultat-stimul, în timp ce, în condiționarea instrumentală, asociația de acțiune-rezultat este învățată - nu a reușit să câștige prea mult sprijin timp de multe deceniiSkinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Cu toate acestea, deși multe CR Pavlovian sunt autonome sau consumatoare, alte CR, cum ar fi comportamentul de abordare față de o recompensă, nu sunt atât de convenabil caracterizate (Rescorla și Solomon, 1967); într-adevăr, ele pot fi ușor confundate cu acțiuni instrumentale (Brown și Jenkins, 1968; Williams și Williams, 1969; Schwartz și Gamzu, 1977). Acum știm că, în ciuda unei asemănări superficiale, CR-urile Pavlovian și acțiunile instrumentale orientate spre țintă diferă în structura reprezentativă care controlează performanța răspunsului (Schwartz și Gamzu, 1977).

Modalitățile cele mai directe de a stabili dacă realizarea unui răspuns este mediată de o recompensă de stimulare sau de o acțiune de recompensare este de a examina performanța specifică de contingență. Exemplul de salivare este instructiv aici. Sheffield (1965) testat dacă salivarea în condiționarea Pavloviană a fost controlată de relația sa cu recompensa sau cu asociația de stimulare-recompensă. În experimentul său, câinii au primit legături între un ton și o recompensă alimentară (Sheffield, 1965). Cu toate acestea, în cazul în care câinii au salivat în timpul tonului, atunci mâncarea nu a fost livrată în acel studiu. Acest aranjament a menținut o relație Pavloviană între ton și hrană, dar a eliminat orice asociere directă între salivare și livrarea de alimente. Dacă salivarea este o acțiune controlată de relația sa cu alimentele, atunci câinii trebuie să oprească salivarea - într-adevăr, ei nu ar trebui să obțină niciodată salivare a tonului. Sheffield a descoperit că relația dintre tonul și hrana Pavlovian a controlat salivarea CR. În cursul ansamblului de alimente cu tonuri albe 800, câinii au dobândit și au menținut salivarea tonului, chiar dacă acest lucru a dus la pierderea majorității alimentelor pe care le-ar fi putut obține fără a le saliveze. O concluzie similară a fost realizată de alții în studii cu oameni (Pitherii, 1985) și alte animale (Brown și Jenkins, 1968; Williams și Williams, 1969; Olanda, 1979); în toate cazurile, se pare că, în ciuda varietății lor, răspunsurile lui Pavlovian nu sunt controlate de relația lor cu recompensa - adică de contingența de acțiune-rezultat.

Termenul contingență se referă la relația condiționată dintre un eveniment "A" și altul, "B", astfel încât apariția lui B depinde de A. O relație de acest fel poate fi ușor degradată prin prezentarea lui B în absența lui A. manipularea experimentală, denumită degradare de urgență, este efectuată în mod obișnuit prin prezentarea unei recompense independent de stimulul predictiv sau acțiunea. Deși această abordare a fost inițial dezvoltată pentru a studia condiționarea Pavlovian (Rescorla, 1968), degradarea instrumentală a contingentelor a devenit, de asemenea, un instrument comun (Hammond, 1980). Atunci când aceste contingențe sunt manipulate direct, conținutul învățământului este dezvăluit: de exemplu, în autosapărarea, un CR Pavlovian "deghizat" ca o acțiune instrumentală este perturbat de manipulări ale contingenței mai degrabă Pavlovian decât instrumental (Schwartz și Gamzu, 1977).

Activitățile instrumentale direcționate către obiective sunt caracterizate de două criterii: 1) sensibilitatea la modificările valorii rezultatului și 2) sensibilitatea la schimbările în situația de urgență dintre acțiune și rezultat (Dickinson, 1985; Dickinson și Balleine, 1993). Sensibilitatea numai la devalorizarea rezultatului trebuie subliniată, nu este suficientă pentru a caracteriza un răspuns ca fiind direcționat spre destinație, deoarece unele răspunsuri Pavlovian pot fi, de asemenea, sensibile la această manipulare (Holland și Rescorla, 1975). Cu toate acestea, performanța acțiunilor instrumentale direcționate către scopuri este, de asemenea, sensibilă la manipularea contingenței de acțiune-rezultat, în timp ce răspunsurile Pavlovian sunt sensibile la manipularea contingenței stimulului-rezultat (Rescorla, 1968; Davis și Bitterman, 1971; Dickinson și Charnock, 1985). O excepție importantă poate fi găsită în cazul obiceiurilor (vezi mai jos), care sunt mai asemănătoare cu răspunsurile Pavlovian în insensibilitatea lor relativă față de schimbările intervenite în instrumental, dar sunt, de asemenea, impermeabile la devalorizarea rezultatului deoarece rezultatul nu este parte a structurii reprezentative care controlează performanța (cf. Dickinson, 1985 și mai jos pentru discuții ulterioare).

Pentru a rezuma, deci, este extrem de important ca un răspuns special să fie definit în mod clar în termenul contingenței de control, mai degrabă decât prin forma de răspuns sau prin sarcina comportamentală utilizată pentru stabilirea acesteia. Fără a examina contingența controlată într-o situație dată, atât comportamentul, cât și procesele neuronale găsite pentru a media comportamentul sunt probabil greșit caracterizate. În cele din urmă, după cum vom argumenta, acele contingențe de control, dobândite prin învățare și implementate de sisteme neuronale distincte, comportament de control, deși pot împărți aceeași "cale finală comună". Astfel, provocarea centrală este să depășim aparențele pentru a descoperi comportamentul care controlează contingentele de bază (pentru un rezumat a se vedea Tabelul 1). Pentru a afirma că structurile neuronale specifice mediază capacități psihologice specifice, de exemplu orientarea spre țintă, statutul comportamentului trebuie evaluat cu ajutorul testelor comportamentale adecvate. A face altfel este de a invita confuzii, pe măsură ce grupurile se întreabă asupra determinanților neuronali adecvați, în timp ce nu reușesc să recunoască faptul că sarcinile lor comportamentale ar putea măsura diferite fenomene. Ceea ce contează, în cele din urmă, este ceea ce animalul învață de fapt, nu ceea ce experimentatorul crede că animalul învață și ceea ce animalul învață de fapt nu poate fi dezvăluit decât prin teste care antrenează direct conținutul învățării.

Distincția instrumentală pavloviană ar fi fost banală dacă animalul a reușit să învețe același lucru (să spunem o asociere între stimul și recompensă) indiferent de aranjamentele experimentale. Folosind cele mai comune măsuri de învățare disponibile pentru neuroștiințe astăzi, pur și simplu nu există nici o modalitate de a spune. Astfel, cercetătorii adesea pretind că studiază un comportament orientat spre scop, fără a examina dacă comportamentul în cauză este, de fapt, direcționat spre obiectiv. Deși diferitele tipuri de învățare se presupune că rezultă din utilizarea unor "sarcini" sau "paradigme" diferite, cercetătorii nu reușesc să ofere o rațiune adecvată pentru ipotezele lor.

Un exemplu clasic al acestei probleme este folosirea labirinilor pentru a studia învățarea. O problemă cu experimentele labirintului și cu testele asociate, ca și preferința locului condiționat, este dificultatea disocierii experimentale a influenței factorilor Pavlovian (recompensă stimul-recompensă) și a factorilor instrumentali (răsplată-acțiune) asupra comportamentului (Dickinson, 1994; Yin și Knowlton, 2002). Astfel, trecerea printr-un labirint T pentru obținerea hranei ar putea reflecta o strategie de răspuns (la stânga) sau pur și simplu o abordare condiționată față de un punct de reper extra-labirint controlat de asociația cu alimente-tipice (Restul, 1957). O modalitate de a testa dacă acesta din urmă joacă un rol în performanță este de a inversa labirintul; acum răspunsul elevilor ar trebui să continue să se întoarcă la stânga, în timp ce cei care folosesc indicii extra-labirint ar trebui să se întoarcă la dreapta. Dar sunt cei care continuă să dea stânga într-adevăr folosind o strategie de răspuns sau se apropie doar de unii Intra-un tact asociat cu alimentele? Nu este o chestiune simplă să aflăm, deoarece controalele obișnuite pentru controlul comportamentului Pavlovian nu pot fi aplicate cu ușurință în studii de labirint. Unul dintre acestea, controlul bidirecțional, stabilește că animalele pot exercita controlul asupra unui anumit răspuns, cerând inversarea direcției răspunsului respectiv pentru a câștiga recompense (Hershberger, 1986; Heyes și Dawson, 1990). Din păcate, într-un labirint, inversarea răspunsului poate să nu fie încă suficientă pentru a stabili o acțiune ca fiind direcționată spre obiectiv, deoarece inversarea poate fi realizată prin stingerea relației de stimulare-recompensă existentă și înlocuirea acesteia cu alta. De exemplu, un șobolan care se apropie de un anumit indiciu intra-labirint poate învăța, în timpul inversării, că nu mai este asociat cu recompensa, ci că există un alt stimulent, care duce la obținerea unei abordări a CR față de noul stimul. Astfel, ei își pot inversa aparent răspunsul fără a fi codificat vreodată contingența răspuns-recompensă. Deoarece această posibilitate nu poate fi testată în practică, folosirea labirinilor, a procedurilor de preferință a locului sau a sarcinilor simple locomotorii pentru studierea proceselor de învățare direcționate către scopuri este deosebit de periculoasă și poate conduce la identificarea greșită a proceselor care controlează comportamentul împreună cu rolul specific al oricărui neural proceselor care au fost constatate (Smith-Roe și Kelley, 2000; Hernandez și colab., 2002; Atallah și colab., 2007).

Nucleus accumbens nu este necesar pentru învățarea instrumentală

Inadecvările analizei comportamentale actuale devin deosebit de clare în studiul nucleului accumbens. Multe studii au sugerat că această structură este critică pentru achiziționarea de acțiuni orientate spre scopuri (Hernandez și colab., 2002; Goto și Grace, 2005; Hernandez și colab., 2005; Pothuizen și colab., 2005; Taha și câmpurile, 2006; Atallah și colab., 2007; Cheer și colab., 2007; Lerchner și colab., 2007). Dar această concluzie a fost realizată în mare măsură numai pe baza unor măsuri de modificare a performanței, folosind sarcini în care comportamentul de control al situațiilor de urgență este ambiguu. Deși observația că o manipulare împiedică obținerea unui răspuns comportamental ar putea indica un deficit de învățare, ele ar putea reflecta și un efect asupra inițiere sau motivare a răspunsului. De exemplu, o deteriorare a achiziției de presare a pârghiilor poate reflecta adesea un efect asupra performanței, mai degrabă decât asupra învățării (Smith-Roe și Kelley, 2000). Curbele de achiziție, ca reprezentări incomplete ale oricărui proces de învățare, trebuie interpretate cu prudență (Gallistel și colab., 2004). Din păcate, distincția dintre învățare și performanță, probabil cea mai veche lecție din studiul învățării, este adesea ignorată astăzi.

O analiză mai detaliată arată că accumbensul nu este nici necesar, nici suficient pentru învățarea instrumentală. Leziunile carcasei accumbens nu modifică sensibilitatea performanței la devalorizarea rezultatului (de Borchgrave et al, 2002; Corbit și colab., 2001) sau la degradarea instrumentală de urgență (Corbit și colab., 2001), în timp ce leziunile nucleului accumbens au descoperit că reduc sensibilitatea la devalorizare fără a afecta sensibilitatea șobolanilor la degradarea selectivă a contingenței instrumentale (Corbit și colab., 2001). Alte studii care evaluează efectul manipulărilor accumbens asupra obținerii unui răspuns nou în studiile de întărire condiționată au constatat în mod constant un efect asupra performanței legate de recompense, în special creșterea performanței amfetaminei, dar nu asupra achiziției de răspuns per se (Parkinson și colab., 1999). De asemenea, un studiu sistematic efectuat de Cardinal și Cheung nu a găsit nici un efect al leziunilor de bază accumbens asupra achiziției unui răspuns de presă al pârghiei în cadrul unui program de întărire continuă; depresie a fost observată doar cu întârzierea întăririi (Cardinalul și Cheung, 2005).

Deși accumbens nu codifică contingența instrumentală (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001), dovezi considerabile sugerează că acesta joacă un rol fundamental în instrumental performanță, un rol pe care acum îl putem defini mai bine în lumina lucrărilor recente. După cum sa concluzionat în mai multe studii, accumbens este critică pentru anumite tipuri de condiționări apreciabile Pavlovian și mediază atât efectele excitatorii nespecifice pe care indicii de recompensare le pot avea asupra performanței instrumentale, cât și influențele specifice rezultatelor asupra selecției de răspuns produse prin astfel de indicii. Leziunile miezului sau ale cingulatei anterioare, o sursă majoră de intrare corticală la miez sau o deconectare între aceste două structuri, afectează dobândirea comportamentului de apropiere Pavlovian (Parkinson și colab., 2000). Infuzia locală a unui antagonist al receptorilor dopaminergici D1 sau a unui antagonist al receptorilor de glutamat NMDA imediat după formare a afectat de asemenea această formă de învățare fără a afecta performanța (Dalley și colab., 2005). Aceste date sunt de acord cu măsurile in vivo activitate neuronală. De exemplu, Carelli și colegii săi au descoperit că neuronii din nucleul accumbens își pot schimba activitatea în mod sistematic în timpul învățării unei sarcini de autoshaping Pavlovian (Day și colab., 2006; Zi și Carelli, 2007).

Neuronii din regiunea cochiliei par a fi reglați la recompense și stimuli aversivi, chiar înainte de orice experiență de învățare; aceștia sunt, de asemenea, capabili să dezvolte răspunsuri la CS-urile care prezic aceste rezultate (Roitman și colab., 2005). Munca lui Berridge și a colegilor, în plus, a ridicat posibilitatea ca anumite regiuni ale cochiliei nucleului accumbens și ale ventralului pallidum din aval să poată fi caracterizate drept "hotspoturi hedonice". Aceste zone modulează în mod direct răspunsurile hedonice necondiționate la recompense, cum ar fi reactivitatea gustului. De exemplu, agoniștii receptorilor opioizi în aceste regiuni pot amplifica semnificativ reactivitatea gustului ingerator la zaharoză. Asemenea regiuni foarte localizate sunt încorporate în rețele mai largi care nu joacă un rol în comportamentul apetit consumator (Taha și câmpurile, 2005; Pecina și colab., 2006; Taha și câmpurile, 2006).

Distincția în rolurile relative ale miezului și ale coajelor pare a fi una dintre comportamentele apetisante pregătitoare și consumatoare, care pot fi ușor modificate prin experiență prin diferite tipuri de condiționare Pavloviană. Răspunsurile pregătitoare precum abordarea sunt legate de calitățile emoționale generale ale rezultatului, în timp ce comportamentele consumatoare sunt legate de calități senzoriale mai specifice; ele sunt, de asemenea, sensibile la diferite tipuri de CS, de exemplu răspunsurile pregătitoare sunt mai ușor condiționate cu un stimul cu durată lungă (Konorski, 1967; Dickinson și Dearing, 1979; Balleine, 2001; Dickinson și Balleine, 2002).

În orice caz, dovezile care implică accumbens în unele aspecte ale condiționării Pavlovian este copleșitoare. Cu toate acestea, nu este singura structură implicată și alte rețele, cum ar fi cele care implică diferitele nuclee amigdaloide, par să joace un rol central atât în ​​componentele pregătitoare, cât și în cele consumatoare ale condiționării Pavlovian (Balleine și Killcross, 2006).

O funcție care poate fi atribuită în mod clar accumbenilor este integrarea influențelor Pavlovian asupra comportamentului instrumental. CR-urile Pavlovian, inclusiv cele care reflectă activarea stărilor motivaționale centrale, cum ar fi pofta și excitarea, pot exercita o puternică influență asupra performanței acțiunilor instrumentale (Trapold și Overmier, 1972; Lovibond, 1983; Olanda, 2004). De exemplu, un CS care prezice în mod independent livrarea de alimente poate crește răspunsul instrumental pentru aceleași alimente. Acest efect este frecvent studiat folosind paradigma de transfer instrumental Pavlovian (PIT). În PIT, animalele primesc etape separate de pregătire Pavloviană și instrumentală, în care învață, în mod independent, să asocieze un tac cu alimente și să apese o pârghie pentru aceeași mâncare. Apoi, pe studiile sonde, tacul este prezentat cu pârghia disponibilă și se măsoară înălțimea ratelor de răspuns în prezența CS. Au fost identificate două forme de PIT; unul legat de efectul general generat de indicii de recompensă și un al doilea efect mai selectiv asupra performanței alegerii produse de statutul predictiv al unui tac cu privire la o recompensă specifică, spre deosebire de altele. Cochilii accumbens sunt necesari pentru această formă de PIT specifică rezultată, dar nu este nici necesară pentru forma anterioară, mai generală, nici pentru sensibilitatea la devalorizarea rezultatului; prin contrast, leziunile nucleului accumbens reduc sensibilitatea atât la devalorizarea rezultatului, cât și la forma generală a PIT, dar lasă în mod inerent PIT specific pentru rezultate (Corbit și colab., 2001; (Balleine și Corbit, 2005).

Un studiu recent a oferit o perspectivă mai aprofundată asupra rolului cochiliei accumbens în PIT specific pentru rezultate (Wiltgen și colab., 2007). Exprimarea controlată a proteinei kinazei II (CaMKII) dependentă de calciu / calmodulină în striatum nu a afectat învățarea instrumentală sau cea Pavloviană, dar a eliminat PIT-ul specific. Acest deficit în PIT nu a fost permanent și ar putea fi inversat prin oprirea expresiei transgene cu doxiciclină, demonstrând că deficitul a fost asociat doar cu performanța. Creșterea artificială a nivelului de CaMKII în striatum blochează, prin urmare, transferul specific de rezultate al motivației de stimulare de la sistemul Pavlovian la sistemul instrumental. Interesant, sa constatat că transformarea transgenei CaMKII reduce excitabilitatea neuronilor în cochilia accumbens, fără a afecta transmisia bazală sau rezistența sinaptică.

Striatul dorsal

Striatul dorsal, de asemenea cunoscut sub numele de neostriatum sau caudate-putamen, primește proiecții masive din așa-numitul neocortex. Acesta poate fi împărțit în continuare într-o regiune asociativă, care la rozătoare este mai medială și continuă cu striatum ventral și o regiune senzorimotor care este mai laterală (Groenewegen și colab., 1990; Joel și Weiner, 1994). În ansamblu, striatumul dorsal este inervat de celule DA din substantia nigra pars compacta (SNc) și primește numai proiecții slabe de la neuronii VTA DA (Joel și Weiner, 2000). Lucrările anterioare privind striatumul dorsal s-au concentrat în special pe rolul său în învățarea habitului de răspuns-stimul (SR) (Miller, 1981; Alb, 1989). Această viziune se bazează pe legea efectului, conform căreia o recompensă acționează pentru întărirea sau întărirea unei asocieri SR între stimulii de mediu și răspunsul efectuat, ca urmare a faptului că tendința de a efectua acest răspuns crește în prezența acelor stimuli (Thorndike, 1911; Hull, 1943; Miller, 1981). Astfel, calea corticostriatală se ghidează să medieze învățarea SR cu DA acționând ca semnal de armare (Miller, 1981; Reynolds și Wickens, 2002).

Modelele SR au avantajul de a conține o regulă parsimonioasă pentru traducerea învățării în performanță. Un model bazat pe așteptările legate de acțiune, în schimb, este mult mai complicat deoarece credința "Acțiunea A duce la rezultatul O" nu trebuie neapărat să fie transpusă în acțiune (Guthrie, 1935; Mackintosh, 1974); informațiile de acest tip pot fi utilizate atât pentru a efectua "A", cât și pentru a evita efectuarea "A". Din acest motiv, teoriile tradiționale s-au abătut de la cea mai evidentă explicație - și anume că animalele pot dobândi o contingență de acțiune-rezultat care să indice comportamentul alegerilor. Cu toate acestea, ultimele decenii au vizat o revizuire substanțială a legii efectului (Adams, 1982; Colwill și Rescorla, 1986; Dickinson, 1994; Dickinson și colab., 1996). Trezultatele multor studii au demonstrat că acțiunile instrumentale pot fi cu adevărat direcționate către obiective, adică sensibile la schimbările în valoarea recompensă, precum și la eficacitatea cauzală a acțiunii (vezi Dickinson & Balleine, 1994; 2002; Balleine, 2001 pentru comentarii). Cu toate acestea, pe parcursul instruirii extinse în condiții constante, chiar și acțiunile nou dobândite pot deveni relativ automate și stimulate - un proces cunoscut sub numele de formare a obiceiurilor (Adams și Dickinson, 1981; Adams, 1982; Yin și colab., 2004). Obiceiurile astfel definite, fiind provocate în mod automat de stimuli antecedenți, nu sunt controlați de așteptarea sau reprezentarea rezultatului; ele sunt, prin urmare, impermeabile la modificările rezultatelor. Din această perspectivă, legea efectului este, prin urmare, un caz special care se aplică numai comportamentului obișnuit.

Clasificarea curentă a comportamentului instrumental o împarte în două clase. Tprima clasă cuprinde acțiuni direcționate către scop, controlate de contingența instrumentală; cel de-al doilea comportament obișnuit, impermeabil la schimbarea valorii rezultatului (Tabelul 1). Folosind teste comportamentale cum ar fi devalorizarea rezultatului și degradarea instrumentală de contingență, Yin et al a stabilit o disociere funcțională între striatumul dorsal (striatum dorsolateral, DLS) și regiunile asociative (striatum dorsomedial, DMS)Yin și Knowlton, 2004; Yin și colab., 2004, 2005a; Yin și colab., 2005b; Yin și colab., 2006a). Leziunile DLS au afectat dezvoltarea obiceiurilor, rezultând într-un mod de control al comportamentului orientat mai mult către scopuri. Leziunile DMS au efectul opus și duc la o trecere de la controlul orientat spre obiectiv la controlul obișnuit. Yin et al a concluzionat, prin urmare, că DLS și DMS pot fi disociate funcțional în ceea ce privește tipul de structuri asociative pe care le suportă: DLS este critică pentru formarea habituală, în timp ce DMS este critică pentru obținerea și exprimarea acțiunilor direcționate către țintă. Această analiză prevede că, în anumite condiții (de exemplu, formarea extinsă), controlul acțiunilor se poate transforma de la sistemul dependent de DMS la sistemul dependent de DLS, o concluzie care este în acord cu literatura considerabilă privind primatele, inclusiv neuroimagistica umanăHikosaka și colab., 1989; Jueptner și colab., 1997a; Miyachi și colab., 1997; Miyachi și colab., 2002; Delgado și colab., 2004; Haruno și colab., 2004; Tricomi și colab., 2004; Delgado și colab., 2005; Samejima și colab., 2005; Haruno și Kawato, 2006a, b; Lohrenz și colab., 2007; Tobler și colab., 2007). Ar trebui să ne amintim, desigur, t(de ex. dorsală sau ventrală) nu poate fi un ghid de încredere în compararea striatumului rozătoarelor și striatumului primat; astfel de comparații ar trebui făcute cu prudență, după o analiză atentă a conectivității anatomice.

Efectele leziunilor striate dorsale pot fi comparate cu cele ale leziunilor accumbens (Smith-Roe și Kelley, 2000; Atallah și colab., 2007). Așa cum am menționat deja, testele standard pentru stabilirea unui comportament ca fiind "orientat spre obiectiv" sunt devalorizarea și degradarea rezultatului incidentului de acțiune-rezultat (Dickinson și Balleine, 1993). Leziunile DMS conduc comportamentul insensibil la ambele manipulări (Yin și colab., 2005b), în timp ce leziunile nucleului sau cochiliei accumbens nu (Corbit și colab., 2001). Mai mult, testele de probă ale acestor teste comportamentale sunt de obicei efectuate în extincție, fără prezentarea oricărei recompense, pentru a evalua ceea ce animalul a învățat fără contaminare prin învățare nouă. Prin urmare, ele probează direct structura de reprezentare care controlează comportamentul. Ca un control experimental suplimentar, adesea este util să se efectueze un test separat de devalorizare, în care sunt livrate efectiv recompense - așa-numitul "test recompensat". Leziunile DMS nu au eliminat sensibilitatea față de devalorizarea rezultatelor pe testul recompensat, așa cum ar trebui să se aștepte de la livrarea unui rezultat devalorizat condiționat dintr-o acțiune, poate suprima acțiunea independent de codificarea rezultatelor acțiunii. Cu toate acestea, leziunile de coajă de acumben nu au afectat sensibilitatea la devalorizarea rezultatului fie la testul de extincție, fie la testul recompensat, în timp ce leziunile de bază accumbens au eliminat sensibilitatea la devalorizare la ambele teste (Corbit și colab., 2001). Sensibilitatea la degradarea de urgență, cu toate acestea, nu a fost afectată de nici o leziune, demonstrând că, după leziunile accumbens, șobolanii au fost capabili să codifice și să recupereze reprezentările de acțiune-rezultat.

Rolul dopaminei: mezolimbic vs. nigrostriatal

Încă de la studiile de pionierat asupra activității fazice a neuronilor DA la maimuțe, o presupunere comună în domeniu este că toate celulele DA se comportă în mod esențial în același mod (Schultz, 1998a; Montague și colab., 2004). Cu toate acestea, datele disponibile, precum și conectivitatea anatomică, sugerează altfel. De fapt, analiza de mai sus a heterogenității funcționale în striatum poate fi extinsă și la celulele DA din miezul miezului.

Celulele DA pot fi împărțite în două grupe majore: VTA și substantia nigra pars compacta (SNc). Deși proiecția de la VTA către accumbens a fost centrul atenției în domeniul învățării legate de recompense, calea nigrostriatală mult mai masivă a fost relativ neglijată, cu o atenție deosebită acordată în primul rând rolului său în boala Parkinson. Gândirea actuală cu privire la rolul lui DA în învățare a fost puternic influențată de propunerea că activitatea fazică a celulelor DA reflectă o eroare de predicție a recompenselorr (Ljungberg și colab., 1992; Schultz, 1998b). eun cea mai obișnuită sarcină de condiționare Pavlovian folosită de Schultz și de colegi, acești neuroni se declanșează ca răspuns la recompensa (SUA), dar, prin învățare, activitatea evocată de SUA este transferată la CS. Atunci când SUA este omisă după învățare, celulele DA prezintă o depresie scurtă în activitate la momentul așteptat al livrării (Waelti și colab., 2001; Fiorillo și colab., 2003; Tobler și colab., 2003). Aceste date formează baza unei varietăți de modele computaționale (Schultz și colab., 1997; Schultz, 1998b; Brown și colab., 1999; Montague și colab., 2004).

Având în vedere multiplele niveluri de control în mecanismele de sinteză și eliberare, spikingul neuronilor DA nu poate fi asimilat cu eliberarea DA, deși s-ar aștepta ca aceste două măsuri să fie foarte corelate. Într-adevăr, așa cum arată un studiu recent realizat de Carelli și colegii săi folosind voltammetria ciclică de scanare rapidă, eliberarea actuală de DA în nucleul accumbens pare să fie corelată cu o eroare de predicție în condiționarea condiționată a Pavlovian (Day și colab., 2007). Ei au descoperit un semnal fazic DA în nucleul accumbens imediat după primirea recompenselor de zaharoză în autoșaparea Pavlovian. După condiționarea extinsă a lui Pavlovian, acest semnal nu mai era găsit după recompensa în sine, ci sa mutat în schimb la CS. Această constatare susține ipoteza inițială de "eroare de predicție". Este, de asemenea, în concordanță cu lucrările anterioare care prezintă performanțe depreciate ale CR Pavlovian după antagonismul receptorului DA sau a depleției DA în nucleul accumbens (Di Ciano și colab., 2001; Parkinson și colab., 2002). Cu toate acestea, o observație din studiu este nouă și are un interes considerabil: după o condiționare prelungită cu un CS + care prezice o recompensă și un CS - care nu prevede recompensa, un semnal similar, deși mai mic, a fost observat și după CS- a arătat, de asemenea, o ușoară scufundare imediat (500 ~ 800 milisecunde după debutul taciei) după vârful inițial (Day și colab., 2007, Figura 4). În acest stadiu de învățare, animalele aproape nu se apropie niciodată de CS -, dar abordează consistent CS +. Astfel, semnalul DA fazic imediat după predictor poate să nu joace un rol de cauzalitate în generarea răspunsului de apropiere, deoarece este prezent chiar și în absența răspunsului. Indiferent dacă un astfel de semnal este încă necesar pentru a învăța contingența stimulului-recompensă rămâne neclar, dar răspunsul fazic observat la CS- cu siguranță nu este prezis de nici unul dintre modelele actuale.

Interesant este faptul că epuizarea DA locală afectează performanța acestei sarcini (Parkinson și colab., 2002). Întrucât un semnal fazic DA este observat după CS-, care nu generează deloc CR, eliminarea atât a DA-ului fazic cât și a tonicului DA prin epuizare locală nu afectează performanțele CR. Un astfel de model sugerează că un semnal fazic DA în accumbens nu este necesar pentru performanța CR Pavlovian, dar poate juca un rol în învățare, în timp ce un semnal DA mai încet și mai tonic (probabil abolit în studiile de epuizare) este mai important pentru performanță răspunsului de abordare (Cagniard și colab., 2006; Yin și colab., 2006b; Niv și colab., 2007). Această posibilitate rămâne testată.

Deși nu există dovezi directe pentru rolul cauzal al semnalului fazic DA în învățare, ipoteza "erorii de predicție" a atras totuși multă atenție, deoarece este tocmai tipul de semnal didactic folosit în modelele proeminente de învățare, cum ar fi modelul Rescorla-Wagner și extinderea sa în timp real a algoritmului de învățare a amplificării diferenței temporale (Schultz, 1998b). Conform acestei interpretări, învățarea apetitului este determinată de diferența dintre recompensa primită și cea așteptată (sau între două predicții de recompense temporare succesive). Un astfel de semnal de predare este reglementat de feedback-ul negativ de la toți predictorii recompensei (Schultz, 1998b). Dacă nici o răsplată nu urmează predictorul, atunci mecanismul de feedback negativ este demascat ca o scădere a activității neuronilor DA. Astfel, învățarea presupune reducerea progresivă a erorii de predicție.

Eleganța semnalului didactic din aceste modele a distras unele dintre ele din realitatea anatomică. În studiul de la Day și colab. (2007), semnalul DA din accumbens provine cel mai mult din celulele din VTA, dar pare puțin probabil ca alte celule DA, cu conectivitate anatomică complet diferită, să prezinte același profil de răspuns și să furnizeze același semnal. Un gradient în ceea ce privește semnalul celulelor DA este mai probabil, deoarece celulele DA proiectează în diferite regiuni striatale cu funcții complet diferite și primesc, la rândul lor, semnale distincte de răspuns negativ din diferite regiuni striatale (Joel și Weiner, 2000; Wickens și colab., 2007). Mecanismele de absorbție și degradare, precum și receptorii presinaptici care reglează eliberarea dopaminei, prezintă de asemenea variații considerabile în striat (Cragg și colab., 2002; Rice și Cragg, 2004; Wickens și colab., 2007; Rice și Cragg, 2008).

Noi propunem, prin urmare, că calea mezoaccumbens joacă un rol mai restrâns în învățarea Pavloviană, în dobândirea valorii statelor și a stimulilor, în timp ce calea nigrostriatală este mai importantă pentru învățarea instrumentală, pentru dobândirea valorilor acțiunilor. Tpălăria este că semnalul DA fazic poate codifica diferite erori de predicție, mai degrabă decât o singură eroare de predicție, așa cum se presupune în prezent. Trei linii de dovezi susțin acest argument. În primul rând, epuizarea genetică a DA în calea nigrostriatală afectează dobândirea și performanța acțiunilor instrumentale, în timp ce epuizarea DA în calea mezolimbică nu (Sotak și colab., 2005; Robinson și colab., 2007). În al doilea rând, celulele DA din SNc pot codifica valoarea acțiunilor, similare celulelor din regiunea țintă striatală (Morris și colab., 2006). În al treilea rând, leziunea selectivă a proiecției nigrostriatale la DLS afectează formarea obiceiurilor (Faure și colab., 2005).

Lucrările recente realizate de Palmiter și colegi au arătat că șoarecii cu deficit de DA cu inginerie genetică sunt sever afectați în ceea ce privește învățarea și performanța instrumentală, însă performanța acestora ar putea fi restabilită fie prin injectarea L-DOPA, fie prin transferul de gene virale pe calea nigrostriatalăSotak și colab., 2005; Robinson și colab., 2007). Prin contrast, recuperarea DA în striatum ventral nu a fost necesară pentru a restabili comportamentul instrumental. Deși modul în care semnalele DA permit învățarea instrumentală rămâne o chestiune deschisă, o posibilitate evidentă este aceea că ar putea codifica valoarea acțiunilor inițiate de sine, adică cât de mult se prevede recompensa, dat fiind un anumit mod de acțiune.

Stratul dorsal, ca întreg, conține cea mai mare expresie a receptorilor DA din creier și primește cea mai masivă proiecție dopaminergică. Proiecția DA la DMS poate juca un rol diferit în învățare decât proiecția la DLS, deoarece aceste două regiuni diferă semnificativ în profilul temporal al eliberării, absorbției și degradării DA (Wickens și colab., 2007). Noi presupunem că proiecția DA la DMS de la SNC medial este critică pentru învățarea de rezultate, în timp ce proiecția DA către DLS din partea SNc laterală este critică pentru formarea obiceiurilor. Dacă acest lucru este adevărat, ar trebui să se aștepte ca celulele DA din SNc să codifice eroarea de predicție a recompensării bazată pe acțiunile generate de sine - eroarea de predicție instrumentală - mai degrabă decât cea bazată pe CS. Dovezi preliminare în sprijinul acestei afirmații provin dintr-un studiu recent realizat de Morris et al, care a înregistrat neuronii SNc în timpul unei activități instructive de învățare (Morris și colab., 2006). Maimuțele s-au antrenat să-și miște brațele ca răspuns la un stimul discriminativ (S.^D) care a indicat mișcarea corespunzătoare și probabilitatea de recompensă. S^D a determinat activitate fazică în neuronii DA corespunzând valorii de acțiune bazată pe probabilitatea de recompensă preconizată a unei acțiuni particulare. Cel mai interesant, deși răspunsul DA la S^D crescut cu valoarea de acțiune, inversul a fost adevărat al răspunsului DA la răsplata însăși, în concordanță cu ideea că acești neuroni codifică o eroare de predicție asociată cu acea valoare. Nu este surprinzător că ținta primară striatală a acestor celule, nucleul caudat, este cunoscută că conține neuroni care codifică valori de acțiune (Samejima și colab., 2005). Trebuie remarcat totuși că acest studiu nu a utilizat sarcini comportamentale care evaluează fără echivoc valoarea acțiunilor. O predicție clară a modelului nostru este că activitatea DA fazică va însoți performanța acțiunilor, chiar și în absența unui S explicit^D. De exemplu, anticipăm arderea spontană a neuronilor DA nigrali în momentul unei acțiuni inițiate de auto-câștigători.

Din punctul nostru de vedere, în timp ce semnalul DA mesoaccumbens reflectă valoarea CS, semnalul nigrostriatal, probabil din acei neuroni proiectați în DMS, reflectă valoarea acțiunii în sine, sau de orice S^D care prezice această valoare. În plus, învățarea instrumentală și cea Pavlovian pare să implice o formă de feedback negativ pentru a controla semnalul didactic eficient. De fapt, proiecțiile directe de la striatum la neuronii DA midbrain (Figura 2) au fost mult timp propuse ca implementarea neurală a acestui tip de feedback negativ (Houk și colab., 1995), iar puterea și natura intrărilor inhibitoare pot varia considerabil de la o regiune la alta.

  

Figura 2

Rețelele ganglionilor cortico-bazali

O eroare de predicție, conform modelelor curente, este un semnal de predare care determină cât de mult are loc învățarea. Atâta timp cât este prezent, învățarea continuă. Cu toate acestea, se pare că această afirmație apare, o eroare de predicție pentru valoarea de acțiune, deși similară sintactic cu eroarea de prognoză Pavlovian, are caracteristici unice care nu au fost examinate extensiv. În modelele tradiționale precum modelul Rescorla-Wagner, care abordează exclusiv condiția Pavlovian (deși cu un succes limitat), caracteristica cheie este feedback-ul negativ care reglementează eroarea de predicție. Această ieșire reprezintă predicția dobândită, mai exact sumă din toți predictorii curenți, cum sunt capturați de stimulii compuși utilizați în mod tipic în experimentele de blocare (Rescorla, 1988). Este această sumare a predictorilor disponibili pentru a stabili un termen global de eroare care este principala inovație în această clasă de model. Cu toate acestea, pentru acțiunile instrumentale, termenii individuali de eroare par mai probabili, deoarece este dificil să vedem cum feedback-ul negativ ar prezenta simultan valoarea mai multor acțiuni atunci când se poate efectua o singură acțiune la un moment dat. Desigur, există o serie de soluții posibile. De exemplu, dată fiind o anumită stare (implementată experimental de către un S distinct^D), posibilele cursuri de acțiuni ar putea fi într-adevăr reprezentate simultan ca predicții dobândite. Dar principala dificultate cu erorile instrumentale de predicție are legătură cu natura acțiunii însăși. O predicție Pavlovian urmărește automat prezentarea stimulului, care este independent de organism. O eroare de predicție instrumentală trebuie să abordeze elementul de control, deoarece predicția este ea însăși acțiune-contingentă și o acțiune deliberată este emisă spontan, bazată pe urmărirea de către animale a consecințelor acțiunii, mai degrabă decât pe stimuli antecedenți. În final, este tocmai o neglijare generală a naturii spontane a acțiunilor direcționate către scopuri, atât în ​​neuroștiință, cât și în psihologie, care a distrus distincția dintre procesele de învățare Pavlovian și instrumental și natura erorilor de predicție implicate. Rămâne de stabilit, prin urmare, ce tip de semnal de feedback negativ, dacă există, reglementează dobândirea valorilor de acțiune (Dayan și Balleine, 2002).

În cele din urmă, lucrările recente au implicat, de asemenea, proiecția nigrostriatală de la SNC lateral la DLS în special în formarea obișnuită. Faure et al le-a leșat selectiv celulele DA care au fost proiectate în DLS utilizând 6-OHDA și au constatat că această manipulare are un efect surprinzător de mic asupra ratei de presare a pârghiei, deși a afectat formarea habitului, măsurată utilizând devalorizarea rezultatuluiFaure și colab., 2005). Adică, animalele lezate au răspuns într-un mod orientat spre scopuri, deși, într-un grup de control, formarea a generat un comportament obișnuit insensibil la devalorizarea rezultatului. Deteriorarea locală a DA este, așadar, similară cu leziunile excitotoxice ale DLS, prin aceea că ambele manipulări întârzie formarea obiceiurilor și favorizează dobândirea unor acțiuni direcționate către scop (Yin și colab., 2004). Un semnal fazic DA esențial pentru formarea obișnuită este deja bine descris de semnalul de armare efectiv în algoritmii de învățare a armăturii temporale de diferențiere temporală inspirat de lucrarea lui Hull și SpenceHull, 1943; Spence, 1947, 1960; Sutton și Barto, 1998).

Corpurile ganglionilor cortico-bazali

Până în prezent am discutat despre eterogenitatea funcțională în striatum, totuși ar fi înșelătoare să sugerăm că orice zonă striatală ar putea, să spunem, să traducă contingența de acțiune-rezultat în realizarea unei acțiuni de la sine. Mai degrabă, emisferele cerebrale sunt organizate ca unități funcționale iteratoare care constau în rețele de ganglioni cortico-bazali (Swanson, 2000; Zahm, 2005). Tstriatum, fiind stația de intrare a întregii ganglioni bazali, servește ca un hub unic în motivul rețelei cortico-bazale a ganglionilor, capabil să integreze intrările cortical, thalamic și midbrain. Așa cum am descris mai sus, deși este o structură continuă, diferite regiuni striatale par să participe la rețele funcționale distincte, de exemplu accumbens acționează ca un hub în rețeaua limbic și DLS în rețeaua senzorimotor. Datorită proprietății reentante a unor astfel de rețele, cu toate acestea, niciuna dintre componentele acestei structuri nu este în amonte sau în aval în vreun sens absolut; de exemplu, sistemul talamocortic este atât sursa unei intrări majore în striat, cât și în țara ambelor căi striodo-palidale și striat-nigrale.

Deși buclele ganglionare bazale paralel reentante au fost recunoscute de mult (Alexander și colab., 1986), subliniem rolurile funcționale distincte ale acestor circuite bazate pe structuri de reprezentare definite operațional și pe interacțiunile dintre circuite în generarea comportamentelor integrative. Pe această bază, pot fi identificate cel puțin patru astfel de rețele: rețelele limbice care implică coaja și miezul accumbens, rețeaua asociativă care implică striatum asociativ (DMS) și rețeaua senzorimotoare care implică striatum senzorimotor (DLS). Funcțiile lor variază de la medierea controlului apreciativ al UR-urilor și CR-urilor Pavlovian la acțiunile instrumentale (Figura 1).

  

Figura 1

Domeniile funcționale majore ale striatumului. O ilustrare a striatumului dintr-o secțiune coronală reprezentând jumătate din creier (Paxinos și Franklin, 2003). Rețineți că aceste patru domenii funcționale sunt anatomice continue și corespund aproximativ cu ceea ce ...

După cum sa menționat deja, striatumul ventral constă în principal din nucleul accumbens, care poate fi împărțit în continuare în cochilie și miez, fiecare participând într-o rețea funcțională distinctă. Proiecțiile corticale (glutamatergice) ale cochiliei apar din cortexul orbital infralimbic, central și lateral, în timp ce proiecțiile către miez provin din mai multe regiuni ale liniei mediane dorsale ale cortexului prefrontal cum ar fi cortexul ventral și dorsal prelimbic și cingulat anteriorGroenewegen și colab., 1990; Zahm, 2000, 2005). În cadrul acestor rețele de funcții, dovezile revizuite mai sus sugerează că cochilia este implicată în recompensele UR și în achiziționarea de CR-uri consumatoare; nucleul în comportamentul exploratoriu, în special achiziția și exprimarea răspunsurilor abordării Pavlovian. Cel puțin două rețele majore pot fi identificate în cadrul rețelei cortico-bazale ventrale sau limbice cortico-bazale mai mari, unul pentru consumator și altul pentru comportamente pregătitoare și modificarea lor prin condiționarea Pavloviană (Figura 1).

De asemenea, striatumul dorsal poate fi împărțit în cel puțin două regiuni majore, asociative și senzorimotoare, cu o rețea funcțională distinctă asociată cu fiecare. Striatul asociativ (caudat și părți ale putamenului anterior în primate) conține neuroni care se trag în așteptarea recompenselor-răsplată contingentă și schimba tragerea lor în funcție de mărimea recompensei așteptateHikosaka și colab., 1989; Hollerman și colab., 1998; Kawagoe și colab., 1998). În rețeaua asociativă, cortexul asociativ prefrontal și parietal și ținta acestuia în DMS sunt implicate în memoria tranzitorie, atât prospectivă, sub forma așteptărilor de rezultat, cât și retrospective, ca o înregistrare a copiilor recente de efemer (Konorski, 1967). Nivelul senzorimotor, pe de altă parte, cuprinde cortexul senzorimotor și țintele sale în ganglionii bazali. Ieșirile acestui circuit sunt îndreptate spre cortexurile motoare și rețelele motoarelor stem din creier. Activitatea neuronală în striatum senzorimotor nu este, în general, modulată de speranța de recompensă, prezentând mai multă activitate legată de mișcare decât neuronii în striatum asociativ (Kanazawa și colab., 1993; Kimura și colab., 1993; Costa și colab., 2004). În plus, în plus față de gradientul medial-lateral, există o eterogenitate funcțională semnificativă de-a lungul axei anterioare posterioare a striatumului dorsal, deși nu sunt disponibile date suficiente pentru a permite o clasificare detaliată (Yin și colab., 2005b).

Studiile s-au concentrat doar pe componentele corticale și striatale ale acestor rețele. În general, leziunile unei zone corticale au efecte similare cu leziunile țintei striate (Balleine și Dickinson, 1998; Corbit și Balleine, 2003; Yin și colab., 2005b). Dar celelalte componente din rețea ar putea suporta funcții similare. De exemplu, leziunile nucleului mediodorsal al talamusului, o componentă a rețelei asociative, au descoperit că elimină sensibilitatea la devalorizarea rezultatului și degradarea contingenților în același mod ca leziunile la DMS și la cortexul prelimbic (Corbit și colab., 2003). Astfel, deși modelul nostru general prezice deficite comportamentale similare după deteriorarea fiecărei componente a unei rețele, ea sugerează, de asemenea, pentru orice structură dată, cum ar fi pallidum sau thalamus, mai multe domenii funcționale.

Interacțiunea dintre rețele

În cele mai multe condiții, învățarea Pavloviană și instrumentală pare să aibă loc în paralel. Fenomene precum PIT, totuși, demonstrează măsura în care aceste procese distincte pot interacționa. Având în vedere sistemele funcționale independente, următorul pas este de a înțelege modul în care aceste sisteme sunt coordonate pentru a genera comportamente. O propunere atractivă, în concordanță cu lucrările anatomice recente, este că rețelele prezentate mai sus sunt organizate ierarhic, fiecare servind ca intermediar labil și funcțional în ierarhie, permițând transmiterea de informații de la un nivel la altul. În special, conexiunile spiralate recent descoperite între striatum și midbrain sugerează o organizație anatomică care poate implementa interacțiuni între rețele (Figura 2). După cum observă Haber și colegii, neuronii striatali trimit proiecții directe inhibitorii la neuronii DA din care primesc proiecții DA reciproce și proiectează de asemenea neuronilor DA care, la rândul lor, se proiectează într-o zonă striatală diferităHaber și colab., 2000). Aceste proiecții permit propagarea în avans a informației într-o singură direcție, de la rețelele limbice la rețelele asociative și senzorimotorii. De exemplu, o predicție Pavloviană (valoarea dobândită a CS) ar putea reduce semnalul didactic eficient la nivelul limbic, în timp ce coincident potențează semnalul DA la nivelul următor. Anularea semnalului didactic eficient este în mod normal pusă în aplicare printr-un semnal de reacție negativ printr-o proiecție inhibitoare, de exemplu, de la neuronii de proiecție spina mediană GABAergic de la striatum la neuronii DA. Între timp, așa cum a sugerat organizația anatomică (Haber și colab., 2000; Haber, 2003), potențarea semnalului DA pentru rețeaua ganglionară cortico-bazală învecinată (nivelul următor al ierarhiei) ar putea fi implementată prin proiecții dezinhibitoare (adică neuronii proiecției striate GABAergic la interneuronii GABAergici neuroni la neuroni DA). Astfel, valoarea învățată a rețelei limbic poate fi transferată în rețeaua asociativă, permițând adaptarea comportamentală să fie rafinată și amplificată cu fiecare iterație (Ashby, 1960). Acest model prezice implicarea progresivă a diferitelor rețele neuronale în diferitele etape ale învățării, sugestie susținută de o varietate de date (Jueptner și colab., 1997b; Miyachi și colab., 1997; Miyachi și colab., 2002; Yin, 2004; Everitt și Robbins, 2005; Yin și Knowlton, 2005; Belin și Everitt, 2008).

Fenomene care necesită interacțiunea dintre procese funcționale distincte, cum ar fi PIT, oferă o bază fertilă de testare pentru modelele de acest tip. Într-adevăr, modelul ierarhic este în acord cu recentele descoperiri experimentale despre PIT. Potrivit modelului, interacțiunile Pavlovian-instrumentale sunt mediate de conexiunile reciproce dintre neuronii striatum și DA. DA pare a fi critic pentru transferul general, care este eliminat de antagoniștii DA și de inactivarea locală a VTA (Dickinson și colab., 2000; Murschall și Hauber, 2006); întrucât perfuzia locală a amfetaminei, care probabil creșteri ale nivelurilor de DA, în accumbens poate spori semnificativ (Wyvell și Berridge, 2000). Pe de altă parte, rolul dopaminei striate ventrale în transferul specific este mai puțin clar. Unele dovezi sugerează că ar putea fi scutită după inactivarea VTA (Corbit și colab., 2007) dar ca Corbit și Janak (2007) raportat recent, transferul specific este eliminat prin inactivarea DLS, sugerând că acest aspect al controlului stimulului asupra selecției acțiunii ar putea implica proiecția nigrostriatală (Corbit și Janak, 2007). În acord cu perspectiva ierarhică, Corbit și Janak (2007) a constatat că, în timp ce inactivarea DLS a eliminat efectul excitativ selectiv al indicațiilor paloviene (așa cum s-a observat după leziunile cochiliei accumbens prin Corbit și colab., 2001), inactivarea DMS a eliminat numai selectivitatea rezultată a transferului, păstrând în același timp efectul excitativ general al acestor indici, o tendință observată și după leziunile thalamusului mediodorsal, care face parte din rețeaua asociativă a ganglionilor cortico-bazali (Ostlund și Balleine, 2008). Pe baza acestor rezultate preliminare, DMS pare să medieze numai un transfer specific, în timp ce DLS ar putea fi necesar atât pentru efectele excitative specifice, cât și pentru cele generale ale repetițiilor lui Pavlovian asupra acțiunilor instrumentale.

Interesant este faptul că striatumul limbic se proiectează pe scară largă la celule DA care se proiectează la striatul dorsal (Nauta și colab., 1978; Nauta, 1989); proiecțiile dopaminergice la striat și proiecțiile striatale înapoi la miezul central sunt foarte asimetrice (Haber, 2003). Striatul limbic primește o intrare limitată de la neuronii DA, dar trimite o cantitate extinsă la un set mult mai mare de neuroni DA, iar contrariul este valabil pentru striatum senzorimotor. Astfel, rețelele limbice sunt într-o poziție perfectă pentru a controla rețelele asociative și senzorimotorii. Aici neuroanatomia este de acord cu datele comportamentale că facilitarea Pavlovian a comportamentului instrumental este mult mai puternică decât invers; într-adevăr, dovezi considerabile sugerează că acțiunile instrumentale au tendința de a inhiba, mai degrabă decât de a excita, CR-urile Pavloviene - o constatare care încă așteaptă o explicație neurobiologicăEllison și Konorski, 1964; Williams, 1965).

Concluzii

Modelul ierarhic discutat aici, trebuie remarcat, este foarte diferit de cel al celor care se bazează exclusiv pe cortexul și conexiunile pe distanțe lungi între zonele corticale (Fuster, 1995). Acesta încorporează componentele și conectivitatea cunoscută a creierului, mai degrabă decât să-l privească ca un potpuriu de module corticale care, într-un mod nespecificat, implementează o gamă largă de funcții cognitive. De asemenea, evită ipotezele, moștenite de la 19^th neurologia secolului, că cortexul cerebral, în general, și în special cortexul prefrontal, formează cumva o unitate omunulară "superioară" care controlează întregul creier (Miller și Cohen, 2001).

Mai mult, câteva predicții specifice pot fi derivate din modelul prezent: (i) Ar trebui să existe erori de predicție distincte pentru acțiunile generate de sine și pentru stări / stimuli cu proprietăți care reflectă substraturile lor neuronale diferite și rolurile funcționale. (ii) Componentele palidale și talamice ale fiecărei rețele discrete de ganglioni cortico-bazali sunt, de asemenea, de așteptat să fie necesare pentru tipul de control comportamental ipotezat pentru fiecare rețea, nu doar componentele corticale și striatale. (iii) Trebuie să existe o implicare progresivă a diferitelor rețele neuronale în diferitele etape ale învățării. (iv) activitatea Accumbens poate controla direct neuronii DA și, la rândul lor, activitatea striatală dorsală. Pe baza unui raport de către Olanda (2004) sugerând că PIT crește cu instruirea instrumentală, acest control "limbic" al rețelelor asociative și senzorimotorii este de așteptat să se consolideze cu o pregătire extinsă.

Fără date detaliate, este încă prea devreme să oferim o prezentare oficială a modelului ierarhic. Cu toate acestea, discuția de mai sus ar trebui să clarifice faptul că versiunile actuale ale ipotezei de recompensă a mesoaccumbens se bazează pe ipoteze problematice privind natura procesului de recompensă și utilizarea unor măsuri comportamentale inadecvate. Principiile unificatoare, întotdeauna scopul întreprinderii științifice, pot fi întemeiate doar pe realitatea datelor experimentale, oricât de greoaie ar fi acestea. Deoarece funcția creierului este, în cele din urmă, generarea și controlul comportamentului, analiza comportamentală detaliată va fi cheia înțelegerii proceselor neuronale, la fel cum o descriere amănunțită a imunității înnăscute și dobândite permite elucidarea sistemului imunitar. Deși aparent un truism, cu greu poate fi subliniat faptul că putem înțelege mecanismele creierului în măsura în care funcțiile lor sunt descrise și măsurate cu precizie. Atunci când studiul funcției neuronale se bazează pe capacități psihologice stabilite experimental, de exemplu, reprezentarea contingențelor rezultatului acțiunii și a rezultatului stimulului, organizarea anatomică cunoscută, precum și mecanismele fiziologice sunt văzute într-o nouă lumină, conducând la formulări de noi ipotezele și proiectarea de noi experimente. Ca prim pas în această direcție, sperăm că cadrul discutat aici va servi drept un punct de plecare util pentru investigații viitoare.

recunoasteri

Referinte