Nüvəli akumbensdə dopaminin kənarında mükafatlandırılmış təlim: kortik-bazal ganglion şəbəkələrinin inteqrativ funksiyaları (2008)

Son dövrdə ədəbiyyatda ənənəvi olaraq, "orqanizm üçün xeyirli bir şey" (adətən, eksperimentin perspektivindən) və ya "köhnə" ifadələrlə bir-birini əvəzləşdirən bir şey deməkdir, 'gücləndirmək' və ya 'təşviq'. Bu vəziyyət, özü olmasa da, nüvə accumbensdə dopaminin (DA) sərbəst buraxılmasını əhatə edən 'mükafat' üçün bir neyron substratın diqqət mərkəzində olmasından irəli gəlir.Berke və Hyman, 2000; Grace və digərləri, 2007).

Bir neçə il bundan əvvəl tanınmış mesoaccumbens yolunun və mükafatın arasındakı əlaqə, fasik DA sinyalinin birləşmə öyrənməsində tədris sinyali kimi xidmət edən bir mükafat proqnozlaşdırılması səhvini kodlayan daha yeni sübutlar ilə yenidən canlandırıldıg (Schultz və digərləri, 1997). Ən məşhur şərhə görə, mükafat üçün tək bir siqnal olduğu üçün, mükafatla idarə olunan öyrənmə üçün bir siqnal var və bu vəziyyət bir stimul və mükafatMontague və digərləri, 2004). Bununla yanaşı, bu tip tədqiqatın adaptiv davranışları necə idarə etdiyinə dair suallar laqeyd qalmışdır; sadəcə olaraq dopamin siqnalının həm proqnozlaşdırma təhsili, həm də bununla şərti cavablar və mükafatla əlaqəli rəhbərlik edən məqsədli hərəkətlər üçün kifayətdir. Nəticədə, mükafat və bağımlılıq sahəsində ən çox araşdırmanın mərkəzində DA siqnal və mesoaccumbens yolunda əlaqəli plastisiyadır (Berridge və Robinson, 1998; Hyman və digərləri, 2006; Grace və digərləri, 2007).

Mükafat prosesinin bu görünüşü getdikcə tanınır (Kardinal et al., 2002; Balleine, 2005; Everitt və Robbins, 2005; Hyman və digərləri, 2006), həm də qeyri-kafi və yanıltıcıdır. Qeyri-adekvat deyildir, çünki hədəfə yönələn tədbirlərin əldə edilməsi və həyata keçirilməsi stimul-mükafat öyrənilməsinə vasitəçilik edən birləşmə prosesləri baxımından izah edilə bilməz. Bununla yanaşı, yanlış yönəldilmişdir, çünki məqsədi istiqamətləndirilmiş tədbirlər üçün zəruri və kifayət etməyən mesoaccumbens yolunda fəaliyyətə yönəldilmiş diqqət, hədəfə yönələn tədbirlərin dəqiqləşdirilməsinin və onların həyata keçirilməsinin daha fundamental məsələsindən diqqəti çəkdi beyin tərəfindən. Həqiqətən, müxtəlif empirik yanaşmalardan bir araya gələn sübutlara görə əvvəllər bir mükafat mexanizmi olduğu ortaya çıxan faktiki fərqli davranış təsirləri və neyron substratlar (Corbit və s., 2001; O'Doherty və digərləri, 2004; Yin və digərləri, 2004; Delgado və digərləri, 2005; Yin və digərləri, 2005b; Haruno və Kawato, 2006a; Tobler və digərləri, 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler və digərləri, 2007).

Burada hazırkı mesoaccumbens modelinə aid bəzi problemləri ortaya qoymağa və bunun yerinə mükafatla idarə olunan öyrənmə modelini təklif etməyə çalışırıq. Striatumun hər biri digər kortikal, talamik, pallidal və midbrain komponentləri ilə fərqli bir funksional şəbəkədə hub kimi çıxış edən ən azı dörd funksional domenə bölünən yüksək heterojen bir quruluş olduğunu iddia edəcəyik. Bu şəbəkələrin inteqrativ funksiyaları, mükafatla təyin edilmiş kəlməsiz cavabların istehsal məqsədindən istiqamətlənmiş hərəkətlərə nəzarətə qədər dəyişən müasir davranış testləri ilə ayrışmaq və öyrənilə bilər.

Proqnozlaşdırma və nəzarət

Mesoaccumbens yolunun tez-tez mükafat öhdəliyi olan mükafat və ətraf mühitin stimulları arasında bir birlik əldə etmək üçün lazımlı olduğu qəbul edilir. Misal üçün, mükafatla yaranan DA hüceyrələrinin fasik fəaliyyətini nəzərdən keçirən bəzi təcrübələrdə maymunlar bir stimulun şirələrin çatdırılmasınaWaelti və digərləri, 2001) və sonradan şərti reaksiya (CR) ilə iştirakçı yalama ilə stimuluna cavab verir. Meymunun yalama məqsədi ola bilər, çünki suyu əldə etmək lazımdır. Alternativ olaraq, yalama, şirəsi ilə əlaqəli olan əvvəlcədən xəbərdarlıq verilə bilər. Maymunların yalama bu belirleyicilerindən hansı davranışı nəzarət edir hər hansı bir vəziyyətdə məlum deyil a priorivə səthi müşahidə ilə müəyyən edilə bilməz; yalnız bu məqsədlə hazırlanmış testlərdən istifadə edilə bilər. Onilliklər ərzində inkişaf etdirmiş bu testlər öyrənmə və davranışın öyrənilməsində əsas müasir inkişafların əsasını təşkil edir (Cədvəl 1). Bu testlərdən istifadə etmək üçün, aşağıda müzakirə etmək üçün indi bilirik ki, ambulator yanaşma, yönəldilməsi və ya bir qolu basmaqla eyni davranış reaksiyası - eksperimental olaraq dissociable olan çox təsirlərdən yarana bilər.

  

Cədvəl 1

Mükafatlı təlimat

Davamın faktiki determinantlarında mərkəzi qeyri-müəyyənliyə qarşı həssaslıq beləliklə, mükafatla idarə olunan öyrənmənin mövcud nöroloji təhlili ilə baş problemdir. To bu problemin əhəmiyyətini başa düşürsən, proqnozlaşdırıcı (və ya Pavlovian) öyrənmə və məqsədli (və ya instrumental) öyrənmə nəzarəti iştahının davranışları arasında fərqləri qiymətləndirmək lazımdır. Həqiqətən, bu iki prosesin mükafat üzrə ədəbiyyatda nə qədər tez-tez birləşdirildiyini mühakimə edir, bu fərqin qısa bir nəzərdən keçirilməsi müzakirə üçün faydalı bir başlanğıc nöqtəsi kimi görünür.

Pavlovanın iştahında Pavlovanın mükəmməlliyi (yəni şərtsiz stimul və ya ABŞ) heyvanın davranışından asılı olmayaraq stimul (şərti stimul və ya CS) ilə qoşulduqda, instrumental öyrənmədə mükafat heyvanların hərəkətlərinə bağlıdır. Hər iki vəziyyətdə də tənqidi sual, stimul-mükafat birləşməsi və ya fəaliyyət-mükafat birləşməsi davranışı idarə edirmi?

Göründüyü kimi sadədir ki, bu sual bir çox onilliklər ərzində tədqiqatçıları götürmüşdür, çünki bu vəziyyətlərdə davranış reaksiyaları birbaşa görünə bilər.

Beləliklə, Pavlovian stimulus-mükafat assosiasiyası tərəfindən nəzarət edilən şərti cavablar (CR) tez-tez onlara dair məqsədyönlü bir şkalaya malik ola bilər. Pavlovın orijinal CR'sinin tüpürcəsi, itlər tərəfindən yeyilməsi asanlaşdırmaq üçün qəsdən bir cəhd olaraq istehsal edilə bilərdi. Məhz bu qeyri-müəyyənlikdən ötrü ən aydın izahın, yəni Pavlovyan kondisionerində stimul-nəticə birliyinin öyrənildiyi, amma təsadüfi birləşmədə fəaliyyət-nəticə birliyinin öyrənildiyi bir çox onilliklər üçün çox dəstək əldə etmədiyi (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Buna baxmayaraq, bir çox Pavlovian CR-lərinin avtonom və ya istehlakçı olmasına baxmayaraq, bir mükafata doğru yanaşma davranışı kimi digər CR-lər çox rahat deyildir (Rescorla və Solomon, 1967); həqiqətən, asanlıqla instrumental tədbirlər üçün səhv edilə bilər (Brown və Jenkins, 1968; Williams və Williams, 1969; Schwartz və Gamzu, 1977). İndi bilirik ki, səthi bənzərliklərə baxmayaraq, Pavlovyy CR və hədəf yönəldilmiş instrumental tədbirlər reaksiyanın icrasını təmin edən nümayəndəlik strukturunda fərqlənir (Schwartz və Gamzu, 1977).

Cavabın yerinə yetirilməsinin bir stimul mükafatı və ya fəaliyyət-mükafat birləşməsi vasitəsi ilə yaradılmasının birbaşa qurulması vasitəsi xüsusi fövqəladə nəzarət fəaliyyətini yoxlamaqdır. Selivasiya nümunəsi burada ibrətamizdir. Sheffield (1965) Pavlovian kondisionerində tüpürcənin mükafatla əlaqəsi və ya stimul-mükafat birliyi ilə əlaqədardığını test etdi. Onun təcrübəsində itlər bir ton və bir yemək mükafatıŞeffild, 1965). Bununla yanaşı, köpəklər sümük içində salıblarsa, o zaman yemək sınaqdan keçirilməmişdir. Bu tənzimləmə ton və qida arasındakı bir Pavlovian əlaqəsini qorudu, lakin tüpürcək və qida çatdırılması arasında birbaşa əlaqəni ləğv etdi. Tükürülmə onun qida ilə əlaqəsi olduğu bir fəaliyyətdirsə, itlər tükürməyi dayandırmalıdırlar - həqiqətən, heç bir səsi tökmədən əldə etməməlidirlər. Şeffild, bu tüpürcək CR'yi nəzarət edən Pavlovyen ton-yeyinti əlaqəsinin aydın olduğunu tapdı. 800 ton-yeyinti cütlüyü üzərində gedərkən köpəklər tüpürmə qazandı və buna baxmayaraq tükəndirmədən əldə etdikləri qidanın çoxunu itirməsinə gətirib çıxardı. Bənzər bir nəticəyə insanlarla edilən araşdırmalarda (Pithers, 1985) və digər heyvanlarBrown və Jenkins, 1968; Williams və Williams, 1969; Holland, 1979); bütün hallarda görünür ki, onların müxtəlifliyinə baxmayaraq, Pavlovyovun cavabları onların mükafata olan münasibəti, yəni fəaliyyət-nəticə ehtimalı ilə nəzarət edilmir.

Müddəti müvəqqəti "A" hadisəsi ilə digər bir "B" arasındakı şərti əlaqəni ifadə edir ki, B meydana gəlməsi A-ə asılıdır. Bu cür əlaqələr A. olmaması şəraitində B-i təqdim etməklə asanlıqla pozula bilər. ehtimalın pozulması kimi istinad edilən eksperimental manipulyasiya, yəqin ki, proqnozlaşdırıcı stimul və ya hərəkətdən asılı olaraq bir mükafat təqdim etməklə həyata keçirilir. Bu yanaşma ilk növbədə Pavlovian kondisionerini öyrənmək üçün hazırlanmışdır (baxmayaraq ki,Rescorla, 1968), instrumental davamlılığın pozulması da ümumi bir vasitə olmuşdur (Hammond, 1980). Bu ehtimallar birbaşa manipulyasiya edildikdə, öyrənmə məzmunu ortaya çıxır: məsələn, avtoşapinqdə, instrumental fəaliyyət kimi bir "Pavlovian CR", instrumental şəraitdən çox deyil, Pavlovyanın manipulyasiyası ilə pozulur (Schwartz və Gamzu, 1977).

Hedef yönəldilmiş instrumental tədbirlər iki meyar ilə xarakterizə olunur: 1) nəticənin dəyərində dəyişikliklərə qarşı həssaslıq və 2) hərəkət və nəticə arasında ehtimal olunan dəyişikliklərə qarşı həssaslıq (Dickinson, 1985; Dickinson və Balleine, 1993). Yalnız devalüasyona qarşı həssaslığın vurğulanması vacibdir, bir cavabın xarakterizə edilməsi kifayət deyil, çünki bəzi Pavlovian cavabları bu manipulyasiyaya həssas ola bilər (çünki,Holland və Rescorla, 1975). Bununla belə, hədəf yönəldilmiş instrumental tədbirlərin yerinə yetirilməsi, hərəkət-nəticə ehtimalı manipulyasiyasına həssasdır, halbuki Pavlovanın cavabları stimul-nəticə qüsurunun manipulyasiyasına həssasdır (Rescorla, 1968; Davis və Bitterman, 1971; Dickinson və Charnock, 1985). Ancaq vacib bir istisnadır ki, alimlər ehtiyatında olan dəyişikliklərə nisbətən həssaslığında Pavlovian cavablarına daha çox oxşar olan vərdişlər (aşağıya baxın) vəziyyətində də ola bilər, ancaq nəticənin bir hissəsi olmadığı üçün dəyərsizliyin nəticəsini vermir nümayəndəlik strukturunun fəaliyyətini nəzarət edir (cf. Dickinson, 1985 və daha çox mübahisə üçün aşağıda).

Onu ümumiləşdirmək üçün o deməkdir ki, xüsusi bir reaksiya cavab vermə forması və ya onu qurmaq üçün istifadə olunan davranış vəzifəsi deyil, yoxlama ehtimalı müddətində aydın şəkildə müəyyənləşdirilməlidir. Müəyyən bir vəziyyətdə nəzarəti ehtiyatı araşdırmadan, həm davranış, həm də hərəkətə vasitəçilik edən neyron prosesləri səhvənə məruz qalacaqdır. Nəticədə, biz iddia edəcəyimiz kimi, eyni nüvə sistemlərinin öyrənilməsi və həyata keçirilməsi yolu ilə əldə edilmiş, eyni davranışa nəzarət edən davranışları, eyni "son ümumi yolları" bölüşdüyünə baxmayaraq, faktiki olaraq idarəedici şəraitdir. Beləliklə, mərkəzi çağırış əsas şəraitin idarəedici davranışını aşkar etmək üçün görünüşlərdən kənara çıxmaqdır (xülasə bax Cədvəl 1). Müəyyən sinir strukturlarının spesifik psixoloji qabiliyyətlərə, məsələn məqsədyönlüliyə vasitəçilik etməsi üçün davranışın vəziyyəti müvafiq davranış təhlili ilə qiymətləndirilməlidir. Başqası, davranış vəzifələrini fərqli hadisələri ölçə biləcəyini qəbul etmədikdə, qruplar uyğun neyron determinantlar üzərində mübahisə kimi qarışıqlığı dəvət etməkdir. Nəticədə, heyvanın həqiqətən öyrənməsi nədir, təcrübəli heyvanın öyrənməsinə inanmır və heyvanın həqiqətən öyrəndiyi şey yalnız öyrənmə məzmununu tədqiq edən testlər vasitəsilə ortaya çıxa bilər.

Pavlovi-instrumental fərqlilik, heyvanın eyni şeyi öyrənmək bacarığı olduqda (stimul və mükafat arasındakı bir birlik deməkdir), təcrübəli tənzimləmələrdən asılı olmayaraq. Bu gün sinirbilimində mövcud olan ən geniş yayılmış öyrənmə tədbirlərindən istifadə etmək üçün demək olar ki, demək mümkün deyil. Beləliklə, tədqiqatçılar tez-tez sözügedən davranışın fakt istiqamətinə yönəldildiyini araşdırmadan məqsədə yönəldilmiş bir davranışı öyrənməyi tələb edirlər. Müxtəlif növ tədqiqatların müxtəlif "tapşırıqlar" və ya "paradiqmalar" ın istifadəsi nəticəsində qəbul edilməsinə baxmayaraq, tədqiqatçılar öz fərziyyələri üçün kifayət qədər əsaslı səbəb göstərmirlər.

Bu problemin klassik nümunəsi, öyrənmə öyrənmək üçün labirentlərin istifadəsidir. Labirent təcrübələrindən və problemlərlə bağlı olan problemlərdən biri olan, problemli yerlərin üstünlükləri kimi, Pavlovian (stimul-mükafat) və davranış (instrumental (hərəkət-mükafat)) şəraitlərinin təsiriniDickinson, 1994; Yin və Knowlton, 2002). Beləliklə, ərzaq almaq üçün T-labirent vasitəsi ilə hərəkət etmək cavab strategiyasını əks etdirə bilər (sola döndərin) və ya sadəcə bir qayda-yemə assosiasiyasınınRestl, 1957). Sonuncu performansın rol oynadığını yoxlamanın bir yolu, labirentin ters çevrilməsidir; İndi cavab verənlər sola dönməyə davam etməlidirlər, amma əlavə labirent istifadə edənlər sağa dönməli olurlar. Ancaq bir cavab strategiyasından istifadə edərək sola dönməyə davam edənlər və ya sadəcə bəzi yaxınlaşanlar var daxiliyeməklə əlaqəli olmayan zərbə? Pavlovyanın davranış nəzarəti üçün adi nəzarəti labirent tədqiqatlarında asanlıqla tətbiq edilə bilməyəcəyi üçün sadə bir məsələ yoxdur. Bunlardan biri, ikitərəfli nəzarət, heyvanların mükafat qazanmaq üçün bu cavab istiqamətinin bərpasını tələb edərək müəyyən bir reaksiya üzərində nəzarət edə biləcəyini təyin edir (Hershberger, 1986; Heyes və Dawson, 1990). Təəssüf ki, bir labirentdə, reaksiyanın bərpası hələ də məqsədə yönəldilmiş bir hərəkət yaratmaq üçün kifayət etmir, çünki geri çevrilmə mövcud stimul-mükafat əlaqələrini söndürmək və digərini əvəz etməklə həyata keçirilə bilər. Məsələn, müəyyən bir intra-labirent ibrətinə yaxınlaşan bir sıçanın, geri çevrilməsində artıq mükafatla eşleşmediğini, digər stimulun isə yeni bir stimul istiqamətində bir yanaşma əldə etməsinin nəticəsi olduğunu öyrənə bilər. Beləliklə, onlar cavabı cavablandırılmamış mükafat ehtimalı heç kodlaşdırmadan cavablarını əksinə geri ala bilərlər. Bu imkan praktikada yox, çünki hədəf yönümlü öyrənmə proseslərini öyrənmək üçün labirentlərin, yer seçimi prosedurlarının və ya sadə lokomotor vəzifələrin istifadəsi xüsusilə təhlükəlidir və ehtimal ki, hər hansı bir neyron cəlb olunan proseslər (Smith-Ro və Kelley, 2000; Hernandez et al., 2002; Atallah et al., 2007).

Nüvə acumbens instrumental öyrənmə üçün zəruri deyil

Cari davranış analizinin çatışmazlığı, nüvənin akumbenslərinin öyrənilməsində xüsusilə aydın olur. Bir çox tədqiqat bu strukturun məqsədyönlü tədbirlərin alınması üçün vacib olduğunu irəli sürmüşdür (Hernandez et al., 2002; Goto və Grace, 2005; Hernandez et al., 2005; Pothuizen et al., 2005; Taha və Fields, 2006; Atallah et al., 2007; Cheer və s., 2007; Lerchner və digərləri, 2007). Lakin bu nəticə əsasən təkmil bir dəyişiklik tədbirləri əsasında həyata keçirilir, fövqəladə nəzarət davranışları qeyri-müəyyəndir. Bir manipulyasiya davranışın bəzi davranışlara cavab verməsinin pozulmasına gətirib çıxaran müşahidə bir öyrənmə qüsurunu göstərə bilər, baxmayaraq ki, onlar cavab təşəbbüsünə və motivasiyaya təsir göstərə bilərlər. Məsələn, qolu basaraq əldə etməkdə bir dəyərsizləşmə tez-tez öyrənmə əvəzinə performansa təsir göstərə bilər (Smith-Ro və Kelley, 2000). Hər hansı bir öyrənmə prosesinin tam olmayan təsvirləri kimi, təkrar alınma əyriləri ehtiyatlaGallistel və digərləri, 2004). Təəssüf ki, öyrənmə və performans arasındakı fərq, bəlkə də öyrənmə işindəki ən qədim dərs, bu gün çox vaxt göz ardı edilir.

Daha detallı bir analiz göstərir ki, sürətləndirici nə instrumental öyrənmə üçün zəruri, nə də kifayətdir. Akumbens qabığının losyonları, devalüasyona səbəb olmaq üçün performansın həssaslığını dəyişdirmir (de Borchgrave və al, 2002; Corbit et al, 2001) və ya instrumental davamlılığın pozulması (Corbit et al, 2001), o cümlədən acumbens nüvəsinin zədələnmələrində sümüklərin həssaslığını pozmadan, devalvasiya həssaslığını azaltmağa çalışdığı təsbit edilən instrumental ehtiyatınCorbit və s., 2001). Kondensasiya edilən gücləndirilmə işlərinə yeni bir reaksiya əldə etməsi üçün şifrənlərin manipulyasiya təsirini qiymətləndirən digər tədqiqatlar, mükafatla əlaqəli performansa, xüsusən də amfetaminlə performansın artırılmasına təsir göstərmişdir, lakin cavab verməməsinə baxmayaraq (Parkinson və s., 1999). Həm də Kardinal və Cheung tərəfindən sistematik bir araşdırma da accumbens əsas lezyonlar bir davamlı möhkəmləndirilməsi cədvəli altında bir lever mətbuat cavab əldə etmək təsiri aşkar; zəifliyin əldə edilməsi yalnız gecikmənin gücləndirilməsi ilə müşahidə edilmişdir (Kardinal və Cheung, 2005).

Akumbenslər instrumental fövqəladə hadisəni kodlaşdırmasa da (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001), əhəmiyyətli sübutlar göstərir ki, bu alətdə əsas rol oynayır icraindi son işin işığında daha yaxşı müəyyən edə biləcəyimiz bir rol. Bir neçə tədqiqatla nəticələnmişdir ki, akumbenslər müəyyən növ iştahlı Pavlovian kondisionerləri üçün vacibdir və mükafatla əlaqəli istəklərin instrumental fəaliyyətə gətirə biləcəyi qeyri-spesifik həyəcan verici təsiri, eləcə də istehsal olunmuş cavab seçimi üzrə nəticəyə xüsusi yanaşmalar ola bilər belə cues ilə. Nüvənin və ya ön cingulyatın, əsasa kortik bir əsas mənbəyi və ya bu iki struktur arasındakı birləşmənin pozğunluqları Pavlovian yanaşma davranışını (Parkinson et al., 2000). D1 kimi dopamin reseptor antagonistinin və ya təlimdən dərhal sonra bir NMDA glutamat reseptor antagonistinin yerli infuziyası da bu öyrənmə formasını performansa təsir etmədən zəiflətmişdir (Dalley və digərləri, 2005). Bu məlumatlar tədbirlər ilə razılaşır vivo ilə sinir fəaliyyəti. Məsələn, Carelli və həmkarları acumbens nüvə nöronlarının bir Pavlovian autoshaping vəzifəsi öyrənilməsi zamanı fəaliyyətlərini sistemli dəyişə bilər ki,Day et al., 2006; Gün və Carelli, 2007).

Kabuk bölgəsindəki neyronlar, hər hansı bir öyrənmə təcrübəsindən əvvəl də, mükafatlandırmaq və həvəsləndirici xəbərdarlıq etmək üçün köklənmiş görünür; həm də bu nəticələrin proqnozlaşdırılan CS-lərin cavablarını inkişaf etdirə bilirlər (Roitman və digərləri, 2005). Berridge və iş yoldaşları ilə iş, nüvənin içərisində müəyyən bölgələrin kabuğun yuxarı hissəsində və aşağı ventral pallidumda 'hedonik qaynar nöqtələr' olaraq xarakterizə olma ehtimalını artırdı. Bu sahələr birbaşa dad reaktivliyi kimi mükafatlara şərtsiz hedonik cavablar verir. Məsələn, bu bölgələrdə opioid reseptorlarının agonistləri sukroz üçün zərif dad reaktivliyini əhəmiyyətli dərəcədə gücləndirə bilər. Bununla belə, yüksək səviyyəli yerli bölgələr tüketici iştahı davranışında rol oynamayan geniş şəbəkələrdə yerləşdirilir (Taha və Fields, 2005; Pecina və digərləri, 2006; Taha və Fields, 2006).

Nüvə və qabığın nisbi rolu arasındakı fərq, hazırlanan və Pavlovian kondisionerlərinin fərqli növləri vasitəsilə təcrübəsi ilə asanlıqla dəyişə bilən hazırlıq və istehlakçı iştahı davranışları arasında bir görünür. Belə yanaşma kimi hazırlıq reaksiyaları nəticəin ümumi emosional keyfiyyətləri ilə bağlıdır, istehlakçı davranışlar isə daha dəqiq sensorlu keyfiyyətlərlə bağlıdır; onlar həmçinin müxtəlif CS növlərinə qarşı həssasdırlar, məsələn, hazırlıq reaksiyaları daha uzun müddətli bir stimullaKonorski, 1967; Dickinson və Dearing, 1979; Balleine, 2001; Dickinson və Balleine, 2002).

Hər halda, Pavlovyanın kondisyonunun bəzi cəhətlərinə uyğun olan ittihamların əksəriyyəti dəhşətlidir. Bununla belə, yeganə quruluş deyil, müxtəlif amygdaloid nüvələrinin daxil olduğu digər şəbəkələr də Pavlovyanın mühakimənin hazırlıq və istehlakçı komponentlərində mərkəzi rol oynayırlar. (Balleine və Killcross, 2006).

Alyuminasiyaya aid edilə bilən bir funksiya Pavlovian təsirlərin instrumental davranışa inteqrasiyasıdır. Pavlovian CR'ler, o cümlədən özəllik və uyanma kimi mərkəzi motivasion dövlətlərin aktivləşdirilməsini əks etdirən şəxslər, instrumental tədbirlərin yerinə yetirilməsinə güclü təsir göstərə bilər (Trapold və Overmier, 1972; Lovibond, 1983; Holland, 2004). Məsələn, müstəqil olaraq ərzaq çatdırılmasını proqnozlaşdıran bir CS çox eyni yemək üçün instrumental cavab verə bilər. Bu təsirə tez-tez Pavlovian-instrumental transfer paradiqması (PIT) istifadə olunur. PIT-də heyvanlar ayrı bir Pavlovian və instrumental hazırlıq mərhələlərini alırlar ki, onlar müstəqil olaraq bir qayda ilə yeməklə əlaqə qururlar və eyni yemək üçün bir qolu basmaq üçün öyrənirlər. Sonradan sınaqdan keçirildikdə, tapşırıq mövcud olan qolu ilə təqdim olunur və CS-nin iştirakı ilə cavab dərəcələrinin yüksəldilməsi ölçülür. PİT-in iki növü müəyyən edilmişdir; bir mükafatla əlaqəli ipuçlarının təsirini ümumiləşdirən və başqalarına qarşı bir xüsusi mükafata hörmətlə yanaşan bir proqnozlaşdırma statusu ilə hazırlanan seçmə performansına ikinci seçici təsir göstərə bilir. Aqilabın qabığının bu sonuncu PİT-ə uyğun forması lazımdır, lakin köhnə, daha ümumi forma və devalüasyona qarşı həssaslıq üçün nə lazımdırsa; Əksinə, akumbens nüvəsinin lezyonları hər iki nəticənin devalvasiyası və PTT-nin ümumi formasına həssaslığını azaldır, lakin nəticəyə xüsusi PİTCorbit və s., 2001; (Balleine və Corbit, 2005).

Son zamanlardakı bir tədqiqat, nəticəyə xüsusi PIT-lərdə acumbens qabığının rolunu daha da dərk etdiWiltgen et al., 2007). Striatumda aktiv kalsium / calmodulin-asılı Protein kinaz II (CaMKII) nəzarətli ifadə instrumental və ya Pavlovyen öyrənməyə təsir etməmişdir, lakin xüsusi PİT-ni ləğv etmişdir. PIT'teki bu açığın kalıcı olmaması ve eksikliği doksisiklin ile kapatmak suretiyle tersine çevrilebilir ve açığın performansla ilişkilendirildiğini gösterir. Striatumda CaMKII səviyyəsinin süni şəkildə artırılması, bu səbəbdən Pavlovianın təşviq motivasiyasından nəticələrə xüsusi ötürülməni instrumental sistemə ayırır. Maraqlıdır ki, CaMKII transgensinin açılması, həmçinin, şüa ötürülməsi və ya sinaptik qüvvəyə təsir etmədən, akumbens kabuğunda neyronların həyəcanını azaltmağa yönəldilmişdir.

Dorsal striatum

Neostriatum ya da caudate-putamen kimi tanınan dorsal striatum, sözdə neokorteksdən kütləvi proqnozlar alır. Daha sonra, kemirgenlerde ventral striatum ilə daha medial və davamlı olan bir associativ bölgəyə bölünür və daha lateral olan sensorimotor bölgə ola bilər (Groenewegen et al., 1990; Joel və Weiner, 1994). Ümumiyyətlə, dorsal striatum əsas nigra pars compacta (SNc) DA hüceyrələri tərəfindən innervasiya olunur və yalnız VTA DA neuronları (Joel və Weiner, 2000). Dorsal striatumun keçmiş işi əsasən stimul-cavab (SR) vərdişinin öyrənilməsində onun roluna yönəlmişdir (Miller, 1981; Ağ, 1989). Bu fikir təsirli qanuna əsaslanaraq, bir mükafat ətraf mühitə təsir edən stimullar arasında reallaşdırılan SR-nin birləşməsini gücləndirmək və ya gücləndirmək üçün fəaliyyət göstərir və bunun nəticəsi olaraq cavab vermək məcburiyyəti uyaranThorndike, 1911; Hull, 1943; Miller, 1981). Beləliklə, kortikostriatal yolun SR ilə öyrənilməsinə vasitəçilik etməsi düşünülür.Miller, 1981; Reynolds və Wickens, 2002).

SR modelləri, öyrənmənin performansa çevrilməsi üçün sadə bir qayda ehtiva edir. Əksinə, aksiya ilə bağlı gözləntilərə əsaslanan model daha mürəkkəbdir, çünki "A hərəkəti A nəticəsinə gətirib çıxarır" inancı mütləq hərəkətə çevrilməməlidir (Guthrie, 1935; Mackintosh, 1974); Bu cür məlumatlar 'A' yerinə yetirmək üçün və 'A' yerinə yetirməmək üçün istifadə edilə bilər. Buna görə ənənəvi nəzəriyyələr ən açıq izahatlardan kənarlaşdılar, yəni heyvanlar seçki davranışına istiqamət verən hərəkət-nəticə ehtimalı əldə edə bilərlər. Ancaq son bir neçə onillikdə, təsir qanununun əhəmiyyətli bir revizyonunu gördük (Adams, 1982; Colwill və Rescorla, 1986; Dickinson, 1994; Dickinson və digərləri, 1996). Tbir çox tədqiqatın nəticələrinə görə, instrumental tədbirlər həqiqətən məqsədli, yəni mükafat dəyərində dəyişikliklərə həssas, eləcə də hərəkətin nəticəsiz effektivliyi ola bilər (bax Dickinson & Balleine, 1994; 2002; Balleine, 2001 qiymətləndirmələr üçün). Buna baxmayaraq, daimi şəraitdə geniş təlim kursu zamanı yeni əldə edilən hərəkətlər nisbətən avtomatik və stimullaşdırıcı idarəolunan ola bilər - bir vərdiş forması kimi tanınan bir proses (Adams və Dickinson, 1981; Adams, 1982; Yin və digərləri, 2004). Beləliklə, əvvəlcədən təyin edilmiş stimulyasiyadan avtomatik olaraq çıxarılan alışkanlıqlar, gözlənilən və gözlənilən nəticə ilə nəzarət olunmur; nəticədə nəticə dəyərində dəyişikliklərə məruz qalırlar. Bu baxımdan təsir qanunu bu səbəbdən yalnız adi davranışlara tətbiq olunan xüsusi bir vəziyyətdir.

İnfrastruktur davranışının cari təsnifatı onu iki sinfə bölür. To, birinci dərəcəli instrumental şəraitdə nəzarət edilən məqsədli hərəkətlərdən ibarətdir; nəticənin dəyişməsinə gətirib çıxara bilməyən ikinci, adi davranış (Cədvəl 1). Nəticə devalvasiyası və instrumental davamlılığın azalması kimi davranış təhlillərindən istifadə edərək, Yin və s. Dorsal striatumun sensorimotor (dorsolateral striatum, DLS) və assosiasiya bölgələri (dorsomedial striatum, DMS) arasında funksional ayrışma qurduYin və Knowlton, 2004; Yin və digərləri, 2004, 2005a; Yin və digərləri, 2005b; Yin və digərləri, 2006a). DLS lezyonları vərdişlərin inkişafını zəiflətmiş, nəticədə məqsədyönlü davranış nəzarəti rejimi ilə nəticələnmişdir. DMS-nin losyonları əks təsirə malikdir və hədəfdən asılılığa yönəldilmiş bir keçidə səbəb olur. Yin və buna görə DLS və DMS onların dəstəkləyən birləşmə strukturları baxımından funksional şəkildə bölüşdürülə biləcəyini demişdi: DLS vərdiş formalaşması üçün vacibdir, DMS isə məqsədli hərəkətlərin alınması və ifadə edilməsi üçün vacibdir. Bu analiz müəyyən şərtlər altında (məsələn, genişləndirilmiş təlim) hərəkətlərin idarə olunması DMS-ə əsaslı sistemdən DLS-ə asılı sistemə keçə bilər, belə ki, primatlar üzrə əhəmiyyətli ədəbiyyatla geniş razılıq verən nəticələr, o cümlədən insan neyroimaging (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado və digərləri, 2004; Haruno və digərləri, 2004; Tricomi və digərləri, 2004; Delgado və digərləri, 2005; Samejima və digərləri, 2005; Haruno və Kawato, 2006a, b; Lohrenz və digərləri, 2007; Tobler və digərləri, 2007). Əlbəttə ki, yadda saxlanılmalıdırtək şəffaf fiziki yer (məsələn dorsal və ya ventral) gəmirici striatum və primat striatumun müqayisəsi üçün etibarlı bir rəhbər ola bilməz; anatomik keçidlərin diqqətlə nəzərdən keçirildikdən sonra belə müqayisələr diqqətli olunmalıdır.

Dorsal striatal lezyonların təsiri akumbens lezyonları ilə müqayisə edilə bilər (Smith-Ro və Kelley, 2000; Atallah et al., 2007). Daha əvvəl də qeyd edildiyi kimi, davranışın "hədəf yönəldilmiş" olaraq təyin edilməsi üçün standart testlər nəticənin devalvasiyası və fəaliyyət-nəticənin ehtimalıDickinson və Balleine, 1993). DMS-nin losyonları həm manipulyasiyalara qarşı laqeyd davranır (Yin və digərləri, 2005b), o cümlədən acumbens nüvəsinin və ya qabığının zədələnməsiCorbit və s., 2001). Bundan əlavə, bu davranış testlərinin prob sınaqları adətən heyvanın yeni öyrənmə ilə çirklənmədən öyrəndiklərini öyrənmək üçün heç bir mükafat təqdim etmədən yox olmaqda aparılır. Beləliklə, nümayəndəlik strukturunun nəzarət davranışını birbaşa araşdırırlar. Əlavə bir eksperimental nəzarət olaraq, mükafatların həqiqətən təslim edildiyi ayrı-ayrı devalvasiya testi aparmaq üçün faydalı olur - sözdə "mükafatlandırılmış test". DMS losyonları, ödüllendirilmiş test üzrə devalüasyona qarşı həssaslığını ləğv etməmişdi, çünki bir hərəkətə bağlı devalüasyonlu bir nəticənin verilməsi fəaliyyət-nəticənin kodlaşdırılmasından müstəqil şəkildə bəhrələnə bilər. Digər tərəfdən akumbens qabıqlı lezyonlar yoxlama testində və ya mükafat testində devalüasyona qarşı həssaslığa yol vermədilər, amma akumbensin əsas lezyonları hər iki testdə devalüasyona həssaslıq aradan qaldırdıCorbit və s., 2001). Fövqəladə vəziyyətin pozulmasına həssaslıq, ya da zədələnmədən təsirlənməmiş və sümüklərin şişkinlikdən sonra şüaətləndirə bilməsi və fəaliyyət-nəticə nümayişlərini əldə edə biləcəyini göstərmişdir.

Dopaminin rolu: Mesolimbik və nigrostriatal

DA maymunların maymunlarda fasik fəaliyyətinə dair qabaqcıl tədqiqatlardan bu yana, sahədəki ümumi bir fərziyyə bütün DA hüceyrələrinin əsasən eyni şəkildə davranmasıdır (Schultz, 1998a; Montague və digərləri, 2004). Ancaq, mövcud məlumatlar, anatomik keçid kimi başqa bir şey də təklif edilmir. Əslində, striatumdakı funksional heterojenliyin yuxarıdakı təhlili də orta hüceyrədə olan DA hüceyrələrinə qədər uzadıla bilər.

DA hüceyrələri iki əsas qrupa bölünə bilər: VTA və əsasən nigra pars kompaktası (SNc). Baxmayaraq ki proyeksiya VTA mükafatla əlaqəli öyrənmə sahəsində diqqət mərkəzinə çevrilmişdir, daha çox kütləvi nigrostriatal yol nisbətən laqeyd qalmışdırParkinson xəstəliyində roluna əsasən diqqəti cəlb etmişdir. Mövcud düşüncə rolu DA tədqiqatında DA hüceyrələrinin fasik fəaliyyətinin bir mükafat proqnozlaşdırma errofi əks etdirdiyi təklifi çox təsirlənmişdirr (Ljungberg et al., 1992; Schultz, 1998b). MənSchultz və iş yoldaşları tərəfindən istifadə edilən ən məşhur Pavlovian kondisioner işi, bu neyronların mükafatına cavab olaraq yanğına (ABŞ) deyil, öyrənmə ilə, ABŞ-da uyarılmış fəaliyyətin CS-yə keçdiyini göstərir. ABŞ öyrənildikdən sonra atıldığı zaman, DA hüceyrələri onun çatdırılmasının gözlənilən vaxtında fəaliyyətində qısa bir depressiya göstərir (Waelti və digərləri, 2001; Fiorillo və digərləri, 2003; Tobler və digərləri, 2003). Bu məlumatlar müxtəlif hesablama modellərinin əsasını təşkil edir (Schultz və digərləri, 1997; Schultz, 1998b; Brown və ark., 1999; Montague və digərləri, 2004).

Sintez və sərbəstləşdirmə mexanizmlərində çoxlu səviyyədə nəzarəti nəzərə alaraq, DA nöronların spikinqi DA sərbəst buraxılmaqla bərabər ola bilməz, baxmayaraq ki, bu iki tədbirin yüksək korrelyasiya edilməsini gözləmək olar. Həqiqətən də, Carelli və yaxınlarda edilən tez-scan siklik voltametri istifadə edərək, akumbens nüvəsində faktiki DA azadlığı iştahlı Pavlovian kondisionerində bir proqnozlaşdırma səhvi ilə əlaqəli görünür (Day et al., 2007). Pavlovyy avtoşapinqində sukroz mükafatının alınmasından dərhal sonra akumbens cismində fasik DA siqnal tapdılar. Bununla belə, Pavlovanın genişləndirilməsindən sonra, bu siqnal mükafatın özündən sonra qaldı, amma CS yerinə keçdi. Bu nəticə orijinal 'proqnozlaşdırma səhvi' hipotezini dəstəkləyir. Əvvəlki işlə müqayisədə, Pavlovyanın CR'sinin DA reseptor antagonizmi və ya akumbens nüvəsində DA tükənməsindən sonraDi Ciano və digərləri, 2001; Parkinson et al., 2002). Lakin, tədqiqatdan bir müşahidə yeni və əhəmiyyətli dərəcədə maraqlıdır: mükafatı öngörən CS + ilə uzadıldıqdan sonra və CS-mükafatı öngörmeyen bir cədvəldən sonra, oxşar, lakin daha kiçik olan DA sinyalleri CS-dən sonra da müşahidə olundu başlanğıc zirvəsindən sonra (dərhal başlanğıcdan sonra 500 ~ 800 milisaniyədək) kiçik bir daldırma göstərdiDay et al, 2007, Şəkil 4). Öyrənmə prosesində bu mərhələdə heyvanlar CS-ə yanaşmırlar, ancaq CS +-ə ardıcıl yanaşırlar. Beləliklə, proqnozlaşdırıcıdan dərhal sonra fasik DA siqnal yanaşma reaksiyasının yaranmasında səbəbli rol oynaya bilməz, çünki cavab olmadıqda belə mövcuddur. Bu cür siqnalın öyrənilməsi üçün stimul mükafat ehtimalının hələ də dəqiq olmadığı hələ dəqiq deyil, ancaq CS-ə müşahidə olunan fasik reaksiyalar, mövcud modellərin hər hansı birisi tərəfindən nəzərdə tutulmur.

Maraqlıdır ki, yerli DA-nın tükənməsi bu tapşırığın yerinə yetirilməsini pisləyir (Parkinson et al., 2002). CS-dən sonra fasik bir DA siqnalının müşahidə edildiyi hallarda, CR'yi meydana gətirməyən, həm də fasik və tonik DA-nun lokal tükənməsi ilə aradan qaldırılması, CR-nin fəaliyyətini pozur. Belə bir nümunə Pavlovian CR-nin yerinə yetirilməsi üçün accumbenslərdə fasik DA siqnalı tələb olunmadığını göstərir, lakin öyrənmədə rol oynaya bilər, daha yavaş, daha tonik bir DA siqnalı (ehtimal ki tükənməz tədqiqatlarda ləğv edilən) performans üçün daha vacibdir yanaşma reaksiyasının (Cagniard et al., 2006; Yin və digərləri, 2006b; Niv və digərləri, 2007). Bu imkan test edilməyə davam edir.

Fasik DA siqnalının öyrənmədə nəyin səbəb olduğu üçün birbaşa dəlil olmasa da, "proqnozlaşdırma xətası" hipotezi çox diqqət çəkir, çünki tam öyrənmə modellərində istifadə olunan tədris sinyali növüdür, Rescorla-Wagner modeli və real-time uzadılması kimi müvəqqəti fərq fərdiləşdirmə öyrənmə alqoritmi (Schultz, 1998b). Bu şərhə görə, iştahlı öyrənmə qəbul edilmiş və gözlənilən mükafat (ya da müvəqqəti olaraq iki müvəqqəti mükafat proqnozu) arasındakı fərqlə müəyyən edilir. Belə bir tədris siqnalı mükafatın bütün göstəricilərindən mənfi rəy ilə tənzimlənir (Schultz, 1998b). Əgər predmetə heç bir mükafat əməl olunmazsa, mənfi geribildirim mexanizmi DA neyronlarının fəaliyyətində dalğalanma kimi ortaya çıxır. Beləliklə, öyrənmə proqnozlaşdırma səhvinin mütərəqqi azalmasını nəzərdə tutur.

Bu modellərdə tədris siqnalının zərifliyi, bəziləri anatomik reallıqdan yayındırır. Araşdırmada Day et al (2007)akumbenziyalardakı DA siqnalları əsasən VTA-nın hüceyrələrindən gəlir, lakin tamamilə fərqli anatomik keçid olan digər DA hüceyrələrinin eyni cavab rejimini göstərməsi və eyni siqnal təmin etməsi mümkün görünmür. DA hüceyrələri tamamilə fərqli funksiyaları olan fərqli striatal bölgələrə proqnozlaşdırır və fərqli striatal bölgələrdən fərqli mənfi geribildirim siqnallarını da qəbul edən DA hüceyrələrinin siqnalının daha çox olmağına dair bir gradientJoel və Weiner, 2000; Wickens və digərləri, 2007). Dopamin sindromunu tənzimləyən presinaptik reseptorların alıcılıq və degradasiyanın mexanizmləri, həmçinin striatumunCragg və s., 2002; Rays və Cragg, 2004; Wickens və digərləri, 2007; Rays və Cragg, 2008).

Buna görə də, mesroaccumbens yolunun Pavlovian təlimində, dövlətlərin və stimulların dəyərini əldə etməkdə daha çox məhdud rol oynadığını, nigrostriatal yolun isə instrumental öyrənmə, hərəkətlərin dəyərlərini əldə etmək üçün daha vacib olduğunu düşünürük. Tşapka, fasik DA siqnalı hazırda təxmin edildiyi kimi fərqli proqnozlaşdırma səhvlərini kodlaşdıra bilər. Bu sübut üç həddədir. Birincisi, nigrostriatal yolda DA-nın genetik tükənməsi instrumental tədbirlərin alınmasına və performansına zərbə vurur, mesolimbik yolda DA-nın tükənməsi isə (Sotak və digərləri, 2005; Robinson et al., 2007). İkincisi, SNc-də DA hüceyrələri hədəf striatal bölgəsində olan hüceyrələrə oxşar hərəkətlərin dəyərini kodlaya bilər (Morris və digərləri, 2006). Üçüncüsü, DLS-ə nigrostriatal proqnozun selektiv pozulması vərdiş əmələ gəlməsinə səbəb olur (Faure et al., 2005).

Palmiter və iş yoldaşlarının son işi genetik cəhətdən hazırlanmış DA çatışmazlı siçanların instrumental öyrənmə və performansda ciddi şəkildə pozulduğunu göstərdi, lakin onların işi L-DOPA enjeksiyonu və ya nigrostriatal yola viral gen köçürülməsi yolu ilə bərpa edilə bilər (Sotak və digərləri, 2005; Robinson et al., 2007). Əksinə, ventral striatumda DA-nın bərpası instrumental davranışı bərpa etmək lazım deyil idi. DA siqnallarının instrumental öyrənmə imkanlarını açıq bir sual olaraq qalmasına baxmayaraq, açıq-aşkar bir ehtimalla, öz-özünə təşəbbüskar hərəkətlərin dəyərini kodlaşdıra bilər, yəni müəyyən bir hərəkət planı verildikdə, nə qədər mükafat nəzərdə tutulur.

Dorsal striatum, ümumiyyətlə, beyində DA reseptorlarının ən yüksək ifadəsini ehtiva edir və ən kütləvi dopaminergik proqnoz alır. DMS-ə DA proqnozu DLS-ə proqnozdan fərqli olaraq öyrənmədə fərqli bir rol oynaya bilər, çünki bu iki bölgə DA sərbəst buraxma, alışma və pozulma temporal profilində əhəmiyyətli dərəcədə fərqlənir (Wickens və digərləri, 2007). Biz medial SNc dən DMS üçün DA proqnozlaşdırılması fəaliyyət-nəticəsi öyrənmək üçün vacibdir, halbuki, DLS üçün lateral SNc dən DA proyeksiya vərdiş formalaşması üçün vacibdir. Bu doğru olsaydı, SNc-də DA hüceyrələrindən SS-ə əsaslanan əvəzinə özünü yaradan hərəkətlər-instrumental proqnozlaşdırma səhvinə əsaslanan mükafat proqnozlarında səhvləri kodlaşdırmaq lazımdır. Bu iddianı dəstəkləyən ilkin sübutlar, SNc nöronlarından instrumental öyrənmə tapşırıqları zamanı qeyd olunan Morris və s.Morris və digərləri, 2006). Monkeys ayrı-seçkilik stimuluna cavab olaraq silahlarını hərəkət etdirməyə hazırlaşırdı (S^D) müvafiq hərəkət və mükafat ehtimalını göstərmişdir. S^D müəyyən bir hərəkətin gözlənilən mükafat ehtimalına əsaslanan hərəkət dəyərinə uyğun DA nöronlarında fasik fəaliyyəti təsbit etdi. Ən maraqlı olsa da, S-ə DA cavabını verir^D hərəkət dəyəri ilə artdıqda, ters bu nöronların bu dəyərlə bağlı bir proqnozlaşdırma səhvini kodlayan fikri ilə uyğun olaraq, mükafatın özünə DA cavabını doğrudur. Şaşırtıcı bir şekilde, bu hüceyrələrin birincil striatal hədəfi, kaudat nüvəsinin, hərəkət dəyərlərini kodlayan nöronlarınSamejima və digərləri, 2005). Buna baxmayaraq, bu tədqiqat hərəkətlərin dəyərini birmənalı qiymətləndirən davranış vəzifələrini istifadə etməmişdir. Modelimizin dəqiq bir proqnozu, fasik DA fəaliyyətinin, açıq bir S^D. Məsələn, bir mükafat qazanan bir öz-özünə təşəbbüskar hərəkət zamanı nigral DA nöronların patlamasını proqnozlaşdırırıq.

Bizim fikrimizcə, mesoaccumbens DA sinyali CS'nin dəyəri, nigrostriatal siqnalın, yəqin ki, DMS-yə proqnozlaşdırılan bu neyronlardan əks olunduğu halda, hərəkətin dəyərini əks etdirir, və ya hər hansı bir S^D bu dəyəri qiymətləndirir. Bundan əlavə, həm instrumental, həm də Pavlovyen öyrənmə səmərəli tədris siqnalını idarə etmək üçün bəzi mənfi rəy formalarını əhatə edir. Əslində striatumdan midbrain DA nöronlarına qədər birbaşa proqnozlar (Şəkil 2) bu tip mənfi rəylərin neyrallaşdırılması kimi uzun müddət təklif olunmuşdur (Houk və digərləri, 1995) və inhibitor giriş gücünün və təbiətinin regiondan bölgəyə xeyli dərəcədə dəyişə bilər.

  

Şəkil 2

Kortik-bazal ganglion şəbəkələri

Mövcud modellərə görə bir proqnozlaşdırma səhvi, öyrənmənin nə qədər olduğunu müəyyən edən tədris siqnaldır. Mövcud olduğu müddətcə öyrənmə davam edir. Buna baxmayaraq, bu iddia görünür, proqnozlaşdırılan Pavlovian proqnozlaşdırılması səhvinə sintaktik olaraq oxşar olsa da, fəaliyyət dəyərinin bir proqnozlaşdırma səhvi, geniş araşdırılmayan nadir xüsusiyyətlərə malikdir. Rescorla-Wagner modeli kimi ənənəvi modellərdə, Pavlovian kondisionerini (məhdud müvəffəqiyyətlə baxmayaraq) tənzimləyir, əsas xüsusiyyət isə proqnozlaşdırma səhvini tənzimləyən mənfi rəydir. Bu çıxış əldə edilmiş proqnozu, daha dəqiq olaraq təqdim edir məbləğ tipik olaraq blokirovka təcrübələrində istifadə olunan mürəkkəb stimullar tərəfindən tutulan bütün cari predictorlarınRescorla, 1988). Bu model sinifində başlıca yenilikdir ki, qlobal səhv termini yaratmaq üçün mövcud yordayıcıların bu cəmlənməsi. Bununla yanaşı, instrumental tədbirlər üçün fərdi səhvlərin şərtləri daha çox görünür, çünki bir dəfə tək hərəkət edə biləcəyi zaman mənfi rəy bir neçə fəaliyyətin dəyərini necə göstərəcəyini görmək çətindir. Əlbəttə ki, bir sıra mümkün həllər mövcuddur. Məsələn, müəyyən bir dövlət verilmişdir (təcrübəli olaraq fərqli bir S^D) mümkün tədbirlər kursları həqiqətən əldə edilmiş proqnozlar kimi eyni vaxtda təqdim edilə bilər. Ancaq instrumental proqnozlaşdırma səhvləri ilə baş çətinliyi hərəkətin özü ilə əlaqəlidir. A Pavlovian proqnozu, orqanizmdən asılı olmayan stimulun təqdimatını avtomatik olaraq izləyir. Instrumental proqnozlaşdırma səhvi nəzarət elementinə istinad etməlidir, çünki proqnozlaşdırma özü hərəkətə bağlıdır və düşünülmüş bir hərəkət heyvanların əvvəlcədən təyin edilmiş stimullara uyğundur, əksinə hərəkətin nəticələrini axtarmaq istiqamətində spontan yayılır. Sonda, Pavlovyanın və instrumental öyrənmə prosesləri arasındakı fərqi və buna bənzər proqnoz səhvlərinin xarakterini blurlandıran, həm də sinirbilimində və psixologiyada məqsədi istiqamətləndirilmiş hərəkətlərin spontan təbiətinin ümumi bir laqeydliyi. Beləliklə, müəyyənləşdirilməkdədir, əgər mənfi geribildirim siqnalının növü varsa, fəaliyyət dəyərlərinin əldə edilməsini tənzimləyir (Dayan və Balleine, 2002).

Nəhayət, son dövrdə iş nigrostriatal proqnozu yanal SNc-dən DLS-ə xüsusi vərdiş formalaşmasında da təsir göstərmişdir. Faure et al, 6-OHDA istifadə edərək DLS-ə yayılan DA hüceyrələrini selektiv şəkildə pozdu və bu manipulyasiya nəticənin devalvasiyası ilə ölçüldüyü kimi vərdişlərin formalaşmasına mane olurduFaure et al., 2005). Yəni, nəzarət qrupunda təlimlər, alışqan davranışın devalüasyona son qoyulmasına həssas olmasına baxmayaraq, zədələnmiş heyvanlar məqsədli şəkildə cavablandırdılar. Bundan sonra yerli DA-nın tükənməsi DLS-nin eksototoksik lezyonlarına bənzərdir, çünki həm manipulyasiya həm də vərdiş formalaşmasına səbəb olur və məqsədli tədbirlərinYin və digərləri, 2004). Vərdiş formalaşması üçün kritik bir dalğa siqnalı artıq Hull və Spence işindən ilhamlanan müasir temporal-fərq fərdiləşdirmə öyrənmə alqoritmlərində effektiv möhkəmləndirici siqnal tərəfindən yaxşı təsvir edilmişdir (Hull, 1943; Spence, 1947, 1960; Sutton və Barto, 1998).

Cortico-bazal ganglion şəbəkələri

Bu günə qədər striatumdakı funksional heterojenliyi müzakirə etdik, amma hər hansı bir striatal sahənin hərəkət-nəticənin ehtiyatını özü tərəfindən bir hərəkətin həyata keçirilməsinə çevirə biləcəyini söyləmək yanlış olardı. Əksinə, serebral yarımkürələr kortikobaral ganglion şəbəkələrindən ibarət olan funksional vahidlərin təkrarlanması kimi təşkil edilir (Swanson, 2000; Zahm, 2005). Tbütün əsas ganglionun giriş stansiyası olan striatum, kortikal, talamik və midbren daxilolmalarının inteqrasiyasına imkan verən kortiko-bazal ganglion şəbəkə nağılında unikal bir mərkəz kimi xidmət edir. Yuxarıda təsvir olunduğu kimi, davamlı bir quruluş olmasına baxmayaraq fərqli striatal bölgələr ayrı funksional şəbəkələrdə iştirak edirlər, məsələn akumbens limbic şəbəkədə mərkəzi və sensorimotor şəbəkədə DLS kimi çıxış edir. Belə şəbəkələrin reentrant əmlakı sayəsində, bu strukturun heç bir komponenti hər hansı bir mütləq mənada yuxarı və aşağı axındır; məsələn, thalamokortikal sistem striatuma və striato-pallidal və striato-nigral yolların əsas hədəfinə daxildir.

Paralel reentrant bazal ganglion loopları uzun müddət tanınmış olsa da (Alexander və digərləri, 1986), biz operativ şəkildə təsvir olunmuş strukturlara və inteqrativ davranışların yaranmasında sxemlər arasında qarşılıqlı əlaqə əsasında bu sxemlərin fərqli funksional rollarını vurğulayırıq. Bu əsasda ən azı dörd belə şəbəkə fərqlənə bilər: akumbenslərin qabığını və nüvəsini əhatə edən limbik şəbəkələr, assosiativ striatum (DMS) və bir sensorimotor striatum (DLS) ilə əlaqəli sensorimotor şəbəkəsi daxildir. Onların funksiyaları iştahlı Pavlovian URs və CR-lərin nəzarət vasitələrinə instrumental tədbirlərəŞəkil 1).

  

Şəkil 1

Striatumun əsas funksional sahələri. Beynin yarısını göstərən bir koronal hissədən olan striatumun təsvirləriPaxinos və Franklin, 2003). Qeyd edək ki, bu dörd funksional sahə anatomik olaraq davamlıdır və təxminən nədir ...

Daha əvvəl qeyd edildiyi kimi, ventral striatum daha çox nüvə akumbensindən ibarətdir ki, bu da daha fərqli bir funksional şəbəkəyə qatılaraq qabığa və əsasa bölünə bilər. Kabuka qarşı kortikal (glutamateriq) proqnozlar infralimbik, mərkəzi və lateral orbital kortekslərdən yaranır, halbuki, proqnozlar ventral və dorsal prelimbik və ön sincap korteksləri kimi prefrontal korteksin daha dorsal orta xətti bölgələrindənGroenewegen et al., 1990; Zahm, 2000, 2005). Bu funksiyalar şəbəkələri daxilində yuxarıda nəzərdən keçirilmiş sübutlar qabığın UR-lərin mükafatlandırılması və istehlakçı CR-lərin alınmasına aid olduğunu göstərir; kəşfiyyat davranışında, xüsusilə Pavlovyen yanaşma cavablarının alınması və ifadə edilməsində əsasdır. Daha sonra, ən azı iki böyük şəbəkə daha böyük ventral və ya limbik kortikobik bazal ganglion şəbəkəsində, biri istehlakçı üçün, digəri isə hazırlıq davranışları və onların Pavlovian kondisionerlə modifikasiyası üçün müəyyən edilə bilərŞəkil 1).

Dorsal striatum eyni zamanda ən azı iki əsas bölgəyə, assosiativ və sensorimotora bölünür, hər biri ilə əlaqəli fərqli funksional şəbəkə. Birləşən striatum (kaudat və primatlarda ön pitmanların hissələri) ehtimal olunan mükafatların gözlənildiyi anda yanan neyronları ehtiva edir və gözlənilən mükafatın miqdarına görə atəşini dəyişir (Hikosaka et al., 1989; Hollerman və digərləri, 1998; Kawagoe və digərləri, 1998). Birləşmə şəbəkəsində, prefrontal və parietal birləşmə korteksləri və onların DMS-də hədəfləri son nəticələr verən nüsxələrin bir rekordu kimi, həm perspektiv, həm də gözlənilən nəticələr şəklində müvəqqəti yaddaşda iştirak edir (Konorski, 1967). Digər tərəfdən, sensorimotor səviyyəsində bazal gangliada sensorimotor kortekslər və hədəflər daxildir. Bu dövrənin nəticələri motor korteksləri və beyin kök motor şəbəkələrinə yönəldilmişdir. Sensorotor striatumdakı sinir fəaliyyəti, ümumiyyətlə, mükafat gözləməsi ilə modullaşdırılmır və associativ striatumdakı nöronlara nisbətən daha çox hərəkətlə əlaqədar fəaliyyət göstərir (Kanazawa et al., 1993; Kimura və digərləri, 1993; Costa və digərləri, 2004). Nəhayət, medial-lateral gradientə əlavə olaraq, dorsal striatumun ön və arxa oxları boyunca əhəmiyyətli funksional heterojenlik mövcuddur, baxmayaraq ki, kifayət qədər məlumatlar heç bir ətraflı təsnifataYin və digərləri, 2005b).

Tədqiqatlar indiyədək yalnız bu şəbəkələrin kortikal və striatal komponentlərinə yönəldilmişdir. Ümumiyyətlə, kortikal bölgənin lezyonları onun striatal hədəfinin (Balleine və Dickinson, 1998; Corbit və Balleine, 2003; Yin və digərləri, 2005b). Şəbəkədəki digər komponentlər də oxşar funksiyalardan istifadə edə bilər. Məsələn, birləşmə şəbəkəsinin tərkib hissəsi olan talamusun mediodorsal nüvəsinin zədələnmələrinə DMS-yə və prelimbic korteksə (və ya digər xəstəliklərə) qarşı bir çox hallarda eyni zamanda devalvasiya və ehtimalın pozulmasına gətirib çıxaran həssaslıq aradan qaldırıldıCorbit və s., 2003). Buna baxmayaraq, ümumi modelimiz bir şəbəkənin hər bir komponentinə zərər verdikdən sonra oxşar davranışçı çatışmazlıqları nəzərdə tutur, baxmayaraq ki, pallidum və ya talam kimi hər hansı bir struktur üçün, birdən çox funksional domen.

Şəbəkələr arasında qarşılıqlı əlaqə

Çox şəraitdə, Pavlovian və instrumental öyrənmə paralel olaraq baş verir. Ancaq PIT kimi fenomenlər bu fərqli proseslərin təsir göstərə biləcəyini göstərirlər. Müstəqil funksional sistemləri məhdudlaşdıran növbəti addım bu sistemlərin davranış yaratmaq üçün necə əlaqəli olduğunu başa düşməkdir. Son anatomik işlərə uyğun olaraq bir cəlbedici təklif, yuxarıda göstərilən şəbəkələr hierarxik şəkildə təşkil olunur və hər biri məlumat səviyyəsinin bir səviyyədən digərinə yayılmasına imkan verən hiyerarşidə müvəffəqiyyətli, funksional vasitəçi kimi çıxış edir. Xüsusilə, striatum ilə midbrain arasındakı yaxınlarda aşkar edilən spiralizasiya əlaqələri potensial olaraq şəbəkələr arasında qarşılıqlı əlaqəni (anatomik təşkilatı)Şəkil 2). Xəbər və iş yoldaşları tərəfindən müşahidə olunduğu kimi, striatal neyronlar DA nöronlarına qarşı qarşılıqlı DA proqnozlarını, həmçinin DA neyronları layihəsini fərqli striatal bölgəyə (birbaşa proyektə)Xəbər və digərləri, 2000). Bu proqnozlar məlumatların irəliləyişinin bir istiqamətdə, limbic şəbəkələrdən assosiativ və sensorimotor şəbəkələrə yayılmasına imkan verir. Məsələn, bir Pavlovian proqnozu (CS'nin əldə edilmiş dəyəri) limbik səviyyədə effektiv tədris siqnalını azalda bilər, təsadüfən DA siqnalını növbəti səviyyədə gücləndirir. Effektiv tədris siqnalının ləğv edilməsi, adətən, striatumdan DA nöronlarına qədər olan GABAergic orta spiny proyeksiyalı nöronlardan bir inhibitor proyeksiya vasitəsilə mənfi geribildirim siqnalı ilə həyata keçirilir. Bu anatomik təşkilatın təklif etdiyi kimi (Xəbər və digərləri, 2000; Xəbər, 2003), qonşu kortiko-bazal ganglion şəbəkəsi (hiyerarşidə növbəti səviyyə) üçün DA siqnalının potensiasiyası disinhibitor proqnozlar vasitəsilə həyata keçirilə bilər (yəni GABAergic striatal proyeksiya neyronları neytral GABAergik internöronlara DA neyronlarına). Beləliklə, limbic şəbəkənin öyrənilmiş dəyəri birləşmə şəbəkəsinə köçürülməlidir və davranış adaptasiyasının hər bir təkrarlanma ilə zərifləşdirilməsinə və gücləndirilməsinə imkan verən (Ashby, 1960). Buna görə, bu model müxtəlif sinif şəbəkələrində tədrisin müxtəlif mərhələlərində tədricən iştirak edir, müxtəlif məlumatlar (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt və Robbins, 2005; Yin və Knowlton, 2005; Belin və Everitt, 2008).

PIT kimi fərqli funksional proseslərin qarşılıqlı təsirini tələb edən phenomena, bu cür modellər üçün məhsuldar test zəminini təmin edir. Həqiqətən də, hiyerarşik model PIT üzrə son təcrübəli nəticələrə uyğun gəlir. Modelə görə, Pavlovyen-instrumental qarşılıqlı əlaqələr striatum və DA nöronları arasında qarşılıqlı əlaqələrə vasitəçilik edir. DA, DA antagonistləri tərəfindən ləğv edilmiş və VTA-nın lokal inaktivasiyası ilə bağlı ümumi transfer üçün vacib görünürDickinson və digərləri, 2000; Murschall və Hauber, 2006); amphetaminin yerli infuziyası, ehtimal ki, DA səviyyələrini artıraraq, akumbensə onu əhəmiyyətli dərəcədə artıra bilər (Wyvell və Berridge, 2000). Digər tərəfdən, spesifik transferdə ventral striatal dopaminin rolu daha az açıqdır. Bəzi sübutlar göstərir ki, VTA-nın qeyri-aktivləşməsindən sonra qorunub saxlana bilər (Corbit və s., 2007) ancaq, kimi Corbit və Janak (2007) son dövrlərdə bildirilmişdir ki, DLS-in qeyri-aktivləşməsi ilə xüsusi transfer ləğv edilir, hərəkətin seçilməsi üçün stimullaşdırma nəzarətinin bu aspekti nigrostriatal proqnozuCorbit və Janak, 2007). Hiyerarşik perspektivlə razılaşaraq, Corbit və Janak (2007) DLS inaktivasiyası Palovian ipuçlarının selektiv həyəcan effektini aradan qaldırdı (baxmayaraq ki, ALARMENS qabığının Corbit et al, 2001), DMS-nin qeyri-aktivləşdirilməsi bu ipuçlarının ümumi həyəcan səmərəliliyinin qorunması üçün göründüyü halda transferin nəticə-selektivliyini ləğv etdi, birləşmə kortikobik bazal ganglion şəbəkəsinin bir hissəsi olan mediodorsal talamusunOstlund və Balleine, 2008). Bu ilkin nəticələrə əsasən, DMS yalnız xüsusi transferə vasitəçilik edir, DLS həm də Pavlovian tapşırıqlarının instrumental tədbirlərə xüsusi və ümumi həyəcan verici təsiri üçün lazım ola bilər.

Maraqlıdır ki, limbic striatum dorsal striatum layihəsi olan DA hüceyrələrinə geniş şəkildə layihələr (Nauta və digərləri, 1978; Nauta, 1989); striatuma olan dopaminergik proqnozlar və midbrainə olan striatal proqnozlar yüksək asimmetrikdir (Xəbər, 2003). Limbic striatum DA neyronlarından məhdud giriş əldə edir, lakin daha çox DA nöronları üçün geniş çıxışı göndərir və əksinə sensorimotor striatumun doğru olmasıdır. Beləliklə limbik şəbəkələr birləşmə və sensorimotor şəbəkələri idarə etmək üçün mükəmməl bir vəziyyətdədirlər. Burada nöroanatomiya davranış məlumatları ilə razılaşır ki, Pavloviyanın instrumental davranışının asanlaşdırılması əksinə daha güclüdür; əslində, əhəmiyyətli sübutlar göstərir ki, instrumental tədbirlər, hətta Pavlovian CR-lərini heyecanlandırmaqdan başqa, neyobioqrafik izahatınEllison və Konorski, 1964; Williams, 1965).

Nəticələr

Burada müzakirə edilən hiyerarşik model, qeyd etmək lazımdır ki, yalnız korteks və kortikal sahələr arasında uzunmüddətli əlaqələrə üstünlük verən başqalarından fərqlənir (Fuster, 1995). Məlum olan komponentləri və beynin keçidini özündə birləşdirir, əksinə kognitif funksiyaların geniş spektrini tətbiq edən kortikal modulların potteriyası kimi görünməməsi. Həm də 19-dan miras qalmış fərziyyələrdən uzaqdır^th əsr nevroloji, ümumiyyətlə serebral korteks və xüsusilə prefrontal korteks bir şəkildə bütün beyni nəzarət edən "yüksək" homunqulu birim təşkil edir (Miller və Cohen, 2001).

Bundan əlavə, bir neçə spesifik proqnozlar mövcud modellərdən əldə edilə bilər: (i) özünü yaradan hərəkətlər üçün fərqli proqnozlaşdırma səhvləri və onların müxtəlif neyron substratlarını və funksional rollarını əks etdirən xüsusiyyətləri olan dövlətlər / stimullar üçün olmalıdır. (ii) hər bir ayrı-ayrı kortiko-bazal ganglion şəbəkəsinin pallidal və talamik komponentlərinin yalnız kortik və striatal komponentlər deyil, hər bir şəbəkə üçün nəzərdə tutulmuş davranış nəzarəti növü üçün də gözlənilməlidir. (iii) Müxtəlif siniflərdə müxtəlif neyron şəbəkələrin mütərəqqi bir şəkildə iştirak etməsi lazımdır. (iv) Akumbens fəaliyyəti birbaşa DA neyronları və dorsal striatal fəaliyyətini birbaşa idarə edə bilər. Bir hesabat əsasında Holland (2004) PIT'nin instrumental hazırlıq ilə artdığını irəli sürdüyünü, assosiativ və sensorimotor şəbəkələrin bu "limbik" nəzarətinin geniş təlimlə gücləndirilməsi gözlənilir.

Ətraflı məlumat olmadan hiyerarşik modelin formal hesabını təklif etmək hələ də erkəndir. Buna baxmayaraq, yuxarıda göstərilən müzakirə, mesoaccumbens mükafat hipotezinin mövcud versiyaları mükafat prosesinin təbiəti və qeyri-adekvat davranış tədbirlərinin istifadəsi ilə bağlı problemli fərziyyələrə əsaslanır. Birləşən prinsiplər, həmişə elmi müəssisənin məqsədi, yalnız eksperimental məlumatların reallığına əsaslanır, lakin bunlar qeyri-kafi ola bilər. Beynin funksiyası nəticə etibarilə davranışların meydana gəlməsi və idarə olunmasıdır, davranış təhlili detallı davranış təhlili, neyron prosesləri anlamaq üçün əsas olacaqdır, çünki doğuşdan gələn və immunitet əldə edilən məlumatların immun sisteminin aydınlaşdırılmasına imkan verir. Zahirən bir həqiqət olsa da, onların funksiyalarının həssaslıqla təsvir olunduğu və ölçülməsinə imkan verən beyin mexanizmlərini dərk edə biləcəyi çox çətin ola bilər. Neyroz funksiyasını öyrənmək təcrübəli olaraq yaradılmış psixoloji bacarıqlara, məsələn, fəaliyyət-nəticə və stimulus-nəticə qüsurlarının təsvirinə əsaslananda, yeni anatomik təşkilat kimi fizioloji mexanizmlər də mövcuddur və yeni bir formada hipotezlər və yeni eksperimentlərin dizaynı. Bu istiqamətdə ilk addım olaraq, burada müzakirə edilən çərçivə gələcək istintaq üçün faydalı bir başlanğıc nöqtəsi olacaqdır.

Minnətdarlıq

References