Çekirdekte dopaminin ötesinde ödül güdümlü öğrenme, kortiko-bazal ganglion ağlarının bütünleştirici işlevleri (2008)

Son literatürde, ister organizma için iyi olan herhangi bir şeyi (genellikle deneycinin bakış açısına göre) ifade etsin, ister daha eski terimlerle birbirinin yerine kullanılabilir olsun, iştah açıcı davranışlara aynı şekilde uygulanan yekpare bir 'ödül' kavramı bulmak yaygın hale gelmiştir. 'pekiştirme' veya 'teşvik'. Bu durum, kendisi sonucu olmasa da, akümbens çekirdeğinde dopamin (DA) salınmasını içeren 'ödül' için tek bir nöral alt tabakaya odaklanma ile teşvik edilmektedir (Berke ve Hyman, 2000; Grace ve diğerleri, 2007).

Onlarca yıl önce tanınan mesoaccumbens yolu ile ödül arasındaki bağlantı, fazik DA sinyalinin muhtemelen ilişkisel öğrenmede bir öğretme sinyali olarak hizmet eden bir ödül tahmin hatasını kodladığına dair daha yeni kanıtlarla yeniden canlandırıldı.g (Schultz ve diğerleri, 1997). En popüler yoruma göre, ödül için tek bir sinyal olduğu gibi, ödül güdümlü öğrenme için de tek bir sinyal vardır; bu durumda bu, bir uyaran ile ödül arasındaki ilişki anlamına gelir (Montague ve arkadaşları, 2004). Ancak bu tür öğrenmenin uyarlanabilir davranışı nasıl kontrol ettiği sorusu ihmal edilmiştir; basitçe dopamin sinyalinin hem öngörücü öğrenme hem de bunun ortaya çıkardığı koşullu tepkiler ve ödülle olan ilişkilerinin yönlendirdiği hedefe yönelik eylemler için yeterli olduğu varsayılır. Sonuç olarak, ödül ve bağımlılık alanındaki çoğu araştırmanın odak noktası, DA sinyali ve mesoaccumbens yolundaki ilgili esnekliktir (Berridge ve Robinson, 1998; Hyman ve diğerleri, 2006; Grace ve diğerleri, 2007).

Ödül sürecine ilişkin bu görüş giderek daha fazla tanınmaktadır (Cardinal ve diğerleri, 2002; Balle, 2005; Everitt ve Robbins, 2005; Hyman ve diğerleri, 2006) hem yetersiz hem de yanıltıcıdır. Yetersizdir çünkü hedefe yönelik eylemlerin ne edinimi ne de performansı, uyarıcı-ödül öğrenmeye aracılık eden ilişkisel süreçler açısından açıklanamaz.. Üstelik yanıltıcıdır, çünkü hedefe yönelik eylemler için ne gerekli ne de yeterli olan mesoaccumbens yolundaki aktiviteye özel odaklanma, dikkati hedefe yönelik eylemlerin tam olarak ne olduğu ve nasıl uygulandığına ilişkin daha temel sorudan uzaklaştırmıştır. beyin tarafından. Gerçekten de, çeşitli deneysel yaklaşımlardan elde edilen birleşen kanıtlara göre, daha önce tek bir ödül mekanizması gibi görünen şey, aslında farklı davranışsal etkilere ve sinirsel alt katmanlara sahip birden fazla süreci kapsayabilir.Corbit ve diğerleri, 2001; O'Doherty ve diğerleri, 2004; Yin ve arkadaşları, 2004; Delgado ve diğerleri, 2005; Yin ve diğerleri, 2005b; Haruno ve Kawato, 2006a; Tobler ve diğerleri, 2006; Jedynak ve diğerleri, 2007; Robinson ve diğerleri, 2007; Tobler ve diğerleri, 2007).

Burada mevcut mesoaccumbens modeliyle ilgili bazı sorunları açığa çıkarmaya ve bunun yerine farklı bir ödül rehberli öğrenme modeli önermeye çalışıyoruz. Striatumun, her biri diğer kortikal, talamik, pallidal ve orta beyin bileşenleriyle ayrı bir işlevsel ağda bir merkez görevi gören en az dört işlevsel alana bölünebilen oldukça heterojen bir yapı olduğunu tartışacağız.. Ödülle ortaya çıkan koşulsuz tepkilerin üretilmesinden hedefe yönelik eylemlerin kontrolüne kadar bu ağların bütünleştirici işlevleri, çağdaş davranış analizleri kullanılarak ayrıştırılabilir ve incelenebilir.

Tahmin ve kontrol

Mesoaccumbens yolunun genellikle ödül ile bu ödülü öngören çevresel uyaranlar arasındaki ilişkinin kazanılması için gerekli olduğu varsayılır. Örneğin, ödülle ortaya çıkan DA hücrelerinin fazik aktivitesini inceleyen deneylerin bazılarında, maymunlar, bir uyarıyı meyve suyu dağıtımıyla ilişkilendirmek üzere eğitildi.Waelti ve arkadaşları, 2001) ve daha sonra uyarıya koşullu bir tepki (CR) - öngörülü yalama ile yanıt verin. Maymunun yalaması hedefe yönelik olabilir çünkü meyve suyu elde etmenin gerekli olduğuna inanıyor. Alternatif olarak yalama, meyve suyunun ilişkili olduğu önceki uyaranla da ortaya çıkarılabilir. Maymunların yalamasındaki bu belirleyicilerden hangisi davranışı kontrol ediyor? herhangi bir özel durumda bilinmiyor önselve yüzeysel gözlemle belirlenemez; yalnızca bu amaç için özel olarak tasarlanmış testler kullanılarak belirlenebilir. Geliştirilmesi onlarca yıl alan bu testler, öğrenme ve davranış araştırmalarındaki önemli modern ilerlemelerin temelini oluşturmaktadır (1).Tablo 1). Aşağıda tartışılacak olan bu testlerin kullanımından, artık aynı davranışsal tepkinin (ister ambulatuvar yaklaşım, ister yönelim, ister bir kaldıraca basmak olsun) deneysel olarak birbirinden ayrılabilen birden fazla etkiden kaynaklanabileceğini biliyoruz.

  

Tablo 1

Ödül rehberli öğrenme

Bu nedenle, davranışın gerçek belirleyicilerindeki merkezi belirsizliğe karşı duyarsızlık, ödül rehberli öğrenmenin mevcut nörobilimsel analizindeki temel sorundur. TBu sorunun önemini anlamak için, tahmine dayalı (veya Pavlovcu) öğrenme ile hedefe yönelik (veya araçsal) öğrenmenin iştah açıcı davranışı nasıl kontrol ettiği arasındaki farkları anlamak gerekir. Gerçekten de, ödül literatüründe bu iki sürecin ne sıklıkla bir araya getirildiğine bakılırsa, bu ayrımın kısa bir incelemesi, tartışmamız için yararlı bir başlangıç ​​noktası gibi görünmektedir.

İştahlı Pavlovian koşullandırmada, ödül (yani koşulsuz uyaran veya US), hayvanın davranışından bağımsız olarak bir uyaranla (koşullu uyaran veya CS) eşleştirilirken, araçsal öğrenmede ödül, hayvanların eylemlerine bağlıdır. Ancak her iki durumda da kritik soru, davranışı kontrol eden uyaran-ödül ilişkisinin mi yoksa eylem-ödül ilişkisinin mi olduğudur.

Her ne kadar basit görünse de, bu soru onlarca yıldır araştırmacıların gözünden kaçtı çünkü bu durumlardaki davranışsal tepkiler aynı görünebilir.

Bu nedenle, Pavlov'un uyaran-ödül ilişkisi tarafından kontrol edilen koşullu tepkiler (CR'ler), çoğu zaman bir hedefe yöneliklik cilasına sahip olabilir. Pavlov'un orijinal CR'si olan tükürük bile, sindirimi kolaylaştırmak için kasıtlı bir girişim olarak köpekleri tarafından üretilmiş olabilir. Tam da bu belirsizlik nedeniyle, en bariz açıklamanın (yani Pavlov'cu koşullanmada uyaran-sonuç ilişkisinin öğrenildiği, oysa araçsal koşullanmada eylem-sonuç ilişkisinin öğrenildiğinin) onlarca yıl boyunca fazla destek toplayamadığı ortaya çıkmıştır.Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Bununla birlikte, Pavlovian CR'lerin çoğu otonom veya tamamlayıcı olmasına rağmen, bir ödüle yaklaşma davranışı gibi diğer CR'ler bu kadar uygun bir şekilde karakterize edilmemiştir (Rescorla ve Solomon, 1967); gerçekten de kolayca araçsal eylemlerle karıştırılabilirler (Brown ve Jenkins, 1968; Williams ve Williams, 1969; Schwartz ve Gamzu, 1977). Yüzeysel bir benzerliğe rağmen, Pavlov'un CR'leri ve hedefe yönelik araçsal eylemlerin, yanıtın performansını kontrol eden temsili yapı açısından farklılık gösterdiğini artık biliyoruz (Schwartz ve Gamzu, 1977).

Bir tepkinin performansının bir uyaran-ödül ya da bir eylem-ödül ilişkisi tarafından aracılık edilip edilmediğini belirlemenin en doğrudan yolu, performansı kontrol eden spesifik beklenmedik durumu incelemektir. Burada tükürük örneği öğreticidir. Sheffield (1965) Pavlovian koşullanmasında tükürüğün ödülle olan ilişkisiyle mi yoksa uyaran-ödül ilişkisiyle mi kontrol edildiğini test etti. Deneyinde köpeklere bir ses tonu ile bir yiyecek ödülü arasındaki eşleştirmeler verildi (Sheffield, 1965). Ancak ses tonu sırasında köpeklerin salyaları akıyorsa bu denemede yiyecek verilmedi. Bu düzenleme, ses tonu ve yiyecek arasında Pavlov'a özgü bir ilişkiyi sürdürüyordu, ancak tükürük salgısı ile yiyecek dağıtımı arasındaki her türlü doğrudan ilişkiyi ortadan kaldırıyordu. Eğer tükürük salgısı yiyecekle olan ilişkisi tarafından kontrol edilen bir eylemse, o zaman köpeklerin tükürük salgılamayı bırakması gerekir; aslında hiçbir zaman bu tonda tükürük salgılamamaları gerekir. Sheffield, tükürük CR'sini kontrol eden şeyin açıkça Pavlovian tonu-besin ilişkisi olduğunu buldu. 800'den fazla ton-mama eşleşmesi sırasında köpekler, salya akıtmayarak elde edebilecekleri yiyeceğin çoğunu kaybetmelerine neden olmasına rağmen, bu tona uygun tükürük salgılamayı elde ettiler ve sürdürdüler. İnsanlar (Pithers, 1985) ve diğer hayvanlarla yapılan çalışmalarda başkaları da benzer bir sonuca ulaştı (Brown ve Jenkins, 1968; Williams ve Williams, 1969; Hollanda, 1979); Her durumda, öyle görünüyor ki, çok çeşitli olmalarına rağmen, Pavlov'un tepkileri ödülle olan ilişkileri tarafından, yani eylem-sonuç olumsallığı tarafından kontrol edilmiyor.

Olasılık terimi, bir 'A' olayı ile diğer bir 'B' olayı arasındaki koşullu ilişkiyi ifade eder, öyle ki B'nin ortaya çıkışı A'ya bağlıdır. Bu tür bir ilişki, A'nın yokluğunda B'nin sunulmasıyla kolayca bozulabilir. Beklenmedik bozulma olarak adlandırılan deneysel manipülasyon, genellikle tahmine dayalı uyaran veya eylemden bağımsız olarak bir ödül sunarak gerçekleştirilir. Her ne kadar bu yaklaşım başlangıçta Pavlov'un koşullanmasını incelemek için geliştirilmiş olsa da (Rescorla, 1968), araçsal beklenmedik durum bozulması da yaygın bir araç haline gelmiştir (Hammond, 1980). Bu olumsallıklar doğrudan manipüle edildiğinde, öğrenmenin içeriği ortaya çıkar: örneğin, otomatik şekillendirmede, araçsal bir eylem olarak 'gizlenen' bir Pavlovian CR, araçsal olumsallıktan ziyade Pavlovian'ın manipülasyonları tarafından bozulur (Schwartz ve Gamzu, 1977).

Hedefe yönelik araçsal eylemler iki kriterle karakterize edilir: 1) sonucun değerindeki değişikliklere duyarlılık ve 2) eylem ile sonuç arasındaki beklenmedik durumdaki değişikliklere duyarlılık (Dickinson, 1985; Dickinson ve Balleine, 1993). Şunu vurgulamak gerekir ki, sonuç devalüasyonuna karşı hassasiyet tek başına bir tepkiyi hedefe yönelik olarak karakterize etmek için yeterli değildir çünkü bazı Pavlovcu tepkiler aynı zamanda bu manipülasyona karşı da duyarlı olabilir.Hollanda ve Rescorla, 1975). Bununla birlikte, hedefe yönelik araçsal eylemlerin performansı aynı zamanda eylem-sonuç olumsallığının manipülasyonlarına karşı da duyarlıdır, oysa Pavlovcu tepkiler uyarıcı-sonuç olumsallığının manipülasyonlarına karşı duyarlıdır (Rescorla, 1968; Davis ve Bitterman, 1971; Dickinson ve Charnock, 1985). Bununla birlikte, araçsal olumsallıktaki değişikliklere karşı göreceli duyarsızlıkları bakımından Pavlov'un tepkilerine daha çok benzeyen, fakat aynı zamanda sonuç bir parça olmadığı için sonuç değerlemesinden de etkilenmeyen alışkanlıklar durumunda (aşağıya bakınız) önemli bir istisna bulunabilir. performansı kontrol eden temsili yapının (bkz. Dickinson, 1985 ve daha fazla tartışma için aşağıda).

O halde özetlemek gerekirse, belirli bir tepkinin, tepki formu ya da onu oluşturmak için kullanılan davranışsal görev yerine, kontrol edici beklenmedik durum açısından açıkça tanımlanması son derece önemlidir. Belirli bir durumdaki kontrol edici olumsallık incelenmeden, hem davranış hem de davranışa aracılık ettiği bulunan sinirsel süreçler muhtemelen yanlış karakterize edilecektir. Sonuçta, tartışacağımız gibi, aynı 'nihai ortak yolu' paylaşsalar da, davranışı kontrol eden, öğrenme yoluyla edinilen ve farklı sinir sistemleri tarafından uygulanan gerçek kontrol edici olasılıklardır. Dolayısıyla temel zorluk, altta yatan beklenmedik durum kontrol davranışını ortaya çıkarmak için görünüşlerin ötesine geçmektir (özet için bkz. Tablo 1). Belirli sinir yapılarının belirli psikolojik kapasitelere, örneğin hedefe yönelikliğe aracılık ettiğini iddia etmek için, davranışın durumunun uygun davranışsal analizlerle değerlendirilmesi gerekir. Aksini yapmak, gruplar uygun sinirsel belirleyiciler üzerinde tartışırken, kendi davranışsal görevlerinin farklı olguları ölçebileceğini fark etmede başarısız olurken kafa karışıklığına davetiye çıkarmaktır. Sonuçta önemli olan, deneycinin hayvanın öğrendiğine inandığı şey değil, hayvanın gerçekte ne öğrendiğidir ve hayvanın gerçekte ne öğrendiği yalnızca öğrenmenin içeriğini doğrudan araştıran analizlerle ortaya çıkarılabilir.

Eğer hayvan, deneysel düzenlemeler ne olursa olsun aynı şeyi (mesela uyaran ile ödül arasındaki ilişkiyi) öğrenmeyi başarsaydı, Pavlovcu-enstrümantal ayrım önemsiz olurdu. Bugün sinir biliminin kullanabileceği en yaygın öğrenme ölçütlerini kullanarak bunu söylemenin hiçbir yolu yok. Bu nedenle araştırmacılar sıklıkla, söz konusu davranışın aslında hedefe yönelik olup olmadığını incelemeden hedefe yönelik davranışı incelediklerini iddia ederler. Her ne kadar farklı öğrenme türlerinin genellikle farklı 'görevler' veya 'paradigmaların' kullanımından kaynaklandığı varsayılsa da, çoğu zaman araştırmacılar varsayımları için yeterli bir gerekçe sağlamakta başarısız olurlar.

Bu konunun klasik bir örneği, öğrenmeyi incelemek için labirentlerin kullanılmasıdır. Labirent deneyleri ve koşullu yer tercihi gibi ilgili analizlerle ilgili bir sorun, Pavlov'un (uyarıcı-ödül) ve araçsal (eylem-ödül) olasılıkların davranış üzerindeki etkisini deneysel olarak ayırmanın zorluğudur (Dickinson, 1994; Yin ve Knowlton, 2002). Bu nedenle, yiyecek almak için bir T labirentinden geçmek bir tepki stratejisini (sola dönün) veya basit bir şekilde işaret-yiyecek birliği tarafından kontrol edilen bazı labirent dışı işaretlere yönelik koşullu bir yaklaşımı yansıtabilir (Restle, 1957). İkincisinin performansta bir rol oynayıp oynamadığını test etmenin bir yolu labirenti tersine çevirmektir; Artık yanıt öğrenenler sola dönmeye devam etmeli, ekstra labirent ipuçlarını kullananlar ise sağa dönmeli. Ancak sola dönmeye devam edenler gerçekten bir tepki stratejisi mi kullanıyorlar yoksa sadece bazı noktalara mı yaklaşıyorlar? içi-yiyecekle ilişkili labirent işareti? Bunu anlamak kolay değil çünkü Pavlov'un davranış kontrolüne yönelik olağan kontroller labirent çalışmalarında kolayca uygulanamıyor. Bunlardan biri olan çift yönlü kontrol, hayvanların belirli bir tepki üzerinde, ödül kazanmak için o tepkinin yönünün tersine çevrilmesini gerektirerek kontrol uygulayabildiğini ortaya koyar.Hershberger, 1986; Heyes ve Dawson, 1990). Ne yazık ki, bir labirentte tepkinin tersine çevrilmesi, bir eylemin hedefe yönelik olarak kurulması için hala yeterli olmayabilir, çünkü tersine çevirme, mevcut uyaran-ödül ilişkisini söndürerek ve onu bir başkasıyla değiştirerek gerçekleştirilebilir. Örneğin, belirli bir labirent içi işarete yaklaşan bir fare, geri dönüş sırasında artık ödülle eşleştirilmediğini, ancak başka bir uyaranın eşleştiğini öğrenebilir ve bu da yeni uyarana doğru bir CR yaklaşımı elde edilmesiyle sonuçlanır. Böylece, tepki-ödül olumsallığını hiç kodlamadan tepkilerini görünüşe göre tersine çevirebilirler. Bu olasılık pratikte test edilemediğinden, hedefe yönelik öğrenme süreçlerini incelemek için labirentlerin, yer tercihi prosedürlerinin veya basit lokomotor görevlerin kullanılması özellikle tehlikelidir ve herhangi bir sinir sisteminin spesifik rolü ile birlikte davranışı kontrol eden süreçlerin yanlış tanımlanmasıyla sonuçlanması muhtemeldir. ilgili olduğu tespit edilen süreçler (Smith-Roe ve Kelley, 2000; Hernandez ve arkadaşları, 2002; Atallah ve diğerleri, 2007).

Enstrümantal öğrenme için Nucleus accumbens gerekli değildir

Mevcut davranış analizinin yetersizlikleri, özellikle akümbens çekirdeğinin incelenmesinde açıkça ortaya çıkmaktadır. Birçok çalışma, bu yapının hedefe yönelik eylemlerin kazanılmasında kritik olduğunu öne sürmektedir. (Hernandez ve arkadaşları, 2002; Goto ve Grace, 2005; Hernandez ve arkadaşları, 2005; Pothuizen ve diğerleri, 2005; Taha ve Fields, 2006; Atallah ve diğerleri, 2007; Cheer ve diğerleri, 2007; Lerchner ve diğerleri, 2007). Ancak bu sonuca, büyük ölçüde, beklenmedik durum kontrol davranışının belirsiz olduğu görevler kullanılarak, yalnızca performanstaki değişimin ölçümlerine dayanarak ulaşılmıştır. Bir manipülasyonun bazı davranışsal tepkilerin edinilmesini bozduğu gözlemi bir öğrenme eksikliğine işaret edebilse de, bunlar aynı zamanda tepki başlatma veya motivasyon üzerindeki bir etkiyi de yansıtabilir. Örneğin, kaldıraca basma becerisindeki bir bozukluk çoğu zaman öğrenmeden ziyade performans üzerindeki bir etkiyi yansıtabilir (Smith-Roe ve Kelley, 2000). Herhangi bir öğrenme sürecinin eksik temsilleri olarak tek başına edinme eğrileri dikkatle yorumlanmalıdır (Gallistel ve diğerleri, 2004). Ne yazık ki, öğrenme çalışmalarındaki belki de en eski ders olan öğrenme ve performans arasındaki ayrım, günümüzde sıklıkla göz ardı edilmektedir.

Daha ayrıntılı bir analiz, accumbens'in araçsal öğrenme için ne gerekli ne de yeterli olduğunu gösterir. Accumbens kabuğunun lezyonları performansın sonuç devalüasyonuna duyarlılığını değiştirmez (de Borchgrave ve diğerleri, 2002; Corbit ve diğerleri, 2001) veya araçsal beklenmedik durum bozulmasına (Corbit ve diğerleri, 2001), oysa accumbens çekirdeğindeki lezyonların, sıçanların enstrümantal olumsallığın seçici bozunmasına karşı duyarlılığını bozmadan devalüasyona duyarlılığı azalttığı bulunmuştur (Corbit ve diğerleri, 2001). Koşullu pekiştirme çalışmalarında Accumbens manipülasyonlarının yeni bir tepkinin edinilmesi üzerindeki etkisini değerlendiren diğer çalışmalar, ödülle ilişkili performans üzerinde, özellikle de performansın amfetamin tarafından arttırılması üzerinde tutarlı bir şekilde bir etki bulmuştur, ancak tepki vermenin kendiliğinden edinilmesinde bu etkiyi bulmamıştır (Parkinson) ve diğerleri, 1999). Benzer şekilde, Cardinal ve Cheung tarafından yapılan sistematik bir çalışma da, Accumbens'in çekirdek lezyonlarının, sürekli bir takviye programı altında kaldıraçla basma tepkisinin edinilmesi üzerinde hiçbir etkisi olmadığını buldu; edinimin bozulduğu yalnızca gecikmiş pekiştirmeyle gözlendi (Kardinal ve Cheung, 2005).

Her ne kadar accumbens araçsal olumsallığı kodlamasa da (Balleine & Killcross, 1994; Corbit, Muir ve Balleine, 2001), kayda değer kanıtlar bunun araçsal olarak temel bir rol oynadığını göstermektedir. performans, son çalışmaların ışığında artık daha iyi tanımlayabileceğimiz bir rol. Çeşitli çalışmaların sonucuna göre, accumbens, iştah açıcı Pavlovian koşullandırmanın belirli türleri için kritik öneme sahiptir ve hem ödülle ilişkili ipuçlarının enstrümantal performans üzerinde sahip olabileceği spesifik olmayan uyarıcı etkilere, hem de üretilen yanıt seçiminde sonuca özgü önyargılara aracılık eder. bu tür ipuçlarıyla. Çekirdeğe yönelik ana kortikal girdi kaynağı olan çekirdek veya anterior singulat lezyonları veya bu iki yapı arasındaki bağlantının kopması, Pavlovian yaklaşım davranışının edinilmesini bozar (1).Parkinson ve arkadaşları, 2000). D1 benzeri bir dopamin reseptörü antagonistinin veya bir NMDA glutamat reseptörü antagonistinin antrenmandan hemen sonra lokal infüzyonu da performansı etkilemeden bu öğrenme biçimini bozmuştur.Dalley ve diğerleri, 2005). Bu veriler aşağıdaki ölçümlerle uyumludur: in vivo sinirsel aktivite. Örneğin, Carelli ve meslektaşları, Accumbens çekirdeğindeki nöronların, Pavlovian otomatik şekillendirme görevinin öğrenilmesi sırasında aktivitelerini sistematik olarak değiştirebildiklerini buldular (Day ve arkadaşları, 2006; Gündüz ve Carelli, 2007).

Kabuk bölgesindeki nöronlar, herhangi bir öğrenme deneyiminden önce bile ödüllere ve caydırıcı uyaranlara ayarlanmış gibi görünüyor; aynı zamanda bu sonuçları öngören CS'lere yanıtlar geliştirme yeteneğine de sahiptirler (Roitman ve diğerleri, 2005). Ayrıca Berridge ve meslektaşlarının çalışmaları çekirdeğin accumbens kabuğundaki ve aşağı akışlı ventral pallidumdaki belirli bölgelerin 'hedonik sıcak noktalar' olarak nitelendirilebileceği olasılığını artırdı. Bu alanlar, tat tepkisi gibi ödüllere verilen koşulsuz hedonik tepkileri doğrudan modüle eder. Örneğin, bu bölgelerdeki opioid reseptörlerinin agonistleri, sakaroza karşı sindirimsel tat reaktivitesini önemli ölçüde artırabilir. Bununla birlikte, bu tür oldukça yerelleşmiş bölgeler, tüketici iştah açıcı davranışlarda rol oynamayan daha geniş ağlara gömülüdür (Taha ve Fields, 2005; Pecina ve diğerleri, 2006; Taha ve Fields, 2006).

Çekirdek ve kabuğun göreceli rollerindeki ayrım, sırasıyla hazırlayıcı ve tamamlayıcı iştah açıcı davranışlar arasında bir ayrım gibi görünmektedir ve bu, farklı Pavlov koşullandırma türleri yoluyla deneyimle kolayca değiştirilebilir. Yaklaşma gibi hazırlık tepkileri, sonucun genel duygusal nitelikleriyle bağlantılıyken, tamamlayıcı davranışlar daha spesifik duyusal niteliklerle bağlantılıdır; aynı zamanda farklı CS türlerine karşı da farklı şekilde duyarlıdırlar, örneğin hazırlık tepkileri uzun süreli bir uyaranla daha kolay koşullandırılır (Konorski, 1967; Dickinson ve Dearing, 1979; Balle, 2001; Dickinson ve Balleine, 2002).

Her halükarda, Pavlovcu koşullanmanın bazı yönlerinde accumbens'in rol oynadığını gösteren kanıtlar çok güçlü. Ancak ilgili tek yapı bu değildir ve çeşitli amigdaloid çekirdekleri içeren ağlar gibi diğer ağların da Pavlov koşullandırmasının hem hazırlık hem de tamamlayıcı bileşenlerinde merkezi bir rol oynadığı görülmektedir. (Balle ve Killcross, 2006).

Accumbens'e açıkça atfedilebilecek bir işlev, Pavlov etkilerinin araçsal davranış üzerindeki entegrasyonudur. Şiddetli istek ve uyarılma gibi merkezi motivasyon durumlarının aktivasyonunu yansıtanlar da dahil olmak üzere Pavlovian CR'ler, araçsal eylemlerin performansı üzerinde güçlü bir etki yaratabilir.Trapold ve Overmier, 1972; Lovibond, 1983; Hollanda, 2004). Örneğin, gıda dağıtımını bağımsız olarak tahmin eden bir CS, aynı gıdaya yönelik araçsal tepkiyi artırabilir. Bu etki genellikle Pavlovian-araçsal transfer paradigması (PIT) kullanılarak incelenir. PIT'de hayvanlar, bağımsız olarak bir ipucunu yiyecekle ilişkilendirmeyi ve aynı yiyecek için bir kola basmayı öğrendikleri ayrı Pavlovian ve enstrümantal eğitim aşamaları alırlar. Daha sonra sonda denemelerinde işaret, mevcut kaldıraçla sunulur ve CS'nin varlığında yanıt oranlarının artışı ölçülür. PIT'in iki türü tanımlanmıştır; Bunlardan ilki, ödülle ilgili ipuçlarının genel olarak uyandırıcı etkisi ile ilgili ve ikincisi, bir ipucunun diğerlerinin aksine belirli bir ödülle ilgili öngörücü durumu tarafından üretilen seçim performansı üzerinde daha seçici bir etki. Accumbens kabuğu, PIT'in bu ikinci sonuca özgü formu için gereklidir, ancak ne ilki, daha genel formu için ne de sonuç devalüasyonuna duyarlılık için gereklidir; aksine, accumbens çekirdeğindeki lezyonlar hem sonuç devalüasyonuna hem de PIT'in genel formuna duyarlılığı azaltır ancak sonuca özgü PIT'i sağlam bırakır (Corbit ve diğerleri, 2001; (Balleine ve Corbit, 2005).

Son zamanlarda yapılan bir çalışma, accumbens kabuğunun sonuca özgü PIT'deki rolüne ilişkin daha fazla bilgi sağlamıştır (Wiltgen ve diğerleri, 2007). Striatumdaki aktif kalsiyum/kalmodulin bağımlı protein kinaz II'nin (CaMKII) kontrollü ifadesi, enstrümantal veya Pavlovian öğrenmeyi etkilemedi, ancak spesifik PIT'i ortadan kaldırdı. PIT'deki bu eksiklik kalıcı değildi ve transgen ekspresyonunun doksisiklin ile kapatılmasıyla tersine çevrilebilirdi; bu da açığın yalnızca performansla ilişkili olduğunu gösterdi. Bu nedenle striatumdaki CaMKII seviyesinin yapay olarak arttırılması, teşvik motivasyonunun Pavlovian'dan araçsal sisteme sonuca özgü transferini engeller. İlginç bir şekilde, CaMKII transgenini etkinleştirmenin, bazal iletimi veya sinaptik gücü etkilemeden, akümbens kabuğundaki nöronların uyarılabilirliğini azalttığı da bulundu.

Sırt striatum

Neostriatum veya kaudat-putamen olarak da bilinen dorsal striatum, neokorteks adı verilen bölgeden devasa projeksiyonlar alıyor. Ayrıca kemirgenlerde ventral striatum ile daha medial ve sürekli olan bir ilişkisel bölge ve daha lateral olan bir sensörimotor bölgeye ayrılabilir. (Groenewegen ve diğerleri, 1990; Joel ve Weiner, 1994). Bir bütün olarak, dorsal striatum, substantia nigra pars kompaktadan (SNc) DA hücreleri tarafından innerve edilir ve yalnızca VTA DA nöronlarından yetersiz projeksiyonlar alır. (Joel ve Weiner, 2000). Dorsal striatum üzerine yapılan önceki çalışmalar çoğunlukla onun uyaran-tepki (SR) alışkanlığını öğrenmedeki rolüne odaklanmıştı (Miller, 1981; Beyaz, 1989). Bu görüş, bir ödülün, çevresel uyaranlar ile gerçekleştirilen tepki arasındaki SR ilişkisini güçlendirmeye veya güçlendirmeye yaradığını ve bunun sonucunda bu tepkiyi gerçekleştirme eğiliminin, çevresel uyaranların varlığında arttığını ifade eden etki yasasına dayanmaktadır. uyaranlar (Thorndike, 1911; Gövde, 1943; Miller, 1981). Bu nedenle kortikostaliyal yolun, DA'nın takviye sinyali olarak hareket etmesiyle SR öğrenmeye aracılık ettiği düşünülmektedir (Miller, 1981; Reynolds ve Wickens, 2002).

SR modelleri, öğrenmeyi performansa dönüştürmek için basit bir kural içerme avantajına sahiptir. Bunun aksine, eylemle ilgili beklentilere dayanan bir model daha karmaşıktır çünkü "A Eylemi O Sonucuna yol açar" inancının mutlaka eyleme dönüştürülmesi gerekmez (Guthrie'nin, 1935; Mackintosh, 1974); bu tür bilgiler hem 'A'yı gerçekleştirmek hem de 'A'yı gerçekleştirmekten kaçınmak için kullanılabilir. Bu nedenle, geleneksel teoriler en bariz açıklamadan, yani hayvanların seçim davranışını yönlendiren bir eylem-sonuç olumsallığı kazanabileceği yönündeki açıklamadan kaçındı. Ancak son birkaç on yılda etki yasasında önemli bir revizyona tanık olduk (Adams, 1982; Colwill ve Rescorla, 1986; Dickinson, 1994; Dickinson ve arkadaşları, 1996). TBirçok çalışmanın sonuçları, araçsal eylemlerin gerçekten hedefe yönelik olabileceğini, yani eylemin nedensel etkinliğinin yanı sıra ödül değerindeki değişikliklere de duyarlı olabileceğini göstermiştir. (bkz. Dickinson ve Balleine, 1994; 2002; Balle, 2001 incelemeler için). Bununla birlikte, sabit koşullar altında kapsamlı bir eğitim süreci boyunca, yeni edinilen eylemler bile nispeten otomatik ve uyaranlara dayalı hale gelebilir; bu süreç, alışkanlık oluşumu olarak bilinir.Adams ve Dickinson, 1981; Adams, 1982; Yin ve arkadaşları, 2004). Bu şekilde tanımlanan ve önceki uyaranlar tarafından otomatik olarak ortaya çıkarılan alışkanlıklar, sonucun beklentisi veya temsili tarafından kontrol edilmez; sonuç olarak sonuç değerindeki değişikliklere karşı dayanıklıdırlar. Bu açıdan bakıldığında etki yasası yalnızca alışılmış davranışlara uygulanan özel bir durumdur.

Araçsal davranışın mevcut sınıflandırması onu iki sınıfa ayırır. Tbirinci sınıf, araçsal olumsallık tarafından kontrol edilen amaca yönelik eylemleri içerir; ikincisi, sonuç değerindeki değişikliklerden etkilenmeyen alışılmış davranış (Tablo 1). Yin ve arkadaşları, sonuç devalüasyonu ve araçsal beklenmedik durum bozulması gibi davranışsal analizler kullanarak, dorsal striatumun sensörimotor (dorsolateral striatum, DLS) ve ilişkisel bölgeleri (dorsomedial striatum, DMS) arasında fonksiyonel bir ayrışma tespit etti.Yin ve Knowlton, 2004; Yin ve arkadaşları, 2004, 2005a; Yin ve diğerleri, 2005b; Yin ve diğerleri, 2006a). DLS lezyonları alışkanlıkların gelişimini bozarak daha hedefe yönelik bir davranışsal kontrol moduna yol açtı. DMS lezyonları ters etkiye sahiptir ve hedefe yönelik kontrolden alışılmış kontrole geçişle sonuçlanır. Yin ve arkadaşları bu nedenle DLS ve DMS'nin destekledikleri ilişkisel yapıların türü açısından işlevsel olarak ayrılabileceği sonucuna vardı: DLS alışkanlık oluşumu için kritiktir, oysa DMS hedefe yönelik eylemlerin kazanılması ve ifade edilmesi için kritiktir. Bu analiz, belirli koşullar altında (örneğin genişletilmiş eğitim), eylemlerin kontrolünün DMS'ye bağımlı sistemden DLS'ye bağımlı sisteme geçebileceğini öngörür; bu, insan nörogörüntülemesi de dahil olmak üzere primatlar hakkındaki önemli literatürle geniş bir uyum içinde olan bir sonuçtur.Hikosaka ve diğerleri, 1989; Jueptner ve diğerleri, 1997a; Miyachi ve diğerleri, 1997; Miyachi ve diğerleri, 2002; Delgado ve diğerleri, 2004; Haruno ve diğerleri, 2004; Tricomi ve diğerleri, 2004; Delgado ve diğerleri, 2005; Samejima ve diğerleri, 2005; Haruno ve Kawato, 2006a, b; Lohrenz ve diğerleri, 2007; Tobler ve diğerleri, 2007). Unutulmamalıdır ki elbetteFiziksel konum (örn. sırt veya karın) tek başına kemirgen striatumu ile primat striatumu karşılaştırmada güvenilir bir kılavuz olamaz; anatomik bağlantı dikkatle değerlendirildikten sonra bu tür karşılaştırmalar dikkatle yapılmalıdır.

Dorsal striatal lezyonların etkileri accumbens lezyonlarınınkilerle karşılaştırılabilir. (Smith-Roe ve Kelley, 2000; Atallah ve diğerleri, 2007). Daha önce de belirtildiği gibi, bir davranışı 'hedefe yönelik' olarak belirlemek için standart testler, sonucun değersizleştirilmesi ve eylem-sonuç beklenmedikliğinin bozulmasıdır (Dickinson ve Balleine, 1993). DMS lezyonları davranışı her iki manipülasyona karşı duyarsız hale getirir (Yin ve diğerleri, 2005b), oysa akümbens çekirdeğinin veya kabuğunun lezyonları yoktur (Corbit ve diğerleri, 2001). Dahası, bu davranış analizlerinin araştırma testleri, hayvanın yeni öğrenmeyle kirlenmeden öğrendiklerini değerlendirmek amacıyla tipik olarak herhangi bir ödül sunulmadan yok olma durumunda gerçekleştirilir. Böylece doğrudan temsili yapıyı kontrol eden davranışı araştırırlar. Ek bir deneysel kontrol olarak, ödüllerin fiilen dağıtıldığı ayrı bir devalüasyon testinin ('ödüllendirilmiş test' olarak da bilinir) yürütülmesi genellikle faydalıdır. DMS lezyonları, bir eyleme bağlı olarak değeri düşürülmüş bir sonucun teslim edilmesi, eylem-sonuç kodlamasından bağımsız olarak eylemi baskılayabildiği için beklendiği gibi, ödüllü testte sonuç devalüasyonuna duyarlılığı ortadan kaldırmamıştır. Öte yandan, Accumbens kabuk lezyonları, ne yok olma testinde ne de ödüllü testte sonuç devalüasyonuna duyarlılığı bozmazken, Accumbens çekirdek lezyonları her iki testte devalüasyona duyarlılığı ortadan kaldırdı.Corbit ve diğerleri, 2001). Ancak beklenmedik bozulmaya karşı hassasiyet her iki lezyondan da etkilenmedi; bu durum, accumbens lezyonlarından sonra farelerin eylem-sonuç temsillerini kodlayabildiklerini ve geri getirebildiklerini gösterdi.

Dopaminin rolü: Mezolimbik ve nigrostriatal

Maymunlardaki DA nöronlarının fazik aktivitesi üzerine öncü çalışmalardan bu yana, bu alandaki ortak varsayım, tüm DA hücrelerinin esasen aynı şekilde davrandığı yönündedir.Schultz, 1998a; Montague ve arkadaşları, 2004). Ancak mevcut veriler ve anatomik bağlantı aksini gösteriyor. Aslında striatumdaki fonksiyonel heterojenitenin yukarıdaki analizi orta beyindeki DA hücrelerine de genişletilebilir.

DA hücreleri iki ana gruba ayrılabilir: VTA ve substantia nigra pars kompakta (SNc). Her ne kadar projeksiyon Accumbens'e giden VTA, ödülle ilgili öğrenme alanında ilgi odağı olmuştur, çok daha büyük olan nigrostriatal yol nispeten ihmal edilmiştir.Dikkat öncelikle Parkinson hastalığındaki rolüne odaklandı. rolüne ilişkin güncel düşünce Öğrenmedeki DA, DA hücrelerinin fazik aktivitesinin bir ödül tahmini hatasını yansıttığı önerisinden büyük ölçüde etkilenmiştir.r (Ljungberg ve arkadaşları, 1992; Schultz, 1998b). benSchultz ve meslektaşları tarafından kullanılan en yaygın Pavlovian koşullandırma görevinde, bu nöronlar ödüle (ABD) yanıt olarak ateşlenir, ancak öğrenmeyle birlikte ABD tarafından uyarılan aktivite CS'ye kaydırılır. Öğrendikten sonra ABD ihmal edildiğinde, DA hücreleri beklenen teslim zamanında aktivitede kısa bir düşüş gösterir. (Waelti ve arkadaşları, 2001; Fiorillo ve arkadaşları, 2003; Tobler ve diğerleri, 2003). Bu tür veriler çeşitli hesaplama modellerinin temelini oluşturur (Schultz ve diğerleri, 1997; Schultz, 1998b; Brown ve diğerleri, 1999; Montague ve arkadaşları, 2004).

Sentez ve salınım mekanizmalarında çoklu kontrol seviyeleri göz önüne alındığında, DA nöronlarının ani yükselişi DA salınımıyla eşitlenemez, ancak bu iki ölçümün yüksek oranda ilişkili olması beklenebilir. Aslında, Carelli ve meslektaşlarının hızlı taramalı döngüsel voltametriyi kullanarak yaptıkları yakın tarihli bir çalışmanın gösterdiği gibi, Accumbens çekirdeğindeki gerçek DA salınımı, iştah açıcı Pavlovian koşullanmasında bir tahmin hatasıyla ilişkili görünüyor (Day ve arkadaşları, 2007). Pavlovian otomatik şekillendirmede sükroz ödülünün alınmasından hemen sonra accumbens çekirdeğinde fazik bir DA sinyali buldular. Bununla birlikte, uzatılmış Pavlovian şartlandırmasının ardından bu sinyal artık ödülün kendisinden sonra bulunamadı, bunun yerine CS'ye kaydırıldı.. Bu bulgu orijinal 'tahmin hatası' hipotezini desteklemektedir. Ayrıca, DA reseptörü antagonizması veya accumbens çekirdeğindeki DA tükenmesinden sonra Pavlovian CR'nin performansının bozulduğunu gösteren önceki çalışmalarla da tutarlıdır (Di Ciano ve arkadaşları, 2001; Parkinson ve arkadaşları, 2002). Bununla birlikte, çalışmadan elde edilen bir gözlem yeni ve oldukça ilgi çekicidir: ödülü öngören bir CS+ ve ödülü tahmin etmeyen bir CS- ile uzun süreli koşullandırmanın ardından, CS- sonrasında da benzer, ancak daha küçük bir DA sinyali gözlemlendi. aynı zamanda ilk zirveden hemen sonra (işaret başlangıcından 500~800 milisaniye sonra) hafif bir düşüş gösterdi (Day vd, 2007, Şekil 4). Öğrenmenin bu aşamasında hayvanlar neredeyse hiçbir zaman CS−'ye yaklaşmaz, ancak sürekli olarak CS+'ya yaklaşır. Bu nedenle, öngörücünün hemen ardından gelen fazik DA sinyali, yanıtın yokluğunda bile mevcut olduğundan, yaklaşma yanıtının üretilmesinde nedensel bir rol oynamayabilir. Uyaran-ödül olasılığını öğrenmek için böyle bir sinyalin hala gerekli olup olmadığı belirsizliğini koruyor, ancak CS−'ye gözlemlenen fazik yanıt, mevcut modellerin hiçbiri tarafından kesinlikle tahmin edilmiyor.

İlginç bir şekilde, yerel DA tükenmesi bu görevdeki performansı olumsuz etkiliyor (Parkinson ve arkadaşları, 2002). Hiçbir şekilde CR oluşturmayan CS−'den sonra fazik bir DA sinyali gözlemlenirken, hem fazik hem de tonik DA'nın yerel tükenme yoluyla ortadan kaldırılması, CR'lerin performansını bozar. Böyle bir model, Pavlovian CR'nin performansı için accumbens'teki fazik bir DA sinyalinin gerekli olmadığını, ancak öğrenmede bir rol oynayabileceğini, daha yavaş, daha tonik bir DA sinyalinin (muhtemelen tükenme çalışmalarında kaldırılmış) performans için daha önemli olduğunu göstermektedir. yaklaşma tepkisinin (Cagniard ve diğerleri, 2006; Yin ve diğerleri, 2006b; Niv ve arkadaşları, 2007). Bu olasılık test edilmeyi bekliyor.

Öğrenmede fazik DA sinyalinin nedensel bir rolü olduğuna dair doğrudan bir kanıt bulunmamasına rağmen, 'tahmin hatası' hipotezi yine de çok dikkat çekmiştir çünkü bu, tam olarak öne çıkan öğrenme modellerinde kullanılan öğretme sinyali türüdür. Rescorla-Wagner modeli ve onun gerçek zamanlı uzantısı gibi zamansal fark takviyeli öğrenme algoritması (Schultz, 1998b). Bu yoruma göre iştah açıcı öğrenme, alınan ve beklenen ödül arasındaki (veya geçici olarak birbirini izleyen iki ödül tahmini arasındaki) farkla belirlenir. Böyle bir öğretme sinyali, ödülün tüm yordayıcılarından gelen olumsuz geri bildirimlerle düzenlenir (Schultz, 1998b). Belirleyiciyi hiçbir ödül takip etmezse, DA nöronlarının aktivitesinde bir düşüş olarak olumsuz geri bildirim mekanizmasının maskesi düşer. Dolayısıyla öğrenme, tahmin hatasının aşamalı olarak azaltılmasını içerir.

Bu modellerdeki öğretme sinyalinin zarafeti belki de bazılarını anatomik gerçeklikten uzaklaştırmıştır. Tarafından yapılan çalışmada Day ve diğerleri (2007)Accumbens'teki DA sinyali çoğunlukla VTA'daki hücrelerden geliyor, ancak tamamen farklı anatomik bağlantıya sahip diğer DA hücrelerinin aynı yanıt profilini göstermesi ve aynı sinyali sağlaması pek olası görünmüyor. DA hücreleri tamamen farklı işlevlere sahip farklı striatal bölgelere projekte olduğundan ve sırasıyla farklı striatal bölgelerden de farklı negatif geri bildirim sinyalleri aldığından, DA hücrelerinin sinyalinde bir gradyan daha olasıdır (Joel ve Weiner, 2000; Wickens ve diğerleri, 2007). Dopamin salınımını düzenleyen presinaptik reseptörlerin yanı sıra alım ve bozunma mekanizmaları da striatum boyunca önemli farklılıklar göstermektedir.Cragg ve diğerleri, 2002; Pirinç ve Cragg, 2004; Wickens ve diğerleri, 2007; Pirinç ve Cragg, 2008).

Bu nedenle, mesoaccumbens yolunun Pavlovian öğrenmede, durumların ve uyaranların değerinin kazanılmasında daha sınırlı bir rol oynadığını, oysa nigrostriatal yolun, eylemlerin değerlerinin kazanılmasında araçsal öğrenme için daha önemli olduğunu öneriyoruz. TAslında fazik DA sinyali, şu anda varsayıldığı gibi tek bir tahmin hatası yerine farklı tahmin hatalarını kodlayabilir. Üç satırlık kanıt bu iddiayı desteklemektedir. Birincisi, nigrostriatal yolda DA'nın genetik tükenmesi, enstrümantal eylemlerin edinilmesini ve performansını bozar, oysa mezolimbik yolda DA'nın tükenmesi bu durumu bozmaz.Sotak ve diğerleri, 2005; Robinson ve diğerleri, 2007). İkincisi, SNc'deki DA hücreleri, hedef striatal bölgelerindeki hücrelere benzer şekilde eylemlerin değerini kodlayabilir (Morris ve diğerleri, 2006). Üçüncüsü, nigrostriatal projeksiyonun DLS'ye seçici lezyonu alışkanlık oluşumunu bozar (Faure ve diğerleri, 2005).

Palmiter ve meslektaşları tarafından yapılan son çalışma, genetiği değiştirilmiş DA eksikliği olan farelerin enstrümantal öğrenme ve performansta ciddi şekilde bozulduğunu, ancak performanslarının ya L-DOPA enjeksiyonu ya da nigrostriatal yola viral gen transferi yoluyla eski haline getirilebileceğini gösterdi.Sotak ve diğerleri, 2005; Robinson ve diğerleri, 2007). Buna karşılık, enstrümantal davranışı yeniden sağlamak için ventral striatumdaki DA restorasyonu gerekli değildi. DA sinyallerinin araçsal öğrenmeyi nasıl mümkün kıldığı açık bir soru olarak kalsa da, açık bir olasılık, kendi kendine başlatılan eylemlerin değerini, yani belirli bir eylem şekli göz önüne alındığında ne kadar ödülün tahmin edildiğini kodlayabilmesidir.

Dorsal striatum bir bütün olarak beyindeki DA reseptörlerinin en yüksek ifadesini içerir ve en yoğun dopaminerjik projeksiyonu alır.. DMS'ye DA projeksiyonu, öğrenmede DLS'ye projeksiyondan farklı bir rol oynayabilir, çünkü bu iki bölge, DA salınımının, alımının ve bozulmasının zamansal profilinde önemli ölçüde farklılık gösterir.Wickens ve diğerleri, 2007). Medial SNc'den DMS'ye DA projeksiyonunun eylem-sonuç öğrenimi için kritik olduğunu, lateral SNc'den DLS'ye DA projeksiyonunun alışkanlık oluşumu için kritik olduğunu varsayıyoruz. Bunun doğru olması durumunda, SNc'deki DA hücrelerinin, CS'ye dayalı olandan ziyade, kendi kendine oluşturulan eylemlere dayalı ödül tahminindeki hatayı (araçsal tahmin hatası) kodlaması beklenmelidir. Bu iddiayı destekleyen ön kanıtlar, Morris ve arkadaşlarının enstrümantal öğrenme görevi sırasında SNc nöronlarından kayıt yapan yakın tarihli bir çalışmasından gelmektedir (Morris ve diğerleri, 2006). Maymunlar, ayrımcı bir uyarana yanıt olarak kollarını hareket ettirmek üzere eğitildi (S)^D) uygun hareketi ve ödül olasılığını gösterdi. S^D belirli bir eylemin beklenen ödül olasılığına dayalı olarak eylem değerine karşılık gelen DA nöronlarında fazik aktivite ortaya çıkardı. En ilginç olanı, DA'nın S'ye yanıtı olmasına rağmen^D Eylem değeriyle birlikte artan bu durumun tersi, ödülün kendisine verilen DA tepkisi için de geçerliydi; bu, bu nöronların bu değerle ilişkili bir tahmin hatasını kodladığı fikriyle tutarlıydı. Şaşırtıcı olmayan bir şekilde, bu hücrelerin birincil striatal hedefi olan kaudat çekirdeğin, eylem değerlerini kodlayan nöronlar içerdiği bilinmektedir.Samejima ve diğerleri, 2005). Bununla birlikte, bu çalışmanın, eylemlerin değerini açık bir şekilde değerlendiren davranışsal görevleri kullanmadığına dikkat edilmelidir. Modelimizin açık bir tahmini, açık bir S'nin yokluğunda bile fazik DA aktivitesinin eylemlerin performansına eşlik edeceğidir.^D. Örneğin, kendi kendine başlatılan ve ödül kazandıran bir eylem sırasında nigral DA nöronlarının patlamayla ateşleneceğini öngörüyoruz.

Bizim görüşümüze göre, mesoaccumbens DA sinyali CS'nin değerini yansıtırken, nigrostriatal sinyal, belki de DMS'ye yansıyan nöronlardan gelen, eylemin değerini yansıtır, veya herhangi bir S'nin^D bu değeri tahmin ediyor. Üstelik hem araçsal hem de Pavlovcu öğrenme, etkili öğretim sinyalini kontrol etmek için bir tür olumsuz geri bildirim içeriyor gibi görünüyor. Aslında striatumdan orta beyindeki DA nöronlarına doğrudan projeksiyonlar (Şekil 2) uzun zamandır bu tür olumsuz geri bildirimlerin sinirsel uygulaması olarak önerilmiştir (Houk ve diğerleri, 1995) ve engelleyici girdinin gücü ve doğası bölgeden bölgeye önemli ölçüde değişebilir.

  

Şekil 2

Kortiko-bazal gangliyon ağları

Mevcut modellere göre tahmin hatası, ne kadar öğrenmenin gerçekleşeceğini belirleyen bir öğretme sinyalidir. Var olduğu sürece öğrenme devam eder. Bu iddia ne kadar açık görünürse görünsün, eylem değeri için bir tahmin hatası, sözdizimsel olarak Pavlov'un tahmin hatasına benzese de, kapsamlı bir şekilde incelenmemiş benzersiz özelliklere sahiptir. Rescorla-Wagner modeli gibi, yalnızca Pavlov koşullandırmasını ele alan (sınırlı başarıya rağmen) geleneksel modellerde temel özellik, tahmin hatasını düzenleyen olumsuz geri bildirimdir. Bu çıktı elde edilen tahmini, daha özel olarak ise toplam tipik olarak deneylerin engellenmesinde kullanılan bileşik uyaranların yakaladığı tüm mevcut tahmin edicilerin (Rescorla, 1988). Bu sınıftaki modellerin başlıca yeniliği, küresel bir hata terimi oluşturmak için mevcut öngörücülerin toplanmasıdır. Bununla birlikte, araçsal eylemler için bireysel hata terimleri daha olası görünmektedir, çünkü aynı anda yalnızca bir eylem gerçekleştirilebildiğinde olumsuz geri bildirimin birden fazla eylemin değerini aynı anda nasıl sunacağını görmek zordur. Elbette bir dizi olası çözüm mevcuttur. Örneğin, belirli bir durum verildiğinde (farklı bir S tarafından deneysel olarak uygulanmıştır)^D), olası eylem gidişatları aslında eş zamanlı olarak edinilmiş tahminler olarak temsil edilebilir. Ancak araçsal tahmin hatalarıyla ilgili temel zorluk, eylemin doğasıyla ilgilidir. Pavlovcu bir tahmin, organizmadan bağımsız olarak uyaranın sunumunu otomatik olarak takip eder. Araçsal bir tahmin hatası, kontrol unsurunu ele almalıdır, çünkü tahminin kendisi eyleme bağlıdır ve kasıtlı bir eylem, önceki uyaranlarla ortaya çıkmak yerine, hayvanların eylemin sonuçlarını takip etmesine dayalı olarak kendiliğinden ortaya çıkar. Sonuçta, hem sinirbilimde hem de psikolojide, Pavlovcu ve araçsal öğrenme süreçleri arasındaki ayrımı ve ilgili tahmin hatalarının doğasını bulanıklaştıran şey, hedefe yönelik eylemlerin kendiliğinden doğasının genel olarak ihmal edilmesidir. Bu nedenle, eğer varsa, ne tür bir negatif geri besleme sinyalinin eylem değerlerinin edinilmesini düzenlediği henüz belirlenmemiştir (Dayan ve Balleine, 2002).

Son olarak, son çalışmalar ayrıca lateral SNc'den DLS'ye nigrostriatal projeksiyonun özellikle alışkanlık oluşumunda rol oynadığını da ortaya koydu. Faure ve arkadaşları, 6-OHDA kullanarak DLS'ye projeksiyon yapan DA hücrelerini seçici olarak lezyonladılar ve bu manipülasyonun, sonuç devalüasyonu kullanılarak ölçüldüğü gibi alışkanlık oluşumunu bozsa da, kaldıraca basma oranı üzerinde şaşırtıcı derecede az etkiye sahip olduğunu buldular (Faure ve diğerleri, 2005). Yani, lezyonlu hayvanlar, bir kontrol grubunda eğitimin, sonucun değersizleştirilmesine duyarsız alışılmış davranışlar oluşturmasına rağmen hedefe yönelik bir şekilde tepki verdi. Yerel DA tükenmesi, her iki manipülasyonun da alışkanlık oluşumunu geciktirmesi ve hedefe yönelik eylemlerin kazanılmasını desteklemesi açısından DLS'nin eksitotoksik lezyonlarına benzer.Yin ve arkadaşları, 2004). Alışkanlık oluşumu için kritik olan fazik bir DA sinyali, Hull ve Spence'in çalışmalarından esinlenen çağdaş zamansal fark takviyeli öğrenme algoritmalarındaki etkili takviye sinyali tarafından zaten iyi tanımlanmıştır (Gövde, 1943; Spence, 1947, 1960; Sutton ve Barto, 1998).

Kortiko-bazal ganglion ağları

Şu ana kadar striatum içindeki işlevsel heterojenliği tartıştık, ancak herhangi bir striatal alanın, örneğin eylem-sonuç olumsallığını tek başına bir eylemin gerçekleştirilmesine dönüştürebileceğini öne sürmek yanıltıcı olacaktır. Daha ziyade serebral hemisferler, kortiko-bazal gangliyon ağlarından oluşan yinelenen fonksiyonel birimler olarak organize edilir.Swanson, 2000; Zahm, 2005). TTüm bazal gangliyonların giriş istasyonu olan striatum, kortiko-bazal gangliyon ağ motifinde kortikal, talamik ve orta beyin girdilerini entegre edebilen benzersiz bir merkez görevi görür.. Yukarıda açıklandığı gibi, sürekli bir yapı olmasına rağmen, farklı striatal bölgelerin farklı fonksiyonel ağlara katıldığı görülmektedir; örneğin akümbens, limbik ağda bir merkez görevi görür ve duyu-motor ağda DLS gibi davranır. Bununla birlikte, bu tür ağların yeniden girme özelliği nedeniyle, bu yapının hiçbir bileşeni mutlak anlamda yukarı veya aşağı yönde değildir; örneğin talamokortikal sistem hem striatuma önemli bir girdinin kaynağı hem de hem striato-pallidal hem de striato-nigral yolların hedefidir.

Her ne kadar paralel reentrant bazal gangliyon döngüleri uzun süredir biliniyorsa da (Alexander ve diğerleri, 1986), operasyonel olarak tanımlanmış temsili yapılara ve bütünleştirici davranışların üretilmesinde devreler arasındaki etkileşimlere dayalı olarak bu devrelerin farklı işlevsel rollerini vurguluyoruz. Bu temelde, bu türden en az dört ağ ayırt edilebilir: sırasıyla accumbens'in kabuğunu ve çekirdeğini içeren limbik ağlar, birleştirici striatumu (DMS) içeren birleştirici ağ ve duyusal motor striatumu (DLS) içeren duyu-motor ağı. İşlevleri, iştah açıcı Pavlovian UR'lerin ve CR'lerin kontrolüne aracılık etmekten araçsal eylemlere kadar uzanır (Şekil 1).

  

Şekil 1

Striatumun başlıca fonksiyonel alanları. Beynin yarısını gösteren koronal kesitten striatumun bir resmi (Paxinos ve Franklin, 2003). Bu dört işlevsel alanın anatomik olarak sürekli olduğuna ve kabaca neye karşılık geldiğine dikkat edin. ...

Daha önce de belirtildiği gibi, ventral striatum çoğunlukla, her biri ayrı bir işlevsel ağa katılan, kabuk ve çekirdeğe bölünebilen akümbens çekirdeğinden oluşur. Kabuktaki kortikal (glutamaterjik) projeksiyonlar infralimbik, merkezi ve lateral yörünge kortekslerinden kaynaklanırken, çekirdeğe olan projeksiyonlar ventral ve dorsal prelimbik ve anterior singulat korteksler gibi prefrontal korteksin daha dorsal orta hat bölgelerinden kaynaklanır.Groenewegen ve diğerleri, 1990; Zahm, 2000, 2005). Bu işlev ağları içerisinde yukarıda incelenen kanıtlar, kabuğun ödüllere yönelik UR'lerde ve tamamlayıcı CR'lerin edinilmesinde yer aldığını göstermektedir; Keşif davranışının özü, özellikle de Pavlov'cu yaklaşım yanıtlarının edinilmesi ve ifade edilmesi. O halde, daha geniş ventral veya limbik kortiko-bazal gangliya ağı içinde en az iki ana ağ ayırt edilebilir; biri tamamlayıcı, diğeri hazırlık davranışları ve bunların Pavlovian koşullandırmayla değiştirilmesi için.Şekil 1).

Dorsal striatum da benzer şekilde her biri ile ilişkili farklı bir fonksiyonel ağ ile birlikte assosiyatif ve duyusal-motor olmak üzere en az iki ana bölgeye bölünebilir. İlişkisel striatum (primatlarda kaudat ve anterior putamenlerin bazı kısımları), tepkiye bağlı ödüllerin beklentisiyle ateşlenen ve beklenen ödülün büyüklüğüne göre ateşlenmelerini değiştiren nöronları içerir.Hikosaka ve diğerleri, 1989; Hollerman ve diğerleri, 1998; Kawagoe ve diğerleri, 1998). İlişkisel ağda, prefrontal ve parietal asosiasyon korteksleri ve bunların DMS'deki hedefleri, hem sonuç beklentileri biçiminde ileriye dönük, hem de son eferans kopyalarının bir kaydı olarak geriye dönük olarak geçici belleğe dahil olur.Konorski, 1967). Sensorimotor seviyesi ise duyu-motor korteksleri ve bunların bazal ganglionlardaki hedeflerini içerir. Bu devrenin çıktıları motor kortekslere ve beyin sapı motor ağlarına yönlendirilir. Sensorimotor striatumdaki nöral aktivite genellikle ödül beklentisiyle modüle edilmez ve ilişkisel striatumdaki nöronlardan daha fazla hareketle ilişkili aktivite sergiler.Kanazawa ve diğerleri, 1993; Kimura ve diğerleri, 1993; Costa ve diğerleri, 2004). Son olarak, medial-lateral eğime ek olarak, dorsal striatumun ön-arka ekseni boyunca önemli fonksiyonel heterojenlik vardır, ancak şu anda ayrıntılı bir sınıflandırmaya izin verecek yeterli veri mevcut değildir (1).Yin ve diğerleri, 2005b).

Çalışmalar şu ana kadar yalnızca bu ağların kortikal ve striatal bileşenlerine odaklandı. Genel olarak kortikal bölgedeki lezyonlar, striatal hedefindeki lezyonlarla benzer etkilere sahiptir.Balleine ve Dickinson, 1998; Corbit ve Balleine, 2003; Yin ve diğerleri, 2005b). Ancak ağdaki diğer bileşenler de benzer işlevleri yerine getirebilir. Örneğin, ilişkisel ağın bir bileşeni olan talamusun mediodorsal çekirdeğindeki lezyonların, DMS ve prelimbik korteksteki lezyonlarla hemen hemen aynı şekilde sonuç devalüasyonuna ve beklenmedik bozulmaya karşı duyarlılığı ortadan kaldırdığı bulunmuştur.Corbit ve diğerleri, 2003). Bu nedenle genel modelimiz, bir ağın her bir bileşenindeki hasardan sonra benzer davranışsal eksiklikleri tahmin etse de, aynı zamanda pallidum veya talamus gibi herhangi bir yapı için birden fazla işlevsel alan olduğunu da öne sürer.

Ağlar arasındaki etkileşim

Çoğu durumda, Pavlovcu ve araçsal öğrenmenin paralel olarak gerçekleştiği görülmektedir. Ancak PIT gibi olaylar, normalde farklı olan bu süreçlerin ne ölçüde etkileşime girebileceğini göstermektedir. Bağımsız işlevsel sistemleri tanımladıktan sonraki adım, bu sistemlerin davranışı oluşturmak için nasıl koordine edildiğini anlamaktır. Son zamanlarda yapılan anatomik çalışmalara uygun olarak ilgi çekici bir öneri, yukarıda özetlenen ağların hiyerarşik olarak organize edilmiş olması, her birinin hiyerarşide kararsız, işlevsel bir aracı görevi görmesi ve bilginin bir seviyeden diğerine yayılmasına izin vermesidir. Özellikle, striatum ve orta beyin arasında yakın zamanda keşfedilen sarmal bağlantılar, ağlar arasındaki etkileşimleri potansiyel olarak gerçekleştirebilecek anatomik bir organizasyonu akla getirmektedir.Şekil 2). Haber ve meslektaşlarının gözlemlediği gibi, striatal nöronlar, karşılıklı DA projeksiyonları aldıkları DA nöronlarına doğrudan inhibitör projeksiyonlar gönderir ve ayrıca DA nöronlarına da projeksiyon yapar ve bu da daha sonra farklı bir striatal alana projeksiyon yapar (Haber ve diğerleri, 2000). Bu projeksiyonlar, bilginin limbik ağlardan çağrışımsal ve duyu-motor ağlara kadar yalnızca tek bir yönde ileri beslemeli yayılmasına izin verir. Örneğin, bir Pavlov öngörüsü (CS'nin elde edilen değeri), limbik seviyedeki etkili öğretme sinyalini azaltırken tesadüfen bir sonraki seviyedeki DA sinyalini güçlendirebilir. Etkili öğretme sinyalinin iptali normalde, örneğin GABAerjik orta dikenli projeksiyon nöronlarından striatumdan DA nöronlarına kadar inhibitör bir projeksiyon aracılığıyla negatif bir geri besleme sinyali ile gerçekleştirilir. Bu arada, anatomik organizasyonun önerdiği gibi (Haber ve diğerleri, 2000; Haber, 2003), komşu kortiko-bazal ganglion ağı (hiyerarşideki bir sonraki seviye) için DA sinyalinin güçlendirilmesi, engelleyici projeksiyonlar (yani GABAerjik striatal projeksiyon nöronlarından nigral GABAerjik internöronlardan DA nöronlarına) yoluyla uygulanabilir. Böylece, limbik ağın öğrenilen değeri ilişkisel ağa aktarılarak davranışsal adaptasyonun her yinelemede iyileştirilmesine ve güçlendirilmesine olanak sağlanır.Ashby, 1960). Dolayısıyla bu model, çeşitli verilerle desteklenen bir öneri olarak, öğrenmenin farklı aşamaları sırasında farklı sinir ağlarının aşamalı olarak dahil edilmesini öngörür (Jueptner ve diğerleri, 1997b; Miyachi ve diğerleri, 1997; Miyachi ve diğerleri, 2002; Yin, 2004; Everitt ve Robbins, 2005; Yin ve Knowlton, 2005; Belin ve Everitt, 2008).

PIT gibi farklı fonksiyonel süreçlerin etkileşimini gerektiren olaylar, bu tür modeller için verimli bir test alanı sağlar. Aslında hiyerarşik model, PIT ile ilgili son deneysel bulgularla uyumludur. Modele göre, Pavlovian-enstrümantal etkileşimlere striatum ve DA nöronları arasındaki karşılıklı bağlantılar aracılık ediyor. DA, DA antagonistleri ve VTA'nın lokal inaktivasyonu ile ortadan kaldırılan genel transfer için kritik öneme sahip gibi görünmektedir (Dickinson ve arkadaşları, 2000; Murschall ve Hauber, 2006); oysa muhtemelen DA seviyelerini arttıran amfetaminin akümbenslere lokal infüzyonu onu önemli ölçüde artırabilir (Wyvell ve Berridge, 2000). Öte yandan ventral striatal dopaminin spesifik transferdeki rolü daha az açıktır. Bazı kanıtlar, VTA'nın etkisiz hale getirilmesinden sonra korunabileceğini öne sürüyor (Corbit ve diğerleri, 2007) ancak Corbit ve Janak (2007) Yakın zamanda rapor edilen bir raporda, DLS'nin etkisizleştirilmesiyle spesifik transferin ortadan kaldırıldığı, bu da eylem seçimi üzerindeki uyaran kontrolünün bu yönünün nigrostriatal projeksiyonu içerebileceğini düşündürmektedir (Corbit ve Janak, 2007). Hiyerarşik bakış açısına katılarak, Corbit ve Janak (2007) ayrıca, DLS inaktivasyonunun Palovian ipuçlarının seçici uyarıcı etkisini ortadan kaldırdığını da buldu (bu, accumbens kabuğu lezyonlarından sonra gözlemlendiği gibi). Corbit ve diğerleri, 2001), DMS'nin etkisizleştirilmesi, transferin yalnızca sonuç seçiciliğini ortadan kaldırırken, bu ipuçlarının genel uyarıcı etkisini koruyormuş gibi görünür; bu eğilim, aynı zamanda ilişkisel kortiko-bazal ganglion ağının bir parçası olan mediodorsal talamus lezyonlarından sonra da gözlemlenmiştir (10).Ostlund ve Balleine, 2008). Bu ön sonuçlara dayanarak, DMS yalnızca spesifik transfere aracılık ediyor gibi görünürken, DLS, Pavlovian ipuçlarının araçsal eylemler üzerindeki hem spesifik hem de genel uyarıcı etkileri için gerekli olabilir.

İlginç bir şekilde, limbik striatum, dorsal striatuma uzanan DA hücrelerine geniş ölçüde projekte olur.Nauta ve diğerleri, 1978; Nauta, 1989); striatuma dopaminerjik projeksiyonlar ve orta beyne geri uzanan striatal projeksiyonlar oldukça asimetriktir (Haber, 2003). Limbik striatum, DA nöronlarından sınırlı girdi alır ancak çok daha fazla sayıda DA nöronuna kapsamlı çıktı gönderir ve duyusal motor striatum için bunun tersi doğrudur. Böylece limbik ağlar, ilişkisel ve duyu-motor ağları kontrol etmek için mükemmel bir konumdadır. Burada nöroanatomi, Pavlov'un araçsal davranışı kolaylaştırmasının tersinden çok daha güçlü olduğuna dair davranışsal verilerle aynı fikirdedir; gerçekten de önemli kanıtlar, araçsal eylemlerin Pavlovian CR'leri heyecanlandırmak yerine engelleme eğiliminde olduğunu ileri sürüyor; bu, hala nörobiyolojik bir açıklama bekleyen bir bulgudur (Ellison ve Konorski, 1964; Williams, 1965).

Sonuç

Burada tartışılan hiyerarşik modelin, yalnızca kortekse ve kortikal alanlar arasındaki uzun mesafeli bağlantılara dayanan diğerlerinden çok farklı olduğu belirtilmelidir.Fuster, 1995). Beyni, belirsiz bir şekilde çok çeşitli bilişsel işlevleri uygulayan bir kortikal modüller karışımı olarak görmek yerine, beynin bilinen bileşenlerini ve bağlantısını birleştirir. Aynı zamanda 19'dan miras kalan varsayımlardan da kaçınır.^th yüzyıl nörolojisine göre, genel olarak serebral korteks ve özel olarak da prefrontal korteks, bir şekilde beynin tamamını kontrol eden 'daha yüksek' bir homuncular birim oluşturur. (Miller ve Cohen, 2001).

Ayrıca, mevcut modelden çeşitli spesifik tahminler türetilebilir: (i) Kendi kendine üretilen eylemler ve farklı sinirsel substratları ve fonksiyonel rollerini yansıtan özelliklere sahip durumlar/uyarılar için farklı tahmin hataları olmalıdır. (ii) Her bir ayrı kortiko-bazal ganglion ağının pallidal ve talamik bileşenlerinin, yalnızca kortikal ve striatal bileşenler için değil, her ağ için varsayılan davranışsal kontrol tipi için de gerekli olması beklenmektedir. (iii) Öğrenmenin farklı aşamalarında farklı sinir ağlarının aşamalı olarak katılımı olmalıdır. (iv) Accumbens aktivitesi doğrudan DA nöronlarını ve dolayısıyla dorsal striatal aktiviteyi kontrol edebilir. tarafından hazırlanan bir rapora dayanarak Holland (2004) PIT'in enstrümantal eğitimle arttığını öne sürerek, ilişkisel ve duyusal-motor ağların bu 'limbik' kontrolünün genişletilmiş eğitimle güçlendirilmesi bekleniyor.

Ayrıntılı veriler olmadan hiyerarşik modelin resmi bir açıklamasını sunmak için henüz çok erken. Bununla birlikte, yukarıdaki tartışma, mesoaccumbens ödül hipotezinin mevcut versiyonlarının, ödül sürecinin doğası ve yetersiz davranışsal önlemlerin kullanımı hakkındaki sorunlu varsayımlara dayandığını açıkça ortaya koymalıdır. Her zaman bilimsel girişimin hedefi olan birleştirici ilkeler, ne kadar hantal olursa olsun, yalnızca deneysel verilerin gerçekliğine dayandırılabilir. Beynin işlevi sonuçta davranışın üretilmesi ve kontrol edilmesi olduğundan, ayrıntılı davranışsal analiz, nöral süreçleri anlamanın anahtarı olacaktır; tıpkı doğuştan gelen ve edinilen bağışıklığın kapsamlı bir tanımının bağışıklık sisteminin aydınlatılmasına izin vermesi gibi. Her ne kadar gerçek gibi görünse de, beyin mekanizmalarını, işlevleri kesin bir şekilde tanımlandığı ve ölçüldüğü ölçüde anlayabileceğimizi ne kadar vurgulasak azdır. Nöral fonksiyonun incelenmesi, örneğin eylem-sonuç ve uyaran-sonuç olasılıklarının temsili gibi deneysel olarak belirlenmiş psikolojik kapasitelere dayandığında, bilinen anatomik organizasyon ve fizyolojik mekanizmalar yeni bir ışık altında görülmekte ve yeni formüllerin formüle edilmesine yol açmaktadır. hipotezler ve yeni deneylerin tasarımı. Bu yönde bir ilk adım olarak, burada tartışılan çerçevenin gelecekteki araştırmalar için yararlı bir başlangıç ​​noktası olarak hizmet edeceğini umuyoruz.

Teşekkürler

Referanslar