Çevrimiçi olarak 14 Mayıs 2018 tarihinde yayınlandı. doi: 10.1038/s41593-018-0152-y
Özet
Dopamin hem öğrenme hem de motivasyon için kritik bir modülatördür. Bu bir problem sunar: Hedef hücreler, artan dopaminin öğrenmek ya da hareket etmek için bir sinyal olup olmadığını nasıl bilebilir? Genellikle motivasyonun yavaş (“tonik”) dopamin değişiklikleri içerdiği varsayılırken, hızlı (“fazik”) dopamin dalgalanmaları öğrenme için ödül tahmin hatalarını iletir. Yine de yakın zamanda yapılan çalışmalar, dopaminin motivasyonel değer taşıdığını ve ikinci saniye zaman çizelgelerinde bile hareketi teşvik ettiğini göstermiştir. Burada dopaminin devam eden davranışı nasıl düzenlediğine dair alternatif bir hesap açıklarım. Motivasyonla ilgili dopamin salınımı, dopamin terminallerinde, dopamin hücre ateşlemesinden bağımsız olarak reseptörler tarafından hızlı ve lokal olarak şekillendirilir. Hedef nöronlar ani olarak öğrenme ve performans modları arasında geçiş yapar ve bir aday anahtar mekanizması sağlayan striatal kolinerjik internöronlarla birlikte. Dopaminin davranışsal etkisi alt bölgeye göre değişir, ancak her durumda dopamin, enerji, dikkat veya zaman gibi sınırlı bir iç kaynağı harcamayı hak edip etmediğinin dinamik bir tahminini sağlar.
Dopamin öğrenme, motivasyon ya da her ikisi için bir sinyal midir?
Dopamin hakkındaki anlayışımız geçmişte değişti ve bir kez daha değişiyor. Kritik bir ayrım, dopaminin mevcut davranış (performans) üzerindeki etkileri ile gelecekteki davranış (öğrenme) üzerindeki etkileri arasındadır. Her ikisi de gerçek ve önemlidir, ancak çeşitli zamanlarda biri tercih edilirken diğeri edilmemiştir.
(70'lerde) dopamin yollarının seçici ve tam lezyonlarının gerçekleştirilmesi mümkün hale geldiğinde, bunun bariz davranışsal sonucu hareketlerde ciddi bir azalma oldu¹ . Bu, insanlarda ileri Parkinson hastalığı, toksik ilaçlar veya ensefalit nedeniyle ortaya çıkan dopamin kaybının akinetik etkileriyle örtüşüyordu² . Ancak ne sıçanlarda ne de insanlarda temel bir hareket yetersizliği görülmemektedir. Dopamin lezyonlu sıçanlar soğuk suda yüzer³ ve akinetik hastalar yangın alarmı çaldığında kalkıp koşabilirler ("paradoksal" kinezi). Ödülleri takdir etmede de temel bir eksiklik yoktur: Dopamin lezyonlu sıçanlar ağızlarına konulan yiyecekleri tüketir ve bundan zevk aldıklarına dair işaretler gösterirler⁴ . Aksine, aktif olarak ödül elde etmek için çaba göstermeyi tercih etmezler. Bu ve diğer birçok sonuç, dopamin ve motivasyon arasında temel bir bağlantı kurmuştur⁵ . Parkinson hastalığının daha hafif vakalarında gözlemlenen hareket yavaşlaması bile, daha hızlı hareketler için gereken enerjiyi harcamaya değmeyeceğine dair örtük kararları yansıtan bir motivasyon eksikliği olarak değerlendirilebilir 6.
Daha sonra (80'lerde) davranış sergileyen maymunlarda dopamin nöronlarının öncü kayıtları yapıldı (beynin ön kısmına uzanan orta beyin bölgelerinde: ventral tegmental alan, VTA / substantia nigra pars compacta, SNc). Gözlemlenen ateşleme modelleri arasında, anlık hareketleri tetikleyen uyaranlara karşı kısa süreli aktivite patlamaları vardı. Bu "fazik" dopamin ateşlemesi başlangıçta "davranışsal aktivasyonu" 7 ve "motivasyonel uyarılmayı" 8 desteklediği şeklinde yorumlandı ; başka bir deyişle, hayvanın mevcut davranışını canlandırdığı şeklinde.
90'lı yıllarda, fazik dopamin patlamalarının ödül tahmin hatalarını (RPE'ler 9 ) kodlayan unsurlar olarak yeniden yorumlanmasıyla radikal bir değişim yaşandı. Bu, önemli bir gözleme dayanıyordu: Dopamin hücreleri, gelecekteki ödülle ilişkili beklenmedik uyaranlara yanıt verir, ancak bu uyaranlar beklenir hale gelirse genellikle yanıt vermeyi bırakırlar 10. RPE fikri, daha önceki öğrenme teorilerinde ve özellikle o zamanlar gelişmekte olan bilgisayar biliminin pekiştirmeli öğrenme alanında ortaya çıkmıştır 11. Bir RPE sinyalinin amacı, değerleri (gelecekteki ödüllerin tahminlerini) güncellemektir . Bu değerler daha sonra, ödülü en üst düzeye çıkaran seçimler yapmaya yardımcı olmak için kullanılır. Dopamin hücresi ateşlemesi RPE'lere benzediğinden ve RPE'ler öğrenme için kullanıldığından, dopaminin öğrenmedeki rolünü vurgulamak doğal hale geldi. Daha sonraki optogenetik manipülasyonlar, RPE kodlayan hücrelerin dopaminerjik kimliğini doğruladı 12 , 13 ve gerçekten de öğrenmeyi modüle ettiklerini gösterdi 14 , 15.
Dopaminin bir öğrenme sinyali sağladığı fikri, dopaminin birincil ön beyin hedefi olan striatumda sinaptik plastisiteyi modüle ettiği literatürüyle mükemmel bir şekilde örtüşmektedir. Örneğin, striatal dendrit dikeninin glutamat uyarımı, postsinaptik depolarizasyon ve dopamin salınımının üçlü eş zamanlılığı, dikenin büyümesine neden olur 16. Uzun süreli öğrenme mekanizmalarının dopaminerjik modülasyonu, striatal dopamin salınımını artırma özelliğini paylaşan bağımlılık yapıcı ilaçların kalıcı davranışsal etkilerini açıklamaya yardımcı olur 17. Dopamin kaybıyla ortaya çıkan derin akinezi bile kısmen bu tür öğrenme mekanizmalarıyla açıklanabilir 18. Dopamin eksikliği, eylemlerin değerlerini kademeli olarak sıfıra doğru güncelleyen sürekli negatif bir RPE olarak ele alınabilir. Davranış üzerinde benzer ilerleyici, sönme benzeri etkiler, dopamin antagonistleri tarafından da üretilebilir 19 , 20.
Ancak dopaminin devam eden motivasyonda kritik bir rol oynadığı fikri hiçbir zaman ortadan kalkmadı; aksine, davranışsal nörobilimciler tarafından yaygın olarak kabul görmektedir. Bu, dopaminin motivasyon/hareket/canlanmadaki işlevlerinin öğrenmeden ayrılabildiğine dair güçlü kanıtlar göz önüne alındığında uygundur 15 , 20 – 23 . Daha az takdir edilen ise, bu motivasyonel rolü, DA'nın bir RPE öğrenme sinyali sağladığı teorisiyle uzlaştırmanın zorluğudur.
Motivasyon “ileriye bakar”: mevcut davranışa uygun şekilde enerji vermek için gelecekteki ödül (değerler) tahminlerini kullanır. Buna karşılık, öğrenme son zamanlarda devletlere ve eylemlere “geriye bakar” ve değerlerini günceller. Bunlar bir döngünün tamamlayıcı aşamalarıdır: eğer bu durumlarla yeniden karşılaşılırsa, sonra tekrar güncellenirse ve sonraki hallerde güncellenmiş değerler sonraki karar vermede kullanılabilir. Ancak, döngünün hangi aşaması dopamin ile ilgilidir - karar vermek için değerleri kullanmak (performans) veya değerleri güncellemek (öğrenme)?
Bazı durumlarda dopaminin her iki rolü de aynı anda oynadığını hayal etmek kolaydır. 24 Beklenmedik, ödül tahmin edici ipuçları, dopamin hücresi ateşlemesini ve salınımını tetikleyen arketipik olaylardır ve bu tür ipuçları tipik olarak hem davranışı canlandırır hem de öğrenmeyi tetikler ( Şekil 1 ). Bu özel durumda, hem ödül tahmini hem de ödül tahmin hataları aynı anda artar – ancak bu her zaman böyle değildir. Sadece bir örnek olarak, insanlar ve diğer hayvanlar, şaşırtıcı bir şey olmasa bile ödüller için çalışmaya motive olurlar. Ödüle yaklaştıkça daha da çok çalışabilirler (ödüller yaklaştıkça değer artar). Önemli olan nokta, öğrenme ve motivasyonun kavramsal, hesaplamalı ve davranışsal olarak farklı olmasıdır – ve yine de dopamin her ikisini de yapıyor gibi görünmektedir.
Dopamin: geçmişi güncellemek, bugünü canlandırmak.
Üstte , oklarla gösterilen daireler durumları ve bu durumlardan kaynaklanabilecek potansiyel eylemleri temsil eder. Ok genişlikleri, her bir eylemi gerçekleştirmenin öğrenilen değerlerini gösterir. Durumlar/eylemler geçmişe doğru kayboldukça, pekiştirme için giderek daha az uygun hale gelirler. Ortada , bir dopamin patlaması meydana gelir. Sonuç, mevcut durumdan elde edilebilen eylemlerin canlanması (kırmızı) ve yakın zamanda gerçekleştirilen eylemler için değer temsillerinin esnekliğidir (mor). Altta , esnekliğin sonucu olarak, bu durumlarla bir sonraki karşılaşıldığında, ilişkili değerleri artmıştır (ok genişlikleri). Tekrarlanan deneyim yoluyla pekiştirme öğrenmesi, durum uzayında "bir oluk açabilir" ve belirli yörüngeleri giderek daha olası hale getirebilir. Bu öğrenme rolüne ek olarak, dopaminin canlandırıcı, performans rolü, önceden öğrenilen yörüngeler boyunca akışı hızlandırıyor gibi görünmektedir.
Aşağıda, dopaminin hem öğrenme hem de motivasyon işlevlerini nasıl elde edebileceği hakkındaki güncel fikirleri eleştirel bir şekilde değerlendiriyorum. Üç temel gerçeğe dayanan güncellenmiş bir model öneriyorum: 1) Terminallerden dopamin salınımı sadece dopamin hücre ateşlemesinden kaynaklanmıyor, aynı zamanda yerel olarak da kontrol edilebilir; 2) dopamin, sırasıyla öğrenme ve performans için belirgin sonuçları olan, hedef hücrelerin hem sinaptik plastisitesini hem de uyarılabilirliğini etkiler; 3) Plastisite üzerindeki dopamin etkileri yakındaki devre elemanları tarafından açılabilir veya kapatılabilir. Birlikte, bu özellikler beyin devrelerinin sırasıyla öğrenme ve motivasyon için iki ayrı dopamin mesajı arasında geçiş yapmasına izin verebilir.
Farklı anlamları olan ayrı “fazik” ve “tonik” dopamin sinyalleri var mı?
Dopaminin öğrenme ve motivasyon rollerinin farklı zaman ölçeklerinde gerçekleştiği sıklıkla öne sürülmektedir 25. Dopamin hücreleri, saniyede birkaç spike ile sürekli ("tonik") olarak ateşlenir ve ara sıra kısa ("fazik") patlamalar veya duraklamalar meydana gelir. Patlamalar, özellikle dopamin hücreleri arasında yapay olarak senkronize edilirse, ön beyin dopamininde karşılık gelen hızlı artışlara neden olur 26 ve bu artışlar oldukça geçicidir (saniyenin altında bir süre 27 ). Tonik dopamin hücresi ateşlemesinin ön beyin dopamin konsantrasyonlarına ayrı katkısı daha az açıktır. Bazı kanıtlar bu katkının çok küçük olduğunu göstermektedir 28. Bu katkı , daha yüksek afiniteli D2 reseptörlerinin neredeyse sürekli uyarılmasını sağlamak için yeterli olabilir ve sistemin dopamin hücresi ateşlemesindeki kısa duraklamaları fark etmesine 29 ve bu duraklamaları negatif tahmin hataları olarak kullanmasına olanak tanıyabilir.
Mikrodiyaliz, ön beyin dopamin seviyelerini doğrudan ölçmek için yaygın olarak kullanılmıştır, ancak zamansal çözünürlüğü düşüktür (tipik olarak birçok dakika boyunca ortalama alınarak). Dopaminin bu kadar yavaş ölçümlerinin davranışla tam olarak ilişkilendirilmesi zor olabilir. Bununla birlikte, nükleus akumbens'teki (NAc; ventral/medial striatum) dopaminin mikrodiyalizi, lokomotor aktivite 30 ve diğer motivasyon göstergeleri 5 ile pozitif korelasyonlar göstermektedir . Bu, dopamin konsantrasyonunda yavaş ("tonik") değişiklikler olduğu ve bu yavaş değişikliklerin motivasyonel bir sinyal ilettiği anlamına geldiği şeklinde yaygın olarak kabul edilmiştir. Daha spesifik olarak, hesaplamalı modeller, tonik dopamin seviyelerinin uzun vadeli ortalama ödül oranını 31 izlediğini öne sürmüştür ; bu, zaman tahsisi ve yiyecek arama kararları için yararlı bir motivasyonel değişkendir. Çok az sayıda makalenin "tonik" dopamin seviyelerini açıkça tanımladığını vurgulamakta fayda var; genellikle dopamin konsantrasyonunun mikrodiyalizin çok dakikalık zaman ölçeğinde yavaşça değiştiğini varsayarlar.
Ancak bu “fazik dopamin=RPE/öğrenme, tonik dopamin=motivasyon” görüşü birçok sorunla karşı karşıyadır. Birincisi, tonik dopamin hücresi ateşlemesinin normalde yavaş zaman ölçeklerinde değiştiğine dair doğrudan bir kanıt yoktur. Tonik ateşleme oranları değişen motivasyonla değişmez 32 , 33. Tonik dopamin seviyelerinin, aktif dopamin hücrelerinin değişen oranı nedeniyle değiştiği öne sürülmüştür 34 , 35. Ancak ilaçsız, lezyonlu olmayan hayvanlarda yapılan birçok çalışmada, dopamin hücrelerinin sessiz ve aktif durumlar arasında geçiş yaptığı hiç bildirilmemiştir.
Dahası, mikrodiyalizin dopamin seviyelerini yavaş ölçmesi, dopamin seviyelerinin gerçekten yavaş değiştiği anlamına gelmez. Yakın zamanda, hem mikrodiyaliz hem de hızlı taramalı döngüsel voltametri kullanarak, sıçan NAc dopaminini olasılıksal ödül görevinde inceledik . Mikrodiyaliz ile ölçülen mezolimbik dopaminin ödül oranıyla (ödül/dakika) korelasyon gösterdiğini doğruladık. Bununla birlikte, geliştirilmiş bir mikrodiyaliz zamansal çözünürlüğü (1 dakika) ile bile dopamin, örnekleme hızımız kadar hızlı dalgalandı: Doğ inherently yavaş bir dopamin sinyaline dair hiçbir kanıt görmedik.
Hala voltammetrinin daha ince zamansal çözünürlüğünü kullanarak, ikinci saniye dopamin dalgalanmaları ile motivasyon arasında yakın bir ilişki olduğunu gözlemledik. Sıçanlar, ödülleri elde etmek için gereken eylemlerin sırasını gerçekleştirdiklerinde, dopamin yükseldi ve yükseldi, ödülü kazandıkları gibi bir zirveye ulaştı (ve tükettikçe hızla düştü). Dopaminin, beklenen gelecekteki ödül olarak tanımlanan anlık durum değeri ile güçlü bir şekilde ilişkili olduğunu, onu almak için gereken zamanın azaldığını gösterdik. Bu hızlı dopamin dinamikleri, farklı zaman ölçeklerinde ayrı dopamin sinyalleri çağırmadan mikrodiyaliz sonuçlarını açıklayabilir. Hayvanlar daha fazla ödül yaşadıkça, deneme sırasındaki her adımda gelecekteki ödüllerin beklentilerini arttırırlar. Yavaş yavaş gelişen bir ortalama ödül oranı sinyalinden ziyade, dopamin ve ödül oranı arasındaki korelasyon en iyi şekilde, bu hızla gelişen durum değerlerinin uzamış mikrodiyaliz örneği toplama süresi boyunca ortalama olarak açıklanır.
Mezolimbik dopamin salınımının bu değer yorumu, ödüle yakınlığın artmasıyla dopamin salınımının da arttığını tekrar tekrar bulan diğer araştırma gruplarının voltametrik sonuçlarıyla tutarlıdır 36 – 38 ( Şekil 2 ). Bu motivasyonel sinyal doğası gereği "yavaş" değildir, aksine sürekli bir zaman ölçeği aralığında gözlemlenebilir. Yaklaşma davranışı da birkaç saniye sürdüğünde dopamin artışları birkaç saniye sürebilir 38 , ancak bu, içsel dopamin dinamiklerinden ziyade davranışın zaman seyrini yansıtır. Mezolimbik dopamin salınımı ile dalgalanan değer arasındaki ilişki, kayıt tekniğinin izin verdiği kadar hızlı bir şekilde, yani akut voltametrik elektrotlarla ~100 ms'lik bir zaman ölçeğinde görülebilir 15.
Hızlı dopamin dalgalanmaları, dinamik olarak gelişen ödül beklentilerini gösterir.
ac) Sıçanlar beklenen ödüllere yaklaştıkça mezolimbik dopamin salınımı hızla artar. d) Gelecekteki ödülün zamansal olarak iskonto edilmiş tahminleri olarak tanımlanan değer, ödül yaklaştıkça artar. Ödülün daha büyük, daha yakın veya daha kesin olduğunu gösteren ipuçları, değerde sıçramalara neden olur. Bir andan diğerine olan bu sıçramalar, zamansal fark RPE'leridir. e) "Temel çizgileri" çıkarmak, değer ve RPE sinyallerini karıştırabilir. Solda, geleneksel temel çizgi çıkarma yöntemiyle ödül tahmin edici ipucuna (sıfır zamanında) göre hizalanmış dopamin, ödül daha az beklendiğinde dopaminin daha yüksek seviyelere sıçradığını (kahverengi) ve bir RPE sinyaline benzediğini göstermektedir. Sağda, aynı verilerin alternatif bir sunumu, ipucundan sonraki dopamin seviyelerini eşitleyerek , bunun yerine ipucu öncesi dopamin seviyelerinin ödül beklentisine (değer) bağlı olduğunu gösterecektir. Ek analizler, sağ taraftaki sunumun gerçeğe daha yakın olduğunu belirlemiştir (ayrıntılar için bkz. referans 15 ). Panel a, 38 numaralı referanstan (Macmillan Publishers Limited) izin alınarak yeniden üretilmiştir ; panel b, 37 numaralı referanstan (Elsevier) izin alınarak yeniden üretilmiştir ; panel ce, 15 numaralı referanstan (Macmillan Publishers Limited) izin alınarak yeniden üretilmiştir.
Hızlı dopamin dalgalanmaları sadece motivasyonu yansıtmakla kalmaz, aynı zamanda motive edici davranışı da anında tetikler. Dopamin hücrelerinin tetikleyici ipuçlarına verdiği daha büyük fazik yanıtlar, aynı denemede daha kısa reaksiyon sürelerini öngörür 39. VTA dopamin hücrelerinin optogenetik uyarımı, sıçanların olasılıksal ödül görevimizde çalışmaya başlama olasılığını artırır 15 , tıpkı daha yüksek bir ödül beklentisine sahipmiş gibi. SNc dopamin nöronlarının veya dorsal striatumdaki aksonlarının optogenetik uyarımı, hareket olasılığını artırır 40 , 41. Kritik olarak, bu davranışsal etkiler, optogenetik uyarımın başlangıcından itibaren birkaç yüz milisaniye içinde belirgindir. Ödül öngörücü ipuçlarının motivasyonu artırma yeteneği, NAc dikenli nöronlarının uyarılabilirliğinin çok hızlı dopaminerjik modülasyonu yoluyla aracılık ediliyor gibi görünmektedir 42 . Dopamin hızla değiştiği ve bu dopamin değişiklikleri motivasyonu hızla etkilediği için, dopaminin motivasyonel işlevleri yavaş ("tonik") değil, hızlı ("fazik") olarak tanımlanmalıdır.
Dahası, ayrı hızlı ve yavaş zaman ölçeklerini çağırmak kendi başına dopamin reseptörlü nöronların karşılaştığı kod çözme problemini çözmez. Dopamin öğrenmeyi işaret ediyorsa, sinaptik plastisitenin modülasyonu uygun bir hücresel yanıt gibi görünecektir. Ancak motive edilmiş davranış üzerindeki ani etkiler, ani etkilere işaret eder - örneğin, uyarılabilirlikteki hızlı değişiklikler yoluyla. Dopamin, bu postsinaptik etkilerin her ikisine de (ve daha fazlasına) sahip olabilir, peki belirli bir dopamin konsantrasyonunun belirli bir anlamı var mı? Veya bu anlamın oluşturulması gerekiyor mu - örneğin, zaman içinde dopamin seviyelerini karşılaştırarak veya hangi hücresel makinenin devreye gireceğini belirlemek için diğer çakışan sinyalleri kullanarak? Bu olasılık aşağıda daha ayrıntılı tartışılmaktadır.
Dopamin salınımı, dopamin hücre ateşlemesiyle aynı bilgiyi veriyor mu?
Hızlı dopamin dalgalanmaları ile motivasyonel değer arasındaki ilişki, dopamin hücresi ateşlemesinin algılanan efor düzeyine (RPE) benzediği göz önüne alındığında garip görünmektedir. Dahası, bazı çalışmalar mezolimbik dopamin salınımında RPE sinyalleri bildirmiştir 43. Bazı nöral veri biçimlerinin yorumlanmasında bir zorluk olduğunu belirtmek önemlidir. Değer sinyalleri ve RPE'ler birbirleriyle ilişkilidir - bu şaşırtıcı değildir, çünkü RPE genellikle bir andan diğerine değerdeki değişim olarak tanımlanır ("zamansal fark" RPE). Bu korelasyon nedeniyle, değeri RPE açıklamalarından ayıran deneysel tasarımlar ve analizler kullanmak çok önemlidir. Mutlak değil, göreceli sinyal değişikliklerine dayanan bir nöral ölçüm kullanıldığında sorun daha da karmaşıklaşır. Voltametri analizleri genellikle, her denemede daha önceki bir "bazal" döneme göre, ilgi duyulan bir zaman noktasındaki dopamini karşılaştırır (her voltaj taramasında elektrot şarjı ve dakikalar ölçeğinde kayma dahil olmak üzere dopamine bağlı olmayan sinyal bileşenlerini ortadan kaldırmak için). Ancak bir bazal değeri çıkarmak, bir değer sinyalinin bir RPE sinyaline benzemesine neden olabilir. Bu, kendi voltametrik verilerimizde gözlemlediğimiz şeydir ( Şekil 2e ). Ödül beklentisindeki değişiklikler, her denemenin başlarında dopamin konsantrasyonundaki değişikliklere yansıdı ve eğer denemeler boyunca sabit bir temel çizgi varsayılırsa bu değişiklikler gözden kaçırılır 15. Bu nedenle, dopamin salınımı ve RPE kodlaması hakkındaki sonuçlara ihtiyatla yaklaşılmalıdır. Bu veri yorumlama tehlikesi sadece voltametrik veriler için değil, göreceli değişikliklere dayanan herhangi bir analiz için de geçerlidir – potansiyel olarak bazı fMRI ve fotometri yöntemlerini de içerebilir 44.
Bununla birlikte, NAc çekirdeğindeki değerle ilgili dopamin salınımını, dopamin nöronlarının değerle ilgili ateşlemesinin tutarlı yokluğuyla uzlaştırmamız gerekiyor 13 , hatta NAc çekirdeğine dopamin sağlayan lateral VTA bölgesinde bile 45. Potansiyel bir faktör, dopamin hücrelerinin genellikle klasik koşullanma görevlerini yerine getiren başı sabitlenmiş hayvanlarda kaydedilmesi, dopamin salınımının ise tipik olarak çevrelerinde aktif olarak hareket eden serbest hayvanlarda ölçülmesidir. Mezoolimbik dopaminin özellikle "çalışmanın" değerini gösterebileceğini 15 - yani ödülü elde etmek için zaman ve çaba harcama gerekliliğini yansıttığını öne sürdük. Buna uygun olarak, dopamin, hareket talimatı veren sinyallerle artar, ancak benzer gelecekteki ödülü gösterse bile hareketsizlik talimatı veren sinyallerle artmaz 46. Eğer - birçok klasik koşullanma görevinde olduğu gibi - aktif "çalışmanın" bir faydası yoksa, çalışmanın değerini gösteren dopaminerjik değişiklikler daha az belirgin olabilir.
Daha da önemlisi, dopamin salınımının terminallerin kendilerinde lokal olarak kontrol edilebilmesi ve dolayısıyla hücre gövdesi ateşlemesinden bağımsız uzamsal-zamansal kalıplar gösterebilmesidir. Örneğin, bazalateral amigdala (BLA), VTA devre dışı bırakıldığında bile NAc dopamin salınımını etkileyebilir 47. Tersine, BLA'nın devre dışı bırakılması, VTA ateşlemesini görünüşte etkilemeden NAc dopamin salınımını ve buna karşılık gelen motive edici davranışı azaltır 48. Dopamin terminallerinde glutamat, opioidler ve asetilkolin dahil olmak üzere çeşitli nörotransmiterler için reseptörler bulunur. Nikotinik asetilkolin reseptörleri, striatal kolinerjik ara nöronların (CIN'ler) dopamin salınımını hızla kontrol etmesine olanak tanır 49 , 50. Dopamin salınımının lokal kontrolünün potansiyel olarak önemli olduğu uzun zamandır belirtilmiş olmasına rağmen 7 , 51 , dopamin fonksiyonunun hesaplamalı açıklamalarına dahil edilmemiştir. Dopamin salınım dinamiklerinin, değer kodlamasıyla ilişkili olarak, büyük ölçüde yerel kontrol yoluyla ortaya çıktığını, ancak dopamin hücresi ateşlemesinin öğrenme için önemli RPE benzeri sinyaller sağladığını öne sürüyorum .
Dopamin, karışıklık olmadan hem öğrenme hem de motivasyon anlamına nasıl gelir?
Prensip olarak, zamansal fark RPE'leri basitçe değerdeki hızlı değişiklikler olduğundan ( Şekil 2B ) , bir değer sinyali de RPE'yi iletmek için yeterlidir . Örneğin, hedef nöronlardaki farklı hücre içi yollar, dopaminin mutlak konsantrasyonuna (değeri temsil eden) ve konsantrasyondaki hızlı göreceli değişikliklere (RPE'yi temsil eden) karşı farklı duyarlılığa sahip olabilir. Bu şema, dikenli nöron fizyolojisinin karmaşık dopamin modülasyonu 52 ve kalsiyum konsantrasyonunun zamansal kalıplarına duyarlılıkları 53 göz önüne alındığında makul görünmektedir . Ancak bu da biraz gereksiz gibi görünüyor. Dopamin hücresi ateşlemesinde zaten RPE benzeri bir sinyal varsa, RPE'yi bir değer sinyalinden yeniden türetmek yerine bunu kullanmak mümkün olmalıdır.
Farklı RPE ve değer sinyallerini uygun şekilde kullanmak için, dopamin alıcı devreler dopamini nasıl yorumladıklarını aktif olarak değiştirebilirler. Asetilkolinin de bu değiştirme rolünü üstlenebileceğine dair ilgi çekici kanıtlar vardır. Dopamin hücreleri beklenmedik ipuçlarına karşı ani ateşleme patlamaları yaparken, CIN'ler ateşlemede kısa (~150 ms) duraklamalar gösterir ve bu duraklamalar RPE'lerle ölçeklenmez 54. Bu CIN duraklamaları, VTA GABAerjik nöronları 55 ve intralaminar talamustaki "sürpriz" ile ilgili hücreler tarafından yönlendirilebilir ve öğrenmeyi teşvik eden bir ilişkilendirilebilirlik sinyali olarak hareket ettiği öne sürülmüştür 56. Morris ve Bergman 54 , kolinerjik duraklamaların, dopaminin bir öğrenme sinyali olarak kullanılabileceği striatal plastisite için zamansal pencereler tanımladığını öne sürmüştür. Dopamin bağımlı plastisite, doğrudan yol striatal nöronlarındaki muskarinik m4 reseptörleri de dahil olmak üzere mekanizmalar tarafından sürekli olarak baskılanır 57 . Hücre içi sinyalleme modelleri, CIN duraklamaları sırasında m4 bağlanmasının yokluğunun, PKA aktivasyonunu artırmak için fazik dopamin patlamalarıyla sinerjik olarak hareket edebileceğini ve böylece sinaptik değişimi teşvik edebileceğini öne sürmektedir. 58
Striatal kolinerjik hücreler, bu nedenle, çoklu dopaminerjik mesajın anlamını dinamik olarak değiştirmek için iyi bir konumdadır. CIN duraklamaları sırasında, sinaptik plastisite üzerindeki muskarinik blokajın ortadan kalkması, dopaminin öğrenme için kullanılmasına olanak tanır. Diğer zamanlarda, dopamin terminallerinden salınım, devam eden davranışsal performansı etkilemek için yerel olarak şekillendirilir. Şu anda, bu öneri hem spekülatif hem de eksiktir. CIN'lerin, entropi 59 , 60 gibi yararlı ağ düzeyinde sinyaller çıkarmak için çevredeki birçok dikenli nörondan gelen bilgileri entegre ettiği öne sürülmüştür. Ancak CIN aktivite dinamiklerinin dopamin değer sinyalleri 61 üretmek ve ayrıca dopamin öğrenme sinyallerini kontrol etmek için kullanılabileceği hiç de açık değildir .
Dopamin, ön beyin boyunca aynı şeyi ifade ediyor mu?
RPE fikri yaygınlaştıkça, dopaminin striatal ve frontal kortikal hedeflere hata mesajı yayan küresel bir sinyal olduğu düşünülmeye başlandı. Schultz, VTA ve SNc'deki maymun dopamin hücrelerinin çok benzer tepkiler verdiğini vurguladı 62. Tanımlanmış dopamin hücreleri üzerinde yapılan çalışmalar, en azından klasik koşullanma bağlamlarında lateral VTA nöronları için kemirgenlerde oldukça homojen RPE benzeri tepkiler bulmuştur 13. Bununla birlikte , dopamin hücreleri moleküler ve fizyolojik olarak çeşitlidir 63-65 ve artık davranış sergileyen hayvanlarda çeşitli ateşleme modelleri gösterdiklerine dair birçok rapor bulunmaktadır. Bunlar, standart RPE açıklamasına pek uymayan olumsuz olaylara 66 ve tetikleyici ipuçlarına 67 karşı ateşlemede fazik artışları içerir. Birçok dopamin hücresi , spesifik RPE kodlamasından ziyade sürpriz veya "uyarıcı"yı yansıtan duyusal olaylara karşı başlangıçta kısa gecikmeli bir tepki gösterir 68 , 69 . Bu uyarıcı özellik, dopamin hücrelerinin daha çok “sensörimotor” dorsal/lateral striatuma (DLS 45 , 63 ) uzandığı SNc 69'da daha belirgindir . SNc dopamin hücrelerinin alt popülasyonlarının , dışsal ipuçları olmasa bile, kendiliğinden hareketlerle birlikte ateşlemeyi artırdığı 41 veya azalttığı 70 bildirilmiştir .
Birkaç grup, dopamin nöronlarının alt popülasyonlarının toplu aktivitesini incelemek için fiber fotometri ve kalsiyum göstergesi GCaMP kullandı 71 , 72. Dorsal/medial striatuma (DMS) uzanan dopamin hücreleri, beklenmedik kısa süreli şoklara geçici olarak baskılanmış aktivite gösterirken, DLS'ye uzananlar artmış aktivite gösterdi 71 – bu da uyarıcı bir yanıtla daha tutarlıydı. GCaMP kullanılarak dopamin aksonlarının ve terminallerinin aktivitesini incelemek için farklı ön beyin alt bölgelerinde farklı dopaminerjik yanıtlar da gözlemlendi 40 , 72 , 73. Başları sabitlenmiş farelerde iki fotonlu görüntüleme kullanan Howe ve Dombeck 40 , spontan hareketlerle ilgili fazik dopamin aktivitesi bildirdi. Bu, ağırlıklı olarak dorsal striatumda sonlanan SNc'den gelen bireysel dopamin aksonlarında görülürken, NAc'deki VTA dopamin aksonları ödül verilmesine daha fazla yanıt verdi. Diğer araştırmacılar da NAc'de ödülle ilgili dopaminerjik aktivite bulmuşlardır; DMS ise bunun yerine kontralateral eylemlerle daha çok bağlantılıdır 72 ve striatumun arka kuyruğu olumsuz ve yeni uyaranlara yanıt vermektedir 74.
Dopamin salınımının doğrudan ölçümleri de alt bölgeler arasında heterojenliği ortaya koymaktadır 30 , 75. Mikrodiyaliz ile dopaminin özellikle NAc çekirdeğinde ve ventral-medial frontal kortekste değerle ilişkili olduğunu, striatumun diğer medial kısımlarında (NAc kabuğu, DMS) veya frontal kortekste ise böyle bir ilişki bulunmadığını tespit ettik. Bu durum, insan fMRI çalışmalarında tutarlı bir şekilde görülen değer kodlamasının iki "sıcak noktasına" iyi bir şekilde eşleştiği için ilgi çekicidir 76 , 77. Özellikle dopamin sinyallemesiyle yakın bir ilişkiye sahip olan NAc BOLD sinyali 78 , ödül beklentisi (değer) ile RPE'den daha fazla artmaktadır 76.
Bu mekansal dopamin salınımı modellerinin, farklı dopamin hücresi alt popülasyonlarının ateşlenmesinden mi, dopamin salınımının yerel kontrolünden mi yoksa her ikisinden mi kaynaklandığı, küresel bir dopamin mesajı fikrine meydan okuyor. Örneğin, dorsal striatumdaki dopaminin "hareket" sinyalini, ventral striatumdaki dopaminin ise "ödül" sinyalini verdiği gibi birçok farklı dopamin fonksiyonu olduğu sonucuna varılabilir . Ancak ben başka bir kavramsal yaklaşımı tercih ediyorum. Farklı striatal alt bölgeler farklı kortikal bölgelerden girdi alırlar ve bu nedenle farklı bilgi türlerini işlerler. Yine de her striatal alt bölge, ayrı D1 ve D2 reseptör taşıyan dikenli nöronlar 79 , CIN'ler ve benzerleri de dahil olmak üzere ortak bir mikro devre mimarisine sahiptir. Çeşitli striatal alt bölgelere (örneğin DLS, DMS, NAc çekirdeği) ayrı alanlarmış gibi atıfta bulunmak yaygın olsa da, aralarında keskin anatomik sınırlar yoktur (NAc kabuğu nörokimyasal olarak biraz daha farklıdır). Bunun yerine, reseptör yoğunluğunda, ara nöron oranlarında vb. sadece hafif gradyanlar var; bunlar daha çok ortak bir hesaplama algoritmasının parametrelerinde yapılan ince ayarlamalar gibi görünüyor. Bu ortak mimari göz önüne alındığında, her bir alt bölge tarafından işlenen spesifik bilgilerden soyutlanmış ortak bir dopamin fonksiyonu tanımlayabilir miyiz?
Striatal dopamin ve sınırlı kaynakların tahsisi.
Dopaminin devam eden davranışlar üzerindeki çeşitli farklı etkilerinin, kaynak tahsis kararlarının modülasyonu olarak anlaşılabileceğini öne sürüyorum . Özellikle, dopamin, sınırlı bir iç kaynağı harcamanın ne kadar değerli olduğuna dair tahminler sağlar; bu kaynak, striatal alt bölgeler arasında farklılık gösterir. “Motor” striatum (~DLS) için kaynak harekettir; bu da sınırlıdır çünkü hareket etmek enerji gerektirir ve birçok eylem birbiriyle uyumsuzdur 80. Dopaminin artması, bir hayvanın hareket etmek veya daha hızlı hareket etmek için enerji harcamaya değer olduğuna karar verme olasılığını artırır 6 , 40 , 81. “Hareket değerlidir” diye kodlayan bir dopamin sinyalinin, dopaminin “hareketi” doğrudan kodlamaması durumunda bile, dopamin ve hareket arasında korelasyonlar üreteceğini unutmayın.
“Bilişsel” striatum (~DMS) için kaynaklar, dikkat (tanımı gereği sınırlı kapasiteli 82 ) ve çalışma belleği 83 dahil olmak üzere bilişsel süreçlerdir . Dopamin olmadan, normalde yönlendirme hareketlerini tetikleyen belirgin dış ipuçları, daha az dikkat çekiciymiş gibi göz ardı edilir 3. Dahası, bilişsel kontrol süreçlerini kasıtlı olarak harekete geçirmek zahmetlidir (maliyetlidir 84 ). Dopamin – özellikle DMS'de 85 – bu çabayı göstermeye değip değmeyeceğine karar vermede önemli bir rol oynar 86 , 87. Bu, daha bilişsel olarak zorlayıcı, bilinçli (“model tabanlı”) karar stratejileri kullanıp kullanmamayı da içerebilir 88.
“Motivasyonel” striatum (~NAc) için en önemli sınırlı kaynaklardan biri hayvanın zamanı olabilir. Hayvanlar ödülleri hızla elde etmek için basit, sabit bir eylem gerçekleştirdiğinde mezolimbik dopamine ihtiyaç duyulmaz 89. Ancak birçok ödül türü yalnızca uzun süreli çalışma yoluyla elde edilebilir: yiyecek arama gibi, uzun süreli ödülsüz eylem dizileri. Çalışmaya katılmayı seçmek, zamanı geçirmenin diğer faydalı yollarından vazgeçmek anlamına gelir. Yüksek mezolimbik dopamin, zamansal olarak uzun süren, çaba gerektiren çalışmaya katılmanın değerli olduğunu gösterir, ancak dopamin azaldıkça hayvanlar zahmet etmez ve bunun yerine uyumaya hazırlanabilirler 90.
Her bir kortiko-striatal döngü devresi içinde dopaminin devam eden davranışa katkısı hem ekonomik (kaynak tahsisiyle ilgili) hem de motivasyoneldir ( kaynak harcamanın değerli olup olmadığı 81 ). Bu devreler tamamen bağımsız değildir, aksine hiyerarşik, sarmal bir organizasyona sahiptir: striatumun daha ventral kısımları, daha dorsal kısımlara uzanan dopamin hücrelerini etkiler 5 , 91. Bu şekilde, işe giriş kararları, gerekli olan belirli, daha kısa hareketleri canlandırmaya da yardımcı olabilir. Ancak genel olarak, dopamin, kaynakların nasıl harcanması gerektiğini belirten "yönlendirici" sinyallerden ziyade, bir kararın alınma olasılığını artıran "aktivasyonel" sinyaller sağlar 5.
Kararlar alınırken dopaminin hesaplamalı rolü nedir?
Bu aktivasyonel rolü düşünmenin bir yolu, karar verme "eşikleri" açısından düşünmektir. Bazı matematiksel modellerde, karar süreçleri bir eşik seviyesine ulaşana kadar artar ve sistem bir eyleme bağlı hale gelir 92. Daha yüksek dopamin, eşiğe olan mesafenin daha düşük olmasına eşdeğerdir, böylece kararlar daha hızlı alınır. Bu fikir basittir, ancak doğrulanmış nicel tahminler yapar. Hareket için eşiklerin düşürülmesi, amfetaminin sensörimotor striatuma enjekte edildiğinde görülen reaksiyon süresi dağılımının şeklinde belirli bir değişikliğe neden olur 20.
Sabit eşikler yerine, davranışsal ve nöral veriler, kararlar giderek daha acil hale geliyormuş gibi, eşiklerin zamanla azalması durumunda daha iyi uyum sağlayabilir. Bazal gangliyon çıktısının, korteksteki seçim mekanizmalarını canlandıran dinamik olarak gelişen bir aciliyet sinyali sağladığı öne sürülmüştür 93. Gelecekteki ödüller zaman olarak daha yakın olduğunda aciliyet de daha yüksekti; bu da bu kavramı dopaminin değer kodlama, aktivasyon rolüne benzer kılıyor.
Böyle bir aktivasyonel rol, striatal dopaminin performansı düzenleyici etkilerini tanımlamak için yeterli midir? Bu, bazal gangliyon devrelerinin öğrenilmiş eylemler arasında doğrudan seçim yapıp yapmadığı 80 veya sadece başka yerlerde yapılan seçimleri canlandırıp canlandırmadığı 93 , 94 sorusuyla ilgilidir . Dopaminin daha "yönlü" bir etkiye sahip gibi görünmesinin en az iki yolu vardır. Birincisi, dopaminin doğası gereği yönlü bilgileri işleyen bir beyin alt bölgesinde hareket etmesidir. Bazal gangliyon devreleri, potansiyel ödüllere yönelme ve yaklaşmada önemli, kısmen lateralize bir role sahiptir. Primat kaudatı (~DMS), göz hareketlerini kontralateral uzamsal alanlara doğru yönlendirmede rol oynar 95. Kontralateral uzayda bir şeye yönelmenin değerli olduğuna dair dopaminerjik bir sinyal, DMS'deki dopaminerjik aktivite ile kontralateral hareketler arasındaki gözlemlenen korelasyonu 72 ve dopamin manipülasyonları tarafından üretilen dönme davranışını 96 açıklayabilir . Dopaminin ikinci bir “yönlü” etkisi, (iki taraflı) dopamin lezyonlarının sıçanları yüksek çaba/yüksek ödül alternatiflerinden ziyade düşük çaba/düşük ödül seçeneklerine yönlendirmesiyle ortaya çıkar 97. Bu, bazı kararların paralel olmaktan ziyade seri olduğunu, sıçanların (ve insanların) seçenekleri tek tek değerlendirdiğini yansıtabilir 98. Bu karar bağlamlarında dopamin, şu anda değerlendirilen seçeneğin değerini ileterek temel olarak aktivasyonel bir rol oynayabilir ve bu seçenek daha sonra kabul edilebilir veya reddedilebilir 24.
Aktif hayvanlar, genellikle yüksek hızlarda, birden fazla düzeyde karar verirler. Bireysel kararları düşünmenin ötesinde, bir dizi durum boyunca genel bir yörüngeyi göz önünde bulundurmak faydalı olabilir ( Şekil 1 ). Dopamin, bir durumdan diğerine geçişleri kolaylaştırarak, öğrenilmiş yörüngeler boyunca akışı hızlandırabilir 99. Bu, dopaminin davranışın zamanlaması üzerindeki önemli etkisiyle ilgili olabilir 44 , 100. Gelecekteki çalışmalar için önemli bir alan, dopaminin devam eden davranış üzerindeki bu etkilerinin, tek hücreler, mikro devreler ve büyük ölçekli kortikal-bazal gangliyon döngüleri içindeki bilgi işlemeyi değiştirerek mekanik olarak nasıl ortaya çıktığını daha derinlemesine anlamaktır. Ayrıca, dopaminin striatal hedeflerin birçoğunda ortak hesaplama rollerini vurguladım, ancak kortikal hedefleri büyük ölçüde ihmal ettim ve dopaminin her iki yapıdaki işlevlerinin aynı çerçeve içinde tanımlanıp tanımlanamayacağı henüz belli değil.
Özetle , dopaminin yeterli bir tanımı, dopaminin öğrenme ve motivasyonu aynı hızlı zaman ölçeklerinde, karışıklık olmadan nasıl sinyalleyebildiğini açıklayacaktır. Dopamin hücresi ateşlemesi ödül beklentisiyle ilişkili olmasa bile, kilit hedeflerdeki dopamin salınımının neden ödül beklentisiyle birlikte değiştiğini açıklayacaktır. Ve hareket, biliş ve zamanlama üzerindeki farklı davranışsal etkileri açıklayan, striatum ve diğer yerlerdeki dopamin eylemlerinin birleşik bir hesaplamalı açıklamasını sağlayacaktır. Burada sunulan bazı spesifik fikirler spekülatiftir, ancak yenilenmiş tartışmayı, modellemeyi ve keskin yeni deneyleri canlandırmayı amaçlamaktadır.
Teşekkür.
Kent Berridge, Peter Dayan, Brian Knutson, Jeff Beeler, Peter Redgrave, John Lisman, Jesse Goldberg ve isimsiz Hakemler de dahil olmak üzere önceki metin taslakları hakkında derinlemesine yorumlar yapan birçok meslektaşıma teşekkür ediyorum. Uzay sınırlamalarının birçok önemli önceki çalışmanın tartışılmasını engellediğine pişmanım. Ulusal Nörolojik Bozukluklar ve İnme Enstitüsü, Ulusal Akıl Sağlığı Enstitüsü ve Ulusal Uyuşturucu Bağımlılığı Enstitüsü tarafından temel destek sağlanmıştır.

