التعلُّم المُوجَّه بالمُرَاوِز إلى ما وراء الدوبامين في النواة المتكئة: الوظائف التكاملية لشبكات العقد القشرية القشرية (2008)

Eur J Neurosci. 2008 Oct;28(8):1437-48. doi: 10.1111/j.1460-9568.2008.06422.x.

يين سمو1, Ostlund SB, بالين BW.

ملخص

نحن هنا نتحدى وجهة النظر التي تقول إن التعلم الموجه للمكافاة يتحكم فيه فقط مسار الطريق المتوسطة الذي ينشأ من الخلايا العصبية الدوبامينية في المنطقة القطبية البطنية ويظهر إلى النواة المتكئة. يفترض هذا الرأي المقبول على نطاق واسع أن المكافأة هي مفهوم أحادي ، ولكن العمل الأخير اقترح خلاف ذلك. ويبدو الآن أنه ، في التعلم القائم على المكافأة ، يمكن فصل وظائف الدالات البطنية والظهرية ، والدوائر القشرية القشرية المرتبطة بها. في حين أن النواة المتكئة ضرورية لاكتساب والتعبير عن بعض استجابات بافلوفين المفعمة بالحيوية وتساهم في التحكم التحفيزي للأداء الفعال ، فإن المخطط الظهري ضروري لاكتساب وتعبير عن الإجراءات المفيدة. تشير هذه النتائج إلى وجود أنظمة وظيفية متعددة مستقلة ومتفاعلة والتي يتم تنفيذها في شبكات العقد القشرية الكورتيكوكة المتكرّرة والمرتبطة بالتسلسل الهرمي التي تشارك في سلوكيات شهوانية تتراوح من استجابات نهج بافلوفان إلى إجراءات مفيدة موجهة للأهداف تتحكم في حالات الطوارئ الناتجة عن الإجراءات.

: الكلمات المفتاحية المخطط ، الدوبامين ، العقد القاعدية ، التعلم ، النواة المتكئة ، المكافأة

لقد أصبح من الشائع في الأدبيات الحديثة أن نجد مفهومًا موحدًا لـ "المكافأة" يُطبَّق بشكل موحد على السلوك التفاعلي ، سواء للدلالة على أي شيء جيد للكائن الحي (عادةً من وجهة نظر المجرب) ، أو يستخدم بالتبادل مع المصطلحات الأقدم مثل "التعزيز" أو "الحافز". يشجع هذا الوضع ، إن لم يكن في حد ذاته نتيجة ، التركيز على الركيزة العصبية الوحيدة لـ "المكافأة" التي تشمل إطلاق الدوبامين (DA) في النواة المتكئة (بيرك وهيمان ، 2000; Grace et al.، 2007).

لقد تم إعادة تنشيط العلاقة بين مسار وقطعة mesoaccumbens ، التي تم الاعتراف بها منذ عقود ، من خلال أدلة أحدث على أن إشارة DA الطورية تشفر خطأ التنبؤ بالمكافأة ، والذي يفترض أنه بمثابة إشارة تعليم في التعلم التعلمي.g (شولتز وآخرون ، 1997). وفقا للتفسير الأكثر شعبية ، مثلما توجد إشارة واحدة للمكافأة ، فهناك إشارة واحدة للتعلم الموجه للمكافأة ، والتي في هذه الحالة تعني الارتباط بين التحفيز والمكافأة (Montague et al.، 2004). ومع ذلك ، تم إهمال مسألة كيفية التحكم في هذا النوع من التعلم السلوك التكيفي ؛ يفترض ببساطة أن إشارة الدوبامين كافية لكل من التعلم التنبئي ، وتولدت الاستجابات المشروطة بذلك ، وللأعمال الموجهة نحو الهدف التي تسترشد ارتباطها بالمكافأة. وبالتالي ، فإن التركيز في معظم البحوث في مجال المكافأة والإدمان هو DA التشوير واللدونة المرتبطة بها في مسار المسارات المتوسطة (Berridge and Robinson، 1998; هيمان وآخرون ، 2006; Grace et al.، 2007).

هذه النظرة لعملية المكافأة ، كما هو معترف به بشكل متزايد (Cardinal et al.، 2002; Balleine ، 2005; Everitt and Robbins، 2005; هيمان وآخرون ، 2006) ، على حد سواء غير كافية ومضللة. وهو غير ملائم لأنه لا يمكن تفسير عملية الاستحواذ أو أداء الإجراءات الموجهة نحو الأهداف من حيث العمليات النقابية التي تتوسط تعلم التحفيز والمكافأة.. وعلاوة على ذلك ، فإن التضليل ، لأن التركيز الحصري على النشاط في مسار المسارات المتوسطة ، وهو أمر غير ضروري ولا يكفي للإجراءات الموجهة نحو الأهداف ، قد حول الانتباه عن المسألة الأكثر جوهرية حول ما هي الإجراءات الموجهة نحو الهدف بالضبط وكيف يتم تنفيذها. من الدماغ. في الواقع ، وفقا للأدلة المتقاربة من مجموعة متنوعة من الأساليب التجريبية ، فإن ما بدا في السابق أنه آلية مكافأة واحدة قد يشتمل في الواقع على عمليات متعددة ذات تأثيرات سلوكية مميزة وركائز عصبية (Corbit et al.، 2001; O'Doherty وآخرون ، 2004; يين وآخرون ، 2004; Delgado et al.، 2005; يين وآخرون ، 2005b; Haruno و Kawato ، 2006a; توبلر وآخرون ، 2006; Jedynak وآخرون ، 2007; روبنسون وآخرون ، 2007; توبلر وآخرون ، 2007).

نحاول هنا أن نكشف بعض المشاكل المرتبطة بنموذج المصغرات الحالية وأن نقترح ، في مكانه ، نموذجًا مختلفًا للتعلم الموجه للمكافأة. سنجادل بأن المخطط هو بنية غير متجانسة إلى حد كبير يمكن تقسيمها إلى أربعة مجالات وظيفية على الأقل ، يعمل كل منها كمركز في شبكة وظيفية متميزة مع مكونات أخرى قشرية و مهادية و pallidal و midbrain.. يمكن فصل الوظائف التكاملية لهذه الشبكات ، والتي تتراوح بين إنتاج الردود غير المشروطة التي تم استنباطها بمكافأة الرقابة على الإجراءات الموجهة نحو الهدف ، ودراستها باستخدام اختبارات السلوك المعاصرة.

التنبؤ والسيطرة

غالباً ما يُفترض أن مسار الطريق المتوسطة (mesoaccumbens) ضروري لاكتساب العلاقة بين المكافأة والمحفزات البيئية التي تتنبأ بهذه المكافأة. على سبيل المثال ، في بعض التجارب التي تدرس النشاط الطوري لخلايا DA التي تم الحصول عليها عن طريق المكافأة ، تم تدريب القرود لربط الحافز بتوصيل العصير (Waelti et al.، 2001) وبعد ذلك الاستجابة إلى الحافز مع استجابة مشروطة (CR) - لعق التاجي. يمكن أن يكون لعق القرد موجهاً نحو الهدف ، لأنه يعتقد أنه من الضروري الحصول على العصير. بدلا من ذلك ، يمكن الحصول على لعق من قبل التحفيز السابق الذي يرتبط به عصير. أي من هذه المحددات لعق القرود هو التحكم في السلوك في أي حالة معينة ليس معروفا على الأرجحولا يمكن تحديدها بملاحظة سطحية ؛ لا يمكن تحديده إلا باستخدام اختبارات مصممة خصيصًا لهذا الغرض. تشكل هذه الاختبارات ، التي استغرق تطويرها لعشرات السنين ، جوهر التطورات الحديثة الرئيسية في دراسة التعلم والسلوك (الجدول 1). من استخدام هذه الاختبارات ، والتي سيتم مناقشتها أدناه ، نحن نعلم الآن أن نفس الاستجابة السلوكية - سواء كانت نهجًا متنقلًا أو توجيهًا أو ضغطًا على رافعة - يمكن أن تنشأ من تأثيرات متعددة تكون قابلة للاختراق تجريبيًا.

الجدول 1  

التعلم الموجه للمكافآت

وبالتالي فإن عدم الإحساس بالغموض المركزي في المحددات الفعلية للسلوك هو المشكلة الرئيسية في التحليل العصبي الحالي للتعلم القائم على المكافأة. تيo ﻓﻬﻢ أهﻤﻴﺔ هﺬﻩ اﻟﻤﺸﻜﻠﺔ ، ﻣﻦ اﻟﻀﺮوري ﺗﻘﺪﻳﺮ اﻻﺧﺘﻼﻓﺎت ﺑﻴﻦ آﻴﻔﻴﺔ اﻟﺘﻌﻠﻴﻢ اﻟﺘﻨﺒﺆي (أو اﻟﺒﺎﻻﻓﻮﻓﻲ) واﻟﺴﻠﻮك اﻟﻤﻔﺘﻮح ﻟﻠﺘﺤﻜﻢ ﻓﻲ اﻟﺘﻌﻠﻢ (أو اﻷدوار). في الواقع ، إذا حكمنا من خلال عدد المرات التي تم فيها الجمع بين هاتين العمليتين في الأدبيات الخاصة بالمكافأة ، فإن مراجعة موجزة لهذا التمييز تبدو نقطة بداية مفيدة لمناقشتنا.

في تكييف بافلوفان المحبب ، تقترن المكافأة (أي الحافز غير المشروط أو الولايات المتحدة) مع حافز (التحفيز المشروط أو CS) ، بغض النظر عن سلوك الحيوان ، في حين أن المكافأة تعتمد على إجراءات الحيوانات في التعلم الفعال. غير أن السؤال الحاسم في كلا الحالتين هو ما إذا كان اتحاد التحفيز-المكافأة أو جمعية العمل-المكافأة يتحكم في السلوك.

وببساطة كما يبدو ، فإن هذا السؤال استعصى على المحققين لعقود كثيرة ، إلى حد كبير لأن الاستجابات السلوكية في هذه الحالات يمكن أن تبدو متطابقة.

وهكذا ، فإن الاستجابات المشروطة (CRs) التي يسيطر عليها اتحاد التحفيز والمكافأة في Pavlovian يمكن أن يكون لها في الغالب قشرة توجيهية موجهة نحو الهدف. حتى اللعاب ، CR الأصلي لبافلوف ، كان يمكن أن تنتجه كلابه كمحاولة متعمدة لتسهيل الابتلاع. وبسبب هذا الغموض تحديدًا ، فإن التوضيح الأكثر وضوحًا - تحديدًا أنه في تكيّف بافلوفان ، يتم تعلم رابطة النتيجة التحفيزية ، في حين أن التآثر الإيجابي الذي يتم استخلاصه من جمعية نتائج العمل - فشل في الحصول على دعم كبير لعقود عديدة (سكينر ، 1938; أشبي ، 1960; بولس ، 1972; ماكنتوش ، 1974). ومع ذلك ، على الرغم من أن العديد من وحدات الخدمة المدنية في منطقة بافلوف تعتبر ذاتية الاستقلالية أو إجبارية ، إلا أنه لا توجد علامات تجارية أخرى مثل سلوك النهج نحو المكافأة ،Rescorla و Solomon ، 1967)؛ في الواقع ، يمكن بسهولة أن يخطئوا لاتخاذ إجراءات مفيدة (براون وجينكينز ، 1968; وليامز وويليامز ، 1969; شوارتز و Gamzu ، 1977). نحن نعلم الآن أنه على الرغم من وجود تشابه سطحي ، فإن أعمال Pavlovian CRs والأدوات المفيدة الموجهة نحو الأهداف تختلف في الهيكل التمثيلي الذي يتحكم في أداء الاستجابة (شوارتز و Gamzu ، 1977).

إن الوسيلة الأكثر مباشرة لتحديد ما إذا كان أداء الاستجابة متوسطًا من خلال مكافأة التحفيز أو رابطة العمل-المكافأة هو فحص الأداء المحدد للتحكم في حالات الطوارئ. مثال اللعاب هو مفيد هنا. شيفيلد (1965) اختبار ما إذا كان اللعاب في تكييف Pavlovian تم التحكم به من خلال علاقته بالمكافأة أو من خلال رابطة التحفيز والمكافأة. في تجربته ، تلقت الكلاب إقرانًا بين نغمة ومكافأة الطعام (شيفيلد ، 1965). ومع ذلك ، إذا كانت الكلاب سال لعابه خلال لهجة ، ثم لم يتم تسليم الطعام على تلك المحاكمة. حافظ هذا الترتيب على علاقة بافلوف بين النغمة والطعام ، لكنه ألغى أي ارتباط مباشر بين اللعاب وإيصال الغذاء. إذا كان اللعاب عملاً يتحكم في علاقته بالطعام ، عندها يجب أن تتوقف الكلاب عن اللعاب ، وفي الواقع يجب ألا تكتسب اللعاب أبداً النغمة على الإطلاق. وجد شيفيلد أنه من الواضح أن علاقة نبرة بافلوفان الغذائية التي تسيطر على اللعاب CR. خلال فترة التزاوج بين نغمات 800-food ، استحوذت الكلاب على اللعاب وحافظت عليه ، على الرغم من أن ذلك أدى إلى فقدان معظم الطعام الذي كان يمكن الحصول عليه من خلال عدم إفراز اللعاب. تم التوصل إلى استنتاج مماثل من قبل الآخرين في دراسات مع البشر (Pithers ، 1985) والحيوانات الأخرى (براون وجينكينز ، 1968; وليامز وويليامز ، 1969. هولندا ، 1979) ؛ في جميع الحالات ، يبدو أنه على الرغم من تنوعها الكبير ، لا يتم التحكم في استجابات بافلوفان من خلال علاقتها بالمكافأة ، أي من خلال طوارئ نتيجة العمل.

يشير المصطلح contentency إلى العلاقة الشرطية بين الحدث 'A' وآخر 'B' ، بحيث أن حدوث B يعتمد على A. يمكن أن تتحلل علاقة من هذا النوع بسهولة عن طريق تقديم B في غياب A. عادة ما يتم تنفيذ التلاعب التجريبي ، الذي يشار إليه بتدهور حالات الطوارئ ، من خلال تقديم مكافأة بشكل مستقل عن التحفيز التنبئي أو الإجراء. على الرغم من أن هذا النهج تم تطويره في الأصل لدراسة تكييف بافلوفان (Rescorla ، 1968) ، أصبح التدهور الطارئ مفيدة أيضا أداة مشتركة (هاموند ، 1980). عندما يتم التلاعب بشكل مباشر بهذه الحالات الطارئة ، يتم الكشف عن محتوى التعلم: على سبيل المثال في autoshaping ، يتم تعطيل CR Pavlovian "المقنّع" كعمل فعال من خلال التلاعب في Pavlovian بدلاً من الطوارئ المفيدة (شوارتز و Gamzu ، 1977).

تتميز الأدوات الفعالة الموجهة نحو الهدف بمعايير اثنين: 1) حساسية للتغيرات في قيمة النتيجة ، و 2) حساسية للتغيرات في حالة الطوارئ بين العمل والنتيجة (ديكنسون ، 1985; ديكنسون و Balleine ، 1993). يجب التأكيد على أن حساسية تخفيض قيمة العملة وحدها ، لا يكفي في وصف الاستجابة باعتبارها موجهة نحو الهدف لأن بعض استجابات بافلوف يمكن أن تكون حساسة لهذا التلاعب (هولندا و Rescorla ، 1975). ومع ذلك ، فإن أداء الإجراءات المفيدة الموجهة نحو الهدف هو أيضا حساس للتلاعب في حالات الطوارئ الناتجة عن الإجراءات ، في حين أن استجابات بافلوفي حساسة للتلاعب في حالات الطوارئ الناتجة عن التحفيز (Rescorla ، 1968; ديفيس وبيترمان ، 1971; ديكنسون وشارنوك ، 1985). ومع ذلك ، يمكن العثور على استثناء مهم في حالة العادات (انظر أدناه) ، والتي هي أكثر تشابهًا مع استجابات بافلوف في عدم حساسيتها النسبية للتغيرات في حالات الطوارئ المفيدة ، ولكنها أيضًا منيعة لخفض قيمة النتائج لأن النتيجة ليست جزءًا من الهيكل التمثيلي للتحكم في الأداء (راجع ديكنسون ، 1985 وتحت لمزيد من المناقشة).

لتلخيص ، إذن ، من الأهمية القصوى أن يتم تحديد استجابة محددة بوضوح في مصطلح حالة الطوارئ المسيطرة بدلاً من إما عن طريق نموذج الاستجابة أو المهمة السلوكية المستخدمة في إنشائها. وبدون فحص حالة الطوارئ المسيطرة في حالة معينة ، من المحتمل أن يكون السلوك والعمليات العصبية التي تم التوصل إليها للتوسط في السلوك غير صحيحة. في نهاية المطاف ، كما سنجادل ، فإن الحالات الطارئة الفعلية ، التي يتم اكتسابها من خلال التعلم وتنفيذها بواسطة الأنظمة العصبية المتميزة ، هي التي تتحكم في السلوك ، على الرغم من أنها قد تتشارك في نفس "المسار المشترك النهائي". وبالتالي فإن التحدي الرئيسي هو تجاوز المظاهر للكشف عن السلوك المتحكم في حالات الطوارئ (للاطلاع على ملخص الجدول 1). من أجل الادعاء بأن بنى عصبية محددة تتوسط القدرات النفسية المحددة ، على سبيل المثال موجها الهدف ، يجب تقييم حالة السلوك مع المقايسات السلوكية المناسبة. والقيام بخلاف ذلك هو دعوة الارتباك فيما تجادل المجموعات حول المحددات العصبية المناسبة بينما تخفق في إدراك أن مهامها السلوكية يمكن أن تقيس ظواهر مختلفة. ما يهم ، في نهاية المطاف ، هو ما يتعلمه الحيوان في الواقع ، وليس ما يعتقده المجرب أن الحيوان يتعلم ، وما يتعلمه الحيوان في الواقع لا يمكن كشفه إلا عن طريق التحاليل التي تحقق مباشرة في محتوى التعلم.

كان التمييز بافلوفيان مفيدًا للغاية ، إذا تمكن الحيوان من تعلم الشيء نفسه (على سبيل المثال ، ارتباط بين التحفيز والمكافأة) بغض النظر عن الترتيبات التجريبية. باستخدام أكثر المقاييس شيوعًا للتعلم المتاح لعلم الأعصاب اليوم ، لا توجد طريقة للإخبار. وهكذا يدّعي الباحثون في كثير من الأحيان أنهم يدرسون السلوك الموجه نحو الهدف دون فحص ما إذا كان السلوك المعني موجّهًا نحو الهدف. على الرغم من أنه يُفترض عادةً أن تُنتج أنواع مختلفة من التعلم من استخدام "مهام" أو "نماذج" مختلفة ، إلا أن الباحثين يفشلون أكثر من كونهم لا يقدمون مبررًا كافيًا لافتراضاتهم.

المثال الكلاسيكي لهذه المشكلة هو استخدام متاهات لدراسة التعلم. تتمثل إحدى المشكلات في تجارب المتاهة والفحوصات ذات الصلة ، مثل تفضيل المكان المشروط ، في صعوبة فصل تأثير بافلوفان (مكافأة التحفيز) والمفاهيم الطارئة (السلوكية-المكافأة) على السلوك (ديكنسون ، 1994; يين و نولتون ، 2002). وهكذا ، فإن الانتقال من خلال متاهة T للحصول على الغذاء يمكن أن يعكس استراتيجية استجابة (انعطف يسارًا) أو ببساطة مقاربة مشروطة نحو معلم ما بعد إضافي يتحكم فيه اتحاد الغذاء -Restle ، 1957). طريقة واحدة لاختبار ما إذا كان هذا الأخير يلعب دورا في الأداء هو عكس المتاهة. الآن يجب أن يواصل المتعلمون الانعطاف لليسار في حين يجب أن يتحول أولئك الذين يستخدمون إشارات متاهة إضافية إلى اليمين. لكن هل تلك التي تستمر في الانعطاف إلى اليسار تستخدم استراتيجية استجابة حقيقية أم أنها تقترب من بعضها داخل-المجذرة المرتبطة بالطعام؟ ليس من السهل معرفة ذلك ، لأن الضوابط المعتادة للتحكم في سلوك بافلوف لا يمكن تطبيقها بسهولة في دراسات المتاهة. واحدة من هذه ، السيطرة ثنائية الاتجاه ، تنص على أن الحيوانات يمكن أن تمارس السيطرة على استجابة معينة عن طريق طلب عكس اتجاه تلك الاستجابة لكسب مكافأة (Hershberger ، 1986; Heyes و Dawson ، 1990). للأسف ، في متاهة ، قد لا يكون انعكاس الاستجابة كافياً لتأسيس عمل كهدف موجه ، لأنه يمكن تحقيق الانعكاس بإطفاء علاقة التحفيز والمكافأة الحالية واستبدالها بآخر. على سبيل المثال ، قد يتعلم الفأر الذي يقترب من تلميح معين في داخل المتاهة ، أثناء الانعكاس ، أنه لم يعد مقترنًا بالمكافأة ، ولكن بعض التحفيز الآخر هو ، مما أدى إلى اكتساب نهج CR باتجاه التحفيز الجديد. وبالتالي ، يمكنهم على ما يبدو عكس استجابتهم دون تشفير الطوارئ الاستجابة-المكافأة. ولأن هذا الاحتمال لا يمكن اختباره عمليًا ، فإن استخدام المتاهات أو إجراءات تفضيل المكان أو المهام الحركية البسيطة لدراسة عمليات التعلم الموجهة نحو الأهداف هو أمر محفوف بالمخاطر بشكل خاص ومن المحتمل أن يؤدي إلى سوء فهم العمليات التي تتحكم في السلوك مع الدور المحدد لأي عصب العمليات وجدت لتكون تشارك (Smith-Roe and Kelley، 2000; هيرنانديز وآخرون ، 2002; عطا الله وآخرون ، 2007).

Nucleus accumbens ليست ضرورية للتعلم الأساسي

تصبح أوجه القصور في التحليل السلوكي الحالي واضحة بشكل خاص في دراسة النواة المتكئة. وقد اقترحت العديد من الدراسات أن هذا الهيكل أمر بالغ الأهمية لاقتناء إجراءات موجهة نحو الأهداف (هيرنانديز وآخرون ، 2002; Goto و Grace ، 2005; هيرنانديز وآخرون ، 2005; Pothuizen وآخرون ، 2005; طه و ​​فيلدز ، 2006; عطا الله وآخرون ، 2007; Cheer et al.، 2007; Lerchner وآخرون ، 2007). ولكن تم التوصل إلى هذا الاستنتاج بشكل كبير على مقاييس التغيير في الأداء وحده ، باستخدام المهام التي يكون سلوك التحكم في حالات الطوارئ فيها غامضًا. على الرغم من أن الملاحظة القائلة بأن التلاعب يعيق اكتساب بعض الاستجابة السلوكية يمكن أن تشير إلى وجود عجز في التعلم ، إلا أنها يمكن أن تعكس أيضًا تأثيرًا على بدء الاستجابة أو التحفيز. على سبيل المثال ، يمكن أن يعكس ضعف قيمة شراء رافعة الضغط تأثيرًا على الأداء بدلاً من التعلم (Smith-Roe and Kelley، 2000). يجب أن يتم تفسير منحنيات الاكتساب وحدها ، باعتبارها بيانات غير كاملة لأي عملية تعلم ، بحذر (Gallistel et al.، 2004). لسوء الحظ ، غالباً ما يتم تجاهل التمييز بين التعلم والأداء ، ربما هو الدرس الأقدم في دراسة التعلم ، اليوم.

يشير تحليل أكثر تفصيلاً إلى أن المتكئين ليسوا ضروريين أو غير كافين للتعلم الأساسي. آفات قذيفة المتكئنة لا تغير حساسية الأداء إلى خفض قيمة النتائج (de Borchgrave et al، 2002؛ Corbit وآخرون ، 2001) أو إلى تدهور طارئ فعال (Corbit وآخرون ، 2001) ، في حين تم العثور على آفات الأساسية المتكئة للحد من الحساسية لخفض قيمة العملة دون الإضرار بحساسية الجرذان إلى التدهور الانتقائي للطوارئ مفيدة (Corbit et al.، 2001). وجدت دراسات أخرى تقيِّم تأثير التلاعبات المتكبدة على اكتساب استجابة جديدة في دراسات التعزيز المشروط تأثيراً ثابتاً على الأداء المتصل بالثواب ، ولا سيما تعزيز الأداء من قبل الأمفيتامين ، ولكن ليس على اكتساب الاستجابة في حد ذاتها (Parkinson). وآخرون ، 1999). وبالمثل ، وجدت دراسة منهجية من قبل الكاردينال وشيونغ أيضا أي تأثير للآفات المتكئة الأساسية على اكتساب استجابة الصحافة رافعة في إطار جدول التعزيز المستمر. اكتساب ضعيف القيمة فقط مع التعزيز المتأخر (الكاردينال وتشونغ ، 2005).

على الرغم من أن المتكئين لا يرمز للطوارئ الآلية (Balleine & Killcross، 1994؛ كوربيت ، موير وبالين ، 2001) ، تشير أدلة كثيرة إلى أنها تلعب دورًا أساسيًا في الأدوات أداءوهو دور يمكننا الآن تحديده بشكل أفضل في ضوء العمل الأخير. كما خلصت العديد من الدراسات ، فإن المتكئفات تعد حاسمة بالنسبة لأنواع معينة من تكييف بافلوفين المبتكر ، وتتوسط كل من التأثيرات الاستثنائية غير المحددة التي يمكن أن تحملها الإشارات المرتبطة بالمكافأة على الأداء الفعال ، بالإضافة إلى التحيزات الخاصة بالنتائج الخاصة باختيار الاستجابة المنتجة. من قبل مثل هذه الإشارات. تؤدي آفات اللب ، أو الحزامية الأمامية ، وهي مصدر رئيسي للإدخال القشري إلى اللب ، أو الانفصال بين هذين الهيكلين ، إلى إعاقة اكتساب سلوك نهج بافلوفي (باركنسون وآخرون ، 2000). التسريب المحلي لمضاد مستقبلات الدوبامين مثل D1 أو مضادات مستقبلات الغلوتامات NMDA مباشرة بعد التدريب يضعف أيضا هذا النوع من التعلم دون التأثير على الأداء (داللي وآخرون ، 2005). هذه البيانات تتفق مع قياسات في الجسم الحي النشاط العصبي. على سبيل المثال ، وجد <كارّي> وزملاؤه أن الخلايا العصبية في قلب المتكئة يمكن أن تغير نشاطها بشكل منهجي أثناء تعلم مهمة autoshaping في بافلوفيان (يوم وآخرون ، 2006; اليوم وكاريلي ، 2007).

يبدو أن الخلايا العصبية في منطقة الصدفة مضبوطة على المكافآت والمحفزات المريرة ، حتى قبل أي تجربة تعليمية ؛ كما أنها قادرة على تطوير ردود على CSs التي تتنبأ بهذه النتائج (Roitman وآخرون ، 2005). العمل من قبل Berridge وزملائه ، علاوة على ذلك ، وقد أثار احتمال أن بعض المناطق داخل النواة المتكئة قذيفة ويمكن وصفها في أسفل البعد البطني الباطن بأنها "النقاط الساخنة hedonic". هذه المناطق تعدل بشكل مباشر الاستجابات الملحة غير المشروطة للمكافآت ، مثل تفاعل الذوق. على سبيل المثال ، يمكن لنابضات المستقبلات الأفيونية في هذه المناطق أن تزيد بشكل كبير من تفاعل مذاق الطعام مع السكروز. ومع ذلك ، فإن هذه المناطق شديدة التوطين مدمجة في الشبكات الأوسع التي لا تلعب دورًا في السلوكيات الشهوانية (طه و ​​فيلدز ، 2005; Pecina وآخرون ، 2006; طه و ​​فيلدز ، 2006).

يبدو أن التمييز في الأدوار النسبية للقلوب والصدفة هو واحد بين السلوكيات التحييرية التحضيرية والواجبية ، على التوالي ، والتي يمكن تعديلها بسهولة عن طريق التجربة من خلال أنواع متميزة من تكييف بافلوفان. ترتبط الاستجابات التحضيرية مثل النهج مع الصفات العاطفية العامة للنتيجة ، في حين ترتبط السلوكيات الاتية مع الصفات الحسية أكثر تحديدا. كما أنها عرضة بشكل تفاضلي لأنواع مختلفة من CS ، على سبيل المثال ، تكون الاستجابة التحضيرية أكثر تكيفًا مع حافز ذو مدة طويلة (Konorski ، 1967; ديكنسون و Dearing ، 1979; Balleine ، 2001; ديكنسون و Balleine ، 2002).

على أي حال ، فإن الأدلة التي تشير إلى المتواطئين في بعض جوانب تكييف بافلوف ساحقة. ومع ذلك ، فهي ليست البنية الوحيدة المعنية ، والشبكات الأخرى ، مثل تلك التي تنطوي على النوى اللولبية المختلفة ، يبدو أنها تلعب أيضًا دورًا محوريًا في كل من المكونات التحضيرية والعلمية للعلاج بافلوفان. (Balleine و Killcross، 2006).

إحدى الوظائف التي يمكن أن تنسب بوضوح إلى المتكئين هي دمج التأثيرات البافلوفونية على السلوك الفعال. يمكن لبرامج Pavlovian CRs ، بما فيها تلك التي تعكس تنشيط حالات التحفيز المركزية ، مثل الرغبة الشديدة والإثارة ، أن تمارس تأثيراً قوياً على أداء الأعمال المفيدة (Trapold and Overmier، 1972; Lovibond ، 1983; هولندا ، 2004). على سبيل المثال ، يمكن لـ CS الذي يتنبأ بشكل مستقل بتوصيل الطعام أن يزيد من الاستجابة الفعالة للطعام نفسه. يدرس هذا التأثير عادة باستخدام نموذج النقل بافلوفيان (PIT). في PIT ، تحصل الحيوانات على مراحل تدريب بافلوفيان وآلات منفصلة ، حيث يتعلمون ، بشكل مستقل ، لربط جديلة بالطعام ، والضغط على رافعة لنفس الطعام. ثم في التجارب المسبقة ، يتم تقديم جديلة مع رافعة المتاحة ، ويتم قياس ارتفاع معدلات الاستجابة في وجود CS. تم تحديد شكلين من PIT. أحدهما يتعلق بتأثير الإشارات ذات الصلة بالمكافأة بشكل عام وتأثير ثاني أكثر انتقائية على أداء الاختيار الذي أنتجته الحالة التنبؤية لجذع فيما يتعلق بمكافأة محددة مقابل الآخرين. تعتبر القوقعة المتكافلة ضرورية لهذا الشكل الأخير من المحصّلة الخاص بالنتائج ، ولكنها ليست ضرورية للشكل السابق والأكثر عمومية ولا الحساسية لخفض قيمة النتائج. على النقيض من ذلك ، تقلل آفات النواة المتكئة الحساسية تجاه كل من تخفيض قيمة النتائج والشكل العام لـ PIT ولكنها تترك معاملات PIT سليمة من حيث النتائج (Corbit et al.، 2001. (Balleine و Corbit ، 2005).

قدمت دراسة حديثة مزيد من التبصر في دور قذيفة المتكئين في PIT محددة النتيجة (Wiltgen et al.، 2007). لم يؤثر التعبير المتحكم عن بروتين الكالسيوم الفعال المعتمد على الكالسيوم / الكينودولين II (CaMKII) في المخطط المخطط على التعلم الفعال أو التعلم في لغة بافلوف ، ولكنه ألغى PIT محددة. كان هذا العجز في PIT غير دائم ويمكن عكسه عن طريق إيقاف تعبير الجينات مع الدوكسيسيكلين ، مما يدل على أن العجز كان مرتبطا بالأداء فقط. إن تعزيز مستوى CaMKII بشكل مصطنع في المخطط يعني بالتالي منع نقل الدوافع المحفزة للنتائج من Pavlovian إلى النظام الفعال. ومن المثير للاهتمام ، تبين أيضا أن تشغيل المتحولين الجديين CaMKII يقلل من استثارة الخلايا العصبية في القشرة المتكئة ، دون التأثير على انتقال القاعدي أو قوة متشابك.

المخطط الظهري

المخطط الظهري ، المعروف أيضًا باسم النيوستراتوم أو البويدات المذنبة ، يتلقى توقعات هائلة من ما يسمى القشرة المخية الحديثة. ويمكن تقسيمها أيضًا إلى منطقة ارتباطية ، والتي تكون في القوارض أكثر وسطيًا ومستمرة مع المخطط البطني ، ومنطقة مجسامية أكثر إفرازًا. (Groenewegen وآخرون ، 1990; Joel and Weiner، 1994). بشكل عام ، يتم إعصاب المخطط الظهري بواسطة خلايا DA من المادة السوداء (SNC) ، ويتلقى فقط إسقاطات ضئيلة من الخلايا العصبية VTA DA (Joel and Weiner، 2000). ركز العمل السابق على المخطط الظهري في الغالب على دوره في تعلم العادات التحفيزية (SAR).ميلر ، 1981; أبيض ، 1989). يستند هذا الرأي إلى قانون التأثير ، الذي بموجبه تعمل المكافأة على تعزيز ، أو تعزيز ، ارتباط SR بين المنبهات البيئية والاستجابة التي تؤدي إلى حدوث زيادة في الميل إلى تنفيذ تلك الاستجابة في وجود هؤلاء المحفزاتThorndike ، 1911; هال ، 1943; ميلر ، 1981). وبالتالي ، يُعتقد أن مسار الكورتيكوستريبت يؤدي إلى توسط تعلم الـ SR مع DA بمثابة إشارة تقوية (ميلر ، 1981; رينولدز ويكينز ، 2002).

تتميز طرز SR بأنها تحتوي على قاعدة متغطرسة لترجمة التعلم إلى أداء. وعلى النقيض من ذلك ، فإن النموذج الذي يعتمد على التوقع المرتبط بالعمل ، أكثر تعقيدًا لأن الاعتقاد "الإجراء A يؤدي إلى النتيجة O" ليس بالضرورة أن يترجم إلى عمل (جوثري ، 1935; ماكنتوش ، 1974)؛ يمكن استخدام معلومات من هذا النوع لتنفيذ "A" وتجنب تنفيذ "A". لهذا السبب ، تجنب النظريات التقليدية التفسير الأكثر وضوحًا ، أي أن الحيوانات يمكن أن تكتسب طارئًا ناتجًا عن العمل يرشد سلوك الاختيار. ومع ذلك ، شهدت العقود القليلة الماضية مراجعة جوهرية لقانون التأثير (آدمز ، 1982; Colwill و Rescorla ، 1986; ديكنسون ، 1994; ديكنسون وآخرون ، 1996). تيلقد أظهرت نتائج العديد من الدراسات أن الإجراءات المفيدة يمكن أن تكون موجهة نحو الهدف ، أي حساسة للتغيرات في قيمة المكافأة وكذلك الفعالية السببية للعمل (انظر ديكنسون وبالين ، 1994 ؛ 2002; Balleine ، 2001 للاستعراضات). ومع ذلك ، وعلى مدار التدريب المكثف في ظل ظروف ثابتة ، يمكن حتى للأعمال المكتسبة حديثًا أن تصبح تلقائية الحركة ومحفزة على التحفيز - وهي عملية تُعرف بتكوين العادات (آدامز وديكنسون ، 1981; آدمز ، 1982; يين وآخرون ، 2004). وهكذا ، فإن العادات التي يتم تعريفها ، والتي يتم استثارتها تلقائيًا بواسطة المحفزات السابقة ، لا يتم التحكم فيها عن طريق توقع أو تمثيل النتيجة ؛ وبالتالي فهي منيعة للتغيرات في قيمة النتائج. من هذا المنظور ، فإن قانون التأثير هو حالة خاصة تنطبق فقط على السلوك المعتاد.

التصنيف الحالي للسلوك الآلي يقسمه إلى فئتين. تييتكون الفصل الأول من الإجراءات الموجهة نحو الهدف والتي تتحكم بها الطوارئ المفيدة. الثاني ، والسلوك المعتاد منيع للتغيرات في قيمة النتيجة (الجدول 1). باستخدام تجارب سلوكية مثل تخفيض قيمة النتائج وتدهور طارئ فعال ، أنشأ Yin et al تفككًا وظيفيًا بين الحافز الحركي (المخطط الجانبي الظهاري ، DLS) والمناطق الترابطية (المخطط الظهاري dorsomedial ، DMS) للمخطط الظهري (يين و نولتون ، 2004; يين وآخرون ، 2004, 2005a; يين وآخرون ، 2005b; يين وآخرون ، 2006a). آفات من DLS يضعف تطور العادات ، مما أدى إلى وضع أكثر تحديدا الهدف من السيطرة السلوكية. آفات DMS لها تأثير معاكس وتؤدي إلى التحول من الهدف الموجه إلى التحكم المعتاد. وخلص Yin et al ، بالتالي ، إلى أن DLS و DMS يمكن فصلهما وظيفيا من حيث نوع التراكيب الترابطية التي يدعمانها: DLS أمر حاسم لتكوين العادات ، في حين أن DMS أمر بالغ الأهمية لاكتساب والتعبير عن الإجراءات الموجهة نحو الهدف. ويتنبأ هذا التحليل أنه في ظل ظروف معينة (مثل التدريب الممتد) يمكن للتحكم في الإجراءات أن ينتقل من النظام المعتمد على DMS إلى النظام المعتمد على DLS ، وهو استنتاج يتفق بشكل كبير مع الأدبيات الكثيرة على الرئيسيات ، بما في ذلك تصوير الأعصاب البشري (هيكوساكا وآخرون ، 1989; Jueptner et al.، 1997a; Miyachi وآخرون ، 1997; Miyachi وآخرون ، 2002; Delgado et al.، 2004; هارونو وآخرون ، 2004; Tricomi et al.، 2004; Delgado et al.، 2005; Samejima وآخرون ، 2005; Haruno و Kawato ، 2006a, b; Lohrenz وآخرون ، 2007; توبلر وآخرون ، 2007). يجب أن نتذكر ، بالطبع ، رلا يمكن أن يكون موقع القناع المادي (على سبيل المثال ظهري أو بطني) بمفرده دليلًا موثوقًا به في مقارنة مخطط القوارض ونمط المخطط الرئيسي ؛ يجب إجراء مثل هذه المقارنات بحذر ، بعد دراسة متأنية للتوصيل التشريحي.

يمكن مقارنة آثار الآفات الظهرية الجسدية مع تلك الآفات المتكئة (Smith-Roe and Kelley، 2000; عطا الله وآخرون ، 2007). كما ذكرنا من قبل ، فإن الاختبارات المعيارية لتحديد السلوك على أنه "الهدف الموجه" هي تخفيض قيمة النتائج وتدهور حالة الطوارئ الناتجة عن الإجراءات (ديكنسون و Balleine ، 1993). آفات DMS تجعل السلوك غير حساس لكل من التلاعبيين وآخرون ، 2005b) ، في حين أن آفات المتكئين الأساسية أو قذيفة لا (Corbit et al.، 2001). وعلاوة على ذلك ، فإن اختبارات المسبار لهذه الاختبارات السلوكية تجري عادة في الانقراض ، دون تقديم أي مكافأة ، من أجل تقييم ما تعلمه الحيوان دون تلوث بالتعليم الجديد. وبالتالي فهي تحقق مباشرة في سلوك التمثيل التمثيلي المسيطر. وكإجراء إضافي للتحكم التجريبي ، من المفيد غالبًا إجراء اختبار منفصل لخفض قيمة العملة يتم فيه تسليم المكافآت بالفعل - وهو ما يسمى "الاختبار المكافئ". لم تلغأ آفات DMS الحساسية تجاه تخفيض قيمة النتائج في الاختبار المكافئ ، كما هو متوقع ، نظرًا لأن تسليم نتيجة منخفضة القيمة مشروطة بإحدى الإجراءات يمكن أن يوقف الإجراء بشكل مستقل عن تشفير الناتج-النتيجة. من ناحية أخرى ، لم تتسبب آفات الصدفة المتراكمة في إضعاف حساسية تخفيضات النتائج سواء في اختبار الانقراض أو الاختبار المكافئ ، في حين أن الآفات المتلازمة الأساسية ألغت الحساسية لخفض قيمة كل من الاختبارين (Corbit et al.، 2001). غير أن الحساسية لتدهور حالات الطوارئ لم تتأثر بأي من الآفات ، مما يدل على أنه ، بعد الآفات المتكئة ، تمكنت الفئران من تشفير واسترجاع تمثيلات نتيجة العمل.

دور الدوبامين: Mesolimbic مقابل nigrostriatal

منذ الدراسات الرائدة في النشاط الطوري لعصبونات DA في القردة ، هناك افتراض شائع في هذا المجال هو أن جميع خلايا DA تتصرف بشكل أساسي بنفس الطريقة (شولتز ، 1998a; Montague et al.، 2004). ومع ذلك ، فإن البيانات المتاحة ، وكذلك الاتصال التشريحي ، تشير إلى خلاف ذلك. في الواقع ، يمكن تمديد التحليل أعلاه من التجانس الوظيفي في المخطط إلى خلايا DA في الدماغ المتوسط ​​كذلك.

يمكن تقسيم خلايا DA إلى مجموعتين رئيسيتين: VTA and substantia nigra pars compacta (SNc). على الرغم من أن الإسقاط من كان VTA إلى المتكئين محور الاهتمام في مجال التعلم المتعلق بالمكافأة ، تم إهمال مسار nigrostriatal الضخم، مع تركيز الانتباه في المقام الأول على دورها في مرض باركنسون. التفكير الحالي في دور وقد تأثر DA في التعلم بشكل كبير من الاقتراح بأن النشاط الطوري لخلايا DA يعكس تنبئ المكافأة error (Ljungberg et al.، 1992; شولتز ، 1998b). أناn أكثر مهمة تكييف بافلوفان شيوعا التي استخدمها شولتز وزملاؤه ، هذه العصبونات تستجيب لمكافأة (الولايات المتحدة) ولكن ، مع التعلم ، تحول النشاط الذي أثارته الولايات المتحدة إلى CS. عندما يتم حذف الولايات المتحدة بعد التعلم ، تظهر خلايا DA اكتئابًا موجزًا ​​في النشاط في الوقت المتوقع للتسليم (Waelti et al.، 2001; Fiorillo et al.، 2003; توبلر وآخرون ، 2003). هذه البيانات تشكل أساسًا لمجموعة متنوعة من النماذج الحسابية (شولتز وآخرون ، 1997; شولتز ، 1998b; براون وآخرون ، 1999; Montague et al.، 2004).

بالنظر إلى مستويات متعددة من التحكم في آليات التوليف والإطلاق ، لا يمكن مساواة تحريك النبضات العصبية DA بإطلاق DA ، على الرغم من أن المرء يتوقع أن يكون هذان القياسان مترابطين إلى حد كبير. في الواقع ، كما أظهرت دراسة حديثة من قبل Carelli وزملائه باستخدام voltammetry دوري مسح سريع ، يبدو أن إصدار DA الفعلي في قلب المتكئة يرتبط بخطأ تنبؤي في تكييف بافلوفان (يوم وآخرون ، 2007). وجدوا إشارة DA طوري في جوهر المتكئين فورا بعد استلام مكافأة السكروز في autoshaping Pavlovian. بعد تمديد تكييف بافلوفان ، ومع ذلك ، لم يعد يتم العثور على هذه الإشارة بعد المكافأة نفسها ، ولكن تحولت إلى CS بدلا من ذلك. تدعم هذه النتيجة فرضية "خطأ التنبؤ" الأصلية. كما أنها تتفق مع العمل السابق الذي يظهر ضعف الأداء في CR Pavlovian بعد إما عداء مستقبل DA أو نضوب DA في النواة المتكئة (Di Ciano et al.، 2001; باركنسون وآخرون ، 2002). ومع ذلك ، فإن ملاحظة واحدة من هذه الدراسة هي جديدة وذات أهمية كبيرة: بعد تكييف ممتد مع CS + يتنبأ بمكافأة و CS- لا يتنبأ بالمكافأة ، لوحظت أيضًا إشارة DA مماثلة ، وإن كانت أصغر ، بعد CS-، كما أظهرت انخفاضًا طفيفًا على الفور (500 ~ 800 ميلي ثانية بعد بدء التشغيل) بعد الذروة الأولية (يوم وآخرون ، 2007، الشكل 4). في هذه المرحلة من التعلم ، لا تقترب الحيوانات تقريبًا من CS− ، ولكنها تقترب باستمرار من CS +. وبالتالي فإن إشارة DA الطورية مباشرة بعد التنبؤ قد لا تلعب دورا سببا في توليد استجابة النهج ، لأنها موجودة حتى في غياب الاستجابة. ما إذا كانت مثل هذه الإشارة لا تزال ضرورية لتعلم حالة الطوارئ التحفيزية والمكافأة تبقى غير واضحة ، ولكن الاستجابة الطورية الملاحظة لـ CS− لا يتوقعها بالتأكيد أي من النماذج الحالية.

ومن المثير للاهتمام ، أن استنزاف DA المحلي يضعف الأداء في هذه المهمة (باركنسون وآخرون ، 2002). في حين يتم ملاحظة إشارة DA طورية بعد CS− ، التي لا تولد CR على الإطلاق ، يلغي إلغاء DA الطوري والمنشط من خلال الاستنزاف المحلي أداء CRs. يشير هذا النمط إلى أن هناك حاجة إلى إشارة DA طورية في المتكئين لأداء CR Pavlovian ، ولكن قد تلعب دورا في التعلم ، في حين أن إشارة DA أبطأ وأكثر منشطًا (يُفترض أنها ألغيت في دراسات الاستنفاد) هي أكثر أهمية للأداء من استجابة النهج (Cagniard et al.، 2006; يين وآخرون ، 2006b; Niv وآخرون ، 2007). هذا الاحتمال يبقى ليتم اختباره.

على الرغم من عدم وجود دليل مباشر على الدور السببي لإشارة DA الطورية في التعلم ، إلا أن فرضية "خطأ التنبؤ" اجتذبت الكثير من الاهتمام ، وذلك لأن نوع الإشارة المستخدمة في نماذج التعلم البارزة هي على وجه التحديد. مثل نموذج Rescorla-Wagner وتوسيعه في الوقت الحقيقي خوارزمية التعلم تعزيز الفرق الزمني (شولتز ، 1998b). وفقًا لهذا التفسير ، يتم تحديد التعلم التفاعلي بالفرق بين المكافأة المستلمة والمُتوقَّعة (أو بين توقعين متتاليين لمكافأة زمنية). يتم تنظيم هذه إشارة التدريس من قبل ردود فعل سلبية من جميع تنبؤات المكافأة (شولتز ، 1998b). إذا لم تكن أي مكافأة تتبع المتنبئ ، فإن آلية التغذية الراجعة السلبية يتم كشفها كغطاء في نشاط الخلايا العصبية DA. وبالتالي ، يشمل التعلم التقليل التدريجي لخطأ التنبؤ.

ربما تشتت أناقة إشارة التدريس في هذه النماذج بعضاً من الواقع التشريحي. في الدراسة من قبل يوم وآخرون (2007)تأتي إشارة DA في المتكثفات في الغالب من خلايا في VTA ، ولكن يبدو من غير المحتمل أن تظهر خلايا DA الأخرى ، مع اتصال تشريحي مختلف تمامًا ، نفس شكل الاستجابة وتوفر نفس الإشارة. من المرجح أن يكون هناك تدرج في ما تشير إليه خلايا DA ، نظرًا لأن خلايا DA تتجه إلى مناطق خطية مختلفة ذات وظائف مختلفة تمامًا ، وتتلقى بدورها إشارات ردود فعل سلبية متميزة من مناطق خطرة مختلفة أيضًا (Joel and Weiner، 2000; Wickens et al.، 2007). إن آليات الإمتصاص والتدهور ، بالإضافة إلى المستقبلات قبل المشبكية التي تنظم إفراز الدوبامين ، تظهر أيضًا تفاوتًا كبيرًا عبر المخطط (Cragg et al.، 2002; الأرز و Cragg ، 2004; Wickens et al.، 2007; الأرز و Cragg ، 2008).

نقترح ، لذلك ، أن مسار المسارات المتوسطة يلعب دورًا أكثر تقييدًا في تعلم بافلوفان ، في اكتساب قيمة الدول والمحفزات ، في حين أن مسار النيجروتريترات أكثر أهمية للتعلم الأساسي ، في اكتساب قيم الإجراءات. Tالقبعة ، يمكن أن تقوم إشارة DA الطورية بتشفير أخطاء التنبؤ المختلفة ، بدلاً من خطأ تنبؤ واحد ، كما هو مفترض حاليًا. ثلاثة خطوط من الأدلة تدعم هذه الحجة. أولاً ، يؤدي الاستنزاف الوراثي لـ DA في مسار nigrostriatal إلى إعاقة اكتساب وأداء الإجراءات المفيدة ، في حين أن استنفاد DA في المسار mesolimbic لا (سوتاك وآخرون ، 2005; روبنسون وآخرون ، 2007). ثانيًا ، قد تقوم خلايا DA في SNC بتشفير قيمة الإجراءات ، على غرار الخلايا في المنطقة المخطط لها المستهدفة (موريس وآخرون ، 2006). ثالثا ، الآفة الانتقائية لإسقاط nigrostriatal إلى DLS يضعف تشكيل العادة (Faure وآخرون ، 2005).

أظهر العمل الأخير الذي أجراه بالميتر وزملاؤه أن الفئران التي تعاني من عيوب في الوراثة DA المعدلة وراثيا تعاني من ضعف شديد في التعلم والأداء ، ولكن يمكن استعادة أدائها إما عن طريق الحقن L-DOPA أو عن طريق نقل الجينات الفيروسية إلى مسار nigrostriatal (سوتاك وآخرون ، 2005; روبنسون وآخرون ، 2007). على النقيض من ذلك ، لم يكن من الضروري استعادة DA في المخطط البطني لاستعادة السلوك الفعال. على الرغم من أن كيفية إشارات DA التي تساعد على التعلم الفعال تظل مسألة مفتوحة ، فإن أحد الاحتمالات الواضحة هو أنه يمكن أن يرمز إلى قيمة الإجراءات الذاتية ، أي ما هو مقدار المكافأة المتوقعة في سياق عمل معين.

يحتوي المخطط الظهاري ، ككل ، على أعلى تعبير لمستقبلات DA في الدماغ ، ويتلقى أكبر إسقاط الدوبامين. قد يلعب إسقاط DA في DMS دورًا مختلفًا في التعلم من الإسقاط إلى DLS ، حيث أن هاتين المنطقتين تختلفان بشكل كبير في الشكل الزمني لإطلاق DA وامتصاصه وتدهوره (Wickens et al.، 2007). نحن نفترض أن الإسقاط DA إلى DMS من SNC الإنسي أمر بالغ الأهمية للتعلم نتيجة العمل ، في حين أن الإسقاط DA إلى DLS من SNc الجانبي أمر بالغ الأهمية لتكوين العادة. إذا كان هذا صحيحًا ، فيجب أن تتوقع الخلايا DA في SNC أن ترمز الخطأ في التنبؤ بالمكافأة استنادًا إلى الإجراءات التي يتم إنشاؤها ذاتيًا - خطأ تنبؤي فعال - بدلاً من ذلك استنادًا إلى CS. تأتي الأدلة الأولية الداعمة لهذا الادعاء من دراسة حديثة قام بها Morris et al ، والتي تم تسجيلها من الخلايا العصبية SNC خلال مهمة تعلم فعالة (موريس وآخرون ، 2006). تم تدريب القرود على تحريك أسلحتهم استجابة لتحفيز تمييزي (SD) التي تشير إلى الحركة المناسبة واحتمال المكافأة. ال SD نشاط طوري مزعج في الخلايا العصبية DA المقابلة لقيمة العمل على أساس احتمال مكافأة المتوقعة من إجراء معين. الأكثر إثارة للاهتمام ، على الرغم من أن استجابة DA إلى SD مع زيادة قيمة الإجراء ، كان العكس معكوسًا لاستجابة DA للمكافأة نفسها ، بما يتفق مع فكرة أن هذه الخلايا العصبية ترمِّز خطأ تنبؤًا مرتبطًا بتلك القيمة. ليس من المستغرب أن الهدف الأساسي من هذه الخلايا ، النواة المذنّبة ، معروف بأنه يحتوي على خلايا عصبية ترمز قيم العمل (Samejima وآخرون ، 2005). ومع ذلك ، تجدر الإشارة إلى أن هذه الدراسة لم تستخدم المهام السلوكية التي تقييم قيمة الإجراءات بشكل لا لبس فيه. والتنبؤ الواضح لنموذجنا هو أن النشاط DA طوري سوف يرافق أداء الإجراءات ، حتى في غياب S صريحD. على سبيل المثال ، نتوقع إطلاق نيران العصبونات DA في وقت إجراء ذاتي يبدأ المكافأة.

من وجهة نظرنا ، في حين تعكس إشارة DA mesoaccumbens قيمة CS ، فإن إشارة nigrostriatal ، ربما من تلك العصبونات التي تتوجه إلى DMS ، تعكس قيمة الإجراء نفسه ، أو من أي SD تتنبأ بهذه القيمة. علاوة على ذلك ، يبدو أن كل من التعلم الفعال وعلم بافلوفان يتضمن شكلاً من أشكال التغذية المرتدة السلبية للتحكم في إشارة التدريس الفعالة. في الواقع ، والتوقعات المباشرة من المخطط إلى الخلايا العصبية DA منتصف الدماغ (الشكل 2) لطالما اقترحت كتنفيذ العصبي لهذا النوع من ردود الفعل السلبية (Houk وآخرون ، 1995) ، وقد تختلف قوة وطبيعة الإدخال المثبط بشكل كبير من منطقة إلى أخرى.

الشكل 2  

شبكات العقد القشرية القشرية

إن خطأ التنبؤ ، وفقًا للنماذج الحالية ، هو إشارة تعليم تحدد مقدار التعلم الذي يحدث. طالما أنه موجود ، يستمر التعلم. على الرغم من وضوح هذه الادعاءات ، إلا أن الخطأ التنبؤي لقيمة الإجراء ، على الرغم من كونه مشابهًا لخطأ التنبؤ الخاص بافلوفان ، له ميزات فريدة لم يتم فحصها على نطاق واسع. في النماذج التقليدية مثل نموذج Rescorla-Wagner ، الذي يتعامل بشكل حصري مع تكييف Pavlovian (على الرغم من النجاح المحدود) ، فإن الميزة الأساسية هي التغذية المرتدة السلبية التي تنظم الخطأ التنبئي. يمثل هذا الناتج التنبؤ المكتسب ، وبشكل أكثر تحديدًا مجموع من جميع المتنبئات الحالية ، كما يتم التقاطها بواسطة المحفزات المركبة التي تُستخدم عادةً في عرقلة التجارب (Rescorla ، 1988). هذا هو التلخيص للتنبؤات المتاحة لإنشاء مصطلح خطأ عالمي هو الابتكار الرئيسي في هذه الفئة من النماذج. ومع ذلك ، في ما يتعلق بالإجراءات المفيدة ، فإن مصطلحات الخطأ الفردية تبدو أكثر احتمالًا ، لأنه من الصعب رؤية كيف يمكن أن تقدم التعليقات السلبية قيمة الإجراءات المتعددة في وقت واحد عندما يمكن تنفيذ إجراء واحد فقط في المرة الواحدة. بالطبع ، يوجد عدد من الحلول الممكنة. على سبيل المثال ، بالنظر إلى حالة معينة (تم التنفيذ التجريبي بواسطة S مميزةD) ، يمكن بالفعل تمثيل مسارات الإجراءات الممكنة في وقت واحد كنبؤات مكتسبة. لكن الصعوبة الرئيسية في أخطاء التنبؤ بالأداة لها علاقة بطبيعة الفعل نفسها. يتبع تنبؤ بافلوفي تلقائياً عرض الحافز ، وهو مستقل عن الكائن الحي. يجب أن يتطرق خطأ تنبؤي للأداة لعنصر التحكم ، لأن التنبؤ هو بحد ذاته تصرف طارئ ، ويتم إطلاق إجراء متعمد بشكل تلقائي على أساس سعي الحيوانات إلى عواقب التصرف بدلاً من الاستنشاق بمحفزات سابقة. وفي النهاية ، فإن الإهمال العام للطبيعة التلقائية للأعمال الموجهة نحو الهدف ، في كل من علم الأعصاب وعلم النفس ، هو الذي ألغى التمييز بين عمليات التعلم في منطقة بافلوفان وعلم الآلات ، وطبيعة أخطاء التنبؤ التي تنطوي عليها. لا يزال يتعين تحديد نوع الإشارة السلبية ، إن وجدت ، التي تنظم اكتساب قيم العمل (دايان و Balleine ، 2002).

وأخيرًا ، فقد أشار العمل الحديث أيضًا إلى إسقاط الإسقاط الصخري من SNc الجانبي إلى DLS تحديدًا في تكوين العادة. قام فاور وزملاؤه بشكل انتقائي بتأثير خلايا DA التي تتجه إلى DLS باستخدام 6-OHDA ، ووجد أن هذا التلاعب له تأثير ضئيل بشكل مفاجئ على معدل الضغط على الرافعة ، على الرغم من أنه يضعف تكوين العادة ، كما تم قياسه باستخدام خفض قيمة النتائج (Faure وآخرون ، 2005). وهذا يعني أن الحيوانات المتقلبة استجابت بطريقة موجهة نحو الهدف ، على الرغم من أن التدريب المتولد في مجموعة التحكم ، لا يتأثر بالتسلسل المعتاد لخفض قيمة النتائج. يشبه استنزاف DA المحلي ، إذن ، آفات excitotoxic في DLS ، حيث أن كلتا التلاعبين يؤخران تكوين العادة ويفضلان الحصول على إجراءات موجهة نحو الهدف (يين وآخرون ، 2004). توجد بالفعل إشارة DA طورية حرجة لتكوين العيوب موصوفة بشكل جيد من خلال إشارة التعزيز الفعالة في خوارزميات التعلم المعززة لفرق الزمانية المعاصرة المستوحاة من عمل هال وهولنس (Hull and Spence)هال ، 1943; سبنس ، 1947, 1960; ساتون وبارتو ، 1998).

شبكات العقد القشرية

لقد ناقشنا حتى الآن التغاير الوظيفي داخل المخطط ، ومع ذلك قد يكون من الخطأ أن نقول أن أي منطقة خطرة يمكن ، على سبيل المثال ، أن تترجم طارئ الإجراء-النتيجة إلى أداء أي إجراء بحد ذاته. بدلاً من ذلك يتم تنظيم نصفي الكرة المخية كوحدات وظيفية متكررة تتكون من شبكات العقد القشرية-القشرية (سوانسون ، 2000; زحم ، 2005). تيهو المخطط ، كونه محطة الدخول في العقد القاعدية بأكملها ، بمثابة محور فريد من نوعه في شبكة العقد القشرية القشرية ، قادرة على دمج المدخلات القشرية ، المهادية ، و الدماغ المتوسط. كما هو موصوف أعلاه ، على الرغم من أنه هيكل متواصل ، فإن مناطق مختلفة من المخططات تبدو أنها تشارك في شبكات وظيفية متميزة ، على سبيل المثال تعمل المتكئة كمحور في الشبكة الطرفية و DLS في الشبكة الحسية. غير أنه بسبب الخاصية العائدة لمثل هذه الشبكات ، لا يوجد عنصر واحد من هذه البنية في المنبع أو في أي اتجاه مطلق. على سبيل المثال ، النظام المهادي القشري هو مصدر مدخلات رئيسية للمخطط والهدف لكل من الممرات المصطفة والخطية - المهاجرة.

على الرغم من أن الحلقات القاعدية العقدية الموازية العائدة قد تم الاعتراف بها منذ فترة طويلة (الكسندر وآخرون ، 1986) ، نؤكد على الأدوار الوظيفية المتميزة لهذه الدارات بناءً على هياكل تمثيلية محددة العمليات والتفاعلات بين الدوائر في توليد السلوكيات التكاملية. على هذا الأساس ، يمكن تمييز أربع شبكات على الأقل: الشبكات الحوفية التي تشمل الغلاف والجزء الأساسي من المتكئين على التوالي ، والشبكة الترابطية التي تتضمن المخطط الترابطية (DMS) ، وشبكة الاستشعار الحسية التي تتضمن المخطط المخطط (DLS). وتتراوح وظائفها من التوسط في السيطرة على ULs Pavlovian appetitive و CRs إلى الإجراءات مفيدة (الشكل 1).

الشكل 1  

المجالات الوظيفية الرئيسية للمخطط. رسم توضيحي للمخطط من قسم إكليلي يظهر نصف الدماغ (Paxinos وفرانكلين ، 2003). لاحظ أن هذه المجالات الوظيفية الأربعة متواصلة تشريحيا ، وتتوافق تقريبًا مع ما ...

كما ذكرنا من قبل ، يتكون المخطط البطني في الغالب من النواة المتكئة ، التي يمكن تقسيمها إلى داخل الصدفة واللب ، وكل منها يشارك في شبكة وظيفية متميزة. تنبثق الإسقاطات القشرية (glutamatergic) إلى القشرة من القشور المدارية غير المركزية والوسطى والجانبية ، في حين أن الإسقاطات إلى القلب تنشأ من مزيد من المناطق الوسطى الظهارية من القشرة المخية قبل الجبهية مثل القشرة الحزامية البطنية والظهرية والقشرة الحزامية الأمامية (Groenewegen وآخرون ، 1990; زحم ، 2000, 2005). ضمن هذه الشبكات الوظيفية ، تشير الأدلة التي تم استعراضها أعلاه إلى أن القوقعة متورطة في URs إلى المكافآت واكتساب CRs. جوهر السلوك الاستكشافي ، لا سيما اكتساب وتعبير ردود نهج بافلوفي. يمكن ، على الأقل ، تمييز شبكتين رئيسيتين على الأقل في شبكة العقد القشرية البطنية أو الحوفيّة القُرْصِيّة ، واحدة للإكتمال والأخرى للسلوك التحضيري وتعديلها بواسطة تكييف بافلوفان (الشكل 1).

وبالمثل يمكن تقسيم المخطط الظهري إلى منطقتين رئيسيتين على الأقل ، ارتباطية وحسية ، مع شبكة وظيفية متميزة مرتبطة بكل منهما. يحتوي المخطط الترابطي (المذنبات وأجزاء من البوتامين الأمامي في الرئيسيات) على عصبونات تحترق تحسبًا لمكافأة الاستجابة الطارئة وتغيّر إطلاقها وفقًا لحجم المكافأة المتوقعة (هيكوساكا وآخرون ، 1989; هولرمان وآخرون ، 1998; Kawagoe وآخرون ، 1998). في الشبكة الترابطية ، تشترك قشرة الفئران الأمامية والجدارية والهدف منها في DMS في الذاكرة العابرة ، كلا المرتقبين ، في شكل توقعات النتائج ، وبأثر رجعي ، كسجل للنسخ efference الأخيرة (Konorski ، 1967). من ناحية أخرى ، يتألف المستوى الحاسوبي من القسيمات الحسية الحسية وأهدافها في العقد القاعدية. يتم توجيه مخرجات هذه الدائرة إلى الحركات الحركية والمحركات الجذعية الدماغية. عادة ما لا يتم تعديل النشاط العصبي في المخطط الحسي بالمقدار المتوقع ، ويعرض نشاطًا أكثر ارتباطًا بالحركة من الخلايا العصبية في المخطط الترابطية (كانازاوا وآخرون ، 1993; كيمورا وآخرون ، 1993; Costa et al.، 2004). وأخيرًا ، بالإضافة إلى التدرج اللوني الجانبي ، هناك اختلاف وظيفي كبير على طول المحور الأمامي الخلفي للمخطط الظهري ، ولكن لا تتوفر حاليًا بيانات كافية للسماح بتصنيف مفصل (يين وآخرون ، 2005b).

ركزت الدراسات حتى الآن فقط على المكونات القشرية والمصدرية لهذه الشبكات. بشكل عام ، آفات المنطقة القشرية لها آثار مشابهة مثل آفات هدفها المخطط (Balleine و Dickinson، 1998; Corbit و Balleine ، 2003; يين وآخرون ، 2005b). لكن المكونات الأخرى في الشبكة يمكن أن تحتفظ بوظائف مماثلة. على سبيل المثال ، تم العثور على آفات النواة الوسيطية لمهاد المهاد ، وهو أحد مكونات الشبكة الترابطية ، لإلغاء الحساسية لخفض قيمة النتائج وتدهور الحالات الطارئة بنفس الطريقة مثل الآفات في DMS والقشرة القشرية prelimbic cortex (Corbit et al.، 2003). وعلى الرغم من أن نموذجنا العام يتنبأ بنقص سلوكي مماثل بعد حدوث تلف لكل مكون من مكونات الشبكة ، إلا أنه يشير أيضًا إلى وجود أي بنية وظيفية مثل pallidum أو thalamus ، وهي نطاقات وظيفية متعددة.

التفاعل بين الشبكات

في ظل معظم الظروف ، يبدو أن التعلم بفلوفان والأدوات يقومان بالتوازي. ومع ذلك ، فإن الظواهر مثل PIT توضح مدى إمكانية التفاعل بين هذه العمليات المتميزة. بعد تحديد الأنظمة الوظيفية المستقلة ، فإن الخطوة التالية هي فهم كيفية تنسيق هذه الأنظمة لتوليد السلوك. يتمثل أحد الاقتراحات الجذابة ، المتوافقة مع العمل التشريحي الحديث ، في أن الشبكات المبينة أعلاه منظمة تنظيماً هرميًا ، كل منها يعمل كوسيط وظيفي وعلمي في التسلسل الهرمي ، مما يسمح بنشر المعلومات من مستوى إلى آخر. على وجه الخصوص ، توحي الصلات المتصاعدة التي اكتشفت مؤخرًا بين المخطط والدماغ المتوسط ​​بأنها منظمة تشريحية يمكنها تنفيذ التفاعلات بين الشبكات (الشكل 2). كما لاحظ هابر وزملاؤه ، فإن الخلايا العصبية المخطط لها ترسل إسقاطات مثبطة مباشرة إلى الخلايا العصبية DA التي تتلقى منها إسقاطات DA متبادلة ، وتشرح أيضًا لعضلات DA التي بدورها تصل إلى منطقة خطية مختلفة (هابر وآخرون ، 2000). تسمح هذه الإسقاطات بنشر المعلومات في اتجاه واحد فقط ، من الشبكات الطرفية إلى الشبكات الترابطية والحسية. على سبيل المثال ، يمكن للتنبؤ بافلوف (القيمة المكتسبة للـ CS) أن يقلل من إشارة التدريس الفعالة على المستوى الحوفي ، بينما يعمل على تقوية إشارة DA في المستوى التالي. عادة ما يتم تنفيذ إلغاء إشارة التدريس الفعالة عن طريق إشارة ردود فعل سلبية عبر إسقاط مثبط ، على سبيل المثال ، من الخلايا العصبية الإسقاط GABAergic المتوسطة من المخطط إلى الخلايا العصبية DA. في الوقت نفسه ، كما اقترحته منظمة تشريحية (هابر وآخرون ، 2000; هابر ، 2003) ، يمكن تنفيذ تقوية إشارة DA لشبكة العقد القشرية - القاعية المجاورة (المستوى التالي في التسلسل الهرمي) من خلال الإسقاطات المضطربة (أي الخلايا العصبية الإسقاطية المخططة GABAergic إلى NABral GABAergic interneurons إلى DA الخلايا العصبية). وبالتالي ، يمكن نقل القيمة المعرفية للشبكة الحوفية إلى الشبكة الترابطية ، مما يسمح بتكرير وتكيف السلوكيات مع كل عملية تكرار (أشبي ، 1960). يتنبأ هذا النموذج ، بالتالي ، بالمشاركة التدريجية للشبكات العصبية المختلفة خلال مراحل مختلفة من التعلم ، وهو اقتراح مدعوم بمجموعة متنوعة من البيانات (Jueptner et al.، 1997b; Miyachi وآخرون ، 1997; Miyachi وآخرون ، 2002; يين ، 2004; Everitt and Robbins، 2005; يين و نولتون ، 2005; Belin و Everitt ، 2008).

إن الظواهر التي تتطلب التفاعل بين العمليات الوظيفية المتميزة ، مثل PIT ، توفر أرضية اختبار خصبة لنماذج من هذا النوع. في الواقع ، فإن النموذج الهرمي يتوافق مع النتائج التجريبية الأخيرة على PIT. ووفقًا للنموذج ، يتم تفاعل تفاعلات بافلوفيان المفعمة بوساطة روابط متبادلة بين العصبونات المخططة والعصبية DA. يبدو أن DA ضروري للانتقال العام ، والذي يتم إلغاؤه بواسطة مضادات DA وتعطيل تنشيط VTA (ديكنسون وآخرون ، 2000; Murschall و Hauber ، 2006)؛ في حين أن التسريب المحلي للأمفيتامين ، الذي يفترض أنه يزيد مستويات DA ، إلى المتكثفين يمكن أن يعززها بشكل كبير (Wyvell and Berridge، 2000). من ناحية أخرى ، فإن دور الدوبامين المقذوف البطني في نقل محدد أقل وضوحًا. بعض الأدلة تشير إلى أنه قد يكون بمنأى بعد تعطيل VTA (Corbit et al.، 2007) ولكن كما كوربيت وجاناك (2007) ذكرت مؤخرا ، يتم إلغاء نقل محددة من خلال تعطيل DLS ، مما يوحي بأن هذا الجانب من السيطرة التحفيز على اختيار العمل قد تنطوي على إسقاط nigrostriatal (Corbit و Janak ، 2007). الاتفاق مع المنظور الهرمي ، كوربيت وجاناك (2007) وجدت أيضا أنه ، في حين ألغت تعطيل DLS تأثير مثير انتقائي من العظة Palovian (كما لوحظ بعد الآفات من قذيفة المتكئين بواسطة Corbit وآخرون ، 2001) ، إلغاء تنشيط نظام إدارة الوجهات (DMS) ألغى فقط الانتقائية الناتجة من التحويل مع الحفاظ على التأثير الاستثنائي العام لهذه الإشارات ، وهو اتجاه لوحظ أيضًا بعد آفات المهاد الوسيط ، وهو جزء من شبكة العقد القاعدية القاعدية.Ostlund و Balleine ، 2008). وبناءً على هذه النتائج الأولية ، يبدو أن نظام إدارة الوجهات الرقمية لا يتوسط إلا في عملية نقل محددة ، في حين أن DLS قد يكون ضروريًا لكل من التأثيرات الاستثنائية والعامة لمنبهات بافلوفان على الإجراءات المفيدة.

ومن المثير للاهتمام ، أن المشاريع المخططية الحويصلية تمتد على نطاق واسع إلى خلايا DA التي تصل إلى المخطط الظهري (Nauta وآخرون ، 1978; نوتا ، 1989)؛ الإسقاطات الدوبامينية للمخطط المخطط والإسقاطات إلى الدماغ المتوسط ​​غير متماثلة إلى حد كبير (هابر ، 2003). يتلقى المخطط المحيطي مدخلاً محدودًا من الخلايا العصبية DA ، ولكنه يرسل بعدًا كبيرًا إلى مجموعة أعظم من الخلايا العصبية DA ، والعكس صحيح بالنسبة للمخطط المخطط للحواس. وبالتالي فإن الشبكات القيرية في وضع مثالي للتحكم في الشبكات الترابطية و الحركية. هنا ، فإن التشريح العصبي يتفق مع البيانات السلوكية على أن تسهيل سلوك الآلات في بافلوفين أقوى بكثير من العكس ؛ في الواقع ، تشير أدلة كثيرة إلى أن الإجراءات الفعّالة تميل إلى كبح ، بدلا من إثارة ، داء بافلوفيان CRs ـ وهو اكتشاف ما زال ينتظر تفسيرات بيولوجية عصبية (إليسون وكونورسكي ، 1964; وليامز ، 1965).

استنتاجات

وتجدر الإشارة إلى أن النموذج الهرمي الذي نوقش هنا يختلف اختلافاً كبيراً عن النماذج الأخرى التي تعتمد حصرياً على القشرة والوصلات البعيدة المدى بين المناطق القشرية.Fuster ، 1995). فهو يشتمل على المكونات المعروفة والاتصال بالدماغ ، بدلاً من مشاهدته كنباتات من الوحدات القشرية ، التي تقوم ، على نحو غير محدد ، بتنفيذ مجموعة واسعة من الوظائف المعرفية. كما يتجنب الافتراضات الموروثة من 19th علم الأعصاب القرن ، أن القشرة الدماغية بشكل عام ، والقشرة الأمامية الجبهية على وجه الخصوص ، تشكل بطريقة أو بأخرى وحدة "أنثوية" أعلى "" تتحكم في الدماغ بأكمله (ميلر وكوهن ، 2001).

علاوة على ذلك ، يمكن استخلاص عدة تنبؤات محددة من النموذج الحالي: (1) يجب أن تكون هناك أخطاء تنبؤات متميزة للأعمال الذاتية وللدول / المنبهات ذات الخصائص التي تعكس ركائزها العصبية وأدوارها الوظيفية المختلفة. (2) من المتوقع أيضاً أن تكون المكونات البالية والمهدية لكل شبكة منفصلة من العقد القشرية - القشرية ضرورية لنوع التحكم السلوكي المفترض لكل شبكة ، وليس فقط المكونات القشرية والمثبّتة. (3) يجب أن تكون هناك مشاركة تدريجية لشبكات عصبية مختلفة خلال مراحل مختلفة من التعلم. (رابعا) نشاط المتكئفين يمكن التحكم مباشرة في الخلايا العصبية DA ، وبدوره ، النشاط الظهري المخطط. استنادا إلى تقرير من قبل هولندا (2004) مما يشير إلى أن PIT يزيد مع التدريب على الأدوات ، ومن المتوقع أن هذه السيطرة "الحوفية" من الشبكات الترابطية وشبكات الاستشعار إلى تعزيز مع التدريب الموسعة.

وبدون بيانات مفصلة ، لا يزال من السابق لأوانه تقديم حساب رسمي للنموذج الهرمي. ومع ذلك ، يجب أن توضح المناقشة أعلاه أن الإصدارات الحالية من مكافأة mesoaccumbens مكافأة تستند إلى افتراضات إشكالية حول طبيعة عملية المكافأة واستخدام تدابير سلوكية غير كافية. إن توحيد المبادئ ، وهو هدف المؤسسة العلمية دائمًا ، لا يمكن أن يستند إلا إلى حقيقة البيانات التجريبية ، مهما كانت غير عملية. ولأن وظيفة الدماغ هي ، في نهاية المطاف ، توليد السلوك والتحكم فيه ، فإن التحليل التفصيلي للسلوك سيكون هو المفتاح لفهم العمليات العصبية ، بقدر ما يسمح وصف شامل للمناعة الفطرية والمكتسبة بتوضيح جهاز المناعة. على الرغم من أنه يبدو بديهياً ، إلا أنه بالكاد يمكن المبالغة في التأكيد على أننا نستطيع فهم آليات الدماغ إلى الحد الذي يتم فيه وصف وظائفهم وقياسها بدقة. عندما تعتمد دراسة الوظيفة العصبية على قدرات نفسية مثبتة تجريبياً ، على سبيل المثال تمثيل نتائج الطوارئ الناتجة عن التحفيز والنتائج ، فإن التنظيم التشريحي المعروف بالإضافة إلى الآليات الفسيولوجية تظهر في ضوء جديد ، مما يؤدي إلى صياغات جديدة. الفرضيات وتصميم تجارب جديدة. وكخطوة أولى في هذا الاتجاه ، نأمل أن يكون الإطار الذي تمت مناقشته هنا بمثابة نقطة بداية مفيدة للتحقيق مستقبلاً.

شكر وتقدير

نود أن نشكر David Lovinger على الاقتراحات المفيدة. وقد تم دعم HHY من قبل شعبة البحوث السريرية الأساسية والأدبية من المعاهد الوطنية للصحة ، NIAAA. يتم دعم SBO بواسطة منحة NIH MH 17140 و BWB من قبل NIH يمنح MH 56446 و HD 59257.

مراجع حسابات

  1. آدمز CD. الاختلافات في حساسية استجابة مفيدة لتعزيز تخفيض قيمة العملة. مجلة فصلية لعلم النفس التجريبي. 1982. 33b: 109-122.
  2. Adams CD، Dickinson A. Instrumental response following following rein boost dealu. مجلة فصلية من علم النفس التجريبي. 1981، 33: 109-122.
  3. Alexander GE، DeLong MR، Strick PL. تنظيم متوازي للدارات المنفصلة وظيفيا التي تربط بين العقد القاعدية والقشرة. انو ريف نيوروسكي. 1986، 9: 357-381. [مجلات]
  4. اشبي دبليو آر. تصميم للدماغ. الطبعة الثانية. تشابمان آند هول ؛ 1960.
  5. عطالله سعادة لوبيز بانياغوا د ، رودي جي دبليو ، أورايلي آر سي. ركائز عصبية منفصلة لتعلم المهارات والأداء في المخطط البطني والظهري. نات نيوروسسي. 2007 ؛ 10: 126-131. [مجلات]
  6. بالين BW. عمليات الحوافز في تكييف الأدوات. In: Mowrer RR، Klein SB، editors. دليل نظريات التعلم المعاصرة. Mahwah، NJ، US: Lawrence Erlbaum Associates، Inc.، Publishers؛ 2001. pp. 307 – 366.
  7. بالين BW. القواعد العصبية للبحث عن الطعام: التأثير والإثارة والمكافأة في الدوائر القشرية. فيسيول بيهاف. 2005، 86: 717-730. [مجلات]
  8. Balleine BW، Dickinson A. Goal-gual-direct action action: contingency and incentive learning and their drawerates cortical. الفارماكولوجيا العصبية. 1998، 37: 407-419. [مجلات]
  9. Balleine BW، Corbit LH. تؤدي آفات القلب المتصلب والصدفة إلى تأثيرات قابلة للانفصال على الأشكال العامة والخاصة بالنتائج لنقل البالوفيات. الاجتماع السنوي لجمعية علم الأعصاب ؛ 2005.
  10. Balline BW، Killcross S. Parallel stimive processing: a integrated view of amygdala function. اتجاهات neurosci. 2006، 29: 272-279. [مجلات]
  11. Belin D، Everitt BJ. عادات البحث عن عقاقير الكوكايين تعتمد على التوصيل المسلسل للدوبامين المعتمد على ربط البطين بالطرف الظهري. الخلايا العصبية. 2008، 57: 432-441. [مجلات]
  12. Berke JD، Hyman SE. الإدمان ، الدوبامين ، والآليات الجزيئية للذاكرة. الخلايا العصبية. 2000، 25: 515-532. [مجلات]
  13. Berridge KC، Robinson TE. ما هو دور الدوبامين في المكافأة: تأثير المتعة ، مكافأة التعلم ، أو التحفيز؟ Brain Res Brain Res Rev. 1998 ؛ 28: 309 – 369. [مجلات]
  14. بولس R. التعزيز ، والمتوقع ، والتعلم. مراجعة نفسية. 1972، 79: 394-409.
  15. Brown J، Bullock D، Grossberg S. كيف تستخدم العقد القاعدية مسارات تعليمية استثنائية ومثبِّية موازية للاستجابة بشكل انتقائي للإشارات المجزية غير المتوقعة. ي Neurosci. 1999، 19: 10502-10511. [مجلات]
  16. براون بل ، جينكينز إتش إم. تشكيل نقرة مفتاح الحمام تلقائيًا. مجلة التحليل التجريبي للسلوك. 1968 ؛ 11: 1-8. [بك المادة الحرة] [مجلات]
  17. Cagniard B، Beeler JA، Britt JP، McGehee DS، Marinelli M، Zhuang X. Dopamine scales performance in the not on new learning. الخلايا العصبية. 2006، 51: 541-547. [مجلات]
  18. الكاردينال RN ، تشيونغ TH. النواة المتكئة تؤخر الآفات الجوهرية التعلم والأداء مع التأخر في التقوية في الجرذان. BMC Neurosci. 2005، 6: 9. [بك المادة الحرة] [مجلات]
  19. Cardinal RN، Parkinson JA، Hall J، Everitt BJ. العاطفة والدافع: دور اللوزة الدماغية ، المخطط البطني ، وقشرة الفص الجبهي. Neurosci Biobehav Rev. 2002 ؛ 26: 321 – 352. [مجلات]
  20. Cheer JF، Aragona BJ، Heien ML، Seipel AT، Carelli RM، Wightman RM. تنسيق إطلاق الدوبامين المترابط والنشاط العصبي يقود السلوك الموجه نحو الهدف. الخلايا العصبية. 2007، 54: 237-244. [مجلات]
  21. Colwill RM، Rescorla RA. هياكل ارتباطية في التعلم الآلي. في: Bower G ، المحرر. سيكولوجية التعلم والتحفيز. New York: Academic Press؛ 1986. pp. 55 – 104.
  22. Corbit LH، Balleine BW. دور القشرة prelimbic في تكييف فعال. Behav Brain Res. 2003، 146: 145-157. [مجلات]
  23. Corbit LH، Janak PH. إبطال نشاط المخطط الجانبي الوحشي ولكن ليس الإنسي يزيل التأثير المثير لمثيرات بافلوفان على الاستجابة المفيدة. ي Neurosci. 2007، 27: 13977-13981. [مجلات]
  24. Corbit LH، Muir JL، Balleine BW. دور النواة المتكئة في تكييف الأدوات: دليل على التفكك الوظيفي بين قلب المتكئين والقشرة. مجلة علم الأعصاب. 2001، 21: 3251-3260. [مجلات]
  25. Corbit LH، Muir JL، Balleine BW. تؤدي آفات المهاد الوسيطي والنوى المهادية الأمامية إلى تأثيرات مميتة على تكييف الأدوات في الجرذان. Eur J Neurosci. 2003، 18: 1286-1294. [مجلات]
  26. Corbit LH، Janak PH، Balleine BW. الأشكال العامة والخاصة بالنتائج لنقل بافلوفيان المفعول: تأثير التحولات في حالة التحفيز وتثبيط منطقة تيغينتال البطنية. Eur J Neurosci. 2007، 26: 3141-3149. [مجلات]
  27. Costa RM، Cohen D، Nicolelis MA. اللدونة الكورتيكوستريلية التفاضلية أثناء التعلم السريع والبطيء للمهارات الحركية في الفئران. كرول بيول. 2004، 14: 1124-1134. [مجلات]
  28. Cragg SJ، Hille CJ، Greenfield SA. يتم تحديد المجالات الوظيفية في المخطط الظهاري من الرئيسيات غير البشرية من خلال السلوك الديناميكي للدوبامين. ي Neurosci. 2002، 22: 5705-5712. [مجلات]
  29. Dalley JW، Laane K، Theobald DE، Armstrong HC، Corlett PR، Chudasama Y، Robbins TW. تعديل الوقت محدود من الذاكرة بافلان appetitive من قبل D1 ومستقبلات NMDA في النواة المتكئة. Proc Natl Acad Sci US A. 2005؛ 102: 6189 – 6194. [بك المادة الحرة] [مجلات]
  30. ديفيس ياء ، بيترمان ME. التعزيز التفاضلي للسلوكيات الأخرى (DRO): مقارنة للتحكم في yoked. مجلة التحليل التجريبي للسلوك. 1971، 15: 237-241. [بك المادة الحرة] [مجلات]
  31. Day JJ، Carelli RM. النواة المتكئة ومكافأة بافلوفان التعلم. الأعصاب. 2007، 13: 148-159. [بك المادة الحرة] [مجلات]
  32. Day JJ، Wheeler RA، Roitman MF، Carelli RM. النواة المتكئة nucleus الخلايا العصبية ترميز السلوكيات نهج بافلوفان: أدلة من نموذج autoshaping. Eur J Neurosci. 2006، 23: 1341-1351. [مجلات]
  33. Day JJ، Roitman MF، Wightman RM، Carelli RM. يتوسط التعلم التعاقبي تحولات ديناميكية في إشارات الدوبامين في النواة المتكئة. نات نيوروسكي. 2007، 10: 1020-1028. [مجلات]
  34. Dayan P، Balleine BW. المكافأة والتحفيز والتعلم التعزيزي. الخلايا العصبية. 2002، 36: 285-298. [مجلات]
  35. Delgado MR، Stenger VA، Fiez JA. الاستجابات التي تعتمد على التحفيز في نواة ذيلية الإنسان. Cereb Cortex. 2004، 14: 1022-1030. [مجلات]
  36. Delgado MR، Miller MM، Inati S، Phelps EA. دراسة الرنين المغناطيسي الوظيفي للتعلم الاحتمالي المرتبط بالجوائز. Neuroimage. 2005، 24: 862-873. [مجلات]
  37. Di Ciano P، Cardinal RN، Cowell RA، Little SJ، Everitt BJ. المشاركة التفاضلية من NMDA ، AMPA / kainate ، ومستقبلات الدوبامين في النواة المتكئة الأساسية في اكتساب وأداء سلوك نهج pavlovian. ي Neurosci. 2001، 21: 9471-9477. [مجلات]
  38. ديكنسون أ. الإجراءات والعادات: تطوير الاستقلالية السلوكية. المعاملات الفلسفية للمجتمع الملكي. 1985. B308: 67-78.
  39. Dickinson A. Instrumental Conditioning. في: ماكينتوش نيوجيرسي ، محرر. تعلم الحيوان والإدراك. أورلاندو: أكاديمي 1994. pp. 45 – 79.
  40. Dickinson A، Dearing MF. التفاعلات المفعمة بالحيوية والعمليات المثبطة. In: Dickinson A، Boakes RA، editors. آلية التعلم والتحفيز. Hillsadale، NJ: Lawrence Erlbaum Associates؛ 1979.
  41. ديكنسون أ ، تشارنوك دي جي. آثار الطوارئ مع استمرار التعزيز الآلي. المجلة الفصلية لعلم النفس التجريبي. علم النفس المقارن والفسيولوجي. 1985 ؛ 37: 397-416.
  42. ديكنسون ألف ، Balleine باء الإجراءات والردود: علم النفس المزدوج للسلوك. In: Eilan N، McCarthy RA، et al.، editors. التمثيل المكاني: مشاكل في الفلسفة وعلم النفس. Malden، MA، US: Blackwell Publishers Inc .؛ 1993. pp. 277 – 293.
  43. ديكنسون أ ، بالين ب. دور التعلم في تشغيل الأنظمة التحفيزية. في: Pashler H، Gallistel R، editors. كتيب ستيفن لعلم النفس التجريبي (الطبعة الثالثة) ، المجلد. 3: التعلم والتحفيز والعاطفة. نيويورك ، نيويورك ، الولايات المتحدة: John Wiley & Sons، Inc. 3. ص 2002-497.
  44. Dickinson A، Smith J، Mirenowicz J. Dissociation of Pavlovian and instrumental stimive learning under dopamine antagonists. Behav Neurosci. 2000، 114: 468-483. [مجلات]
  45. ديكنسون أ ، كامبوس ج ، فارجا زي ، باللين ب. تكييف آلي ثنائي الاتجاه. المجلة الفصلية لعلم النفس التجريبي: علم النفس المقارن والفسيولوجي. 1996 ؛ 49: 289-306. [مجلات]
  46. Ellison GD، Konorski J. فصل الاستجابات اللعابية والحركية في تكييف الأدوات. علم. 1964، 146: 1071-1072. [مجلات]
  47. Everitt BJ، Robbins TW. الأنظمة العصبية من التعزيز لإدمان المخدرات: من الإجراءات إلى العادات للإكراه. نات نيوروسكي. 2005، 8: 1481-1489. [مجلات]
  48. Faure A، Haberland U، Conde F، El Massioui N. Lesion to the nigrostriatal dopamine system disrup make stimulus-response عادة. ي Neurosci. 2005، 25: 2771-2780. [مجلات]
  49. Fiorillo CD، Tobler PN، Schultz W. Discrete encryption of reward probability and uncertainty by dopamine neurons. علم. 2003، 299: 1898-1902. [مجلات]
  50. Fuster JM. الذاكرة في القشرة الدماغية. Cambridge: MIT press؛ 1995.
  51. Gallistel CR، Fairhurst S، Balsam P. The learning curve: implications of a quantitative analysis. Proc Natl Acad Sci US A. 2004؛ 101: 13124 – 13131. [بك المادة الحرة] [مجلات]
  52. Goto Y، Grace AA. التعديل الدوباميني للحمض القشري والقشوي للنواة المتكئة في السلوك الموجه نحو الهدف. نات نيوروسكي. 2005، 8: 805-812. [مجلات]
  53. Grace AA، Floresco SB، Goto Y، Lodge DJ. تنظيم إطلاق الخلايا العصبية الدوبامينية والتحكم في السلوكيات الموجهة نحو الهدف. اتجاهات neurosci. 2007، 30: 220-227. [مجلات]
  54. Groenewegen HJ، Berendse HW، Wolters JG، Lohman AH. العلاقة التشريحية لقشرة الفص الجبهي مع النظام الشرياني المخطط ، المهاد واللوزة: دليل على وجود منظمة موازية. بروغ الدماغ الدقة. 1990، 85: 95-116. مناقشة 116 – 118. [مجلات]
  55. غوثري إيه آر. علم نفس التعلم. نيويورك: هاربرز. 1935.
  56. هابر SN. العقد القاعدي الرئيسيات: شبكات متوازية ومتكاملة. جيه كيم نيورانات. 2003، 26: 317-330. [مجلات]
  57. Haber SN، Fudge JL، McFarland NR. تشكل مسارات Striatonigrostriatal في الرئيسيات دوامة تصاعدية من القشرة إلى المخطط الظهاري الجانبي. ي Neurosci. 2000، 20: 2369-2382. [مجلات]
  58. هاموند. تأثير الطوارئ على تكييف الشهية للسلوك الحر. مجلة التحليل التجريبي للسلوك. 1980، 34: 297-304. [بك المادة الحرة] [مجلات]
  59. Haruno M، Kawato M. نموذج للتعلم المعزز المتغاير من أجل تكامل الحلقات متعددة القشرية - المخية: فحص fMRI في تعلم الارتباط التحفيزي - مكافأة العمل. العصبية Netw. 2006a، 19: 1242-1254. [مجلات]
  60. Haruno M ، Kawato M. مختلف الارتباطات العصبية من توقعات المكافأة والخطأ توقع المكافأة في نواة putamen و caudate خلال التعلم رابطة التحفيز - العمل والمكافأة. ي Neurophysiol. 2006b، 95: 948-959. [مجلات]
  61. Haruno M، Kuroda T، Doya K، Toyama K، Kimura M، Samejima K، Imamizu H، Kawato M. A neural correlate of reward-based behavioral learning in caudate nucleus: a magnetic resunance imaging study of a stochastic decision task. ي Neurosci. 2004، 24: 1660-1665. [مجلات]
  62. Hernandez PJ، Sadeghian K، Kelley AE. يتطلب التعزيز المبكر للتعلم الفعال استخدام البروتين في النواة المتكئة. نات نيوروسكي. 2002، 5: 1327-1331. [مجلات]
  63. Hernandez PJ، Andrzejewski ME، Sadeghian K، Panksepp JB، Kelley AE. دالة مستقبل AMPA / kainate و NMDA و dopamine D1 في النواة المتكئة الأساسية: دور محدود السياق في ترميز ودمج الذاكرة المؤثرة. تعلم ميم. 2005، 12: 285-295. [بك المادة الحرة] [مجلات]
  64. Hershberger WA. نهج من خلال زجاج المظهر. تعلم الحيوان وسلوكه. 1986 ؛ 14: 443-451.
  65. Heyes CM، Dawson GR. عرض توضيحي لتعلم الرصد في الجرذان باستخدام تحكم ثنائي الاتجاه. المجلة الفصلية لعلم النفس التجريبي. 1990، 42 (1): 59-71. [مجلات]
  66. Hikosaka O، Sakamoto M، Usui S. الخصائص الوظيفية للخلايا العصبية caudate caudate. III. الأنشطة المتعلقة بتوقع الهدف والمكافأة. ي Neurophysiol. 1989، 61: 814-832. [مجلات]
  67. هولندا PC. العلاقات بين نقل الآلات بافلوفان وتعزيز تخفيض قيمة العملة. J Exp Psychol Anim Behav Process. 2004، 30: 104-117. [مجلات]
  68. Holland PC، Rescorla RA. تأثير طريقتين لتقليل الحافز غير المشروط بعد تكييف الشهية الأول والثاني. J Exp Psychol Anim Behav Process. 1975، 1: 355-363. [مجلات]
  69. Hollerman JR ، Tremblay L ، Schultz W. تأثير توقعات المكافأة على النشاط العصبي المتعلق بالسلوك في المخطط الرئيسي. ي Neurophysiol. 1998، 80: 947-963. [مجلات]
  70. Houk JC، Adams JL، Barto AG. نموذج لكيفية توليد العقد القاعدية واستخدام الإشارات العصبية التي تتوقع التعزيز. In: Houk JC، JD، DB، editors. نماذج معالجة المعلومات في العقد القاعدية. Cambridge، MA: MIT Press؛ 1995. pp. 249 – 270.
  71. هال C. مبادئ السلوك. نيويورك: أبليتون-سنشري-كروفتس. 1943.
  72. Hyman SE، Malenka RC، Nestler EJ. الآليات العصبية للإدمان: دور التعلم والذاكرة المتعلقة بالجوائز. انو ريف نيوروسكي. 2006، 29: 565-598. [مجلات]
  73. Jedynak JP، Uslaner JM، Esteban JA، Robinson TE. اللدونة الهيكلية التي يسببها الميثامفيتامين في المخطط الظهري. Eur J Neurosci. 2007، 25: 847-853. [مجلات]
  74. Joel D، Weiner I. تنظيم الدوائر القشرية-المثلثية القشرية: مفتوحة مترابطة بدلاً من الفصل منفصلة. علم الأعصاب. 1994، 63: 363-379. [مجلات]
  75. Joel D، Weiner I. اتصالات النظام الدوباميني مع المخطط في الفئران والرئيسيات: تحليل فيما يتعلق بتنظيم الوظيفية والمقصورة من المخطط. علم الأعصاب. 2000، 96: 451-474. [مجلات]
  76. Jueptner M، Frith CD، Brooks DJ، Frackowiak RS، Passingham RE. تشريح التعلم الحركي. II. الهياكل تحت القشرية والتعلم عن طريق التجربة والخطأ. ي Neurophysiol. 1997a، 77: 1325-1337. [مجلات]
  77. Jueptner M، Stephan KM، Frith CD، Brooks DJ، Frackowiak RS، Passingham RE. تشريح التعلم الحركي. أولا القشرة الأمامية والانتباه إلى العمل. ي Neurophysiol. 1997b، 77: 1313-1324. [مجلات]
  78. كانازاوا الأول ، موراتا م ، كيمورا م. أدوار الدوبامين ومستقبلاتها في توليد الحركات الروتينية. Adv Neurol. 1993، 60: 107-112. [مجلات]
  79. Kawagoe R، Takikawa Y، Hikosaka O. Expectation of reward ينظم الإشارات المعرفية في العقد القاعدية. نات نيوروسكي. 1998، 1: 411-416. [مجلات]
  80. Kimura M، Aosaki T، Ishida A. Neurophysiological aspects of the differential roles of putamen and caudate nucleus in voluntary movement. Adv Neurol. 1993، 60: 62-70. [مجلات]
  81. Konorski J. النشاط التكاملي للدماغ. شيكاغو: مطبعة جامعة شيكاغو. 1967.
  82. Lerchner A، La Camera G، Richmond B. Knowing without doing. نات نيوروسكي. 2007، 10: 15-17. [مجلات]
  83. Ljungberg T، Apicella P، Schultz W. ردود من الخلايا العصبية الدوبامين القرد أثناء تعلم التفاعلات السلوكية. ي Neurophysiol. 1992، 67: 145-163. [مجلات]
  84. Lohrenz T، McCabe K، Camerer CF، Montague PR. التوقيع العصبي لإشارات التعلم التخيلي في مهمة استثمار متسلسلة. Proc Natl Acad Sci US A. 2007؛ 104: 9493 – 9498. [بك المادة الحرة] [مجلات]
  85. Lovibond PF. تيسير السلوك الفعال من قبل التحفيز الموصى به من بافلوفان. J Exp Psychol Anim Behav Process. 1983، 9: 225-247. [مجلات]
  86. ماكينتوش نيوجيرسي. سيكولوجية التعلم الحيوان. لندن: الصحافة الأكاديمية. 1974.
  87. Miller EK، Cohen JD. نظرية تكاملية لوظيفة القشرة الجبهية. انو ريف نيوروسكي. 2001، 24: 167-202. [مجلات]
  88. ميلر ر. المعنى والغرض في الدماغ السليم. نيويورك: مطبعة جامعة أكسفورد ؛ 1981.
  89. Miyachi S ، Hikosaka O ، لو X. التفعيل التفاضلي للخلايا العصبية القرد المخطط في المراحل المبكرة والمتأخرة من التعلم الإجرائي. إكسب الدماغ الدماغ. 2002، 146: 122-126. [مجلات]
  90. Miyachi S، Hikosaka O، Miyashita K، Karadi Z، Rand MK. الأدوار التفاضلية للقرد المخطط في تعلم حركة اليد المتتابعة. إكسب الدماغ الدماغ. 1997، 115: 1-5. [مجلات]
  91. Montague PR، Hyman SE، Cohen JD. الأدوار الحسابية للدوبامين في السيطرة السلوكية. طبيعة. 2004، 431: 760-767. [مجلات]
  92. Morris G، Nevet A، Arkadir D، Vaadia E، Bergman H. Midbrain dopamine neurons encode decision for future action. نات نيوروسكي. 2006، 9: 1057-1063. [مجلات]
  93. Murschall A ، Hauber W. ألغى تعطل منطقة tegmental البطني التأثير الاستثنائي العام لمنبهات بافلوفان على أداء دور فعال. تعلم ميم. 2006، 13: 123-126. [مجلات]
  94. Nauta WJ، Smith GP، Faull RL، Domesick VB. الوصلات الصغرى والعواقب النحوية للنواة المتكئة في الفأر. علم الأعصاب. 1978، 3: 385-401. [مجلات]
  95. ناوتا وجيه. روابط متبادلة من الجسم المخطط مع القشرة الدماغية والجهاز الحوفي: ركيزة مشتركة للحركة والفكر؟ في: مولر ، محرر. علم الأعصاب والطب النفسي: اجتماع العقول. بازل: كارغر ؛ 1989. pp. 43 – 63.
  96. Niv Y، Daw ND، Joel D، Dayan P. Tonic dopamine: costs costs and the control of response vigor. علم الادوية النفسية (Berl) 2007 ؛ 191: 507 – 520. [مجلات]
  97. O'Doherty J، Dayan P، Schultz J، Deichmann R، Friston K، Dolan RJ. أدوار الانفصام من المخطط المخطط البطني والظهر في تكييف فعال. علم. 2004، 304: 452-454. [مجلات]
  98. Ostlund SB، Balleine BW. المشاركة التفاضلية للالأمبديل الوحشي و المهاد الوسيط في اختيار العمل الفعال. ي Neurosci. 2008، 28: 4398-4405. [بك المادة الحرة] [مجلات]
  99. Parkinson JA، Willoughby PJ، Robbins TW، Everitt BJ. فصل القشرة الحزامية الأمامية ونواة المتكئنة الأساسية يضعف سلوك نهج بافلوفان: دليل إضافي للأنظمة القاتلة البطنية القشرية. Behav Neurosci. 2000، 114: 42-63. [مجلات]
  100. Parkinson JA، Dalley JW، Cardinal RN، Bamford A، Fehnert B، Lachenal G، Rudarakanchana N، Halkerston KM، Robbins TW، Everitt BJ. النواة المتكئة dopamine depletion يضعف على حد سواء اكتساب وأداء سلوك نهج بافلوفان appetitive: الآثار المترتبة على mesoaccumbens وظيفة الدوبامين. Behav Brain Res. 2002، 137: 149-163. [مجلات]
  101. Paxinos G ، فرانكلين K. عقل الماوس في الإحداثيات التجسيمي. New York: Academic Press؛ 2003.
  102. Pecina S، Smith KS، Berridge KC. بقع ساخنة متحدة في الدماغ. الأعصاب. 2006، 12: 500-511. [مجلات]
  103. Pothuizen HH، Jongen-Relo AL، Feldon J، Yee BK. تفكك مزدوج لآثار النواة الانتقائية المتكئة الأساسية وآفات الصدفة على سلوك اختيارى اندفاعي وتعلم بارز في الفئران. Eur J Neurosci. 2005، 22: 2605-2616. [مجلات]
  104. Rescorla RA. احتمال الصدمة في وجود وعدم وجود CS في تكييف الخوف. J Comp Physiol Psychol. 1968، 66: 1-5. [مجلات]
  105. Rescorla RA. دراسات السلوكية من تكييف بافلوفان. انو ريف نيوروسكي. 1988، 11: 329-352. [مجلات]
  106. Rescorla RA، Solomon RL. نظرية التعلم ثنائية العملية: العلاقات بين تكييف بافلوفان والتعلم الفعال. Psychol Rev. 1967 ؛ 74: 151 – 182. [مجلات]
  107. Restle F. التمييز بين الإشارات في المتاهات: حل لسؤال "المكان مقابل الإجابة". مراجعة نفسية. 1957 ؛ 64: 217. [مجلات]
  108. Reynolds JN، Wickens JR. اللدونة التي تعتمد على الدوبامين للمشابك القشرية. العصبية Netw. 2002، 15: 507-521. [مجلات]
  109. رايس ME ، Cragg SJ. يقوم النيكوتين بتضخيم إشارات الدوبامين المتعلقة بالمكافأة في الجسم المخطط. نات نيوروسكي. 2004، 7: 583-584. [مجلات]
  110. رايس ME ، Cragg SJ. انتشار الدوبامين بعد الإفراج الكمي: إعادة التفكير في انتقال الدوبامين في مسار nigrostriatal. Brain Res Rev. 2008 [بك المادة الحرة] [مجلات]
  111. Robinson S، Rainwater AJ، Hnasko TS، Palmiter RD. الاستعادة الفيروسية لإشارة الدوبامين إلى المخطط الظهري يعيد التكييف الفعال للفئران التي تعاني من نقص في الدوبامين. علم الادوية النفسية (Berl) 2007 ؛ 191: 567 – 578. [مجلات]
  112. Roitman MF، Wheeler RA، Carelli RM. يتم ضبط النواة العصبية المتكئة في النواة لمحفزات الذوق المجزية والمحفوفة ، وتكويد المنبئات ، وترتبط بإنتاج المحرك. الخلايا العصبية. 2005، 45: 587-597. [مجلات]
  113. Samejima K، Ueda Y، Doya K، Kimura M. Representation of action-specific reward values ​​in the striatum. علم. 2005، 310: 1337-1340. [مجلات]
  114. شولتز W. إشارة مكافأة طوري من الخلايا العصبية الدوبامين الرئيسيات. Adv Pharmacol. 1998a، 42: 686-690. [مجلات]
  115. Schultz W. توقع مكافأة المكافأة من الخلايا العصبية الدوبامين. ي Neurophysiol. 1998b، 80: 1-27. [مجلات]
  116. Schultz W، Dayan P، Montague PR. الركيزه العصبيه للتنبؤ والثواب. علم. 1997، 275: 1593-1599. [مجلات]
  117. شوارتز B ، Gamzu E. بافلوفيان السيطرة على السلوك المتميز. In: Honig W، Staddon JER، editors. دليل السلوك المتميز. نيو جيرسي: برنتيس هول. 1977. pp. 53 – 97.
  118. شيفيلد FD. العلاقة بين التكييف الكلاسيكي والفعال. في: Prokasy WF ، محرر. تكييف كلاسيكي. نيويورك: أبليتون-سنشري-كروفتس. 1965. pp. 302 – 322.
  119. Skinner B. سلوك الكائنات الحية. نيويورك: أبليتون-سنشري-كروفتس. 1938.
  120. Smith-Roe SL، Kelley AE. مطلوب تنشيط المتزامنة من NMDA ومستقبلات الدوبامين D1 داخل النواة المتكئة النواة للتعلم مفيدة في مرحلة ما. ي Neurosci. 2000، 20: 7737-7742. [مجلات]
  121. Sotak BN، Hnasko TS، Robinson S، Kremer EJ، Palmiter RD. يؤدي عدم تنظيم إشارة الدوبامين في المخطط الظهري إلى تثبيط التغذية. الدماغ الدقة. 2005، 1061: 88-96. [مجلات]
  122. Spence K. دور التعزيز الثانوي في تعلم المكافأة المتأخرة. مراجعة نفسية. 1947، 54: 1-8.
  123. Spence K. نظرية السلوك والتعلم. Englewood Cliffs، NJ: Prentice-Hall؛ 1960.
  124. Sutton RS، Barto AG. تعزيز التعلم. كامبريدج: معهد ماساتشوستس للتكنولوجيا الصحافة. 1998.
  125. سوانسون إل دبليو. تنظيم نصف الكرة المخية للسلوك بدافع. الدماغ الدقة. 2000، 886: 113-164. [مجلات]
  126. Taha SA، Fields HL. ترميز من استساغة وسلوكيات الشهية من قبل السكان العصبية متميزة في النواة المتكئة. ي Neurosci. 2005، 25: 1193-1202. [مجلات]
  127. Taha SA، Fields HL. تثبط الموانع لنواة الخلايا العصبية المتكئة nucleus accumbens إشارة تبويب للسلوك الموجه للمكافأة. ي Neurosci. 2006، 26: 217-222. [مجلات]
  128. Thorndike EL. ذكاء الحيوان: دراسات تجريبية. نيويورك: ماكميلان. 1911.
  129. Tobler PN، Dickinson A، Schultz W. Coding of predicted reward omitting by dopamine neurons in a condition tohibition paradigm. ي Neurosci. 2003، 23: 10402-10410. [مجلات]
  130. Tobler PN، O'Doherty JP، Dolan RJ، Schultz W. يعتمد التعلم العصبي البشري على أخطاء توقع المكافأة في نموذج الحجب. ياء نيوروفيسيول. 2006 ؛ 95: 301-310. [بك المادة الحرة] [مجلات]
  131. Tobler PN ، O'Doherty JP ، Dolan RJ ، Schultz W. ترميز قيمة المكافأة متميز عن ترميز عدم اليقين المرتبط بالمخاطر في أنظمة المكافآت البشرية. ياء نيوروفيسيول. 2007 ؛ 97: 1621-1632. [بك المادة الحرة] [مجلات]
  132. Trapold MA، Overmier JB. التكييف الكلاسيكي الثاني: الأبحاث الحالية والنظرية. أبليتون القرن-كروفتس. 1972. عملية التعلم الثانية في التعلم الآلي. pp. 427 – 452.
  133. Tricomi EM، Delgado MR، Fiez JA. تعديل النشاط المهادي عن طريق العمل الطارئ. الخلايا العصبية. 2004، 41: 281-292. [مجلات]
  134. تتوافق استجابات Waelti P و Dickinson A و Schultz W. Dopamine مع الافتراضات الأساسية لنظرية التعلم الرسمي. طبيعة. 2001، 412: 43-48. [مجلات]
  135. NM الأبيض. فرضية وظيفية تتعلق بمصفوفة ورسومات المخطط الجسدي: وساطة الذاكرة SR ومكافأتها. علوم الحياة. 1989، 45: 1943-1957. [مجلات]
  136. Wickens JR، Budd CS، Hyland BI، Arbuthnott GW. المساهمات الحافزة للمكافأة واتخاذ القرار: فهم التغيرات الإقليمية في مصفوفة المعالجة المكررة. Ann NY Acad Sci. 2007، 1104: 192-212. [مجلات]
  137. ويليامز د. تكييف كلاسيكي وحافز تحفيزي. في: Prokasy WF ، محرر. تكييف كلاسيكي. نيويورك: أبليتون-سنشري-كروفتس. 1965. pp. 340 – 357.
  138. Williams DR، Williams H. Automaintenance in the pigeon: continuous pecking though for incandent non-reinforcement. مجلة التحليل التجريبي للسلوك. 1969، 12: 511-520. [بك المادة الحرة] [مجلات]
  139. Wiltgen BJ، Law M، Ostlund S، Mayford M، Balleine BW. يتم توسط تأثير مؤشرات بافلوفان على أداء دور فعال من قبل نشاط CaMKII في المخطط. Eur J Neurosci. 2007، 25: 2491-2497. [مجلات]
  140. Wyvell CL، Berridge KC. يزيد الأمفيتامين المتراكم داخل الجسم من الحافز المشروط لمكافأة السكروز: تعزيز مكافأة "الرغبة" دون تعزيز "الإعجاب" أو تعزيز الاستجابة. ي Neurosci. 2000، 20: 8122-8130. [مجلات]
  141. يين سمو. قسم علم النفس. لوس أنجلوس: جامعة كاليفورنيا لوس أنجلوس 2004. دور المخطط الظهري في الأعمال الموجهة نحو الهدف.
  142. يين HH ، نولتون BJ. إن تخفيض قيمة المقوِّض يلغي تفضيل الإشارة المشروطة: دليل على ارتباطات التحفيز التحفيزي. Behav Neurosci. 2002، 116: 174-177. [مجلات]
  143. يين HH ، نولتون BJ. مساهمات المناطق دون الإقليمية في الموضع لوضعها والاستجابة لها. تعلم ميم. 2004، 11: 459-463. [بك المادة الحرة] [مجلات]
  144. يين HH ، نولتون BJ. الإدمان والتعلم. في: ستايسي أ ، محرر. دليل الإدراك الضمني والإدمان. ثاوزاند أوكس: Sage؛ 2005.
  145. Yin HH، Knowlton BJ، Balleine BW. الآفات من striatum ظهرية جانبية الحفاظ على النتائج المتوقعة ولكن تعطيل تشكيل العادة في التعلم مفيدة. Eur J Neurosci. 2004، 19: 181-189. [مجلات]
  146. Yin HH، Knowlton BJ، Balleine BW. يمنع حصار مستقبلات NMDA في المخطط الظهاري الظهري تعلم نتائج العمل في تكييف الأدوات. Eur J Neurosci. 2005a، 22: 505-512. [مجلات]
  147. Yin HH، Knowlton BJ، Balleine BW. يعطل تنشيط المخطط الجانبي الظهاري حساسية للتغيرات في طارئ نتيجة العمل في تكييف الأدوات. Behav Brain Res. 2006a، 166: 189-196. [مجلات]
  148. Yin HH، Zhuang X، Balleine BW. التعلم الآلي في الفئران hyperdopaminergic. Neurobiol تعلم Mem. 2006b، 85: 283-288. [مجلات]
  149. Yin HH، Ostlund SB، Knowlton BJ، Balleine BW. دور المخطط الظهاري الظهري في تكييف فعال. Eur J Neurosci. 2005b، 22: 513-523. [مجلات]
  150. زاهد س. منظور عصبي نيولوجي تكاملي على بعض الركائز تحت القشرية للتكيف مع التركيز على النواة المتكئة. Neurosci Biobehav Rev. 2000 ؛ 24: 85 – 105. [مجلات]
  151. زهم دي إس. النظرية المتطورة لـ "النظم الكبيرة" الوظيفية التشريحية للدماغ القاعدي. القس بيوبيهاف نيوروسسي 2005 [مجلات]