إشارة المكافأة التنبؤية لعصبونات الدوبامين (1998)

وظائف المكافآت

بعض الكائنات والأحداث في البيئة لها أهمية تحفيزية خاصة من خلال آثارها على الرفاهية والبقاء والتكاثر. وفقا لردود الفعل السلوكية التي تم استنباطها ، يمكن أن تكون القيمة التحفيزية للأشياء البيئية شهية (مجزية) أو كره (معاقبة). (لاحظ أن كلمة "شهية" تُستخدم مرادفًا لـ "المكافأة" ولكن ليس "تحضيرية".) تشتمل الكائنات الشهية على ثلاث وظائف أساسية قابلة للفصل. في وظيفتها الأولى ، تثير المكافآت النهج والسلوك البارز. ويرجع ذلك إلى الكائنات التي يتم وصفها بقيمة شهية من خلال آليات فطرية أو ، في معظم الحالات ، التعلم. في وظيفتها الثانية ، تزيد المكافآت من تواتر وشدة السلوك الذي يؤدي إلى مثل هذه الأشياء (التعلم) ، ويحافظون على السلوك المكتسب عن طريق منع الانقراض. المكافآت بمثابة التعزيز الإيجابي للسلوك في إجراءات تكييف الكلاسيكية والأداة. في التعلم التحفيزي العام ، تكتسب المحفزات البيئية قيمة شهية بعد جمعيات المكافآت والمكافآت الكلاسيكية المفعمة بالحيوية وتحفز سلوك النهج (بندرا 1968). في التكييف الفعال ، تكافئ "تعزيز" السلوكيات من خلال تقوية الارتباطات بين المنبهات والاستجابات السلوكية (قانون التأثير: Thorndike 1911). هذا هو جوهر "العودة لأكثر" وهو مرتبط بالمفهوم الشائع للمكافآت الذي يتم الحصول عليه بسبب قيامه بعمل جيد. في شكل فعال من أشكال التعلم التحفيزي ، تعتبر المكافآت "حوافز" وتكون بمثابة أهداف للسلوك تتبع الارتباطات بين الاستجابات السلوكية والنتائج (ديكنسون و Baline 1994). في وظيفتها الثالثة ، تحفز المكافآت مشاعر السعادة الذاتية (الهيدونيا) والحالات العاطفية الإيجابية. المنبهات الشاذة تعمل في اتجاهين متعاكسين. أنها تحفز ردود السحب وتعمل كداعمين سلبيين عن طريق زيادة والحفاظ على سلوك التجنب في العرض المتكرر ، وبالتالي تقليل تأثير الأحداث الضارة. علاوة على ذلك ، فإنها تحفز الحالات العاطفية الداخلية للغضب والخوف والذعر.

وظائف التنبؤات

توفر التنبؤات معلومات مسبقة عن المحفزات أو الأحداث أو حالات النظام في المستقبل. أنها توفر الميزة الأساسية لكسب الوقت لردود الفعل السلوكية. تنسب بعض أشكال التنبؤات القيم التحفيزية للمحفزات البيئية من خلال الارتباط بنتائج معينة ، وبالتالي تحديد الكائنات ذات الأهمية الحيوية وتمييزها عن الأشياء الأقل قيمة. ترمز الأشكال الأخرى إلى المعلمات المادية للكائنات المتوقعة ، مثل الموقع المكاني والسرعة والوزن. تتيح التنبؤات للكائن الحي تقييم الأحداث المستقبلية قبل حدوثها فعليًا ، والسماح باختيار وتحضير ردود الفعل السلوكية ، ويزيد من احتمال الاقتراب أو تجنب الأشياء التي تحمل قيم تحفيزية. على سبيل المثال ، تسمح حركات الأشياء المتكررة في نفس التسلسل لأحد أن يتنبأ بالمواقف القادمة وأن يعد الحركة التالية بالفعل أثناء متابعة الكائن الحالي. هذا يقلل من وقت رد الفعل بين الأهداف الفردية ، ويسرع الأداء العام ، ويؤدي إلى نتائج سابقة. حركات العين التنبؤية تحسن الأداء السلوكي من خلال التركيز المسبق (زهور و داونينج 1978).

على مستوى أكثر تقدمًا ، تتيح المعلومات المسبقة التي توفرها التنبؤات إمكانية اتخاذ القرارات بين البدائل للوصول إلى حالات نظام معينة ، أو التعامل مع كائنات الهدف التي تحدث بشكل متكرر ، أو تجنب الآثار الضارة التي لا يمكن إصلاحها. تستخدم التطبيقات الصناعية "التحكم بالنموذج الداخلي" للتنبؤ بحالات النظام والرد عليها قبل حدوثها بالفعل (غارسيا وآخرون. 1989). على سبيل المثال ، تحسب تقنية "الطيران بالسلك" في الطيران الحديث الحالات القادمة المتوقعة للطائرات. تأخذ قرارات مناورات الطيران هذه المعلومات في الاعتبار وتساعد على تجنب الضغط المفرط على المكونات الميكانيكية للطائرة ، وبالتالي تقليل الوزن وزيادة نطاق التشغيل.

يعتمد استخدام المعلومات التنبؤية على طبيعة الأحداث المستقبلية الممثلة أو حالات النظام. تتعلق العروض البسيطة مباشرة بموقع الأهداف القادمة ورد الفعل السلوكي الذي يتبعها ، مما يقلل من وقت رد الفعل بطريقة تلقائية إلى حد ما. تعتمد أشكال التنبؤات الأعلى على تمثيلات تسمح بالاستدلال المنطقي ، والذي يمكن الوصول إليه ومعالجته بدرجات متفاوتة من النية والاختيار. وغالبا ما تتم معالجتها بوعي في البشر. قبل حدوث الأحداث أو حالات النظام المتوقعة وتنفيذ ردود الفعل السلوكية ، تسمح هذه التنبؤات لأحد بتقييم الاستراتيجيات الذهنية المختلفة من خلال دمج المعرفة من مصادر مختلفة ، وتصميم طرق مختلفة للتفاعل ومقارنة المكاسب والخسائر من كل رد فعل ممكن.

تكييف السلوكية

يتضمن التعلم التفاعلي الترابطي الاقتران المتكرر والطارئ بين الحافز التعسفي والمكافأة الأساسية (الشكل. 1). ينتج عن هذا السلوك المتكرر بشكل متزايد الناجم عن الحافز "المشروط" ، والذي يشبه جزئيًا سلوك النهج الذي أوجدته المكافأة الأساسية ويتأثر أيضًا بطبيعة التحفيز المشروط. يبدو أن الحافز المشروط بمثابة مؤشر على المكافأة ، وغالبًا على أساس الدافع المناسب ، يحدد حالة تحفيزية داخلية تؤدي إلى رد الفعل السلوكي. يشير تشابه تفاعلات النهج إلى أن بعض المكونات العامة والإعدادية للاستجابة السلوكية يتم نقلها من المكافأة الأساسية إلى الحافز المبكر والمنبأ به والمتنبأ به. وبالتالي ، فإن الحافز الشرطي يعمل جزئيًا كبديل تحفيزي للحافز الأساسي ، ربما من خلال تعلم بافلوفيان (ديكنسون 1980).

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 1. 

معالجة منبهات الشهية أثناء التعلم. يصبح التحفيز التعسفي مرتبطًا بمكافأة أولية أو سائلة من خلال الاقتران المتكرر الطارئ. هذا التحفيز المشروط الذي يتنبأ بالمكافأة يؤدي إلى حالة تحفيزية داخلية عن طريق التوقع بتوقع المكافأة ، وغالبًا على أساس الرغبة في الجوع أو العطش ، ويثير رد الفعل السلوكي. هذا المخطط يكرر المفاهيم الأساسية لنظرية التحفيز الحافز التي وضعتها بيندرا (1968) و بوليس (1972). ينطبق ذلك على التكييف الكلاسيكي ، حيث يتم تسليم المكافأة تلقائيًا بعد الحافز المشروط ، وإلى التكييف الفعال (حيث) ، حيث يتطلب تسليم المكافأة رد فعل من قبل الموضوع على التحفيز المشروط. ينطبق هذا المخطط أيضًا على التكيُّف البغيض الذي لا يتم تفصيله بشكل أكبر لأسباب الإيجاز.

ربما يتم تعلم الكثير ممن يطلق عليهم الطعام "غير المشروط" والمكافآت السائلة من خلال التجربة ، كما يؤكد كل زائر إلى دول أجنبية. قد تتكون المكافأة الأساسية بعد ذلك من الذوق الذي تم تجربته عندما ينشط الكائن المستقبلات الذكرية ، ولكن يمكن تعلم ذلك مرة أخرى. يتمثل التأثير النهائي المجزي للأجسام المغذية في تأثيراتها المحددة على المتغيرات البيولوجية الأساسية ، مثل تركيز الإلكتروليت أو الجلوكوز أو الأحماض الأمينية في البلازما والدماغ. يتم تعريف هذه المتغيرات حسب الاحتياجات النباتية للكائن الحي وتنشأ من خلال التطور. تتجنب الحيوانات العناصر الغذائية التي تفشل في التأثير على المتغيرات النباتية المهمة ، على سبيل المثال الأطعمة التي تفتقر إلى الأحماض الأمينية الأساسية مثل هيستيدين (روجرز وهاربر 1970) ، ثريونين (Hrupka et al. 1997; وانج وآخرون. 1996) أو الميثيونين (ديلاني و Gelperin 1986). يمكن تحديد عدد قليل من المكافآت الأولية بواسطة غرائز فطرية ودعم سلوك النهج الأولي والابتلاع في الحياة المبكرة ، في حين أن معظم المكافآت يمكن تعلمها خلال تجربة الحياة اللاحقة للموضوع. يمكن عندئذٍ استخدام المظهر البدني للمكافآت للتنبؤ بالآثار النباتية الأبطأ بكثير. هذا من شأنه تسريع اكتشاف المكافآت بشكل كبير وتشكل ميزة كبيرة للبقاء. كما يتيح تعلم المكافآت للأشخاص استخدام مجموعة أكبر بكثير من العناصر الغذائية كمكافآت فعالة وبالتالي زيادة فرصهم للبقاء في مناطق الموارد الشحيحة.

التنشيط بواسطة المحفزات الشهية الأولية

حول 75٪ من الخلايا العصبية الدوبامين تظهر تنشيطات طورية عندما تلمس الحيوانات لقمة صغيرة من الطعام المخفي أثناء الحركات الاستكشافية في غياب محفزات طورية أخرى ، دون أن يتم تنشيطها من قبل الحركة نفسها (رومو وشولتز 1990). لا تستجيب الخلايا العصبية الدوبامين المتبقية لأي من المحفزات البيئية المختبرة. يتم تنشيط الخلايا العصبية الدوبامين أيضًا عن طريق قطرة سائل يتم توصيلها من الفم خارج أي مهمة سلوكية أو أثناء تعلم نماذج مختلفة مثل مهام وقت رد الفعل المرئي أو السمعي ، أو الاستجابة المكانية المتأخرة أو التناوب ، والتمييز البصري ، غالبًا في نفس الحيوان (الشكل . 2 تيشرت()هولرمان وشولتز 1996; ليونغبيرغ وآخرون. 1991, 1992; Mirenowicz و Schultz 1994; شولتز وآخرون. 1993). ردود المكافأة تحدث بشكل مستقل عن سياق التعلم. وبالتالي لا يبدو أن الخلايا العصبية الدوبامين تميز بين الأجسام الغذائية المختلفة والمكافآت السائلة. ومع ذلك ، تميز ردودهم المكافآت من الأشياء غير المكافئة (رومو وشولتز 1990). يُظهر 14٪ فقط من الخلايا العصبية الدوبامين التنشيطات الطورية عند تقديم محفزات كروية أولية ، مثل نفخة هوائية في اليد أو محلول ملحي مفرط التوتر في الفم ، ومعظم الخلايا العصبية المنشطة تستجيب أيضًا للمكافآت (Mirenowicz و Schultz 1996). على الرغم من كونها غير مؤذية ، إلا أن هذه المنبهات تنشط من حيث أنها تعرقل السلوك وتحث على تفاعلات تجنب نشطة. ومع ذلك ، فإن الخلايا العصبية الدوبامين ليست غير حساسة تمامًا للمنبهات المفعمة بالحيوية ، كما هو مبين في الاكتئاب البطيء أو التنشيطات البطيئة العرضية بعد محفزات قرصة الألم في القرود المخدرةشولتز ورومو 1987) وعن طريق زيادة إطلاق الدوبامين المهاجم بعد الصدمة الكهربائية وقرص الذيل في الفئران المستيقظة (أبركرومبي وآخرون. 1989; Doherty و Gratton 1992; Louilot et al. 1986; يونغ وآخرون. 1993). يشير هذا إلى أن الاستجابات المرحلية لخلايا الدوبامين العصبية تشير بشكل تفضيلي إلى وجود محفزات بيئية ذات قيمة شهية أولية ، في حين يمكن الإشارة إلى الأحداث البغيضة بدورة زمنية أبطأ إلى حد كبير.

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 2. 

تقرير الخلايا العصبية الدوبامين المكافآت وفقا لخطأ في التنبؤ مكافأة. ★★★★: يحدث انخفاض في السائل على الرغم من عدم توقع مكافأة في هذا الوقت. ويشكل حدوث المكافأة خطأً إيجابياً في التنبؤ بالمكافأة. يتم تنشيط الخلايا العصبية الدوبامين عن طريق حدوث غير متوقع للسائل. وسط: الحافز المشروط يتنبأ بالمكافأة ، والمكافأة تحدث وفقًا للتنبؤ ، وبالتالي لا يوجد خطأ في التنبؤ بالمكافأة. فشل تنشيط الخلايا العصبية الدوبامين بالمكافأة المتوقعة (حق). يُظهر أيضًا تنشيطًا بعد الحافز الذي يتنبأ بالمكافأة ، والذي يحدث بغض النظر عن وجود خطأ في التنبؤ بالمكافأة اللاحقة (اليسار). الملابس السفلية: المنبه المشروط يتنبأ بمكافأة ، لكن المكافأة لا تحدث بسبب عدم رد فعل الحيوان. ينخفض ​​نشاط عصبون الدوبامين تمامًا في الوقت الذي كانت ستحدث فيه المكافأة. لاحظ الاكتئاب الذي يحدث بعد أكثر من 1 ثانية من المنبه المشروط دون أي محفزات متداخلة ، مما يكشف عن عملية داخلية لتوقع المكافأة. يتبع النشاط العصبي في الرسوم البيانية الثلاثة المعادلة: استجابة الدوبامين (المكافأة) = حدثت المكافأة - المكافأة المتوقعة. CS ، حافز مشروط ؛ R ، المكافأة الأساسية. أعيد طبعه من شولتز وآخرون. (1997) بإذن من الرابطة الأمريكية لتقدم العلوم.

عدم القدرة على التنبؤ بالمكافأة

ميزة هامة لاستجابات الدوبامين هي اعتمادها على عدم القدرة على التنبؤ بالحدث. لا تحدث التنشيطات التالية للمكافآت عندما تسبق المكافآت الغذائية والسائلة محفزات طورية تم تكييفها للتنبؤ بهذه المكافآت (الشكل. 2, وسط()ليونغبيرغ وآخرون. 1992; Mirenowicz و Schultz 1994; رومو وشولتز 1990). أحد الاختلافات الحاسمة بين التعلم والسلوك المكتسب بالكامل هو درجة عدم القدرة على التنبؤ بالمكافأة. يتم تنشيط الخلايا العصبية الدوبامين من خلال المكافآت خلال مرحلة التعلم ولكن تتوقف عن الاستجابة بعد الاستحواذ الكامل على مهام وقت التفاعل البصري والسمعي (ليونغبيرغ وآخرون. 1992; Mirenowicz و Schultz 1994) ، مهام الاستجابة المكانية المتأخرة (شولتز وآخرون. 1993) ، والتمييزات البصرية في وقت واحد (هولرمان وشولتز 1996). لا يرجع فقدان الاستجابة إلى عدم الحساسية العامة المتنامية تجاه المكافآت ، حيث إن عمليات التنشيط التي تلي المكافآت التي يتم تسليمها خارج المهام لا تتناقص خلال عدة أشهر من التجربة (Mirenowicz و Schultz 1994). تتضمن أهمية عدم القدرة على التنبؤ وقت المكافأة ، كما يتضح من عمليات التنشيط العابرة التي تلي المكافآت التي يتم تسليمها فجأة في وقت مبكر أو متأخر عن المتوقع (هولرمان وشولتز 1996). إذا تم جمعها ، يجب عدم توقع حدوث المكافأة ، بما في ذلك وقتها ، لتنشيط الخلايا العصبية الدوبامين.

الاكتئاب عن طريق حذف المكافأة المتوقعة

تتعرض الخلايا العصبية الدوبامين للاكتئاب بالضبط في وقت حدوث المكافأة المعتادة عندما لا تحدث مكافأة متنبأ بها بالكامل ، حتى في حالة عدم وجود حافز سابق مباشرة (الشكل. 2, أسفل). يتم ملاحظة ذلك عندما تفشل الحيوانات في الحصول على المكافأة بسبب السلوك الخاطئ ، أو عندما يتوقف المجرب عن التدفق السائل على الرغم من السلوك الصحيح ، أو عندما يفتح الصمام بشكل مسموع دون توصيل السائل (هولرمان وشولتز 1996; ليونغبيرغ وآخرون. 1991; شولتز وآخرون. 1993). عندما يتأخر تسليم المكافأة عن 0.5 أو 1.0 ، يحدث اكتئاب النشاط العصبي في الوقت المعتاد للمكافأة ، ويتبع التنشيط المكافأة في وقت جديد (هولرمان وشولتز 1996). يحدث كلا الردين فقط خلال بضع مرات حتى يتم التنبؤ بالوقت الجديد لتسليم المكافآت مرة أخرى. على النقيض من ذلك ، فإن تقديم مكافأة في وقت مبكر عن المعتاد يؤدي إلى تنشيط في وقت المكافأة الجديد لكنه يفشل في إحداث اكتئاب في الوقت المعتاد. يشير هذا إلى أن تسليم المكافآت مبكرًا بشكل غير عادي يلغي التنبؤ بالمكافأة للوقت المعتاد. وهكذا تراقب الخلايا العصبية الدوبامين كل من حدوث الزمان ووقته. في غياب المحفزات التي تسبق المكافأة المحذوفة مباشرة ، لا تشكل المنخفضات استجابة عصبية بسيطة ولكنها تعكس عملية توقع تستند إلى ساعة داخلية تتبع الوقت المحدد للمكافأة المتوقعة.

التنشيط من قبل المحفزات مشروطة ، والتنبؤ مكافأة

حول 55 – 70 يتم تنشيط٪ من الخلايا العصبية الدوبامين بواسطة محفزات بصرية وسمعية مشروطة في مختلف المهام المكيفة الكلاسيكية أو الموضحة مسبقًا (الشكل. 2, وسط و أسفل()هولرمان وشولتز 1996; ليونغبيرغ وآخرون. 1991, 1992; Mirenowicz و Schultz 1994; شولتز 1986; شولتز ورومو 1990. P. Waelti ، J. Mirenowicz ، و W. Schultz ، بيانات غير منشورة). تم الإبلاغ عن ردود الدوبامين الأولى للضوء المكيف بواسطة ميلر وآخرون. (1981) في الفئران تعامل مع هالوبيريدول ، مما زاد من حدوث ونشاط عفوي من الخلايا العصبية الدوبامين ولكن أدى إلى استجابات أكثر استدامة من الحيوانات غير المربى. على الرغم من أن ردود الفعل تحدث بالقرب من ردود الفعل السلوكية (نيشينو وآخرون. 1987) ، فهي لا علاقة لها بحركات الذراع والعين نفسها ، لأنها تحدث أيضًا على الجانب المتحرك للذراع المتحرك وفي التجارب دون حركات ذراع أو عين (شولتز ورومو 1990). المنبهات الشرطية أقل فعالية إلى حد ما من المكافآت الأولية من حيث حجم الاستجابة والكسور من الخلايا العصبية المنشط. لا تستجيب الخلايا العصبية الدوبامين إلا لظهور محفزات مشروطة ولا تعوض عن تعويضها ، حتى إذا كانت إزاحة الحافز تتنبأ بالمكافأة (شولتز ورومو 1990). لا تميز الخلايا العصبية الدوبامين بين الطرائق البصرية والسمعية للمنبهات الشهية المشروطة. ومع ذلك ، فإنها تميز بين المحفزات الشهية والمحايدة أو النكهة طالما أنها تختلف جسديا بما فيه الكفاية (ليونغبيرغ وآخرون. 1992. P. Waelti ، J. Mirenowicz ، و W. Schultz ، بيانات غير منشورة). فقط 11٪ من الخلايا العصبية الدوبامين ، ومعظمها مع استجابات شهية ، تُظهر التنشيطات الطورية النموذجية أيضًا استجابةً لمحفزات بصرية أو سمعية مشروطة مشروطة في مهام التجنب النشط التي تطلق فيها الحيوانات مفتاحًا لتجنب نفخة هوائية أو قطرة من محلول ملحي مفرط التوتر (Mirenowicz و Schultz 1996) ، على الرغم من أن مثل هذا التجنب يمكن اعتباره "مجزيًا". هذه التنشيطات القليلة ليست قوية بما يكفي لتحفيز متوسط ​​استجابة السكان. وهكذا فإن الاستجابات المرحلية لخلايا الدوبامين العصبية تشير بشكل تفضيلي إلى محفزات بيئية ذات قيمة تحفيزية شهية ولكن دون تمييز بين الطرائق الحسية المختلفة.

نقل التنشيط

أثناء التعلم ، يتم تنشيط الخلايا العصبية الدوبامين تدريجيًا عن طريق محفزات مشروطة تتنبأ بالمكافآت وتفقد استجاباتها تدريجياً للأغذية الأولية أو المكافآت السائلة التي تصبح متوقعة (هولرمان وشولتز 1996; ليونغبيرغ وآخرون. 1992; Mirenowicz و Schultz 1994) (تين. 2 و 3). خلال فترة التعلم عابر ، كل من المكافآت والمحفزات مشروطة الحصول على تنشيط الدوبامين. يحدث هذا الانتقال من المكافأة الأساسية إلى التحفيز المشروط على الفور في الخلايا العصبية الدوبامين المفردة التي تم اختبارها في مهمتين تعلمتا جيدًا وهما استخدام مكافآت غير متوقعة ومتوقعة (على التوالي).رومو وشولتز 1990).

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 3. 

نقل استجابة الدوبامين إلى حافز تنبؤي مبكر. الردود على نقل المكافأة الأولية غير المتوقعة إلى محفزات التنبؤ بالمكافأة في وقت مبكر. تُظهر جميع العروض الرسوم البيانية للسكان التي تم الحصول عليها عن طريق حساب متوسط ​​رسم بياني للوقت المدروس لجميع الخلايا العصبية الدوبامين المسجلة في المواقف السلوكية المشار إليها ، بغض النظر عن وجود أو عدم وجود استجابة. ★★★★: خارج أي مهمة سلوكية ، لا يوجد استجابة للسكان في الخلايا العصبية 44 اختبارها مع ضوء صغير (بيانات من ليونغبيرغ وآخرون. 1992) ، ولكن تحدث استجابة متوسطة في 35 خلية عصبية لقطرة سائل يتم توصيلها في صنبور أمام فم الحيوان (Mirenowicz و Schultz 1994). وسط: استجابة لتحفيز الزناد الذي يتنبأ بالمكافأة في مهمة الوصول المكاني التي تختارها 2 ، ولكن عدم وجود استجابة للمكافأة يتم تسليمها أثناء أداء المهمة المحدد في نفس الخلايا العصبية 23 (شولتز وآخرون. 1993). الملابس السفلية: استجابة لتعليمات إرشادية تسبق حافز تحفيز توقع المكافأة بفاصل زمني ثابت من 1 s في مهمة الوصول المكاني المدونة (الخلايا العصبية 19) (شولتز وآخرون. 1993). يتم تقسيم قاعدة زمنية بسبب فواصل زمنية متباينة بين المحفزات مشروطة والمكافأة. أعيد طبعه من شولتز وآخرون. (1995b) بإذن من معهد ماساتشوستس للتكنولوجيا الصحافة.

عدم القدرة على التنبؤ بالمحفزات المشروطة

لا تحدث عمليات التنشيط بعد المحفزات المشروطة التي تتنبأ بالثواب عندما تسبق هذه المحفزات نفسها في فاصل ثابت بواسطة محفزات مشروطة في المواقف السلوكية الكاملة. وبالتالي مع المنبهات المسلسلة ، يتم تنشيط الخلايا العصبية الدوبامين من قبل الحافز المبكر للتنبؤ بالمكافأة ، في حين أن جميع المحفزات والمكافآت التي تلي في لحظات يمكن التنبؤ بها بعد ذلك غير فعالة (الشكل. 3()شولتز وآخرون. 1993). فقط متباعدة بشكل عشوائي محفزات متسلسلة تثير ردود فردية. بالإضافة إلى ذلك ، يؤدي التكرار المفرط مع أداء المهام المقولبة إلى حد كبير إلى تخفيف الاستجابات للمنبهات الشرطية ، ربما لأن المنبهات تتنبأ بها الأحداث في التجربة السابقة (ليونغبيرغ وآخرون. 1992). هذا يشير إلى أن عدم القدرة على التنبؤ بالمحفزات هو مطلب شائع لجميع المحفزات التي تعمل على تنشيط الخلايا العصبية الدوبامين.

الاكتئاب عن طريق حذف المحفزات مشروط المتوقعة

بيانات أولية من تجربة سابقة (شولتز وآخرون. 1993) تشير إلى أن الخلايا العصبية الدوبامين مصابة بالاكتئاب أيضًا عندما يتم التنبؤ بحافز مشروط ، متوقع للتنبؤ بالمكافأة في وقت محدد من خلال محفز سابق ولكنه فشل في الحدوث بسبب خطأ في الحيوان. كما هو الحال مع المكافآت الأولية ، تحدث المنخفضات في وقت الحدوث المعتاد للحافز المشروط ، دون أن يتم استنباطها مباشرة بواسطة محفز سابق. وبالتالي ، يمكن تعميم الاكتئاب الناجم عن الإهمال على جميع الأحداث الشهية.

تنشيط الاكتئاب مع تعميم الاستجابة

تستجيب الخلايا العصبية الدوبامين أيضًا للمنبهات التي لا تتنبأ بالمكافآت ولكنها تشبه عن كثب المحفزات التي تتنبأ بالثواب في نفس السياق. تتكون هذه الاستجابات في الغالب من تنشيط متبوعًا باكتئاب فوري ، ولكنها قد تتكون أحيانًا من تنشيط محض أو اكتئاب محض. تكون التنشيطات أصغر وأقل تكرارًا من تلك التي تلي محفزات تنبؤ المكافآت ، وتتم ملاحظة انخفاضات في 30-60٪ من الخلايا العصبية. تستجيب الخلايا العصبية الدوبامين للمنبهات البصرية التي لا تتبعها المكافآت ولكنها تشبه إلى حد كبير المحفزات التي تتنبأ بالمكافآت ، على الرغم من التمييز السلوكي الصحيح (شولتز ورومو 1990). فشل فتح صندوق فارغ في تنشيط الخلايا العصبية الدوبامين ولكنه يصبح فعالًا في كل تجربة بمجرد احتواء الصندوق على الطعام أحيانًا (ليونغبيرغ وآخرون. 1992; شولتز 1986; شولتز ورومو 1990) أو عندما يفتح صندوق متجاور دائم يحتوي على الطعام بالتناوب العشوائي (شولتز ورومو 1990). يثير المربع الفارغ عمليات تنشيط أضعف من المربع baited. تؤدي الحيوانات تفاعلات توجيه العين العشوائية لكل صندوق ولكن تقترب فقط من مربع الطعوم بأيديهم. أثناء التعلم ، تستمر الخلايا العصبية الدوبامين في الاستجابة للمحفزات التي كانت مشروطة مسبقًا والتي تفقد التنبؤ بالمكافأة عند تغير الحالات الطارئة للمكافأة (شولتز وآخرون. 1993) أو الاستجابة للمنبهات الجديدة التي تشبه المنبهات التي سبق تكييفها (هولرمان وشولتز 1996). تحدث الاستجابات حتى للمنبهات البغيضة المقدمة في تناوب عشوائي مع محفزات شهية متشابهة جسديًا لها نفس الطريقة الحسية ، وتكون الاستجابة البغيضة أضعف من الشهية (Mirenowicz و Schultz 1996). ردود تعميم حتى على المنبهات الشهية انطفأت سلوكيا. من الواضح أن الاستجابات العصبية تتعميمها على المحفزات غير الشهية بسبب تشابهها الجسدي مع المحفزات الشهية.

ردود الجدة

تثير المنبهات الجديدة عمليات التنشيط في الخلايا العصبية الدوبامين التي غالبًا ما تتبعها المنخفضات وتستمر طالما تحدث تفاعلات التوجيه السلوكي (على سبيل المثال ، الأكياس العينية). تهدأ التنشيطات جنبًا إلى جنب مع ردود الفعل الموجهة بعد عدة تكرارات للمحفزات ، اعتمادًا على التأثير المادي للمنبهات. في حين أن الثنائيات الصغيرة الباعثة للضوء بالكاد تثير استجابات جديدة ، فإن ومضات الضوء والفتح المرئي والسمعي السريع لصندوق صغير يثير عمليات التنشيط التي تتحلل تدريجياً إلى خط الأساس خلال <100 تجربة (ليونغبيرغ وآخرون. 1992). تؤدي النقرات الصاخبة أو الصور الكبيرة أمام حيوان مباشرةً إلى استجابات جديدة قوية تتحلل لكنها لا تزال تحفز عمليات تنشيط قابلة للقياس مع> 1,000 تجربة (هولرمان وشولتز 1996; هورفتز وآخرون. 1997; شتاينفيلز وآخرون. 1983). الشكل 4 يُظهر بشكل تخطيطي أحجام الاستجابة المختلفة باستخدام محفزات جديدة ذات أهمية جسدية مختلفة. تتحلل الردود تدريجياً بالتعرض المتكرر ، ولكنها قد تستمر في تقليل الأحجام بمحفزات بارزة للغاية. تزداد أحجام الاستجابة مرة أخرى عندما تكون نفس المحفزات مشروطة بالشهية. على النقيض من ذلك ، تهدأ الاستجابات للمنبهات الجديدة ، وحتى الكبيرة ، بسرعة عندما تستخدم المنبهات لتكييف سلوك التجنب النشط (Mirenowicz و Schultz 1996). يستجيب عدد قليل جدًا من الخلايا العصبية (أقل من 5٪) لأكثر من بضع تجارب لمنبهات واضحة لكنها ضعيفة جسديًا ، مثل تفتت الورق أو حركات اليد الإجمالية للمُجرب.

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 4. 

دورات زمنية لتنشيط الخلايا العصبية الدوبامين إلى رواية ، وتنبيه ، والمحفزات مشروطة. تنخفض عمليات التنشيط بعد المحفزات الجديدة مع التعرض المتكرر على تجارب متتالية. يعتمد حجمها على الأهمية الجسدية للمنبهات حيث إن المحفزات القوية تحفز على تنشيطات أعلى تتجاوز أحيانًا تلك المنشطة بعد المحفزات المشروطة. تستمر المنبهات البارزة بشكل خاص في تنشيط الخلايا العصبية الدوبامين ذات الحجم المحدود حتى بعد فقدان حداثةها دون أن تقترن بمكافآت أولية. تظهر الأنشطة المتسقة مرة أخرى عندما تصبح المنبهات مرتبطة بالمكافآت الأولية. ساهم في هذا البرنامج جوزيه كونتريراس فيدال.

الطابع المتجانس للاستجابات

كشفت التجارب التي تم إجراؤها حتى الآن أن غالبية الخلايا العصبية في مجموعات خلايا الدوبامين في الدماغ المتوسط ​​A8 و A9 و A10 تظهر تنشيطات وخفضات متشابهة للغاية في موقف سلوكي معين ، في حين أن الخلايا العصبية المتبقية من الدوبامين لا تستجيب على الإطلاق. هناك ميل لكسور أعلى من الخلايا العصبية التي تستجيب في مناطق أكثر إنسيًا من الدماغ المتوسط ​​، مثل المنطقة القطنية البطنية ونغمة الإثبات الإنسي ، مقارنةً بالمناطق الجانبية التي تصل أحيانًا إلى دلالة إحصائية (شولتز 1986; شولتز وآخرون. 1993). تتشابه فترات استجابة الاستجابة (50-110 مللي ثانية) والمدد (أقل من 200 مللي ثانية) بين المكافآت الأولية والمحفزات المشروطة والمحفزات الجديدة. وبالتالي فإن استجابة الدوبامين تشكل إشارة سكانية متجانسة نسبيًا. يتم تصنيفها من حيث الحجم من خلال استجابة الخلايا العصبية الفردية وجزء من الخلايا العصبية المستجيبة داخل السكان.

ملخص 1: استجابات تكيفية أثناء تعلم الحلقات

يتم توضيح خصائص استجابات الدوبامين للمنبهات ذات الصلة بالمكافآت بشكل أفضل في حلقات التعلم أثناء تلك المكافآت ، وهي ذات أهمية خاصة لاكتساب الاستجابات السلوكية. تخضع إشارة المكافأة على الدوبامين إلى تغييرات منهجية أثناء تقدم التعلم وتحدث في أقرب حافز مرتبط بالمكافأة ، وهذا إما مكافأة أولية أو حافز متوقع للتنبؤ بالمكافأة (ليونغبيرغ وآخرون. 1992; Mirenowicz و Schultz 1994). أثناء التعلم ، تحفز المحفزات الجديدة المحايدة جوهريًا ردودًا تضعف قريبًا وتختفي (الشكل. 4). تحدث المكافآت الأولية بشكل غير متوقع أثناء الاقتران الأولي بمثل هذه المنبهات وتثير التنشيطات العصبية. مع الاقتران المتكرر ، تصبح المكافآت متنبأ بها بمحفزات مشروطة. تنخفض عمليات التنشيط بعد المكافأة تدريجياً ويتم نقلها إلى الحوافز المكيفة التي تتنبأ بالثواب. ومع ذلك ، إذا فشلت المكافأة المتوقعة في الحدوث بسبب خطأ في الحيوان ، فإن الخلايا العصبية الدوبامين تعاني من الاكتئاب في وقت حدوث المكافأة. أثناء التعلم المتكرر للمهام (شولتز وآخرون. 1993) أو مكونات المهمة (هولرمان وشولتز 1996) ، تقوم المنبهات الشرطية الأولى بتنشيط الخلايا العصبية الدوبامين خلال جميع مراحل التعلم بسبب التعميم على المحفزات المشابهة التي سبق تعلمها ، في حين أن المحفزات الشرطية اللاحقة والمكافآت الأولية تنشط الخلايا العصبية الدوبامين بشكل عابر فقط أثناء عدم اليقين ويتم إنشاء طوارئ جديدة.

ملخص 2: محفزات فعالة للخلايا العصبية الدوبامين

يتم استخلاص ردود الدوبامين بواسطة ثلاث فئات من المحفزات. تشتمل الفئة الأولى على المكافآت والمحفزات الأولية التي أصبحت متنبئة بالمكافآت صالحة من خلال الاقتران المتكرر والاحتمالي بالمكافآت. تشكل هذه المحفزات فئة شائعة من المحفزات الواضحة للتنبؤ بالمكافآت ، حيث تعمل المكافآت الأولية كمنبهات لتأثيرات المكافآت النباتية. من الواضح أن المنبهات الفعالة لها عنصر تنبيه ، حيث إن المحفزات ذات البداية الواضحة هي فقط الفعالة. تُظهر الخلايا العصبية الدوبامين تنشيطات بحتة تبعًا للمنبهات الواضحة للتنبؤ بالمكافآت وتتعرض للاكتئاب عندما لا تحدث مكافأة متوقعة ولكنها حذفت (الشكل. 5, تيشرت).

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 5. 

عرض تخطيطي لاستجابات الخلايا العصبية الدوبامين لأنواع 2 من المحفزات مشروطة. ★★★★: يؤدي عرض الحافز الواضح للتنبؤ بالمكافأة إلى التنشيط بعد الحافز ، وعدم الاستجابة للمكافأة المتوقعة ، والاكتئاب عند فشل المكافأة المتوقعة. الملابس السفلية: يؤدي عرض الحافز الذي يشبه الحافز المشروط ، الذي يتنبأ بالمكافأة ، إلى التنشيط يليه الاكتئاب ، والتنشيط بعد المكافأة ، وعدم الاستجابة عند عدم حدوث مكافأة. التنشيط بعد التحفيز ربما يعكس تعميم الاستجابة بسبب التشابه الجسدي. لا يتنبأ هذا التحفيز صراحةً بالمكافأة ولكنه يرتبط بالمكافأة عبر تشابهها مع الحافز الذي يتنبأ بالمكافأة. بالمقارنة مع المحفزات الواضحة للتنبؤ بالمكافآت ، تكون عمليات التنشيط منخفضة وغالبًا ما تليها انخفاضات ، وبالتالي التمييز بين المنبهات المكافئة (CS +) والمحفزات غير المكافئة (CS−). يلخص هذا المخطط نتائج التجارب السابقة والحالية (هولرمان وشولتز 1996; ليونغبيرغ وآخرون. 1992; Mirenowicz و Schultz 1996; شولتز ورومو 1990; شولتز وآخرون. 1993. P. Waelti و W. Schultz ، نتائج غير منشورة).

أما الفئة الثانية فتضم المحفزات التي تثير ردود التعميم. هذه المحفزات لا تتنبأ بصراحة بالمكافآت ولكنها فعالة بسبب تشابهها الجسدي مع المحفزات التي أصبحت تنبئ بالمكافآت بشكل صريح من خلال التكييف. هذه المحفزات تحفز التنشيطات التي تكون في حجمها أقل وتشترك في عدد أقل من الخلايا العصبية ، بالمقارنة مع المحفزات الواضحة للتنبؤ بالمكافآت (الشكل. 5, أسفل). وكثيرا ما يتبعهم الاكتئاب الفوري. في حين أن التنشيط الأولي قد يشكل استجابة شهية معممة تشير إلى مكافأة محتملة ، فإن الاكتئاب اللاحق قد يعكس التنبؤ بعدم المكافأة في سياق تنبؤ عام بالمكافأة وإلغاء افتراض المكافأة الخاطئ. إن الافتقار إلى التنبؤ الصريح بالمكافأة يُقترح أكثر من خلال وجود التفعيل بعد المكافأة الأولية وغياب الاكتئاب بدون مكافأة. جنبا إلى جنب مع الردود على محفزات التنبؤ بالمكافأة ، يبدو أن تنشيط الدوبامين يبلغ عن "علامة" شهية ملحقة بالمحفزات المرتبطة بالمكافآت.

تشتمل الفئة الثالثة على محفزات جديدة أو بارزة لا ترتبط بالضرورة بمكافآت محددة. عن طريق استنباط ردود الفعل الموجهة للسلوك ، تنبه هذه المحفزات وتلفت الانتباه. ومع ذلك ، لديهم أيضا وظائف تحفيزية ويمكن أن تكون مجزية (فوجيتا 1987). محفزات رواية يحتمل أن تكون شهية. تحفز المحفزات الجديدة أو البارزة بشكل خاص على التنشيطات التي تتبعها في كثير من الأحيان الاكتئاب ، على غرار الاستجابات لتعميم المحفزات.

وبالتالي ، فإن الاستجابات المرحلية لخلايا الدوبامين تُبلغ عن أحداث ذات تأثيرات تحفيزية إيجابية وإيجابية ، مثل المكافآت الأولية ، والمنبهات التي تتنبأ بالمكافآت ، والأحداث التي تشبه المكافآت ، وتنبيه المنبهات. ومع ذلك ، فإنها لا تكتشف إلى حد كبير الأحداث ذات الآثار المحفزة السلبية ، مثل المنبهات الكاذبة.

ملخص 3: إشارة خطأ توقع مكافأة الدوبامين

يمكن فهم أفضل طريقة لاستجابات الدوبامين للأحداث الصريحة المتعلقة بالمكافأة وفهمها من حيث النظريات الرسمية للتعلم. تقرير الخلايا العصبية الدوبامين المكافآت نسبة إلى التنبؤ بها بدلا من الإشارة المكافآت الأولية دون قيد أو شرط (الشكل. 2). تكون استجابة الدوبامين إيجابية (التنشيط) عندما تحدث المكافآت الأولية دون أن يتم التنبؤ بها. استجابة لا شيء عندما تحدث المكافآت كما هو متوقع. الاستجابة سلبية (الاكتئاب) عندما يتم حذف المكافآت المتوقعة. وهكذا فإن الخلايا العصبية الدوبامين تبلغ عن مكافآت أولية وفقًا للفرق بين الحدوث وتوقع المكافأة ، والذي يمكن أن يسمى خطأً في التنبؤ بالمكافأة (شولتز وآخرون. 1995b, 1997) ويتم إضفاء طابع رسمي مبدئيًا عليه

المعادلة 1 يمكن توسيع هذا الاقتراح ليشمل أحداث شهية مشروطة يتم الإبلاغ عنها أيضًا بواسطة عصبونات الدوبامين المرتبطة بالتنبؤ. وهكذا ، قد تشير الخلايا العصبية الدوبامين إلى حدوث خطأ في التنبؤ بجميع الأحداث الشهية ، و مكافئ. 1 يمكن القول في شكل أكثر عمومية

المعادلة 2هذا التعميم متوافق مع فكرة أن معظم المكافآت هي في الواقع محفزات مشروطة. مع العديد من الأحداث المتتالية الراسخة للتنبؤ بالمكافآت ، فإن الحدث الأول فقط لا يمكن التنبؤ به وينتج عنه تنشيط الدوبامين.

أصل استجابة الدوبامين

ما هي المدخلات التشريحية التي يمكن أن تكون مسؤولة عن الانتقائية والطبيعة متعددة الأبعاد لاستجابات الدوبامين؟ ما هو نشاط الإدخال الذي يمكن أن يؤدي إلى تشفير أخطاء التنبؤ ، والحث على نقل الاستجابة التكيفية إلى أول حدث شهية غير متوقع وتقدير وقت المكافأة؟

يؤثر الدوبامين المرحلي على الهياكل المستهدفة

الطبيعة العالمية للدوبامين الإشارة.

توقعات متباينة. توجد خلايا عصبية دوبامين d8,000 في كل حبة من الفئران (Oorschot 1996) و 80,000 – 116,000 في قرود المكاك (الألمانية وآخرون. 1988; بيرشيرون وآخرون. 1989). يحتوي كل مخطط على N2.8 مليون خلية عصبية في الفئران و 31 مليون في قرود المكاك ، مما يؤدي إلى عامل تباعد nigrostriatal من 300 – 400. كل محور عصبي دوبامين يتشعب بكثرة في منطقة طرفية محدودة في المخطط وله دواليك stri500,000 مميتة ينطلق منها الدوبامين (Andén et al. 1966). وهذا يؤدي إلى إدخال الدوبامين إلى كل الخلايا العصبية المهاجمة تقريبًا (غروفز وآخرون. 1995) وإسقاط طبوغرافي موضعي معتدل (ليند بالتا وهابر 1994). يعد تعقيم الدوبامين القشري في القرود أعلى مستوياته في المناطق 4 و 6 ، ولا يزال حجمه كبيرًا في الفص الجبهي ، الجداري ، والزماني ، وهو أدنى معدل في الفص القذالي (بيرجر وآخرون. 1988; وليامز وجولدمان راكيتش 1993). توجد في الغالب الطبقات المشابك الدوبامين القشرية في الطبقتين الأولى والخامسة ، حيث تلامس نسبة كبيرة من الخلايا العصبية القشرية هناك. جنبا إلى جنب مع طبيعة الاستجابة متجانسة إلى حد ما ، تشير هذه البيانات إلى أن استجابة الدوبامين تتقدم باعتبارها موجة متوازية من النشاط من الدماغ المتوسط ​​إلى المخطط والقشرة الأمامية (الشكل. 7).

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 7. 

إشارة الدوبامين العالمية تتقدم إلى المخطط والقشرة. يمكن رؤية استجابة السكان المتجانسة نسبيًا لغالبية الخلايا العصبية الدوبامين للمنبهات الشهية والتنبيهية وتطورها من البنية الأصلية إلى التركيبات بعد المشبكي بشكل تخطيطي على أنها موجة من النشاط المتزامن والمتوازي يتقدم بسرعة 1 – 2 م / ث (شولتز ورومو 1987) على طول التوقعات المتباينة من الدماغ المتوسط ​​إلى المخطط (الذرات والبلاطة) والقشرة. لا يمكن التمييز بين الاستجابات نوعيا بين الخلايا العصبية من الجفون المؤخرة (SN) بارسا و tegmental المنطقة (VTA). إن تعقيم الدوبامين لجميع الخلايا العصبية في المخطط والعديد من الخلايا العصبية في القشرة الأمامية من شأنه أن يسمح لإشارة تعزيز الدوبامين بممارسة تأثير عالمي إلى حد ما. تم ضغط الموجة للتأكيد على الطبيعة الموازية.

إطلاق الدوبامين. تؤدي نبضات الخلايا العصبية الدوبامين على فترات من 20 – 100 ms إلى تركيز الدوبامين أعلى بكثير في المخطط من نفس العدد من النبضات على فترات من 200 ms (غاريس وايتمان 1994; جونون 1988). ويعزى عدم الخطية هذا بشكل أساسي إلى التشبع السريع لناقل إعادة امتصاص الدوبامين ، والذي يقوم بمسح الدوبامين المنطلق من منطقة خارج المشبك (Chergui وآخرون. 1994). لوحظ نفس التأثير في النواة المتكئة (ويتمان وزيمرمان 1990) ويحدث حتى مع وجود فترات زمنية أطول للنبضات بسبب مواقع إعادة امتصاص الموزعات (غاريس وآخرون. 1994b; مارشال وآخرون. 1990; ستامفورد وآخرون. 1988). يعد إطلاق الدوبامين بعد اندفاع اندفاعي <300 مللي ثانية قصيرًا جدًا لتنشيط تقليل التحرر بوساطة المستقبل الذاتي (Chergui وآخرون. 1994) أو تدهور الأنزيمية أبطأ (مايكل وآخرون. 1985). وبالتالي فإن استجابة الدوبامين المنفصلة فعالة بشكل خاص في إطلاق الدوبامين.

تشير التقديرات المستندة إلى قياس الجهد في الجسم الحي إلى أن دفعة واحدة تطلق جزيئات الدوبامين N1,000 عند المشابك في المخطط والنواة المتكئة. هذا يؤدي إلى تركيزات الدوبامين متشابك فوري من 0.5 – 3.0 μM (غاريس وآخرون. 1994a; كاواجوي وآخرون. 1992). في 40 ميكرو ثانية بعد بداية الإطلاق ، يترك أكثر من 90٪ من الدوبامين المشبك ، ويتم التخلص من بعض الباقي لاحقًا عن طريق إعادة امتصاص المشبك (نصف وقت بداية 30-37 مللي ثانية). عند 3-9 مللي ثانية بعد بدء الإطلاق ، تصل تركيزات الدوبامين إلى ذروة 250 نانومتر عندما تطلق جميع الدوالي المجاورة الدوبامين في وقت واحد. تكون التركيزات متجانسة في مجال قطره 4 ميكرومتر (جونون 1997) ، وهو متوسط ​​المسافة بين الدوالي (دوسيت وآخرون. 1986; غروفز وآخرون. 1995). يقتصر الانتشار الأقصى على 12 ميكرومتر بواسطة ناقل الاسترداد ويتم الوصول إليه في 75 مللي ثانية بعد بداية الإطلاق (نصف وقت بداية الناقل من 30 إلى 37 مللي ثانية). قد تكون التركيزات أقل قليلاً وأقل تجانسًا في المناطق ذات التباينات الأقل أو عندما يتم تنشيط <100 ٪ من الخلايا العصبية الدوبامين ، لكنها تكون أعلى بمرتين إلى ثلاث مرات مع اندفاعات النبضات. وبالتالي ، فإن عمليات التنشيط المتفجرة الناتجة عن المكافأة والمتزامنة بشكل معتدل في ∼75٪ من الخلايا العصبية للدوبامين قد تؤدي إلى قمم تركيز متجانسة إلى حد ما في حدود 150-400 نانومتر. تدوم الزيادات الإجمالية للدوبامين خارج الخلية 200 مللي ثانية بعد نبضة واحدة و 500-600 مللي ثانية بعد النبضات المتعددة بفواصل 20-100 مللي ثانية مطبقة خلال 100-200 مللي ثانية (Chergui وآخرون. 1994; دوجاست وآخرون. 1994). ناقل الاستيعاب خارج الخلية (نيرينبرج وآخرون. 1996لاحقا يعيد تركيزات الدوبامين مرة أخرى إلى خط الأساس لـ 5 – 10 nM (هيريرا مارشيتز وآخرون. 1996). وبالتالي ، على النقيض من النقل العصبي التشابكي الكلاسيكي ، ينتشر الدوبامين الذي تم إطلاقه بشكل متزامن سريعًا في منطقة التصلب العصبي المباشر ويصل إلى قمم قصيرة من التركيزات خارج الخلية المتجانسة على المستوى الإقليمي.

مستقبلات. من بين النوعين الرئيسيين لمستقبلات الدوبامين ، تنشيط أدينيلات سيكلاز ، مستقبلات نوع D1 تشكل N80٪ من مستقبلات الدوبامين في المخطط. توجد نسبة 80٪ من هذه 2-4 μM و 20٪ في حالة 9 – 74 nM عالية التقارب (ريتشفيلد وآخرون. 1989). تنتمي نسبة 20٪ المتبقية من مستقبلات الدوبامين المميتة إلى نوع D2 المانع من cyclase-adenylase والتي يكون 10-0٪ منها في حالة التقارب المنخفض و 80 - 90٪ في حالة التقارب العالي ، مع تقارب مماثل مع مستقبلات D1. وبالتالي ، يكون لمستقبلات D1 بشكل عام تقارب أقل بمقدار times100 من مستقبلات D2. توجد مستقبلات D1 Striatal في الغالب على الخلايا العصبية التي تتساقط للشاحنة الداخلية وشبه الجفون ptic reticulata ، في حين أن مستقبلات D2 الشجرية تقع في الغالب على الخلايا العصبية التي تنجم عن الشحوب الخارجي (بيرجسون وآخرون. 1995; جيرفين وآخرون. 1990; هيرش وآخرون. 1995; ليفي وآخرون. 1993). ومع ذلك ، فإن الاختلافات في حساسية المستقبلات قد لا تلعب دوراً وراء نقل الإشارة ، وبالتالي تقليل الاختلافات في حساسية الدوبامين بين هذين النوعين من الخلايا العصبية الناتجة.

يتم تحرير الدوبامين إلى 30 – 40٪ من متشابك و 60-70٪ من دوالي خارجيه (Descarries وآخرون. 1996). يعمل الدوبامين المنطلق بالتزامن على مستقبلات الدوبامين بعد المشبك في أربعة مواقع متميزة تشريحياً في المخطط ، أي داخل نقاط ربط الدوبامين ، المجاورة مباشرة لمشابك الدوبامين ، داخل نقاط ربط المشابك الغلوتامات القشرية ، وفي المواقع الخارجة عن مواقع الإطلاق. 8()ليفي وآخرون. 1993; سيساك وآخرون. 1994; يونج وآخرون. 1995). يتم تحديد مستقبلات D1 بشكل رئيسي خارج مشابك الدوبامين (كايل وآخرون. 1996). تركيزات عالية من الدوبامين عابرة بعد رشقات الاندفاع التدريجي من شأنها تفعيل مستقبلات D1 في المنطقة المجاورة مباشرة لمواقع الإطلاق النشط وتنشيط وحتى تشبع مستقبلات D2 في كل مكان. ستبقى مستقبلات D2 مفعلة جزئياً عندما يعود تركيز الدوبامين المحيط إلى خط الأساس بعد زيادة طورية.

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 8. 

تأثيرات إطلاق الدوبامين على الخلايا العصبية الشوكية المتوسطة النموذجية في المخطط الظهري والبطني. ينشط الدوبامين المنطلق من النبضات من دوالي متشابك قليلة من مستقبلات متشابك (ربما من نوع D2 في حالة انخفاض الألفة) وينتشر بسرعة خارج المشابك للوصول إلى درجة تقارب منخفضة مستقبلات نوع D1 (D1؟) الموجودة في مكان قريب ، داخل المشابك القشرية ، أو على مسافة محدودة. ينشط الدوبامين المُرتفع تدريجيًا مستقبلات D2 عالية التقارب القريبة لتشبع (D2؟). تظل مستقبلات D2 مفعلة جزئياً بتركيزات الدوبامين المحيطة بعد الإطلاق المتزايد تدريجياً. قد يتم تخفيف الدوبامين الذي تم إطلاقه خارج المجموعة عن طريق الانتشار وتنشيط مستقبلات D2 عالية التقارب. تجدر الإشارة إلى أنه ، في تباين مع هذا المخطط التخطيطي ، توجد معظم مستقبلات D1 و D2 على خلايا عصبية مختلفة. يصل الغلوتامات المنبعثة من المحطات القشرية إلى مستقبلات ما بعد المشبك الموجود على نفس العمود الفقري الشجيري مثل دوالي الدوامة. يصل الجلوتامات أيضًا إلى دوالي الدوبامين قبل المشبكي حيث يتحكم في إطلاق الدوبامين. تأثيرات الدوبامين على الخلايا العصبية الشوكية في القشرة الأمامية قابلة للمقارنة في كثير من النواحي.

ملخص. إن الاستجابة المرصودة ، والانفجار المعتدل ، والقصير المدة ، والمتزامن تقريبًا ، لغالبية الخلايا العصبية الدوبامين تؤدي إلى إطلاق الدوبامين الأمثل في وقت واحد من غالبية الدوالي المبتذلة متباعدة عن كثب. تستجيب الاستجابة العصبية لنفخة قصيرة من الدوبامين التي يتم إطلاقها من مواقع خارج المشبك أو تنتشر بسرعة من المشابك العصبية في منطقة متجاورة. يصل الدوبامين بسرعة إلى التركيزات المتجانسة على المستوى الإقليمي والتي من المحتمل أن تؤثر على التشعبات في كل الخلايا العصبية القاتلة والكثيرية. وبهذه الطريقة ، يتم بث رسالة المكافأة في 60-80٪ من الخلايا العصبية الدوبامين كإشارة تعزيز متباينة بدلاً من ذلك إلى المخطط ، تتجمع النواة والقشرة الأمامية ، مما يضمن التأثير التدريجي على الحد الأقصى لعدد نقاط الاشتباك العصبي المشاركة في المعالجة من المحفزات والإجراءات التي تؤدي إلى مكافأة (الشكل. 7). سيؤثر الدوبامين الناتج عن التنشيط العصبي بعد المكافآت والمنبهات التي تتنبأ بالمكافآت على مستقبلات D1 المتجاورة على الخلايا العصبية المهاجمة التي تبرز شحوبًا داخليًا و pegidum nigra pars reticulata وجميع مستقبلات D2 على الخلايا العصبية التي تنبثق عن الشلل الخارجي. إن الحد من إطلاق الدوبامين الناجم عن انخفاضات في الوزن مع مكافآت محذوفة ومنبهات للتنبؤ بالمكافآت من شأنه أن يقلل من تنشيط منشطات مستقبلات D2 بواسطة الدوبامين المحيط. وبالتالي ، فإن أخطاء التنبؤ بالمكافأة الإيجابية ستؤثر على جميع أنواع الخلايا العصبية الناتجة عن خط الهجوم ، في حين أن خطأ التنبؤ السلبي قد يؤثر في الغالب على الخلايا العصبية التي تسقط على الشاحبة الخارجية.

آليات الكوكايين المحتملة. يؤدي الحصار المفروض على نقل امتصاص الدوبامين بواسطة عقاقير مثل الكوكايين أو الأمفيتامين إلى زيادة وإطالة الزيادات المرحلية في تركيزات الدوبامين (الكنيسة وآخرون. 1987a; جيروس وآخرون. 1996; سعاد تشاجني وآخرون. 1995). سيكون التحسن واضحًا بشكل خاص عندما تصل الزيادات السريعة التي يحدثها الانفجار في تركيز الدوبامين إلى الذروة قبل أن يصبح تنظيم التغذية الراجعة فعالًا. ستؤدي هذه الآلية إلى إشارة محسّنة بشكل كبير من الدوبامين بعد المكافآت الأولية ومحفزات تنبؤية عن المكافآت. كما أنه سيزيد من إشارة الدوبامين الأضعف إلى حد ما بعد المحفزات التي تشبه المكافآت ، والمنبهات الجديدة ، والمحفزات البارزة بشكل خاص التي قد تكون متكررة في الحياة اليومية. إن تعزيز الكوكايين من شأنه أن يجعل هذه المحفزات غير المجزية تبدو قوية أو أقوى من المكافآت الطبيعية بدون الكوكايين. يمكن للخلايا العصبية بعد المشبكي أن تسيء تفسير مثل هذه الإشارة على أنها حدث بارز مرتبط بشكل خاص بالمكافأة وتخضع لتغييرات طويلة الأجل في انتقال متشابك.

نظريات التعلم

خوارزميات التعزيز

تعلم الفرق المؤقت.

في فئة كفاءة خاصة من خوارزميات التعزيز (سوتون 1988; ساتون وبارتو 1981) ، يتم تعديل الأوزان متشابك وفقا للخطأ في التنبؤ التعزيز محسوبة على خطوات زمنية متتالية (t) في كل محاكمة

rˆ(t)=r(t)+P(t)-P(t-l)

معادلة 6where r هو تعزيز و P هو تعزيز التعزيز. P (ر) عادة ما يتم ضربه بعامل الخصم مع 0 ≤ γ <1 لحساب التأثير المتناقص للمكافآت البعيدة بشكل متزايد. لأسباب تتعلق بالبساطة ، تم تعيين γ على 1 هنا. في حالة وجود حافز واحد يتنبأ بمعزز واحد ، فإن التنبؤ P(t - 1) موجود قبل الوقت t من التعزيز ولكن ينتهي في وقت التعزيز [P (ر) = 0]. هذا يؤدي إلى إشارة تعزيز فعالة في ذلك الوقت (T) من التعزيز

rˆ (t)=r(t)-P(t-l)

المعادلة 6a• ص(tيشير المصطلح إلى الفرق بين التعزيز الفعلي والمتوقع. أثناء التعلم ، يتم توقع التعزيز بشكل غير كامل ، ويكون مصطلح الخطأ إيجابيًا عند حدوث التعزيز ، ويزداد الأوزان التشابكية. بعد التعلم ، يتم التنبؤ بالتعزيز بالكامل بواسطة حافز سابق [P(t - 1) = r(t)] ، مصطلح الخطأ هو صفر في السلوك الصحيح ، والأوزان متشابك تبقى دون تغيير. عندما يتم حذف التعزيز بسبب الأداء غير الكافي أو الحالات الطارئة المتغيرة ، يكون الخطأ سالباً ويتم تقليل الأوزان التشابكية. ال ص(t) المصطلح مشابه لـ (λ-V) مدة الخطأ لنموذج Rescorla-Wagner (مكافئ. 4 ). ومع ذلك ، فإنه يتعلق بالخطوات الزمنية الفردية (t) داخل كل تجربة بدلاً من التنبؤات التي تتطور عبر تجارب متتالية. تستفيد هذه النماذج الزمنية للتعزيز من حقيقة أن التنبؤات المكتسبة تشمل الوقت المحدد للتعزيز (ديكنسون وآخرون. 1976; Gallistel 1990; سميث 1968).

تستخدم خوارزميات الفرق الزمنية (TD) أيضًا التنبؤات المكتسبة لتغيير الأوزان المتشابكة. في حالة وجود حافز مشروط غير متوقع ، ويتنبأ بتعزيز واحد ، التنبؤ P (ر) يبدأ في الوقت المناسب (ر)، لا يوجد التنبؤ السابق [P(t - 1) = 0] ، ولم يحدث التعزيز بعد [r(t) = 0]. بالنسبة الى مكافئ. 6, ينبعث النموذج إشارة التعزيز الفعال التنبؤية بحتة في ذلك الوقت (t) من التنبؤ

rˆ=P(t)

المعادلة 6b في حالة المحفزات التنبؤية المتعددة والمتتالية ، مرة أخرى مع غياب التعزيز في وقت التنبؤات ، تكون إشارة التعزيز الفعالة في ذلك الوقت (T) التنبؤ يعكس الفرق بين التنبؤ الحالي P (ر) والتنبؤ السابق P(t - 1)

rˆ=P(t)-P(t-l)

المعادلة 6cهذا يشكل مصطلح خطأ من أجل تعزيز أعلى. على غرار الداعمين المتوقعين تمامًا ، يتم إلغاء جميع المحفزات التنبؤية التي يتم التنبؤ بها بالكامل بحد ذاتها [P(t - 1) = P(t)]، مما يسبب ص = 0 في الأوقات (T) من هذه المحفزات. فقط التحفيز التنبئي أقرب يساهم في إشارة التعزيز الفعال ، مثل هذا التحفيز P (ر) لا يمكن التنبؤ به بواسطة حافز آخر [P(t - 1) = 0]. هذه النتائج في نفسه ص = P (ر) في الموعد (T) التنبؤ الأول كما في حالة التنبؤ الفردي (مكافئ. 6b).

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 9. 

البنى الأساسية لنماذج الشبكات العصبية التي تنفذ خوارزميات الاختلاف الزمني مقارنةً بتوصيلية العقد القاعدية. A: في التنفيذ الأصلي إشارة التدريس الفعال y - ȳ يتم حسابها في نموذج الخلايا العصبية A وإرسالها إلى محطات قبل المشبك من المدخلات x إلى الخلايا العصبية B, وبالتالي التأثير x → B معالجة وتغيير الأوزان متشابك في x → B تشابك عصبى. الخلايا العصبية B يؤثر الإخراج السلوكي عبر محور عصبي y وفي الوقت نفسه يساهم في خصائص الخلايا العصبية التكيفية A, وهي استجابتها للمؤثرات التنبؤية للمكثف. تطبيقات أحدث لهذه الهندسة المعمارية البسيطة تستخدم الخلايا العصبية A بدلا من الخلايا العصبية B لانبعاث الناتج O النموذج (مونتاج وآخرون. 1996; شولتز وآخرون. 1997). أعيد طبعه من سوتون و بارتو (1981) بإذن من جمعية علم النفس الأمريكية. B: التنفيذ الأخير يفصل مكون التدريس A, دعا الناقد (حق)، من مكون الإخراج يتألف من عدة وحدات المعالجة B, يسمى الفاعل (اليسار). إشارة التعزيز الفعال ص(t) يتم حسابها عن طريق طرح الفرق الزمني في التنبؤ معزز مرجح γP(t) - P(t - 1) من التعزيز الأولي r(t) المستلمة من البيئة (the هو عامل التخفيض الذي يقلل من قيمة المعززات البعيدة). يتم حساب تنبؤ المعزز في وحدة تنبؤ منفصلة C, وهو جزء من الناقد ويشكل حلقة مغلقة مع عنصر التدريس A، في حين أن التعزيز الأساسي يدخل الناقد من خلال إدخال منفصل r_t. تؤثر إشارة التعزيز الفعالة على الأوزان التشابكية عند المحاور الواردة في الفاعل ، والتي تتوسط في الإخراج وفي وحدة التنبؤ التكيفية للناقد. أعيد طبعه من بارتو (1995) بإذن من معهد ماساتشوستس للتكنولوجيا الصحافة. C: الاتصال الأساسي للعقد القاعدية يكشف أوجه التشابه المذهلة مع فن العمارة الناقد. يُصدر إسقاط الدوبامين إشارة التعزيز إلى المخطط ويمكن مقارنته بالوحدة A في اجزاء A و B, يأخذ المخطط الحوفي (أو التصحيح الهزلي) موضع وحدة التنبؤ C في الناقد ، ويشبه المخطط الحسي الحسي (أو المصفوفة) وحدات الممثل B. في النموذج الأصلي (ا)، يتكون الانحراف الرئيسي الفردي من تشريح العقد القاعدية المؤثر في تأثير الخلايا العصبية A يتم توجيهها إلى أطراف ما قبل المشبك ، في حين توجد نقاط التشابك الدوبامين على التشعبات بعد المشبكي للخلايا العصبية المهاجمة (فروند وآخرون. 1984). أعيد طبعه من سميث وبولام (1990) بإذن من Elsevier Press.

مجتمعة ، إشارة التعزيز الفعال (مكافئ. 6 ) يتكون من التعزيز الأساسي ، والذي يتناقص مع التوقعات الناشئة (مكافئ. 6a) ويتم استبدالها تدريجيا بالتنبؤات المكتسبة (يكس. 6b و 6c). مع المحفزات التنبؤية المتتالية ، تتحرك إشارة التعزيز الفعالة للخلف في الوقت المناسب من التعزيز الأساسي إلى التحفيز المبكر للتنبؤ بالمعزز. ينتج عن التحويل إلى الوراء تخصيص أكثر تحديداً للائتمان للمشابك المتشابكة ، حيث تحدث التنبؤات في وقت أقرب إلى أن تكون المنبهات وردود الفعل السلوكية مشروطة ، بالمقارنة مع التعزيز في نهاية التجربة (ساتون وبارتو 1981).

تستخدم خوارزميات التعلم المعززة خطأ التنبؤ بطريقتين ، لتغيير الأوزان التشابكية للناتج السلوكي وللاكتساب التنبؤات نفسها لحساب خطأ التنبؤ باستمرار (الشكل. 9 A()مكلارين 1989; ساتون وبارتو 1981). يتم فصل هاتين الوظيفتين في تطبيقات حديثة ، حيث يتم حساب خطأ التنبؤ في مكون الناقد التكيفي ويغير الأوزان التشابكية في المكون الفاعل الذي يتوسط في السلوك السلوكي (الشكل. 9 B()بارتو 1995). خطأ إيجابي يزيد من التنبؤ التعزيز للناقد ، في حين أن الخطأ السلبي من التعزيز المحذوف يقلل من التنبؤ. هذا يجعل إشارة التعزيز فعالة على التكيف للغاية.

تطبيقات البيولوجيا العصبية لتعلم الاختلاف الزمني

تطبيقات للمشاكل العصبية.

على الرغم من أنه تم تطويره في الأصل على أساس نموذج Rescorla-Wagner للتكييف الكلاسيكي ، إلا أن النماذج التي تستخدم خوارزميات TD تتعلم مجموعة واسعة من المهام السلوكية من خلال أشكال مفيدة أساسًا للتكييف. تصل هذه المهام من موازنة عمود على عجلة عربة (بارتو وآخرون. 1983) لعبة الطاولة العالمية (Tesauro 1994). تتعلم الروبوتات التي تستخدم خوارزميات TD التنقل في مسافة ثنائية الأبعاد وتجنب العقبات والوصول إليها وفهمها (فاج 1993) أو أدخل ربط في حفرة (جولابالي وآخرون. 1994). استخدام إشارة التعزيز TD للتأثير بشكل مباشر وتحديد السلوك (الشكل. 9 A) ، نماذج TD تكرار السلوك بحثا عن نحل العسل (مونتاج وآخرون. 1995) ومحاكاة صنع القرار البشري (مونتاج وآخرون. 1996). نماذج TD مع بنية الناقد واضحة ممثل تشكل نماذج قوية للغاية أن تتعلم بكفاءة حركات العين (Friston وآخرون. 1994; مونتاج وآخرون. 1993) ، حركات متتابعة (الشكل. 10) ، وتوجيه ردود الفعل (كونتريراس فيدال وشولتز 1996). أضاف نموذج حديث إشارات الجدة المُحدثة للاكتئاب لتحسين إشارة التدريس ، واستخدمت التحفيز وآثار الحركة في الناقد والممثل ، واستخدمت قواعد الفوز في كل شيء لتحسين إشارة التدريس واختيار الخلايا العصبية الفاعلة مع أكبر تنشيط. هذا مستنسخة بتفصيل كبير كل من ردود الخلايا العصبية الدوبامين وسلوك التعلم من الحيوانات في مهام الاستجابة المتأخرة (سوري وشولتز 1996). من المثير للاهتمام بشكل خاص أن نرى أن تدريس الإشارات باستخدام أخطاء التنبؤ يؤدي إلى تعلم أسرع وأكثر اكتمالا مقارنة بإشارات التعزيز غير المشروطة (الشكل. 10()Friston وآخرون. 1994).

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 10. 

الاستفادة من إشارات التعزيز التنبؤية للتعلم. تم تدريب نموذج الاختلاف الزمني مع بنية الناقد الفاعل وتتبع الأهلية في الممثل في مهمة اختيار متتابعة 2 step-3 (أقحم اليسار العلوي). تقدم التعلم بشكل أسرع ووصل إلى أداء أعلى عندما تم استخدام إشارة التعزيز التنبؤية كإشارة تعليمية (الناقد التكيفي ، تيشرت) مقارنة باستخدام إشارة التعزيز غير المشروطة في نهاية التجربة (أسفل). هذا التأثير يصبح تدريجيا أكثر وضوحا مع تسلسل أطول. يتطلب أداء مشابه بإشارة التعزيز غير المشروطة تتبع أهلية أطول. تم الحصول على البيانات من عمليات محاكاة 10 (R. Suri و W. Schultz ، ملاحظات غير منشورة). تم العثور على تحسن مماثل في التعلم مع التعزيز التنبؤية في نموذج للسلوك الحركي (Friston وآخرون. 1994).

آليات التعلم الممكنة باستخدام إشارة الدوبامين

لقد أظهر القسم السابق أن إشارة خطأ التنبؤ الرسمية المنبعثة من استجابة الدوبامين يمكن أن تشكل إشارة تعليمية مناسبة بشكل خاص للتعلم النموذجي. تصف الأقسام التالية كيف يمكن استخدام استجابة الدوبامين البيولوجية للتعلم من خلال هياكل العقد القاعدية واقتراح فرضيات قابلة للاختبار.

POSTSYNAPTIC PLASTICITY بوساطة إشارة توقع المكافأة.

سوف يستمر التعلم بخطوتين. تتضمن الخطوة الأولى الحصول على استجابة تنبؤية للدوبامين. في التجارب اللاحقة ، من شأن إشارة الدوبامين التنبؤية أن تعزز على وجه التحديد الأوزان التشابكية (specifically) للمشابك القشرية من النوع الهبي التي تنشط في وقت التحفيز الذي يتنبأ بالمكافأة ، في حين تبقى المشابك القشرية غير النشطة دون تغيير. وهذا يؤدي إلى قاعدة ثلاثة عوامل التعلم

Δω=ɛ rˆ i o

معادلة 8where ص هي إشارة الدوبامين التعزيز ، i هو نشاط الإدخال ، o هو نشاط الإخراج ، و ɛ هو معدل التعلم.

في نموذج مبسط ، تتصل أربعة مدخلات قشرية (i1 – i4) بالعمود الفقري الشجيري من ثلاث خلايا عصبية شجرية متوسطة الحجم (o1 - o3 ؛ الشكل. 11). تتلاقى المدخلات القشرية على الخلايا العصبية المميتة ، كل مدخلات تتصل بعمود فقري مختلف. يتم الاتصال بنفس العمود الفقري بشكل غير انتقائي بواسطة مدخلات شائعة للدوبامين R. يشير تنشيط مدخلات الدوبامين R إلى أن حافزًا غير متوقع للتنبؤ بالمكافآت قد حدث في البيئة ، دون تقديم مزيد من التفاصيل (إشارة الخير). دعنا نفترض أن الإدخال القشري يتم تنشيط i2 في وقت واحد مع الخلايا العصبية الدوبامين ورموز واحدة من العديد من المعلمات المحددة من نفس التحفيز التنبؤ بالمكافأة ، مثل طريقة الحسية ، الجانب الجسم واللون والملمس والموقف ، أو معلمة محددة للحركة الناجمة عن التحفيز. سيتم ترميز مجموعة من المعلمات لهذا الحدث بواسطة مجموعة من المدخلات القشرية i2. المدخلات القشرية i1 و i3 و i4 غير مرتبطة بالمحفزات والحركات الحالية غير نشطة. تؤدي استجابة الدوبامين إلى إطلاق غير متفرغ للدوبامين في جميع الدوالي ، لكن من شأنه أن يعزز انتقائيًا فقط المشابك القشرية النشطية i2-o1 و i2-o2 ، شريطة أن تكون المدخلات القشرية قوية بما يكفي لتنشيط الخلايا العصبية المهاجمة o1 و o2.

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 11. 

التأثيرات التفاضلية لإشارة التعزيز الدوبامين العالمية على نشاط القشرية الانتقائية. يتم الاتصال بالعمود الفقري الشجيري للخلايا العصبية الشيطانية متوسطة الحجم 3 o1 و o2 و o3 عن طريق المدخلات القشرية 4 i1 و i2 و i3 و i4 وعن طريق دوالي المحور العصبي من مجموعة dopamine العصبية المتجانسة ). تتلقى كل خلية عصبية جهادية مدخلات ∼10,000 القشرية و 1,000 الدوبامين. في العمود الفقري شجيري ، تتلاقى المدخلات القشرية المختلفة مع مدخلات الدوبامين. في إصدار 1 من النموذج ، تعزز إشارة الدوبامين انتقال القشري النشط في وقت واحد بالنسبة إلى انتقال غير نشط. على سبيل المثال ، يكون دخل الدوبامين R نشطًا في نفس الوقت مثل الإدخال القشري i2 ، بينما i1 و i3 و i4 غير نشط. يؤدي ذلك إلى تعديل إرسال i2 → o1 و i2 → o2 لكنه يترك i1 → o1 و i3 → o2 و i3 و o3 و i4 و i3. في نسخة من النموذج الذي يستخدم اللدونة ، يتم تعديل الأوزان التشابكية للمشابك القشرية القشرية على المدى الطويل بواسطة إشارة الدوبامين وفقًا لنفس القاعدة. قد يحدث هذا عندما تعمل استجابات الدوبامين لحافز مشروط على المشابك القشرية القشرية التي يتم تنشيطها أيضًا بواسطة هذا التحفيز. في إصدار آخر يستخدم اللدونة ، قد تعمل استجابات الدوبامين لمكافأة أولية في الوراء في الوقت المناسب على المشابك القشرية القشرية التي كانت نشطة سابقًا. وستكون هذه نقاط الاشتباك العصبي مؤهلة للتعديل من خلال تتبع عصبي بعد المشبكي افتراضية اليسار من هذا النشاط. في مقارنة هيكل العقد القاعدية مع نموذج TD الأخير من الشكل. 9 B, إدخال الدوبامين R يكرر الناقد بالخلايا العصبية A, المخطط مع الخلايا العصبية o1 - o3 يكرر الممثل مع الخلايا العصبية B, المدخلات القشرية i1 – i4 تكرر إدخال الفاعل ، والإسقاط المتباين لخلايا الدوبامين العصبية R على أشواك متعددة من الخلايا العصبية المهاجمة المتعددة o1 - o3 يكرر التأثير العالمي للناقد على الفاعل. تم إجراء مقارنة مماثلة بواسطة هوك وآخرون. (1995). يعتمد هذا الرسم على البيانات التشريحية بواسطة فروند وآخرون. (1984), سميث وبولام (1990), فلاهيرتي و جرايبييل (1993)و سميث وآخرون. (1994).

تستخدم آلية التعلم هذه استجابة الدوبامين المكتسبة في وقت الحافز الذي يتنبأ بالمكافأة كإشارة تعليمية لإحداث تغييرات متشابكة طويلة الأمد (الشكل. 12 A). ويستند تعلم الحافز التنبئي أو الحركة المحفزة على اكتساب استجابة الدوبامين إلى التحفيز الذي يتنبأ بالمكافأة ، إلى جانب اللدونة التي تعتمد على الدوبامين في المخطط. قد تحدث تغيرات اللدونة بشكل بديل في البنيات القشرية أو القشرية أسفل مجرى الهواء بعد التعزيز قصير المدى بوساطة الدوبامين للانتقال المتشابك في المخطط. يتم التوسط في التأثيرات بأثر رجعي للمكافأة على المنبهات والحركات التي تسبق المكافأة من خلال نقل الاستجابة إلى الحافز المبكر للتنبؤ بالمكافأة. لا يتم استخدام استجابة الدوبامين للمكافأة الأساسية المتوقعة أو المحذوفة في تغييرات اللدونة في المخطط لأنه لا يحدث في وقت واحد مع الأحداث لتكون مشروطة ، على الرغم من أنه يمكن أن تشارك في حساب استجابة الدوبامين لحافز التنبؤ بالمكافأة في القياس على بنية وآلية نماذج TD.

• تحميل الشكل
• فتح في علامة تبويب جديدة
• تحميل باوربوينت

التين. 12. 

تأثير إشارة تعزيز الدوبامين على آليات التعلم الممكنة في المخطط. A: استجابة مكافأة الدوبامين التنبؤية لحافز مشروط (CS) لها تأثير مباشر أو مرونة على النقل العصبي الهائل المرتبط بهذا التحفيز. B: استجابة الدوبامين للمكافأة الأولية لها تأثير اللدونة إلى الوراء على النقل العصبي الهابط المرتبط بالحافز المشروط السابق. يتم التوسط في هذه الآلية من خلال تتبع الأهلية للنشاط القاتل. السهام الصلبة تشير إلى الآثار المباشرة لإشارة الدوبامين على النقل العصبي الهابط (A) أو تتبع الأهلية (ب)، سهم صغير في B يشير إلى التأثير غير المباشر على النقل العصبي الهابط عبر تتبع الأهلية.

التحفيز الكهربائي للخلايا العصبية الدوبامين كمحفز غير مشروط

التحفيز الكهربائي لمناطق الدماغ المقيدة يخدم بشكل موثوق كتعزيز لاكتساب والحفاظ على سلوك النهج (أولدز وميلنر 1954). تتزامن بعض مواقع التحفيز الذاتي الفعالة للغاية مع أجسام خلايا الدوبامين وحزم محور عصبي في الدماغ المتوسط ​​(كوربيت وايز 1980) ، تتشكل النواة (فيليبس وآخرون. 1975) ، المخطط (فيليبس وآخرون. 1976) وقشرة الفص الجبهي (مورا ومايرز 1977; فيليبس وآخرون. 1979) ، ولكن توجد أيضًا في هياكل غير مرتبطة بنظم الدوبامين (وايت وميلنر 1992). التحفيز الذاتي الكهربائي ينطوي على تنشيط الخلايا العصبية الدوبامين (Fibiger و Phillips 1986. Wise and Rompré 1989) ويتم تقليلها بواسطة الآفات المستحثة بواسطة 6-hydroxydopamine من محاور الدوبامين (Fibiger et al. 1987; فيليبس و Fibiger 1978) ، تثبيط تخليق الدوبامين (إدموندز وجاليستيل 1977) ، إلغاء الاستقطاب تعطيل الخلايا العصبية الدوبامين (رومبري وايز 1989) ، ومضادات مستقبلات الدوبامين تدار بشكل منهجي (Furiezos و Wise 1976) أو في النواة المتكئة (موغنسون وآخرون. 1979). يتم تسهيل التحفيز الذاتي مع الزيادات التي يسببها الكوكايين أو الأمفيتامين في الدوبامين خارج الخلية (كول وحكيم 1980; شتاين 1964; واوكير 1976). التحفيز الذاتي يزيد مباشرة من استخدام الدوبامين في النواة المتكئة ، المخطط والقشرة الأمامية (Fibiger et al. 1987; مورا ومايرز 1977).

من المثير للاهتمام أن نتخيل أن نبضات الدوبامين المستحثة كهربائياً والإفراج عنها قد تكون بمثابة حافز غير مشروط في التعلم النقابي ، على غرار تحفيز الخلايا العصبية الأوكتوبامينية في نحل العسل الذي يتعلم منعكس المنعكس (مطرقة 1993). ومع ذلك ، يختلف التحفيز الذاتي المتعلق بالدوبامين في ثلاثة جوانب مهمة على الأقل عن التنشيط الطبيعي للخلايا العصبية الدوبامين. بدلاً من تنشيط الخلايا العصبية الدوبامين فقط ، عادةً ما تقوم المكافآت الطبيعية بتنشيط العديد من الأنظمة العصبية بشكل متوازٍ وتتيح الترميز الموزع لمكونات المكافأة المختلفة (انظر نصًا إضافيًا). ثانيا ، يتم تطبيق التحفيز الكهربائي كتعزيز غير مشروط دون أن يعكس خطأ في التنبؤ بالمكافأة. ثالثًا ، لا يتم تقديم التحفيز الكهربائي إلا كمكافأة بعد رد الفعل السلوكي ، وليس في وقت التحفيز الذي يتنبأ بالمكافأة. سيكون من المثير للاهتمام تطبيق التحفيز الذاتي الكهربائي بنفس الطريقة التي تنبعث منها الخلايا العصبية الدوبامين من إشاراتها.

عجز التعلم مع ضعف النقل العصبي الدوبامين

حققت العديد من الدراسات في سلوك الحيوانات المصابة بضعف النقل العصبي الدوبامين بعد التطبيق المحلي أو النظامي لمضادات مستقبلات الدوبامين أو تدمير محاور الدوبامين في الدماغ الأوسط البطني أو النواة المتكئة أو المخطط. إلى جانب مراقبة العجز الحركي والمعرفي الذي يذكرنا بالشلل الرعاش ، كشفت هذه الدراسات عن عيوب في معالجة معلومات المكافآت. أول الدراسات التي جادلت عن العجز في الإدراك الذاتي والمتفهم للمكافآت (الحكمة 1982; وايز وآخرون. 1978). كشفت المزيد من التجارب عن ضعف استخدام المكافآت الأولية ومحفزات شهية مشروطة للنهج والسلوك البارز (بينينغر وآخرون. 1987; إتنبرغ 1989; ميلر وآخرون. 1990; سلامون 1987; Ungerstedt 1971; الحكيم وكول 1984; الحكيم ورومبر 1989). وصفت العديد من الدراسات أوجه القصور في العمليات التحفيزية والتوجيهية الكامنة وراء التعلم الشهية (بينينر 1983, 1989; بينينجر و هان 1983; Fibiger و Phillips 1986; LeMoal و Simon 1991; روبنز وإيفريت 1992, 1996; وايت وميلنر 1992; الحكمة 1982). ترتبط معظم حالات العجز في التعلم بالنقص العصبي في الدوبامين في النواة المتكئة ، في حين تؤدي اختلالات المخطط الظهري إلى العجز الحسي (أمالريك وكوب 1987; روبنز وإيفريت 1992; الأبيض شنومكس). ومع ذلك ، فإن تعلم المهام الأساسية بشكل عام وخصائص التحفيز التمييزية على وجه الخصوص يبدو متجنبًا في كثير من الأحيان ، ولا يتم حلها تمامًا فيما إذا كانت بعض عيوب التعلم الواضحة قد تكون مربكة بسبب عجز الأداء الحركي (سلامون 1992).

يؤدي أيضًا انحطاط الخلايا العصبية الدوبامين في مرض باركنسون إلى عدد من عيوب التعلم التصريحية والإجرائية ، بما في ذلك التعلم النقابي (ليندن وآخرون. 1990; Sprengelmeyer et al. 1995). العجز موجود في تعلم التجربة والخطأ مع التعزيز الفوري (فريزين وموسكوفيتش 1990) وعند ربط المحفزات الصريحة بنتائج مختلفة (نولتون وآخرون. 1996) ، حتى في المراحل المبكرة من مرض باركنسون دون ضمور قشري (كانافان وآخرون. 1989). مرضى الشلل الرعاش يُظهرون أيضًا ضعف إدراك الوقت (القس وآخرون. 1992). تحدث كل هذه العيوب في وجود علاج L-Dopa ، الذي يعيد مستويات الدوبامين الشديدة منشط دون إعادة إشارات الدوبامين الطورية.

تشير هذه الدراسات إلى أن النقل العصبي الدوبامين يلعب دورًا مهمًا في معالجة المكافآت من أجل سلوك النهج وفي أشكال التعلم التي تنطوي على ارتباطات بين المنبهات والمكافآت ، بينما يمكن التشكيك في المشاركة في أشكال أكثر فعالية للتعلم. من غير الواضح ما إذا كانت هذه العجوزات تعكس عطلًا سلوكيًا أكثر عمومية بسبب تحفيز مستقبلات الدوبامين المخفف من الناحية اللونية بدلاً من عدم وجود إشارة جزئية لمكافأة الدوبامين. لحل هذا السؤال ، بالإضافة إلى توضيح دور الدوبامين بشكل أكثر تحديداً في أشكال التعلم المختلفة ، سيكون من المفيد دراسة التعلم في تلك الحالات التي تحدث فيها استجابة الدوبامين المرحلية للمنبهات الشهية فعليًا.

أشكال التعلم ربما بوساطة إشارة الدوبامين

قد تساعد خصائص استجابات الدوبامين والتأثير المحتمل للدوبامين على الخلايا العصبية في تحديد بعض أشكال التعلم التي يمكن أن تشارك فيها خلايا الدوبامين. من شأن الاستجابات التفضيلية للشهية بدلاً من الأحداث البغيضة أن تفضل المشاركة في تعلم سلوك النهج والتوسط في آثار التعزيز الإيجابي ، بدلاً من الانسحاب والعقاب. من شأن الإجابات على المكافآت الأولية خارج المهام وسياقات التعلم أن تسمح للخلايا العصبية الدوبامين بلعب دور في مجموعة واسعة نسبيا من التعلم التي تنطوي على مكافآت أولية ، سواء في التكييف الكلاسيكي أو الفعال. تعكس الردود على محفزات التنبؤ بالمكافآت ارتباطات الحوافز والمكافآت وستتوافق مع المشاركة في توقع المكافآت الذي يقوم عليه التعلم التحفيزي العام (بندرا 1968). على النقيض من ذلك ، لا تشير استجابات الدوبامين بشكل صريح إلى المكافآت ككائنات هدف ، حيث إنها تبلغ عن أخطاء في التنبؤ بالمكافأة فقط. كما أنها تبدو غير حساسة للحالات التحفيزية ، مما يؤدي إلى استخفاف دور محدد في تعلم الحوافز المعتمدة على الدولة للأفعال الموجهة نحو الأهداف (ديكنسون و Baline 1994). إن الافتقار إلى علاقات واضحة بحركات الذراع والعين من شأنه أن يحبط دورًا في التوسط المباشر للاستجابات السلوكية التي تتبع المحفزات الحافزة. ومع ذلك ، فإن المقارنات بين تصريف الخلايا العصبية الفردية وتعلم الكائنات الحية كلها صعبة في جوهرها. على المستوى المشبكي ، يصل الدوبامين المنطلق تدريجيًا إلى العديد من التشعبات على كل الخلايا العصبية المميتة ، وبالتالي يمكن أن يكون له تأثير على اللدونة على مجموعة كبيرة ومتنوعة من العناصر السلوكية التي تتضمن المخطط ، والتي قد تشمل تعلم الحركات.

يتم تحديد الشروط المحددة التي يمكن أن تلعب فيها إشارات الدوبامين المرحلية دورًا في التعلم بواسطة أنواع المحفزات التي تحفز استجابة الدوبامين بشكل فعال. في المختبر الحيواني ، تتطلب استجابات الدوبامين حدوث حافز تدريجي للمنبهات الشهية أو الجديدة أو البارزة بشكل خاص ، بما في ذلك مكافآت المغذيات الأولية والمنبهات التي تتنبأ بالمكافآت ، في حين أن المنبهات المنشطة لا تلعب دورًا رئيسيًا. قد تحدث استجابات الدوبامين في جميع المواقف السلوكية التي تتحكم فيها النتائج المرحلية والواضحة ، على الرغم من أنه لم يتم بعد اختبار المحفزات الشرطية المرتفعة والعززات الثانوية. من المحتمل ألا تلعب استجابات الدوبامين المرحلية دورًا في أشكال التعلم التي لا تتوسط فيها النتائج التي تحدث بشكل تدريجي ، ولن تكون الاستجابة التنبؤية قادرة على المساهمة في التعلم في المواقف التي لا تحدث فيها محفزات تنبؤية طورية ، مثل التغيرات البطيئة نسبيًا في السياق . هذا يؤدي إلى السؤال المثير للاهتمام حول ما إذا كان تجنيب بعض أشكال التعلم عن طريق آفات الدوبامين أو مضادات الذهان قد يعكس ببساطة عدم وجود ردود الدوبامين المرحلية في المقام الأول لأن المحفزات الفعالة التي تثيرها لم تستخدم.

يمكن توضيح مشاركة إشارات الدوبامين في التعلم من خلال مثال نظري. تخيل ردود الدوبامين أثناء الاستحواذ على مهمة وقت رد الفعل التسلسلي عندما يؤدي رد الفعل الصحيح فجأة إلى مكافأة غذائية. يتم تحويل استجابة المكافأة لاحقًا إلى محفزات توقع المكافأة بشكل تدريجي. تتحسن أوقات التفاعل أكثر مع الممارسة المطولة حيث تصبح المواقف المكانية للأهداف قابلة للتنبؤ بشكل متزايد. على الرغم من أن الخلايا العصبية الدوبامين تستمر في الاستجابة لمنبهات التنبؤ بالمكافآت ، إلا أن التحسن السلوكي الإضافي قد يرجع بشكل أساسي إلى اكتساب المعالجة التنبؤية للمواقع المكانية بواسطة أنظمة عصبية أخرى. وهكذا فإن ردود الدوبامين ستحدث خلال الجزء الأولي الحافز من التعلم الذي تتعامل فيه المواد مع الأشياء وتحصل على مكافآت أولية وربما مشروطة. سيكونون أقل انخراطًا في المواقف التي يتجاوز فيها تقدم التعلم عملية تحفيز سلوك المقاربة. هذا لن يقيد دور الدوبامين في خطوات التعلم الأولية ، حيث إن العديد من المواقف تتطلب التعلم في البداية من الأمثلة وإشراك التعلم في وقت لاحق فقط عن طريق نتائج واضحة.

خطأ التنبؤ

ستكون إشارة خطأ التنبؤ بالخلايا العصبية الدوبامين مؤشرا ممتازا على القيمة الشهية للأحداث البيئية المتعلقة بالتنبؤ ولكنها تفشل في التمييز بين الأطعمة ، والسوائل ، والمنبهات التي تتنبأ بالمكافآت وبين الطرائق البصرية والسمعية والجسدية. قد تشكل هذه الإشارة رسالة تنبيه بالمكافأة يتم من خلالها إبلاغ الخلايا العصبية بعد المشبكي بالمظهر أو الإغفال المفاجئ لحدث مجزي أو يحتمل أن يكون مجزيًا دون الإشارة إلى المزيد من هويته. لديها كل الخصائص الرسمية لإشارة التعزيز القوية للتعلم. ومع ذلك ، تعد المعلومات المتعلقة بالطبيعة المحددة للمكافآت ضرورية لتحديد أي الأشياء يجب التعامل معها وبأي طريقة. على سبيل المثال ، يجب على الحيوان الجائع تناول الطعام بشكل أساسي ولكن ليس السائل. للتمييز ذي الصلة من المكافآت غير ذات الصلة ، تحتاج إشارة الدوبامين إلى أن تستكمل بمعلومات إضافية. أظهرت التجارب الحديثة لغسيل الكلى في الجسم الحي ارتفاع إطلاق الدوبامين الناجم عن الطعام في الجياع أكثر من الفئران المشبعة (ويلسون وآخرون. 1995). قد لا يتضمن اعتماد محرك الأقراص هذا على إطلاق الدوبامين استجابات دافعة ، حيث فشلنا في العثور على اعتماد محرك واضح مع استجابات الدوبامين عند المقارنة بين الفترات المبكرة والمتأخرة من الجلسات التجريبية الفردية التي أصبحت خلالها الحيوانات مشبعة بالسوائل (JL Contreras-Vidal and W. شولتز ، بيانات غير منشورة).

تفاصيل المكافأة

تتم معالجة المعلومات المتعلقة بالمكافآت السائلة والغذائية أيضًا في هياكل المخ بخلاف الخلايا العصبية الدوبامين ، مثل المخطط الظهري والبطني ، النواة تحت المهاد ، اللوزة المخية ، القشرة الظهرية الجانبية الأمامية ، القشرة الأمامية المدارية ، القشرة الحزامية الأمامية. ومع ذلك ، لا يبدو أن هذه الهياكل تنبعث منها إشارة خطأ التنبؤ بالمكافأة العالمية المشابهة لخلايا الدوبامين العصبية. في الرئيسيات ، هذه الهياكل عملية المكافآت كما 1) ردود عابرة بعد تسليم المكافأة (Apicella وآخرون. 1991a,b, 1997; بومان وآخرون. 1996; هيكوساكا وآخرون. 1989; نيكي وواتانابي 1979; نيشيجو وآخرون. 1988; Tremblay و Schultz 1995; واتانابي 1989), 2) ردود عابرة على إشارات التنبؤ بالمكافأة (أوساكي وآخرون. 1994; Apicella وآخرون. 1991b; 1996; هولرمان وآخرون. 1994; نيشيجو وآخرون. 1988; ثورب وآخرون. 1983; Tremblay و Schultz 1995; وليامز وآخرون. 1993), 3) التنشيط المستمر خلال توقع المكافآت القادمة على الفور (Apicella وآخرون. 1992; هيكوساكا وآخرون. 1989; ماتسومورا وآخرون. 1992; شولتز وآخرون. 1992; Tremblay و Schultz 1995)، و 4) عمليات التنشيط المتعلقة بالسلوك من خلال المكافأة المتوقعة (هولرمان وآخرون. 1994; واتانابي 1990, 1996). تميز العديد من هذه الخلايا العصبية بشكل جيد بين المكافآت الغذائية المختلفة وبين المكافآت السائلة المختلفة. وبالتالي يعالجون الطبيعة المحددة للحدث المجزي وقد يخدمون تصور المكافآت. تعتمد بعض ردود المكافآت على عدم القدرة على التنبؤ بالمكافأة ويتم تقليلها أو تغيبها عندما يتم التنبؤ بالمكافأة بواسطة حافز مشروط (Apicella وآخرون. 1997; ماتسوموتو وآخرون. 1995. L. Tremblay و W. Schultz ، بيانات غير منشورة). قد يعالجون التنبؤات الخاصة بمكافآت محددة ، على الرغم من أنه من غير الواضح ما إذا كانت تشير إلى أخطاء التنبؤ حيث إن إجاباتهم على المكافآت المحذوفة غير معروفة.

الحفاظ على الأداء الراسخ

يبدو أن هناك ثلاث آليات عصبية مهمة للحفاظ على الأداء السلوكي الثابت ، وهي الكشف عن المكافآت المحذوفة ، واكتشاف محفزات التنبؤ بالمكافآت ، واكتشاف المكافآت المتوقعة. تتعرض الخلايا العصبية الدوبامين للاكتئاب عندما يتم حذف المكافآت المتوقعة. هذه الإشارة يمكن أن تقلل من فعالية متشابك المتعلقة بالاستجابات السلوكية الخاطئة ومنع تكرارها. يتم الحفاظ على استجابة الدوبامين لمنبهات التنبؤ بالمكافآت أثناء السلوك الثابت ، وبالتالي تستمر في تقديم معلومات مسبقة. على الرغم من أن المكافآت المتوقعة بالكامل لا يتم اكتشافها بواسطة الخلايا العصبية الدوبامين ، إلا أنها تتم معالجتها بواسطة الأنظمة القشرية ودون القشرية غير المذكورة أعلاه. سيكون هذا مهمًا لتجنب انقراض السلوك المكتسب.

مجتمعة ، يبدو أن معالجة مكافآت محددة للتعلم والحفاظ على سلوك النهج سوف تستفيد بشدة من التعاون بين الخلايا العصبية الدوبامين التي تشير إلى حدوث أو إغفال غير متوقع للمكافأة والخلايا العصبية في الهياكل الأخرى في وقت واحد ، مما يشير إلى الطبيعة المحددة للمكافأة.

الخلايا العصبية النورادرينالين

يظهر تقريبًا جميع سكان الخلايا العصبية النوروأدرينينية الموجودة في موضع القواقع في الجرذان والقطط والقرود استجابات متجانسة ومثبطة للاكتئاب منشطة تفاعلية مؤثرات ثنائية الاتجاه ومتحركة السمع إلى الحواس البصرية والسمعية والحسية الجسدية تثير ردود الفعل الموجهة (Aston-Jones و Bloom 1981; فوت وآخرون. 1980; راسموسن وآخرون. 1986). الفعالية بشكل خاص هي الأحداث النادرة التي توليها الحيوانات الانتباه ، مثل المنبهات البصرية في مهمة تمييز غريب الأطوار (أستون جونز وآخرون. 1994). تميز الخلايا العصبية النورادرينالين بشكل جيد للغاية بين إثارة أو تحفيز الأحداث المحايدة. يكتسبون بسرعة ردود الفعل على المنبهات المستهدفة الجديدة خلال الانعكاس ويفقدون الردود على الأهداف السابقة قبل اكتمال الانعكاس السلوكي (أستون جونز وآخرون. 1997). تحدث الاستجابات لتحرير السائل خارج أي مهمة وتحويلها إلى المنبهات المستهدفة للتنبؤ بالمكافآت داخل المهمة وكذلك للمنبهات المنشطة الأولية والمشروطة (أستون جونز وآخرون. 1994; فوت وآخرون. 1980; راسموسين وجاكوبس 1986; سارة وسيجال 1991). غالبًا ما تكون الاستجابات عابرة ويبدو أنها تعكس التغييرات في حدوث الحافز أو معناه. قد تحدث عمليات التنشيط فقط لبضع تجارب مع عروض متكررة للكائنات الغذائية (فانكوف وآخرون. 1995) أو بمحفزات سمعية مشروطة مرتبطة بمكافأة سائلة أو نفخة هواء مفرطة أو صدمة كهربائية في القدم (راسموسين وجاكوبس 1986; سارة وسيجال 1991). أثناء التكييف ، تحدث الاستجابات للعروض القليلة الأولى من المحفزات الجديدة وتعود إلى الظهور بشكل عابر كلما تغيرت حالات التعزيز خلال الاستحواذ والانعكاس والانقراض (سارة وسيجال 1991).

مجتمعة ، تشبه استجابات العصبونات النورأدرينالين استجابات عصبونات الدوبامين في العديد من النواحي ، ويتم تفعيلها عن طريق المكافآت الأولية ، والمنبهات التي تتنبأ بالمكافآت ، والمنبهات الجديدة وتحويل الاستجابة من الأحداث الشهية الأولية إلى الأحداث المكيفة. ومع ذلك ، تختلف الخلايا العصبية النورادرينالين عن الخلايا العصبية الدوبامين من خلال الاستجابة لمجموعة متنوعة أكبر بكثير من المنبهات المثيرة ، عن طريق الاستجابة بشكل جيد للمنبهات المنشطة الشرطية الأولية والمشروطة ، عن طريق التمييز بشكل جيد ضد المحفزات المحايدة ، عن طريق اتباع الانتكاسات السلوكية بسرعة ، وإظهار الاستجابات المتناقصة مع التحفيز المتكرر عرض تقديمي قد يتطلب تجارب 100 للاستجابات الشهية الصلبة (أستون جونز وآخرون. 1994). ترتبط استجابات النورادرينالين بقوة بالخصائص المثيرة أو المثيرة للانتباه للمنبهات التي تثير ردود الفعل الموجهة بينما تكون أقل تركيزًا على خصائص التحفيز الشهية مثل معظم الخلايا العصبية الدوبامين. ربما يكون الدافع وراءهم هو جذب الانتباه أكثر من تحفيز مكونات الأحداث الشهية.

الخلايا العصبية السيروتونين

النشاط في نوى raphe المختلفة يسهل إخراج المحرك من خلال ضبط قوة العضلات ونشاط الحركة النمطي (جاكوبس و Fornal 1993). تظهر الخلايا العصبية الرابحة الظهرية في القطط استجابات طورية غير متعاطفة للمنبهات البصرية والسمعية التي ليس لها معنى سلوكي معين (هيم وآخرون. 1982; LeMoal و Olds 1979). تشبه هذه الاستجابات ردود الخلايا العصبية الدوبامين على المحفزات الجديدة وخاصة البارزة. تتطلب المقارنات الإضافية إجراء مزيد من التجارب التفصيلية.

نواة basalis مينرت

يتم تنشيط الخلايا العصبية الدماغية القاعدية الأولية بشكل تدريجي من خلال مجموعة كبيرة من الأحداث السلوكية بما في ذلك المحفزات المكيفة والمنبأ بها والمكافآت الأولية. تعتمد العديد من عمليات التنشيط على الذاكرة والجمعيات مع تعزيز التمييز ومهام الاستجابة المتأخرة. التنشيط يعكس إلمام المحفزات (ويلسون ورولز 1990a) ، تصبح أكثر أهمية مع المنبهات والحركات التي تحدث أقرب إلى وقت المكافأة (ريتشاردسون وديلونج 1990) ، قم بالتمييز بشكل جيد بين المنبهات البصرية على أساس الجمعيات الشهية والشاذة (ويلسون ورولز 1990b) ، والتغيير خلال بضع تجارب خلال الانعكاس (ويلسون ورولز 1990c). يتم تنشيط الخلايا العصبية أيضا عن طريق المنبهات البغيضة ، والحوافز البصرية والسمعية المتوقعة ، والحركات. يستجيبون بشكل متكرر للمكافآت المتوقعة بالكامل في المهام السلوكية الراسخة (ميتشل وآخرون. 1987; ريتشاردسون وديلونج 1986, 1990) ، على الرغم من أن الاستجابات للمكافآت غير المتوقعة أكثر وفرة في بعض الدراسات (ريتشاردسون وديلونج 1990) ولكن ليس في غيرها (ويلسون ورولز 1990a-c). بالمقارنة مع الخلايا العصبية الدوبامين ، يتم تنشيطها من قبل مجموعة أكبر بكثير من المحفزات والأحداث ، بما في ذلك الأحداث الشريرة ، ولا تظهر استجابة السكان المتجانسة إلى حد ما للمكافآت غير المتوقعة ونقلها إلى المنبهات المتوقعة.

ألياف تسلق المخيخ

ربما افترضت أن أول إشارة تعليمية يحركها الخطأ في الدماغ افترضت أن تنطوي على إسقاط الألياف المتصاعدة من الزيتون الأدنى إلى الخلايا العصبية بوركينجي في القشرة المخية (مار 1969) ، وتستند العديد من الدراسات التعلم المخيخي مع هذا المفهوم (هوك وآخرون. 1996; ايتو 1989; Kawato و Gomi 1992; ليناس وويلش 1993). يؤدي تغيير مدخلات الألياف إلى الخلايا العصبية في Purkinje إلى تغيير نشاطها بشكل عابر عندما يتم تغيير الأحمال للحركات أو المكاسب بين الحركات والتغذية المرئية وتتكيف القرود مع الوضع الجديد (جيلبرت وثاك 1977; Ojakangas و Ebner 1992). تتكون معظم هذه التغييرات من زيادة النشاط بدلاً من الاستجابات للتفعيل مقابل الاستجابات التي تظهر مع وجود أخطاء في الاتجاهات المتعارضة في الخلايا العصبية الدوبامين. إذا كان لتفعيل تنشيط الألياف أن يكون بمثابة إشارة تعليمية ، فإن تنشيط الألياف المتوازية التسلق يجب أن يؤدي إلى تغييرات في إدخال الألياف المتوازية إلى الخلايا العصبية بوركينجي. يحدث هذا بالفعل كاكتئاب طويل الأجل لمدخلات الألياف المتوازية ، خاصة في المستحضرات المختبرية (ايتو 1989). ومع ذلك ، يصعب العثور على تغييرات الألياف المتوازية المماثلة في مواقف التعلم السلوكي (Ojakangas و Ebner 1992) ، وترك عواقب المحتملة تسلق إشارات التدريس الألياف مفتوحة في الوقت الراهن.

الحجة الثانية لدور تسلق الألياف في التعلم تنطوي على تكييف كلاسيكي مكروه. يتم تنشيط جزء صغير من ألياف التسلق عن طريق نفث الهواء البغيض إلى القرنية. تضيع هذه الاستجابات بعد تكييف جفن بافلوفيان باستخدام محفز سمعي (سيرز وشتاينميتز 1991) ، مما يشير إلى وجود علاقة بين عدم القدرة على التنبؤ بالأحداث النكهة الأولية. بعد التكييف ، تستجيب الخلايا العصبية في نواة المداخل المخيخية للمحفز الشرطي (بيرتي ومور 1990; ماكورميك وطومسون 1984). تمنع آفات هذه النواة أو الحقن لبيكوكلولين المضاد لـ GABA في الزيتون السفلي من فقدان استجابات نفخة زيت الزيتون السفلية بعد التكييف ، مما يوحي بأن تثبيط monosynaptic أو polysynaptic من interpositus يؤدي إلى تثبيط الاستجابات بعد التكييف (طومسون و Gluck 1991). قد يسمح ذلك بالاكتئاب لعصبونات الزيتون الرديئة في حالة عدم وجود محفزات كروية متنبأ بها وبالتالي الإبلاغ عن خطأ سلبي في التنبؤ بالأحداث الشريرة التي تشبه الخلايا العصبية الدوبامين.

وبالتالي فإن الألياف المتسلقة قد تبلغ عن أخطاء في الأداء الحركي وأخطاء في التنبؤ بالأحداث البغيضة ، على الرغم من أن هذا قد لا ينطوي دائمًا على تغييرات ثنائية الاتجاه كما هو الحال مع الخلايا العصبية الدوبامين. لا يبدو أن ألياف التسلق تكتسب ردودًا على المنبهات الشرطية المكيفة ، ولكن توجد هذه الاستجابات في نواة interpositus. قد يتضمن حساب أخطاء التنبؤ البغيضة مدخلات مثبطة تنازليًا للخلايا العصبية المتدنية من الزيتون ، قياسًا على التوقعات القاتلة للخلايا العصبية الدوبامين. وهكذا تعالج الدوائر المخيطة إشارات الخطأ ، وإن كانت مختلفة عن الخلايا العصبية الدوبامين ونماذج TD ، وقد تنفذ قواعد تعلم الأخطاء مثل قاعدة Rescorla-Wagner (طومسون و Gluck 1991) أو قاعدة Widrow-Hoff المكافئة رسميًا (Kawato و Gomi 1992).