إشارات الدوبامين لقيمة المكافأة والمخاطرة والبيانات الحديثة (2010)

ولفرام شولتز 1

Behav الدماغ الدماغ Funct. 2010. 6: 24.

نشرت على الانترنت 2010 أبريل 23. doi: 10.1186 / 1744-9081-6-24.

دراسة كاملة: إشارات الدوبامين لقيمة المكافأة والبيانات الأساسية والمخاطر الأخيرة

1 قسم علم وظائف الأعضاء والتطوير وعلوم الأعصاب ، جامعة كامبريدج ، داونينج ستريت ، كامبريدج CB2 3DY ، المملكة المتحدة

كاتب المقابلة.

ولفرام شولتز: [البريد الإلكتروني محمي]

ملخص

خلفيّة

تشير الآفة السابقة والتحفيز الذاتي الكهربائي وإدمان المخدرات إلى أن أنظمة الدوبامين في الدماغ المتوسط ​​هي جزء من نظام المكافأة في الدماغ. توفر هذه المراجعة نظرة عامة محدثة حول الإشارات الأساسية للخلايا العصبية الدوبامين إلى المحفزات البيئية.

طرق

استخدمت التجارب الموصوفة طرقًا قياسية فيزيولوجية وعصبية لتسجيل نشاط الخلايا العصبية الدوبامين المفردة في القرود المستيقظة أثناء المهام السلوكية المحددة.

النتائج

الخلايا العصبية الدوبامين تظهر التنشيط التدريجي للمؤثرات الخارجية. تعكس الإشارة المكافأة ، والبراعة الجسدية ، والمخاطر والعقاب ، بترتيب تنازلي لكسور الخلايا العصبية المستجيبة. قيمة المكافأة المتوقعة هي متغير قرار رئيسي للخيارات الاقتصادية. رموز مكافأة المكافأة قيمة المكافأة ، والاحتمال ومنتجهم summed ، القيمة المتوقعة. قيمة مكافأة رمز الخلايا العصبية لأنها تختلف عن التنبؤ ، وبالتالي الوفاء بالمتطلبات الأساسية لإشارة خطأ خطأ في اتجاه التدريس تدرس نظرية التعلم. يتم قياس هذه الاستجابة في وحدات الانحراف المعياري. على النقيض من ذلك ، فإن عددًا قليلًا نسبيًا من الخلايا العصبية الدوبامين يُظهر التنشيط التدريجي الذي يلي العقابين والمحفزات النكراء الشرطية ، مما يشير إلى عدم وجود علاقة بين استجابة المكافأة والاهتمام العام والإثارة. يتم تنشيط نسب كبيرة من الخلايا العصبية الدوبامين عن طريق محفزات مكثفة جسديا. تتعزز هذه الاستجابة عندما تكون المحفزات جديدة ؛ يبدو أنه مختلف عن إشارة قيمة المكافأة. تُظهر الخلايا العصبية الدوبامين أيضًا عمليات تنشيط غير محددة للمحفزات غير المجزية التي قد تكون ناجمة عن التعميم بواسطة المحفزات المماثلة والتكيس الكاذب بواسطة المكافآت الأولية. هذه التنشيطات أقصر من ردود المكافآت وغالبًا ما يتبعها اكتئاب النشاط. إن إشارة الدوبامين المنفصلة الأبطأ تشير إلى المخاطر ، وهي متغير قرار آخر مهم. استجابة خطأ التنبؤ تحدث فقط مع المكافأة؛ يتم تحجيمها من قبل خطر المكافأة المتوقعة.

استنتاجات

تكشف الدراسات الفيزيولوجية العصبية عن إشارات الدوبامين الطورية التي تنقل المعلومات المتعلقة بشكل أساسي ولكن ليس حصريًا بالمكافأة. على الرغم من عدم كونه متجانسًا تمامًا ، فإن إشارة الدوبامين تكون أكثر تقييدًا ونمطًا مقتبسًا من النشاط العصبي في معظم هياكل الدماغ الأخرى المشاركة في السلوك الموجه نحو الهدف.

خلفيّة

تشير النتائج المستخلصة من دراسات الآفة والدراسات النفسية النفسية إلى وجود مجموعة واسعة من الوظائف السلوكية لأنظمة الدوبامين الدماغية المتوسطة. والسؤال الرئيسي هو ، أي من هذه الوظائف العديدة يتم ترميزها بنشاط بواسطة إشارة الدوبامين المرحلية المتوافقة مع آليات الخلايا العصبية السريعة؟ تأتي تلميحات جيدة من إدمان المخدرات والتحفيز الذاتي الكهربائي ، مما يوحي بأن نشاط الدوبامين له تأثيرات مجزية وتقترب من توليد التأثيرات [1,2].

يمكننا تعريف المكافآت على أنها كائنات أو أحداث تولد النهج والسلوك البارز ، وتنتج عن تعلم مثل هذا السلوك ، وتمثل نتائج إيجابية للقرارات الاقتصادية وتشرك العواطف الإيجابية والمشاعر الهادئة. المكافآت ضرورية لبقاء الفرد والجينات ودعم العمليات الأولية مثل الشرب والأكل والتكاثر. يميز هذا التعريف السلوكي وظيفة المكافأة أيضًا لبعض الكيانات غير الترفيهية وغير الجنسية ، بما في ذلك المال والتحف الفنية وسمات التحفيز الجمالي والأحداث العقلية. تعمل المكافآت على إشراك الوكلاء في سلوكيات متنوعة مثل البحث عن الأسهم والتداول في أسواق الأسهم.

مفاهيم أساسية

المكافآت لها مقادير محددة وتحدث مع احتمالات محددة. يهدف الوكلاء إلى تحسين الخيارات بين الخيارات التي يتم تحديد قيمها حسب نوع كائن الاختيار وحجمه واحتماله [3]. لذلك يمكن وصف المكافآت بشكل مناسب من خلال التوزيعات الاحتمالية لقيم المكافآت. في عالم مثالي ، تتبع هذه التوزيعات دالة غاوسية ، مع حدوث مكافآت قصوى بمعدل أقل من النتائج الوسيطة. غالبًا ما تستخدم الاختبارات التجريبية توزيعات احتمالية ثنائية بقيم متساوية (كل قيمة مكافأة تحدث عند p = 0.5). يتم وصف توزيعات الاحتمالية الغوسية والثنائية بشكل كامل من خلال القيمة الرياضية المتوقعة (اللحظة الأولى لتوزيع الاحتمالات) والتشتت أو الانحرافات للقيم عن المتوسط ​​، أي التباين (المتوقع) (اللحظة الثانية) أو (المتوقع) الانحراف المعياري (الجذر التربيعي) من التباين). غالبًا ما يُنظر إلى التباين والانحراف المعياري على أنهما مقياسان للمخاطر. في الاقتصاد السلوكي ، يشير مصطلح "خطر" إلى شكل من أشكال عدم اليقين يُعرف فيه توزيع الاحتمالات ، بينما يشير "الغموض" إلى معرفة غير كاملة بالاحتمالات وغالبًا ما يشار إليه ببساطة باسم "عدم اليقين". تشير المخاطرة إلى فرصة الفوز أو الخسارة ، بدلاً من ارتباط الحس السليم الضيق بالخسارة.

تعتبر التنبؤات ذات أهمية أساسية لاتخاذ قرار مستنير من خلال توفير معلومات مسبقة عن خيارات الاختيار المتاحة ، على عكس التخمينات التي تحدث عندما تكون النتائج غير معروفة. نظرًا لأنه يمكن تحديد المكافأة من خلال توزيعات احتمالية للقيمة ، فإن تنبؤات المكافآت تحدد القيمة المتوقعة والتباين (المتوقع) أو الانحراف المعياري للتوزيع.

الضغط التطوري يفضل المعالجة الفعالة للطاقة للمعلومات. أحد الحلول المحتملة هو تخزين التنبؤات حول الأحداث المستقبلية في مراكز الدماغ العليا وحساب الفرق في مراكز الدماغ السفلى بين المعلومات البيئية الجديدة والتنبؤ المخزن. يسمى التناقض بين الحدث الفعلي والتنبؤ به خطأ تنبؤ الحدث. إن مواكبة الوضع البيئي المتغير من قبل المراكز العليا للدماغ ينطوي ببساطة على تحديث التنبؤات بمعلومات أقل تحتوي على أخطاء تنبؤ أقل وأقل استهلاكًا للطاقة ، بدلاً من معالجة المعلومات الطرفية الكاملة في كل مرة يتغير فيها شيء صغير [4]. وبهذه الطريقة ، تستطيع مراكز الدماغ العليا الوصول إلى المعلومات الكاملة عن العالم الخارجي من أجل التصورات والقرارات وردود الفعل السلوكية بتكلفة أقل بكثير من الطاقة. تؤدي هذه الخاصية الأساسية للتنبؤات إلى ظاهرة التعلم الملحوظة ، كما هو محدد بواسطة التغييرات في السلوك بناءً على التوقعات المحدثة.

تفترض نظرية تعلم الحيوان ونماذج تعزيز الفروق الزمنية الفعالة أن أخطاء التنبؤ بالنتائج ضرورية لتكييف بافلوفيان والتكيف الفعال [5,6،7]. تصور وجهات النظر الحالية مفهوم التعلم بافلوفيان على أنه أي شكل من أشكال اكتساب التنبؤ الذي يؤدي إلى تفاعلات نباتية متغيرة أو تقلصات عضلية مخططة ، طالما أن النتيجة ليست مشروطة برد الفعل السلوكي. وبالتالي ، فإن توقعات مكافأة بافلوفيان تنقل معلومات ليس فقط عن قيمة المكافأة (القيمة المتوقعة) ولكن أيضًا حول مخاطر (تباين) المكافآت المستقبلية ، والتي تشكل امتدادًا مهمًا للمفهوم الذي اقترحه بافلوف منذ مائة عام. تستند أهمية أخطاء التنبؤ إلى تأثير الحجب الخاص بكامين [XNUMX] والذي يوضح أن التعلم والانقراض يتقدمان فقط إلى الحد الذي يكون فيه المعزز أفضل أو أسوأ مما كان متوقعًا ؛ يتباطأ التعلم بشكل تدريجي مع اقتراب التنبؤ من قيمة المعزز بشكل مقارب.

استجابة الدوبامين لاستقبال المكافأة

تُظهر غالبية الخلايا العصبية للدوبامين في الدماغ المتوسط ​​(75-80٪) عمليات تنشيط مرحلية نمطية إلى حد ما مع زمن انتقال <100 مللي ثانية ومدد أقل من 200 مللي ثانية بعد المكافآت الغذائية والسائلة غير المتوقعة مؤقتًا (الشكل (الشكل 1 أ) -1 أ). تعتمد استجابة الاندفاع هذه على تنشيط ومرونة مستقبلات NMDA و AMPA الموجودة على الخلايا العصبية الدوبامين [8-12]. الاندفاع أمر بالغ الأهمية للتعلم السلوكي للمهام الشهية مثل تفضيل المكان المشروط وخيارات T-maze للطعام أو مكافأة الكوكايين واستجابات الخوف المشروطة [9].

الشكل 1

التنشيط المرحلي للنشاط الدافع العصبي الفسيولوجي للخلايا العصبية الدوبامين. ج: عمليات التنشيط المرحلية بعد المكافآت الأساسية. ب: التنشيط المرحلي بعد المنبهات المشروطة والمكافئة للتنبؤ. C: أعلى: نقص التنشيط المرحلي بعد المرحلة الابتدائية (المزيد ...)

مكافأة خطأ التنبؤ الترميز

يبدو أن استجابة الدوبامين لتسليم المكافأة تشير إلى حدوث خطأ في التنبؤ ؛ إن المكافأة الأفضل من المتوقع تؤدي إلى تنشيط (خطأ التنبؤ الإيجابي) ، والمكافأة المتوقعة بالكامل لا تجيب على أي رد ، والمكافأة الأسوأ من المتوقع تؤدي إلى اكتئاب (خطأ سلبي) [13-24]. وبالتالي فإن استجابة الدوبامين تنفذ بالكامل المصطلح الحاسم لنموذج التعلم Rescorla-Wagner وتشبه عن كثب إشارة التدريس لنماذج التعلم الفعالة لتعزيز الفارق الزمني [6,23].

تختلف استجابة الخطأ من حيث الكم باختلاف قيمة المكافأة المستلمة وقيمة المكافأة المتوقعة [18-23]. استجابة خطأ التنبؤ حساسة لوقت المكافأة ؛ تؤدي المكافأة المتأخرة إلى حدوث اكتئاب في وقته الأصلي وتفعيل في الوقت الجديد [24,25]. يتضح تشفير الخطأ الكمي لعمليات التنشيط التي تعكس أخطاء التنبؤ الإيجابية. على النقيض من ذلك ، فإن الاكتئاب الذي يحدث مع أخطاء التنبؤ السلبي يظهر بطبيعة الحال نطاقًا ديناميكيًا أضيق ، نظرًا لأن النشاط العصبي لا يمكن أن يقل عن الصفر ، ويتطلب التقييم الكمي المناسب أن تأخذ فترة الاكتئاب الكاملة في الاعتبار [26].

وبالتالي ، تستجيب الخلايا العصبية الدوبامين للمكافأة فقط إلى المدى الذي يختلف فيه عن التنبؤ. نظرًا لأن التنبؤ ينشأ من مكافأة تمت تجربتها سابقًا ، يتم تنشيط الخلايا العصبية الدوبامين فقط عندما تكون المكافأة الحالية أفضل من المكافأة السابقة. نفس المكافأة مرة أخرى لن يتم تنشيط الخلايا العصبية الدوبامين. إذا كان تنشيط الخلايا العصبية الدوبامين له تأثير إيجابي يعزز السلوك ، فإن زيادة المكافآت فقط ستوفر تعزيزًا مستمرًا عبر آليات الدوبامين. قد يكون هذا أحد الأسباب التي تجعل المكافآت الثابتة وغير المتغيرة تفقد نفوذها المحفّز ، ولماذا نحتاج دائمًا إلى المزيد من المكافآت.

اختبارات صارمة لترميز خطأ التنبؤ بالمكافأة

طورت نظرية تعلم الحيوان نماذج رسمية لاختبار أخطاء التنبؤ بالمكافأة. في اختبار الحظر [7] ، لا يمكن تعلم حافز يقترن بمكافأة متوقعة بالكامل وبالتالي لا يصبح متنبأًا صالحًا بالمكافأة. عدم وجود مكافأة بعد التحفيز المحظور لا يشكل خطأ في التنبؤ ولا يؤدي إلى استجابة في الخلايا العصبية الدوبامين ، حتى بعد الاقتران المكثف بين التحفيز والمكافأة [27]. على النقيض من ذلك ، فإن تسليم المكافأة بعد الحافز المحجوب يشكل خطأً في التنبؤ الإيجابي وبالتالي ينشأ عنه تنشيط الدوبامين.

يقدم نموذج تثبيط مشروط [28] اختبارًا إضافيًا لأخطاء التنبؤ. في المهمة المستخدمة في تجاربنا ، يتم تقديم حافز الاختبار في وقت واحد مع حافز ثابت متوقع للتنبؤ ولكن لا يتم إعطاء مكافأة بعد المركب ، مما يجعل منبه التحفيز اختبارًا لعدم وجود مكافأة. لا يمثل إغفال المكافأة بعد مثبط مشروط مثل هذا خطأ تنبؤًا سلبيًا وبالتالي فشل في إحداث اكتئاب في الخلايا العصبية الدوبامين [29]. على النقيض من ذلك ، يؤدي تسليم المكافأة بعد المانع إلى حدوث خطأ تنبؤ إيجابي قوي وبالتالي تنشيط الدوبامين القوي.

تؤكد نتائج هذين الاختبارين الرسميين أن الخلايا العصبية الدوبامين تظهر ترميز ثنائي الاتجاه لأخطاء التنبؤ بالمكافأة.

التكهن التكهن خطأ التنبؤ الترميز

بشكل عام ، تحدد حافز التنبؤ بالمكافأة قيمة المكافآت المستقبلية من خلال الإبلاغ عن توزيع احتمال قيم المكافآت. وبالتالي ، يشير التحفيز إلى القيمة المتوقعة (اللحظة الأولى) والتباين (المتوقع) (اللحظة الثانية) أو الانحراف المعياري للتوزيع.

استجابة خطأ التنبؤ بقيمة الدوبامين حساسة لكل من اللحظات الأولى والثانية لتوزيع المكافآت المتوقع في ثانيتين بعد التحفيز. في تجربة ما ، يمكن أن تتنبأ المنبهات البصرية المختلفة بتوزيعات احتمالية ثنائية محددة لمقاييس المكافأة المتساوية مع قيم مختلفة وفروق متوقعة. نظرًا لأن استجابة خطأ التنبؤ تعكس الفرق بين قيمة المكافأة التي تم الحصول عليها والقيمة المتوقعة ، فإن الحجم المماثل للمكافأة المستلمة ينتج إما زيادة أو نقصان في نشاط الدوبامين اعتمادًا على ما إذا كانت المكافأة أكبر أو أصغر من تنبؤها ، على التوالي [23]. تشير هذه النتيجة إلى أن تشفير خطأ التنبؤ بالقيمة يوفر معلومات تتعلق بقيمة مرجعية أو مرساة.

يتكيف تشفير الدوبامين لخطأ التنبؤ بقيمة المكافأة مع التباين أو الانحراف المعياري للتوزيع. في توزيع ثنائي لمكافآت equiprobable ، يؤدي تسليم المكافأة ذات الحجم الأكبر داخل كل توزيع إلى تنشيط الدوبامين نفسه مع كل توزيع ، على الرغم من اختلافات 10 بين أضعاف المكافآت التي تم الحصول عليها (وأخطاء التنبؤ بالقيمة الناتجة) [23]. تكشف الحسابات العددية أن أكواد استجابة الدوبامين هي خطأ التنبؤ بالقيمة مقسومة على الانحراف المعياري للتوزيع المتوقع. كان هذا بمثابة تطبيع فعال أو قياس استجابة خطأ التنبؤ بالقيمة من حيث الانحراف المعياري ، مما يشير إلى مدى اختلاف قيمة المكافأة التي تم الحصول عليها عن القيمة المتوقعة في وحدات الانحراف المعياري. تشير الاعتبارات النظرية إلى أن إشارات تدريس الأخطاء التي يتم تغيير حجمها بواسطة التباين أو الانحراف المعياري بدلاً من المتوسط ​​يمكن أن تتوسط في تعلم مستقر مقاوم للمخاطر المتوقعة للنتائج [30].

استجابة الدوبامين لمكافأة التنبؤ بالمنبهات

تظهر الخلايا العصبية الدوبامين التنشيطات ('الإثارة') بعد المكافأة التي تتنبأ بالمنبهات البصرية والسمعية والحسية الجسدية (الشكل (الشكل 1 ب) 1 ب) [31-33]. تحدث الاستجابات بغض النظر عن الطرائق الحسية والمواقع المكانية للمنبهات ، وبغض النظر عن المؤثرات التي تكون حركات الذراع أو الفم أو العين.

تزداد عمليات التنشيط رتابةً مع احتمال المكافأة [18] وحجم المكافأة ، مثل حجم السائل [23]. ومع ذلك ، لا تميز استجابات الدوبامين بين احتمال المكافأة وحجمها طالما كانت القيمة المتوقعة متطابقة [23]. وهكذا يبدو أن عمليات التنشيط ترمز إلى القيمة المتوقعة لتوزيعات احتمال المكافأة المتوقعة. القيمة المتوقعة هي التفسير الأكثر غرابة ، والضوضاء في الاستجابات العصبية تمنع التوصيف من حيث الفائدة المتوقعة (الذاتية). لاحظ أن الخصم الزمني الموضح أدناه يكشف عن تشفير ذاتي وقد يوفر بعض الضوء على المشكلة.

يزداد حجم الاستجابة مع تناقص وقت رد الفعل السلوكي ، مما يشير إلى أن استجابة الدوبامين حساسة لتحفيز الحيوان [19]. في الاختيار بين قيم المكافأة أو التأخيرات المختلفة ، تعكس استجابات الدوبامين لعرض خيارات الاختيار المكافأة المستقبلية المختارة للحيوان [34] أو أعلى مكافأة ممكنة من بين خياري الاختيار المتاحين [35].

أثناء التعلم ، يتناقص تنشيط الدوبامين إلى المكافأة تدريجياً عبر تجارب التعلم المتتالية ، ويتطور تنشيط الحافز التنبؤ بالمكافأة في نفس الوقت [36,37]. اكتساب استجابة مشروطة حساسة للحجب ، مما يشير إلى أن أخطاء التنبؤ تنهض بدور في الحصول على ردود الدوبامين على المنبهات المشروطة [27]. يتوافق نقل الاستجابة لمكافأة التنبؤ بالمحفزات مع الخصائص الرئيسية لإشارات التدريس لنماذج تعزيز الفرق الزمنية الفعالة [38]. لا يشتمل تحول الاستجابة على التكاثر العكسي لأخطاء التنبؤ عبر الفاصل الزمني للتحفيز والمكافأة لنماذج الفرق الزمنية السابقة [27,38] ولكن يتم استنساخه في نموذج الفرق الزمني الأصلي وفي تطبيقات الاختلاف الزمني الأصلي والأحدث [6,37,39].

ترميز قيمة المكافأة الذاتية الموضحة بالخصم الزمني

يكشف القياس الموضوعي لقيمة المكافأة الشخصية عن طريق تفضيلات الاختيار أن المكافآت تفقد بعض قيمتها عند تأخيرها. في الواقع ، غالباً ما تفضل الفئران والحمام والقرود والبشر مكافآت أصغر في وقت قريب على مكافآت أكبر لاحقًا [40-42]. وهكذا ، يبدو أن القيمة الذاتية للمكافأة تتحلل مع زيادة التأخير الزمني ، على الرغم من أن المكافأة المادية ، وبالتالي قيمة المكافأة الموضوعية ، هي نفسها.

تُقيس المقاييس السيكومترية للخيارات السلوكية بين الفترات الزمنية بين المكافآت العاجلة واللاحقة حجم المكافأة المبكرة حتى حدوث لامبالاة الاختيار ، المعرَّفة على أنها احتمال اختيار كل خيار بـ p = 0.5. وبالتالي ، تشير المكافأة المبكرة الأقل عند عدم الاكتراث إلى انخفاض القيمة الذاتية للمكافأة اللاحقة. في تجربتنا الحديثة على القرود ، انخفضت قيم عدم الاكتراث للمكافآت التي تأخرت 4 و 8 و 16 بشكل رتابة بحوالي 25٪ و 50٪ و 75٪ ، على التوالي ، مقارنة بمكافأة بعد 2 s [43]. انخفاض تناسب وظيفة الخصم القطعي.

تتناقص ردود الدوبامين على المنبهات المتوقعة للتنبؤ رتابة عبر تأخر المكافآت من 2 إلى 16 s [25,43] ، على الرغم من نفس مقدار المكافأة المادية التي يتم تسليمها بعد كل تأخير. تشير هذه البيانات إلى أن التأخير الزمني يؤثر على استجابات الدوبامين لمكافأة المنبهات التنبؤية بطريقة مماثلة لأنها تؤثر على قيمة المكافأة الشخصية التي يتم تقييمها من خلال خيارات زمنية. ومن المثير للاهتمام ، أن انخفاض استجابة الدوبامين مع تأخير المكافأة لا يمكن تمييزه عن انخفاض الاستجابة مع انخفاض حجم المكافأة. هذا التشابه يشير إلى أن التأخير الزمني يؤثر على استجابات الدوبامين من خلال التغييرات في قيمة المكافأة. وبالتالي ، بالنسبة للخلايا العصبية الدوبامين ، تظهر المكافآت المتأخرة كما لو كانت أصغر.

وهكذا ، يبدو أن الخلايا العصبية الدوبامين ترمز إلى القيمة الذاتية بدلاً من القيمة الجسدية والموضوعية للمكافآت المتأخرة. بالنظر إلى أن المنفعة هي مقياس للقيمة الذاتية بدلاً من القيمة الموضوعية للمكافأة ، فإن انخفاض الاستجابة مع الحسم الزمني قد يشير إلى أن رمز الدوبامين للخلايا العصبية يكافئ على أنه فائدة (ذاتية) بدلاً من القيمة (الموضوعية). قد تساعد التجارب الإضافية في اختبار تشفير الأداة المساعدة بشكل مباشر أكثر.

استجابة الدوبامين للمنبهات مكرهة

تحفز المنبهات المكروهة ، مثل نفث الهواء ، ومحلول ملحي مفرط التوتر ، والصدمة الكهربائية استجابات تنشيطية ("مثيرة") في نسبة صغيرة من عصبونات الدوبامين في الحيوانات المستيقظة (14٪ [33] ؛ 18-29٪ [44] ؛ 23٪ [45]) ؛ 11٪ [46]) ، ومعظم الخلايا العصبية الدوبامين إما مكتئبة في نشاطها أو لا تتأثر بأحداث مكروهة (الشكل 1C1C أعلى). على عكس المكافآت ، تفشل نفث الهواء في إحداث استجابات خطأ في التنبؤ ثنائية الاتجاه نموذجية للمكافأة ؛ ينظم التنبؤ فقط التنشيطات المكروهة [45,46،XNUMX].

يؤدي التنشيط المفرط في الحيوانات المخدرة إلى الحصول على درجات متفاوتة ولكن منخفضة في الغالب من الاستجابات المنشط الأبطأ (50٪ [47] ؛ 18٪ [48] ؛ 17٪ [49] ؛ 14٪ [50]) وكثيرا ما تكون النشاطات منخفضة. أكدت عمليات إعادة التحقيق الفسيولوجية العصبية مع تحديد أفضل لعصبونات الدوبامين انخفاض نسبة حدوث تنشيطات الدوبامين البغيضة بشكل عام في الحيوانات المخدرة [51] والموجودة بشكل عصبي للخلايا العصبية الدوبامين في منطقة tegmental البطنية من الدماغ المتوسط ​​[52].

تنبّأ المنبهات الهوائية التي تنبئ بتكييف الهواء في القرود المستيقظة التنشيط في أقلية من الخلايا العصبية الدوبامين ، والاكتئاب في جزء أكبر من الخلايا العصبية الدوبامين (11٪ [33] ؛ 13٪ ؛ 45] ؛ 37٪ [46]). تلغي الاستجابات المكتئبة عددًا قليلًا من الأنشطة في استجابات السكان متوسطة من الخلايا العصبية الدوبامين إلى المنبهات الكاذبة [33] (انظر الشكل الشكل 1C1C ، الأسود). في إحدى الدراسات ، قام المنبه المنبه المفرط بتفعيل عدد من الخلايا العصبية أكثر من نفخة الهواء نفسها (37٪ مقابل 11٪ [46]) ، على الرغم من أن الحافز الشرطي أقل نشاطًا من النشاط المنبذ بالحيوية الذي يتوقعه ، مثل نفخة الهواء. يشير ارتفاع عدد عمليات التنشيط إلى الحافز المكيف مقارنةً بنفخة الهواء إلى وجود علاقة عكسية بين التكافؤ والتنشيط (كلما كان التنشيط أكثر كرهًا كلما كان التنشيط أقل تكرارًا) أو مكونًا إضافيًا غير تحفيزي مسؤول عن زيادة نسبة التنشيط الخلايا العصبية من 11 ٪ إلى 37 ٪. على الرغم من أن تنشيط التحفيز يرتبط إيجابيا باحتمال نفخة الهواء في السكان ، إلا أنه لم يتم تقييمها في الخلايا العصبية الفردية [46]. قد ينشأ الارتباط السكاني من عدد صغير نسبيًا من الخلايا العصبية ذات الارتباط الإيجابي داخل تلك المجموعة ، وقد تكون تنشيطات التحفيز الشريرة أقرب إلى 11٪ من 37٪. في دراسة أخرى ، أظهرت نسب كبيرة من الخلايا العصبية الدوبامين تنشيطات طورية لمحفزات مكرهة مشروطة عندما تم تقديمها في تناوب عشوائي مع محفزات توقع المكافأة بنفس الطريقة الحسية (الشكل (الشكل 1C1C ، رمادي)) (65٪ [33]) ؛ كانت أقل تواترا بكثير عندما كان لنوعين من المنبهات الشرطية طرائق حسية مختلفة (الشكل (الشكل (أسفل الشكل 1C1C ، أسود) (11٪). سيناقش الفصل التالي العوامل الكامنة وراء هذه التنبيهات غير المفسرة للمحفزات البغيضة وغيرها من المنبهات غير المكافئة.

على الرغم من أن بعض الخلايا العصبية الدوبامين يتم تنشيطها بواسطة الأحداث البغيضة ، إلا أن تنشيط الدوبامين الأكبر يرتبط بالمكافأة. البيانات التي تم الحصول عليها مع طرق أخرى تؤدي إلى استنتاجات مماثلة. يُظهر قياس الجهد السريع للفحص في الفئران التي تتصرف سلوكًا إطلاق الدوبامين المميت الناتج عن المكافأة والتحول لمكافأة التنبؤ بالمنبهات بعد التكييف [53] ، مما يوحي بأن الاستجابات النبضية لخلايا الدوبامين المؤدية تؤدي إلى إطلاق الدوبامين المقابل من الدوالي المهاجمة. تستمر زيادة الدوبامين لبضع ثوان فقط ، وبالتالي يكون لها أقصر وقت لجميع الأساليب الكيميائية العصبية ، الأقرب إلى التنشيط الفيزيولوجي. الإفراج عن الدوبامين تفاضلي مقابل المكافأة (السكروز) ولا يحدث مع العقاب (الكينين) [54]. نظرًا لأن الفولتاميتري يقيم المعدلات المحلية لتركيز الدوبامين ، فإن عدم وجود إطلاق قابل للقياس مع الكينين قد يخفي بعض النشاطات التي تم إلغاؤها بواسطة الاكتئاب في استجابة سكان الدوبامين [33]. كشفت الدراسات التي تستخدم حساسة للغاية في الحوض المجهرى الحيوى عن إطلاق الدوبامين في أعقاب المنبهات الكاذبة [55].

قد تعكس هذه الاستجابة تغيير الدوبامين الناجم عن عدد قليل من الخلايا العصبية التي يتم تنشيطها بواسطة المنبهات الشريرة ، على الرغم من أن المدة الزمنية لقياسات التحليل الجزئي تكون أبطأ من 300-500 مرات من استجابة النبض وقد تكون كافية للسماح للتفاعلات قبل المشبكية بالتأثير على إطلاق الدوبامين [56] . تعطل إطلاق النار من الخلايا العصبية الدوبامين يعطل العديد من مهام التعلم الشهية ولكن أيضا الخوف تكييف [9]. يمكن أن توحي النتيجة بوظيفة تعلم لاستجابات الدوبامين البغيضة إذا تم استبعاد التأثير غير المحدد ، المعطل عمومًا لتركيز الدوبامين المنخفض ، والذي لا يزال يتعين إظهاره. التحفيز المحدد للخلايا العصبية الدوبامين عن طريق الطرق الوراثية من خلال إدخال القناة الوراثية المدعومة وراثيا يدفع بافيليان إلى تفضيل تكييف المكان في الفئران [57]. على النقيض من ذلك ، فإن التأثير السلبي الصافي لتحفيز الدوبامين كان من الممكن أن ينتج عنه تعلم تجنب المكان. تؤكد هذه النتائج فكرة وجود وظيفة تقوية إيجابية عالمية لأنظمة الدوبامين المستمدة من الآفات السابقة والتنبيه الذاتي الكهربائي وإدمان المخدرات [1,2]. ومع ذلك ، فإن هذه الحجج تفترض أن هذه المكافأة هي الوظيفة الوحيدة لأنظمة الدوبامين ولا أن جميع وظائف المكافأة تتضمن خلايا عصبية من الدوبامين.

تنشيط الدوبامين التدريجي لا يكافئ الترميز

يمكن للمنبهات أن تحفز ردود الفعل التنبيهية والانتباه عندما تكون مهمة جسديًا (بروز جسدي) أو عندما تكون مرتبطة بالمعززات (بروز "تحفيزي" أو "عاطفي"). يتم تصنيف ردود الفعل السلوكية للمحفزات البارزة حسب الشدة الجسدية للمنبهات وقيمة المعزز ، على التوالي. البروز الجسدي لا يعتمد على التعزيز على الإطلاق ، والبراعة التحفيزية لا تعتمد على تكافؤ المعززات (الثواب والعقاب).

ردود على المحفزات البارزة جسديا

محفزات بصرية وسمعية مكثفة تحفز التنشيط في الخلايا العصبية الدوبامين (الشكل (Figure1D) .1D). يتم تعزيز هذه الاستجابات عن طريق حافز التحفيز [58-60] ولكنها تستمر عند مستوى أقل لعدة أشهر بشرط أن تكون المحفزات شديدة بما يكفي من الناحية البدنية. يتم تصنيف الاستجابات وفقًا لحجم المحفزات (الشكل 4 في [15]). قد تفسر الأهمية البدنية أيضًا جزئيًا الاستجابات للعقوبات الأولية ذات الكثافة الجسدية الكبيرة [45]. قد تشكل هذه الاستجابات نوعًا منفصلًا من استجابة الدوبامين المرتبطة بالملاحظة الجسدية للانتباه التي تحفز المحفزات البيئية ، أو قد تكون مرتبطة بالسمات المحفزة والإيجابية للمحفزات الشديدة والجديدة.

لا يبدو أن عمليات التنشيط للمحفزات البارزة جسديًا تميل عام للخلايا العصبية الدوبامين لتفعيلها من خلال أي حدث مثير للانتباه. على وجه الخصوص ، هناك أحداث أخرى تولد اهتمامًا قويًا مثل إغفال المكافآت والمثبطات الشرطية والمحفزات الشريرة التي تحفز الاكتئاب في الغالب ونادراً ما تكون تنشيطات الدوبامين الأصلية [14,29]. وبالتالي فإن تنشيط الدوبامين بواسطة محفزات بارزة جسديًا قد لا يشكل استجابة عامة تنبهية. من المحتمل أن تشكل استجابة المكافأة استجابة منفصلة قد لا تعكس الاهتمام الناتج عن التحفيزية للمكافأة.

التنشيط الترميز الأخرى غير مكافأة

محفزات أخرى تحفز التنشيط في الخلايا العصبية الدوبامين دون الترميز واضح لقيمة المكافأة. تكون هذه التنشيطات أصغر وأقصر من الاستجابات لمكافأة المنبهات التنبؤية وغالبًا ما يتبعها اكتئاب عندما لا تكون المحفزات مجزية (الشكل (Figure1E1E).

تظهر الخلايا العصبية الدوبامين التنشيطات التالية لمحفزات التحكم التي يتم تقديمها في التناوب شبه العشوائي مع المحفزات المكافئة [27,29,32]. يعتمد حدوث التنشيط على عدد المحفزات البديلة والمكافأة في المهمة السلوكية ؛ تكون عمليات التنشيط متكررة عندما تتم مكافأة ثلاثة من أربعة منبهات المهام (25٪ -63٪ [27]) وتصبح نادرة عندما يكون هناك واحد فقط من بين أربعة منبهات المهام (1٪ [29]). هذا التبعية يجادل ضد الطبيعة الحسية البحتة للاستجابة.

تُظهر الخلايا العصبية الدوبامين مكون تنشيط أوليًا نوعًا ما مقولبًا للمحفزات التي تتوقع المكافآت التي تحدث بعد تأخيرات مختلفة [43]. يختلف التنشيط الأولي قليلاً مع تأخير المكافأة ، وبالتالي لا يبدو أنه رمز قيمة المكافأة. على النقيض من ذلك ، يتناقص مكون الاستجابة اللاحقة مع زيادة التأخير وبالتالي قيمة المكافأة (ذاتية) (انظر أعلاه).

تظهر الخلايا العصبية الدوبامين تنشيطات متكررة بعد المحفزات الشريرة الشرطية التي يتم تقديمها في تناوب عشوائي مع محفزات تنبؤية عن المكافآت ؛ تختفي عمليات التنشيط إلى حد كبير عند استخدام طرائق حسية مختلفة (65٪ مقابل 11٪ من الخلايا العصبية [33]) ، مما يشير إلى ترميز مكونات التحفيز غير النافعة. حتى عندما يتم فصل المنبهات الشهية والشهية إلى كتل تجريبية مختلفة ، يتم تنشيط الخلايا العصبية الدوبامين بشكل كبير عن طريق المنبهات الشرطية المكيفة. ومع ذلك ، فإن عمليات التنشيط الأكثر تكرارًا للمنبهات المكيفة مقارنة بنفخ الهواء الأساسي الأكثر كرهًا (37٪ مقابل 11٪ [46]) تشير إلى وجود علاقة عكسية مع كره المنبهات وربما مكونات الاستجابة غير النكهة.

قد تكمن أسباب هذه التنشيطات المختلفة للدوبامين في التعميم أو التكيّف الكاذب أو التحفيز التحفيزي. التعميم ينشأ من التشابه بين المحفزات. قد يفسر تنشيط الدوبامين في عدد من المواقف ، وهي: التنشيط للمنبهات البصرية غير المكافئة عندما تتناوب مع مكافأة تنبّه إلى المنبهات البصرية (الشكل (يسار الشكل (NUMXX1E1E)) [27,29,32] ومكون التنشيط الأولي ذو الدرجة الضعيفة لمكافأة المنبهات المتوقعة (الشكل (Figure1E1E يمينًا) [43]. قد يلعب التعميم دورًا عندما تؤدي المحفزات ذات الطرائق الحسية المختلفة إلى إنتاج تنشيطات أقل من الدوبامين للمنبهات غير المسببة للمنبهات مع المحفزات ذات الطرائق نفسها ، كما هو موضح مع المنبهات البصرية الشهية والسمعية (الشكل (XXUMUM1C1C)) .

قد تنشأ حالة التصلب الكاذب عندما تحدد أداة التعزيز الأولية خلفية سياقية وتثير استجابات سلوكية غير محددة لأية أحداث داخل هذا السياق [61]. نظرًا لأن الخلايا العصبية الدوبامينية حساسة جدًا للمكافأة ، فإن السياق المجزي قد يحفز التداخل الكاذب للمنبهات المحددة في هذا السياق وبالتالي تنشيط الخلايا العصبية. قد تكمن وراء هذه الآلية التنشيطات العصبية لمحفزات غير مجزية تحدث في سياق مجزي ، مثل المختبر الذي يتلقى فيه الحيوان مكافآت يومية ، بغض النظر عن المنبهات التي يتم تقديمها في تناوب عشوائي مع محفزات مجزية أو في كتل تجريبية منفصلة [46]. التفسير الكاذب قد يفسر عمليات التنشيط لمحفزات التحكم غير المكافئة [27,29,32] ، ومعظم التنشيطات التالية للمنبهات البغيضة [33,45,46] ومكون التنشيط الأولي ذو التصنيف الضعيف لمكافأة المنبهات المتوقعة للتنبؤ [43]. وبالتالي ، قد ينشأ التكيّف الكاذب من المكافأة الأساسية بدلاً من الحافز الشرطي ويؤثر على تنشيط الدوبامين لكل من المحفزات الشرطية والمعززات الأولية التي تحدث في سياق مجزي.

على الرغم من أن المنبهات ذات الأهمية الجسدية الكبيرة يبدو أنها تدفع الخلايا العصبية الدوبامين [15,58-60] (انظر أعلاه) ، فإن المحفزات التي تحفز تنشيط الدوبامين الترميزي غير المكافئ تكون غالبًا صغيرة وليست بارزة جسديًا. يعتبر التحفيزي التحفيزي من خلال التعريف شائعًا في المكافآت والمعاقبة ، وقد يفسر من تلقاء نفسه عمليات التنشيط لكل من المكافأة والعقاب في 10-20٪ من الخلايا العصبية الدوبامين. قد تصبح المنبهات غير المعززة بارزة تحفيزية من خلال قربها من المكافأة والعقاب من خلال التكييف الزائف. ومع ذلك ، يبدو أن تنشيط الدوبامين أكثر حساسية للمكافأة من العقاب. نظرًا لأن التحفيز التحفيزي ينطوي على حساسية لكلا التعزيزين ، فقد لا يفسر التحفيظ التحفيزي المكتسب من خلال التكييف الزائف بشكل جيد تنشيط الدوبامين الترميزي غير المكافئ.

إذا أُخذنا معًا ، فإن العديد من عمليات تنشيط الدوبامين المشفرة غير المكافئة قد تكون ناتجة عن تعميم التحفيز أو على وجه الخصوص التكييف الزائف. ومع ذلك ، يبدو أن هناك تنشيطات حقيقية لمحفزات التحكم غير المكافئة والمنبهات المنشطة الأولية والمشروطة في نسبة محدودة من الخلايا العصبية الدوبامين عندما يتم استبعاد هذه العوامل. يجب أن تستخدم التجارب الإضافية التي تقيم مثل هذه الاستجابات ضوابط أفضل وتزيل كل ارتباطات المكافآت السياقية بالمحفزات في المختبر تمامًا.

نظرًا لحدوث عمليات تنشيط الترميز غير المكافأة ، فمن المنطقي أن نسأل كيف يميز حيوان ما المكافأة عن المنبهات غير المكافئة بناءً على استجابة الدوبامين. قد يوفر مكون الاستجابة السريع للغاية ، الأولي ، شبه الموروثة وضعيف التمييز ، مكافأة مؤقتة لتسهيل ردود الفعل السلوكية السريعة الافتراضية التي تساعد الحيوان على اكتشاف المكافأة المحتملة بسرعة [62]. على النقيض من ذلك ، يكتشف مكون الاستجابة التالي مباشرة الطبيعة الحقيقية للحدث من خلال تنشيطه المتدرج مع قيمة المكافأة [43] والاكتئاب المتكرر له مع محفزات غير مسبوقة ومكرهة [27,29,32,33] (الشكل (Figure1E) .1E). علاوة على ذلك ، فإن نظام الدوبامين ليس المكافأة الوحيدة لترميز بنية الدماغ ، وقد توفر الأنظمة العصبية الأخرى مثل القشرة الأمامية المدارية والمخطط واللوزة المخبرية معلومات تمييزية إضافية.

الدوبامين إشارة خطر مكافأة

إذا كانت إشارة المكافأة تعكس الخطأ المتوسط ​​للتنبؤ بالمكافأة المقاسة بواسطة الانحراف المعياري لتوزيعات احتمال المكافأة ، وإذا نظرنا إلى الانحراف المعياري كمقياس للمخاطر ، فهل يمكن أن تكون هناك إشارة عصبية مباشرة للمخاطر؟ عندما تختلف احتمالات المكافأة من 0 إلى 1 ويظل حجم المكافأة ثابتًا ، تزداد قيمة المكافأة المتوسطة بشكل رتيب مع الاحتمال ، في حين يتبع مقدار المخاطرة دالة U مقلوبة تبلغ ذروتها عند p = 0.5 (الشكل (Figure2,2 ، داخلي). p = 0.5 ، هناك فرصة كبيرة للحصول على المكافأة تمامًا كما توجد فرصة لتفويت المكافأة ، في حين أن الاحتمالات الأعلى والأقل من p = 0.5 تجعل المكاسب والخسائر أكثر تحديداً ، على التوالي ، وبالتالي ترتبط مع انخفاض المخاطرة.

الشكل 2

عمليات التنشيط المستمرة المتعلقة بالمخاطر. تحدث الاستجابة للمخاطر خلال فترة الحافز والمكافأة (السهم) لاحقًا إلى التنشيط المرحلي والقيمة المرتبط بالمنبه (المثلث). يُظهر الشكل الداخلي ، أعلى اليمين ، أن المخاطرة (التنسيق) تختلف باختلاف (المزيد ...)

يُظهر حوالي ثلث الخلايا العصبية الدوبامين تنشيطًا بطيئًا ومعتدلًا وهامًا إحصائيًا يزداد تدريجيًا خلال الفترة الفاصلة بين الحافز الذي يتنبأ بالمكافأة والمكافأة ؛ هذا الرد يختلف رتابة مع خطر (الشكل (Figure2) 2) [18]. يحدث التنشيط في تجارب فردية ولا يبدو أنه يمثل استجابة لخطأ تنبؤي ينتشر من المكافأة إلى الحافز الذي يتنبأ بالمكافأة. يزيد التنشيط رتابة أيضًا مع الانحراف المعياري أو التباين عند استخدام توزيعات ثنائية ذات أحجام مكافآت متساوية وغير صفرية. وهكذا ، فإن الانحراف المعياري أو التباين يبدو أنه مقاييس قابلة للتطبيق للمخاطر كما هي مشفر بواسطة الخلايا العصبية الدوبامين. تشتمل عمليات التنشيط المرتبطة بالمخاطرة على فترات زمنية أطول (حوالي 1 s) ودورات زمنية أبطأ وأعلى قمم مقارنة باستجابات قيمة المكافآت للمحفزات والمكافآت.

نظرًا لانخفاض حجمها ، من المحتمل أن تؤدي إشارة المخاطرة إلى تحرر أقل من الدوبامين عند دواليك الدوبامين مقارنةً بقيمة المكافأة التي يتم ترميزها على عمليات تنشيط طورية. قد ينشط تركيز الدوبامين المنخفض نسبيًا الناتج عن إشارة الخطر مستقبلات D2 التي تكون في الغالب في حالة تقارب عالية ولكن ليست مستقبلات D1 منخفضة التقارب [63]. على النقيض من ذلك ، قد تؤدي استجابة قيمة المكافأة على مراحل إلى زيادة تركيزات الدوبامين بما يكفي لتنشيط مستقبلات D1 لفترة وجيزة في حالة تقاربها المنخفضة في الغالب. وبالتالي يمكن التمييز بين الإشارات بواسطة الخلايا العصبية بعد المشبكي على أساس مستقبلات الدوبامين المختلفة التي تم تنشيطها. بالإضافة إلى ذلك ، فإن قيمة الدوبامين وإشارات الخطر معًا ستؤدي إلى تنشيط متزامن تقريبًا لكل من مستقبلات D1 و D2 والتي تعد ضرورية في العديد من المواقف الطبيعية والسريرية للحصول على وظائف كافية تعتمد على الدوبامين.

قد يكون لإشارة خطر الدوبامين عدة وظائف. أولاً ، يمكن أن تؤثر على قياس استجابة خطأ التنبؤ التالية فورًا من خلال الانحراف المعياري مباشرة بعد المكافأة [23]. ثانياً ، يمكن أن يعزز إطلاق الدوبامين الناجم عن استجابة خطأ التنبؤ التالية مباشرة. نظرًا لأن المخاطرة تحفز الانتباه ، فإن تعزيز إشارة تدريس محتملة عن طريق المخاطرة سيكون متوافقًا مع دور الاهتمام في التعلم وفقًا لنظريات تعلم قابلية الارتباط [64,65]. ثالثًا ، يمكن أن يوفر مدخلاً لهياكل المخ المشاركة في تقييم مخاطر المكافأة بحد ذاتها. رابعًا ، يمكن أن يقترن بإشارة قيمة اقتصادية متوقعة لتمثيل معلومات مهمة حول الأداة المتوقعة للأفراد الذين لديهم حساسية من المخاطر وفقًا لنهج التباين المتوسط ​​في نظرية القرار المالي [66]. ومع ذلك ، فإن زمن الوصول إلى حوالي 1 s طويل جدًا بحيث لا تؤدي الإشارة دورًا فوريًا في الخيارات في ظل عدم اليقين.

تضارب المصالح

يعلن صاحب البلاغ أنه لا يوجد لديه المصالح المتنافسة.

مساهمات المؤلفين

كتب WS الورقة.

شكر وتقدير

كُتب هذا الاستعراض بمناسبة ندوة اضطراب فرط الحركة ونقص الانتباه (ADHD) في أوسلو ، النرويج ، فبراير 2010. تم دعم عملنا من قبل Wellcome Trust و Swiss National Foundation و Human Frontiers Science Program وغيرها من وكالات المنح والزمالات.

مراجع حسابات

1. Wise RA، Rompre PP. الدماغ الدوبامين والمكافأة. آن ريف Psychol. 1989، 40: 191-225. doi: 10.1146 / annurev.ps.40.020189.001203.

2. إيفريت BJ ، روبنز TW. النظم العصبية لتعزيز الإدمان على المخدرات: من الإجراءات إلى العادات إلى الإكراه. نات نيوروسي. 2005، 8: 1481-1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]

3. بيرنولي د. عينة theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Papers Imp. Acad. Sci. St. Petersburg) 1738؛ 5: 175-192. تُرجم على النحو التالي: عرض لنظرية جديدة حول قياس المخاطر. Econometrica 1954، 22: 23-36.

4. Rao RPN ، Ballard DH. تشفير تنبؤي في القشرة البصرية: تفسير وظيفي لبعض تأثيرات المجال الاستقبالي غير الكلاسيكي. نات نيوروسي. 1999، 2: 79-87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]

5. Rescorla RA، Wagner AR. في: الكلاسيكية تكييف الثاني: البحوث والنظرية الحالية. Black AH، Prokasy WF، editor. نيويورك: أبليتون سينشري كروفتس ؛ 1972. نظرية تكييف بافلوفيان: اختلافات في فعالية التعزيز وعدم التسليح ؛ ص. 64 – 99.

6. Sutton RS، Barto AG. نحو نظرية حديثة لشبكات التكيف: التوقع والتنبؤ. Psychol القس 1981 ؛ 88: 135 - 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]

7. كامين LJ. في: القضايا الأساسية في التعلم الآلي. ماكينتوش NJ ، محرر Honig WK. هاليفاكس: مطبعة جامعة دالهوزي ؛ 1969. جمعية انتقائية وتكييف. ص. 42 – 64.

8. Blythe SN، Atherton JF، Bevan MD. يُنشئ التنشيط المتشابك لمستقبلات AMPA و NMDA العصبية إطلاقًا عالي التردد عابرًا في الخلايا العصبية الدوبامين المؤدية في المختبر. ي Neurophysiol. 2007، 97: 2837-2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]

9. Zweifel LS، Parker JG، Lobb CJ، Rainwater A، Wall VZ، Fadok JP، Darvas M، Kim MJ، Mizumori SJ، Paladini CA، Phillips PEM، Palmiter RD. يوفر تعطيل إطلاق النار المعتمد على NMDAR بواسطة الخلايا العصبية الدوبامين تقييماً انتقائياً للسلوك المعتمد على الدوبامين. Proc Natl Acad Sci. 2009، 106: 7281-7288. doi: 10.1073 / pnas.0813415106. [المقالة المجانية PMC] [PubMed] [Cross Ref]

10. Harnett MT، Bernier BE، Ahn KC، Morikawa H. Burst-Timing-Dependent Plasticity of NMDA Receptor-Mediated Transmission in Midbrain Dopamine Neurons. الخلايا العصبية. 2009، 62: 826-838. doi: 10.1016 / j.neuron.2009.05.011. [المقالة المجانية PMC] [PubMed] [Cross Ref]

11. جونز S ، Bonci A. اللدونة متشابك وإدمان المخدرات. Curr Opin Pharmacol. 2005، 5: 20-25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]

12. Kauer JA، Malenka RC. اللدونة متشابك والإدمان. نات ريف نيوروسي. 2007، 8: 844-858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]

13. Ljungberg T ، Apicella P ، Schultz W. ردود أخصائيي الخلايا العصبية الدوبامين القرد أثناء تأخر أداء التناوب. الدماغ الدقة. 1991، 586: 337-341. doi: 10.1016 / 0006-8993 (91) 90816-E.

14. Schultz W، Apicella P، Ljungberg T. ردود خلايا العصب الدوبامين القرد لمكافأة ومحفزات مشروطة أثناء الخطوات المتعاقبة لتعلم مهمة استجابة متأخرة. J Neurosci. 1993، 13: 900-913 [مجلات]

15. شولتز دبليو إشارة مكافأة تنبؤية من الخلايا العصبية الدوبامين. ي Neurophysiol. 1998، 80: 1-27 [مجلات]

16. Schultz W، Dayan P، Montague RR. الركيزه العصبيه للتنبؤ والثواب. علم. 1997، 275: 1593-1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]

17. تقرير هولمان جيرمان ، شولتز دبليو دوبامين الخلايا العصبية خطأ في التنبؤ الزمني للمكافأة أثناء التعلم. الطبيعة Neurosci. 1998، 1: 304-309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]

18. Fiorillo CD، Tobler PN، Schultz W. ترميز منفصل لاحتمال المكافأة وعدم اليقين من قبل الخلايا العصبية الدوبامين. علم. 2003، 299: 1898-1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]

19. Satoh T ، Nakai S ، Sato T ، Kimura M. ترميز مرتبط بالدوافع ونتائج القرار من قبل الخلايا العصبية الدوبامين. J Neurosci. 2003، 23: 9913-9923 [مجلات]

20. Morris G، Arkadir D، Nevet A، Vaadia E، Bergman H. Coincident لكن رسائل مميزة من الدوبامين midbrain و الخلايا العصبية النشطة النشط. الخلايا العصبية. 2004، 43: 133-143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]

21. يمكن أن تمثل الخلايا العصبية Nakahara H و Itoh H و Kawagoe R و Takikawa Y و Hikosaka O. Dopamine خطأ في التنبؤ يعتمد على السياق. الخلايا العصبية. 2004، 41: 269-280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]

22. Bayer HM، Glimcher PW. الخلايا العصبية الدوبامين Midbrain ترميز إشارة خطأ التنبؤ مكافأة الكمي. الخلايا العصبية. 2005، 47: 129-141. doi: 10.1016 / j.neuron.2005.05.020. [المقالة المجانية PMC] [PubMed] [Cross Ref]

23. Tobler PN ، Fiorillo CD ، ترميز Schultz W. التكيفي لقيمة المكافأة بواسطة الخلايا العصبية الدوبامين. علم. 2005، 307: 1642-1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]

24. Zaghloul KA، Blanco JA، Weidemann CT، McGill K، Jaggi JL، Baltuch GH، Kahana MJ. الخلايا العصبية الجينية البشرية تشفر مكافآت مالية غير متوقعة. علم. 2009، 323: 1496-1499. doi: 10.1126 / science.1167342. [المقالة المجانية PMC] [PubMed] [Cross Ref]

25. Fiorillo CD، Newsome WT، Schultz W. الدقة الزمنية للتنبؤ بالمكافأة في الخلايا العصبية الدوبامين. نات نيوروسي. 2008، 11: 966-973. doi: 10.1038 / nn.2159.

26. Bayer HM، Lau B، Glimcher PW. إحصاءات الدوبامين ارتفاع الخلايا العصبية في الرئيسيات مستيقظا. ي Neurophysiol. 2007، 98: 1428-1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]

27. تتوافق استجابات Waelti P، Dickinson A، Schultz W. Dopamine مع الافتراضات الأساسية لنظرية التعلم الرسمي. طبيعة. 2001، 412: 43-48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]

28. Rescorla RA. تثبيط بافلوفان مشروط. سيكول بول. 1969، 72: 77-94. دوى: 10.1037 / h0027760.

29. Tobler PN، Dickinson A، Schultz W. ترميز إغفال المكافأة المتوقعة من قبل الخلايا العصبية الدوبامين في نموذج تثبيطي مشروط. J Neurosci. 2003، 23: 10402-10410 [مجلات]

30. Preuschoff ، Bossaerts P. مضيفا خطر التنبؤ لنظرية تعلم المكافآت. آن نيويورك أكاديمية العلوم. 2007، 1104: 135-146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]

31. Romo R، Schultz W. Dopamine neurons of the monkrain middrain: Emergency of response of response to touch active when the arm armots. ي Neurophysiol. 1990، 63: 592-606 [مجلات]

32. شولتز دبليو ، رومو ر. دوبامين الخلايا العصبية من الدماغ المتوسط ​​للقرد: حالات طارئة للاستجابات للمنبهات تثير ردود فعل سلوكية فورية. ي Neurophysiol. 1990، 63: 607-624 [مجلات]

33. Mirenowicz J، Schultz W. التفضيل التنشيطي للخلايا العصبية الدوبامين في الدماغ المتوسط ​​عن طريق المحفزات الشهية بدلاً من التنشيط. طبيعة. 1996، 379: 449-451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]

34. إن Morris G و Nevet A و Arkadir D و Vaadia E و Bergman H. Midbrain dopamine neurons ترميز القرارات الخاصة بالعمل في المستقبل. نات نيوروسي. 2006، 9: 1057-1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]

35. تقوم Roesch MR و Calu DJ و Schoenbaum G. Dopamine العصبية بترميز الخيار الأفضل في الفئران التي تقرر بين مكافآت مختلفة أو متأخرة الحجم. نات نيوروسي. 2007، 10: 1615-1624. doi: 10.1038 / nn2013. [المقالة المجانية PMC] [PubMed] [Cross Ref]

36. Takikawa Y ، Kawagoe R ، Hikosaka O. دور محتمل للخلايا العصبية الدوبامين في الدماغ المتوسط ​​في التكيف على المدى القصير والطويل من saccades لخريطة موقع مكافأة. ي Neurophysiol. 2004، 92: 2520-2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]

37. Pan WX، Schmidt R، Wickens JR، Hyland BI. تستجيب خلايا الدوبامين للأحداث المتوقعة خلال التكييف الكلاسيكي: دليل على آثار الأهلية في شبكة تعلم المكافآت. J Neurosci. 2005، 25: 6235-6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]

38. Montague PR، Dayan P، Sejnowski TJ. إطار عمل لأنظمة الدوبامين المتوسطة على أساس التعلم التنبئي الهبي. J Neurosci. 1996، 16: 1936-1947 [مجلات]

39. Suri R، Schultz W. شبكة عصبية مع إشارة التعزيز التي تشبه الدوبامين التي تتعلم مهمة الاستجابة المكانية المتأخرة. علم الأعصاب. 1999، 91: 871-890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]

40. Ainslie G. المكافآت الخادعة: نظرية سلوك الاندفاع والسيطرة على الدافع. الثور النفسي. 1975، 82: 463-496. دوى: 10.1037 / h0076860.

41. Rodriguez ML، Logue AW. ضبط التأخير على التعزيز: مقارنة الاختيار في الحمام والبشر. J Exp Psychol Anim Behav Process. 1988، 14: 105-117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]

42. Richards JB، Mitchell SH، de Wit H، Seiden LS. تحديد وظائف الخصم في الفئران مع إجراء ضبط المبلغ. J إكسب الشرج Behav. 1997، 67: 353-366. doi: 10.1901 / jeab.1997.67-353. [المقالة المجانية PMC] [PubMed] [Cross Ref]

43. Kobayashi S، Schultz W. تأثير تأخير المكافآت على استجابات الخلايا العصبية الدوبامين. J Neurosci. 2008، 28: 7837-7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]

44. Guarraci FA، Kapp BS. توصيف كهروفيزيائي للخلايا العصبية الدوبامينية لمنطقة البطنية أثناء تكييف الخوف البافلوفيني في الأرنب المستيقظ. Behav الدماغ الدقة. 1999، 99: 169-179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]

45. يعمل كل من Joshua M و Adler A و Mitelman R و Vaadia E و Bergman H. Midbrain dopaminergic neurons and internolol cholinergic internationons على ترميز الفرق بين المكافآت والأحداث الشاذة في فترات مختلفة من تجارب التكييف الكلاسيكية الاحتمالية. J Neurosci. 2008، 28: 1673-11684. دوى: 10.1523 / JNEUROSCI.3839-08.2008.

46. Matsumoto M ، Hikosaka O. هناك نوعان من الخلايا العصبية الدوبامين ينقلان بشكل واضح إشارات تحفيزية إيجابية وسلبية. طبيعة. 2009، 459: 837-841. دوى: 10.1038 / nature08028. [المقالة المجانية PMC] [PubMed] [Cross Ref]

47. Chiodo LA، Antelman SM، Caggiula AR، Lineberry CG. تثير المنبهات الحسية معدل إفراز الخلايا العصبية الدوبامين (DA): دليل على نوعين وظيفيين من خلايا DA في المادة السوداء. الدماغ الدقة. 1980، 189: 544-549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]

48. Mantz J، Thierry AM، Glowinski J. تأثير قرصة الذيل الضار على معدل إفراز الخلايا العصبية الدوبامين mesocimbical و mesolimbic: التنشيط الانتقائي للنظام mesocortical. الدماغ الدقة. 1989، 476: 377-381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]

49. شولتز دبليو ، رومو ر. ردود من الخلايا العصبية الدوبامين nigrostriatal على التحفيز الحسية الجسدية عالية الكثافة في القرد تخدير. ي Neurophysiol. 1987، 57: 201-217 [مجلات]

50. Coizet V، Dommett EJ، Redgrave P، Overton PG. يتم تعديل الاستجابات Nociceptive من الخلايا العصبية الدوبامينية الدماغ المتوسط ​​من قبل colliculus متفوقة في الفئران. علم الأعصاب. 2006، 139: 1479-1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]

51. Brown MTC، Henny P، Bolam JP، Magill PJ. نشاط الخلايا العصبية الدوبامينية غير المتجانسة كيميائيا في المادة السوداء أثناء التغيرات التلقائية والمدفوعة في حالة المخ. J Neurosci. 2009، 29: 2915-2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]

52. Brischoux F، Chakraborty S، Brierley DI، Ungless MA. الإثارة المرحلية للخلايا العصبية الدوبامين في VTA البطني بواسطة المحفزات الضارة. Proc Natl Acad Sci USA. 2009، 106: 4894-4899. doi: 10.1073 / pnas.0811507106. [المقالة المجانية PMC] [PubMed] [Cross Ref]

53. Day JJ، Roitman MF، Wightman RM، Carelli RM. يتعلم التعلم الترابطي تحولات ديناميكية في إشارات الدوبامين في النواة المتكئة. نات نيوروسي. 2007، 10: 1020-1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]

54. Roitman MF، Wheeler RA، Wightman RM، Carelli RM. الاستجابات الكيميائية في الوقت الحقيقي في النواة تتجمع تفرق بين المنبهات المجزية والمكرهة. نات نيوروسي. 2008، 11: 1376-1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]

55. الشباب AMJ. زيادة الدوبامين خارج الخلية في النواة يتكاثر استجابة للمنبهات المنشطة غير المشروطة والمكيفة: دراسات باستخدام XnUMX min microdialysis في الفئران. J Neurosci ميث. 1، 2004: 138-57. doi: 63 / j.jneumeth.10.1016.

56. Schultz W. وظائف الدوبامين المتعددة في دورات زمنية مختلفة. آن ريف نيوروسي. 2007، 30: 259-288. Doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]

57. تساي HC ، تشانغ F ، Adamantidis A ، Stuber GD ، Bonci A ، de Lecea L ، Deisseroth K. إن إطلاق النار في الخلايا العصبية الدوبامينية يكفي للتكيف السلوكي. علم. 2009، 324: 1080-1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]

58. Strecker RE، Jacobs BL. Substantia nigra نشاط وحدة الدوبامين في سلوك القطط: تأثير الإثارة على إفرازات عفوية ونشاط يثير الحواس. الدماغ الدقة. 1985، 361: 339-350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]

59. Ljungberg T ، Apicella P ، Schultz W. ردود خلايا العصب الدوبامين القرد أثناء تعلم التفاعلات السلوكية. ي Neurophysiol. 1992، 67: 145-163 [مجلات]

60. Horvitz JC، Stewart T، Jacobs BL. تم استنباط نشاط الاندفاع من الخلايا العصبية الدوبامين tigmental البطنية بواسطة المحفزات الحسية في القط مستيقظا. الدماغ الدقة. 1997، 759: 251-258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]

61. Sheafor PJ. حركات الفك شبه المشروطة للأرنب تعكس ارتباطات مشروطة بالإشارات الخلفية للسياق. J Exp Psychol: Anim Behav Proc. 1975، 104: 245-260. دوى: 10.1037 / 0097-7403.1.3.245.

62. Kakade S، Dayan P. Dopamine: التعميم والمكافآت. الشبكة العصبية. 2002، 15: 549-559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]

63. Richfield EK ، Pennney JB ، Young AB. مقارنات حالة تشريحية وتقارب بين مستقبلات الدوبامين D1 و D2 في الجهاز العصبي المركزي للفئران. علم الأعصاب. 1989، 30: 767-777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]

64. ماكينتوش نيوجيرسي. نظرية الاهتمام: الاختلافات في قابلية التحفيز مع التعزيز. Psychol القس 1975 ؛ 82: 276 - 298. دوى: 10.1037 / h0076778.

65. Pearce JM، Hall G. نموذج لتكييف بافلوفيان: اختلافات في فعالية المنبهات المشروطة ولكن غير المشروطة. Psychol القس 1980 ؛ 87: 532 - 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]

66. ليفي هـ ، ماركويتز هـ. تقريب المنفعة المتوقعة من خلال دالة المتوسط ​​والتباين. Am Econ Rev. 1979؛ 69: 308-317.