Предиктивный сигнал вознаграждения дофаминовых нейронов (1998)

Функции наград

Определенные объекты и события в окружающей среде имеют особое мотивационное значение, поскольку они влияют на благосостояние, выживание и воспроизводство. Согласно выявленным поведенческим реакциям, мотивационная ценность объектов окружающей среды может быть аппетитной (поощрительной) или отвратительной (наказывающей). (Обратите внимание, что «аппетит» используется как синоним «вознаграждение», но не «подготовительный».) У аппетитных объектов есть три основные функции, которые можно разделить. В их первой функции награды выявляют подход и непревзойденное поведение. Это связано с тем, что объекты помечены как имеющие аппетит через врожденные механизмы или, в большинстве случаев, через обучение. В своей второй функции награды увеличивают частоту и интенсивность поведения, приводящего к таким объектам (обучению), и они поддерживают усвоенное поведение, предотвращая вымирание. Награды служат положительным подкреплением поведения в классических и инструментальных процедур кондиционирования. В общем обучении с помощью стимулов экологические стимулы приобретают аппетитную ценность после классически обусловленных ассоциаций стимул-вознаграждение и побуждают к подходу (Биндра 1968). В инструментальной обусловленности вознаграждение «усиливает» поведение путем усиления связей между стимулами и поведенческими реакциями (Закон эффекта: Торндайк 1911). В этом суть «возвращаться к большему» и связана с общим представлением о наградах, полученных за то, что они сделали что-то хорошее. В инструментальной форме стимулирующего обучения вознаграждения являются «стимулами» и служат в качестве целей поведения, следующих за ассоциациями между поведенческими реакциями и результатами (Дикинсон и Баллейн 1994). В их третьей функции награды вызывают субъективные ощущения удовольствия (hedonia) и положительные эмоциональные состояния. Аверсивные раздражители действуют в противоположных направлениях. Они вызывают реакцию отмены и действуют как отрицательные подкрепления, увеличивая и поддерживая поведение избегания при повторном представлении, тем самым уменьшая воздействие разрушительных событий. Кроме того, они вызывают внутренние эмоциональные состояния гнева, страха и паники.

Функции прогнозов

Прогнозы предоставляют предварительную информацию о будущих стимулах, событиях или состояниях системы. Они обеспечивают основное преимущество выигрыша времени для поведенческих реакций. Некоторые формы предсказаний приписывают мотивационные ценности стимулам окружающей среды, связывая их с конкретными результатами, таким образом идентифицируя объекты жизненно важной важности и выделяя их из менее ценных объектов. Другие формы кодируют физические параметры прогнозируемых объектов, такие как пространственное положение, скорость и вес. Предсказания позволяют организму оценивать будущие события до того, как они действительно произойдут, позволяют выбирать и подготавливать поведенческие реакции и увеличивают вероятность приближения или избегания объектов, обозначенных мотивационными ценностями. Например, повторяющиеся движения объектов в одной и той же последовательности позволяют прогнозировать предстоящие позиции и уже готовят следующее движение, преследуя настоящий объект. Это уменьшает время реакции между отдельными целями, ускоряет общую производительность и приводит к более раннему результату. Прогнозирующие движения глаз улучшают поведенческие качества благодаря предварительной фокусировке (Цветы и Даунинг 1978).

На более продвинутом уровне предварительная информация, обеспечиваемая предсказаниями, позволяет принимать решения между альтернативами для достижения определенных состояний системы, сближения с редко встречающимися объектами цели или избежания непоправимого неблагоприятного воздействия. Промышленные приложения используют Внутренний Контроль Модели, чтобы предсказать и отреагировать на состояния системы, прежде чем они действительно произойдут (Гарсия и др. 1989). Например, метод «летать по проводам» в современной авиации вычисляет предсказуемые предстоящие состояния самолетов. Решения о полетных маневрах учитывают эту информацию и помогают избежать чрезмерной нагрузки на механические компоненты самолета, тем самым уменьшая вес и увеличивая дальность полета.

Использование прогнозирующей информации зависит от характера представляемых будущих событий или состояний системы. Простые представления непосредственно касаются положения предстоящих целей и последующей поведенческой реакции, тем самым сокращая время реакции довольно автоматическим способом. Более высокие формы предсказаний основаны на представлениях, допускающих логический вывод, к которым можно обращаться и обращаться с различной степенью интенциональности и выбора. Они часто обрабатываются сознательно у людей. До того как произойдут предсказанные события или состояния системы и будут проведены поведенческие реакции, такие предсказания позволяют мысленно оценивать различные стратегии путем интеграции знаний из разных источников, разработки различных способов реакции и сравнения выгод и потерь от каждой возможной реакции.

Поведенческая обусловленность

Ассоциативное аппетитное обучение включает в себя повторяющееся и случайное спаривание между произвольным стимулом и первичной наградой (рис. 1). Это приводит к все более частому поведению при подходе, индуцированному ныне «условным» стимулом, что отчасти напоминает поведение при подходе, вызванное первичной наградой, а также зависит от природы условного стимула. Похоже, что условный стимул служит предиктором вознаграждения и, часто на основе соответствующего влечения, устанавливает внутреннее мотивационное состояние, ведущее к поведенческой реакции. Сходство реакций подхода указывает на то, что некоторые общие подготовительные компоненты поведенческого ответа переносятся с первичной награды на самый ранний условный, предсказывающий награду стимул. Таким образом, условный стимул частично выступает в качестве мотивационного заменителя первичного стимула, вероятно, посредством обучения в Павлове (Дикинсон 1980).

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 1. 

Обработка аппетитных стимулов в процессе обучения. Произвольный стимул становится связанным с первичной пищей или жидким вознаграждением через повторное, случайное соединение. Этот обусловленный, предсказывающий вознаграждение стимул вызывает внутреннее мотивационное состояние, вызывая ожидание вознаграждения, часто на основе соответствующего голода или жажды, и вызывает поведенческую реакцию. Эта схема повторяет основные понятия теории побудительной мотивации, разработанной Биндра (1968) и Боллы (1972), Это относится к классической обусловленности, где вознаграждение автоматически доставляется после условного стимула, и к инструментальной (оперантной) обусловленности, где выдача вознаграждения требует реакции субъекта на условный раздражитель. Эта схема применима также к аверсивной обусловленности, которая не дорабатывается по причинам краткости.

Многие так называемые «безусловные» продукты питания и жидкие награды, вероятно, выучены на опыте, что может подтвердить каждый посетитель зарубежных стран. Основная награда может состоять из вкуса, который испытывает объект, когда он активирует вкусовые рецепторы, но это опять-таки может быть изучено. Окончательный полезный эффект питательных объектов, вероятно, заключается в их специфическом влиянии на основные биологические переменные, такие как концентрации электролита, глюкозы или аминокислот в плазме и мозге. Эти переменные определяются вегетативными потребностями организма и возникают в результате эволюции. Животные избегают питательных веществ, которые не могут влиять на важные вегетативные переменные, например, продукты, в которых отсутствуют такие незаменимые аминокислоты, как гистидин (Роджерс и Харпер 1970), треонин (Hrupka et al. 1997; Wang et al. 1996) или метионин (Делани и Гелперин 1986). Несколько первичных наград могут быть определены врожденными инстинктами и поддерживают начальный подход к поведению и проглатыванию в молодости, тогда как большинство наград будут изучены в течение последующего жизненного опыта субъекта. Физическое проявление наград может быть использовано для прогнозирования гораздо более медленных вегетативных эффектов. Это значительно ускорит обнаружение наград и станет основным преимуществом для выживания. Изучение наград также позволяет субъектам использовать гораздо большее разнообразие питательных веществ в качестве эффективных наград и, таким образом, увеличить свои шансы на выживание в зонах ограниченных ресурсов.

Активация первичными стимулами аппетита

Около 75% нейронов дофамина показывают фазные активации, когда животные касаются небольшого куска скрытой пищи во время исследовательских движений в отсутствие других фазовых стимулов, без активации самим движением (Ромо и Шульц 1990). Оставшиеся дофаминовые нейроны не реагируют ни на один из протестированных факторов окружающей среды. Дофаминовые нейроны также активируются с помощью капли жидкости, поступающей в рот вне какой-либо поведенческой задачи или при изучении таких различных парадигм, как визуальные или слуховые задачи времени реакции, пространственная задержка реакции или чередование и визуальная дискриминация, часто у одного и того же животного (рис. , 2 топ) (Холлерман и Шульц 1996; Ljungberg et al. 1991, 1992; Миренович и Шульц 1994; Schultz et al. 1993). Ответные ответы происходят независимо от учебного контекста. Таким образом, дофаминовые нейроны, по-видимому, не делают различий между различными пищевыми объектами и жидкими наградами. Тем не менее, их ответы отличают награды от неприбыльных объектов (Ромо и Шульц 1990). Только 14% нейронов дофамина показывают фазные активации, когда представлены первичные аверсивные стимулы, такие как воздушная затяжка в руке или гипертонический солевой раствор во рту, и большинство активированных нейронов также реагируют на вознаграждения (Миренович и Шульц 1996). Несмотря на то, что эти раздражители не являются вредными, они являются отвратительными, поскольку они нарушают поведение и вызывают реакции активного избегания. Тем не менее, дофаминовые нейроны не совсем нечувствительны к неприятным раздражителям, о чем свидетельствуют медленные депрессии или случайные медленные активации после болевых ощущений у обезболенных обезьян (Шульц и Ромо 1987) и повышенным выделением дофамина в полосатом теле после поражения электрическим током и защемления хвоста у бодрствующих крыс (Abercrombie et al. 1989; Доэрти и Граттон 1992; Louilot et al. 1986; Young et al. 1993). Это говорит о том, что фазовые ответы нейронов дофамина преимущественно сообщают о стимулах окружающей среды с первичной аппетитной ценностью, тогда как об аверсивных событиях можно сигнализировать с значительно более медленным течением времени.

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 2. 

Дофаминовые нейроны сообщают о наградах в соответствии с ошибкой в ​​прогнозе вознаграждения. Топовое: падение жидкости происходит, хотя награда не предсказана в это время. Возникновение вознаграждения, таким образом, представляет собой положительную ошибку в прогнозировании вознаграждения. Дофаминовый нейрон активируется непредвиденным появлением жидкости. средняя: условный стимул предсказывает вознаграждение, и вознаграждение происходит в соответствии с предсказанием, следовательно, нет ошибки в предсказании вознаграждения. Дофаминовый нейрон не активируется предсказанным вознаграждением (право). Это также показывает активацию после стимула, предсказывающего вознаграждение, которое происходит независимо от ошибки в предсказании более позднего вознаграждения (оставил). Дно: условный раздражитель предсказывает вознаграждение, но вознаграждение не наступает из-за отсутствия реакции животного. Активность дофаминового нейрона подавляется как раз в то время, когда могло бы произойти вознаграждение. Обратите внимание на депрессию, возникающую более чем через 1 секунду после условного стимула без каких-либо промежуточных стимулов, выявляя внутренний процесс ожидания вознаграждения. Нейрональная активность на 3 графиках соответствует уравнению: дофаминовая реакция (вознаграждение) = полученное вознаграждение - прогнозируемое вознаграждение. CS - условный раздражитель; R, основная награда. Перепечатано с Шульц и соавт. (1997) с разрешения Американской ассоциации содействия развитию науки.

Непредсказуемость вознаграждения

Важной особенностью ответов дофамина является их зависимость от непредсказуемости события. Активация после вознаграждения не происходит, когда пище и жидкости предшествуют фазические раздражители, которые были обусловлены для предсказания такого вознаграждения (рис. 2, средний) (Ljungberg et al. 1992; Миренович и Шульц 1994; Ромо и Шульц 1990). Одним из важных различий между обучением и полностью усвоенным поведением является степень непредсказуемости вознаграждения. Дофаминовые нейроны активируются наградами во время фазы обучения, но перестают отвечать после полного овладения зрительными и слуховыми задачами времени реакции (Ljungberg et al. 1992; Миренович и Шульц 1994), пространственные задачи с задержкой ответа (Schultz et al. 1993) и одновременное визуальное различение (Холлерман и Шульц 1996). Потеря ответа не происходит из-за развивающейся общей нечувствительности к вознаграждениям, поскольку активация после вознаграждений, полученных вне заданий, не уменьшается в течение нескольких месяцев экспериментов (Миренович и Шульц 1994). Важность непредсказуемости включает время вознаграждения, о чем свидетельствуют кратковременные активации после вознаграждений, которые неожиданно доставляются раньше или позже, чем прогнозировалось (Холлерман и Шульц 1996). Взятые вместе, возникновение награды, включая время, должно быть непредсказуемым для активации дофаминовых нейронов.

Депрессия из-за пропуска предсказанного вознаграждения

Дофаминовые нейроны подавляются точно во время обычного возникновения награды, когда полностью предсказанное вознаграждение не может произойти, даже в отсутствие непосредственно предшествующего стимула (рис. 2, нижний). Это наблюдается, когда животные не могут получить вознаграждение из-за ошибочного поведения, когда экспериментатор останавливает поток жидкости, несмотря на правильное поведение, или когда звуковой клапан открывается без подачи жидкости (Холлерман и Шульц 1996; Ljungberg et al. 1991; Schultz et al. 1993). Когда доставка вознаграждения задерживается для 0.5 или 1.0 s, снижение активности нейронов происходит в обычное время вознаграждения, и активация следует за вознаграждением в новое время (Холлерман и Шульц 1996). Оба ответа происходят только в течение нескольких повторений, пока новое время доставки вознаграждения не станет предсказанным снова. Напротив, предоставление вознаграждения раньше, чем обычно, приводит к активации в новое время вознаграждения, но не может вызвать депрессию в обычное время. Это говорит о том, что необычно ранняя доставка вознаграждения отменяет прогноз вознаграждения за привычное время. Таким образом, дофаминовые нейроны контролируют как возникновение, так и время вознаграждения. В отсутствие стимулов, непосредственно предшествующих пропущенному вознаграждению, депрессии не представляют собой простой нейрональный ответ, но отражают процесс ожидания, основанный на внутренних часах, отслеживающих точное время прогнозируемого вознаграждения.

Активация с помощью условных, прогнозирующих стимулов

О 55 – 70% дофаминовых нейронов активируются условными зрительными и слуховыми стимулами в различных классических или инструментальных условных задачах, описанных ранее (рис. 2, средний и нижний) (Холлерман и Шульц 1996; Ljungberg et al. 1991, 1992; Миренович и Шульц 1994; Шульц 1986; Шульц и Ромо 1990; P. Waelti, J. Mirenowicz и W. Schultz, неопубликованные данные). Первые ответы допамина на условный свет были зарегистрированы Миллер и соавт. (1981) у крыс, получавших галоперидол, что увеличивало частоту и спонтанную активность дофаминовых нейронов, но приводило к более устойчивым ответам, чем у ненарушенных животных. Хотя ответы происходят близко к поведенческим реакциям (Нишино и соавт. 1987) они сами не связаны с движениями рук и глаз, так как они происходят также в стороне от движущейся руки и в испытаниях без движений рук или глаз (Шульц и Ромо 1990). Условные раздражители несколько менее эффективны, чем первичные вознаграждения, с точки зрения величины реакции и доли активированных нейронов. Дофаминовые нейроны реагируют только на начало условных раздражителей, а не на их смещение, даже если смещение стимула предсказывает вознаграждение (Шульц и Ромо 1990). Дофаминовые нейроны не различают визуальные и слуховые модальности условных стимулов аппетита. Однако они различают аппетитные и нейтральные или отвращающие стимулы, если они физически достаточно различны (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz и W. Schultz, неопубликованные данные). Только 11% нейронов дофамина, большинство из которых имеют аппетитные реакции, показывают типичные фазовые активации также в ответ на условно-отрицательные зрительные или слуховые раздражители в задачах активного избегания, в которых животные выпускают ключ, чтобы избежать воздушной затяжки или капли гипертонического солевого раствора. (Миренович и Шульц 1996), хотя такое избегание можно рассматривать как «полезное». Эти несколько активаций недостаточно сильны, чтобы вызвать реакцию среднего населения. Таким образом, фазовые ответы дофаминовых нейронов преимущественно сообщают об экологических стимулах с аппетитной мотивационной ценностью, но без различия между различными сенсорными модальностями.

Передача активации

В ходе обучения дофаминовые нейроны постепенно активируются с помощью обусловленных, предсказывающих вознаграждение стимулов и постепенно теряют свои реакции на первичные пищевые или жидкие вознаграждения, которые становятся предсказуемыми (Холлерман и Шульц 1996; Ljungberg et al. 1992; Миренович и Шульц 1994) (Рис. 2 и 3). В течение переходного периода обучения, как награды, так и условные стимулы вызывают активации дофамина. Этот переход от первичного вознаграждения к условному стимулу происходит мгновенно в одиночных дофаминовых нейронах, протестированных в двух хорошо изученных задачах, использующих, соответственно, непредсказуемые и предсказанные вознаграждения (Ромо и Шульц 1990).

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 3. 

Передача дофаминового ответа на самый ранний прогностический стимул. Реакции на непредсказуемую первичную передачу вознаграждения на все более ранние предсказывающие вознаграждение стимулы. На всех дисплеях показаны гистограммы популяции, полученные путем усреднения нормированных гистограмм времени в целом для всех дофаминовых нейронов, зарегистрированных в указанных поведенческих ситуациях, независимо от наличия или отсутствия ответа. Топовое: вне какой-либо поведенческой задачи, нет реакции популяции в нейронах 44, протестированных с небольшим светом (данные из Ljungberg et al. 1992), но в среднем 35 нейронов реагируют на каплю жидкости, попавшую в носик перед ртом животного (Миренович и Шульц 1994). средняя: ответ на триггерный стимул, предсказывающий вознаграждение, в задаче пространственного достижения с выбором 2, но отсутствие реакции на вознаграждение, доставленное во время установленного выполнения задачи в тех же нейронах 23 (Schultz et al. 1993). Дно: ответ на сигнал команды, предшествующий триггерному стимулу, предсказывающему награду, через фиксированный интервал 1 s в заданной задаче пространственного достижения (нейроны 19) (Schultz et al. 1993). Временная база разделена из-за различных интервалов между условными стимулами и вознаграждением. Перепечатано из Шульц и соавт. (1995b) с разрешения MIT Press.

Непредсказуемость условных раздражителей

Активации после условных, предсказывающих вознаграждение стимулов не происходят, когда самим этим стимулам в определенном интервале времени предшествуют фазические условные стимулы. Таким образом, при последовательных условных стимулах дофаминовые нейроны активируются самым ранним стимулом, предсказывающим награду, тогда как все стимулы и вознаграждения, следующие в предсказуемые моменты времени, оказываются неэффективными (рис. 3) (Schultz et al. 1993). Только случайно расположенные последовательные стимулы вызывают индивидуальные ответы. Кроме того, интенсивное перетренирование с высоко стереотипным выполнением задачи ослабляет реакцию на условные раздражители, вероятно, потому, что раздражители становятся предсказанными событиями в предыдущем испытании (Ljungberg et al. 1992). Это говорит о том, что непредсказуемость стимулов является общим требованием для всех стимулов, активирующих дофаминовые нейроны.

Депрессия путем пропуска предсказанных условных раздражителей

Предварительные данные из предыдущего эксперимента (Schultz et al. 1993предполагают, что дофаминовые нейроны также находятся в депрессии, когда условный, предсказывающий вознаграждение стимул сам предсказывается в определенное время предшествующим стимулом, но не происходит из-за ошибки животного. Как и в случае с первичным вознаграждением, депрессии возникают во время обычного возникновения условного раздражителя, без непосредственного воздействия предшествующего раздражителя. Таким образом, депрессия, вызванная упущением, может быть распространена на все аппетитные события.

Активация-депрессия с генерализацией ответа

Дофаминовые нейроны также реагируют на стимулы, которые не предсказывают вознаграждение, но очень похожи на предсказывающие вознаграждение стимулы, возникающие в том же контексте. Эти ответы состоят в основном из активации, за которой следует немедленная депрессия, но иногда могут состоять из чистой активации или чистой депрессии. Активации меньше и реже, чем при стимулах, предсказывающих вознаграждение, а депрессии наблюдаются у 30 – 60% нейронов. Дофаминовые нейроны реагируют на зрительные стимулы, которые не сопровождаются вознаграждением, но очень похожи на предсказывающие вознаграждение стимулы, несмотря на правильную поведенческую дискриминацию (Шульц и Ромо 1990). Открытие пустой коробки не активирует дофаминовые нейроны, но становится эффективным в каждом испытании, как только коробка иногда содержит пищу (Ljungberg et al. 1992; Шульц 1986; Шульц и Ромо 1990) или когда соседний, идентичный ящик, всегда содержащий еду, открывается в случайном порядке (Шульц и Ромо 1990). Пустая коробка вызывает более слабые активации, чем приманка. Животные выполняют беспорядочную глазную ориентацию на каждую коробку, но приближаются к коробке с наживкой только рукой. Во время обучения дофаминовые нейроны продолжают реагировать на ранее обусловленные стимулы, которые теряют свой прогноз вознаграждения при изменении непредвиденных обстоятельств (Schultz et al. 1993) или реагировать на новые раздражители, напоминающие ранее обусловленные раздражители (Холлерман и Шульц 1996). Реакции возникают даже на аверсивные стимулы, представленные в случайном чередовании с физически сходными, обусловленными аппетитом стимулами той же сенсорной модальности, причем аверсивный ответ слабее, чем аппетитный (Миренович и Шульц 1996). Реакции обобщаются даже на поведенческие потухшие аппетитные стимулы. По-видимому, нейрональные ответы обобщаются на неаппетитные стимулы из-за их физического сходства с аппетитными стимулами.

Новизна ответов

Новые стимулы вызывают активацию дофаминовых нейронов, которая часто сопровождается депрессией и сохраняется до тех пор, пока возникают поведенческие ориентировочные реакции (например, глазные саккады). Активации стихают вместе с ориентировочными реакциями после нескольких повторений стимулов, в зависимости от физического воздействия стимулов. В то время как маленькие светодиоды почти не вызывают реакции новизны, вспышки света и быстрое визуальное и слуховое открытие маленькой коробки вызывают активации, которые постепенно сходят на нет в течение <100 испытаний (Ljungberg et al. 1992). Громкие щелчки или большие изображения непосредственно перед животным вызывают сильные реакции новизны, которые затухают, но все же вызывают измеримые активации после> 1,000 испытаний (Холлерман и Шульц 1996; Хорвиц и соавт. 1997; Steinfels et al. 1983). фигура 4 схематически показывает различные величины отклика с новыми стимулами различной физической значимости. Ответы постепенно затухают при повторном воздействии, но могут сохраняться при уменьшенных величинах при очень заметных раздражителях. Величины ответа снова возрастают, когда те же стимулы аппетитно обусловлены. Напротив, ответы на новые, даже большие, стимулы быстро стихают, когда стимулы используются для формирования поведения активного избегания (Миренович и Шульц 1996). Очень немногие нейроны (<5%) при более чем нескольких попытках реагируют на заметные, но физически слабые раздражители, такие как крошка бумаги или грубые движения рук экспериментатора.

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 4. 

Временные ходы активаций дофаминовых нейронов к новым, предупреждающим и условным раздражителям. Активации после новых стимулов уменьшаются при повторном воздействии в течение последовательных испытаний. Их величина зависит от физической значимости стимулов, поскольку более сильные стимулы вызывают более высокие активации, которые иногда превышают таковые после условных стимулов. Особенно существенные стимулы продолжают активировать дофаминовые нейроны с ограниченной величиной даже после потери их новизны без сочетания с первичными наградами. Последовательные активации появляются снова, когда стимулы становятся связаны с первичными наградами. Эту схему внес Хосе Контрерас-Видаль.

Однородный характер ответов

Проведенные до сих пор эксперименты показали, что большинство нейронов в группах допаминовых клеток среднего мозга A8, A9 и A10 демонстрируют очень похожие активации и депрессии в данной поведенческой ситуации, тогда как остальные нейроны дофамина вообще не реагируют. Существует тенденция к увеличению доли нейронов, отвечающих в более медиальных областях среднего мозга, таких как вентральная сегментарная область и медиальная черная субстанция, по сравнению с более латеральными областями, которые иногда достигают статистической значимости (Шульц 1986; Schultz et al. 1993). Латентность ответа (50–110 мс) и продолжительность (<200 мс) одинаковы для первичных поощрений, условных стимулов и новых стимулов. Таким образом, дофаминовый ответ представляет собой относительно однородный скалярный популяционный сигнал. Он оценивается по величине реактивностью отдельных нейронов и долей отвечающих нейронов в популяции.

Резюме 1: адаптивные ответы во время обучения

Характеристики реакций дофамина на стимулы, связанные с вознаграждением, лучше всего иллюстрируются в эпизодах обучения, во время которых награды особенно важны для получения поведенческих реакций. Сигнал вознаграждения допамина претерпевает систематические изменения в процессе обучения и происходит с самым ранним фазовым стимулом, связанным с вознаграждением, который является либо первичным вознаграждением, либо стимулом, предсказывающим вознаграждение (Ljungberg et al. 1992; Миренович и Шульц 1994). Во время обучения новые, изначально нейтральные стимулы временно вызывают реакции, которые вскоре ослабевают и исчезают (рис. 4). Первичное вознаграждение происходит непредсказуемо во время начального спаривания с такими стимулами и вызывает нейронные активации. При повторном спаривании награды становятся предсказуемыми с помощью условных раздражителей. Активации после вознаграждения постепенно уменьшаются и переходят в условный, предсказывающий вознаграждение стимул. Однако, если прогнозируемое вознаграждение не происходит из-за ошибки животного, дофаминовые нейроны находятся в депрессии в то время, когда вознаграждение произошло бы. При повторном изучении заданий (Schultz et al. 1993) или компоненты задачи (Холлерман и Шульц 1996), самые ранние условные раздражители активируют дофаминовые нейроны на всех этапах обучения из-за обобщения на ранее изученные аналогичные раздражители, тогда как последующие условные раздражители и первичные вознаграждения активируют дофаминовые нейроны только временно, пока они неопределенны, и создаются новые непредвиденные обстоятельства.

Резюме 2: эффективные стимулы для дофаминовых нейронов

Ответы допамина вызываются тремя категориями раздражителей. Первая категория включает в себя первичные вознаграждения и стимулы, которые стали действительными предикторами вознаграждения за счет повторного и условного сопряжения с вознаграждениями. Эти стимулы образуют общий класс явных стимулов, предсказывающих вознаграждение, поскольку первичные вознаграждения служат предикторами вегетативных поощрительных эффектов. Эффективные стимулы, по-видимому, имеют предупреждающий компонент, так как эффективны только стимулы с явным началом. Дофаминовые нейроны демонстрируют чистую активацию после явных стимулов, предсказывающих вознаграждение, и находятся в депрессии, когда предсказанное, но пропущенное вознаграждение не происходит (рис. 5, топ).

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 5. 

Схематическое отображение ответов дофаминовых нейронов на типы условных раздражителей 2. Топовое: представление явного стимула, предсказывающего вознаграждение, приводит к активации после стимула, отсутствию реакции на предсказанное вознаграждение и депрессии, когда предсказанное вознаграждение не происходит. Дно: предъявление стимула, очень похожего на условный, предсказывающий вознаграждение стимул, приводит к активации, сопровождаемой депрессией, активацией после вознаграждения и отсутствием реакции, когда вознаграждение не происходит. Активация после стимула, вероятно, отражает генерализацию реакции из-за физического сходства. Этот стимул явно не предсказывает вознаграждение, но связан с вознаграждением через его сходство со стимулом, предсказывающим вознаграждение. По сравнению с явными стимулами, предсказывающими вознаграждение, активация ниже и часто сопровождается депрессией, что делает различие между вознагражденными (CS +) и невыплаченными (CS-) условными стимулами. Эта схема суммирует результаты предыдущих и текущих экспериментов (Холлерман и Шульц 1996; Ljungberg et al. 1992; Миренович и Шульц 1996; Шульц и Ромо 1990; Schultz et al. 1993; П. Ваэлти и В. Шульц, неопубликованные результаты).

Вторая категория включает стимулы, которые вызывают обобщающие ответы. Эти стимулы не предсказывают явно вознаграждения, но являются эффективными из-за их физического сходства со стимулами, которые стали явными предикторами вознаграждения посредством обусловленности. Эти стимулы вызывают активации, которые имеют меньшую величину и задействуют меньше нейронов, по сравнению с явными стимулами, предсказывающими награды (рис. 5, нижний). За ними часто следуют немедленные депрессии. В то время как начальная активация может представлять собой обобщенный аппетитный ответ, который сигнализирует о возможном вознаграждении, последующее снижение может отражать прогноз отсутствия вознаграждения в общем контексте прогнозирования вознаграждения и отменять ошибочное допущение вознаграждения. Отсутствие явного прогноза вознаграждения подтверждается наличием активации после первичного вознаграждения и отсутствием депрессии без вознаграждения. Вместе с реакциями на предсказывающие вознаграждение стимулы создается впечатление, что при активации допамина сообщается о аппетитной «метке», прикрепленной к стимулам, связанным с вознаграждением.

Третья категория включает в себя новые или особенно важные стимулы, которые не обязательно связаны с конкретными наградами. Вызывая поведенческие ориентирующие реакции, эти стимулы предупреждают и требуют внимания. Тем не менее, они также имеют мотивирующие функции и могут быть полезными (Fujita 1987). Новые стимулы потенциально аппетитны. Новые или особенно заметные стимулы вызывают активации, за которыми часто следуют депрессии, аналогичные реакциям на обобщающие стимулы.

Таким образом, фазовые ответы нейронов допамина сообщают о событиях с положительными и потенциально положительными мотивирующими эффектами, такими как первичное вознаграждение, предсказывающие вознаграждение стимулы, напоминающие вознаграждение события и предупреждающие стимулы. Тем не менее, они не обнаруживают в значительной степени события с негативными побудительными эффектами, такие как аверсивные стимулы.

Резюме 3: сигнал ошибки предсказания награды за допамин

Ответы допамина на явные события, связанные с вознаграждением, могут быть лучше всего поняты и поняты с точки зрения формальных теорий обучения. Дофаминовые нейроны сообщают о вознаграждениях относительно их прогноза, а не сообщают о первичных вознаграждениях безоговорочно (рис. 2). Реакция допамина является положительной (активация), когда первичное вознаграждение происходит без предсказания. Реакция равна нулю, когда вознаграждение происходит так, как предсказано. Реакция отрицательная (депрессия), когда прогнозируемые вознаграждения опущены. Таким образом, дофаминовые нейроны сообщают о первичных вознаграждениях в соответствии с разницей между возникновением и предсказанием вознаграждения, которое можно назвать ошибкой в ​​предсказании вознаграждения (Шульц и соавт. 1995b, 1997) и предварительно формализовано как

Уравнение 1 Это предположение может быть распространено на обусловленные аппетит события, которые также сообщаются дофаминовыми нейронами относительно прогноза. Таким образом, дофаминовые нейроны могут сообщать об ошибке в прогнозировании всех аппетитных событий, и Eq. 1 можно изложить в более общем виде

Уравнение 2Это обобщение совместимо с идеей, что большинство наград на самом деле являются условными стимулами. С несколькими последовательными, хорошо установленными событиями, предсказывающими награды, только первое событие непредсказуемо и вызывает активацию дофамина.

Происхождение ответа дофамина

Какие анатомические данные могут быть ответственны за селективность и полисенсорный характер дофаминовых ответов? Какая входная активность может привести к кодированию ошибок предсказания, вызвать адаптивную передачу ответа на самое раннее непредсказуемое событие аппетита и оценить время вознаграждения?

Фазовое допаминовое влияние на целевые структуры

ГЛОБАЛЬНАЯ ПРИРОДА ДОФАМИННОГО СИГНАЛА.

Расходящиеся прогнозы. В каждой черной субстанции крыс имеется N8,000 дофаминовые нейроны (Оршот 1996) и 80,000 – 116,000 у макак (German et al. 1988; Percheron et al. 1989). Каждый стриатум содержит N2.8 миллионов нейронов у крыс и 31 миллионов у макак, что приводит к фактору дивергенции в нигростриатальном диапазоне 300 – 400. Каждый аксон дофамина обильно разветвляется в ограниченной терминальной области в полосатом теле и имеет has500,000 варикозное расширение вен, из которого высвобождается дофамин (Andén et al. 1966). Это приводит к введению допамина почти в каждый стриальный нейрон (Groves et al. 1995) и умеренно топографическая нигростриатальная проекция (Линд-Балта и Хабер 1994). Корневая дофаминовая иннервация у обезьян самая высокая в областях 4 и 6, она все еще имеет значительные размеры в лобной, теменной и височной долях и является самой низкой в ​​затылочной доле (Berger et al. 1988; Уильямс и Гольдман-Ракич 1993). Корковые дофаминовые синапсы преимущественно обнаруживаются в слоях I и V – VI, контактируя с большой долей кортикальных нейронов. Вместе с довольно однородной природой ответа эти данные позволяют предположить, что ответ допамина развивается как одновременная параллельная волна активности от среднего мозга до стриатума и лобной коры (рис. 7).

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 7. 

Глобальный сигнал допамина продвигается к стриатуме и коре. Относительно однородный популяционный ответ большинства дофаминовых нейронов на стимулы аппетита и предупреждения и его прогрессирование от черной субстанции до постсинаптических структур можно схематически рассматривать как волну синхронной параллельной активности, развивающейся со скоростью 1 – 2 м / с (Шульц и Ромо 1987) по расходящимся проекциям от среднего мозга до стриатума (хвостата и путамена) и коры головного мозга. Ответы качественно неразличимы между нейронами черной субстанции (SN), pars compacta и вентральной области (VTA). Иннервация дофамина всех нейронов в полосатом теле и многих нейронов в лобной коре позволила бы усилению сигнала допамина оказывать довольно глобальный эффект. Волна была сжата, чтобы подчеркнуть параллельную природу.

Выпуск допамина. Импульсы дофаминовых нейронов с интервалами 20 – 100 мс приводят к значительно более высокой концентрации дофамина в стриатуме, чем такое же количество импульсов с интервалами 200 мс (Гаррис и Вайтман 1994; Гонон 1988). Эта нелинейность обусловлена ​​главным образом быстрым насыщением транспортера обратного захвата дофамина, который очищает высвобождающийся дофамин от внессинаптической области (Chergui et al. 1994). Тот же эффект наблюдается в прилежащем ядре (Вайтман и Циммерман 1990) и происходит даже с более длительными импульсными интервалами из-за более редких сайтов обратного захвата (Гаррис и соавт. 1994b; Marshall et al. 1990; Стэмфорд и соавт. 1988). Высвобождение дофамина после всплеска импульса длительностью <300 мс слишком короткое для активации опосредованного ауторецепторами снижения выброса (Chergui et al. 1994) или даже более медленная ферментативная деградация (Майкл и соавт. 1985). Таким образом, разрывная реакция дофамина особенно эффективна для высвобождения дофамина.

Оценки, основанные на вольтамперометрии in vivo, показывают, что один импульс высвобождает молекулы дофамина N1,000 в синапсах в стриатуме и в прилежащем ядре. Это приводит к немедленной концентрации синаптического дофамина 0.5 – 3.0 мкМ (Гаррис и соавт. 1994a; Kawagoe et al. 1992). Через 40 мкс после начала высвобождения> 90% дофамина покидает синапс, а часть остального позже элиминируется синаптическим обратным захватом (половинное время начала 30–37 мс). Через 3–9 мс после начала высвобождения концентрации дофамина достигают пика ~ 250 нМ, когда все соседние варикозные узлы одновременно выделяют дофамин. Концентрации однородны в пределах сферы диаметром 4 мкм (Гонон 1997), которое является средним расстоянием между варикозамиDoucet et al. 1986; Groves et al. 1995). Максимальная диффузия ограничивается 12 мкм транспортером обратного захвата и достигается через 75 мс после начала высвобождения (время начала половинного транспортера 30–37 мс). Концентрации будут немного ниже и менее однородными в регионах с меньшим количеством варикозных расширений или когда активировано <100% дофаминовых нейронов, но они в два-три раза выше при импульсных всплесках. Таким образом, вызываемые вознаграждением, умеренно синхронные, взрывные активации в ~ 75% дофаминовых нейронов могут приводить к довольно однородным пикам концентрации порядка 150-400 нМ. Общее увеличение внеклеточного дофамина длится 200 мс после одиночного импульса и 500-600 мс после нескольких импульсов с интервалами 20-100 мс, приложенных в течение 100-200 мс (Chergui et al. 1994; Дугаст и соавт. 1994). Экстрасинаптический транспортер обратного захвата (Ниренберг и соавт. 1996) впоследствии приводит концентрацию дофамина к исходному уровню 5 – 10 нМ (Herrera-Marschitz et al. 1996). Таким образом, в отличие от классической строго синаптической нейротрансмиссии, синаптически высвобождаемый дофамин быстро диффундирует в непосредственную слизисто-синаптическую область и достигает коротких пиков региональных гомогенных внеклеточных концентраций.

Рецепторы. Из двух основных типов дофаминовых рецепторов рецепторы типа D1, активирующие аденилатциклазу, составляют ∼80% рецепторов дофамина в стриатуме. Из них 80% находятся в низкоаффинном состоянии 2 – 4 мкМ и 20% в высокоаффинном состоянии 9 – 74 нМ (Ричфилд и др. 1989). Остальные 20% рецепторов стриатального допамина относятся к типу D2, ингибирующему аденилазную циклазу, где 10-0% находятся в состоянии с низкой аффинностью, а 80-90% в состоянии с высокой аффинностью, с такими же аффинностями, что и рецепторы D1. Таким образом, рецепторы D1 в целом имеют в 100 раз меньшее сродство, чем рецепторы D2. Стриатальные D1-рецепторы расположены преимущественно на нейронах, выступающих на внутренний паллидум и субстанцию ​​nigra pars reticulata, тогда как стриатальные D2-рецепторы расположены в основном на нейронах, выступающих на наружный паллидум (Bergson et al. 1995; Герфен и соавт. 1990; Hersch et al. 1995; Levey et al. 1993). Тем не менее, различия в чувствительности рецепторов могут не играть роль за пределами передачи сигнала, таким образом уменьшая различия в чувствительности к дофамину между двумя типами стриатальных выходных нейронов.

Дофамин высвобождается до 30 – 40% от синаптических и до 60 – 70% от экстрасинаптических варикозных расширений (Descarries et al. 1996). Синаптически высвобождаемый дофамин действует на постсинаптические дофаминовые рецепторы в четырех анатомически отличных местах в полосатом теле, а именно в синапсах дофамина, непосредственно примыкающих к синапсам дофамина, внутри кортикостриатальных синапсов глутамата и в экстрасинаптических участках, удаленных от мест высвобождения (рис. 8) (Levey et al. 1993; Sesack et al. 1994; Юнг и соавт. 1995). Рецепторы D1 локализуются в основном за пределами синапсов дофамина (Caillé et al. 1996). Высокие кратковременные концентрации дофамина после фазовых импульсных всплесков будут активировать рецепторы D1 в непосредственной близости от сайтов активного высвобождения и активировать и даже насыщать рецепторы D2 повсюду. Рецепторы D2 остаются частично активированными, когда концентрация допамина в окружающей среде возвращается к исходному уровню после фазового повышения.

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 8. 

Влияние высвобождения допамина на типичные срединно-колючие нейроны в дорсальном и вентральном полосатом теле. Дофамин, высвобождаемый импульсами синаптических варикозов, активирует несколько синаптических рецепторов (вероятно, типа D2 в состоянии с низкой аффинностью) и быстро диффундирует из синапса, чтобы достичь рецепторов типа D1 с низкой аффинностью (D1?), Которые расположены поблизости, в кортикостриатальных синапсах или на ограниченном расстоянии. Фазически повышенный дофамин активирует близкие высокоаффинные рецепторы типа D2 к насыщению (D2?). Рецепторы D2 остаются частично активированными окружающими концентрациями дофамина после фазически увеличенного высвобождения. Экстрасинаптически высвобождаемый дофамин может разбавляться диффузией и активировать рецепторы D2 с высоким сродством. Следует отметить, что, в отличие от этой схематической диаграммы, большинство рецепторов D1 и D2 расположены на разных нейронах. Глутамат, высвобождаемый из кортикостриатальных терминалов, достигает постсинаптических рецепторов, расположенных на тех же дендритных шипиках, что и варикозное расширение вен допамина. Глутамат также достигает пресинаптического варикозного расширения допамина, где он контролирует высвобождение дофамина. Влияние дофамина на колючие нейроны лобной коры во многом сопоставимо.

Основная. Наблюдаемый умеренный разрыв, кратковременный, почти синхронный ответ большинства дофаминовых нейронов приводит к оптимальному одновременному высвобождению дофамина из большинства близко расположенных варикозных полос. Нейрональный ответ индуцирует короткое дуновение дофамина, который высвобождается из внезинаптических участков или быстро диффундирует из синапсов в юкстасинаптическую область. Дофамин быстро достигает региональных гомогенных концентраций, которые могут влиять на дендриты, вероятно, всех стриатальных и многих корковых нейронов. Таким образом, сообщение о вознаграждении в 60 – 80% дофаминовых нейронов транслируется в виде расходящегося, довольно глобального сигнала усиления в стриатум, прилежащее ядро ​​и лобную кору, обеспечивая поэтапное влияние на максимальное количество синапсов, участвующих в обработке. стимулов и действий, ведущих к вознаграждению (рис. 7). Дофамин, высвобождаемый активациями нейронов после поощрений и предсказывающих вознаграждение стимулов, будет влиять на сукссинаптические рецепторы D1 на стриатальных нейронах, выступающих на внутренний паллидум и субстанцию ​​nigra pars reticulata, и на все рецепторы D2 на нейронах, выступающих на внешний паллидум. Снижение выброса дофамина, вызванное депрессиями с пропущенными поощрениями и предсказывающими вознаграждения стимулами, уменьшит тоническую стимуляцию рецепторов D2 окружающим дофамином. Таким образом, ошибки прогнозирования положительного вознаграждения влияют на все типы нейронов стриатального выхода, тогда как ошибка отрицательного прогнозирования может преимущественно влиять на нейроны, проецируемые на внешний паллидум.

Потенциальные кокаиновые механизмы. Блокада переносчика обратного захвата дофамина такими препаратами, как кокаин или амфетамин, усиливает и продлевает периодическое увеличение концентрации дофамина (Черч и др. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). Усиление будет особенно заметным, когда быстрое, вызванное взрывом увеличение концентрации дофамина достигнет пика, прежде чем регулирование с обратной связью станет эффективным. Этот механизм может привести к значительному усилению дофаминового сигнала после первичных поощрений и предсказывающих вознаграждение стимулов. Это также увеличило бы немного более слабый дофаминовый сигнал после стимулов, напоминающих вознаграждение, новые стимулы и особенно существенные стимулы, которые могут быть частыми в повседневной жизни. Усиление кокаином позволило бы этим невыгодным стимулам казаться такими же сильными или даже более сильными, чем естественные выгоды без кокаина. Постсинаптические нейроны могут неправильно истолковывать такой сигнал как особенно заметное событие, связанное с вознаграждением, и подвергаться долговременным изменениям в синаптической передаче.

Теории обучения

Алгоритмы армирования

ВРЕМЕННОЕ РАЗНОЕ ОБУЧЕНИЕ.

В особенно эффективном классе алгоритмов подкрепления (Sutton 1988; Саттон и Барто 1981), синаптические веса изменяются в соответствии с ошибкой в ​​прогнозировании подкрепления, вычисленной по последовательным временным шагам (t) в каждом испытании

rˆ(t)=r(t)+P(t)-P(t-l)

Уравнение 6where r это подкрепление и P это прогноз подкрепления. Р (т) обычно умножается на коэффициент дисконтирования γ, где 0 ≤ γ <1, чтобы учесть уменьшение влияния все более отдаленных вознаграждений. Для простоты γ здесь установлено равным 1. В случае одного стимула, предсказывающего одно подкрепление, предсказание P(t - 1) существует раньше времени t подкрепления, но заканчивается во время подкрепления [Р (т) = 0]. Это приводит к эффективному усилению сигнала в то время (Т) подкрепления

rˆ (t)=r(t)-P(t-l)

Уравнение 6aАссоциация р(t) термин указывает на разницу между фактическим и прогнозируемым усилением. Во время обучения подкрепление не полностью предсказано, термин ошибки является положительным, когда происходит подкрепление, и веса синапсов увеличиваются. После обучения подкрепление полностью предсказывается предшествующим стимулом [P(t - 1) = r(t)], при правильном поведении термин ошибки равен нулю, а синаптические веса остаются неизменными. Когда подкрепление опускается из-за неадекватной производительности или измененных непредвиденных обстоятельств, ошибка является отрицательной, и синаптические веса уменьшаются. р(t) является аналогом (λ-V) погрешность модели Rescorla-Wagner (Eq. 4 ). Однако это касается отдельных временных шагов (t) внутри каждого испытания, а не прогнозы, развивающиеся в течение последовательных испытаний. Эти временные модели подкрепления основаны на том факте, что полученные прогнозы включают точное время подкрепления (Dickinson et al. 1976; Галлистель 1990; Смит 1968).

Алгоритмы временного различия (TD) также используют полученные прогнозы для изменения синаптических весов. В случае непредсказуемого, единственного условного стимула, предсказывающего единственное подкрепление, предсказание Р (т) начинается во время (Т), нет предыдущего прогноза [P(t - 1) = 0], а усиление еще не произошло [r(t) = 0]. В соответствии с Eq. 6, модель излучает чисто прогнозирующий эффективный сигнал подкрепления в то время (t) прогноза

rˆ=P(t)

Уравнение 6b В случае нескольких последовательных предсказательных стимулов, опять же с отсутствием подкрепления во время предсказаний, эффективный сигнал подкрепления во время (Т) прогноза отражает разницу между текущим прогнозом Р (т) и предыдущий прогноз P(t - 1)

rˆ=P(t)-P(t-l)

Уравнение 6cЭто является ошибочным условием усиления более высокого порядка. Подобно полностью предсказанным усилителям, все предсказывающие стимулы, которые полностью предсказаны сами, отменяются [P(t - 1) = P(t)], в результате чего р = 0 в разы (Т) из этих стимулов. Только самый ранний прогностический стимул способствует эффективному сигналу подкрепления, так как этот стимул Р (т) не стимулируется другим стимулом [P(t - 1) = 0]. Это приводит к тому же р = Р (т) в то время (Т) первого прогноза, как в случае одного прогноза (Eq. 6b).

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 9. 

Базовые архитектуры моделей нейронных сетей, реализующие алгоритмы временных разностей по сравнению с базальной связностью ганглиев. A: в оригинальной реализации эффективный обучающий сигнал y – ȳ вычисляется в модели нейрона A и отправлены на пресинаптические терминалы входов x нейрону B, таким образом влияя x → B обработка и изменение синаптических весов на x → B синапс. нейрон B влияет на поведенческий вывод через аксона y и в то же время способствует адаптивным свойствам нейрона A, а именно его ответ на стимулы предсказания стимула. Более поздние реализации этой простой архитектуры используют нейрон A а не нейрон B для выдачи выхода O модели (Montague et al. 1996; Schultz et al. 1997). Перепечатано из Саттон и Барто (1981) с разрешения Американской психологической ассоциации. B: недавняя реализация отделяет учебный компонент A, называется критик (Справа), из выходного компонента, состоящего из нескольких блоков обработки B, называется актером (оставил). Эффективный сигнал усиления р(t) вычисляется путем вычитания временной разницы в прогнозе взвешенного усилителя γP(t) - P(t - 1) из первичной арматуры r(t) получены из окружающей среды (γ - коэффициент дисконтирования, уменьшающий ценность более отдаленных усилителей). Прогноз Reinforcer вычисляется в отдельной единице прогнозирования C, который является частью критики и образует замкнутый цикл с элементом обучения Aтогда как первичное подкрепление поступает к критику через отдельный вход r_t. Эффективный сигнал подкрепления влияет на синаптические веса на входящих аксонах в актере, который опосредует вывод и в блоке адаптивного прогнозирования критика. Перепечатано из Барто (1995) с разрешения MIT Press. CОсновная связь базальных ганглиев обнаруживает поразительное сходство с архитектурой актера-критика. Проекция дофамина излучает сигнал усиления в стриатуме и сравнима с единицей A по частям A и B, лимбический стриатум (или стриосома-патч) занимает позицию прогнозирующей единицы C в критике, а сенсомоторный стриатум (или матрица) напоминает актерские единицы B. В оригинальной модели (А), единственное серьезное отклонение от установленной анатомии базальных ганглиев заключается в влиянии нейрона A направленный на пресинаптические терминалы, тогда как дофаминовые синапсы расположены на постсинаптических дендритах стриатальных нейронов (Freund et al. 1984). Перепечатано из Смит и Болам (1990) с разрешения Elsevier Press.

Взятый вместе, эффективный сигнал усиления (Eq. 6 ) состоит из основного подкрепления, которое уменьшается с появлением прогнозов (Eq. 6a) и постепенно заменяется полученными прогнозами (Уравнения. 6b и 6c). При последовательных прогнозирующих стимулах эффективный сигнал подкрепления перемещается во времени назад от основного усилителя к самому раннему стимулу, прогнозирующему усилитель. Ретроградный перенос приводит к более конкретному присвоению кредита вовлеченным синапсам, так как предсказания происходят ближе по времени к стимулирующим и поведенческим реакциям, которые должны быть обусловлены, по сравнению с подкреплением в конце испытания (Саттон и Барто 1981).

Реализации алгоритмов обучения с подкреплением используют ошибку предсказания двумя способами: для изменения синаптических весов для поведенческого выхода и для получения самих предсказаний для непрерывного вычисления ошибки предсказания (рис. 9 A) (McLaren 1989; Саттон и Барто 1981). Эти две функции разделены в недавних реализациях, в которых ошибка предсказания вычисляется в компоненте адаптивной критики и изменяет синаптические веса в компоненте актора, опосредуя поведенческий вывод (рис. 9 B) (Barto 1995). Положительная ошибка увеличивает предсказание подкрепления критика, тогда как отрицательная ошибка от пропущенного подкрепления уменьшает предсказание. Это делает эффективный сигнал усиления очень адаптивным.

Нейробиологические реализации обучения разнице во времени

ПРИМЕНЕНИЕ ДЛЯ НЕЙРОБИОЛОГИЧЕСКИХ ПРОБЛЕМ.

Хотя первоначально они были разработаны на основе модели классической обусловленности Rescorla-Wagner, модели, использующие алгоритмы TD, изучают широкий спектр поведенческих задач с помощью в основном инструментальных форм кондиционирования. Эти задачи достигаются от балансировки полюса на колесе тележки (Барто и соавт. 1983) играть в нарды мирового класса (Tesauro 1994). Роботы, использующие алгоритмы TD, учатся перемещаться по двумерному пространству и избегают препятствий, достигают и захватывают (Fagg 1993) или вставьте колышек в отверстие (Gullapalli et al. 1994). Использование сигнала усиления TD для непосредственного влияния и выбора поведения (рис. 9 A), Модели ТД воспроизводят пищевое поведение медоносных пчел (Montague et al. 1995) и имитировать принятие решений человеком (Montague et al. 1996). Модели TD с явной архитектурой критика-актер представляют собой очень мощные модели, которые эффективно учат движения глаз (Friston et al. 1994; Montague et al. 1993), последовательные движения (рис. 10) и ориентировочные реакции (Контрерас-Видаль и Шульц 1996). Недавняя модель добавила активирующие-подавляющие сигналы новизны для улучшения обучающего сигнала, использовала следы стимулов и действий в критике и актере и использовала правила «победитель получает все» для улучшения обучающего сигнала и для выбора нейронов актеров с наибольшей активацией. Это очень подробно воспроизвело как ответы дофаминовых нейронов, так и обучающее поведение животных в задачах с задержкой ответа (Сури и Шульц 1996). Особенно интересно видеть, что обучающие сигналы, использующие ошибки прогнозирования, приводят к более быстрому и более полному обучению по сравнению с безусловными сигналами подкрепления (рис. 10) (Friston et al. 1994).

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 10. 

Преимущество прогнозирующих сигналов подкрепления для обучения. Временная разностная модель с архитектурой критик-актера и трассой соответствия требованиям актера была обучена в последовательной задаче выбора 2 step-3 (вставка вверху слева). Обучение развивалось быстрее и достигало более высокой производительности, когда в качестве обучающего сигнала использовался прогнозирующий подкрепляющий сигнал (адаптивный критик, топ) по сравнению с использованием безусловного сигнала усиления в конце испытания (нижний). Этот эффект становится все более выраженным с более длинными последовательностями. Сопоставимые характеристики с сигналом безусловного подкрепления потребовали бы гораздо более продолжительной трассы соответствия. Данные были получены из моделирования 10 (R. Suri и W. Schultz, неопубликованные наблюдения). Аналогичное улучшение в обучении с прогнозирующим усилением было обнаружено в модели глазодвигательного поведения (Friston et al. 1994).

Возможные механизмы обучения с использованием допаминового сигнала

В предыдущем разделе показано, что формальный сигнал ошибки предсказания, излучаемый реакцией допамина, может представлять собой особенно подходящий обучающий сигнал для обучения модели. В следующих разделах описывается, как биологический ответ на дофамин может потенциально использоваться для обучения структурами базальных ганглиев, и предлагаются проверяемые гипотезы.

ПОСТСИНАПТИЧЕСКАЯ ПЛАСТИЧНОСТЬ, ОСОБЕННАЯ СИГНАЛОМ ПРОГНОЗА НАГРАД.

Обучение будет проходить в два этапа. Первый шаг включает получение ответа на прогнозирование допаминового вознаграждения. В последующих испытаниях прогнозирующий допаминовый сигнал определенно усиливал бы синаптические веса (ω) кортикостриатальных синапсов Hebbian-типа, которые активны во время стимулирующего предсказание стимула, тогда как неактивные кортикостриатальные синапсы остаются неизменными. Это приводит к трехфакторному правилу обучения

Δω=ɛ rˆ i o

Уравнение 8where р является сигналом усиления допамина, i входная активность, o является выходной активностью, а ɛ является скоростью обучения.

В упрощенной модели четыре кортикальных входа (i1 – i4) контактируют с дендритными шипами трех колючих стриатальных нейронов среднего размера (o1 – o3; рис. 11). Корковые входы сходятся на стриатальных нейронах, каждый вход соприкасается с отдельным позвоночником. Те же шипы неселективно связываются общим вводом допамина R. Активация ввода допамина R указывает на то, что непредсказуемый стимул, предсказывающий награду, произошел в окружающей среде, не предоставляя дополнительных деталей (сигнал благости). Предположим, что кортикальный ввод i2 активируется одновременно с дофаминовыми нейронами и кодирует один из нескольких конкретных параметров одного и того же предсказывающего награду стимула, например его сенсорную модальность, сторону тела, цвет, текстуру и положение, или определенный параметр движения вызвано стимулом. Набор параметров этого события будет кодироваться набором кортикальных входов i2. Корковые входы i1, i3 и i4, не связанные с текущими стимулами и движениями, неактивны. Реакция допамина приводит к неселективному высвобождению допамина при всех варикозах, но селективно усиливает только активные кортикостриатальные синапсы i2 – o1 и i2 – o2, при условии, что корковые входы достаточно сильны для активации стриатальных нейронов o1 и o2.

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 11. 

Дифференциальные влияния глобального сигнала усиления дофамина на селективную кортикостриатальную активность. Дендритные шипы средних колючих стриатальных нейронов среднего размера 3 o1, o2 и o3 связываются с помощью кортикальных входов 4 i1, i2, i3 и i4, а также варикозных расширений аксонов от одной популяции гомогенов нейрона или нейрона, активированного нейроном или нейронами R ( ). Каждый стриальный нейрон получает кортикальный ввод N10,000 и допамин 1,000. В отдельных дендритных шипиках разные корковые входы сходятся с допаминовым входом. В версии модели 1 допаминовый сигнал одновременно усиливает активную кортикостриатальную передачу по сравнению с неактивной передачей. Например, ввод допамина R активен одновременно с вводом коры i2, тогда как i1, i3, i4 неактивны. Это приводит к изменению передачи i2 → o1 и i2 → o2, но оставляет передачи i1 → o1, i3 → o2, i3 → o3 и i4 → o3 неизменными. В версии модели, использующей пластичность, синаптические веса кортикостриатальных синапсов длительно изменяются сигналом допамина в соответствии с тем же правилом. Это может произойти, когда дофаминовые ответы на условный раздражитель действуют на кортикостриатальные синапсы, которые также активируются этим раздражителем. В другой версии, использующей пластичность, дофаминовые ответы на первичное вознаграждение могут воздействовать во времени на кортикостриатальные синапсы, которые ранее были активными. Эти синапсы могут быть модифицированы гипотетическим постсинаптическим нейронным следом, оставленным после этой активности. При сравнении структуры базальных ганглиев с последней моделью TD на рис. 9 B, вход допамина R копирует критик с нейроном A, стриатум с нейронами o1 – o3 копирует актера с нейроном B, кортикальные входы i1 – i4 копируют вход актера, а расходящаяся проекция нейронов допамина R на множественные шипы множественных стриатных нейронов o1 – o3 повторяет глобальное влияние критика на актера. Аналогичное сравнение было сделано Houk et al. (1995), Этот рисунок основан на анатомических данных Freund et al. (1984), Смит и Болам (1990), Флаэрти и Грейбиль (1993)качества Smith et al. (1994).

Этот механизм обучения использует полученный дофаминовый ответ во время предсказывающего вознаграждение стимула в качестве обучающего сигнала для индукции длительных синаптических изменений (рис. 12 A). Изучение прогнозирующего стимула или вызванного движения основано на продемонстрированном приобретении дофаминового ответа на стимулирующий прогноз стимул вместе с дофамин-зависимой пластичностью в стриатуме. Изменения пластичности альтернативно могут происходить в корковых или подкорковых структурах ниже по потоку от полосатого тела после допамин-опосредованного кратковременного усиления синаптической передачи в полосатом теле. Ретроактивные эффекты вознаграждения на стимулы и движения, предшествующие вознаграждению, опосредованы передачей ответа на самый ранний стимул, предсказывающий вознаграждение. Реакция допамина на прогнозируемое или пропущенное первичное вознаграждение не используется для изменений пластичности в стриатуме, поскольку она не происходит одновременно с событиями, которые должны быть обусловлены, хотя она может участвовать в вычислении реакции дофамина на прогнозирующий вознаграждение стимул по аналогии с архитектура и механизм моделей ТД.

• Загрузить рисунок
• Открыть в новой вкладке
• Скачать PowerPoint

Рис. 12. 

Влияние допамина на усиление сигнала на возможные механизмы обучения в стриатуме. AПрогнозирующий ответ на допаминовое вознаграждение на условный стимул (CS) оказывает прямое усиление или пластичность на стриальную нейротрансмиссию, связанную с этим стимулом. BРеакция допамина на первичное вознаграждение оказывает эффект ретроградной пластичности в отношении стриатальной нейротрансмиссии, связанной с предшествующим условным раздражителем. Этот механизм обеспечивается опосредованной стриальной активностью. Сплошные стрелки указывают на прямое влияние сигнала допамина на стриатальную нейротрансмиссию (A) или трасса соответствия (В), маленькая стрелка в B указывает на косвенное влияние на полосатую нейротрансмиссию через след приемлемости.

Электростимуляция дофаминовых нейронов как безусловный стимул

Электрическая стимуляция ограниченных областей мозга надежно служит в качестве подкрепления для приобретения и поддержания поведения подхода (Олдс и Милнер 1954). Некоторые очень эффективные сайты самостимуляции совпадают с телами допаминовых клеток и пучками аксонов в среднем мозге (Корбетт и Мудрый 1980), прилежащее ядро ​​(Phillips et al. 1975), стриатум (Phillips et al. 1976) и префронтальная кора (Мора и Майерс 1977; Phillips et al. 1979), но также встречаются в структурах, не связанных с дофаминовыми системами (Белый и Милнер 1992). Электрическая самостимуляция включает активацию дофаминовых нейронов (Фибигер и Филлипс 1986; Wise и Rompré 1989) и уменьшаются вызванными 6-гидроксидопамином повреждениями дофаминовых аксонов (Fibiger et al. 1987; Филлипс и Фибигер 1978), ингибирование синтеза дофамина (Эдмондс и Галлистель 1977) деполяризационная инактивация дофаминовых нейронов (Ромпре и Мудрый 1989) и антагонисты дофаминовых рецепторов, вводимые системно (Furiezos и Wise 1976) или в прилежащее ядро ​​(Могенсон и соавт. 1979). Самостимуляция облегчается с помощью кокаина или амфетамина, вызванного увеличением внеклеточного дофамина (Колле и Мудрый 1980; Stein 1964; Wauquier 1976). Самостимуляция напрямую увеличивает утилизацию дофамина в прилежащем ядре, полосатом теле и лобной коре (Fibiger et al. 1987; Мора и Майерс 1977).

Интересно представить, что вызванные электрическим током импульсы допамина и высвобождение могут служить безусловным стимулом в ассоциативном обучении, подобно стимуляции нейронов октопамина у медоносных пчел, изучающих рефлекс хоботка (Молот 1993). Однако связанная с допамином самостимуляция отличается по меньшей мере в трех важных аспектах от естественной активации дофаминовых нейронов. Вместо того, чтобы активировать только дофаминовые нейроны, естественные награды обычно активируют несколько нейронных систем параллельно и позволяют распределенное кодирование различных компонентов вознаграждения (см. Дальнейший текст). Во-вторых, электростимуляция применяется в качестве безусловного подкрепления без отражения ошибки в прогнозировании вознаграждения. В-третьих, электрическая стимуляция доставляется только как вознаграждение после поведенческой реакции, а не во время стимулирующего предсказание стимула. Было бы интересно применить электрическую самостимуляцию точно так же, как дофаминовые нейроны испускают свой сигнал.

Дефицит обучения при нарушенной нейротрансмиссии дофамина

Во многих исследованиях изучалось поведение животных с нарушенной нейротрансмиссией дофамина после локального или системного применения антагонистов дофаминовых рецепторов или разрушения аксонов дофамина в вентральном среднем мозге, прилежащем ядре или стриатуме. Помимо наблюдения за двигательными и когнитивными нарушениями, напоминающими о паркинсонизме, эти исследования выявили нарушения в обработке информации о вознаграждении. Самые ранние исследования приводили доводы в пользу дефицита субъективного, гедонистического восприятия вознаграждений (Мудрый 1982; Мудрый и соавт. 1978). Дальнейшие эксперименты выявили нарушение использования первичных наград и обусловленных аппетитных стимулов для подхода и непоследовательного поведения (Beninger et al. 1987; Эттенберг 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Мудрый и Коллектив 1984; Мудрый и Ромпре 1989). Во многих исследованиях описаны нарушения мотивационных и концентрационных процессов, лежащих в основе аппетитного обучения (Beninger 1983, 1989; Бенингер и Хан 1983; Фибигер и Филлипс 1986; ЛеМоал и Саймон 1991; Роббинс и Эверитт 1992, 1996; Белый и Милнер 1992; Мудрый 1982). Большинство нарушений в обучении связаны с нарушением нейротрансмиссии дофамина в прилежащем ядре, в то время как нарушение дорсального полосатого тела приводит к сенсомоторным нарушениям (Амальрик и Кооб 1987; Роббинс и Эверитт 1992; Белый 1989). Тем не менее, изучение инструментальных задач в целом и дискриминационных свойств стимула в частности, кажется, часто экономится, и не совсем решено, могут ли некоторые из очевидных недостатков обучения быть смешаны с дефицитом двигательной активности (Salamone 1992).

Дегенерация дофаминовых нейронов при болезни Паркинсона также приводит к ряду декларативных и процедурных нарушений обучения, включая ассоциативное обучение (Linden et al. 1990; Sprengelmeyer et al. 1995). Недостатки присутствуют в обучении методом проб и ошибок с немедленным усилением (Вризен и Москович 1990) и при ассоциировании явных стимулов с разными исходами (Knowlton et al. 1996), даже на ранних стадиях болезни Паркинсона без корковой атрофии (Canavan et al. 1989). Пациенты с болезнью Паркинсона также имеют нарушения восприятия времени (Пастор и соавт. 1992). Все эти дефициты возникают в присутствии лечения L-допой, которое восстанавливает уровни тонического стриатального дофамина без восстановления фазальных сигналов дофамина.

Эти исследования показывают, что нейротрансмиссия дофамина играет важную роль в обработке вознаграждений за подход к поведению и в формах обучения, включающих ассоциации между стимулами и вознаграждениями, тогда как участие в более инструментальных формах обучения может быть поставлено под сомнение. Неясно, отражают ли эти недостатки более общую поведенческую инактивацию из-за тонически сниженной стимуляции дофаминового рецептора, а не из-за отсутствия фазового сигнала вознаграждения за дофамин. Чтобы решить этот вопрос, а также более конкретно выяснить роль дофамина в различных формах обучения, было бы полезно изучить обучение в тех ситуациях, в которых фактически наблюдается фазовый ответ дофамина на аппетитные стимулы.

Формы обучения, возможно, опосредованы сигналом допамина

Характеристики реакции дофамина и потенциальное влияние дофамина на стриатальные нейроны могут помочь определить некоторые формы обучения, в которых могут участвовать дофаминовые нейроны. Предпочтительные ответы на аппетит, а не на неприятные события, будут способствовать участию в изучении поведения подхода и опосредовать положительные эффекты подкрепления, а не уходу и наказанию. Ответы на первичное вознаграждение за пределами заданий и учебных условий позволят нейронам дофамина играть роль в относительно широком спектре обучения, включающем первичные вознаграждения, как в классическом, так и в инструментальном обеспечении. Ответы на стимулирующие предсказание стимулы отражают ассоциации стимул-вознаграждение и будут совместимы с участием в ожидании вознаграждения, лежащем в основе общего стимулирующего обучения (Биндра 1968). Напротив, ответы допамина явно не кодируют награды как объекты цели, поскольку они только сообщают об ошибках в прогнозировании вознаграждения. Они также, кажется, нечувствительны к мотивационным состояниям, таким образом, отрицают определенную роль в зависимом от государства стимулирующем обучении целенаправленным действиям (Дикинсон и Баллейн 1994). Отсутствие четких взаимосвязей с движениями рук и глаз могло бы отрицательно сказаться на роли непосредственного опосредования поведенческих реакций, которые следуют за стимулирующими стимулами. Однако сравнение между разрядами отдельных нейронов и изучением целых организмов само по себе сложно. На синаптическом уровне фазально высвобождаемый дофамин достигает многих дендритов, вероятно, на каждом стриатальном нейроне и, таким образом, может оказывать пластическое воздействие на большое разнообразие поведенческих компонентов, включая стриатум, что может включать в себя изучение движений.

Конкретные условия, в которых фазовые сигналы допамина могут играть роль в обучении, определяются типами стимулов, которые эффективно индуцируют реакцию допамина. В лаборатории животных, дофаминовые ответы требуют поэтапного появления аппетитных, новых или особенно значимых стимулов, включая первичные питательные вознаграждения и предсказывающие вознаграждение стимулы, тогда как отвращающие стимулы не играют главной роли. Ответы дофамина могут возникать во всех поведенческих ситуациях, контролируемых фазовыми и явными исходами, хотя условные раздражители более высокого порядка и вторичные усилители еще не были протестированы. Фазовые ответы дофамина, вероятно, не будут играть роль в формах обучения, не опосредованных фазово возникающими результатами, и прогнозирующий ответ не сможет способствовать обучению в ситуациях, в которых не возникают фазальные прогностические стимулы, такие как относительно медленные изменения контекста , Это приводит к интересному вопросу о том, может ли сохранение некоторых форм обучения из-за повреждений допамина или нейролептиков просто отражать отсутствие фазальных ответов дофамина в первую очередь потому, что эффективные стимулы, вызывающие их, не использовались.

Участие допаминовых сигналов в обучении может быть проиллюстрировано теоретическим примером. Представьте себе ответы дофамина во время получения задания на время последовательной реакции, когда правильная реакция внезапно приводит к вознаграждению за питательные вещества. Ответ вознаграждения впоследствии переносится на прогрессивно более ранние предсказывающие вознаграждение стимулы. Время реакции улучшается с продолжительной практикой, поскольку пространственные положения целей становятся все более предсказуемыми. Хотя дофаминовые нейроны продолжают реагировать на стимулирующие предсказания стимулы, дальнейшее улучшение поведения может быть связано, главным образом, с приобретением прогностической обработки пространственных положений другими нейронными системами. Таким образом, ответы допамина будут происходить во время начальной, стимулирующей части обучения, в которой предметы приходят к объектам и получают явные первичные, и, возможно, обусловленные, вознаграждения. Они были бы менее вовлечены в ситуации, в которых прогресс в обучении выходит за рамки индуктивного поведения. Это не ограничит роль дофамина начальными этапами обучения, так как во многих ситуациях требуется сначала учиться на примерах, а лишь позже - учиться с явными результатами.

Ошибка прогноза

Сигнал ошибки предсказания нейронов допамина был бы отличным индикатором аппетитной ценности событий окружающей среды по отношению к предсказанию, но не мог различить пищу, жидкости и стимулы, предсказывающие награду, и между визуальными, слуховыми и соматосенсорными модальностями. Этот сигнал может представлять собой предупреждающее сообщение о вознаграждении, с помощью которого постсинаптические нейроны информируются о неожиданном появлении или пропуске полезного или потенциально полезного события без указания его дальнейшей идентичности. Он обладает всеми формальными характеристиками мощного подкрепляющего сигнала для обучения. Однако информация о конкретном характере вознаграждений имеет решающее значение для определения того, к какому объекту следует подходить и каким образом. Например, голодное животное должно прежде всего приближаться к еде, а не к жидкости. Чтобы отличить релевантное от несущественного вознаграждения, допаминовый сигнал должен быть дополнен дополнительной информацией. Недавние эксперименты по диализу in vivo показали более высокое пищевое высвобождение дофамина у голодных, чем у сытых крыс (Уилсон и соавт. 1995). Эта зависимость от высвобождения дофамина в двигателе может не включать импульсные реакции, поскольку нам не удалось найти четкую зависимость влечения от реакций дофамина при сравнении ранних и поздних периодов отдельных экспериментальных сеансов, во время которых животные насыщались жидкостью (JL Contreras-Vidal и W. Шульц, неопубликованные данные).

Особенности вознаграждения

Информация о жидких и пищевых продуктах также обрабатывается в структурах мозга, отличных от дофаминовых нейронов, таких как дорсальный и вентральный стриатум, субталамическое ядро, миндалина, дорсолатеральная префронтальная кора, орбитофронтальная кора и передняя поясная извилина. Однако эти структуры, по-видимому, не излучают сигнал ошибки предсказания глобального вознаграждения, подобный дофаминовым нейронам. У приматов эти структуры обрабатывают награды как 1) переходные ответы после доставки вознаграждения (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Хикосака и соавт. 1989; Ники и Ватанабэ 1979; Nishijo et al. 1988; Тремблей и Шульц 1995; Watanabe 1989), 2) переходные реакции на сигналы прогнозирования наград (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Торп и соавт. 1983; Тремблей и Шульц 1995; Williams et al. 1993), 3) устойчивые активации в ожидании немедленных наград (Apicella et al. 1992; Хикосака и соавт. 1989; Мацумура и соавт. 1992; Schultz et al. 1992; Тремблей и Шульц 1995), а также расширение 4) модуляции связанных с поведением активаций с помощью предсказанного вознаграждения (Hollerman et al. 1994; Watanabe 1990, 1996). Многие из этих нейронов хорошо различают разные награды за еду и разные награды за жидкость. Таким образом, они обрабатывают специфическую природу поощрительного события и могут служить восприятию наград. Некоторые из ответов на вознаграждение зависят от непредсказуемости вознаграждения и уменьшаются или отсутствуют, когда вознаграждение прогнозируется условным стимулом (Apicella et al. 1997; Мацумото и соавт. 1995; Л. Тремблей и В. Шульц, неопубликованные данные). Они могут обрабатывать прогнозы для конкретных вознаграждений, хотя неясно, сигнализируют ли они об ошибках предсказания, поскольку их ответы на пропущенные вознаграждения неизвестны.

Поддержание установленной производительности

Три нейрональных механизма, по-видимому, важны для поддержания установленных поведенческих характеристик, а именно: обнаружение пропущенных вознаграждений, обнаружение стимулов, предсказывающих вознаграждение, и обнаружение предсказанных вознаграждений. Дофаминовые нейроны угнетены, когда предсказанные награды опущены. Этот сигнал может снизить синаптическую эффективность, связанную с ошибочными поведенческими реакциями, и предотвратить их повторение. Реакция допамина на стимулирующие предсказание стимулы сохраняется в течение установленного поведения и, таким образом, продолжает служить предварительной информацией. Хотя полностью предсказанные награды не обнаруживаются дофаминовыми нейронами, они обрабатываются недопаминергическими кортикальными и подкорковыми системами, упомянутыми выше. Это было бы важно для предотвращения вымирания научного поведения.

Взятые вместе, кажется, что обработка специфических наград за обучение и поддержание поведения подхода сильно выиграет от сотрудничества между дофаминовыми нейронами, сигнализирующими о непредсказуемом возникновении или пропуске награды и нейронах в других структурах одновременно, что указывает на специфическую природу награды.

Норадреналиновые нейроны

Почти вся популяция норадреналиновых нейронов в locus coeruleus у крыс, кошек и обезьян демонстрирует довольно однородные, двухфазные активационно-депрессивные реакции на зрительные, слуховые и соматосенсорные стимулы, вызывающие ориентирующие реакции (Aston-Jones и Bloom 1981; Foote et al. 1980; Расмуссен и др. 1986). Особенно эффективными являются редкие события, на которые обращают внимание животные, такие как зрительные стимулы в задаче различенияАстон-Джонс и соавт. 1994). Норадреналиновые нейроны очень хорошо различают возбуждающие или мотивирующие и нейтральные события. Они быстро получают ответы на новые целевые стимулы во время реверсирования и теряют ответы на предыдущие мишени до того, как поведенческое изменение завершено (Астон-Джонс и соавт. 1997). Реакции происходят на свободную жидкость вне какой-либо задачи и переходят к целевым стимулам, предсказывающим награду в рамках задачи, а также к первичным и условным отрицательным стимулам (Астон-Джонс и соавт. 1994; Foote et al. 1980; Расмуссен и Джейкобс 1986; Сара и Сигал 1991). Ответы часто являются временными и, по-видимому, отражают изменения в возникновении или значении стимула. Активации могут произойти только для нескольких испытаний с повторными представлениями объектов питания (Ванков и др. 1995) или с условными слуховыми стимулами, связанными с жидким вознаграждением, отвращением воздуха или электрическим шоком (Расмуссен и Джейкобс 1986; Сара и Сигал 1991). Во время обусловливания реакции происходят на первые несколько презентаций новых стимулов и периодически появляются всякий раз, когда непредвиденные обстоятельства подкрепления изменяются во время приобретения, изменения и исчезновения (Сара и Сигал 1991).

Взятые вместе, ответы норадреналиновых нейронов напоминают ответы дофаминовых нейронов в нескольких отношениях, будучи активированными первичными наградами, предсказывающими награду стимулами и новыми стимулами и передающими ответ от первичных к условным аппетитным событиям. Тем не менее, норадреналиновые нейроны отличаются от дофаминовых нейронов тем, что реагируют на гораздо большее разнообразие возбуждающих стимулов, хорошо реагируя на первичные и условные аверсивные стимулы, хорошо различая нейтральные стимулы, быстро следуя поведенческим изменениям и показывая уменьшающиеся реакции с повторным стимулом презентация, которая может потребовать испытаний 100 для твердых аппетитных ответов (Астон-Джонс и соавт. 1994). Норадреналиновые реакции тесно связаны с возбуждающими или привлекающими внимание свойствами стимулов, вызывающих ориентирующие реакции, и в то же время гораздо менее сфокусированными на свойствах аппетитного стимула, как большинство дофаминовых нейронов. Вероятно, ими движет больше внимания, чем мотивация компонентов аппетита.

Серотониновые нейроны

Активность в разных ядрах шва облегчает моторную выработку, устанавливая мышечный тонус и стереотипную двигательную активность (Джейкобс и Форнал 1993). Спинные нейроны у кошек проявляют фазовые, не обитающие реакции на зрительные и слуховые раздражители, не имеющие никакого специфического поведенческого значения (Heym et al. 1982; LeMoal и Olds 1979). Эти ответы напоминают ответы дофаминовых нейронов на новые и особенно существенные стимулы. Дальнейшие сравнения потребуют более подробных экспериментов.

Ядро базалис Мейнерт

Базальные нейроны переднего мозга приматов активируются фазами с помощью большого разнообразия поведенческих событий, включая обусловленные, предсказывающие вознаграждение стимулы и первичные вознаграждения. Многие активации зависят от памяти и ассоциаций с усилением дискриминации и отложенными ответными задачами. Активации отражают знакомство стимулов (Уилсон и Роллс 1990a), становятся более важными с стимулами и движениями, происходящими ближе ко времени вознаграждения (Ричардсон и Делонг 1990), хорошо различать зрительные стимулы на основе аппетитных и отвращающих ассоциаций (Уилсон и Роллс 1990b) и изменить в течение нескольких попыток во время разворота (Уилсон и Роллс 1990c). Нейроны также активируются отвращающими стимулами, предсказанными визуальными и слуховыми стимулами и движениями. Они часто отвечают на полностью предсказуемые награды в хорошо установленных поведенческих задачах (Mitchell et al. 1987; Ричардсон и Делонг 1986, 1990), хотя ответы на непредсказуемые награды более распространены в некоторых исследованиях (Ричардсон и Делонг 1990) но не в других (Уилсон и Роллс 1990a–c). По сравнению с дофаминовыми нейронами они активируются гораздо более широким спектром стимулов и событий, включая аверсивные события, и не показывают довольно однородную реакцию популяции на непредсказуемые награды и ее передачу на стимулы, предсказывающие награды.

Церебеллярные лазалки

Вероятно, первый обучающий сигнал в мозге, основанный на ошибках, был предположительно связан с проекцией лазания волокон от нижней оливы к нейронам Пуркинье в коре мозжечка (Марр 1969), и многие исследования по обучению мозжечка основаны на этой концепции (Houk et al. 1996; Ито 1989; Кавато и Гоми 1992; Llinas и валлийский 1993). Восхождение волоконно-оптических входов в нейроны Пуркинье временно меняет их активность, когда изменяются нагрузки для движений или усиления между движениями и визуальной обратной связью, и обезьяны адаптируются к новой ситуации (Гилберт и Тач 1977; Оякангас и Эбнер 1992). Большинство из этих изменений состоят в увеличении активности, а не реакции активации и депрессии, наблюдаемой с ошибками в противоположных направлениях в дофаминовых нейронах. Если активация альпинистского волокна должна была служить обучающим сигналом, совместная активация альпинистского волокна и параллельного волокна должна приводить к изменениям параллельного ввода волокна в нейроны Пуркинье. Это действительно происходит при длительном снижении параллельного ввода волокон, главным образом в препаратах in vitro (Ито 1989). Тем не менее, сопоставимые параллельные изменения волокна труднее найти в поведенческих ситуациях обучения (Оякангас и Эбнер 1992), оставляя открытыми последствия потенциальных обучающих сигналов для лазания.

Вторым аргументом в пользу роли лазания по волокну в обучении является отвращение к классической обусловленности. Фракция вьющихся волокон активируется отвращением надувания роговицы. Эти ответы теряются после кондиционирования век при использовании слухового раздражителя (Sears и Steinmetz 1991), предполагая связь с непредсказуемостью первичных аверсивных событий. После кондиционирования нейроны в межпозитном ядре мозжечка отвечают на условный раздражитель (Бертье и Мур 1990; Маккормик и Томпсон 1984). Поражения этого ядра или инъекции антагониста ГАМК бикукуллина в нижнюю оливку предотвращают потерю откликов воздушной струи нижней оливковой оливки после кондиционирования, подтверждая, что моносинаптическое или полисинаптическое ингибирование межпозвоночной артерии нижней оливы подавляет реакции после кондиционирования (Томпсон и Глюк 1991). Это может привести к депрессии нижних оливковых нейронов в отсутствие прогнозируемых аверсивных стимулов и, таким образом, сообщать об отрицательной ошибке в прогнозировании аверсивных событий, сходной с дофаминовыми нейронами.

Таким образом, лазание по волокнам может сообщать об ошибках в двигательной активности и ошибках в прогнозировании аверсивных событий, хотя это не всегда может включать двунаправленные изменения, как в случае с дофаминовыми нейронами. Восхождение на волокна, по-видимому, не вызывает ответных реакций на условные аверсивные раздражители, но такие ответы обнаруживаются в межпозвоночном ядре. Вычисление аверсивных ошибок предсказания может включать нисходящие тормозные сигналы для нижних оливковых нейронов, по аналогии с полосатыми проекциями на дофаминовые нейроны. Таким образом, мозжечковые контуры обрабатывают сигналы об ошибках, хотя и по-разному, чем дофаминовые нейроны и модели TD, и они могут реализовывать правила обучения ошибкам, такие как правило Rescorla-Wagner (Томпсон и Глюк 1991) или формально эквивалентное правило Видроу-Хоффа (Кавато и Гоми 1992).