Клиническая значимость нейропластичности в кортикостриальных сетях при обучении оперантов (2013)

Перейти к:

Резюме

Оперантное обучение — одна из самых элементарных форм поведенческой адаптации ( Рескорла, 1994 ). Благодаря взаимодействию с окружающей средой животное способно узнать о последствиях своих действий и, таким образом, изменить существующую среду посредством новых поведенческих моделей для создания более благоприятных условий ( Скиннер, 1953 ). Результирующее изменение поведения является драматичным и долговременным. Некоторые ученые утверждают, что оперантное обучение лежит в основе «знания» ( Шнайттер, 1987 ), может лежать в основе «творчества» ( Прайор и др., 1969 ), является основой принятия решений и способствует трудноизлечимому характеру наркотической зависимости. По мере того, как поведение организма изменяется в зависимости от реакции и результата, активируются физиологические механизмы, которые обеспечивают почти постоянное закрепление этих изменений; они «запечатлеваются», как предполагал Торндайк ( Торндайк, 1911 ). Даже Скиннер намекал, что взаимосвязь между реакцией и результатом меняет нас: «Люди воздействуют на мир, меняют его и, в свою очередь, меняются под влиянием последствий своих действий» ( Скиннер, 1957 , с. 1).

В свете повсеместности оперантных поведенческих отношений в нашей психологической жизни нейробиологии оперантного обучения (то есть начального приобретения оперантного ответа) уделяется удивительно мало внимания по сравнению с другими базовыми процессами обучения, такими как пространственное обучение (например, Моррис Водный лабиринт) или Павловское кондиционирование страха. Тем не менее, считается, что оперантные отношения действуют почти в каждый момент нашей жизни и во многих важных психоневрологических состояниях: наркомании, аутизме и других серьезных проблемах поведения. В этом обзоре мы освещаем последние два десятилетия исследовательской карьеры Энн Келли, когда она стремилась к более глубокому пониманию нейробиологии оперантного обучения в надежде, что молекулярные, клеточные и геномные составляющие оперантного обучения, реализованные в распределенных сетях, будут сообщить лучшие альтернативы лечения.

Дорогостоящие проблемы со здоровьем и поведенческое поведение

Наркотическая зависимость — одна из самых разрушительных, трудноизлечимых и дорогостоящих проблем психического здоровья в США, да и во всем мире. Только в этой стране злоупотребление наркотиками обходится примерно в 484 миллиарда долларов в год в виде проблем со здоровьем, несчастных случаев, потери работы и страховых взносов ( Policy, 2001 ). Также подсчитано, что ежегодно от болезней, связанных с наркотиками, умирает 540,000 1 человек. Эти оценки не включают неденежные или косвенные психосоциальные издержки, которые несут родители¹ ^, супруги, братья и сестры, друзья и наше общество в целом. Вполне вероятно, что каждый гражданин этой страны так или иначе пострадал от злоупотребления наркотиками и наркотической зависимости (например, став жертвой преступного поведения, автомобильной аварии или действий члена семьи). Наркотическая зависимость все чаще рассматривается с точки зрения фундаментальных изменений в когнитивных процессах и поведении, с акцентом на связь компульсивного характера зависимости с патологическими изменениями в сетях кодирования решений и эмоций ( Everitt et al., 2001 ). Таким образом, более глубокое понимание систем оперантного обучения может улучшить наше понимание нейронных причин возникновения зависимости.

По данным Центров по контролю и профилактике заболеваний (CDC), у 1 из 88 детей диагностируется аутизм ( Control, 2012 ). Расстройства аутистического спектра (РАС) поражают людей всех этнических групп и социально-экономических уровней. РАС могут быть крайне изнурительными и, вероятно, требовать пожизненного ухода, что влечет за собой значительные расходы для общества (более 3 000 000 долларов на человека) ( Ganz, 2007 ). В последнее время прикладной поведенческий анализ (ABA) и некоторые его производные (например, модель Denver Start), которые делают акцент на динамичном и гибком академическом, социальном и коммуникативном поведении, продемонстрировали, что невероятные успехи возможны при ранней интенсивной терапии ( Sallows and Graupner, 2005 , Dawson et al., 2010 , Warren et al., 2011 ). Эти модели оказались настолько успешными, что многих детей с диагнозом РАС впоследствии называют «неотличимыми» от своих сверстников. По некоторым оценкам, 40-50% детей с диагнозом аутизм полностью излечимы ( МакИчин и др., 1993 ). Кроме того, ошеломляющий успех АВА-терапии в лечении аутизма привел к общему мнению о том, что она синонимична терапии аутизма ( Дилленбургер и Кинан, 2009 ), что вызывает недовольство, в частности, специалистов по организационному управлению поведением (ОБП), клиническому анализу поведения и дрессировке животных; профессий, которые используют анализ поведения, применяемый в ситуациях, не связанных с аутизмом. Интересно отметить, что большинство принципов АВА основаны на современной теории оперантного поведения и экспериментальном анализе поведения: оценка возможных устанавливающих операций, выявление последствий неадекватного поведения, подкрепление хорошего поведения, наказание нежелательного поведения и оценка этих взаимосвязей в более широком социально-экономическом контексте (например, поведенческая экономика). В своей основополагающей работе по прикладному анализу поведения (ABA) Баер, Вольф и Ризли (1968) четко обозначили взаимосвязь между теорией оперантного поведения и измерением «концептуальных систем» ABA, хотя полный обзор этой работы выходит за рамки данного обзора. Таким образом, поскольку этиология расстройств аутистического спектра (РАС) в значительной степени рассматривается как нейрогенетическая, и учитывая важную роль оперантного поведения в обучении и терапии РАС, более глубокое понимание нейробиологии оперантного поведения могло бы помочь в нашем рассмотрении РАС.

Термин «серьезное проблемное поведение» охватывает широкий спектр вопросов от школьных издевательств до экстремального самоповреждения. Тяжело проблемное поведение может проявляться у обычно развивающихся детей, но чаще встречается у детей с нарушениями развития и / или умственными отклонениями. Серьезные проблемы поведения создают существенные социальные и образовательные препятствия для людей из-за их интенсивности и кажущейся непредсказуемости. Лечение может включать отстранение от занятий в школе, помещение в специальные условия, участие в системе уголовного правосудия, заключение под стражу или институционализацию. Вместо того, чтобы рассматривать эти паттерны как «неадекватные» или «неуместные», психологи и педагоги теперь рассматривают многие из этих проблемных поведений как функциональные. Другими словами, когда рассматривается как оперантное поведение, можно определить, оценить и изменить усиливающие непредвиденные обстоятельства, способствующие этим серьезным проблемам поведения. Однако из-за опасного характера этих проблем и вторжения вероятных нейрофизиологических проблем многие индивидуумы впадают в сложные или невыносимые условия жизни или в условиях отсутствия лечения. Возможность того, что эти серьезные проблемы возникают в результате сочетания генетического взаимодействия с окружающей средой, только сейчас серьезно рассматривается. Лучшее понимание нейробиологии оперантного поведения улучшит альтернативы лечения.

Механизмы нейронной пластичности в длительных изменениях поведения

В настоящее время общепринято, что долговременные поведенческие модификации, вызванные оперантными условностями, являются результатом значительных изменений в мозге: усиления синаптических связей, перестройки нейронных ансамблей, синтеза новых белков, повышения экспрессии генов и эпигенетических модификаций. Долговременная потенциация (ДВП) является одной из наиболее часто исследуемых систем, связанных с пластичностью, и данные убедительно указывают на активацию NMDAR как на ключевое инициирующее событие. То есть, высокочастотные паттерны синаптической стимуляции активируют NMDAR, что приводит к притоку Ca2 ⁺ , который, в свою очередь, активирует множество сигнальных механизмов, несколько из которых сходятся на ERK (внеклеточная рецепторная сигнальная киназа). Считается, что ERK регулирует различные факторы транскрипции, которые координируют формирование и стабилизацию долговременной памяти ( Levenson et al., 2004 ). Существуют значительные данные, подтверждающие роль каскада NMDAR-Ca ²⁺ -ERK в долговременных изменениях поведения и формировании памяти при обучении условному рефлексу страха и в водном лабиринте Морриса ( Atkins et al., 1998 , Blum et al., 1999 , Schafe et al., 2000 ); более позднее исследование также указывает на участие этого каскада в обучении, основанном на пищевом вознаграждении, хотя и на модели беспозвоночных ( Ribeiro et al., 2005 ). Таким образом, нейронная пластичность, индуцированная NMDAR посредством транскрипционной регуляции через путь ERK, обеспечивает нейронное представление оперантного обусловливания и элегантную модель для изучения долговременных изменений поведения.

В качестве прямого расширения этой модели Келли и его коллеги ( Kelley et al., 1997 ) впервые исследовали роль активации NMDAR в оперантном обучении в прилежащем ядре, области, которая, как предполагается, играет важную роль в сложной интеграции сенсорной, вознагражденной и моторной информации. После привыкания к стандартным камерам для оперантного обусловливания и тренировке с кормушкой, инъекции антагониста NMDAR (+/-)-2-амино-5-фосфонопентановой кислоты (AP-5) вводились непосредственно в ядро ​​прилежащего ядра (NAc) крыс, ограниченных в пище, непосредственно перед первыми четырьмя 15-минутными сеансами оперантного обусловливания. После введения рычага в камеру, нажатия подкреплялись гранулами сахарозы² ^. В течение первых 4 сеансов тренировки крысы, получавшие AP-5, совершали очень мало нажатий на рычаг, в отличие от крыс, получавших плацебо. Все крысы оставались без лечения в течение следующих 5 сессий, и обе группы быстро достигли асимптотического уровня нажатия рычага. Важно отметить, что микроинъекция AP-5 в NAc перед 10 ^-й сессией не оказала никакого заметного эффекта. Отдельные эксперименты не выявили влияния AP-5 на спонтанное безусловное питание и двигательное поведение у крыс, подвергнутых идентичному лечению (например, хирургическому вмешательству, депривации и т. д.). Таким образом, по сравнению с инфузиями физиологического раствора, инфузии AP-5/блокада NMDAR в NAC ухудшали начальное оперантное обучение, но не влияли на последующую эффективность, а блокада NMDAR не влияла на мотивацию к употреблению сахарозы или спонтанное двигательное поведение. Таким образом, эти данные, по-видимому, согласуются с общепринятым мнением о том, что активация NMDAR имеет решающее значение для обучения благодаря своей роли в нейронной пластичности.

Эти исследования, проведенные в лаборатории Энн Келли, впервые демонстрируют роль NMDA-рецепторов в оперантном обучении в ключевом узле кортико-лимбико-стриатальной сети. Эрнандес и др. ( Hernandez et al., 2005 ) непосредственно воспроизвели этот эффект и, что примечательно, продемонстрировали ограниченную по времени контекстуальную роль активации NMDAR в оперантном обучении, поскольку инфузии AP-5 после сессии не оказывали влияния на обучение. Другими словами, активация NMDAR во время воздействия камеры и оперантных условий была необходима для обучения, но не являлась обязательной после сессии. Этот вывод противоречит эффектам препаратов после сессии на другие поведенческие препараты, такие как формирование условного рефлекса страха ( Castellano et al., 1993 ). Келли и др. Келли и др. (1997 ) также показали, что инфузии AP-5 в оболочку прилежащего ядра (NAS) оказывали очень незначительное влияние на оперантное обучение, предполагая, что оперантное обусловливание включает пластические изменения в дискретной сети, а не повсеместное нейронное действие NMDAR. Более точная характеристика этой сети могла бы принести пользу при многочисленных нейропсихиатрических заболеваниях, связанных с нарушениями обучения или пластичности, помогая нейробиологам идентифицировать дискретные ядра, которые имеют решающее значение для выполнения поведения, и одновременно выявлять специфические рецепторы, опосредующие это поведение.

В дополнение к этим результатам, Болдуин и др. (2000) обнаружили, что инфузии AP-5 в базолатеральную миндалевидную железу (BLA) и медиальную префронтальную кору (mPFC) также ухудшали оперантное обучение, но AP-5 не оказывал влияния на оперантное обучение при инфузии в дорсальный (dSUB) или вентральный (vSUB) субкулум. Более того, эти эффекты снова ограничивались начальной фазой обусловливания, поскольку блокада NMDAR не влияла на последующее оперантное поведение, спонтанную двигательную активность или спонтанное питание. Макки и др. ( McKee et al., 2010 ) распространили роль активации NMDAR в оперантном обучении на дорсальный медиальный стриатум (DMS) и переднюю поясную кору (ACC), но не обнаружили роли орбитофронтальной коры (OFC) в оперантном обучении. Контрольные исследования не выявили доказательств мотивационных или двигательных нарушений. Анджеевски и др. Анджеевский и др. (2004 ) также исследовали роль NMDAR в центральном ядре миндалевидного тела (CeA) и двух других подядрах полосатого тела. Хотя после инфузий AP-5 в CeA и задний латеральный стриатум (PLS), но не в дорсолатеральный стриатум (DLS), наблюдались нарушения обучения, инфузии AP-5 в CeA и PLS также оказывали существенное влияние на спонтанное двигательное и пищевое поведение. Эти результаты предполагают, что оперантное обучение зависит от активации NMDAR в распределенной сети, каждая из которых, возможно, вносит свой вклад в различные сенсорные, мотивационные, двигательные процессы и процессы обучения. Безусловно, необходимы дальнейшие исследования для оценки пределов «оперантной» сети.

Вместе эти первоначальные исследования показывают, что NAC, BLA, mPFC, DMS и ACC являются критическими областями в кортико-лимбической стриатальной сети, контролирующей оперантное обучение, которое не требуется для дальнейшей работы. Хотя дальнейшая работа может прояснить эту сеть и, возможно, более конкретные роли каждого региона, такая сеть, по-видимому, лежит в основе изучения аддиктивного или неадаптивного поведения, которое может быть более жестко регламентировано после установления.

Участие дофамина в обработке наград и пластичности

Обработка информации, основанная на подкреплении, также в значительной степени зависит от мезокортикально-лимбической дофаминовой системы, включающей дофаминовые нейроны в вентральной тегментальной области (ВТА) и их проекции к прилежащему ядру (NAc), миндалевидному телу, префронтальной коре (ПФК) и другим областям переднего мозга, но точная природа роли дофамина в обработке вознаграждения до сих пор является предметом споров. Одна из ранних теорий предполагала, что дофамин опосредует удовольствие от вознаграждения, поскольку многие естественные и лекарственные вознаграждения активируют мезокортикально-лимбическую систему, а ее блокада ухудшает поведенческую эффективность большинства подкреплений ( Wise и Bozarth, 1985 ). Вторая гипотеза утверждает, что мезокортикально-лимбические дофаминовые нейроны обучаются и предсказывают получение вознаграждения, поскольку они активируются в ответ на стимулы, обусловленные аппетитом, но не на безусловные стимулы (или на сами вознаграждения) ( Schultz, 1998 , 2002 ). Третья, весьма влиятельная гипотеза, утверждает, что мезокортиколимбические дофаминовые системы кодируют мотивационные свойства, приписываемые нейронным представлениям стимулов и вознаграждений. Действительно, дофамин не опосредует гедонистическое влияние сладких вознаграждений, но необходим для поведения, направленного на получение тех же вознаграждений ( Берридж и Робинсон, 1998 ). В-четвертых, некоторые утверждают, что мезокортиколимбические дофаминовые системы выполняют функции, связанные с усилием, которые влияют на подкрепляемое поведение, поскольку истощение дофамина мало влияет на оперантное реагирование при подкреплении по «легкому» графику (например, FR-5), но оказывает существенное влияние на более трудоемкие графики ( Саламоне и др., 1994 , Саламоне и др., 2001 ). Тем не менее, хотя роль дофамина в оперантном поведении не вызывает сомнений, точная природа и детали его роли, вероятно, остаются функцией используемой подготовки и теоретической ориентации экспериментатора.

Мы исследовали роль дофамина (ДА) в оперантном обучении посредством активности D1R во многих из тех же структур, которые были отмечены выше. Болдуин и др. ( Baldwin et al., 2002b ) показали, что блокада D1R в префронтальной коре ухудшает оперантное обучение, но не влияет на результаты. Блокада D1R в базолатеральной миндалевидной железе (BLA) и центральном ядре миндалевидного тела (CeA) также ухудшает оперантное обучение ( Анджеевски и др., 2005 ) в зависимости от дозы. Однако роль D1R в других структурах трудно отделить от других опосредованных D1R эффектов лекарственных препаратов. Например, Эрнандес и др. ( Hernandez et al., 2005 ) продемонстрировали значительное влияние на оперантное поведение после предварительной блокады D1R в прилежащем ядре (NAc); однако также существенно снизилось тыканье носом в лоток с едой (часто рассматриваемое как павловская реакция, обусловленная аппетитом). Анджеевский и др. ( Анджеевский и др., 2006 ) обнаружили, что блокада D1R в vSUB, но не в dSUB, ухудшает оперантное обучение, но при этом были выявлены и мотивационные нарушения. Хотя, по всей видимости, активация DA D1R имеет решающее значение для управления пластичностью, связанной с оперантным обучением, точная роль остается несколько неясной. Однако новые данные позволили нам предположить критическую интерактивную роль NMDAR и D1R в оперантном обучении.

Внутриклеточная конвергенция активации NMDAR и DA D1R: детекторы совпадений

Исходя из этого, мы начали теоретизировать, что NMDAR в сочетании с DA D1R и, в частности, одновременное обнаружение входящих сигналов, играют критическую роль в формировании синаптических конфигураций и, вероятно, преобладающих нейронных ансамблей, которые лежат в основе оперантного обучения (Джей и др., 2004). NDMAR и DA D1R взаимодействуют динамически. Например, NMDA-зависимый LTP в полосатых срезах блокируется D1, но не антагонистами D2 (Weiss et al., 2000). в естественных условиях доказательства взаимодействия NMDA-D1 в явлениях, связанных с пластичностью, позволяют предположить, что LTP имеет место в нескольких схемах и структурах. Например, LTP в синапсах препронтальной коры гиппокампа зависит от ко-активации рецепторов NMDA и D1, а также от внутриклеточных каскадов с участием PKA (Джей и др., 2004). Как в стриатуме, так и в префронтальной коре активация D1 усиливает опосредуемые NMDA-рецептором ответы (Cepeda et al., 1993, Seamans et al., 2001, Ван и О'Доннелл, 2001). Потенцирование вызванной гиппокампом пиковой активности прилежащих нейронов требует совместного действия как рецепторов D1, так и NMDA, в то время как сходный синергизм наблюдается для пути миндалевидного прикуса (Флореско и др., 2001b, a). Молекулярные исследования дополняют эти результаты, демонстрируя зависимость NMDA-рецептора от D1-опосредованного фосфорилирования CREB (белок, связывающий элемент ответа cAMP) (Дас и др., 1997, Карлезон и Конради, 2004), фактор транскрипции, считающийся эволюционно консервативным модулятором процессов памяти и ключевого белка в клеточных путях, на которые влияют наркотики, вызывающие привыкание (Silva et al., 1998, Nestler, 2001). Сильную поддержку для утверждения о совпадении активации дает демонстрация долгосрочного повышения синаптической силы, когда кортикостриатальное возбуждение и дофаминергическая активация координированы во времени (Wickens et al., 1996). Другие данные предполагают, что сигналы глутамата и дофамина посредством активации NMDA и D1 сходятся, вызывая активацию ERK в гиппокампе и стриатуме, тем самым реконфигурируя сети, участвующие в обучении и употреблении наркотиков (Valjent и др., 2005, Kaphzan et al., 2006). Таким образом, учитывая требования, необходимые для обучения, интересно предположить, что скоординированное поступление дофаминергических и глутаматергических сигналов и его нейромолекулярные последствия служат детектором совпадений, который инициирует транскрипционные изменения, ведущие к длительным синаптическим изменениям. Важно отметить, что именно эти каскады являются теми, которые предлагается изменить в процессе привыкания (Хайман и Маленка, 2001).

В ходе прямой проверки этой гипотезы Болдуин и др. ( Baldwin et al., 2002b ) обнаружили, что дозы AP-5 и R(+)-7-хлор-8-гидрокси-3-метил-1-фенил-2,3,4,5-тетрагидро-1H-3-бензазепина гидрохлорида (SCH-23390) (антагониста D1R) в префронтальной коре не оказывали заметного влияния на оперантное обучение. Однако при их совместном введении в префронтальную кору наивных крыс оперантное обучение значительно нарушалось, что указывает на сильную синергию между двумя рецепторами. То есть пластичность, связанная с оперантным поведением, возможна при небольшом количестве блокады NMDAR или D1R, но не обоих одновременно. Хотя мы наблюдали некоторые дозозависимые эффекты, мы задались вопросом, является ли оперантное обучение феноменом «все или ничего», подобно концептуальному обучению ( Osler and Trautman, 1961 ). По нашему опыту, сначала наши крысы проводили время в камере, исследуя пространство, тыкая носом в предмет, обнюхивая, ухаживая за собой, вставая на задние лапы и т. д., лишь изредка нажимая на рычаг. После нескольких сессий контрольные крысы «поняли» принцип и стали нажимать на рычаг гораздо чаще, а также реже вставали на задние лапы, исследовали пространство, обнюхивали, ухаживали за собой и т. д. (например, реакции, для которых не было запрограммированных последствий), как это продемонстрировали Стаддон и Симмельхаг в своем основополагающем эксперименте по изучению суеверного поведения ( Стаддон и Симмельхаг, 1971 ). Таким образом, начальное оперантное обучение может включать в себя «переломный момент» или пороговый процесс, в отличие от более постепенного и плавно изменяющегося. На рисунке 1 показаны кумулятивные реакции двух крыс с канюлями, нацеленными на прилежащее ядро. Одной крысе вводили растворитель перед первыми пятью сессиями, а второй — AP-5. Сходство функций поразительно и, по-видимому, соответствует нашему представлению: наблюдается очень постепенное и медленное увеличение скорости реакции, относительно быстро переходящее в высокую и стабильную скорость реакции. Следует отметить, что у крыс, получавших AP-5, этот переход происходит с задержкой, что предполагает, что эта «точка перелома» задерживается из-за блокады NMDAR.

 

Рисунок 1

Кумулятивный рычаг давит через сеансы. Поведение двух репрезентативных крыс, одной обработанной носителем и одной обработанной AP-5, после вливаний в ядро ​​accumbens core (NAc) перед первыми сеансами 5, 15-минуты. Настои прекратились после ...

Хотя эти поведенческие данные и другие наблюдения могут представлять убедительный аргумент в отношении этой гипотезы «переломного момента», было бы очень важно, если бы нейробиология последовала их примеру, поскольку это подразумевало бы «критический период» для оперантного обучения и предлагало цели для вмешательства в зависящая от времени мода. По крайней мере, кажется, что оперантное обучение сильно контекстуализировано по отношению к временным, экологическим и нейрофизиологическим отношениям.

Внутриклеточная сигнальная модель оперантного обучения

Как отмечалось ранее, внутриклеточные молекулярные компоненты обучения (в целом, не обязательно оперантного обучения) вызывают большой интерес. Наши собственные результаты относительно роли активации NMDAR были в значительной степени основаны на этих результатах, касающихся долговременной потенциации (LTP). Однако внутриклеточные сигнальные каскады, ответственные за LTP, в настоящее время хорошо изучены. Являются ли они теми же каскадами, которые отвечают за перестройку синаптических путей во время оперантного обучения? Болдуин и др. ( Baldwin et al., 2002a ) ингибировали активность протеинкиназы, важнейшего компонента внутриклеточной сигнализации, необходимой для LTP, в прилежащем ядре (NAc) крыс перед сеансами оперантного обучения с помощью соединения 1-(5-изохинолинсульфонил)-2-метилпиперазин дигидрохлорида (H-7). В отдельной группе крыс активность цАМФ-зависимой протеинкиназы (PKA) была подавлена ​​препаратом Rp-аденозин-3′,5′-циклический монофосфотиоат триэтиламин (Rp-cAMPS) непосредственно перед сеансами оперантного обучения. В обоих случаях обучение было нарушено, что указывает на необходимость активации сигнальных путей протеинкиназы в целом и активности PKA в частности для оперантного обучения. Таким образом, были идентифицированы несколько ключевых внутриклеточных компонентов нейронной пластичности, связанных с оперантным обучением.

Согласно нескольким известным моделям, активность PKA, PKC и других протеинкиназ сходится внутриклеточно на ERK ( Valjent et al., 2005 , Kaphzan et al., 2006 ). Фосфорилированный ERK (pERK) перемещается в ядро ​​нейронов, где модулирует активность CREB, широко признанного эволюционно консервативным медиатором долговременной нейронной пластичности. Удивительно, но мы обнаружили незначительную роль ERK в оперантном обучении. Во-первых, введение U0126 (ингибитора pERK) в NAc перед сеансами оперантного обучения не оказало наблюдаемого эффекта ( рис. 2 , панель А). Мы использовали те же парадигмы и препараты, что и в предыдущих отчетах, однако, учитывая наш недостаток опыта работы с этим препаратом, возможно, что этот негативный эффект был результатом неизвестной технической проблемы. Во-вторых, мы исследовали фосфорилирование ERK после оперантного обучения с помощью стандартного вестерн-блоттинга и коммерчески доступных антител. Были проведены две группы по 6 крыс: 1) стандартное оперантное обучение (FR-1/VR-2) и 2) контрольная группа (получавшая такое же количество подкреплений, но без необходимости нажимать на рычаг для их получения). Мозг был собран в течение пяти минут после 5- ^й сессии и обработан методом вестерн-блоттинга. В 12 исследованных областях, включая прилежащее ядро ​​(NAc), не было обнаружено различий в уровнях ERK, pERK или соотношении pERK/ERK ( рис. 2 , панель B). Наблюдался небольшой, но статистически значимый эффект в уровне pERK в вентральной субталамусной области (vSUB) и префронтальной коре (PFC), составляющий примерно 20% увеличение по сравнению с контрольной группой. Хотя эффект был статистически значимым, он был очень скромным и вполне возможной ошибкой первого типа, учитывая количество проведенных сравнений. В-третьих, мы попытались визуализировать и, будем надеяться, полуколичественно оценить уровень pERK во всем мозге после оперантного обучения, используя стандартные иммуногистохимические методы на свободно плавающих срезах мозга. С этими крысами обращались так же, как и в экспериментах с вестерн-блоттингом, однако после сбора мозга целые головные мозги разрезали на срезы, и для локализации pERK использовали антитела к pERK.

 

Рисунок 2

Роль ERK в оперантном обучении. Панель A показывает, что U0126, введенный в NAc перед учебными сессиями, не имеет никакого эффекта по сравнению с контрольными элементами, наполненными транспортным средством. Панель В показывает, что ни у ERK-1, ни у ERK-2 фосфорилирование не повышено у крыс, изучающих оперант ...

И снова, хотя в префронтальной коре и вентральном субталамусе наблюдалось значительное окрашивание pERK, в прилежащем ядре оно было очень незначительным ( рис. 2 , панель C). Эти данные тесно согласуются с результатами вестерн-блоттинга и предполагают ограниченную роль ERK в оперантном обучении, в отличие от множества исследований, демонстрирующих решающую роль этой киназы в других формах обучения ( Levenson et al., 2004 , Chwang et al., 2006 , Kaphzan et al., 2006 ). Однако одновременная активация NMDAR/D1R может задействовать независимые от ERK сигнальные пути в ядре.

Роль CREB в нейронной пластичности

Модуляция pCREB посредством pERK имеет решающее значение в процессе обучения, поскольку CREB является транскрипционным фактором, увеличивающим или подавляющим экспрессию определенных генов. Считается, что эти гены регулируют синтез определенных белков, которые являются строительными блоками рецепторов, мембран и других структур, имеющих решающее значение для нейронной пластичности. Действительно, мы продемонстрировали, что синтез белка в прилежащем ядре (NAc) имеет решающее значение во время оперантного обучения ( Hernandez et al., 2002 ). Используя ингибитор синтеза белка анизомицин, мы показали, что немедленные послесессионные инфузии в NAc блокируют последующее оперантное обучение, что указывает на участие транскрипционных факторов и синтеза белка de novo . Интересно, что инфузии через 2 или 4 часа после сессии не оказывали никакого эффекта; анизомицин также не оказывал никакого эффекта во время теста на выполнение или теста на кормление. Еще раз, похоже, мы обнаружили ключевые особенности строго контролируемой во времени и контексте системы обучения, включающей множество структур, рецепторов, сигнальных механизмов и теперь — синтез белка.

Обнаружение зависимости синтеза белка от оперантного обучения, пожалуй, было одним из наиболее важных в нашей лаборатории, однако оно поставило большой открытый вопрос относительно специфичности этого синтеза белка. Поэтому мы провели несколько экспериментов, чтобы определить, какие гены могут синтезироваться/активироваться во время оперантного обучения. Используя стандартные методы гибридизации in situ с крысами, обработанными аналогично тем, которые использовались для вестерн-исследований pERK, мы обнаружили, что гены раннего ответа (IEG) Homer1a и egr1 ( zif-268 ) были активированы по сравнению с контрольными крысами сразу после 3- ^й сессии оперантного обучения в отдельных кортико-лимбико-стриатальных узлах. Экспрессия генов была значительно повышена по всей коре и стриатуме, а в некоторых случаях и в гиппокампе, но, что удивительно, не в вентральном стриатуме (т.е., NAc). В отличие от «группы раннего обучения», вторая группа крыс прошла 23 сессии оперантного обучения. Тем не менее, экспрессия генов Homer1a и egr1 была снижена по сравнению с группой раннего обучения почти во всех исследованных ядрах, что предполагает участие этих генов в функциях, связанных с пластичностью, во время раннего воздействия оперантных условий, но не во время последующего воздействия. Единственным исключением был вентролатеральный стриатум (ВЛС), который, по-видимому, остается генетически «в рабочем состоянии» даже при длительном воздействии оперантных условий. Хотя многие ученые называют длительное оперантное обучение «формированием привычек», эти реакции остаются адаптивными и гибкими (рассмотрите «временный» эффект подкрепления или снижение, которое наблюдается при устранении или прекращении оперантных условий): интересно предположить, что ВЛС может выполнять эту функцию мониторинга.

Другие глутаматные рецепторы также помогают в пластичности, связанной с оперантным обучением

Считается, что Homer1a регулирует и транспортирует метаботрофные глутаматные рецепторы группы 1 (mGluR1 и mGluR5). mGluR5 усиливают активность NMDAR, изменяя их проницаемость для Ca2 ⁺ ( Pisani et al., 2001 ), что поднимает интересный вопрос о том, что один из механизмов NMDAR-индуцированной пластичности может в значительной степени зависеть от активности mGluR5. Недавно мы непосредственно проверили роль активности mGluR5 в оперантном обучении, блокируя их активность с помощью препарата 3-((2-метил-4-тиазолил)этинил)пиридина (MTEP). Наши предварительные результаты показывают, что блокада активности mGluR5 в DMS ухудшает оперантное обучение, хотя дальнейшие эксперименты по этому вопросу продолжаются.

В нашей лаборатории также исследовали активацию AMPA-рецепторов и оперантное обучение. Эрнандес и др. (2002) продемонстрировали ограниченную по времени роль активации AMPAR в прилежащем ядре во время оперантного обучения. Однако этот эффект сохранялся на протяжении многих сессий и, возможно, был результатом некоторой регуляции или длительной интернализации глутаматных рецепторов. Хотя это утверждение нуждается в дополнительном эмпирическом подтверждении, нас очень удивило, что блокада AMPAR до сессии вызывала такой длительный эффект по сравнению с блокадой после сессии, которая не приводила к изменениям в оперантном обучении.

Эпигенетические изменения во время оперантного обучения

Помимо активации факторов транскрипции, активность NMDAR и D1R также вызывает модификации хроматина, белка, организующего и конденсирующего геномную ДНК, такие как ацетилирование гистонов. Эти модификации обеспечивают сигналы рекрутирования, участвующие в транскрипции/подавции генов, и влияют на доступ к ДНК для транскрипционного аппарата. Активация NMDAR и связанные с ней внутриклеточные сигнальные каскады, включая ацетилирование гистона 3 (H3), регулируют долговременные изменения поведения, павловское условно-рефлекторное формирование страха и инструментальное обучение в водном лабиринте Морриса ( Atkins et al., 1998 , Blum et al., 1999 , Schafe et al., 2000 ). Недавно мы начали исследовать, изменяет ли оперантное обучение хроматин. Действительно, экспрессия ацетилирования гистона H3 увеличивалась в определенных структурах во время выполнения оперантного поведения по сравнению с контрольной группой, получавшей сахарозу. В этом эксперименте крыс, нажимавших на рычаг по схеме RI-30”, умерщвляли через 30 минут после окончания сессии. Мозг извлекали, обрабатывали и инкубировали с антителами к ацетилированному гистону H3 (лизин 14) с использованием стандартных протоколов.

Интересно, что по отношению к контрольным органам мы наблюдали повышенное ацетилирование гистона H3 в DMS, структуре, которая широко рассматривается как ключевой фактор, способствующий обучению оперантов. Это некоторые из первых данных, которые мы знаем об изменении гистонов во время оперантного обучения. Однако повышение глобального уровня ацетилирования гистона H3 может быть результатом модификаций на промоторах генов, отличных от IEG, и, кроме того, крысы, использованные в этом эксперименте, прошли обширную подготовку. Таким образом, необходима дополнительная информация о локусе этого ацетилирования во время оперантного обучения. Тем не менее эти данные в сочетании со многими другими сообщениями убедительно свидетельствуют о том, что эпигенетические процессы задействованы во время оперантного обучения. Длительные модификации, такие как ацетилирование гистона, могут помочь нам понять устойчивую природу оперантного поведения, его устойчивость к изменениям и невосприимчивость некоторых расстройств к лечению.

Эпигенетические процессы также, по-видимому, изменяются во время приема лекарств и обучения. Во время самостоятельного введения кокаина, D1R-зависимой инструментальной парадигмы, модификации хроматина индуцируются в определенных областях стриатума у ​​промоторов многих генов, связанных с пластичностью, таких как Cbp, NR2B, Psd95 и GluR2. CBP имеет решающее значение для стимуляции индуцированной активации CREB и обладает внутренней активностью гистонацетилтранферазы (HAT) (Шайвиц и Гринберг, 1999). Трансгенные мыши, экспрессирующие усеченную форму CBP имеют несколько недостатков в обучении (Wood et al., 2005). NR2Bсубъединица комплекса NMDAR, содержит сайт связывания глутамата и является существенной для LTP, тогда как субъединица NR2A нет (Фостер и др., Foster и др., 2010). NR2B субъединица фосфорилируется CaMKII, дефосфорилируется PP1 и обеспечивает интернализацию NMDAR (Roche et al., 2001). Psd-95 ингибирует NR2Bопосредованная интернализация NMDAR (Roche et al., 2001) и управляет синаптической локализацией и стабилизацией NMDAR (Li et al., 2003). GluR2 является субъединицей AMPAR и содержит критический сайт фосфорилирования, также модулируемый активностью внутриклеточной протеинкиназы и протеинфосфатазы. Фосфорилирование GluR2 частично регулирует проницаемость AMPAR для кальция и других катионов. Интересно, что стимуляция mGluR5 в дорсальном стриатуме крысы вызывает GluR2 фосфорилирование, эффект блокируется антагонизмом NMDAR (Ан и Чо, 2009).

Модель внутриклеточной конвергенции оперантного обучения

На фоне этой динамичной и интересной работы мы создали модель конвергенции NMDAR-DA D1R, которая может способствовать лучшему пониманию нейронной пластичности, участвующей в оперантном обучении. На рисунке 4 представлена ​​преобладающая гипотеза о том, что сигналы обработки сенсорной информации, кодируемые глутаматом, активируют NMDAR и AMPAR, что приводит к притоку Ca2 ⁺ в клетку. Активация D1R дофамином активирует аденилатциклазу (AC, обозначена черной стрелкой), а в свою очередь, цАМФ. Два сигнальных пути взаимодействуют в нескольких местах, например, поскольку CaM, индуцированный активацией NMDAR, влияет на AC (хотя это несколько упрощенное представление). PKA активирует MEK, но также ингибирует Ras/Raf (обозначено линией с полосой), что предполагает, что пути не только сходятся, но и могут конкурировать за доминирование сигнала.

 

Рисунок 4

Внутриклеточная сигнальная модель оперантного обучения. Функциональные и структурные изменения, связанные с нейронной пластичностью, подразумевают скоординированную активацию NMDAR и DA D1R в кортикально-стриатально-лимбических сетях. Эта цифра суммирует преобладающую ...

Демонстрируется несколько точек возможной конвергенции, наиболее заметной из которых является активация CREB, MEK и ERK. Также показаны критически важные эффекты, связанные с пластичностью, такие как CREB-зависимая транскрипция генов раннего ответа Arc, Homer1a и egr1. Homer1a транспортирует рецепторы mGluR5 (обозначены серой стрелкой), которые впоследствии усиливают приток Ca2 ⁺ через активность Gαq-белково-связанной фосфолипазы C (PLC) (это усиление обозначено желтой стрелкой и молниями); активность mGluR5 также усиливает активацию DA D1R. Arc транспортируется к недавно активированным синапсам, вероятно, выполняя своего рода «метку». Недавно появившиеся данные указывают на важную роль Arc и ERK в встраивании субъединиц AMPAR и регуляции L-типа потенциал-зависимых кальциевых каналов. DARPP-32, активируемый активностью PKA, накапливается в ядре, ингибируя активность протеинфосфатазы 1 (PP1), которая непосредственно участвует в модификациях хроматина посредством внутренней дефосфорилирующей активности (обозначается стрелкой в ​​форме полукруга, «захватывающей» фосфатную группу). Действие гистоновых деацетилаз (HDAC) представлено линией в форме перевернутой стрелки, «захватывающей» ацетильные группы гистона 3 (H3). Эти модификации гистонов расслабляют или уплотняют хроматин, тем самым обеспечивая или подавляя транскрипцию генов (конкретные модификации, обозначенные на рисунке, не обязательно представляют собой фактические модификации, необходимые в промоторах IEG для транскрипции) ( Рисунок 4 основан на работах ( Sweatt, 2001 , Kelley and Berridge, 2002 , Haberny and Carr, 2005 , Ostlund and Balleine, 2005 , Valjent et al., 2005 )). Таким образом, нейромолекулярная конвергенция информации от кортико-стриато-лимбических NMDAR и DA D1R обеспечивает возможную основу для пластичности в обучении, основанном на вознаграждении. Конкретные ядра головного мозга и нейроны, представленные в этой модели, только сейчас начинают проясняться, но, вероятно, включают ключевые стриатальные, лимбические и кортикальные участки. Мы твердо убеждены, что средние шиповатые нейроны, особенно в стриатуме, могут быть хорошо приспособлены для функций, связанных с пластичностью, благодаря их необычно высокой Плотность вольтаж-зависимых ионных каналов, обеспечивающих исключительные переходы состояний ( Хоук и Уайз, 1995 ), в сочетании с конвергенцией широко распространенных, кодируемых глутаматом кортикальных, лимбических и таламусных афферентов, а также моноаминергических входов из среднего мозга.

Келли и его коллеги ( Kelley et al., 1997 ) первоначально утверждали о решающей роли прилежащего ядра (NAc) в нейронной пластичности и оперантном обучении. Действительно, наша лаборатория исследовала роль прилежащего ядра в различных поведенческих парадигмах, используя профессионально организованный междисциплинарный подход (например, экспериментальный анализ поведения, поведенческая нейронаука, молекулярная и клеточная нейронаука и т. д.). Доктор Келли был одним из экспертов по структуре, физиологии, связности и функциям прилежащего ядра. Однако несколько наших собственных экспериментов, по-видимому, противоречат первоначальному утверждению доктора Келли. Убедительное отсутствие участия MEK/ERK в NAc во время оперантного обучения и отсутствие экспрессии генов служат двумя смелыми исключениями из утверждения о том, что пластичность в NAc имеет решающее значение для оперантного обучения. Во-первых, возможно, что MEK/ERK вообще не участвует в оперантном обучении нигде в мозге. Наши исследования 12 других участков показали очень незначительные различия между оперантным обучением и контрольной группой. Возможно, путь MEK/ERK задействован в «критический период» или «переломный момент», когда крысы, кажется, «понимают», и наши исследования не обладали достаточным временным разрешением для обнаружения этого эффекта, особенно учитывая, что активация ERK является динамическим и относительно быстрым событием. Возможно, наши дозы U0126 были слишком низкими, чтобы ингибировать активацию ERK. Однако столь же вероятной гипотезой является то, что CREB-опосредованная транскрипция генов, участвующих в нейронной пластичности, активируется непосредственно другими сигнальными путями, такими как PKAc или CAM (см. рисунок 4 ), минуя путь MEK/ERK. И, возможно, мы не идентифицировали критически важные гены, связанные с пластичностью, или множество возможных эпигенетических модификаций нейронов NAc, которые обеспечивают и реализуют оперантное поведение. Мы надеемся подойти к этим вопросам с той же тщательностью и энтузиазмом, что и Энн.

Клинические последствия

Основная гипотеза данного обзора заключается в том, что модель, представленная на рисунке 4, может помочь в лечении многих клинических проблем. Очевидную роль играет наркотическая зависимость, поскольку злоупотребление наркотиками глубоко влияет на многие из тех же молекулярных процессов, которые задействованы в оперантном обучении. В последние годы одними из наиболее примечательных результатов исследований зависимости являются те, которые демонстрируют значительное совпадение механизмов, опосредующих наркотическую зависимость и нормальное обучение, связанное с вознаграждением ( Hyman and Malenka, 2001 , Nestler, 2001 , Wang et al., 2009 ). Мы уверены, что многие обзоры в этом специальном выпуске элегантно подчеркнули взаимосвязь между наркотической зависимостью и нормальным обучением, связанным с вознаграждением. Безусловно, эта взаимосвязь оказалась решающей в нашем понимании зависимости, однако мы хотели бы отметить некоторые важные новые связи между работой доктора Келли по оперантному обучению и новыми данными и результатами исследований других клинических проблем. Эти выводы можно разделить на две общие темы: 1) клинические проблемы, связанные с нарушениями обучения, которые можно было бы решить за счет лучшего понимания того, как происходит оперантное обучение посредством нейромолекулярных механизмов пластичности, и 2) клинические проблемы, связанные с продолжающимся, уже усвоенным и, возможно, очень устойчивым оперантным поведением и его нейромолекулярными составляющими. Последний случай, как нам кажется, включает в себя проблему зависимости, поскольку ее следует рассматривать как продолжающееся оперантное поведение с очень разрушительными и долгосрочными побочными эффектами.

Как отмечалось во введении, расстройства аутистического спектра, по оценкам, поражают 1 из 88 детей. Аутизм характеризуется дефицитом коммуникации, проблемами социального взаимодействия и стереотипными моделями поведения, хотя коммуникативные навыки могут быть типичными для детей с синдромом Аспергера. Ранняя интенсивная поведенческая терапия (РИТ), основанная на принципах оперантного обучения, составляет основу комплексных лечебных программ, дающих невероятные результаты. Эта ранняя терапия, которая в значительной степени индивидуализирована и контекстуализирована, обычно включает не менее 40 часов индивидуальной терапии в неделю, часто в течение многих лет. Данные показывают, что чем раньше начинается вмешательство, тем выше процент успеха. Во многих из этих случаев (по некоторым оценкам, от 40 до 50%) возможна полная интеграция в обычные классы с минимальной или без какой-либо дополнительной поддержки ( Lovaas, 1987 , Sallows and Graupner, 2005 , LeBlanc and Fagiolini, 2011 ). Эти данные указывают на нейронную пластичность как на определяющий компонент успеха РИТ. Исследователи в области лечения аутизма широко обсуждают «критические периоды» развития, которые совпадают с повышенной нейронной пластичностью ( LeBlanc and Fagiolini, 2011 ). Таким образом, наше исследование оперантного обучения может иметь два возможных следствия: 1) возможно, что аутичный «мозг» обладает сниженным пластическим потенциалом, и только благодаря интенсивной практике и терапии эти снижения преодолеваются; и 2) возможно, при более полном понимании оперантного обучения, вызвать периоды пластичности, чтобы дети старшего возраста могли получить пользу от терапии.

Хотя утверждение о том, что оперантное обучение, EIBT и нейронная пластичность лежат в основе расстройств аутистического спектра (РАС), является весьма спекулятивным, существует несколько источников подтверждающих доказательств. Во-первых, ведущей наследственной причиной РАС является синдром ломкой Х-хромосомы (FXS), представляющий собой проблему, связанную с тринуклеотидными повторами в одном гене FMR1. FXS ассоциируется с нарушениями обучения, дефицитом социального поведения, а также некоторыми физическими (преимущественно лицевыми) аномалиями. Ген FMR1 кодирует белок умственной отсталости при синдроме ломкой Х-хромосомы (FMRP), который необходим для нормального развития нервной системы ( Crawford et al., 2001 , Antar et al., 2004 ). Кроме того, FMRP сильно модулирует активность mGluR группы 1, а отсутствие активности FMRP нарушает регуляцию долговременной потенциации NMDAR ( Antar et al., 2004 ). Наша недавняя работа с ингибитором mGluR5 MTEP предполагает роль этого рецептора в оперантном обучении в «нормальных» условиях. В настоящее время исследуются фармакотерапевтические методы, основанные на модуляции активности mGluR5, для применения у людей с синдромом ломкой Х-хромосомы ( Hagerman et al., 2012 ).

Другая форма аутизма, называемая «регрессивным аутизмом», поскольку дети с этой формой в течение определенного периода развивают типичные коммуникативные и социальные навыки, а затем теряют их, недавно была связана со сниженной активностью PKA и каталитической субъединицы PKA, а именно c-изоформы. При посмертном сравнении с контрольной группой нерегрессивных аутистов, в лобной коре регрессивного аутизма наблюдалось снижение активности и экспрессии PKA ( Ji et al., 2011 ). В других областях коры головного мозга различий не наблюдалось, как и между нерегрессивным аутизмом и контрольной группой неаутистов. Таким образом, регрессивный аутизм может быть связан с опосредованным PKA фосфорилированием белков и аномальной внутриклеточной передачей сигналов. Наша работа еще раз продемонстрировала решающую роль PKA в оперантном обучении, что хорошо согласуется с недавними исследованиями регрессивного аутизма.

Синдром Рубенштейна-Тайби (СТТ) — это аутосомно-доминантное заболевание, вызванное мутациями гена белка, связывающего CREB (CREBBP). Для СТТ характерны низкий рост, широкие большие пальцы рук, характерные черты лица и умеренные или тяжелые трудности в обучении ( Bartsch et al., 2010 ). Здесь крайне важна очевидная связь между оперантным обучением, функцией CREB и СТТ. Возможно, детям с СТ может помочь EIBT или какая-либо фармакологическая терапия, которая позволяет, дополняет или заменяет модуляцию транскрипции генов CREB. Фосфорилирование CREB, по-видимому, контролирует функцию IEG и синтез новых белков, а также, вероятно, регулирует нейронную пластичность, связанную с оперантным обучением.

Наконец, наши данные и внутриклеточная модель указывают на эпигенетические процессы как на причину устойчивости оперантного поведения. Наше общее понимание оперантного поведения как «формирования привычек», многократные демонстрации спонтанного восстановления и, казалось бы, неограниченный период воспроизведения, связанный с оперантным репертуаром, в значительной степени подтверждают эту идею. Действительно, многие серьезные проблемные формы поведения оказались чрезвычайно устойчивыми к лечению, что привело к ограничению социальных возможностей, применению химических средств сдерживания, госпитализации и помещению в специализированные учреждения. Однако был разработан широкий класс диагностических инструментов, часто называемых «функциональным анализом проблемного поведения» или «функциональной оценкой поведения (ФОП)», для выявления контролирующих связей этих серьезных форм поведения. Как правило, эти классы поведения рассматриваются как оперантные, подкрепляемые вниманием, доступом к предпочтительным предметам/действиям или избеганием/уклонением от нежелательных обстоятельств ( Лерман и Ивата, 1993 ). Имея эту информацию, терапию можно направить таким образом, чтобы обеспечить альтернативные источники подкрепления или альтернативные подходящие оперантные действия, которые создают желаемые условия, потенциально даже спустя долгое время после первоначального оперантного обучения нежелательному поведению. Возможно ли, что более глубокое понимание оперантного обучения может выявить фармакотерапевтические мишени, такие как ацетилирование гистонов, которые усиливают оперантное угасание и/или способствуют новому оперантному обучению?

Хотя многие из этих понятий весьма спекулятивны, работа д-ра Энн Келли и его коллег в области оперантного обучения, по всей вероятности, даст представление о характере и ходе наркомании. Мы также хотели бы расширить нашу теорию и результаты, чтобы помочь понять дефицит обучения, связанный с ASD, FXS и RTS, а также трудность, связанную с силой некоторых серьезных проблемных репертуаров.

Сноски

Референсы