Введення бажання на бюджет: витрата дофаміну та енергії, узгодження винагороди та ресурсів (2012)

Вступ

Ідея про те, що основна функція дофаміну полягає в опосередковуванні винагороди, є поширеною. Хоча суперечності надто багато як допамін може сприяти винагороді - або навіть якщоГармата і Пальмітер, 2003; Мудрий, 2004; Berridge, 2007; Goto et al., 2007; Роббінс і Робертс, 2007; Salamone, 2007; Шульц, 2007; Redgrave et al., 2008), винагорода як організуюча метафора для функції допаміну є настільки повсюдною, що часто трактується як факт, особливо яскраво виражена в літературі з ожирінням і годуванням, де дофамін середнього мозку ефективно прирівнюється до винагороди (наприклад, Кенні, 2010; Volkow et al., 2010; Avena і Bocarsly, 2011; Berthoud et al., 2011). Проте десятиліття досліджень безперечно задокументували чітку роль допаміну в модулюючої активності, що найкраще ілюструється психостимуляторними властивостями лікарських засобів, що підвищують сигналізацію дофаміну. Salamone і його колеги вже давно стверджують, що основним ефектом допаміну є регулювання активної діяльності, що дозволяє тварині долати витрати на відповідь, пов'язані з проведенням цінних стимулів (Salamone, 2009, 2011). Нещодавно генетичні дослідження, що вивчають потенційні гени, що регулюють добровільну діяльність, вказували на гени, пов'язані з дофаміном, з деякими авторами, які вважають, що допамін може представляти собою «остаточний спільний шлях» у контролі за добровільною діяльністю (Leamy et al., 2008; Kelly et al., 2010; Knab та Lightfoot, 2010; Mathes et al., 2010; Garland et al., 2011). Незважаючи на переконливі та суттєві дані, які свідчать про те, що допамін відіграє ключову роль у витратах енергії, ця точка зору на дофамін затьмарюється перспективою нагородження. Наприклад, у багатьох роботах обговорюються допамін і ожиріння (Geiger et al., 2009; Berridge et al., 2010; Кенні, 2010; Berthoud et al., 2011), роль дофаміну в витратах енергії навіть не розглядається, незважаючи на те, що витрати енергії концептуально становлять половину рівняння енергетичного балансу.

До теперішнього часу жодна з переконливих рамок не об'єднала ці два різні сфери впливу дофаміну та передбачувану функцію, широко визнану функцію винагороди та менш помітні, але не менш очевидні ефекти дофаміну на активність та витрати енергії. Очевидні допамінергічні ефекти на активність часто визначаються як наслідок процесів винагороди. Наприклад, була запропонована роль допаміну в модулюванні добровільного колеса, що працює в гризунах, внаслідок дофамінергічної модуляції винагороди і підкріплення, пов'язаного з роботою колеса (Garland et al., 2011; Roberts et al., 2011; Yang et al., 2012). Тут ми розробляємо гіпотезу, за якою основною функцією допаміну є регулювання витрат енергії. Зокрема, ми стверджуємо, що допамін служить інтерфейсом між внутрішнім та зовнішнім середовищем, що співпадає з поведінковими витратами енергії з переважною екологічною енергетичною економікою. Ми вважаємо, що допамін регулює витрати енергії за двома вимірами: (1) багато енергії для витрат (збереження витрат осі) і (2), як поширювати або розподіляти енергію на різні види діяльності (вісь дослідження-експлуатації, описана нижче). З цієї точки зору, ефекти, пов'язані з винагородою дофаміну, виникають як вторинні, так і на службі адаптивного управління витратами енергії. Ми глибоко вдячні вишуканій роботі Саламоне та наполегливому фокусі на ролі дофаміну в регулюванні зусиль та його постійній критиці гіпотези про винагороду дофаміну. Ця гіпотеза представляє інтеграцію та розширення його фундаментальних поглядів на більш широку гіпотезу, в якій дофамін адаптивно регулює як зусилля, так і винагороду - масштабуючи вплив попередньої історії винагород на поточну поведінку - щодо наявності енергії в навколишньому середовищі.

Дослідження дофаміну в адаптивному, напівнатуральному контексті

Нижче ми спочатку розглянемо останні дослідження нашої лабораторії, які ставлять під сумнів примат винагороди за дофамінергічну модуляцію поведінки і виділяють її роль у витратах енергії. Згодом ми розробимо гіпотезу енергетичної економіки про функцію дофаміну, розглянувши відповідну літературу. Ми завершимо розгляд цієї гіпотези в дослідженні ролі дофаміну в ожирінні. Термін "винагорода", на жаль, зловживається в літературі, як уже зазначали інші (Гармата, 2004; Salamone et al., 2005; Salamone, 2006; Yin et al., 2008). Зокрема, слово використовується неправильно і неоднозначно для захоплення різних концепцій, включаючи емоційні реакції (наприклад, щось подобається), підкріплення (результат, що збільшує ймовірність повторення попередньої поведінки), стимулів, що задовольняють апетитну потребу (наприклад, їжі) і так далі. У першій частині цього огляду ми (неправильно) широко використовуємо цей термін, подібно до того, як він неправильно вживається в літературі, як паралельний термін, який об'єднує і захоплює теми, які пронизують літературу, незважаючи на різні теоретичні відмінності між різними ідеями. Згодом ми визначимо винагороду більш точно, коли розвиваємо нашу гіпотезу.

Підвищений допамін: зменшення зв'язку з винагородою

Непрямим в нагороді перспективами дофаміну є ідея, що Допамін підсилює вплив винагороди на поведінку. Досвідченим чином це підтверджується незліченними дослідженнями, які показують, що збільшення дофаміну збільшує зусилля, які тварина надає у винагороду, знижуючи зусилля дофаміну (Wise et al., 1978; Тейлор і Роббінс, 1986; Aberman et al., 1998; Peciña et al., 2003; Келлі, 2004; Cagniard et al., 2006a,b; Phillips et al., 2007; Salamone, 2009, 2011). Ці кумулятивні дані змусили багатьох дослідників зробити висновок, що або сам винагорода, або стимул, пов'язаний з стимулами, пов'язаними з винагородою, посилюється дофаміном. Альтернативно, чутливість до витрат, пов'язаних з отриманням винагороди, може бути зменшена за рахунок збільшення дофаміну (Phillips et al., 2007; Salamone, 2011). Часто виходячи з цих досліджень, навіть якщо їхні автори категорично виступають проти таких інтерпретацій (наприклад, Salamone), допамін модулює взаємозв'язок між винагородою та поведінкою таким чином, що допамін збільшує ступінь, до якого винагороду змінює поведінковий вибір. Наприклад, Salamone стверджує, що дофамін не модулює винагороду взагалі; він показує, що дофамін полегшує зусилля. Таким чином, здобуття винагороди тваринами менше заважає вартість відповіді. Багато хто інтерпретував це як збільшення впливу винагороди на поведінковий вибір не шляхом зміни самої винагороди, а шляхом зміни фактора - вартості відповіді - який зазвичай обмежує пошук винагороди.

Щоб вивчити, наскільки підвищений допамін змінює адаптацію до напівприродного середовища, ми запитали, чи призведе неодноразово спостережуване збільшення мотивації до винагороди до зменшення поведінкової гнучкості (Beeler et al., 2010). Щоб перевірити це, ми використовували домашню парадигму клітини, де миші жили в оперантно обладнаних домашніх клітках і всі їхні продукти отримували за допомогою натискання важеля, 24 / 7. Не було застосовано обмеження їжі, а мишам дозволялося повністю саморегулювати своє споживання. Два важеля давали їжу, де завжди було «дешево» і вимагало низького числа пресів для гранул (FR20), а інший завжди був «дорогим» і вимагав більшої кількості пресів, які збільшувалися при просуванні експерименту (FR40 – FR200) . Який важіль був, однак, перемикався випадково кожен хв. 20-хв. Таким чином, щоб отримати найбільшу віддачу від витрачених зусиль, миші повинні були контролювати постійну винагороду за винагороду і періодично перемикати важелі для отримання найменших витрат гранул. Ми перевірили мишей дикого типу C40BL / 57 (контрольний) і докамін-транспортер (DATkd), які мають підвищений позаклітинний допамін і підвищують тонічну активність допамінуZhuang et al., 2001; Cagniard et al., 2006b).

Ми виявили, що миші з підвищеним допаміном (DATkd) значно більше натискали на важелі високої вартості, ніж миші дикого типу, що відповідає попередній літературі, яка показує, що допамін підвищує зусилля до винагороди. Однак у цьому випадку збільшені зусилля не збільшують винагороду, а лише кількість витрачених зусиль на цю винагороду. Детальний аналіз даних показує, що DATkd не були нечутливими або не знали про перемикання між важелями, оскільки їхня поведінка пери-комутатора була по суті ідентичною. Різниця виникла протягом стабільних періодів між важільними перемикачами, де миші DATkd розподілили свої зусилля однаково на обидві важелі, тоді як миші дикого типу переважно пресували дешевий важіль. Щоб краще зрозуміти стратегію, що лежить в основі поведінки DATkd, ми вписуємо дані в модель для вивчення різниці в часі (TD) (Саттон і Барто, 1998). У цих моделях є два ключові параметри: швидкість навчання, яка контролює швидкість введення нової інформації про винагороду у (і зникає) значення натискання важеля та "зворотної температури", яка контролює ступінь, до якої це значення змінює поведінковий вибір. Останній параметр часто називають параметром exploit-exploit, оскільки більший результат упередження в експлуатації навчання, а зменшене зміщення дозволяє більше розвідки (Саттон і Барто, 1998; Daw et al., 2006). Ми виявили, що не було відмінностей між генотипами відносно швидкості навчання, що відповідало б відсутності відмінностей у навчанні навколо перемикачів, але DATkd демонстрував знижену зворотну температуру. Тобто було знижений зв'язок між історією винагороди та їх поведінковим вибором. На перший погляд це виглядає парадоксальним. Хоча миші DATkd працювали важче, щоб отримати винагороду, відповідно до десятиліть літератури, це, здається, не виникає як наслідок винагороди, що надає більший контроль над їхньою поведінкою. Навпаки, було зменшено зв'язок між нагородою та поведінковим вибором. Замість того, щоб винагорода мала більший вплив на їх поведінку, вона мала менше. Підвищення дофаміну в цих умовах призвело до зниження, а не до збільшення експлуатації. Цікаво, що Salamone et al. (Salamone et al., 2001) показали, що у щурів з виснаженням дофаміну nucleus accumbens більше залежність від недавньої винагороди за подолання вартості реагування, що припускає зворотне при зниженому допаміну, a збільшений зв'язок між історією винагороди та вибором.

Підвищений допамін: модуляція зусиль без збільшення споживання

Ще однією ідеєю, що полягає в тому, що дофамін в нагороді полягає в тому, що дофамін, збільшуючи ступінь винагороди, впливає на те, якою мірою тварина буде домагатися винагороди; тобто, що дофамін опосередковує "бажання": більше дофаміну, більше бажаючих, більше переслідування (Робінсон і Беррідж, 1993; Leyton et al., 2002; Volkow et al., 2002; Tindell et al., 2005; Berridge et al., 2010). Цей вплив дофаміну займає центральне місце в багатьох теоріях залежностіРобінсон і Беррідж, 2001; Koob і Volkow, 2010) і, останнім часом, теорії дофаміну і ожиріння (Volkow і Wise, 2005; Finlayson et al., 2007; Zheng et al., 2009; Berridge et al., 2010; Volkow et al., 2010; Avena і Bocarsly, 2011; Berthoud et al., 2011). В одному з останніх досліджень домашнього клімату (Beeler et al., 2012a), ми запитали, чи може в різних умовах навколишнє середовище це збільшення “бажання” бути адаптивним. Щоб перевірити це, ми знову розмістили мишей у домашніх клітинах, обладнаних оперантними важелями, де вони заробляли всю їжу через натискання важеля, знову без явного обмеження їжі. У цій парадигмі тільки один важіль давав їжу і робочий попит на цей важіль збільшувався кожні 3 дні протягом експериментів, починаючи з FR5 і закінчуючи FR250. Це дає криву попиту, яка показує ступінь, до якої миші регулюють своє щоденне споживання до поточної вартості гранул. Припускаючи, що допамін підвищує вартість винагороди та / або знижує чутливість до вартості, ми очікуємо, що миші DATkd з підвищеним допаміном краще підходять для цієї парадигми і продовжуватимуть натискати більш високі витрати, ніж миші дикого типу. Незважаючи на те, що DATkd демонстрував помірне підвищення тиску при більш високих витратах, загалом вони демонстрували таку ж корекцію до зростання витрат, як миші дикого типу, без змін у вазі тіла або виживання в експерименті. Більш того, коли дані підходили до моделі еластичності попиту (Hursh і Silberberg, 2008), не було різниці між генотипами в еластичності. Отже, де вплинув допамін на зусилля і винагороду?

Аналіз індивідуальних даних про їжу (тобто кількість, тривалість та розмір їжі) свідчить про великий ефект генотипу, коли миші DATkd їли більше але менше харчування. Тобто, хоча дофамін не суттєво змінив загальне споживання, він змінив структуру їжі - спосіб, в якому вони тимчасово розподіляли свої зусилля і споживання. Ці дані свідчать про те, що зростання витрат викликало умову дефіциту, що залучало гомеостатичні механізми збереження як дикого типу, так і DATkd. Щоб уникнути цього штучного стану дефіциту, ми провели дослідження прогресивного співвідношення клітини додому, де зростаючі витрати відбуваються в межах кожного прийому їжі або натискання, оскільки вартість кожного наступного гранул збільшується на 2. Після припинення ХНУМХ хв всього натискання, співвідношення скидається. Таким чином, миші могли б перекласти свої зусилля в бік більших, більш дорогих страв, або менших, дешевих і частіших прийомів їжі без шкоди для загального споживання. У цьому дослідженні ми не спостерігали значних змін маси тіла між групами і ніякої істотної різниці в загальному споживанні. Однак миші DATkd, знову ж таки, з'їдали більшу їжу і демонстрували більш високі точки переривання в межах окремих сутичок, що відповідає попередній літературі, яка показує, що підвищений допамін збільшує точку переривання в парадигмі прогресивного співвідношення. Однак, як зазначено вище, це більше зусиль було компенсовано менш частими прийомами їжі, так що загальне споживання не відрізнялося. З цих досліджень ми робимо два важливі висновки. По-перше, вплив дофаміну на прагнення до їжі, принаймні в цій парадигмі, здається, залишається під гомеостатичним контролем. По-друге, допамін, здається, не змінює «бажання» або загальне прагнення до їжі в глобальному сенсі, але, здається, модулює зусилля, витрачені в межах тимчасових локальних епізодів переслідування мети. Коротше кажучи, допамін впливає на те, як енергія та зусилля розподілений швидше, ніж підвищення апетитної мотивації сам по собі.

Тут ми спостерігаємо, що збільшення дофаміну не робить попит більш нееластичним; це, загальний гипердопаминергические миші адаптують своє споживання до витрат відповіді аналогічно дикому типу. На перший погляд це здається суперечливим для багатьох досліджень, які дозволяють припустити, що стимулювання або перешкоджання передачі дофаміну може підвищити або зменшити відповідь на основі зусиль, відповідно (наприклад, Aberman і Salamone, 1999; Bardgett et al., 2009; Salamone et al., 2009b), імовірно, впливаючи на еластичність у відповідь на витрати. Однак ми спостерігаємо те ж саме явище, що спостерігалося в цих дослідженнях: дофамін полегшує більші зусилля під час a бій Простеження їжі, про що свідчать більші прийоми їжі і більш високі контрольні точки. Проте ми також спостерігаємо, що дослідження, засновані на сеансах, не можуть — що ці відмінності у зусиллях, з яких ми можемо зробити висновок про зміни в еластичності, не обов'язково супроводжуються змінами загального споживання та попиту. Ці більші страви компенсуються меншою кількістю їжі, що призводить до загальної схожої еластичності у відповідь на зростання витрат. Те, що підвищений рівень дофаміну не дає нееластичності в цих дослідженнях, не означає, що допамін ніколи не модулює еластичність, а лише те, що зв'язок між допаміном, зусиллям і попитом може бути більш складним, ніж раніше оцінювався.

Підвищений допамін: не підвищує гедонічну цінність або зміщує поведінковий вибір

Інша ідея, що полягає в гіпотезі дофаміну та винагороди, полягає в тому, що Допамін збільшує переслідування переважним продукти (Salamone et al., 1991; Cousins ​​et al., 1993; Salamone, 1994; Lowe і Levine, 2005; Zheng et al., 2009; Berridge et al., 2010; Кенні, 2010; Volkow et al., 2010), де «бажаний», як правило, визначається як смачна, хедонічно корисна їжа: речі, які мають гарний смак. З точки зору стимулювання вибору, допамін посилює більший стимул, пов'язаний з бажаними продуктами. Стверджуючи це, Salamone et al. (Salamone et al., 1991; Salamone, 1994) продемонстрували, що в умовах вільного годування переваги не змінюються зміною функції дофаміну; тобто, дофамін не збільшує стимулювання або змінює переваги харчування, коли не існує (або низька) робоча вимога. У його дослідженнях, однак, при отриманні бажаної їжі is пов'язаний із вартістю реакції, дофамін збільшує зусилля, які буде докладати тварина, тим самим змінюючи зусилля тварини поведінковий вибір на користь більшого прагнення до бажаної їжі (Salamone, 1994; Salamone et al., 1994), який часто приймається для того, щоб припустити, що збільшення дофаміну збільшить прагнення до бажаної їжі в натуралістичному середовищі для нагулу шляхом зниження чутливості до відповідних витрат.

У останній серії досліджень (Beeler et al., 2012b), ми дослідили відносний внесок харчових і гедонічних, або смакових, цінностей до споживання, переваги та підкріплення, і запитали, як підвищений допамін може змінити їх. Для випробування лише на смакові якості ми використовували солодки без калорій (як сукралоза, так і сахарин). Для випробування на поживну цінність ми використовували мишей trpm5, які не володіють рецептором солодкого смаку і не смакують солодким (Damak et al., 2006; de Araujo et al., 2008), що дозволяє нам оцінити вплив харчування тільки. В обох випадках ми використовували мишей з і без збивання в допаміновому транспортері, щоб перевірити вплив підвищеного допаміну. В літературі випливає, що більша кількість гедонічно корисних продуктів буде більше піддаватися підвищеному допаміну. Виходячи з цього, ми можемо передбачити, що підвищений дофамін буде краще впливати на гедонічну нагороду. Ми виявили, по-перше, що хоча і гедонічна, і харчова цінність викликали збільшення споживання і переваги, гедонічна величина, відмежована від харчової цінності, була поганим підсилювачем. Тобто миші споживали б калорійні солодкі розчини і віддавали перевагу воді, але солодкий смак у відсутності калорійності не мав можливості індукувати кондиціонування в тесті кондиціонування двох пляшок. Більш того, в тесті прогресивного співвідношення сахароза індукувала підвищену реакцію через сеанси. На відміну від цього, підсолоджувачі, які не містять калорій, викликали набагато менше відповіді, що фактично знизилося протягом сеансів, що нагадувало так звану "міміку вимирання" (Wise et al., 1978). Berridge і Robinson (Робінсон і Беррідж, 1993) відомо описали дисоціацію між «бажанням» і «пристрастю» до наркоманії, коли наркомани розвивають «бажання» для наркотиків, не «люблячи»; тобто, стимулюючий стимулюючий пошук наркотиків не залежить від його гедонічних наслідків. Ці дані свідчать про додаткову дисоціацію «симпатії» без «бажаного», де можна відчути позитивний гедонічний відповідь без розробки асоціативних стимулів, які спонукають шукати цей досвід у майбутньому (Beeler et al., 2012b).

Всупереч очікуванню, підвищений рівень дофаміну не суттєво змінює мотивацію гедонічного, солодкого смаку, але збільшує зусилля для поєднання смаку / харчування, а також харчування. Попередні дослідження вивільнення дофаміну показали, що допамін вивільняється у відповідь на смак тільки (наприклад, використовуючи внутрішньо оральну канюлю для стимулювання смаку без наслідків після закінчення)Mark et al., 1991; Hajnal et al., 2004; Norgren et al., 2006; de Araujo et al., 2008; Wheeler et al., 2011). Так чому ж ми спостерігали зменшення підсилення до солодкого смаку за відсутності харчування? Ми провели дослідження вольтамперометрії, в якому щури попередньо піддавалися як сахарозі, так і гранулах сахарину, кожен з яких має ідентифікаційний аромат, щоб надати їм можливість розрізняти і дізнатися про відносну поживну цінність кожного (Beeler et al., 2012b). Потім ми вимірювали викликане вивільнення дофаміну у відповідь на сахарозу або сахарин. Щури отримували і споживали обидва типи гранул однаково; однак, коли ми вимірювали викликане вивільнення дофаміну, відповідь на сахарин сильно послаблювався порівняно з сахарозою. У подальшому дослідженні спостерігалося таке ж послаблення викликаного дофаміну у відповідь на сигнали, що передбачають сахарозу або сахарин (McCutcheon et al., 2012). Послаблена реакція на допамін на смак, вільний від калорій, узгоджується з зменшеною реакцією на відповідь і очевидною мімікцією екстинкції, що спостерігається в поведінкових дослідженнях з мишами. Коротше кажучи, ці дослідження показують, що збільшений допамін, хоча він збільшує зусилля і змінює розподіл витрат енергії (тобто структури їжі), не змінює споживання або переваги і не збільшує «бажання» харчових продуктів, які цінуються гедоном, за відсутності харчування .

У звичайній задачі одночасного вибору (Salamone, 1994) у тварини є вибір між натисканням на важіль для бажаної їжі або вживанням вільно доступної стандартної чау під час сеансів однієї години. Salamone і колеги показали, що дофамін збільшує відношення бажаних харчових продуктів до стандартного споживаного чау; тобто дофамін змінює поведінковий вибір на користь більш дорогих, але бажаних варіантів. Багато хто робить висновок з цієї роботи, що допамін збільшить прагнення до бажаних продуктів. Ми випробували цей висновок, провівши експериментальні експерименти з прогресивним співвідношенням між домашніми клітинами, де миші могли натиснути на бажану їжу (PR2), або без підсолоджувачів калорій, або сахарозу, або їсти вільно доступну чау. У цій напів-натуралістичній парадигмі підвищення дофаміну, як повідомлялося в дослідженні попиту і прогресивного співвідношення домогосподарств, змінило розподіл зусиль на збільшення енерговитрат (тобто, триваліші напади натискання, більша контрольна точка, але менше загальних боїв). Проте, незважаючи на більші зусилля, підвищений дофамін не змінює їхнього поведінкового вибору, що виражається у співвідношенні бажаної їжі до стандартної чау. Salamone стверджує, що посилені зусилля, спрямовані на бажану їжу, що спостерігається в парадигмі одночасного вибору, відображає зміни в чутливості до вартості відповіді і не змінюються переваги (Salamone et al., 2007). Ці дані підтверджують та поширюють цей аргумент, викривляючи висновок про те, що збільшення зусиль, що спостерігаються в парадигмі одночасного вибору, збільшить винагороду. У напів-натуралістичному середовищі ми спостерігаємо таку саму підвищену напругу щодо бажаної їжі, яку спостерігає Salamone, але це не змінює споживання, переваги або поведінковий вибір, а відображає різні стратегії витрат енергії.

Інтеграція управління винагородою та поведінкою енергії

Ці висновки важко пояснити виключно з точки зору сучасних теорій дофаміну та винагороди. (1) Замість того, щоб збільшувати вплив винагороди на поведінку, ми спостерігаємо зменшення взаємозв'язку між історією винагороди та вибором, припускаючи, що допамін викликає більше розвідки; це, менше зміщення вибору за винагороду. (2) Замість того, щоб подолати гомеостатичні механізми і сприяти надмірному споживанню, допамін, здається, працює в межах обмежень гомеостатичної регуляції, змінюючи розподіл зусиль у гонитві до їжі без зміни загального споживання; тобто дофамін викликає більшу енергію, але не більшу "бажану". (3) Замість того, щоб перекладати зусилля, споживання і поведінковий вибір на більш бажані продукти, допамін знову збільшує енергію, не змінюючи споживання, переваги або вибір; тобто помітна знижена чутливість до витрат не змінює апетитних цілей. Дослідження, описані всі, вказують на спільну тему: дофамін модулює поведінкову енергію витрат. Модуляція зусиль і витрат дофаміну розглядалася або як неспецифічний ефект - «узагальнена діяльність» - і / або як перерозподіл зусиль, що долає витрати на відповідь, пов'язані з досягненням цілей (Salamone et al., 2007). В іншій частині статті ми спробуємо інтегрувати аспекти дофаміну, що впливають на винагороду та активність. Для цього ми будемо розробляти альтернативну перспективу: вплив дофаміну на винагороду виникає вторинним шляхом і регулює поведінкові енергетичні витрати, покладаючи систему винагород на більш широкий контекст узгодження витрат енергії з наявними ресурсами.

Допамін: система управління поведінкою енергії

Енергія та її використання є остаточним підсумком адаптації. Усі потреби та функції організму, від терморегуляції до відтворення до самої енергії, потребують енергії. Підтримання адекватних запасів може розглядатися як основна еволюційна директива. Значна увага приділяється системам, які регулюють переслідування, споживання та зберігання енергії, але значно менше уваги до систем, які контролюють її витрати. Однак, крім того, що він є “рівноправним партнером” у визначенні енергетичного балансу (тобто споживання — витрати = чистий баланс), досягнення оптимального розподілу енергії для різних видів діяльності є критичним для адаптації. Тобто те, що робить тварина з наявною енергією, безперечно, настільки ж важливо, як і отримання енергії. Однак, як найкраще спрямувати енергетичні витрати, це залежить від умов навколишнього середовища. У багатому енергією середовищі дослідження, вправи та витрати енергії є адаптивними. В умовах бідного енергетичного середовища використання попереднього досвіду та енергозбереження - отримання найбільшого виграшу за прислів'я - прибутковість енергії - є надзвичайно важливим. З цієї точки зору, ефективне управління енергією передбачає прийняття рішення (1) про те, скільки енергії мені потрібно витратити, та (2) про те, наскільки обережно чи вибірково мені потрібно її застосовувати. Ми характеризуємо ці два питання як дві осі енергоменеджменту: витрата проти збереження та дослідження відповідно до використання (рис 1).

 

Малюнок 1. Концептуальні рамки двох осей для регулювання поведінкових витрат енергії дофаміном. Горизонтальні осі відображають роль дофаміну в регулюванні генералізованих рівнів активності по континууму від низької активності (збереження) до високої активності (витрати). Вертикальні осі представляють роль дофаміну в регулюванні балансу між дослідженням та експлуатацією шляхом модулювання ступеня, в якому інформація про винагороду упереджує розподіл поведінкової діяльності. "Дофамінова функція" тут трактується широко і може включати не тільки позаклітинні концентрації дофаміну в цільових регіонах, активність нейронів дофаміну (тобто швидкість тонічної активності, поширеність розриву), але також такі параметри, як відносна експресія різних рецепторів (наприклад, D1 та D2), експресія та активність транспортера доапміну (DAT), а також властивості пухирного вивільнення, включаючи розмір пулу, що легко вивільняється, та розмір пухирців. Як загальний концептуальний принцип, ми пов'язуємо знижену функцію дофаміну із збереженням та експлуатацією (нижній лівий квадрант), а підвищену функцію дофаміну з витратами та дослідженнями (верхній правий квадрант), як це відображається більшою стрілкою. Однак зміни різних аспектів дофамінової системи (наприклад, зміщення відносної експресії рецепторів D1 і D2) можуть змінити цю взаємозв'язок, породжуючи поведінку, описану в інших квадрантах, наприклад, великі витрати в поєднанні з більшим використанням інформації про винагороду ( нижній правий квадрант).

У поточній гіпотезі ми пов'язуємо ці дві осі витрат енергії з двома добре задокументованими функціями дофаміну. По-перше, ми пов’язуємо роль ролі дофаміну в регулюванні генералізованої активності з осями економії витрат. По-друге, ми припускаємо, що роль дофаміну у винагороді не полягає в модулюванні стимулів до винагороди та апетитних пошуків сам по собі, але використовувати інформація про винагороду регулювати розподіл енергії для різних видів діяльності, опосередковуючи осі досліджень та експлуатації; тобто, як вибірково слід розгортати енергію? Ми обговорюємо цей другий аспект дофаміну в TD моделях навчання дофаміну і винагороду, де допамін опосередковує обидва (1) навчання про винагороду - тобто присвоєння цінності стимулам, які спрямовують витрати енергії, і (2) ступінь, до якого ця винагорода змінює поведінковий вибір, будує другу ось, досліджує, експлуатує, енергійна ощадливість: наскільки ретельно мені потрібно використовувати наявні ресурси?

Підкреслюючи управління витратами енергії, а не модуляцію винагороди як основну функцію дофаміну, багато інших, які важко узгоджувати спостереження, можуть узгоджуватися з центральною організаційною метафорою для розуміння ролі дофаміну в поведінці. У наступних розділах ми коротко детально опишемо основні елементи цієї гіпотези в контексті сучасних ідей і літератури про дофамін.

Слід зазначити, що дофамінова система є складною і багатогранною. Окрім концентрацій позаклітинного дофаміну і частоти випалювання тонічного і фазового дофамінових клітин, "функція дофаміну" може включати модуляцію вивільнення на своїх цілях, модуляцію синтезу, везикулярну упаковку і легко вивільняються пули, зміни експресії і функції рецепторів і зміни в транспортері допаміну і зворотне захоплення. Як необхідне спрощення для цілей експозиції, ми будемо говорити про «високу» та «низьку» функцію дофаміну, що не є звичайною практикою в літературі. Складність цього незрозумілого є потенційними механізмами, за допомогою яких дофамінова система може надавати більш нюансированное, гнучке і складне регулювання своєї функції. На малюнку 1саме ці складності дозволяють вважати допамін не однією лінією від високої до низької (як показано на середині), а більш складною функцією, яка потенційно може бути діапазоном у двовимірному просторі. Розуміння цих складнощів, однак, залежить від інтерпретації, навколо якої можна організувати більш детальну інформацію. Тут ми зосереджуємося на формулюванні a скелетний альтернативні рамки і не намагаються засвоїти все, що відомо про допамін, і не деталізувати всі механізми, потенційно залучені в сигналізацію дофаміну, що є непростим завданням для одного паперу.

Допамін: посередництво між внутрішніми і зовнішніми світами

Дофамінова система знаходиться між двома світами подразників: зовнішнім і внутрішнім. З одного боку, дофамін модулює реакцію організму на подразники навколишнього середовища. У перспективі посилення навчання дофаміну та винагороди (Montague et al., 1996; Schultz et al., 1997), допамін критично опосередковує вивчення величини подразників (станів) і які відповіді (дії) є оптимальними (Reynolds et al., 2001; Шульц, 2002; McClure et al., 2003; До і Доя, 2006; День і Carelli, 2007; Day et al., 2010; Flagel et al., 2010; Gan et al., 2010; Day et al., 2011). Перспектива стимулювання виклику стверджує, що дофамін масштабує стимулюючу цінність, пов'язану з екологічними стимулами, змінюючи ступінь, до якої стимули змінюють поведінковий вибір (Phillips et al., 2003; Berridge, 2004; Roitman et al., 2004; Cagniard et al., 2006b; Day et al., 2006; Cheer et al., 2007). В обох випадках, хоча механічно дуже різний, дофамін модулює реакцію організму на подразники навколишнього середовища, навколишній світ.

Нові роботи продемонстрували складні взаємодії між дофаміновими та гомеостатичними системами, які контролюють та сигналізують інформацію про внутрішнє середовище організму (Davis et al., 2010a; de Araujo et al., 2010; Figlewicz і Sipols, 2010; Opland et al., 2010; Vucetic і Reyes, 2010). Нейрони дофаміну середнього мозку експресують рецептори для численних циркулюючих сигналів, пов'язаних з гомеостатичними механізмами, включаючи лептин, грелін, орексин і інсулін (для великого огляду, Figlewicz і Sipols, 2010). Крім прямого зондування гомеостатичних сигналів, дофамінові ядра отримують проекції з різних субстратів, пов'язаних з гомеостатичними механізмами контролю, включаючи гіпоталамічні проекції (Opland et al., 2010). Широко поширена думка, що ці входи модулюють процеси винагороди. Наприклад, часто пропонується, що циркулюючий лептин знижує активність допаміну, що, у свою чергу, зменшує корисність харчових продуктів, а отже, знижує апетитну поведінку (Morton et al., 2009; Davis et al., 2010a; Figlewicz і Sipols, 2010; Opland et al., 2010; Vucetic і Reyes, 2010). Точна роль цих гомеостатичних входів залишається спірною. Ключовим моментом тут є те, що дофамінова система отримує істотну інформацію про внутрішнє середовище і гомеостатичне стан організму, ставлячи його в змогу використовувати знання організмів про своє середовище відповідно до внутрішніх потреб і вимог; тобто, модулювати поведінку для оптимізації відносин між цими двома світами, внутрішнім і зовнішнім, організмом і світом. Звичайно, у певному сенсі весь мозок еволюціонував, щоб посередник між внутрішнім і зовнішнім світом, але широкі і дифузні проекції дофамінової системи, разом з різноманітними входами, які сходяться на ній, і його очевидною роллю в модулюванні широкого масиву поведінка і процеси, від мотивації до моторного виконання разом з високою консервацією у різних видах, свідчать про те, що вони, по суті, розвивалися, щоб грати певну фундаментальну, критичну роль в адаптації.

Допамін: покласти бажання на бюджет

Мало хто буде сперечатися з цим уявленням про те, що допамін інтегрує внутрішню та зовнішню інформацію для адаптації поведінки до умов навколишнього середовища та оптимального задоволення потреб організму. Складне питання як чи допамін досягає цього? Тобто, що є основним ефектор механізм, за допомогою якого допамін пристосовує поведінку? Переважна думка, майже гегемонічна, полягає в тому, що допамін модулює процеси винагороди, незалежно від того, чи він опосередковує вивчення нагороди, висловлювання стимулу або певної комбінації обох, і, отже, формує мотивацію: цілі та діяльність, які здійснює організм, і енергійність вони переслідуються. Критично, локус модуляції апетит: скільки винагороди спонукає її до переслідування.

Хоча і досі менше обговорюється, допамін також модулює рівні активності. Відповідно до цієї модуляції активності, Salamone і колеги вже давно стверджують, що допамін може модулювати обидва зусилля до досягнення мети (Salamone et al., 1997, 2005, 2009a), а також узагальнені рівні активності (Cousins ​​et al., 1993; Correa et al., 2002), спостереження центральні для поточної гіпотези.

Ми будемо стверджувати, що допамін регулює витрати енергії на узгодження поведінки з енергетичними ресурсами; тобто дофамін не модулює бажання, він ставить його на енергетичний бюджет. З цієї точки зору, доступність енергії, а не винагорода, є основним фактором, що впливає на дофамінергічну регуляцію поведінки. У наступних розділах ми розробимо цю гіпотезу управління енергією дофаміну, що обговорює перші ефекторні механізми, за допомогою яких допамін регулює енерговитрати з подальшим обговоренням механізмів, за допомогою яких дофамінова система регулює розподіл енергії з використанням інформації про винагороду. Після розробки гіпотези ми зосередимося конкретно на альтернативному обліку ролі дофаміну в ожирінні.

Вісь I: Збереження-витрати

У наступних розділах ми детально розглянемо роль допаміну в модулюванні енерговитрат уздовж континууму збереження та витрат. На думку розробників, регулювання витрат енергії - як узагальненої діяльності, так і зусиль, спрямованих на конкретні цілі - принципово не залежить від винагороди і залежить від наявних енергетичних ресурсів. Нагорода, ми будемо сперечатися, грає чітку роль у визначенні розподіл або розподіл цих енерговитрат, представлених віссю досліджень та експлуатації, і обговорених у розділі «Вісь II: досліджувати-експлуатувати».

Допамін і узагальнена активність: витрачати або зберігати?

Підвищений рівень дофаміну пов'язаний з підвищеною активністю протягом десятиліть. Препарати, що підвищують вивільнення дофаміну, такі як інгібітори зворотного захоплення амфетаміну, кокаїну або дофаміну, підвищують генералізовану активність у людей і гризунів (Келлі, 1975; Mogenson et al., 1980; Beninger, 1983; Ahlenius et al., 1987; Carlsson, 1993; Xu et al., 1994; Sedelis et al., 2000; Correa et al., 2002; David et al., 2005; Viggiano, 2008; Charntikov et al., 2011). Введення агоністів або антагоністів D1 збільшують і зменшують активність відповідно. Діючі препарати D2 діють постсинаптично на середніх колючих нейронах в інгібіторному, непрямому шляху; однак, вони також діють попередньо синаптично на дофамінові і глутаматні термінали і як авторецептори на клітинах дофамінових клітин. Як наслідок, низькі дози хинпирола, агоніста D2, пригнічують активність, імовірно зменшуючи вивільнення дофаміну за допомогою активації авторецептора, в той час як високі дози хінпіролу підвищують активність, імовірно через активацію постсинаптичних рецепторів D2, які знижують активність інгібіторного, непрямого шляху (Lomanowska et al., 2004). У гризунів деякі наркотичні засоби, що викликають звикання, які є депресантами ЦНС (наприклад, морфіном), підвищують активність, ефект, який, як вважають, виникає внаслідок підвищеного вивільнення допаміну (Koek et al., 2012). Лікарські засоби, що блокують підвищення активності зворотного захоплення дофаміну (Біллс і Коулі, 2008; Young et al., 2010) і експресія DAT корелює з руховою активністю. Миші з зниженою експресією допамінового транспортера, що призводить до підвищеного тонічного допаміну, є гіперактивними (Cagniard et al., 2006a).

Хоча немає сумнівів, що допамін модулює узагальнену активність, механізм, за допомогою якого він робить це, погано вивчений. Насправді, не існує загальної основи для концептуалізації того, що, власне, «узагальнена діяльність» або збудження в першу чергу (Quinkert et al., 2011). У гризунів узагальнену активність зазвичай вимірюють, використовуючи або відкриті поля, біжні колеса або монітори активності додому. Обговорюється ступінь, в якому кожен з них відображає загальний рівень активності (Dishman, 2008; Viggiano, 2008; Hesse et al., 2010; Garland et al., 2011). Наприклад, відкрите поле можна розглядати як міру загальної активності, дослідницької поведінки або «емоційності». Бігове колесо, тому що біг сильно підсилюється у гризунів (Вагнер, 2005; Brené et al., 2007; Greenwood et al., 2011), можуть бути змішані з процесами винагороди. Тим не менш, збільшення дофаміну збільшує активність на всіх трьох заходах і, навпаки, зменшення дофаміну знижує активність на всіх трьох заходах (Ahlenius et al., 1987; Zhuang et al., 2001; Correa et al., 2002; Leng et al., 2004; Beeler et al., 2006, 2009; Dishman, 2008; Kitanaka et al., 2012).

Замість того, щоб розглядати «узагальнену діяльність» як відмінну від цільової, орієнтованої на винагороду поведінку, альтернативна перспектива полягає в тому, що допамін сигналізує про доступність енергії та індукує витрати енергії, незалежно від того, чи спрямована вона на корисну, посилену активність, таку як робота колеса (або натискання важеля), назустріч дослідженню, наприклад, у відкритому грунті або просто переміщенням навколо, коли в домашній клітці роблять більше митоподібних речовин. Як стверджують психостимулятори протягом десятиліть: допамін активізує. Таким чином, вплив дофаміну на узагальнену активність є фундаментальним фактором в регулюванні витрат енергії шляхом підвищення або зменшення кількості енергії, що витрачається на поведінкову активність, незалежно від того, як ця діяльність може бути спрямована: незалежні від винагороди.

Допамін і зусилля: скільки можна дозволити?

Література рясніє свідченнями того, що збільшення допаміну збільшує зусилля в досягненні цілей, канонічно проілюстрованих підвищенням продуктивності в прогресивних парадигмах співвідношення, де після кожної отриманої винагороди зростає вартість кожної наступної винагороди (Hodos, 1961). Історично, зусилля суб'єкта у прогресивному співвідношенні оцінюються як міра посилення ефективності: тобто, як важко працювати - це міра того, наскільки цінні або мотивують винагороду (Madden et al., 2007a,b). Це аналогічно оцінці вартості чогось за ціною, яку хтось готовий заплатити.

Тим не менш, контрольна точка неявно вимірює визначення витрат та вигод (Salamone et al., 2009a). Хоча дофамін сприяє цьому поточному визначенню, його роль залишається незрозумілою (Salamone et al., 1997; Roesch et al., 2007; Day et al., 2010, 2011; Ostlund et al., 2010). З одного боку, як стверджується в теорії стимулів-відмінностей, допамін може посилювати стимулюючі властивості стимулів, пов'язаних з винагородою, по суті збільшуючи сприймається користь (Berridge, 2007; Gan et al., 2010). З іншого боку, Salamone і колеги стверджують, що допамін знижує чутливість до витрат, зменшуючи тим самим коштувати компонент (Salamone, 2011, Дивіться також Phillips et al., 2007). В обох випадках результатом є посилення прагнення до винагороди, що виникає внаслідок зміни витрат і вигод, що спостерігається як підвищена контрольна точка. У традиційній парадигмі прогресивного співвідношення важко розрізнити ці дві можливості, оскільки поведінковий результат буде виглядати однаково: збільшення зусиль і реагування. Дослідження домашньої клітини, розглянуті вище, можуть розрізняти ці дві альтернативи. Якщо підвищений допамін підвищує чутливість до винагороди, спонукає до більшої «бажаності» і підвищує апетитну мотивацію, то ми очікуємо більшого споживання і підвищеної переваги для більш корисних продуктів. Ми нічого не спостерігали. Замість цього, ми спостерігали подібний вибір споживання, переваг і поведінки, але зміна стратегій нагулу на збільшення витрат енергії. Однак було б неправильно говорити, що миші DATkd є нечутливі до витрат; вони регулюють своє споживання та зусилля у відповідь на зростання вартості, як і миші дикого типу. Більш того, в дешево-дорогих важелях перемикання парадигми, якщо важелі роблять НЕ Перемикач, миші DATkd віддають перевагу дешевому важелю, ідентичному дикому типу. Швидше за все, збільшення дофаміну, здається, зміщує стратегію нагулу до більших витрат енергії.

При визначенні оптимального компромісу між витратами та вигодами обидва фактори є контингентними в ситуації. З одного боку, вигода залежить від потреби. Харчові гранули будуть набагато більш цінними та мотивуючими до голодної миші, ніж насиченою. Роль, яку мотиваційна держава відіграє у визначенні нагороди та підкріплення, має довгу історію в психології та неврології (Berridge, 2004) і представляє активну область дослідження (Даян і Баллейн, 2002; Balleine, 2005; Фонтаніні і Кац, 2009; Haase et al., 2009). Однак набагато менше цінується те, що оцінка вартості може також бути контингентною. Зокрема, витрати, пов'язані з будь-якими витратами, залежать від наявних ресурсів. Вартість хот-дога аеропорту $ 12.00 не оцінюється тим же самим генеральним директором мільйонера і бідним аспірантом. З гризунами можуть застосовуватися подібні непередбачені ресурси. Наприклад, витрати на затримку можуть бути більш значними, якщо для отримання винагороди доступно лише обмежений проміжок часу (наприклад, за одну годину оперантних сеансів). Аналогічно, витрати, пов'язані з натисканням на важелі, можуть залежати від загальної доступності енергії для миші. Тому, якщо дофамін знижує чутливість витрат, існують дві інтерпретації. У першому, чутливість до витрат зменшується відносно вигоди; тобто, коли порівнюються витрати і винагорода, допамін зменшує фактор вартості для того, щоб сприяти винагороді (функціонально еквівалентній збільшенню стимулюючої цінності). У другому, дофамін модулює чутливість до витрат відносно наявних ресурсів. Якщо енергія достатньо доступна, витрати на зусилля знижуються.

Таким чином, ми стверджуємо, що регулювання дофамінових зусиль не залежить від винагороди; тобто вплив дофаміну на зусилля відображає пряму модуляцію витрат енергії стосовно наявних енергетичних ресурсів, а не опосередкований наслідок модуляції компромісу між вартістю та винагородою. Як дофамін збільшує витрати енергії в цілому, як обговорювалося вище, так він збільшує витрати енергії - або енергійність досягнення мети - у конкретних видах діяльності, знову ж таки, ми стверджуємо, незалежно від вартості винагороди: якщо у вас є енергія, використовуйте її.

Вісь II: Досліджувати-експлуатувати

У наступних розділах ми стверджуємо, що винагорода виконує центральну функцію в управлінні енергією, опосередкованої дофаміном: керуючий розподіл енерговитрат, які ми представляємо з осі дослідника-експлуатації (рис 1). З цієї точки зору, вивчене винагорода (цінність) визначає відносну корисність різних видів діяльності; однак найважливішим захопленням цієї осі є ступінь до яких ці цінності (і контраст між ними) фактично зміщують і формують поведінковий вибір. Ми інтегруємо в цю вісь перспективу підкріплення навчання та стимулювання виклику, стверджуючи, що фазовий допамін опосередковує вивчення та оновлення цінностей винагороди, як вважається, тонізуючий Допамін, як стверджують мотиваційні погляди, масштабує вплив цих цінностей на поведінковий вибір, вираження вивчених цінностей. Ми формально переосмислюємо це стимулююче масштабування як функцію в рамках навчання з підкріпленням, яке регулює ступінь, до якого попереднє навчання нагороджує вибір; тобто, наскільки використане навчання. Цю останню функцію ми покладаємо на тонічний допамін і конструюємо його як регулюючу ощадливість; тобто, регулюючи економію витрат на енергію.

Допамін і вибір цілей: прийняття мудрого вибору в енергетичних витратах

Ощадливість власних витрат залежить від наявних ресурсів. Багатій людині не потрібно сперечатися про тисячі доларів, тоді як бідній людині потрібно рахувати копійки. Так само тваринам, які живуть в енергійному середовищі з великою кількістю, не потрібно турбуватися про збереження енергії, тоді як ті, хто живе в умовах дефіциту, повинні витрачати енергію розумно. Таким чином, енергоменеджмент передбачає не лише визначення загальної величини енерговитрат, як обговорювалося вище, але й розподіл їх на конкретні види діяльності.

Ми виходимо з того, що, коли енергія є легкодоступною, витрати енергії є адаптивними, з двох основних причин. По-перше, фізичні навантаження показали в незліченних дослідженнях, які роблять значний внесок у здоров'я та довголіття (Holloszy et al., 1985; Samorajski et al., 1985; Paffenbarger et al., 1986; Holloszy, 1988; Helmrich et al., 1991; Greendale et al., 1995; Booth et al., 2000; Alevizos et al., 2005; LaMonte et al., 2005; Warburton et al., 2006; Gaesser, 2007; Huffman et al., 2008; Hawley і Holloszy, 2009; Mercken et al., 2012). В умовах дефіциту тваринам доводиться багато працювати, щоб знайти їжу; проте в умовах достатку вони цього не роблять. Система, яка збільшує витрати енергії у відповідь на умови достатку, підтримуватиме рівень активності та здоров'я, щонайменше не даючи тварині стати товстим, повільним шматочком на вечерю хижака. Більше того, якщо енергія є доступною, то завдяки дослідженню можна отримати інформаційну перевагу, яка дозволяє тварині більш повно дізнатись про своє довкілля, інформацію, яку можна використовувати в майбутньому (Behrens et al., 2007). Таким чином, коли енергія доступна, існує логіка для стимулювання витрат та поведінкових досліджень. На відміну від них, коли енергії не вистачає, тварині потрібно зберігати свою енергію і максимально використовувати свої знання про навколишнє середовище. У гіпотезі, що розробляється тут, роль дофаміну в процесах винагороди виникає як механізм розподілу енергії на певні види діяльності та подразники.

Для оптимального розподілу енергії необхідні дві основні функції. По-перше, організм повинен визначити значення стимулів і дій в першу чергу. По-друге, організм повинен визначити, якою мірою ці цінності повинні бути враховані при виборі поведінки: наскільки економними або «цінними» повинні бути витрати? Дві парасолькові погляди на дофамін і винагороду, навчання з підкріпленням та гіпотези стимулювання вибору забезпечують ці дві функції. У наведених нижче розділах ми розглядаємо обидві функції та їх внесок у вісь exploit-exploit (рис 1) віддані в термінах TD моделей навчання.

Допамін і навчання зміцненню: Облік цінностей

Як зазначено у вступі, термін «винагорода» може бути неоднозначним. Тут ми приймаємо інформаційну перспективу і визначаємо винагороду як позитивно оцінену інформацію про результат. Первинним питанням, яке слід вирішити, є роль, яку дофамін відіграє у поєднанні історії винагороди з майбутніми виборами. Підвищення перспектив навчання стверджує, що допамін модулює кортикостриатную пластичність у відповідь на винагороду, тобто позитивну інформацію про результат, таким чином опосередковуючи навчання про стимулів і дій, які є цінними. Мотиваційні погляди, зокрема стимул-виразність, дозволяють припустити, що допамін модулює вираз раніше вивчених цінностей (стимул). Поточна гіпотеза охоплює як рамки навчання TD.

Моделі тимчасової різниці є класом алгоритмів навчання підкріплення, які успішно застосовані для розуміння того, як нейронні субстрати, такі як дофамін і базальні ганглії, опосередковують поведінкове спостереження. У цих моделях стимулам і діям присвоюється “цінність”, яка включає всі очікувані майбутні нагороди, пов'язані з цими стимулами або діями. Як час розгортається і тварина рухається поступово вперед у часі, просуваючись через послідовні стани (тобто конфігурації стимулів, дій, винагород), на кожному кроці вперед попереднє прогнозування (t - 1) порівнюється з тим, що було отримано вчасно t плюс залишкові очікувані винагороди в майбутньому, тобто оціночну вартість на t. Якщо існує розбіжність, що називається помилкою прогнозування, попереднє значення на t - 1 регулюється таким чином, що коли цей стан знову зустрінеться, він буде більш точним. Коли тварина рухається вперед до часу t + 1, той самий процес відбудеться, на цей раз скорегував прогнозовану величину t шляхом порівняння з фактичною винагородою на t + 1 плюс майбутнє очікуване значення t + 1, і так далі. Ім'я TD виникає тому, що вся послідовність станів, кожна з власним прогнозом вартості “залишився” майбутньої винагороди, регулюється на один крок за один раз. Саме ця сукупність значень, пов'язаних з різними станами - стимулами і діями - дозволяє точно прогнозувати майбутню винагороду. Коротше кажучи, це алгоритм, який полегшує навчання при випробуваннях і помилках, коли тварина завжди, як це було, в medias res, і точна оцінка вартості окремих стимулів і дій поступово накопичується з часом через досвід.

Моделі тимчасової різниці мають дві ключові функції. По-перше, вони вчаться. Як описано вище, використовуючи правило оновлення на основі помилок передбачення, вони коригують попередні значення, пов'язані з стимулами і діями. По-друге, вони приймають рішення. Тобто, як тільки у вас є набір значень, існує правило про те, як ці значення використовуються при виборі дії. Ці дві функції пов'язані з двома параметрами, загальновідомими як альфа, швидкість навчання і бета, "температура", відповідно. Швидкість навчання визначає, в якій мірі нова інформація змінює встановлені значення, як зважування нової інформації проти старих, так і встановлення «вікна забування». Параметр температури визначає, якою мірою інформація поточної вартості (тобто історія винагород) змінює відбір дій, часто називають параметром "exploit-exploit".

Суттєві докази підтверджують роль дофаміну в опосередкуванні навчання підкріпленню та пластичності кортикостриату, які тут не розглядаються (Montague et al., 1996; Schultz et al., 1997; Рейнольдс і Вікенс, 2002; Шульц, 2002, 2010; Гармата і Пальмітер, 2003; Мудрий, 2004; Berridge, 2007; Goto et al., 2007; Redish et al., 2007; Роббінс і Робертс, 2007; Salamone, 2007; Шульц, 2007; Даян і Нів, 2008; Kheirbek et al., 2008, 2009; Redgrave et al., 2008; Курт-Нельсон і Редіш, 2009; Lovinger, 2010; Люшер і Маленка, 2011). Ця функція навчання в першу чергу пов'язана з фазовою активністю дофаміну, що діє протягом мілісекундного періоду часу, і не вважається, що вона безпосередньо представляє винагороду. Замість цього, спираючись на TD навчання, як описано вище, вважається, що фазовий допамін кодує помилки передбачення. Сигналізуючи непередбачувану винагороду або провал очікуваної винагороди (Schultz et al., 1997; Шульц, 2007; Flagel et al., 2010; Brown et al., 2011; Day et al., 2011), фазовий допамін оновлює значення, пов'язані з стимулами і діями, змінюючи синаптичні ваги через його вплив на кортикостриатную пластичність. У рамках поточної гіпотези ми приймаємо та розглядаємо цю функцію фазового допаміну у змінній величині, оскільки, у певному сенсі, функцію обліку: допамін не встановлює, створює або довільно масштабує значення, але функціонально забезпечує навчальний сигнал для модифікації навчання, щоб точно відобразити навчальний сигнал. значення, пов'язане з стимулами і діями. Простіше кажучи, ця функція допаміну намагається «отримати ціннісне право»: фундаментальною характеристикою будь-якого успішного бюджету є отримання правильного числа. Тобто високо деталізовані і механістичні функції дофаміну в навчанні підкріплення дозволяють тварині дізнатися про своє середовище в порядку краще розподіляти та використовувати наявну енергію.

Допамін та стимулююче-суттєвість: Розподіл енергетичного бюджету

Навпаки, допамін, на відміну від цього, стверджує, що допамін масштабує вплив стимулів, пов'язаних з винагородою, при виборі поведінки (Cagniard et al., 2006b; Berridge, 2007). Тобто дофамін модулює ступінь, до якої стимулююча цінність пов'язана з поведінкою упереджень від стимулів. Взагалі, підвищений допамін розглядається як підвищуючий стимул і розширюючи апетитну поведінку; Цей погляд відповідає десятиліттям літератури, що показує збільшення дофамінових результатів у збільшенні мети прагнення та зусиль, про що йшлося вище. По суті, це може бути концептуалізовано як збільшення експлуатація заохочувального навчання: цінність винагороди надає більшу упередженість у поведінковому виборі. Проте, якщо збільшення дофаміну призводить до збільшення експлуатації, можна логічно очікувати, що зменшення дофаміну призведе до більшої розвідки; тобто поведінка буде менше упередженою інформацією про винагороду. Однак, наскільки нам відомо, жодні дані не продемонстрували посилення розвідки як наслідок зменшення дофаміну. Натомість знижений рівень дофаміну послідовно пов'язаний зі зниженням активності та дослідницької поведінки. У описаному вище дослідженні клітини домашньої гнучкості ми виявили, що підвищений дофамін знижує зв'язок між історією винагороди та вибором, надаючи перевагу дослідження, а не експлуатація, що відповідає десятиліттям відкритих досліджень, що показують підвищену дослідницьку активність як наслідок збільшення дофаміну (наприклад, Zhuang et al., 2001). Відповідно до поточної гіпотези, нещодавні обчислювальні роботи Humphries та колег (Humphries et al., 2012) демонструють, що тонічний допамін може модулювати компроміс між дослідженням і експлуатацією. У своїй моделі вплив дофаміну на цей компроміс є складним і залежним від концентрації, але вказує, що високий допамін може викликати дослідницьку поведінку.

Ми пропонуємо, що стимулюючий вигляд дофаміну, де допамін масштабує ступінь, до якого цінність винагороди впливає на поведінковий вибір, фіксує критичний ефекторний механізм в дофамінергічному управлінні витратами енергії. Модулюючи баланс між дослідженням і експлуатацією, допамін регулює економічність витрат енергії. Проте, на відміну від нинішніх теорій стимулів-відмінностей, ми стверджуємо, що допамін діє приблизно в протилежному напрямку від того, що широко розуміється: сприяє допаміну дослідження; це, зменшилася зміщення поведінкового вибору за винагороду, хоча і як робота Humphries et al. (Humphries et al., 2012) демонструє, що точна робота цієї функції дофаміну, ймовірно, буде складною. Збільшене зусилля у винагороді, що спостерігається за допомогою посиленої функції допаміну, з цієї точки зору, виникає не як наслідок підвищеної вартості винагороди, а як результат дофамінергічного сигналу витрачати енергії і бути менш скромним у досягненні цілей.

Хоча через свою роль у навчанні підкріплення (фазовий) допамін сприяє вивченню величини, діапазону вертикальних осей на малюнку 1 не представляє значення сам по собі, від меншого до більшого значення, але ступінь, до якої встановлені значення зміщення або безпосередній поведінковий вибір, починаючи від континууму від сильного впливу на вибір (експлуатувати) до мінімального впливу (досліджувати). Це може бути витлумачено як осі ощадливості, де більша експлуатація максимізує винагороду за витрачену енергію, а знижена експлуатація полегшує розвідку та збільшення витрат енергії.

Те, як і якою мірою вивчені цінності визначають прямий поведінковий вибір, явно залежить від багатьох факторів, найбільш очевидно, мотиваційного стану організму, "виокремленості" в "спонуканні-виразності", враховуючи внутрішнє середовище організму. зовнішній необхідно враховувати також середовище, зокрема, наявність винагороди, особливо енергії. Як обговорювалося вище, багатство навколишнього середовища визначає, наскільки економна тварина повинна бути з її витратами енергії, і скільки вона повинна максимально використовувати попереднє навчання. Niv et al. (2007) висловили припущення, що тонічний дофамін кодує середню винагороду з часом, формалізацію, яка пов'язує відносну чисельність або дефіцит винагороди в оточенні з поведінковою силою. У моделі, запропонованій Niv, вища середня винагорода стимулює більшу поведінкову енергію для зменшення альтернативних витрат; Тобто, чим більш багата навколишнє середовище, тим більше, що втрачається через бездіяльність, барвисто описується як "вартість лінь". Зосереджуючись конкретно на доступності енергії, ми поділяємо цю точку зору, що тонічний дофамін сигналізує про достаток або дефіцит енергії в навколишньому середовищі. через деякий час. Однак, на сьогоднішній день, замість того, щоб розглядати підвищену енергію, пов'язану з дофаміном, як індукцію більшої експлуатації для зниження альтернативних витрат, ми припускаємо, що збільшення дофаміну відображає енергетичну чисельність і викликає більші витрати енергії, але менше експлуатація; тобто, менше енергоефективної поведінки, що сприяє дослідженню (але не бездіяльності).

Нарешті, широко відомо, що вивчені значення можуть бути частиною цілеспрямованої системи або системи звичок (Daw et al., 2005; Balleine et al., 2007), часто пов'язані з дорсомедіальним і дорсолатеральним стриатумом, відповідно (Інь і Ноултон, 2006; Balleine і O'Doherty, 2010). У моделях ТД, останній подається як «кеш» або «модель без системи», де значення стимулів і дій є непрозорими; тобто, як отримані значення не доступні для дослідження. Навпаки, цілеспрямована поведінка пов'язана з «модельними» системами, де «дерево» станів і пов'язане з ними значення явно представлено таким чином, що тварина може свідомо шукати дерево, щоб визначити, як виводиться значення на будь-якому аркуші і оцінювати його. ці цінності проти поточних мотиваційних станів. Навпаки, система звички або кеш-системи вважається нечутливою до мотиваційного стану, хоча і важливою, нечутливою до нового навчання (Balleine і O'Doherty, 2010). Саме тому, що кешоване значення не може бути «вивчене» з урахуванням поточних цілей, звичне поведінка, засноване на кешованих значеннях, буде випромінюватися у відповідь на презентацію стимулів навіть у відсутності мотивації, доки кешоване значення керування такою поведінкою не буде оновлено. У моделях TD параметр температури регулює ступінь, до якої оцінюється поведінка зсуву без урахування джерела цих значень, тобто, чи є вони частиною системи кешу, без моделі або на основі моделі. Виникає запитання, чи регулюється дофаміном дослідник-експлуататор, запропонований тут, однаково як для звички, так і для цілеспрямованої системи, на яке ми не можемо відповісти. Оскільки знижений допамін може викликати експлуатацію, ощадливість і збереження, підвищення контролю над попереднім навчанням має над поведінкою, винагородою / енергетично несприятливими середовищами і гіподопамінергією може, збільшуючи вплив встановленого навчання і цінностей на поведінку, підвищувати контроль, що здійснюється за допомогою звички систем, хоча це явно потребує подальшого дослідження.

Допамін та перенесення енерговитрат: перегляд шляхів GO та NOGO

Основною метою дофаміну, широко пов’язаної з роллю дофаміну як в нагородженні, так і в руховому контролі, є стриатум (Albin et al., 1989, 1995; Alexander et al., 1990; Мінк, 1996; Everitt і Robbins, 2005; Cagniard et al., 2006b; Balleine et al., 2007; Нікола, 2007; DeLong і Wichmann, 2009; Мудрий, 2009; Хабер і Кнутсон, 2010; Хамфріс і Прескотт, 2010; Sesack і Грейс, 2010). Стриатум є основною точкою входу для коркових входів (Bolam et al., 2000), які обробляються через базальні ганглії, які в кінцевому підсумку повертаються до кори головного мозку, включаючи відомі повторно введені кортикостриатние петлі (Alexander et al., 1990; Олександр і Пітер, 1990; Олександр, 1994; Міддлтон і Стрік, 2000; Хабер, 2003; Lehéricy et al., 2005). Кортикострыальна обробка відбувається через дві паралельні шляхи (без урахування гіпердиректного шляху), прямі та непрямі, які полегшують і пригнічують кортикостриатную пропускну здатність (Albin et al., 1995; Мінк, 1996), відповідно, іноді називаються шляхами GO та NOGO (Коен і Френк, 2009). Шлях GO переважно виражає D1, а NOGO виражає D2 (Surmeier et al., 2007) такі, що збільшення активності дофаміну посилює активність у сприяючому шляху ГО та зменшує активність у гальмівному шляху НОГО. І навпаки, знижений дофамін призводить до меншої активності ГО та підвищеної активності NOGO, що є ідеєю, що є ключовим для класичних моделей уповільнення рухового захворювання при хворобі ПаркінсонаAlbin et al., 1989; Мінк, 1996). Класичне функціональне пояснення цієї архітектури подвійного шляху - це «цілеспрямований вибір», ідея, що шлях GO ізолює і полегшує вибране дію двигуна, а шлях NOGO пригнічує конкурентні дії і сторонній шум, таким чином забезпечуючи чисте виконання дій (Мінк, 1996).

Однак таку ж архітектуру можна розцінювати як ефекторний механізм регулювання витрат енергії. Змінюючи баланс між шляхами GO і NOGO, допамін регулює як загальну пропускну здатність кортикостриатної системи, так і модулюючи її селективність (Білер, 2011). Зокрема, збільшення дофаміну сприяє шляху GO і зменшує шлях NOGO. Це призводить до більшої загальної пропускної здатності кортикостриатта і більшого дослідження, оскільки потенційні дії, представлені в кортикостриатном введенні до шляху GO, менше стикаються з протидією в шляху інгібуючого NOGO, зменшуючи обмеження на вибір дій. На відміну від цього, коли дофамін зменшується, спостерігається більша інгібуюча активність NOGO, що призводить до загальної меншої пропускної здатності кортикостриата і більшої експлуатації, оскільки дії, вибрані за допомогою шляху GO, повинні бути достатньо сильними для подолання інгібуючого впливу шляху NOGO (для вивчення перспективи на це, див Frank et al., 2009). Це дає підставу для розуміння того, наскільки підвищений вміст допаміну може збільшити загальної діяльності зменшити вибірковість цієї діяльності, тобто збільшення витрат енергії та розвідки. На відміну від цього, знижений допамін зменшує загальну активність, але збільшує селективність, що призводить до зниження енерговитрат і збільшується експлуатація (Малюнок 2). Більш детальне обговорення ролі (ів) дофаміну в модулюванні пропускної здатності кортикостриату можна знайти в інших місцях (Білер, 2011). Ця архітектура подвійного шляху, таким чином, забезпечує потенційну основу для модуляції енерговитрат за двома описаними осями: регулювання загальної, узагальненої діяльності (економія витрат) з одного боку, і, з іншого боку, регулювання ступеня попереднього вивчення нагороди експлуатуються осі досліджень і експлуатації.

 

Малюнок 2. Роль прямої та непрямої модуляції шляхів кортикостріальної пропускної здатності в регулюванні витрат енергії. Стріатум модулює кортикальну обробку за допомогою кортикостріатної-таламокортикальної петлі через базальну ганг'ю через два шляхи: прямий, нігростріальний ("GO") і непрямий, стриатопаллидний ("NOGO"), що експресують відповідно дофамінові рецептори D1 і D2. Діючи на D1 в GO-шляху (червоні тоновані коробки), допамін пригнічує кортикостриатную пропускну здатність, а активація дофаміну D2 інгібує шлях NOGO (сині тоновані коробки), також полегшуючи активність, гальмуючи інгібуючий вплив непрямого. І навпаки, зниження дофаміну зменшує інгібування D1, зумовлене інгібуванням шляху NOGO, і D2 опосередковано інгібування шляху NOGO. Ці ефекти дофаміну представлені зеленими стрілками для шляхів GO, що вказують на полегшення кортикостріатної пропускної здатності та червоні стоп-стрілки для шляху NOGO, що вказує на пригнічення кортикостриатной пропускної здатності. Наслідки посилення і зменшення допаміну на витратах і розподілі енергії узагальнено нижче з двома осями (консервація-витрата і дослідження-експлуатація) руйнується в єдиному масштабі обмежувального розміщення енергії (обмежені витрати, спрямовані на використання інформації про винагороду) проти експансивні витрати енергії (високі витрати розподілені ліберально на поведінкові заходи, тобто, розвідка), де обмежене використання енергії представлене блакитним та експансивним використанням енергії червоним кольором.

Допамін і його різноманітні цілі: оркестровка або еволюційна Bric-a-Brac?

У попередньому розділі ми зосереджуємося на дії дофаміну в стриатуме, широко розробленому як основний субстрат для навчання підкріпленню і залученого як до мотивації, так і до моторного контролю. Проте дофамін широко проходить через головний мозок, з важливими прогнозами, наприклад, до префронтальної кори. Крім того, крім широко вивчених шляхів нігрострітального і мезоаккумального пучків, що проеціюються до спинного і вентрального смугастого тіла і пов'язаних з руховим контролем і звичкою, і відповідно мотивацією, є значно менше вивчених ядер допаміну, в тому числі пов'язаних з гіпоталамусом, всі з яких можуть (або не можуть) сприяти енергетичному менеджменту потенційно різними способами. Розробка гіпотези управління допаміном і енергією вимагає, щоб модуляція дофаміну в різних цілях сприяла координації енергетичного менеджменту. На цьому етапі ми не можемо розумно спекулювати з цього питання.

Однак роздуми над цим питанням викликають питання про те, чи справді взагалі існує якась вища “функція” дофаміну? Або дофамін набув різних, не пов’язаних між собою функцій, так що поняття знаходження “функції” дофаміну являє собою дурне завдання: можливо, дофамінові функції, які ми спостерігаємо сьогодні, еволюціонували як печворк, еволюційний брик-а-бра, опортуністична колекція випадкових адаптацій . З літератури можна зрозуміти, у що там багато хто вірить is загальна, велика функція допаміну - найчастіше, «винагорода», в тій чи іншій формі. Здається, нерозумно думати, що як функція нейромедіатора розробляє і трансформує над еволюцією, ці розробки виникають як варіації на тему, подальше посилення певної функції, яка вже надала адаптивну придатність. Навіть якщо таке поняття в кінцевому підсумку виявляється помилковим, шукаючи «спільну нитку» серед, здавалося б, різноманітних, не пов'язаних між собою функцій, вони можуть забезпечити більш глибоке розуміння того, як ці, очевидно, розрізнені функції взаємодіють, щоб сприяти поведінковій адаптації. «Посередницька винагорода», настільки широка і неоднозначна, як вона є, служила цим спільним знаменником у більшій частині літератури і давала багаті результати. Тут ми пропонуємо альтернативну, всеохоплюючу функцію, енергоменеджмент.

Повертаючись до питання про те, як дія допаміну на різних нейральних субстратах може сприяти управлінню енергією, ми можемо лише віддзеркалювати питання з точки зору нашої гіпотези. Енергетичний менеджмент є фундаментальним біологічним процесом, подібно до відтворення, зростання і реагування на стреси, і вимагає узгоджений активність на декількох субстратах у відповідь на зовнішні умови, таким чином, що винагорода, подія у зовнішньому світі, можливо, ні. Така скоординована оркестрація декількох субстратів для досягнення однієї мети або цілі характерна для гормонів, таких як репродуктивні гормони або гормони стресу. Враховуючи дифузні прогнози дофаміну та дії на декілька цілей, спокусливо прийняти уявлення про те, що дофамін, можливо, розвинув гормоноподібну функцію для координації декількох нейронних субстратів та поведінки оркестру, оптимально пристосованої до переважаючого енергетичного середовища, в якому знаходиться організм. Хоча, правда, широкий і спекулятивний (але див Ugrumov et al., 2012), цікаво запитати, як модуляція дофаміну в спинному або вентральному смугастому тілі, або в префронтальній корі проти гіпоталамуса, може представляти собою координацію різноманітних нейронних субстратів з розрізненими функціями до єдиної мети, пристосовуючи поведінку до енергії середовище, в якому організм повинен виробити своє виживання.

Допамін і ожиріння: альтернативна перспектива

В останні роки спостерігається підвищена увага до ролі дофаміну в ожирінні з кількома видавними документами, що порівнюють переїдання до харчової залежності (Volkow і Wise, 2005; Trinko et al., 2007; Avena et al., 2008; Корвін і Грігсон, 2009; Dagher, 2009; Девіс і Картер, 2009; Ifland et al., 2009; Пельчат, 2009; Джонсон і Кенні, 2010; Volkow et al., 2010). Ці теорії зосереджують увагу на ролі дофаміну в опосередкуванні процесів винагороди, вказуючи на те, що в сучасних західних культурах, в яких легко доступні дуже смачні продукти, ці смачні продукти діють так само, як і зловживання наркотиками, і спонукають до збільшення «бажань», що призводить до втрати контролю над споживанням, незважаючи на, як наркоман, індивідуальні наміри приборкати калорійBerridge et al., 2010; Berthoud et al., 2011). Є дві протилежні думки про це (Davis et al., 2007; Девіс і Картер, 2009). У першому, збільшений дофамінергічна функція, що виникає внаслідок посилення підкріплення, пов'язаного з приємною їжею, призводить до підвищення мотивації, що перевищує нормальний гомеостатичний контроль (Finlayson et al., 2007; Zheng et al., 2009; Avena і Bocarsly, 2011). По суті, ми втрачаємо контроль над обличчям дійсно смачної їжі, ефект, який, як вважається, опосередкований постійною надмірною активацією допаміну. Навпаки, була запропонована гіпотеза “винагорода-дефіцит”, в якій a дефіцит в функції дофаміну призводить до зменшення сигналу винагороди, який генерує надмірне споживання, оскільки людина або тварина намагається «заповнити недійсну винагороду» (Wang et al., 2004; Geiger et al., 2009; Кенні, 2010).

В рамках існуючої гіпотези ми стверджуємо, що збільшення дофаміну сприяє збільшенню витрат енергії та розвідці, тобто менше зміщення поведінкового вибору шляхом винагороди, сприяння збереженню меншої кількості енергії та забезпечення захисту від ожиріння, що відповідає загальновідомим ефектам психостимуляторів при індукції втрати ваги (Vanina et al., 2002; Leddy et al., 2004). На відміну від цього, знижений допамін викликає збереження енергії та експлуатацію, тобто більшу зміну поведінки за винагороду. У цьому випадку споживання енергії та зберігання є кращими, що призводить до переїдання і збільшення ваги. Примітно, що на відміну від психостимуляторів, антипсихотики, які антагонізують дофамін (насамперед D2), послідовно пов'язуються зі збільшенням ваги протягом десятиліть (Еллісон і Кейсі, 2001; Vanina et al., 2002), хоча точні механізми залишаються невизначеними.

Лептин, інсулін і допамін: узгодження ресурсів і витрат

Спостереження за зниженою функцією допаміну при ожирінні, особливо зниженої експресії рецепторів D2, породило гіпотезу дефіциту винагороди (Blum et al., 2000, 2011) в якому надмірне споживання обумовлено спробою компенсувати зменшену винагороду. У запропонованій тут гіпотезі ми б інтерпретували ці дані. Коли функція дофаміну зменшується, це сприяє збереженню енергії та використанню інформації про винагороду: тобто «споживає і рухається якомога менше», очевидний рецепт ожиріння.

Мотиваційна дисоціація: необхідність без «бажань»

Десятиліття елегантної роботи продемонстрували поза сумнівом, що циркулюючі гормони, які передають енергію сигналу, особливо інсулін і лептин, сприяють регулюванню споживання та ваги тіла через дії на центральну нервову систему [див. Figlewicz і Sipols, 2010 для відмінного перегляду]. Відповідно до своєї ролі в опосередкуванні гомеостатичного енергетичного балансу, лептину і інсуліну діють на множинні мішені в гіпоталамусі, що беруть участь у регулюванні харчування, включаючи NPY, POMC, α-MSH і AgRP (Figlewicz і Sipols, 2010). Ці спостереження узгоджуються з теоріями мотивації скорочення приводів, де дефіцит або надлишок енергії сприяє або пригнічує споживання відповідно.

Різке збільшення ожиріння в останні роки (Форд і Мокдад, 2008), однак, виникає питання, чому ці гомеостатичні механізми, очевидно, виходять з ладу. Широко поширена думка, що дофамінові системи середнього мозку, які опосередковують стимулюючу мотивацію - мотивацію, що виникає внаслідок цінності, пов'язаної з стимулами (включаючи їжу), а не від стану потреби, опосередковує цю гомеостатичну недостатність, сприяючи так званому не гомеостатичному або гедоническому годуванню (Saper et al., 2002; Чжен і Бертуд, 2007; Lutter і Nestler, 2009; Zheng et al., 2009; Berthoud et al., 2011). Значні дані свідчать про те, що як лептин, так і інсулін можуть модулювати функцію дофаміну середнього мозку (Krügel et al., 2003; Fulton et al., 2006; Hommel et al., 2006; Roseberry et al., 2007; Leinninger et al., 2009) і змінювати харчування та споживання (Sipols et al., 2000; Figlewicz et al., 2001, 2004, 2008, 2006; Hommel et al., 2006; Morton et al., 2009; Davis et al., 2010b).

Зважаючи на думку, велика кількість даних свідчить про те, що як інсулін, так і лептин знижують функцію дофаміну, зменшуючи, у свою чергу, стимулювання, спрямоване на споживання та споживання їжі. По суті, лептин і інсулін, сигналізуючи адекватну енергію, являють собою функціональний сигнал пересичення, що зменшує нагороду, пов'язану з їжею (Morton et al., 2009; Davis et al., 2010b; Figlewicz і Sipols, 2010; Opland et al., 2010; Vucetic і Reyes, 2010). І навпаки, коли енергія низька, лептин і зниження інсуліну, пригнічуючи допамін і сприяючи посиленню стимулювання / винагороди, спрямованого на харчування. Ця загальна ідея узгоджується з даними, які демонструють, що збільшення лептину та інсуліну знижує поведінку, обумовлену винагородою (Carr et al., 2000; Fulton et al., 2000; Sipols et al., 2000; Figlewicz et al., 2004, 2006, 2007; Hommel et al., 2006; Farooqi et al., 2007; Rosenbaum et al., 2008; Morton et al., 2009) і, навпаки, обмеження харчування, пов'язане зі зниженням лептину / інсуліну (Гавел, 2000), збільшує поведінку, керовану винагородою (Керролл і Мейш, 1980; Carr, 2007, 2011; Davis et al., 2010a). Коротше кажучи, регулюючи функцію дофаміну вгору і вниз, лептин і інсулін модулюють стимул, пов'язаний з їжею, і цілком можливо, щоб чутливість винагороди загалом (Morton et al., 2006; Davis et al., 2010a). Хоча цей опис лептину і дофаміну є інтуїтивним, історія, тим не менш, може бути більш складною (Пальмітер, 2007).

В контексті ожиріння взаємозв'язок між лептином / інсуліном, дофаміном та поведінкою винагороди є парадоксальним і не відповідає ідеї, щойно викладена. По-перше, замість очікуваного збільшення сигналізації лептину / інсуліну, пропорційного збільшенню споживання калорій та ожиріння, ожиріння асоціюється зі зниженою чутливістю до лептину / інсуліну (Arase et al., 1988; Lin et al., 2001; Wang et al., 2001b; Майерс, 2004; Figlewicz et al., 2006; Enriori et al., 2007; Davis et al., 2010a; Figlewicz і Sipols, 2010; Koek et al., 2012). По-друге, в той час як ми можемо очікувати зниження чутливості лептину / інсуліну до підвищення дофамінової функції, аналогічно зниженим лептиновим / інсуліновим сигналам при обмеженні їжі, більшість досліджень знизився дофамінова функція при ожирінні (Di Chiara et al., 1998; Wang et al., 2001a; Davis et al., 2008; Geiger et al., 2008, 2009; Li et al., 2009; Vucetic і Reyes, 2010). Нарешті, можна очікувати, що знижена дофамінергічна функція призведе до зменшення споживання, як свідчать вищезазначені докази. Натомість зменшується дофамін та гіперфагія одночасно. Тоді при ожирінні ланцюг лептину / інсуліну -> дофаміну -> винагороди перевертається на кожному кроці.

Перші дві інверсії підкреслюють критичну різницю між гострим і хронічним позитивним енергетичним балансом. Вважається, що знижена чутливість до лептину / інсуліну виникає внаслідок цього хронічний позитивний енергетичний баланс, що веде до ожиріння і порушень обміну речовин, і являє собою патологічну адаптацію. Парадоксальне зниження функції дофаміну, пов'язане з ожирінням, незважаючи на знижену чутливість до лептину / інсуліну, ймовірно також (патологічна) адаптація, як часто пропонується в теоріях, що стосуються ожиріння до наркоманії (Volkow і Wise, 2005; Trinko et al., 2007; Avena et al., 2009; Lutter і Nestler, 2009; Avena і Bocarsly, 2011). Це суттєво ускладнює розслідування, оскільки це означає, що для кожного спостереження за співвідношенням між споживанням енергії, лептином / інсуліном і допаміном ми повинні запитати: «Чи це спостереження відображає нормальну функцію або патологічну адаптацію?». функція від патологічних станів і навпаки, проблема, розглянута нижче (секція, індукована кліткою).

Третя інверсія - що знижена функція допаміну, пов'язана з ожирінням, сприяє, а не гальмує споживання - поверхнево суперечить усьому уявленню, що допамін підвищує стимулюючу цінність. Однак це може відображати складність нейронних субстратів, які контролюють споживання. Зокрема, зменшується стимулююча мотивація і гіперфагія. Davis et al. (Davis et al., 2010b) нещодавно наводять дані, що свідчать про те, що лептин модулює дофамін за допомогою двох механізмів: прямого передавання через рецептори лептину на клітинах дофаміну середнього мозку та опосередковано через лептин, що експресує нейрон у бічному гіпоталамусі, для модуляції активності клітин дофаміну. Вони припускають, що дії лептину на ЛГ регулюють гомеостатичну мотивацію, тоді як дії на дофамін середнього мозку регулюють зусилля реагування. Хоча ці два механізми, як правило, працюють узгоджено, вони можуть роз'єднатися так, що споживання та готовність працювати за їжу не співвідносяться (наприклад, Greenwood et al., 1974; Salamone et al., 1991; Baldo et al., 2002; Davis et al., 2010b; Rasmussen et al., 2010). Якщо не гомеостатичне годування - це спроба отримати їжу - "бажаю" - у відсутності потреби (Berridge et al., 2010), патологічна адаптація лептину / інсуліну / допаміну до ожиріння може відображати протилежне: сприймається потреба в споживанні їжі, не витрачаючи зусиль, потребуючи без «бажаного».

Допамін і гомеостаз енергії: перспектива, орієнтована на витрати

Ця робота, описана вище, зосереджується майже виключно на споживанні, вхідній стороні енергетичного балансу. Лептин, хоча і менш систематично досліджений, також відіграє роль у регулюванні витрат енергії (Pelleymounter et al., 1995; Williams et al., 2001; Elmquist et al., 2005; Ludwig et al., 2005; van de Wall et al., 2008; Leinninger et al., 2011; Ribeiro et al., 2011). Однак, незважаючи на добре відому роль дофаміну в регуляції активності, мало відомо про те, як взаємодія між лептином, інсуліном та дофаміном модулює активність та витрати енергії. З точки зору витрат енергії, можна очікувати, що лептин / інсулін, сигналізуючи про наявність енергії, збільшить витрати енергії та активність (Ribeiro et al., 2011) - «якщо ви його отримали, використовуйте його» - що не відповідає спостереженням, що лептин знижує функцію дофаміну. Проте останні роботи (Leinninger et al., 2009; Opland et al., 2010) припускає, що зв'язок між лептином і допаміном може бути не простим і однонаправленим. Леннінгер і його колеги припускають, що лептин діє на ЛГ збільшується функція дофаміну (Leinninger et al., 2009) при активації рецепторів лептину на клітинах дофаміну знижується функція допаміну (Hommel et al., 2006; Figlewicz і Бенуа, 2009). Leshan et al. (2010) припускають, що дофамінові клітини, які експресують рецептори лептину, представляють собою невелику (~ 10%) субпопуляцію, яка виступає майже виключно до центрального ядра мигдалини. Коли лептин збільшується від надлишку енергії, то його первинний вплив на дофамін, через LH, може бути до збільшити функцію дофаміну та підвищення активності та енерговитрат, як це спостерігається у Ribeiro та colleauges (Ribeiro et al., 2011): енергія доступна, використовуйте її. Клітини дофаміну та проекція, що безпосередньо виражають рецептори лептину, можуть грати іншу роль у апетиті вивчення- пов'язані з CeN (Голландія і Галлахер, 1993; Parkinson et al., 2000; Connor et al., 2001; Бакстер і Мюррей, 2002; Lee et al., 2005; Paton et al., 2006; Ель-Амамі і Голландія, 2007) - інтригуюча ідея, що виходить за рамки поточної дискусії. У запропонованій тут гіпотезі цей лептин-опосередкований приріст дофаміну не підвищує винагороду, а скоріше зміщує регуляцію активності у бік більших витрат і більшої розвідки. Більш широке дослідження призводить до очевидного зниження чутливості / стимулу винагороди, як поведінки менш упередженим за винагороду, хоч і головне, все ще мотивовано.

Погляд на дофамін, орієнтований на винагороду, ставить регулювання вгору чи зниження винагороди та стимулюючої мотивації як основний внесок дофаміну в енергетичний гомеостаз та ожиріння. Сучасна гіпотеза зосереджує роль дофаміну на витратах енергії і припускає, що доступна енергія зазвичай збільшує дофамін, що призводить до збільшення активності та дослідження, де вплив винагороди на поведінковий вибір насправді зменшується. І навпаки, низький рівень енергії призведе до зменшення дофаміну, що призведе до збереження енергії та використання інформації про винагороду, тобто зростаючий вплив винагороди на поведінку. Останнє узгоджується з спостереженнями, які часто наводяться для підтвердження гіпотези «дефіциту винагороди», але тут ми інтерпретуємо ці дані як відображення «надмірної користі». Ця гіпотеза припускає, що високий калорійний прийом повинен збільшувати допамін і, через підвищену активність, бути захисним проти ожиріння. Цей передбачуваний механізм, однак, не виглядає більш успішним, ніж гомеостатичні механізми у запобіганні ожирінню в сучасних умовах. Чому?

Порушення енергетичних витрат: ожиріння, викликане кліткою та клітиною

Ця гіпотеза передбачає, що готовність постачання енергії, як це зазвичай має місце в сучасних західних суспільствах, підвищить дофамін і полегшить витрати енергії, забезпечуючи захист проти ожиріння. Критично, що цей ефект залежить від Можливість витрачати енергію. Дієтичне індуковане ожиріння (DIO) у гризунів, які харчувалися високим вмістом жирів, висококалорійними дієтами, є поширеною моделлю екологічно індукованого ожиріння. Незважаючи на те, що гризуни на таких дієтах широко розглядаються як модель обсеогенного середовища, вони загалом не стають ожиріннями, демонструючи ступінь стійкості, які змінюються між штамами (Brownlow et al., 1996; Funkat et al., 2004; Novak et al., 2010) і між індивідуумами, основою для селективного розмноження чутливих і стійких до ожиріння гризунів (Левін, 2010). Оцінка впливу дофамінових ефектів на енерговитрати в DIO є важкою, оскільки питання не було досліджено безпосередньо.

Хоча робота колеса показала захист від DIO в декількох моделях ожиріння (Zachwieja et al., 1997; Левін і Данн-Мейнелл, 2004; Bi, 2005; Моран і Бі, 2006b; Patterson et al., 2008, 2009; Meek et al., 2010; Novak et al., 2010), ступінь модуляції такої захисної добровільної діяльності дофаміном не була безпосередньо досліджена в цих дослідженнях. Щури OLEF, схильні до ожиріння, демонструють значне зниження ожиріння, коли забезпечуються бігові колеса (Bi, 2005). Цікаво, що зразки їжі цих щурів, порівняно з контрольними, аналогічні тому, що ми спостерігаємо з мишами DAT: вони споживають більше, але менше їжі, хоча, на відміну від DAT, їх чисте споживання підвищується (Моран і Бі, 2006a, p.1214, малюнок 2). Молодші, недіабетичні щури OLETF показують підвищений позаклітинний допамін, що відповідає фенотипу формування шматочків їжі DAT (Anderzhanova et al., 2007). Проте, у більш розвинених до діабетичних і діабетичних віках вони показують різке зниження рівня дофаміну (Anderzhanova et al., 2007). Однією з інтерпретацій цих даних є те, що підвищені рівні дофаміну в цих щурах надають їм більший прийом енергії та витрат, але за відсутності добровільних можливостей для занять, збільшуються витрати енергії, що призводить до енергетичного дисбалансу, ожиріння та порушень обміну речовин.

Деякі дослідження продемонстрували, що дієти з високим вмістом жирів / калорій знижують функцію дофаміну, включаючи знижену TH, знижену вивільнення дофаміну і знижену експресію рецептора D2 (Geiger et al., 2008, 2009). Однак неясно, чи спостерігається зниження функції дофаміну як пряме наслідк підвищеної доступності енергії або вторинної до іншої патофізіології. Зокрема, дієти з високим вмістом жирів / калорій пов'язані з лептином та / або нечутливістю до інсуліну (Arase et al., 1988; Lin et al., 2001; Wang et al., 2001b; Майерс, 2004; Figlewicz et al., 2006; Davis et al., 2010a; Figlewicz і Sipols, 2010). Це ускладнює інтерпретацію змін дофамінової функції у відповідь на ДІО. Наприклад, хоча з DIO повідомляється про зниження функції D2, ці спостереження зазвичай відбуваються після багатотижневої дієти з високим вмістом жирів, що передбачає можливість виникнення цих змін унаслідок хронічно підвищеного лептину і інсуліну і подальшої нечутливості до лептину / інсуліну. На жаль, ця можливість рідко розглядається, і рівень інсуліну / лептину зазвичай не повідомляється. Проте, в одному дослідженні, яке вивчало експресію D2 і DAT після 20 днів дієти HF і повідомлялося про рівні інсуліну / лептину, автори спостерігали зниження DAT і збільшити у D2 (Південь і Хуан, 2007; Дивіться також Huang et al., 2005), обидва відповідають підвищеної активності. У більш пізньому дослідженні ці самі автори спостерігають збільшення функції дофамінової системи, коли щурів переводять з раціону до високоенергетичної дієти (South et al., 2012). Ці дані свідчать про те, що початковий відповідь на високий рівень жирності і підвищену калорійність збільшити допамін і збільшити експресія дезінгібуючого рецептора D2, індукує більшу активність. Для того, щоб відповісти на питання про те, як система дофаміну реагує на велику кількість доступних калорій, критично важливо роз'яснити початковий від хронічний відповідь і оцінюють ступінь, до якої присутні патологічні адаптації, такі як нечутливість до лептину.

Якою мірою зміни, що спостерігаються в системі дофаміну під DIO, виникають не від самої калорійної дієти, а від відсутності можливостей для фізичних вправ? Тобто, у спостереженнях зменшення функції дофаміну, пов'язаного з ДІО, ми можемо запитати не тільки, якою мірою це відображає патологічну адаптацію, але і в якій мірі відсутність можливості для добровільних витрат енергії сприяти до цієї патології? Докази свідчать, що запуск колеса може змінити функціональні характеристики дофамінової системи (MacRae et al., 1987; Sabol et al., 1990; Hattori et al., 1993, 1994; Уілсон і Марсден, 1995; Liste et al., 1997; Meeusen et al., 1997; Foley і Fleshner, 2008; Greenwood et al., 2011), включаючи підвищений позаклітинний допамін, підвищений оборот, підвищену TH мРНК і зміни в експресії D2. В одному з недавніх досліджень, які диференціювали постсинаптичні D2 і авторецептори, авторецептори виявилися зниженими і постсинаптичний D2 підвищений (Foley і Fleshner, 2008). Більше того, добровільна діяльність може пом'якшити патологічні адаптації при застосуванні лептину та інсуліну, що може опосередковано захистити функцію дофаміну (Krawczewski Carhuatanta et al., 2011). Таким чином, добровільна вправа може покращити зменшену функцію дофаміну, що спостерігається в ДІО, хоча це не було систематично досліджено.

У гіпотезі, запропонованій тут, підвищена доступність енергії за рахунок підвищеної регуляції поведінкової активності, опосередкованої дофаміном, призведе до збільшення витрат на розвідку та енергію, дозволяючи тварині скористатися великою кількістю енергії та захистити від ожиріння. Оскільки парадигма ДІО не дає можливості для розвідки та витрат енергії шляхом обмеження гризунів на невеликі клітини з малою або відсутністю можливостей для новизни, стимулювання або здійснення, це може відображати наслідки зірвати Витрати енергії в умовах енергетичного достатку. Багато хто вважає, що осілий спосіб життя, характерний для сучасних західних культур, може сприяти ожирінню як багато, так і більше, ніж дієта (Пауелл і Блер, 1994; Booth et al., 2000; Hill et al., 2003; Чакраварти і Бут, 2004; Левін і Данн-Мейнелл, 2004; Warburton et al., 2006; Бут і Лі, 2007; Старійшина і Робертс, 2007; Hawley і Holloszy, 2009; Chaput et al., 2011), що робить ДІО дуже актуальним для розуміння ожиріння в сучасних суспільствах. Проте, залишається неясним, чи індуковане ожиріння виникає внаслідок збільшення споживання калорій або від відсутності значних можливостей витрачати енергію - ожиріння, викликане кліткою або «кабіною». Незважаючи на те, що допамін сприяє DIO, модулюючи винагороду і апетитну мотивацію, його потенційний внесок через модулювання витрат енергії залишається в основному не дослідженим, а в загальноприйнятій парадигмі DIO - неясною.

Майбутні напрямки: переформулювання дослідницьких стратегій

Гіпотеза винагороди дофаміну домінувала в дослідженні і думала про дофамін; експерименти зазвичай розробляються в рамках цієї концептуальної основи. Як наслідок, інформація, необхідна для оцінки запропонованої гіпотези, найчастіше відсутня. Часто рівні активності просто ігноруються. Це варіюється від широкого, загального дослідження, в якому існує глибока упередженість у вивченні апетитної поведінки та споживання, і лише нещодавно виникла література про механізми контролю добровільних витрат енергії на конкретні експерименти, такі як багато досліджень DIO, в яких діяльність не вимірюється або не враховується. взагалі [наприклад, Geiger et al., 2008, 2009]. Це упередження до теорій винагороди також відображено в літературі, в якій детально розроблені детальні та складні шляхи контролю над прийомом і / або винагородою, тоді як порівняне відображення механізмів і шляхів, що регулюють добровільну діяльність, практично не існує (але див. Garland et al., 2011). Інтеграція систематичних і узгоджених заходів діяльності повинна бути регулярно інтегрована в дослідження функції дофаміну.

По-друге, адаптація залежить від навколишнього середовища. В даний час переважна більшість досліджень на тваринах ефективно досліджують одну енергетичну економіку: періодичний, тимчасовий дефіцит харчових продуктів, що виникає внаслідок обмеження харчування, що використовується для мотивації тварин. Це не тільки не відображає діапазон умов, до яких тварина повинна адаптуватися, але вона не відображає первинний стан, який, як вважається, лежить в основі зростання ожиріння, що є середовищем достатку, а не дефіцитом. Під-натуралістичний підхід до домашньої клітці, як це показано на нашої роботи, а також на інших (Hursh et al., 1988; Chaney і Rowland, 2008) має важливе значення для отримання «повної» картини функції дофаміну. У таких парадигмах домашніх клітин екологічні ситуації можна контролювати за різними вимірами протягом тривалого періоду без необхідності штучно викликаного дефіциту енергії (тобто обмеження їжі) або введення штучних часових горизонтів (годинна сесія); тобто саморегульована поведінка тварини у відповідь на навколишнє середовище може бути більш повно досліджена.

По-третє, практично вся робота фокусується на впливі зміненого допаміну на поведінку з невеликим вивченням того, як поведінкові взаємодії з навколишнім середовищем та подальші результати змінюють саму систему дофаміну. Ці типи досліджень, безумовно, є складними, про що свідчить література про те, як стрес змінює функцію дофаміну. Тим не менш, вони здаються критичними для повного розуміння адаптивної функції дофаміну. Чи підтримується стійке середовище чи недостатнє регулювання дофаміну? Незважаючи на те, що питання може бути критичним, на сьогоднішній день немає чіткої або переконливої ​​відповіді, і питання рідко запитується.

Висновки: Ширше уявлення

Тут ми розробляємо широку гіпотезу про функцію дофаміну, яка говорить про те, що безліч очевидних функцій допаміну можна розуміти колективно як механізми, за допомогою яких енерговитрати пристосовуються до енергетичної економії, в якій тварина опиняється: субстрат для узгодження прагнення до винагороди ресурсів. Спочатку ми розробили цю гіпотезу теоретично, намагаючись інтегрувати різні погляди на функцію дофаміну в більш широку систему управління енергією. Потім ми застосували цю основу для повторної інтерпретації ідей та даних у зростаючому полі дофаміну та ожиріння. Ми пропонуємо нову гіпотезу, що дофамін, сприяючи витратам енергії, зазвичай захищає від ожиріння, але що осілий спосіб життя сучасного суспільства перешкоджає цьому захисному процесу і викликає патологічні адаптації, які сприяють, а не захищають від ожиріння. Хоча ми виходимо за рамки нинішньої дискусії, ми вважаємо, що рамки, розроблені тут загальними ударами, можуть бути плідно застосовані в інших областях досліджень в дофаміні, включаючи розлад дефіциту уваги і наркоманію, що потенційно дає нові уявлення та перевірені гіпотези.

Винагорода - зв'язок зовнішніх подій і стимулів з внутрішніми потребами - явно представляє критичну функцію з еволюційної, адаптивної точки зору. Проте винагорода і вартість принципово відносні. Який критерій, за допомогою якого модулюється винагорода? Тут ми припускаємо, що допамінова система, в її корені, виникла для вирішення ще більш фундаментальної функції, ніж винагорода: оптимально використовуючи енергетичні ресурси, саме серце адаптивного виживання і, буквально, питання життя або смерті.

Заява про конфлікт інтересів

Автори заявляють, що дослідження проводилося за відсутності будь-яких комерційних або фінансових відносин, які могли б бути витлумачені як потенційний конфлікт інтересів.

Подяки

Цю роботу підтримали NIDA R01DA25875 (Джефф А. Біллер), F31DA026802 (Крістіанна Р.М. Фрейзер), R01GM100768 (Xiaoxi Zhuang) і R56DK088515 (Сяосі Чжуан). Ми хотіли б подякувати рецензентам за їхні строгі та проникливі коментарі, які значно покращили остаточний рукопис.

посилання

Редаговано:

Джон Дж. Фокс, Медичний коледж Альберта Ейнштейна, США

Відгук:

Томас А. Сталнакер, Університет штату Меріленд, Медична школа Балтімора, США
Джон Д. Саламоне, Університет Коннектикуту, США