Sehnsucht nach Budget: Dopamin- und Energieaufwand, Ausgleich von Belohnung und Ressourcen (2012)

Einleitung

Die Idee, dass die primäre Funktion von Dopamin darin besteht, Belohnung zu vermitteln, ist allgegenwärtig. Obwohl Kontroversen über genau vorhanden sind wie Dopamin kann zur Belohnung beitragen - oder auch wenn esCannon und Palmiter, 2003; Weise, 2004; Berridge, 2007; Goto et al., 2007; Robbins und Roberts, 2007; Salamone, 2007; Schultz, 2007; Redgrave et al., 2008), Belohnung als eine organisierende Metapher für Dopamin-Funktion ist so allgegenwärtig, als oft als Tatsache behandelt werden, ein Trend besonders ausgeprägt in der Adipositas und Fütterungsliteratur, wo Mittelhirn Dopamin effektiv mit Belohnung gleichgesetzt wird Kenny, 2010; Volkow et al., 2010; Avena und Bocarsly, 2011; Berthoud et al., 2011). Jedoch haben jahrzehntelange Forschungen unzweifelhaft eine klare Rolle für Dopamin bei der Modulationsaktivität dokumentiert, am besten veranschaulicht durch die psychostimulierenden Eigenschaften von Arzneimitteln, die die Dopamin-Signalgebung erhöhen. Salamone und seine Kollegen haben lange argumentiert, dass der primäre Effekt von Dopamin darin besteht, anstrengende Aktivitäten zu regulieren, was es einem Tier ermöglicht, die mit der Verfolgung wertvoller Reize verbundenen Reaktionskosten zu überwinden (Salamone, 2009, 2011). In jüngerer Zeit haben genetische Studien, die potentielle Gene, die die willkürliche Aktivität regulieren, untersucht, auf Dopamin-verwandte Gene hingewiesen, wobei einige Autoren vermuten, dass Dopamin einen "letzten gemeinsamen Weg" bei der Kontrolle freiwilliger Aktivitäten darstellt (Leamy et al., 2008; Kelly et al., 2010; Knab und Lightfoot, 2010; Mathes et al., 2010; Garland et al., 2011). Trotz überzeugender und substanzieller Daten, die darauf hindeuten, dass Dopamin eine Schlüsselrolle bei der Energieausgabe spielt, wird diese Ansicht von Dopamin von der Belohnungsperspektive überschattet. Zum Beispiel, in vielen Artikeln diskutieren Dopamin und Fettleibigkeit (Geiger et al., 2009; Berridge et al., 2010; Kenny, 2010; Berthoud et al., 2011) wird die Rolle von Dopamin beim Energieverbrauch nicht einmal berücksichtigt, obwohl der Energieverbrauch konzeptionell die Hälfte der Energiebilanzgleichung ausmacht.

Bis heute hat kein zwingender Rahmen diese beiden unterschiedlichen Domänen der Dopamin-Effekte und der mutmaßlichen Funktion, die allgemein anerkannte Belohnungsfunktion und die weniger prominenten, aber ebenso nachweisbaren Wirkungen von Dopamin auf Aktivität und Energieverbrauch integriert. Scheinbare dopaminerge Effekte auf die Aktivität werden oft als Folge von Belohnungsprozessen definiert. Zum Beispiel wurde vorgeschlagen, dass die Rolle von Dopamin beim Modulieren des freiwilligen Radlaufens bei Nagetieren aus einer dopaminergen Modulation der Belohnung und Verstärkung resultiert, die mit Radlauf verbunden ist (Garland et al., 2011; Roberts et al., 2011; Yang et al., 2012). Hier entwickeln wir eine Hypothese, in der die primäre Funktion von Dopamin darin besteht, den Energieaufwand zu regulieren. Insbesondere argumentieren wir, dass Dopamin als Schnittstelle zwischen der internen und der externen Umgebung dient, die den Energieverbrauch der verhaltensbezogenen Energie mit der vorherrschenden Umwelt-Energiewirtschaft in Einklang bringt. Wir schlagen vor, dass Dopamin den Energieverbrauch in zwei Dimensionen reguliert: (1) wie viel Energie zu verbrauchen (conserve-expend axis) und (2) how to verteilen oder Energie für verschiedene Aktivitäten zuweisen (eine Explorations-Exploit-Achse, die unten erläutert wird). Aus dieser Sicht entstehen die belohnungsbezogenen Effekte von Dopamin sekundär und im Dienst der adaptiven Steuerung des Energieverbrauchs. Wir sind Salamones eleganter Arbeit und seinem hartnäckigen Fokus auf die Rolle von Dopamin bei der Regulierung der Bemühungen und seiner anhaltenden Kritik an der Belohnungshypothese von Dopamin zutiefst verpflichtet. Die vorliegende Hypothese stellt eine Integration und Erweiterung seiner grundlegenden Erkenntnisse in eine umfassendere Hypothese dar, in der Dopamin sowohl den Aufwand als auch die Belohnung in Bezug auf die Verfügbarkeit von Energie in der Umwelt adaptiv reguliert - wobei der Einfluss der vorherigen Belohnungshistorie auf das aktuelle Verhalten skaliert wird.

Untersuchung von Dopamin in einem adaptiven, halbnaturalistischen Kontext

Im Folgenden werden wir die neuesten Studien aus unserem Labor untersuchen, die das Primat der Belohnung bei der dopaminergen Modulation des Verhaltens in Frage stellen und dessen Rolle im Energieaufwand hervorheben. Anschließend werden wir eine energiewirtschaftliche Hypothese der Dopamin-Funktion erarbeiten und relevante Literatur überprüfen. Wir schließen mit einer Betrachtung der vorliegenden Hypothese bei der Untersuchung der Rolle von Dopamin bei Fettleibigkeit. Der Begriff "Belohnung" wird leider in der Literatur missbraucht, wie von anderen hervorgehoben wurde (Kanone, 2004; Salamone et al., 2005; Salamone, 2006; Yinet al., 2008). Insbesondere wird das Wort ungenau und zweideutig verwendet, um verschiedene Konzepte zu erfassen, einschließlich affektiver Antworten (wie etwa etwas mögen), Verstärkung (ein Ergebnis, das die Wahrscheinlichkeit der Wiederholung des vorhergehenden Verhaltens erhöht), Stimuli, die einem appetitiven Bedürfnis entsprechen (z. Essen) und so weiter. Im ersten Teil dieses Überblicks verwenden wir den Begriff weitgehend missbräuchlich, ähnlich wie er in der Literatur missbraucht wird, als Überbegriff, um trotz verschiedener theoretischer Unterschiede zwischen den verschiedenen Ideen Themen zusammenzufassen, die die Literatur durchdringen. Anschließend werden wir Belohnung genauer definieren, wenn wir unsere Hypothese entwickeln.

Erhöhtes Dopamin: Verringerte Kopplung zur Belohnung

Implizit in Belohnung Perspektiven von Dopamin ist die Idee, dass Dopamin verstärkt den Einfluss der Belohnung auf das Verhalten. Empirisch wird dies durch unzählige Studien gestützt, die zeigen, dass ein steigendes Dopamin die Anstrengung eines Tieres zur Belohnung erhöht, während die Abnahme von Dopamin die Anstrengung verringert (Wise et al., 1978; Taylor und Robbins, 1986; Aberman et al., 1998; Peciña et al., 2003; Kelley, 2004; Cagniard et al., 2006a,b; Phillips et al., 2007; Salamone, 2009, 2011). Diese kumulativen Daten haben viele Forscher zu dem Schluss geführt, dass entweder die Belohnung selbst oder der Anreiz, der mit belohnungsbezogenen Stimuli verbunden ist, durch Dopamin verstärkt wird. Alternativ kann die mit der Erlangung der Belohnung verbundene Kostensensitivität durch erhöhtes Dopamin (Phillips et al., 2007; Salamone, 2011). Was aus diesen Studien oft abgeleitet wird, auch wenn ihre Autoren sich entschieden gegen solche Interpretationen (z. B. Salamone) aussprechen, ist, dass Dopamin die Beziehung zwischen Belohnung und Verhalten so moduliert, dass Dopamin den Grad, in dem Belohnung die Verhaltenswahl beeinflusst, erhöht. Zum Beispiel argumentiert Salamone, dass Dopamin Belohnung überhaupt nicht moduliert; er zeigt, dass Dopamin erleichtert Anstrengung. Somit wird das Streben der Tiere nach Belohnung weniger durch die Antwortkosten behindert. Viele haben dies so interpretiert, dass der Einfluss der Belohnung auf die Wahl des Verhaltens nicht dadurch erhöht wird, dass die Belohnung selbst geändert wird, sondern dass ein Faktor - die Antwortkosten - geändert wird, der normalerweise die Verfolgung der Belohnung einschränkt.

Um zu untersuchen, wie ein erhöhter Dopamin-Spiegel die Anpassung an eine semi-naturalistische Umgebung verändert, fragten wir, ob der wiederholt beobachtete Anstieg der Motivation für eine Belohnung zu einer verminderten Verhaltensflexibilität führen würde (Beeler et al., 2010). Um dies zu testen, verwendeten wir ein Heimkäfig-Paradigma, bei dem die Mäuse in operant-ausgestatteten Heimkäfigen lebten und ihre gesamte Nahrung durch Hebelpressen erhalten wurde, 24 / 7. Es wurde keine Nahrungsbeschränkung angewendet, und die Mäuse durften ihren Konsum vollständig selbst regulieren. Zwei Hebel brachten Nahrung, wo man immer "billig" war und eine geringe Anzahl von Pressen für ein Pellet (FR20) benötigte, während die andere immer "teuer" war und eine größere Anzahl von Pressen erforderte, die im Verlauf des Experiments inkrementiert wurden (FR40-FR200) . Welcher Hebel wurde jedoch zufällig jede 20-40 min. Um den größtmöglichen Ertrag für den Aufwand zu erzielen, mussten die Mäuse daher die laufende Belohnungsrückmeldung überwachen und periodisch die Hebel umschalten, um die kostengünstigsten Pellets zu erhalten. Wir testeten Wildtyp-C57BL / 6 (Kontrolle) und Dopamintransporter knock-down (DATkd) -Mäuse, die erhöhte extrazelluläre Dopamin und erhöhte tonische Dopamin-Feuerung Aktivität (Zhuang et al., 2001; Cagniard et al., 2006b).

Wir fanden heraus, dass die Mäuse mit erhöhtem Dopamin (DATkd) signifikant mehr auf den kostenintensiven Hebel drückten als Wildtyp-Mäuse, was im Einklang mit früherer Literatur steht, die zeigt, dass Dopamin die Anstrengung zur Belohnung steigert. In diesem Fall erhöhte die erhöhte Anstrengung jedoch nicht die Belohnung, sondern nur den Aufwand für diese Belohnung. Eine detaillierte Analyse der Daten zeigt, dass die DATkd nicht unempfindlich gegenüber Switches zwischen den Hebeln waren oder sich nicht bewusst waren, da ihr Verhalten im Peri-Switch im Wesentlichen identisch war. Der Unterschied entstand während der stabilen Perioden zwischen Hebelschaltern, wo die DATkd-Mäuse ihre Anstrengung gleichmäßig auf beide Hebel verteilten, während die Wildtyp-Mäuse vorzugsweise den billigen Hebel drückten. Um die dem DATkd-Verhalten zugrundeliegende Strategie besser zu verstehen, haben wir die Daten in ein TD-Modell (temporal difference learning) eingepasst (Sutton und Barto, 1998). In diesen Modellen gibt es zwei Schlüsselparameter: eine Lernrate, die die Rate steuert, mit der neue Belohnungsinformationen in den Wert des Drückens des Hebels integriert werden (und von diesem verschwinden) und eine "umgekehrte Temperatur", die den Grad dieses Werts steuert beeinflusst Verhaltenswahl. Der letztere Parameter wird oft als "explore-exploit" -Parameter bezeichnet, da eine größere Verzerrung zur Ausnutzung des Lernens führt, während eine reduzierte Verzerrung eine größere Exploration ermöglicht (Sutton und Barto, 1998; Daw et al., 2006). Wir fanden, dass es keine Unterschiede zwischen den Genotypen in Bezug auf die Lernrate gab, was mit dem Fehlen von Lernunterschieden im Zusammenhang mit Schaltern übereinstimmte, aber dass die DATkd eine reduzierte Invers-Temperatur aufwies. Das heißt, es gab ein reduziert Kopplung zwischen Belohnungsgeschichte und ihren Verhaltensentscheidungen. Auf den ersten Blick erscheint das paradox. Obwohl die DATkd-Mäuse härter arbeiteten, um eine Belohnung zu erhalten, was mit jahrzehntelanger Literatur übereinstimmt, scheint dies nicht der Fall zu sein, wenn die Belohnung eine stärkere Kontrolle über ihr Verhalten ausübt. Im Gegenteil, es gab eine verminderte Kopplung zwischen Belohnung und Verhaltenswahl. Anstatt zu belohnen hatte eine stärkere Beeinflussung ihres Verhaltens, es hatte weniger. Erhöhtes Dopamin führte unter diesen Bedingungen eher zu einer verminderten als zu einer erhöhten Ausnutzung. Interessanterweise haben Salamone et al. (Salamone et al., 2001) haben gezeigt, dass Ratten mit Nucleus Accumbens Dopamin - Depletion sind mehr abhängig von der jüngsten Belohnung, um die Kosten der Reaktion zu überwinden, was die Umkehrung unter reduziertem Dopamin andeutet hat Kopplung zwischen Belohnungsgeschichte und Wahl.

Erhöhtes Dopamin: Modulation der Anstrengung ohne erhöhten Verbrauch

Eine andere Idee, die in der Belohnungs-Perspektive von Dopamin enthalten ist, ist, dass Dopamin, indem es den Grad erhöht, in dem Belohnung das Verhalten beeinflusst, den Grad reguliert, bis zu dem ein Tier eine Belohnung verfolgen wird; das ist das Dopamin vermittelt "Wollen": mehr Dopamin, mehr wollen, mehr Verfolgung (Robinson und Berridge, 1993; Leytonet al., 2002; Volkow et al., 2002; Tindell et al., 2005; Berridge et al., 2010). Dieser Effekt von Dopamin ist von zentraler Bedeutung für viele Suchttheorien (Robinson und Berridge, 2001; Koob und Volkow, 2010) und in jüngerer Zeit Theorien von Dopamin und Fettleibigkeit (Volkow und Weise, 2005; Finlaysonet al., 2007; Zheng et al., 2009; Berridge et al., 2010; Volkow et al., 2010; Avena und Bocarsly, 2011; Berthoud et al., 2011). In einer anderen kürzlichen Homecage-Studie (Beeler et al., 2012a), stellten wir die Frage, ob unter veränderten Umweltbedingungen dieses vermehrte "Wollen" adaptiv sein könnte. Um dies zu testen, nahmen wir wieder Mäuse in Hauskäfigen auf, die mit operanten Hebeln ausgestattet waren, wo sie ihre gesamte Nahrung durch Hebelpressen verdienten, wiederum ohne ausdrückliche Nahrungsbeschränkung. In diesem Paradigma ergab nur ein Hebel Nahrung und die Arbeitsnachfrage für diesen Hebel erhöhte sich alle 3-Tage während der Experimente, beginnend bei FR5 und endend bei FR250. Dies ergibt eine Nachfragekurve, die zeigt, in welchem ​​Maße Mäuse ihren täglichen Verbrauch an die aktuellen Kosten für Pellets anpassen. Unter der Annahme, dass Dopamin den Wert der Belohnung erhöht und / oder die Sensitivität für Kosten senkt, würden wir erwarten, dass die DATkd-Mäuse mit erhöhtem Dopamin in diesem Paradigma besser abschneiden und mehr zu höheren Kosten drücken als Wildtyp-Mäuse. Obwohl die DATkd bei höheren Kosten eine leicht erhöhte Pressung zeigte, zeigten sie insgesamt die gleiche Anpassung an die steigenden Kosten wie Wildtyp-Mäuse, ohne dass ein Unterschied hinsichtlich der Veränderungen des Körpergewichts oder des Überlebens innerhalb des Experiments beobachtet wurde. Darüber hinaus, wenn die Daten zu einem Modell der Nachfrageelastizität (Hursh und Silberberg, 2008), gab es keinen Unterschied zwischen den Genotypen in der Elastizität. Wo also hat sich der Dopamin-Effekt auf Anstrengung und Belohnung entwickelt?

Die Analyse der individuellen Mahlzeitendaten (dh Anzahl, Dauer und Größe der Mahlzeiten) zeigt einen großen Genotyp-Effekt, an dem die DATkd-Mäuse aßen größer aber Weniger Mahlzeiten. Das heißt, obwohl Dopamin ihren Gesamtkonsum nicht signifikant veränderte, änderte es doch die Struktur ihrer Mahlzeiten - die Art und Weise, wie sie ihre Anstrengungen und ihren Konsum zeitlich verteilten. Diese Daten deuten darauf hin, dass eskalierende Kosten eine Knappheitsbedingung induzierten, die homöostatische Konservierungsmechanismen sowohl im Wildtyp als auch in der DATkd auslösten. Um diesen künstlichen Zustand der Knappheit zu vermeiden, führten wir eine Untersuchung des Progressivitätsverhältnisses von Hauskäfigen durch, bei der die eskalierenden Kosten bei jeder Mahlzeit oder Pressung auftreten, da die Kosten für jedes nachfolgende Pellet um 2 steigen. Nach einer 30-Min.-Beendigung aller Drücken wird das Verhältnis zurückgesetzt. Auf diese Weise könnten Mäuse ihre Bemühungen auf größere, teurere Mahlzeiten oder kleinere, billigere und häufigere Mahlzeiten verlagern, ohne den Gesamtverbrauch zu opfern. In dieser Studie beobachteten wir keine signifikanten Veränderungen des Körpergewichts zwischen den Gruppen und keinen signifikanten Unterschied im Gesamtkonsum. Jedoch fraßen die DATkd-Mäuse wiederum größere Mahlzeiten und zeigten einen höheren Breakpoint bei einzelnen Anfällen, übereinstimmend mit früherer Literatur, die zeigt, dass erhöhtes Dopamin den Breakpoint im Paradigma mit progressivem Verhältnis erhöht. Wie oben wurde dieser größere Aufwand jedoch durch weniger häufige Mahlzeiten ausgeglichen, so dass sich der Gesamtverbrauch nicht unterschied. Aus diesen Studien ziehen wir zwei wichtige Schlussfolgerungen. Erstens scheinen die Wirkungen von Dopamin auf das Streben nach Nahrung zumindest in diesem Paradigma unter homöostatischer Kontrolle zu bleiben. Zweitens scheint Dopamin das "Wollen" oder das allgemeine Streben nach Nahrung im globalen Sinn nicht zu verändern, sondern scheint die Anstrengung zu beeinflussen, die in zeitlich lokalen Episoden der Zielverfolgung aufgewendet wird. Kurz gesagt scheint Dopamin die Art und Weise beeinflusst zu haben, wie Energie und Anstrengung sind verteilt anstatt die appetitive Motivation zu erhöhen an sich.

Wir beobachten hier, dass erhöhtes Dopamin die Nachfrage nicht unelastischer macht; das ist, Gesamt- hyperdopaminerge Mäuse passen ihren Verbrauch ähnlich wie Wildtyp an die Reaktionskosten an. Auf der Oberfläche scheint dies im Widerspruch zu vielen Studien zu stehen, die nahelegen, dass eine stimulierende oder hemmende Dopamin-Übertragung die Anstrengung-basierte Reaktion verstärken bzw. vermindern kann (z. B. Aberman und Salamone, 1999; Bardgett et al., 2009; Salamone et al., 2009b), vermutlich als Reaktion auf die Kosten die Elastizität beeinflussen. Wir beobachten jedoch das gleiche Phänomen, das in diesen Studien beobachtet wurde: Dopamin erleichtert größere Anstrengungen während einer Kampf der Nahrungssuche, belegt durch größere Mahlzeiten und höhere Haltepunkte. Wir beobachten aber auch, was Session-basierte Studien nicht können - dass diese Unterschiede in der Anstrengung, von denen wir Veränderungen der Elastizität ableiten könnten, nicht notwendigerweise mit Änderungen des Gesamtkonsums und der Nachfrage einhergehen. Diese größeren Mahlzeiten werden durch weniger Mahlzeiten ausgeglichen, was zu einer insgesamt ähnlichen Elastizität als Reaktion auf steigende Kosten führt. Dass ein erhöhtes Dopamin in diesen Studien keine Inelastizität erzeugt, bedeutet nicht, dass Dopamin niemals die Elastizität moduliert, nur dass die Beziehung zwischen Dopamin, Aufwand und Bedarf komplexer sein könnte als bisher angenommen.

Erhöhtes Dopamin: Erhöht nicht den hedonischen Wert oder die Verhaltenswahl bei der Wahl des Verhaltens

Eine andere Idee, die in der Dopamin- und Belohnungshypothese enthalten ist, ist die Dopamin erhöht die Verfolgung von bevorzugt Lebensmittel (Salamone et al., 1991; Cousins ​​et al., 1993; Salamone, 1994; Lowe und Levine, 2005; Zheng et al., 2009; Berridge et al., 2010; Kenny, 2010; Volkow et al., 2010), wobei "bevorzugt" typischerweise als schmackhafte, hedonistisch belohnende Lebensmittel definiert wird: Dinge, die gut schmecken. Aus einer Anreiz-Salienz-Perspektive erhöht Dopamin den größeren Anreiz, der mit bevorzugten Nahrungsmitteln verbunden ist. Dagegen argumentieren Salamone et al. (Salamone et al., 1991; Salamone, 1994) haben gezeigt, dass unter freien Nahrungsbedingungen die Präferenz nicht durch Veränderungen der Dopamin-Funktion verändert wird; das heißt, Dopamin erhöht den Anreiz nicht oder verändert die Nahrungsmittelpräferenz, wenn keine (oder geringe) Arbeitsanforderung vorliegt. In seinen Studien jedoch, wenn er ein bevorzugtes Essen erhält is In Verbindung mit den Reaktionskosten erhöht Dopamin den Aufwand, den ein Tier aufbringen wird, und verändert so den des Tieres Verhaltenswahl zugunsten einer stärkeren Verfolgung eines bevorzugten Lebensmittels (Salamone, 1994; Salamone et al., 1994), die oft angenommen wird, dass ein erhöhtes Dopamin das Streben nach bevorzugten Nahrungsmitteln in einer natürlichen Umgebung für Nahrungssuche erhöhen würde, indem die Empfindlichkeit gegenüber damit verbundenen Kosten verringert würde.

In einer aktuellen Reihe von Studien (Beeler et al., 2012b) untersuchten wir den relativen Beitrag von Nährwert und hedonischem oder Geschmackswert zu Verbrauch, Präferenz und Verstärkung und fragten, wie erhöhte Dopaminspiegel dies verändern könnten. Um den Geschmackswert allein zu testen, verwendeten wir kalorienfreie Süßstoffe (Sucralose und Saccharin). Um nur den Nährwert zu testen, verwendeten wir trpm5 knock-out-Mäuse, denen der Süßgeschmacksrezeptor fehlt und die nicht süß schmecken (Damak et al., 2006; de Araujo et al., 2008), so dass wir den Einfluss der Ernährung allein beurteilen können. In beiden Fällen verwendeten wir Mäuse mit und ohne Knock-down im Dopamin-Transporter, um die Effekte von erhöhtem Dopamin zu testen. Die Literatur deutet darauf hin, dass mehr hedonisch lohnende Lebensmittel stärker von erhöhtem Dopamin betroffen sein würden. Daraus könnten wir vorhersagen, dass erhöhtes Dopamin vorzugsweise die hedonische gegenüber der Nahrungsbelohnung beeinflussen würde. Wir fanden erstens, dass, obwohl sowohl der hedonische als auch der Nährwert einen erhöhten Konsum und eine erhöhte Präferenz induzierten, der hedonische Wert, der vom Nährwert getrennt war, ein schlechter Verstärker war. Das heißt, Mäuse würden kalorienfreie süße Lösungen konsumieren und sie dem Wasser vorziehen, jedoch fehlte dem süßen Geschmack in Abwesenheit eines Kalorienwertes die Fähigkeit, eine Konditionierung in dem Zwei-Flaschen-Konditionierungstest zu induzieren. Darüber hinaus induzierte Saccharose in einem Test mit progressivem Verhältnis erhöhte Reaktionen über die Sitzungen hinweg. Kalorienfreie Süßstoffe hingegen induzierten viel weniger Reaktionen, die über die Sitzungen hinweg abfielen und der sogenannten "Auslöschungsmimikry" ähnelten (Wise et al., 1978). Berridge und Robinson (Robinson und Berridge, 1993) haben bekanntlich eine Dissoziation zwischen "Wollen" und "Mögen" in der Sucht beschrieben, wo Süchtige "Verlangen" nach Drogen entwickeln, ohne "zu mögen"; Das heißt, das Antreiben von zwanghaftem Drogenkonsum ist unabhängig von seinen hedonischen Konsequenzen. Diese Daten weisen auf eine komplementäre Dissoziation von "liking" ohne "willing" hin, wo man eine positive hedonische Reaktion erleben kann, ohne assoziative Anreize zu entwickeln, die in der Zukunft zwanghaft nach dieser Erfahrung streben (Beeler et al., 2012b).

Entgegen der Erwartung hat erhöhtes Dopamin die Motivation für den hedonischen, süßen Geschmack nicht signifikant verändert, aber es hat den Aufwand für kombinierten Geschmack / Ernährung sowie für die Ernährung allein erhöht. Frühere Studien zur Dopaminfreisetzung haben gezeigt, dass Dopamin als Reaktion auf den Geschmack allein freigesetzt wird (z. B. durch Verwendung einer intraoralen Kanülierung zur Stimulierung des Geschmacks ohne postingestive Effekte) (Mark et al., 1991; Hajnal et al., 2004; Norgrenet al., 2006; de Araujo et al., 2008; Wheeler et al., 2011). Warum haben wir bei fehlender Ernährung eine reduzierte Verstärkung des süßen Geschmacks beobachtet? Wir führten eine voltammetrische Studie durch, bei der die Ratten sowohl Saccharose- als auch Saccharinpellets vorbehandelt wurden, jede mit einem identifizierenden Geschmack, um ihnen die Möglichkeit zu geben, den relativen Nährwert jedes (Beeler et al., 2012b). Wir haben dann die evozierte Dopaminfreisetzung als Reaktion auf Saccharose oder Saccharin gemessen. Die Ratten holten und verbrauchten beide Arten von Pellets gleichermaßen; wenn wir jedoch die evozierte Dopaminfreisetzung gemessen haben, war die Reaktion auf Saccharin im Vergleich zu Saccharose stark abgeschwächt. In einer Follow-up-Studie wurde die gleiche Abschwächung von evoziertem Dopamin als Reaktion auf Hinweise beobachtet, die entweder Saccharose oder Saccharin vorhersagten (McCutcheonet al., 2012). Die abgeschwächte Dopaminantwort auf den kalorienfreien Geschmack allein ist konsistent mit der verminderten antwortenden und scheinbaren Extinktionsmimik, die in den Verhaltensstudien mit den Mäusen beobachtet wurde. Kurz gesagt, zeigen diese Studien, dass erhöhtes Dopamin, obwohl es die Anstrengung erhöht und die Verteilung der Energieausgaben (dh Essensmuster) verändert, den Konsum oder die Präferenz nicht verändert und das "Wollen" von hedonistisch bewerteten Nahrungsmitteln in Abwesenheit von Nahrung nicht erhöht hat .

Bei der herkömmlichen gleichzeitigen Auswahlaufgabe (Salamone, 1994) ein Tier hat die Wahl zwischen dem Drücken eines Hebels für ein bevorzugtes Futter oder dem Essen von frei verfügbarem Standardfutter während einstündiger Sitzungen. Salamone und Kollegen haben gezeigt, dass Dopamin das Verhältnis von bevorzugtem Futter zu verbrauchtem Standardfutter erhöht; Das heißt, Dopamin verschiebt Verhaltensentscheidungen zugunsten der teureren, aber bevorzugten Option. Viele schließen aus dieser Arbeit, dass Dopamin das Streben nach bevorzugten Lebensmitteln verstärken wird. Wir testeten diese Schlussfolgerung, indem wir Versuche zur gleichzeitigen Auswahl von Hauskäfigen mit progressivem Verhältnis durchführten, bei denen Mäuse auf ein bevorzugtes Nahrungsmittel (PR2), entweder kalorienfreie Süßstoffe oder Saccharose, drücken oder frei verfügbares Futter essen konnten. In diesem semi-naturalistischen Paradigma verlagerte ein erhöhtes Dopamin, wie es in den Studien zur progressiven Proportionalität der Nachfrage und des Homecage berichtet wurde, die Verteilung der Anstrengung auf größere Energieausgaben (dh längere Pressungen, größerer Breakpoint, aber weniger Gesamtkämpfe). Trotz größerer Anstrengungen änderte jedoch erhöhtes Dopamin ihre Verhaltenswahl nicht, was sich im Verhältnis von bevorzugtem Futter zu Standardfutter widerspiegelt. Salamone hat argumentiert, dass verstärkte Bemühungen um ein bevorzugtes Nahrungsmittel, die im Paradigma der gleichzeitigen Wahl beobachtet werden, eine Veränderung der Sensitivität für die Reaktionskosten und keine Veränderung der Präferenz (Salamone et al., 2007). Diese Daten bestätigen und erweitern dieses Argument, indem sie die Schlussfolgerung verfälschen, dass der erhöhte Aufwand, der im Paradigma der gleichzeitigen Auswahl beobachtet wird, die Belohnungsverfolgung erhöhen wird. In einer semi-naturalistischen Umgebung beobachten wir die gleiche verstärkte Bemühung um eine bevorzugte Nahrung, die von Salamone beobachtet wird, aber dies verändert nicht den Konsum, die Präferenz oder die Verhaltenswahl, sondern spiegelt verschiedene Strategien für den Energieverbrauch wider.

Integration von Prämien- und Verhaltens-Energiemanagement

Diese Ergebnisse sind schwer zu erklären, nur in Bezug auf die aktuellen Theorien von Dopamin und Belohnung. (1) Anstatt den Einfluss der Belohnung auf das Verhalten zu erhöhen, beobachten wir eine reduzierte Kopplung zwischen Belohnungsgeschichte und -auswahl, was darauf hindeutet, dass Dopamin eine größere Exploration induziert; das ist, weniger Voreingenommenheit der Wahl durch Belohnung. (2) Anstatt homöostatische Mechanismen zu übersteuern und den übermäßigen Konsum zu fördern, scheint Dopamin innerhalb der Grenzen der homöostatischen Regulierung zu wirken, die das Immunsystem verändert Verteilung der Anstrengung auf Nahrungssuche, ohne den Gesamtverbrauch zu verändern; das heißt, Dopamin induziert größere Vitalität, aber nicht größeres "Wollen". (3) Anstatt die Anstrengung, den Konsum und die Verhaltenswahl zu mehr bevorzugten Nahrungsmitteln zu verlagern, erhöht Dopamin die Vitalität wieder, ohne den Konsum, die Präferenz oder die Wahl zu verändern; das heißt, die scheinbare verringerte Kostensensitivität verschiebt nicht die appetitiven Ziele. Die beschriebenen Studien weisen alle auf ein gemeinsames Thema hin: Dopamin moduliert die Verhaltensenergie Ausgaben. Die Dopamin-Modulation von Aufwand und Ausgaben wurde entweder als unspezifischer Effekt - "generalisierte Aktivität" - und / oder als Umverteilung von Aufwand betrachtet, der die mit der Verfolgung von Zielen verbundenen Reaktionskosten überwindet (Salamone et al., 2007). Im weiteren Verlauf des Artikels werden wir versuchen, die belohnungs- und aktivitätsmodulierenden Aspekte von Dopamin zu integrieren. Dazu werden wir eine alternative Perspektive entwickeln: Die Effekte von Dopamin auf die Belohnung entstehen sekundär und im Dienst der Regulierung des Energieverbrauchs von Verhaltensenergie, wodurch das Belohnungssystem in einen größeren Zusammenhang gestellt wird, indem der Energieverbrauch mit den verfügbaren Ressourcen in Einklang gebracht wird.

Dopamin: Ein behaviorales Energiemanagementsystem

Energie und ihre Verwendung ist das letzte Endergebnis für die Anpassung. Alle organisatorischen Bedürfnisse und Funktionen, von der Wärmeregulierung über die Reproduktion bis hin zur Beschaffung von Energie selbst, erfordern Energie. Die Aufrechterhaltung einer angemessenen Versorgung könnte als eine evolutionäre Hauptrichtlinie angesehen werden. Es wurde viel Wert auf Systeme gelegt, die die Verfolgung, den Verbrauch und die Speicherung von Energie regeln, aber viel weniger auf Systeme, die ihre Ausgaben kontrollieren. Abgesehen davon, dass es sich bei der Bestimmung der Energiebilanz (dh Verbrauch - Ausgaben = Nettobilanz) um einen „gleichberechtigten Partner“ handelt, ist eine optimale Verteilung der Energie auf verschiedene Aktivitäten für die Anpassung von entscheidender Bedeutung. Das heißt, was ein Tier mit seiner verfügbaren Energie macht, ist wohl genauso wichtig wie die Gewinnung von Energie. Wie der Energieverbrauch am besten direkt gesteuert werden kann, hängt jedoch von den Umweltbedingungen ab. In einer energiereichen Umgebung sind Exploration, Bewegung und Energieverbrauch anpassungsfähig. In einer energiearmen Umgebung ist es unerlässlich, frühere Erfahrungen zu nutzen und Energie zu sparen - um das Beste für das sprichwörtliche Energiedollar zu bekommen. Aus dieser Sicht bedeutet ein effektives Energiemanagement, zu entscheiden, (1) wie viel Energie ich verbrauchen muss und (2) wie sorgfältig oder selektiv ich sie einsetzen muss. Wir charakterisieren diese beiden Fragen als zwei Achsen des Energiemanagements: Ausgaben vs. Erhalten bzw. Erforschen vs. Nutzen (Abbildung) 1).

 

Abbildung 1. Zwei Achsen konzeptioneller Rahmen für die Regulierung des Verhaltens Energieaufwand von Dopamin. Die horizontalen Achsen repräsentieren die Rolle von Dopamin bei der Regulierung des allgemeinen Aktivitätsniveaus entlang eines Kontinuums von niedriger Aktivität (konservieren) zu hoher Aktivität (verbrauchen). Die vertikalen Achsen repräsentieren die Rolle von Dopamin bei der Regulierung des Gleichgewichts zwischen Exploration und Exploitation durch Modulation des Ausmaßes, in dem Belohnungsinformationen die Verteilung der Verhaltensaktivität beeinflussen. "Dopaminfunktion" ist hier weit gefasst und kann nicht nur extrazelluläre Konzentrationen von Dopamin in Zielregionen, Aktivität von Dopamin-Neuronen (dh Geschwindigkeit der tonischen Aktivität, Prävalenz des Platzens), sondern auch Parameter wie die relative Expression verschiedener Rezeptoren (z. D1 und D2), Expression und Aktivität des Doapmintransporters (DAT) sowie Eigenschaften der vesikulären Freisetzung, einschließlich der Größe des leicht freisetzbaren Pools und der Vesikelgröße. Als allgemeines konzeptionelles Prinzip verbinden wir eine verringerte Dopaminfunktion mit der Erhaltung und Ausbeutung (unterer linker Quadrant) und eine erhöhte Dopaminfunktion mit Ausgaben und Erkundungen (oberer rechter Quadrant), was sich im größeren Pfeil widerspiegelt. Änderungen verschiedener Aspekte des Dopaminsystems (z. B. Verschiebung der relativen Expression von D1- und D2-Rezeptoren) können diese Beziehung jedoch verschieben und ein von den anderen Quadranten beschriebenes Verhalten erzeugen, wie z. B. hohe Ausgaben in Verbindung mit einer stärkeren Nutzung von Belohnungsinformationen ( unterer rechter Quadrant).

In der aktuellen Hypothese verbinden wir diese beiden Achsen des Energieverbrauchs mit zwei gut dokumentierten Dopaminfunktionen. Zunächst verknüpfen wir die Rolle von Dopamin bei der Regulierung der allgemeinen Aktivität auf die Achsen, die die Ausgaben schonen. Zweitens schlagen wir vor, dass die Rolle von Dopamin bei der Belohnung nicht darin besteht, den Belohnungsanreiz und das appetitliche Streben zu modulieren an sich, aber zu benutzen Belohnungsinformationen regulieren die Verteilung von Energie zu verschiedenen Aktivitäten, Vermittlung der Exploit-Exploit-Achsen; das heißt, wie selektiv sollte Energie eingesetzt werden? Wir gestalten diesen zweiten Aspekt von Dopamin innerhalb von TD-Lernmodellen von Dopamin und Belohnung, wobei Dopamin beides (1) vermittelt About Belohnung - das heißt, den Reizen, die den Energieverbrauch bestimmen, einen Wert zuzuordnen und (2) der Grad, in dem diese Belohnungsinformation die Wahl des Verhaltens beeinflusst, indem die zweite Achse konstruiert wird, explore-exploit, as energetische Sparsamkeit: Wie sorgfältig muss ich meine verfügbaren Ressourcen nutzen?

Durch die Betonung des Managements von Energieausgaben anstatt der Belohnung von Modulation als primäre Funktion von Dopamin können viele ansonsten schwer zu vereinbarende Beobachtungen zu einer zentralen organisierenden Metapher zusammenfließen, um die Rolle von Dopamin im Verhalten zu verstehen. In den folgenden Abschnitten werden die Kernelemente dieser Hypothese im Kontext aktueller Ideen und Literatur über Dopamin kurz beschrieben.

Es sollte angemerkt werden, dass das Dopaminsystem komplex und facettenreich ist. Neben den extrazellulären Dopaminkonzentrationen und Raten der tonischen und phasischen Dopaminzellfeuerung kann die "Dopaminfunktion" die Modulation der Freisetzung an seinen Zielen, die Modulation der Synthese, vesikuläre Verpackung und leicht freisetzbare Pools, Veränderungen der Rezeptorexpression und -funktion und Veränderungen des Dopamintransporters umfassen und wieder aufnehmen. Als notwendige Vereinfachung für die Exposition werden wir von "hoher" und "niedriger" Dopaminfunktion sprechen, eine in der Literatur nicht unübliche Praxis. Die Verwicklungen, die dadurch verdeckt werden, stellen mögliche Mechanismen dar, durch die das Dopaminsystem eine differenziertere, flexiblere und differenziertere Regulierung seiner Funktion (en) ausüben kann. In Abbildung 1Es ist diese Komplexität, die es uns erlaubt, Dopamin nicht als eine einzelne Linie von hoch nach niedrig (wie in der Mitte gezeigt) zu betrachten, sondern als eine komplexere Funktion, die potentiell über den zweidimensionalen Raum reichen kann. Das Verständnis dieser Komplexitäten hängt jedoch von einem interpretativen Rahmen ab, um den detailliertere Informationen organisiert werden können. Hier konzentrieren wir uns auf das Artikulieren eines Skelett- Alternatives Framework und versuchen Sie nicht, alles, was über Dopamin bekannt ist, zu assimilieren, noch jeden Mechanismus, der möglicherweise an der Dopamin-Signalgebung beteiligt ist, im Einzelnen zu beschreiben, eine unlösbare Herausforderung für ein einzelnes Papier.

Dopamin: Vermittlung zwischen der inneren und äußeren Welt

Das Dopaminsystem ist zwischen zwei Reizwelten angeordnet: der äußeren und der inneren. Einerseits moduliert Dopamin die Reaktion eines Organismus auf Umweltreize. In der verstärkenden Lernperspektive von Dopamin und Belohnung (Montague et al., 1996; Schultz et al., 1997) vermittelt Dopamin kritisch das Lernen über den Wert von Stimuli (Zustand) und welche Reaktionen (Aktionen) sind optimal (Reynolds et al., 2001; Schultz, 2002; McClure et al., 2003; Daw und Doya, 2006; Tag und Carelli, 2007; Day et al., 2010; Flagel et al., 2010; Gan et al., 2010; Day et al., 2011). Die Anreiz-Salienz-Perspektive argumentiert, dass Dopamin den Anreizwert, der mit Umweltreizen verbunden ist, skaliert, indem er den Grad verändert, mit dem Stimuli die Verhaltenswahl beeinflussen (Phillips et al., 2003; Berridge, 2004; Roitman et al., 2004; Cagniard et al., 2006b; Day et al., 2006; Cheer ua, 2007). In beiden Fällen moduliert Dopamin, obwohl mechanistisch sehr unterschiedlich, die Reaktion des Organismus auf Umweltreize, die Außenwelt.

Neuere Arbeiten haben komplexe Interaktionen zwischen dem Dopamin- und dem homöostatischen System gezeigt, die Informationen über das innere Milieu des Organismus überwachen und signalisieren (Davis et al., 2010a; de Araujo et al., 2010; Figlewicz und Sipols, 2010; Opland et al., 2010; Vucetic und Reyes, 2010). Mittelhirn-Dopamin-Neuronen exprimieren Rezeptoren für zahlreiche zirkulierende Signale, die mit homöostatischen Mechanismen assoziiert sind, einschließlich Leptin, Ghrelin, Orexin und Insulin (für eine ausführliche Übersicht, Figlewicz und Sipols, 2010). Neben der direkten Wahrnehmung homöostatischer Signale erhalten Dopaminkerne Projektionen von verschiedenen Substraten, die mit homöostatischen Kontrollmechanismen einschließlich hypothalamischer Projektionen assoziiert sind (Opland et al., 2010). Es wird allgemein angenommen, dass diese Eingaben Belohnungsvorgänge modulieren. Zum Beispiel wird häufig vorgeschlagen, dass zirkulierendes Leptin die Dopaminaktivität verringert, was wiederum den Belohnungswert von Nahrung verringert und folglich das appetitive Verhalten verringert (Morton et al., 2009; Davis et al., 2010a; Figlewicz und Sipols, 2010; Opland et al., 2010; Vucetic und Reyes, 2010). Die genaue Rolle dieser homöostatischen Inputs bleibt umstritten. Der entscheidende Punkt hierbei ist, dass das Dopaminsystem wesentliche Informationen über das innere Milieu und den homöostatischen Zustand des Organismus erhält, wodurch es in die Lage versetzt wird, das Wissen des Organismus über seine Umwelt entsprechend den internen Bedürfnissen und Anforderungen zu nutzen; das heißt, Verhalten zu modulieren, um die Beziehung zwischen diesen zwei Welten, dem inneren und äußeren, Organismus und Welt, zu optimieren. Natürlich hat sich das gesamte Gehirn gewissermaßen entwickelt, um zwischen der inneren und der äußeren Welt zu vermitteln, aber die breiten und diffusen Projektionen des Dopaminsystems, zusammen mit den verschiedenen Inputs, die darauf konvergieren, und seine offensichtliche Rolle bei der Modulation eines breiten Spektrums Verhaltensweisen und Prozesse, von der Motivation bis hin zur motorischen Ausführung, zusammen mit der Tatsache, dass sie über alle Spezies hinweg hoch konserviert sind, legen nahe, dass sie sich tatsächlich entwickelt haben könnte, um eine grundlegende, entscheidende Rolle bei der Anpassung zu spielen.

Dopamin: Lust auf ein Budget setzen

Wenige würden mit dieser Vorstellung argumentieren, dass Dopamin interne und externe Informationen integriert, um das Verhalten an Umweltbedingungen anzupassen und organismische Bedürfnisse optimal zu erfüllen. Die schwierige Frage ist wie erreicht Dopamin dies? Das heißt, was ist die primäre Effektor Mechanismus, mit dem Dopamin das Verhalten anpasst? Die vorherrschende Ansicht, fast hegemonial, ist, dass Dopamin Belohnungsprozesse moduliert - unabhängig davon, ob es über Belohnung, den Ausdruck von Anreizen oder eine Kombination von beiden lernt - und folglich Motivation formt: die Ziele und Aktivitäten, die ein Organismus verfolgt und die Kraft mit denen diese werden verfolgt. Kritisch ist der Ort der Modulation Appetitlich: Wie viel Belohnung führt zu seiner Verfolgung.

Obwohl viel weniger diskutiert, moduliert Dopamin auch Aktivitätsniveaus. Übereinstimmend mit dieser Modulation der Aktivität haben Salamone und Kollegen lange argumentiert, dass Dopamin beide Anstrengungen auf ein Ziel hin modulieren kann (Salamone et al., 1997, 2005, 2009a) sowie generalisierte Aktivitätsstufen (Cousins ​​et al., 1993; Correaet al., 2002), Beobachtungen, die für die aktuelle Hypothese zentral sind.

Wir werden argumentieren, dass Dopamin den Energieverbrauch reguliert, um das Verhalten mit Energieressourcen in Einklang zu bringen. das heißt, Dopamin moduliert das Verlangen nicht, es setzt es auf ein Energiebudget. In dieser Hinsicht ist die Verfügbarkeit von Energie, nicht die Belohnung, der Hauptfaktor, der die dopaminerge Regulation des Verhaltens beeinflusst. In den folgenden Abschnitten werden wir diese Energiemanagementhypothese von Dopamin diskutieren, in der erste Effektormechanismen diskutiert werden, bei denen Dopamin den Energieaufwand reguliert, gefolgt von einer Diskussion von Mechanismen, durch die das Dopaminsystem die Verteilung von Energie unter Verwendung von Belohnungsinformation reguliert. Nach der Ausarbeitung der Hypothese werden wir uns speziell auf eine alternative Darstellung der Rolle von Dopamin bei Fettleibigkeit konzentrieren.

Achse I: Conserve-Expend

In den folgenden Abschnitten werden wir die Rolle von Dopamin bei der Modulation des Energieaufwands in einem Kontinuum von Konservierung und Aufwand detailliert beschreiben. In der entwickelten Sicht ist die Regulierung des Energieaufwands - sowohl generalisierte Aktivität als auch Bemühung um bestimmte Ziele - grundsätzlich unabhängig von der Belohnung und hängt stattdessen von verfügbaren Energieressourcen ab. Belohnung, wir werden argumentieren, spielt eine entscheidende Rolle bei der Bestimmung der Verteilung oder Zuteilung von diesem Energieaufwand, repräsentiert durch die explore-exploit-Achse und diskutiert in Abschnitt "Axis II: Explore-exploit".

Dopamin und generalisierte Aktivität: ausgeben oder speichern?

Erhöhtes Dopamin wird seit Jahrzehnten mit erhöhter Aktivität in Verbindung gebracht. Medikamente, die die Dopaminfreisetzung erhöhen, wie Amphetamin, Kokain oder Dopamin-Wiederaufnahmehemmer, erhöhen die generalisierte Aktivität bei Menschen und Nagetieren (Kelly, 1975; Mogenson et al., 1980; Beninger, 1983; Ahlenius et al., 1987; Carlsson, 1993; Xu et al., 1994; Sedelis et al., 2000; Correaet al., 2002; David et al., 2005; Viggiano, 2008; Charntikov et al., 2011). Die Verabreichung von D1-Agonisten oder -Antagonisten erhöht bzw. verringert die Aktivität. D2-wirkende Arzneimittel wirken postsynaptisch auf medium-stachelige Neuronen auf dem inhibitorischen, indirekten Weg; sie wirken jedoch auch präsynaptisch auf Dopamin- und Glutamat-Endgruppen und als Autorezeptoren auf Dopamin-Zellkörpern. Als Konsequenz dämpfen niedrige Dosen von Chinpirol, einem D2-Agonisten, vermutlich die Dopaminfreisetzung durch Autorezeptoraktivierung, während hohe Dosen von Chinpirol die Aktivität erhöhen, vermutlich durch Aktivierung postsynaptischer D2-Rezeptoren, die die Aktivität auf dem inhibitorischen, indirekten Weg verringern (Lomanowska et al., 2004). Bei Nagetieren erhöhen einige Suchtmittel, bei denen es sich um ZNS-Depressiva handelt (z. B. Morphin), die Aktivität, ein Effekt, von dem man annimmt, dass er durch erhöhte Dopaminfreisetzung entsteht (Koek et al., 2012). Medikamente, die die Wiederaufnahme von Dopamin blockieren, erhöhen die Aktivität (Billes und Cowley, 2008; Young ua, 2010) und die Expression von DAT korreliert mit lokomotorischer Aktivität. Mäuse mit reduzierter Expression des Dopamintransporters, die zu einem erhöhten tonischen Dopamin führen, sind hyperaktiv (Cagniard et al., 2006a).

Obwohl es keinen Zweifel gibt, dass Dopamin generalisierte Aktivität moduliert, ist der Mechanismus, durch den es dies tut, kaum verstanden. In der Tat gibt es keinen allgemeinen Rahmen für die Konzeption, was genau "generalisierte Aktivität" oder Erregung überhaupt ist (Quinkert et al., 2011). Bei Nagetieren wird die generalisierte Aktivität typischerweise unter Verwendung der Überwachungsgeräte für offene Felder, Laufräder oder Heimkäfigaktivität gemessen. Der Grad, in dem jeder eine allgemeine Aktivitätsebene widerspiegelt, wird diskutiert (Dishman, 2008; Viggiano, 2008; Hesse et al., 2010; Garland et al., 2011). Das offene Feld kann zum Beispiel als ein Maß für allgemeine Aktivität, exploratives Verhalten oder "Emotionalität" angesehen werden. Das Laufrad, weil Laufen bei Nagetieren stark verstärkt ist (Wagner, 2005; Brené et al., 2007; Greenwood et al., 2011), kann mit Belohnungsprozessen verwechselt werden. Nichtsdestoweniger erhöht eine Erhöhung von Dopamin die Aktivität bei allen drei Messungen, und umgekehrt verringert eine Verringerung von Dopamin die Aktivität bei allen drei Messungen (Ahlenius et al., 1987; Zhuang et al., 2001; Correaet al., 2002; Leng et al., 2004; Beeler et al., 2006, 2009; Dishman, 2008; Kitanaka et al., 2012).

Anstatt eine "verallgemeinerte Aktivität" im Gegensatz zu einem zielorientierten, belohnungsorientierten Verhalten zu sehen, wäre eine alternative Perspektive, dass Dopamin Energieverfügbarkeit signalisiert und Energieaufwand induziert, sei es auf eine lohnende, verstärkte Aktivität wie Radlauf (oder Hebel drücken), in Richtung Erkundung wie auf dem offenen Feld oder einfach nur herumfahren und mehr mausähnliche Sachen im Hauskäfig machen. Wie Psychostimulanten seit Jahrzehnten bezeugen: Dopamin wirkt anregend. Somit stellt der Effekt von Dopamin auf die generalisierte Aktivität einen fundamentalen Effektor bei der Regulierung des Energieverbrauchs dar, indem er den Energieverbrauch für die Verhaltensaktivität hoch- oder herunterregelt, unabhängig davon, wie diese Aktivität gesteuert werden kann: unabhängig von Belohnung.

Dopamin und Anstrengung: Wie viel kann ich mir leisten?

Die Literatur ist voll von Beweisen dafür, dass erhöhte Dopamin-Konzentration die Anstrengung bei der Verfolgung von Zielen erhöht, was kanonisch durch gesteigerte Leistung in Paradigmen mit progressivem Verhältnis illustriert wird, wo nach jeder verdienten Belohnung die Kosten für jede nachfolgende Belohnung steigen (Hodos, 1961). Historisch wurde die Anstrengung, die ein Subjekt in einem progressiven Verhältnis-Test macht, als ein Maß der Verstärkungseffizienz ausgelegt: das heißt, wie hart ich arbeite, ist ein Maß dafür, wie wertvoll oder motivierend die Belohnung ist (Madden et al., 2007a,b). Dies ist analog zur Bewertung des Wertes von etwas nach dem Preis, den jemand zu zahlen bereit ist.

Breakpoint misst jedoch implizit eine Kosten-Nutzen-Ermittlung (Salamone et al., 2009a). Obwohl Dopamin zu dieser laufenden Bestimmung beiträgt, bleibt seine Rolle unklar (Salamone et al., 1997; Roesch et al., 2007; Day et al., 2010, 2011; Ostlund et al., 2010). Auf der einen Seite, wie in der Anreiz-Salienztheorie argumentiert, kann Dopamin die Anreizeigenschaften von Reizen, die mit Belohnung verbunden sind, verstärken, was im Wesentlichen das Wahrgenommene erhöht Nutzen (Berridge, 2007; Gan et al., 2010). Auf der anderen Seite argumentieren Salamone und Kollegen, dass Dopamin die Kostensensibilität reduziert und somit die Kosten reduziert kosten Komponente (Salamone, 2011, siehe auch Phillips et al., 2007). In beiden Fällen ist das Ergebnis ein verstärktes Streben nach Belohnung, das aus einer veränderten Kosten-Nutzen-Bestimmung resultiert, die als erhöhter Breakpoint beobachtet wird. Im konventionellen progressiven Ratio-Paradigma ist es schwierig, diese beiden Möglichkeiten zu erkennen, da das Verhaltensergebnis gleich aussehen würde: erhöhte Anstrengung und Reaktion. Die oben besprochenen Heimkäfigstudien können jedoch zwischen diesen beiden Alternativen unterscheiden. Wenn erhöhtes Dopamin die Empfänglichkeit für Belohnung erhöht, was zu einem stärkeren "Wollen" und einer erhöhten Appetitanregungsmotivation führt, dann erwarten wir einen höheren Konsum und eine stärkere Präferenz für lohnendere Nahrungsmittel. Wir haben beides nicht beobachtet. Stattdessen beobachteten wir ähnliche Konsum-, Präferenz- und Verhaltensentscheidungen, aber eine Verlagerung der Nahrungssuche zu mehr Energieaufwand. Es wäre jedoch falsch zu sagen, dass die DATkd-Mäuse sind unempfindlich zu Kosten; Sie passen ihren Verbrauch und ihre Anstrengung als Reaktion auf eskalierende Kosten genau wie die Wildtyp-Mäuse an. Außerdem, in dem billig-teuren Hebelschaltparadigma, wenn die Hebel dies tun nicht wechseln, bevorzugen die DATkd-Mäuse den billigen Hebel identisch zum Wildtyp. Eher scheint erhöhtes Dopamin die Futterstrategie in Richtung eines größeren Energieaufwandes zu verlagern.

Bei der Ermittlung des optimalen Kompromisses zwischen Kosten und Nutzen sind beide Faktoren situationsabhängig. Auf der einen Seite hängt der Nutzen von der Notwendigkeit ab. Ein Nahrungsmittelpellet wird für eine hungrige Maus viel wertvoller und motivierender sein als eine gesättigte. Die Rolle, die der motivationale Zustand bei der Bestimmung von Belohnung und Verstärkung spielt, hat eine lange Geschichte in Psychologie und Neurowissenschaften (Berridge, 2004) und stellt ein aktives Untersuchungsgebiet dar (Dayan und Balleine, 2002; Balleine, 2005; Fontanini und Katz, 2009; Haase et al., 2009). Viel weniger geschätzt wird jedoch, dass auch die Kostenbewertung kontingent sein kann. Insbesondere hängen die mit den Ausgaben verbundenen Kosten von den verfügbaren Ressourcen ab. Die Kosten eines $ 12.00 Flughafen-Hotdogs werden von einem millionenschweren CEO und einem armen Doktoranden nicht gleich bewertet. Bei Nagetieren können ähnliche Ressourcenkontingente gelten. Zum Beispiel können Verspätungskosten bedeutender sein, wenn nur eine begrenzte Menge an Zeit verfügbar ist (wie in einer Stunde operant Sitzungen), um Belohnung zu erhalten. In ähnlicher Weise können die mit Hebelpressen verbundenen Kosten von der allgemeinen Verfügbarkeit von Energie für eine Maus abhängen. Wenn also Dopamin die Kostensensitivität verringert, gibt es zwei Interpretationen. Im ersten Fall ist die Kostensensitivität relativ zum Nutzen verringert. das heißt, wenn Kosten und Belohnung verglichen werden, verringert Dopamin den Kostenfaktor, um eine Belohnung zu bevorzugen (funktionell äquivalent zur Erhöhung des Anreizwertes). In der zweiten moduliert Dopamin die Kostensensitivität relativ zu verfügbaren Ressourcen. Wenn Energie reichlich vorhanden ist, werden Aufwandskosten abgezinst.

Wir argumentieren daher, dass die Dopaminregulierung des Aufwands unabhängig vom Belohnungswert ist; Das heißt, die Auswirkungen von Dopamin auf den Aufwand spiegeln eher eine direkte Modulation des Energieverbrauchs im Verhältnis zu den verfügbaren Energieressourcen wider als eine indirekte Folge der Modulation eines Kompromisses zwischen Kosten und Belohnung. Da Dopamin den Energieverbrauch im Allgemeinen erhöht, wie oben erläutert, erhöht es den Energieverbrauch - oder die Kraft der Zielverfolgung - bei bestimmten Aktivitäten. unabhängig vom BelohnungswertWenn du Energie hast, benutze sie.

Achse II: Explore-Exploit

In den folgenden Abschnitten argumentieren wir, dass Belohnung eine zentrale Funktion im Dopamin - vermittelten Energiemanagement erfüllt: die Kontrolle der Verteilung des Energieverbrauchs, den wir mit der Explo- se-Exploit-Achse darstellen (Abb 1). In dieser Ansicht bestimmen gelernte Belohnungswerte den relativen Nutzen verschiedener Aktivitäten; Was jedoch in dieser Achse entscheidend festgehalten wird, ist die (...) auf die diese Werte (und der Kontrast zwischen ihnen) die Wahl des Verhaltens beeinflussen und prägen. Wir integrieren in diese Achse Verstärkungslern- und Anreiz-Salienz-Perspektiven, die argumentieren, dass phasisches Dopamin über Belohnungswerte vermittelt und aktualisiert, wie allgemein angenommen, während Tonic Dopamin, wie die Anreizsichten andeuten, skaliert den Einfluss dieser Werte auf die Verhaltenswahl, den Ausdruck erlernter Werte. Wir rekonzeptualisieren diese Anreizskalierung formell als eine Funktion innerhalb des Verstärkungslernens, die den Grad reguliert, zu dem das vorherige Belohnungslernen die Wahl beeinflusst; das heißt, wie viel etabliertes Lernen ausgenutzt wird. Wir ordnen diese letztere Funktion tonischem Dopamin zu und konstruieren es als regulierend Sparsamkeit; das heißt, die Genügsamkeit des Energieverbrauchs zu regulieren.

Dopamin und Zielauswahl: Kluge Entscheidungen in Energieausgaben treffen

Die Genügsamkeit der eigenen Ausgaben hängt von den verfügbaren Ressourcen ab. Ein reicher Mensch muss nicht über Tausende von Dollar streiten, während ein armer Mensch ein paar Cent zählen muss. In ähnlicher Weise müssen sich Tiere, die in energetischen Umgebungen leben, keine Sorgen um die Energieeinsparung machen, während Tiere, die unter Bedingungen der Knappheit leben, mit Bedacht Energie verbrauchen müssen. Das Energiemanagement umfasst daher nicht nur die Bestimmung des Gesamtumfangs des Energieverbrauchs, wie oben erläutert, sondern auch die Zuordnung zu bestimmten Aktivitäten.

Wir gehen von der Prämisse aus, dass, wenn Energie leicht verfügbar ist, der Energieaufwand aus zwei Hauptgründen adaptiv vorteilhaft ist. Erstens wurde in zahlreichen Studien gezeigt, dass körperliche Aktivität wesentlich zu Gesundheit und Langlebigkeit beiträgt (Holloszy et al., 1985; Samorajski et al., 1985; Paffenbargeret al., 1986; Holloszy, 1988; Helmrich et al., 1991; Greendale et al., 1995; Booth et al., 2000; Alevizos et al., 2005; LaMonte et al., 2005; Warburtonet al., 2006; Gaesser, 2007; Huffmanet al., 2008; Hawley und Holloszy, 2009; Mercken et al., 2012). Unter Bedingungen der Knappheit müssen Tiere hart arbeiten, um Nahrung zu finden. Unter Bedingungen des Überflusses tun sie dies jedoch nicht. Ein System, das den Energieverbrauch als Reaktion auf die Bedingungen des Überflusses erhöht, würde das Aktivitätsniveau und die Gesundheit aufrechterhalten und zumindest verhindern, dass ein Tier zu einem fetten, langsamen Bissen für das Abendessen eines Raubtiers wird. Wenn Energie verfügbar ist, bietet die Erforschung einen Informationsvorteil, der es einem Tier ermöglicht, mehr über seine Umwelt zu erfahren, Informationen, die in Zukunft genutzt werden könnten (Behrens et al., 2007). Wenn also Energie verfügbar ist, ist es logisch, Ausgaben und Verhaltensforschung zu induzieren. Im Gegensatz dazu muss das Tier bei Energieknappheit seine Energie sparen und sein Wissen über die Umwelt maximal nutzen. In der hier entwickelten Hypothese entsteht die Rolle von Dopamin in Belohnungsprozessen als Mechanismus für die Verteilung von Energie auf bestimmte Aktivitäten und Reize.

Um Energie optimal zu verteilen, werden zwei Hauptfunktionen benötigt. Zunächst muss der Organismus den Wert von Reizen und Handlungen bestimmen. Zweitens muss der Organismus bestimmen, in welchem ​​Maße diese Werte bei Verhaltensentscheidungen berücksichtigt werden sollten: Wie sparsam oder "wertbewusst" sollten Ausgaben sein? Die zwei übergreifenden Ansichten von Dopamin und Belohnung, das Verstärkungslernen und die Anreiz-Salienz-Hypothesen liefern diese zwei Funktionen. In den folgenden Abschnitten untersuchen wir beide Funktionen und ihren Beitrag zur Exploit-Exploit-Achse (Abb 1) in Bezug auf TD-Lernmodelle.

Dopamin und Reinforcement Learning: Wertberechnungen

Wie in der Einleitung erwähnt, kann der Begriff "Belohnung" mehrdeutig sein. Hier übernehmen wir eine Informationsperspektive und definieren Belohnung als positiv valente Ergebnisinformation. Die primäre Frage ist, welche Rolle Dopamin bei der Verknüpfung von Belohnungsgeschichte mit zukünftigen Entscheidungen spielt. Die Perspektiven des verstärkenden Lernens argumentieren, dass Dopamin die kortikostriatale Plastizität als Reaktion auf Belohnung, dh positive Ergebnisinformation, moduliert und so das Lernen vermittelt About Stimuli und Aktionen, die wertvoll sind. Motivierende Ansichten, insbesondere Anreiz-Salienz, legen nahe, dass Dopamin die Ausdruck zuvor gelernter Werte (Anreiz). Die aktuelle Hypothese umfasst beide innerhalb eines TD Lernrahmens.

Zeitdifferenzmodelle sind eine Klasse von Verstärkungslernalgorithmen, die erfolgreich angewendet wurden, um zu verstehen, wie neuronale Substrate wie Dopamin und die Basalganglien verhaltensmäßig beobachtetes Verstärkungslernen vermitteln. Innerhalb dieser Modelle werden Reizen und Handlungen ein "Wert" zugeordnet, der alle erwarteten zukünftigen Belohnungen, die mit diesen Reizen oder Handlungen verbunden sind, einschließt. Während sich die Zeit entfaltet und das Tier sich schrittweise vorwärts bewegt, schreitet es durch aufeinanderfolgende Zustände (dh Konfigurationen von Stimuli, Handlungen, Belohnungen) bei jedem Schritt vorwärts zur vorherigen Vorhersage (t - 1) wird mit dem verglichen, was zu der Zeit tatsächlich empfangen wurde t plus verbleibende erwartete Belohnungen in der Zukunft, das heißt, die Wertschätzung bei t. Wenn es eine Diskrepanz, einen Vorhersagefehler, gibt, ist der vorherige Wert bei t - 1 ist so eingestellt, dass, wenn dieser Zustand erneut auftritt, es genauer ist. Wenn das Tier sich rechtzeitig vorwärts bewegt t + 1, wird der gleiche Prozess ausgeführt, diesmal wird der vorhergesagte Wert von t indem man es mit der tatsächlichen Belohnung vergleicht t + 1 plus der zukünftige Erwartungswert von t + 1 und so weiter. Der Name TD entsteht, weil eine ganze Folge von Zuständen, jede mit ihrer eigenen Wertvorhersage der "verbleibenden" zukünftigen Belohnung, Schritt für Schritt angepasst wird. Es ist diese Ansammlung von Werten, die mit verschiedenen Zuständen assoziiert sind - Reizen und Handlungen -, die eine genaue Vorhersage zukünftiger Belohnung ermöglichen. Kurz gesagt, es ist ein Algorithmus, der Versuch-und-Irrtum-Lernen erleichtert, wo das Tier immer sozusagen in Medien resund eine genaue Schätzung des Wertes bestimmter Reize und Handlungen ergibt sich allmählich im Laufe der Zeit durch Erfahrung.

Zeitdifferenzmodelle haben zwei Schlüsselfunktionen. Zuerst lernen sie. Wie oben beschrieben, passen sie unter Verwendung einer auf Prädiktionsfehlern basierenden Aktualisierungsregel vorherige Werte an, die mit Stimuli und Aktionen verknüpft sind. Zweitens treffen sie Entscheidungen. Das heißt, sobald Sie einen Satz von Werten haben, gibt es eine Regel dafür, wie diese Werte bei der Auswahl einer Aktion verwendet werden. Diese beiden Funktionen sind mit zwei Parametern verbunden, die allgemein als Alpha, Lernrate und Beta, der "Temperatur", bezeichnet werden. Die Lernrate bestimmt, inwieweit neue Informationen festgelegte Werte verändern, wobei neue Informationen gegen alte gewichtet werden und ein "Vergessensfenster" entsteht. Der Temperaturparameter bestimmt den Grad, zu dem aktuelle Wertinformation (dh Belohnungsverlauf) häufig die Aktionsauswahl beeinflusst Dieser Parameter wird als "explore-exploit" -Parameter bezeichnet.

Erhebliche Belege sprechen für eine Rolle von Dopamin bei der Vermittlung von Verstärkungslernen und kortikostriataler Plastizität, die hier nicht untersucht wird (Montague et al., 1996; Schultz et al., 1997; Reynolds und Wickens, 2002; Schultz, 2002, 2010; Cannon und Palmiter, 2003; Weise, 2004; Berridge, 2007; Goto et al., 2007; Redish et al., 2007; Robbins und Roberts, 2007; Salamone, 2007; Schultz, 2007; Dayan und Niv, 2008; Kheirbek et al., 2008, 2009; Redgrave et al., 2008; Kurth-Nelson und Redish, 2009; Lovinger, 2010; Lüscher und Malenka, 2011). Diese Lernfunktion wurde in erster Linie mit phasischer Dopaminaktivität assoziiert, die im Millisekunden-Bereich arbeitet, und es wird nicht angenommen, dass sie direkt Belohnung darstellt. Statt vom TD-Lernen, wie oben beschrieben, wird angenommen, dass phasisches Dopamin Vorhersagefehler kodiert. Durch das Signalisieren unerwarteter Belohnung oder das Scheitern der erwarteten Belohnung (Schultz et al., 1997; Schultz, 2007; Flagel et al., 2010; Brown et al., 2011; Day et al., 2011), aktualisiert phasisches Dopamin die Werte, die mit Reizen und Handlungen assoziiert sind, indem es die synaptischen Gewichte durch seine Auswirkungen auf die kortikostriatale Plastizität verändert. In der aktuellen Hypothese akzeptieren und betrachten wir diese Funktion des phasischen Dopamins bei der Aktualisierung des Werts als gewissermaßen eine Buchhaltungsfunktion: Dopamin setzt keinen Wert, kreiert oder skaliert den Wert nicht, liefert aber funktionell ein Lehrsignal, um das Lernen so zu verändern, dass es genau widerspiegelt der Wert, der mit Reizen und Handlungen verbunden ist. Einfach gesagt, diese Funktion von Dopamin versucht, "den Wert richtig zu machen": Ein grundlegendes Merkmal jedes erfolgreichen Budgets ist es, die Zahlen richtig zu machen. Das heißt, die hochdetaillierten und mechanistischen Funktionen von Dopamin beim Verstärkungslernen ermöglichen es einem Tier, etwas über seine Umwelt zu lernen in Ordnung um seine verfügbare Energie besser zu verteilen und zu nutzen.

Dopamin und Incentive-Salience: Energiebudgetzuteilung

Die Anreiz-Salienz-Sichtweise von Dopamin im Gegensatz dazu argumentiert, dass Dopamin die Einfluss auf von belohnungsassoziierten Reizen auf Verhaltenswahl (Cagniard et al., 2006b; Berridge, 2007). Das heißt, Dopamin moduliert das Ausmaß, in dem der Anreizwert, der mit Stimuli assoziiert ist, das Verhalten beeinflusst. Im Allgemeinen wird erhöhtes Dopamin als ansteigender Anreiz und Anstieg des appetitiven Verhaltens angesehen; Das bedeutet, dass ein größeres "Wollen" induziert wird. Diese Ansicht steht im Einklang mit der Literatur in den letzten Jahrzehnten, in der erhöhte Dopaminergeb- nisse bei erhöhter Zielverfolgung und -anstrengung gezeigt wurden, wie oben diskutiert. Im Wesentlichen könnte dies als erhöht angesehen werden Ausbeutung Belohnungslernen: Der Belohnungswert beeinflusst die Wahl des Verhaltens stärker. Wenn jedoch ein Anstieg des Dopamins zu einer erhöhten Ausbeutung führt, könnte man logischerweise erwarten, dass ein abnehmendes Dopamin zu einer größeren Exploration führen würde; das heißt, Verhalten wird sein weniger verzerrt durch Belohnungsinformationen. Nach unserer Kenntnis haben jedoch keine Daten eine erhöhte Exploration als Folge von vermindertem Dopamin gezeigt. Stattdessen wurde verringertes Dopamin konsistent mit verminderter Aktivität und explorativem Verhalten assoziiert. In der oben beschriebenen Studie zur Behavioral Flexibility Home Cage fanden wir, dass erhöhte Dopamin-Kopplung die Kopplung zwischen Belohnungsgeschichte und -wahl verringert und begünstigt Exploration, nicht Ausbeutung, im Einklang mit jahrzehntelangen Open-Field-Studien, die eine erhöhte explorative Aktivität als Folge von erhöhtem Dopamin zeigen (zB Zhuang et al., 2001). Übereinstimmend mit der aktuellen Hypothese, jüngste Computerarbeit von Humphries und Kollegen (Humphrieset al., 2012) zeigen, dass tonisches Dopamin den Kompromiss zwischen Exploration und Ausbeutung modulieren kann. In ihrem Modell sind die Effekte von Dopamin auf diesen Kompromiss komplex und konzentrationsabhängig, zeigen jedoch, dass hohes Dopamin exploratives Verhalten induzieren kann.

Wir schlagen vor, dass die Anreiz-Salienz-Sichtweise von Dopamin, bei der Dopamin das Ausmaß, in dem der Belohnungswert die Verhaltenswahl beeinflusst, skaliert, einen kritischen Effektormechanismus bei der dopaminergen Steuerung des Energieaufwands erfasst. Durch die Regulierung des Gleichgewichts zwischen Exploration und Nutzung reguliert Dopamin die Sparsamkeit des Energieverbrauchs. Im Gegensatz zu den gegenwärtigen Theorien der Anreiz-Salienz argumentieren wir jedoch, dass Dopamin grob in die entgegengesetzte Richtung wirkt als das, was weitläufig ausgelegt wird: Dopamin begünstigt Exploration; Dh vermindert Verzerrung der Verhaltenswahl durch Belohnungswert, obwohl die Arbeit von Humphries et al. (Humphrieset al., 2012) zeigt, dass die genaue Funktion dieser Funktion von Dopamin wahrscheinlich komplex ist. Die erhöhte Anstrengung in der Belohnungsverfolgung, die durch die erhöhte Dopamin-Funktion beobachtet wird, ergibt sich in dieser Ansicht nicht als Folge eines erhöhten Belohnungswerts, sondern als Ergebnis eines dopaminergen Signals für aufwenden Energie und weniger sparsam in der Verfolgung von Zielen.

Obwohl (phasisch) Dopamin durch seine Rolle in der Verstärkung des Lernens dazu beiträgt, über den Wert zu lernen, ist der Bereich der vertikalen Achsen in Abbildung 1 repräsentiert keinen Wert an sichvon geringerem zu höherem Wert, aber der Grad, zu dem die Werte feststehen vorspannen oder direkte Verhaltenswahl, die auf einem Kontinuum von der stark beeinflussenden Wahl (Exploit) bis zum minimalen Einfluss (explore) reicht. Dies könnte als eine Sparsamkeitsachse ausgelegt werden, bei der eine größere Ausbeutung die Belohnung für die aufgewendete Energie maximiert, während verminderte Ausbeutung die Exploration und größere Energieausgaben erleichtert.

Wie und inwieweit gelernte Werte direkte Verhaltensentscheidungen treffen, hängt eindeutig von vielen Faktoren ab, am offensichtlichsten vom Motivationszustand des Organismus, der „Salience“ in „Incentive-Salience“ unter Berücksichtigung der inneren Umgebung des Organismus. Das extern die Umwelt muss ebenfalls berücksichtigt werden, insbesondere die Verfügbarkeit von Belohnungen, insbesondere von Energie. Wie bereits erwähnt, bestimmt der Reichtum der Umwelt, wie sparsam ein Tier mit seinem Energieverbrauch sein muss und wie viel es braucht, um früheres Lernen maximal auszunutzen. Nivet al. (2007) haben vorgeschlagen, dass Tonikum Dopamin im Laufe der Zeit durchschnittliche Belohnung kodiert, eine Formalisierung, die die relative Fülle oder Mangel an Belohnung in einer Umgebung mit der Verhaltenskraft verbindet. In dem von Niv vorgeschlagenen Modell induziert eine höhere durchschnittliche Belohnung eine größere Verhaltensstärke, um Opportunitätskosten zu reduzieren; Das heißt, je reicher die Umwelt ist, desto mehr wird durch Inaktivität verloren, was farbenfroh als "die Kosten von Faulheit" bezeichnet wird. Wir konzentrieren uns speziell auf die Verfügbarkeit von Energie und teilen diese Ansicht, dass tonische Dopamine die Fülle oder Knappheit von Energie in der Umwelt signalisieren im Laufe der Zeit. In der gegenwärtigen Sichtweise legen wir jedoch nicht nahe, dass die erhöhte Energie, die mit Dopamin assoziiert ist, eine größere Ausbeutung induziert, um die Opportunitätskosten zu senken, sondern dass ein erhöhter Dopaminspiegel den Energiehaushalt widerspiegelt und einen höheren Energieaufwand verursacht weniger Ausbeutung; das heißt, weniger Energie sparsames Verhalten, begünstigend Exploration (aber nicht Inaktivität).

Schließlich wird allgemein angenommen, dass gelernte Werte Teil eines zielgerichteten oder eines Gewohnheitsrechtssystems sein können (Daw et al., 2005; Balleineet al., 2007), die häufig mit dem dorsomedialen und dorsolateralen Striatum assoziiert sind (Yin und Knowlton, 2006; Balleine und O'Doherty, 2010). In TD-Modellen wird letzteres als ein "Cache" - oder "modellfreies" System angesehen, in dem der Wert von Stimuli und Aktionen unergründlich ist; Das heißt, wie diese Werte abgeleitet wurden, steht nicht zur Untersuchung zur Verfügung. Im Gegensatz dazu wird zielgerichtetes Verhalten mit "modellbasierten" Systemen assoziiert, wobei ein "Baum" von Zuständen und ihr zugehöriger Wert explizit dargestellt wird, so dass das Tier absichtlich den Baum durchsuchen kann, um zu bestimmen, wie der Wert eines beliebigen Blattes abgeleitet und bewertet wird diese Werte gegenüber aktuellen Motivationszuständen. Im Gegensatz dazu wird angenommen, dass das Angewohnheits- oder Cache-System gegenüber dem motivationalen Zustand unempfindlich ist, obwohl es wichtig ist, nicht unempfindlich gegenüber neuem Lernen zu sein (Balleine und O'Doherty, 2010). Gerade weil der zwischengespeicherte Wert im Hinblick auf die aktuellen Ziele nicht "untersucht" werden kann, wird gewohnheitsmäßiges Verhalten auf der Grundlage zwischengespeicherter Werte als Antwort auf die Stimuli-Präsentation selbst in Abwesenheit von Motivation ausgegeben, bis der zwischengespeicherte Wert, der dieses Verhalten antreibt, aktualisiert wird. In TD-Modellen passt der Temperaturparameter den Grad an, mit dem Werte das Verhalten beeinflussen, ohne Rücksicht auf die Quelle dieser Werte, dh ob sie Teil eines cache-, modell- oder modellbasierten Systems sind. Es stellt sich also die Frage, ob die hier vorgeschlagene Dopaminregulation von explore-exploit gleichermaßen auf das gewohnheits- und zielgerichtete System zutrifft, eine Frage, die wir nicht beantworten können. Insofern reduziertes Dopamin Ausbeutung, Sparsamkeit und Konservierung induzieren kann, hat das Kontrollieren des Vorlernens ein übermäßiges Verhalten, belohnungs- / energiearme Umgebungen und Hypodopaminergien können, durch Erhöhung des Einflusses von etabliertem Lernen und Werten auf das Verhalten, die Kontrolle durch Gewohnheit erhöhen Systeme, obwohl dies eindeutig weitere Untersuchungen erfordert.

Dopamin und Verschiebung der Energieausgaben: Überprüfung der GO- und NOGO-Pfade

Ein primäres Ziel von Dopamin, das weitgehend mit der Rolle von Dopamin sowohl bei der Belohnung als auch bei der motorischen Kontrolle verbunden ist, ist das Striatum (Albinet al., 1989, 1995; Alexander ua, 1990; Nerz, 1996; Everitt und Robbins, 2005; Cagniard et al., 2006b; Balleineet al., 2007; Nicola, 2007; DeLong und Wichmann, 2009; Weise, 2009; Haber und Knutson, 2010; Humphries und Prescott, 2010; Sesack und Gnade, 2010). Das Striatum ist der Haupteingangspunkt für kortikale Eingänge (Bolam et al., 2000), die durch die Basalganglien verarbeitet werden, die schließlich in den Kortex zurückkehren und die bekannten kortikostriatalen Schleifen enthalten (Alexander ua, 1990; Alexander und Crutcher, 1990; Alexander, 1994; Middleton und Strick, 2000; Haber, 2003; Lehéricy et al., 2005). Die kortikostriatale Verarbeitung erfolgt über zwei parallele Wege (mit Ausnahme des hyperdirekten Weges), die direkten und indirekten, die den kortikostriatalen Durchsatz erleichtern und hemmen (Albinet al., 1995; Nerz, 1996), manchmal auch als GO- und NOGO-Pfade bezeichnet (Cohen und Frank, 2009). Der GO-Signalweg exprimiert vorwiegend D1, während der NOGO-Ausdruck D2 exprimiert (Surmeier et al., 2007) derart, dass eine Erhöhung der Dopaminaktivität die Aktivität im erleichterten GO-Weg erhöht und die Aktivität im hemmenden NOGO-Weg verringert. Umgekehrt führt reduziertes Dopamin zu einer geringeren GO-Aktivität und einer erhöhten NOGO-Aktivität, eine Idee, die für klassische Modelle der motorischen Verlangsamung bei Parkinson von zentraler Bedeutung ist (Albinet al., 1989; Nerz, 1996). Die klassische funktionelle Erklärung für diese Dual-Pathway-Architektur ist die "fokussierte Selektion", die Idee, dass der GO-Weg eine ausgewählte motorische Aktivität isoliert und erleichtert, während der NOGO-Weg konkurrierende Wirkungen und Fremdgeräusche hemmt und somit eine saubere Ausführung von Handlungen ermöglicht (Nerz, 1996).

Dieselbe Architektur kann jedoch als ein Effektormechanismus zum Regulieren des Energieverbrauchs ausgelegt werden. Durch Verschiebung des Gleichgewichts zwischen den GO- und NOGO-Signalwegen reguliert Dopamin sowohl den Gesamtdurchsatz des kortikostriatalen Systems als auch seine Selektivität (Beeler, 2011). Insbesondere erhöht ein erhöhter Dopamin den GO-Signalweg und verringert den NOGO-Signalweg. Dies führt zu einem größeren kortikostriatalen Gesamtdurchsatz und zu einer größeren Exploration, da die potenziellen kortikostriatalen Inputs auf den GO-Weg weniger gegensätzlichen Einfluss auf den inhibitorischen NOGO-Signalweg haben und die Einschränkungen bei der Auswahl von Aktionen reduzieren. Im Gegensatz dazu, wenn Dopamin abnimmt, gibt es eine größere inhibitorische, NOGO - Aktivität, die insgesamt zu einem geringeren kortikostriatalen Durchsatz und einer größeren Ausnutzung führt, da die durch den GO - Weg ausgewählten Wirkungen ausreichend stark sein müssen, um den inhibitorischen Einfluss des NOGO - Weges zu überwinden das, sehen Frank ua, 2009). Dies bietet eine Grundlage, um zu verstehen, wie hoch Dopamin sein kann Energie Aktivität insgesamt sowie verringern die Selektivität dieser Aktivität, dh Erhöhung von Energieaufwand und Exploration. Im Gegensatz dazu würde reduziertes Dopamin die Gesamtaktivität verringern, aber die Selektivität erhöhen, was zu verringertem Energieaufwand führen würde und erhöht werden Ausbeutung (Zahl 2). Eine detailliertere Diskussion der Rolle (n) von Dopamin bei der Modulation des kortikostriatalen Durchsatzes findet sich an anderer Stelle (Beeler, 2011). Diese Dual-Pathway-Architektur bietet also eine potentielle Grundlage für die Modulation des Energieaufwands entlang der beiden beschriebenen Achsen: Regulierung der allgemeinen, generalisierten Aktivität (Conserve-Expand) einerseits und Regulierung des Grades, in dem früher über Belohnung gelernt wurde wird ausgenutzt, die explore-exploit Achsen.

 

Abbildung 2. Rolle der direkten und indirekten Signalwegmodulation des kortikostriatalen Durchsatzes bei der Regulierung des Energieaufwandes. Das Striatum moduliert die kortikale Prozessierung über kortikostriatal-thalamokortikale Schleifen durch die Basalgangien über zwei Wege, den direkten, nigrostriatalen ("GO") und den indirekten, striatopallidalen ("NOGO"), der vorwiegend D1- bzw. D2-Dopaminrezeptoren exprimiert. Durch D1 im GO-Signalweg (rot gefärbte Kästchen) inhibiert Dopamin den kortikostriatalen Durchsatz, was die Aktivität erleichtert, während die Dopamin-Aktivierung von D2 den NOGO-Signalweg hemmt (blau gefärbte Kästchen) und die Aktivität durch Dämpfung des inhibitorischen Einflusses des Indirekten unterstützt. Umgekehrt verringern Verringerungen des Dopamins die D1-vermittelte Enthemmung des GO-Wegs und die D2-vermittelte Hemmung des NOGO-Wegs, was beide dazu dient, den kortikostriatalen Durchsatz zu beschränken. Diese Dopamin-Effekte werden durch grüne Pfeile für die GO-Wege dargestellt, was auf eine Erleichterung des kortikostriatalen Durchsatzes und rote Stopp-Pfeile für den NOGO-Weg hinweist, was eine Hemmung des kortikostriatalen Durchsatzes anzeigt. Die Folgen von erhöhtem und erniedrigtem Dopamin auf die Ausgaben und die Verteilung von Energie sind im Folgenden mit den beiden Achsen (Conserve-Expand und Exploit-Exploit) zusammengefasst, die auf einer einzigen Skala des restriktiven Energieeinsatzes (beschränkte Ausgaben, die sich auf die Auswertung von Belohnungsinformationen konzentrieren) versagt expansive Energieausgaben (hohe Ausgaben verteilt auf Verhaltensaktivitäten, dh Exploration), wo restriktiver Energieverbrauch durch blauen und expansiven Energieverbrauch durch Rot dargestellt wird.

Dopamin und seine verschiedenen Ziele: Orchestrierung oder evolutionäres Bric-a-Brac?

Im vorhergehenden Abschnitt konzentrieren wir uns auf Dopaminwirkungen im Striatum, die weithin als primäres Substrat für das Verstärkungslernen aufgefasst werden und sowohl in der Motivation als auch in der motorischen Kontrolle eine Rolle spielen. Dopamin hingegen projiziert breit über das Gehirn mit wichtigen Projektionen, zum Beispiel auf den präfrontalen Kortex. Abgesehen von den weit erforschten nigrostriatalen und mesoaccumbusen Bahnen, die in das dorsale und ventrale Striatum projizieren und mit motorischer Kontrolle und Gewohnheit bzw. Motivation assoziiert sind, gibt es viel weniger erforschte Dopaminkerne, einschließlich derer, die mit dem Hypothalamus assoziiert sind kann (oder auch nicht) auf unterschiedliche Weise zum Energiemanagement beitragen. Die Entwicklung einer Dopamin- und Energiemanagement-Hypothese erfordert die Frage, wie die Dopamin-Modulation in verschiedenen Targets zu einem koordinierten Energiemanagement beitragen kann. An dieser Stelle können wir nicht vernünftigerweise über diese Frage spekulieren.

Das Nachdenken über diese Frage wirft jedoch die Frage auf, ob es überhaupt eine übergeordnete „Funktion“ von Dopamin gibt. Oder hat Dopamin verschiedene, nicht verwandte Funktionen erhalten, so dass die Vorstellung, die „Funktion“ von Dopamin zu finden, eine Narrenangelegenheit darstellt: Vielleicht haben sich die Dopaminfunktionen, die wir heute beobachten, als Patchwork, evolutionäres Trottel, eine opportunistische Sammlung zufälliger Anpassungen entwickelt . Aus der Literatur geht hervor, dass viele dort glauben is eine allgemeine, große Funktion von Dopamin-am häufigsten, "Belohnung" Verarbeitung, in irgendeiner Form oder einem anderen. Es scheint nicht unvernünftig zu denken, dass sich diese Ausführungen, wenn sich die Funktion eines Neurotransmitters über die Evolution hinaus entwickelt und transformiert, als Variationen eines Themas auftauchen, eine weitere Verbesserung einer Funktion, die bereits adaptive Fitness verliehen hat. Selbst wenn sich eine solche Vorstellung letztendlich als falsch herausstellt, könnte ein "gemeinsamer Faden" zwischen scheinbar verschiedenen, nicht verwandten Funktionen einen tieferen Einblick in die Interaktion dieser scheinbar disparaten Funktionen liefern, um zur Verhaltensanpassung beizutragen. "Belohnungsvermittlung", so breit und uneindeutig wie es ist, diente in vielen Teilen der Literatur als gemeinsamer Nenner und hat reiche Ergebnisse erbracht. Hier schlagen wir eine alternative, übergreifende Funktion vor, Energiemanagement.

Zurück zu der Frage, wie die Dopaminwirkung an verschiedenen neuronalen Substraten zum Energiemanagement beitragen könnte, können wir die Frage nur aus der Perspektive unserer Hypothese reflektieren. Energiemanagement stellt einen grundlegenden biologischen Prozess dar, ähnlich wie Reproduktion, Wachstum und Reaktion auf Stress, und erfordert koordiniert Aktivität über mehrere Substrate als Reaktion auf äußere Bedingungen, auf eine Weise, die eine Belohnung, ein Ereignis in der Außenwelt, vielleicht nicht tut. Diese koordinierte Orchestrierung mehrerer Substrate zu einem einzigen Ziel oder Zweck ist charakteristisch für Hormone wie Fortpflanzungs- oder Stresshormone. Angesichts der diffusen Projektionen und Wirkungen von Dopamin auf mehrere Ziele ist es verlockend anzunehmen, dass Dopamin möglicherweise eine hormonähnliche Funktion entwickelt hat, um mehrere neuronale Substrate zu koordinieren und das Verhalten zu koordinieren, das optimal an die vorherrschende Energieumgebung angepasst ist, in der sich der Organismus befindet. Zugegebenermaßen breit und spekulativ (aber siehe Ugrumov et al., 2012), dann ist es interessant zu fragen, wie die Dopaminmodulation im dorsalen gegenüber dem ventralen Striatum oder im präfrontalen Kortex gegenüber dem Hypothalamus die Koordination verschiedener neuraler Substrate mit unterschiedlichen Funktionen auf einen einzigen Zweck darstellen könnte, indem das Verhalten an die Energie angepasst wird Umwelt, in der der Organismus sein Überleben erarbeiten muss.

Dopamin und Adipositas: eine alternative Perspektive

In den letzten Jahren hat sich die Rolle von Dopamin bei der Adipositas mit mehreren hochkarätigen Papieren, die eine Überversorgung mit einer Nahrungssucht vergleichen, verstärkt (Volkow und Weise, 2005; Trinko et al., 2007; Avena et al., 2008; Corwin und Grigson, 2009; Dagher, 2009; Davis und Carter, 2009; Ifland et al., 2009; Pelchat, 2009; Johnson und Kenny, 2010; Volkow et al., 2010). Diese Theorien konzentrieren sich auf die Rolle von Dopamin bei der Vermittlung von Belohnungsprozessen, was darauf hindeutet, dass in modernen westlichen Kulturen, in denen hoch schmackhafte Nahrungsmittel leicht verfügbar sind, diese schmackhaften Nahrungsmittel ähnlich wie Missbrauchsdrogen wirken und ein verstärktes "Wollen" verursachen, das zu einem Kontrollverlust führt Überkonsum, trotz, wie ein Süchtiger, individuelle Absichten, Kalorienaufnahme (Berridge et al., 2010; Berthoud et al., 2011). Es gibt zwei gegensätzliche Ansichten (Davis et al., 2007; Davis und Carter, 2009). In der ersten, hat Die dopaminerge Funktion, die durch eskalierende Verstärkung in Verbindung mit schmackhafter Nahrung entsteht, führt zu einer erhöhten Motivation, die die normale homöostatische Kontrolle außer Kraft setzt (Finlaysonet al., 2007; Zheng et al., 2009; Avena und Bocarsly, 2011). Im Wesentlichen verlieren wir die Kontrolle angesichts der wirklich schmackhaften Nahrung, eine Wirkung, von der angenommen wird, dass sie durch die anhaltende Überaktivierung von Dopamin vermittelt wird. Im Gegensatz dazu wurde eine "Belohnungsdefizit" -Hypothese vorgeschlagen, in der a Defizit in Dopamin-Funktion führt zu verminderter Belohnung Signalisierung, die übermäßigen Konsum erzeugt, wie die Person oder Tier versucht, "die Belohnung Lücke zu füllen" (Wang et al., 2004; Geiger et al., 2009; Kenny, 2010).

In der aktuellen Hypothese postulieren wir, dass ein erhöhter Dopamin-Anteil einen größeren Energieaufwand und eine bessere Exploration ermöglicht. weniger Voreingenommenheit der Wahl des Verhaltens durch Belohnung, Bevorzugung von weniger Energiespeicherung und Schutz vor Fettleibigkeit, in Übereinstimmung mit den bekannten Wirkungen von Psychostimulanzien bei der Gewichtsabnahme (Vanina et al., 2002; Leddy et al., 2004). Im Gegensatz dazu induziert verringertes Dopamin Energieeinsparung und Ausbeutung, dh stärkere Beeinflussung des Verhaltens durch Belohnung. In diesem Fall werden Energieverbrauch und Lagerung begünstigt, was zu Überernährung und Gewichtszunahme führt. Im Gegensatz zu Psychostimulanzien werden Antipsychotika, die Dopamin antagonisieren (hauptsächlich D2), seit Jahrzehnten konsequent mit Gewichtszunahme in Verbindung gebracht (Allison und Casey, 2001; Vanina et al., 2002), obwohl die genauen Mechanismen unsicher bleiben.

Leptin, Insulin und Dopamin: Ressourcen und Ausgaben abstimmen

Beobachtungen der reduzierten Dopamin-Funktion bei Fettleibigkeit, insbesondere reduzierte Expression der D2-Rezeptoren, haben die Hypothese der Belohnungsdefizienz erzeugt (Blum et al., 2000, 2011) bei dem der Überkonsum durch einen Versuch zur Kompensation der verringerten Belohnungssignalisierung angetrieben wird. In der hier vorgeschlagenen Hypothese würden wir diese Daten neu interpretieren. Wenn die Dopaminfunktion reduziert wird, begünstigt dies die Energieeinsparung und die Nutzung von Belohnungsinformationen: "Konsumieren und bewegen Sie sich so wenig wie möglich", ein offensichtliches Rezept für Fettleibigkeit.

Motivationsdissoziation: Bedürfnis ohne "Wollen"

Jahrzehntelange elegante Arbeiten haben deutlich gezeigt, dass zirkulierende Hormone, die Energielieferungen signalisieren, insbesondere Insulin und Leptin, durch Wirkungen auf das zentrale Nervensystem zur Regulation von Verbrauch und Körpergewicht beitragen [vgl Figlewicz und Sipols, 2010 für eine hervorragende Bewertung]. In Übereinstimmung mit seiner Rolle bei der Vermittlung der homöostatischen Energiebilanz wirken Leptin und Insulin auf mehrere Ziele im Hypothalamus, die an der Regulierung der Fütterung beteiligt sind, einschließlich NPY, POMC, α-MSH und AgRP (Figlewicz und Sipols, 2010). Diese Beobachtungen stehen im Einklang mit Antriebsmotivationstheorien, bei denen ein Energiedefizit oder -überschuss den Konsum fördert bzw. hemmt.

Der dramatische Anstieg der Fettleibigkeit in den letzten Jahren (Ford und Mokdad, 2008) wirft jedoch die Frage auf, warum diese homöostatischen Mechanismen scheinbar fehlschlagen. Es wird allgemein angenommen, dass Mittelhirn-Dopamin-Systeme, die eine Motivationsmotivation vermitteln, die aus dem Belohnungswert von Stimuli (einschließlich Nahrung) und nicht aus dem Bedürfniszustand entsteht, dieses homöostatische Versagen durch Förderung der sogenannten nicht-homöostatischen oder hedonischen Ernährung vermitteln (Saperet al., 2002; Zheng und Berthoud, 2007; Lutter und Nestler, 2009; Zheng et al., 2009; Berthoud et al., 2011). Beträchtliche Beweise deuten darauf hin, dass sowohl Leptin als auch Insulin die Dopamin-Funktion des Mittelhirns modulieren können (Krügel et al., 2003; Fulton et al., 2006; Hommel et al., 2006; Roseberry et al., 2007; Leininger et al., 2009) und Änderung der Nahrungsaufnahme und des Verzehrs (Sipols et al., 2000; Figlewicz et al., 2001, 2004, 2008, 2006; Hommel et al., 2006; Morton et al., 2009; Davis et al., 2010b).

In der vorherrschenden Sicht scheint eine große Menge von Daten darauf hinzuweisen, dass sowohl Insulin als auch Leptin die Dopamin-Funktion verringern, was wiederum die anreizgesteuerte Verfolgung und den Verzehr von Nahrung verringert. Im Wesentlichen stellen Leptin und Insulin, indem sie ausreichende Energie signalisieren, ein funktionelles Sättigungssignal dar, das die Belohnung verringert, die mit Nahrung verbunden ist (Morton et al., 2009; Davis et al., 2010b; Figlewicz und Sipols, 2010; Opland et al., 2010; Vucetic und Reyes, 2010). Umgekehrt, wenn die Energie niedrig ist, sinken Leptin und Insulin, Enthemmung von Dopamin und Förderung der verstärkten Anreiz / Belohnung angetriebenen Nahrungssuche. Diese allgemeine Idee steht im Einklang mit Daten, die zeigen, dass die Erhöhung von Leptin und Insulin das Belohnungsverhalten verringert (Carr et al., 2000; Fulton et al., 2000; Sipols et al., 2000; Figlewicz et al., 2004, 2006, 2007; Hommel et al., 2006; Farooqi et al., 2007; Rosenbaum et al., 2008; Morton et al., 2009) und umgekehrt diese Einschränkung der Nahrung, die mit einem verminderten Leptin / Insulin (Havel, 2000), erhöht belohnungsgesteuertes Verhalten (Carroll und Meisch, 1980; Carr, 2007, 2011; Davis et al., 2010a). Kurz gesagt, modulieren Leptin und Insulin, indem sie die Dopamin-Funktion auf und ab regulieren, den Anreiz, der mit der Nahrung verbunden ist, und möglicherweise die Belohnungsempfindlichkeit im Allgemeinen (Morton et al., 2006; Davis et al., 2010a). Obwohl diese Darstellung von Leptin und Dopamin intuitiv ist, kann die Geschichte dennoch komplexer sein (Palmiter, 2007).

Im Zusammenhang mit Fettleibigkeit ist die Beziehung zwischen Leptin / Insulin, Dopamin und Belohnungsverhalten paradox und entspricht nicht der gerade skizzierten Idee. Erstens wurde Fettleibigkeit anstelle des erwarteten Anstiegs der Leptin / Insulin-Signalübertragung, der einer erhöhten Kalorienaufnahme und Adipositas entspricht, mit einer verringerten Empfindlichkeit gegenüber Leptin / Insulin in Verbindung gebracht (Araseet al., 1988; Lin et al., 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Enriori et al., 2007; Davis et al., 2010a; Figlewicz und Sipols, 2010; Koek et al., 2012). Zweitens, während wir erwarten könnten, dass diese beobachtete Verringerung der Leptin / Insulin-Sensitivität zu einer erhöhten Dopamin-Funktion führt, analog zu reduzierten Leptin / Insulin-Signalen bei Nahrungsmittelrestriktionen, berichten die meisten Studien verringert Dopamin-Funktion bei Fettleibigkeit (Di Chiara et al., 1998; Wang et al., 2001a; Davis et al., 2008; Geiger et al., 2008, 2009; Li et al., 2009; Vucetic und Reyes, 2010). Schließlich könnte man erwarten, dass eine verminderte dopaminerge Funktion zu einem verminderten Verbrauch führt, wie die oben zitierten Beweise nahe legen. Stattdessen treten reduziertes Dopamin und Hyperphagie gleichzeitig auf. Bei Fettleibigkeit wird dann die Leptin / Insulin -> Dopamin -> Belohnungskette bei jedem Schritt invertiert.

Die ersten beiden Inversionen zeigen eine kritische Unterscheidung zwischen akuter und chronischer positiver Energiebilanz. Es wird allgemein angenommen, dass eine verringerte Empfindlichkeit gegenüber Leptin / Insulin als Folge von chronisch positive Energiebilanz, die zu Fettleibigkeit und Stoffwechselstörungen führt und eine pathologische Anpassung darstellt. Die paradoxe Reduktion der mit Adipositas einhergehenden Dopamin-Funktion trotz reduzierter Sensitivität gegenüber Leptin / Insulin ist wahrscheinlich auch eine (pathologische) Adaptation, wie sie in Theorien, die Adipositas mit Abhängigkeit vergleichen, vorgeschlagen wird (Volkow und Weise, 2005; Trinko et al., 2007; Avena et al., 2009; Lutter und Nestler, 2009; Avena und Bocarsly, 2011). Dies erschwert die Untersuchung erheblich, weil es bedeutet, dass wir bei jeder Beobachtung einer Beziehung zwischen Energieaufnahme, Leptin / Insulin und Dopamin fragen müssen: "Reflektiert diese Beobachtung eine normale Funktion oder pathologische Anpassung?" Diese Situation erhöht das Risiko, unangemessene Inferenzen zu machen Funktion von pathologischen Bedingungen und umgekehrt, ein Thema, das unten angesprochen wird (Käfig-induzierte Adipositas-Abschnitt).

Die dritte Inversion - die verringerte Dopamin-Funktion, die mit Fettleibigkeit assoziiert ist, fördert eher, als den Konsum zu hemmen - widerspricht oberflächlich der gesamten Vorstellung, dass Dopamin den Anreizwert erhöht. Dies kann jedoch die Komplexität von neuronalen Substraten widerspiegeln, die den Verbrauch steuern. Insbesondere können eine verminderte Anreizmotivation und Hyperphagie koexistieren. Daviset al. (Davis et al., 2010b) liefern kürzlich Daten, die darauf hindeuten, dass Leptin Dopamin über zwei Mechanismen moduliert: direkte Signalübertragung durch Leptinrezeptoren auf Dopaminzellen im Mittelhirn und indirekt über Leptin exprimierende Neuronen im lateralen Hypothalamus, um die Aktivität von Dopaminzellen zu modulieren. Sie legen nahe, dass die Wirkungen von Leptin auf das LH die homöostatische Motivation regulieren, während seine Wirkungen auf Dopamin im Mittelhirn die mühsame Reaktion regulieren. Obwohl diese beiden Mechanismen normalerweise zusammenarbeiten, können sie sich voneinander trennen, so dass Konsum und Bereitschaft, für Lebensmittel zu arbeiten, nicht miteinander korrelieren (z. Greenwood et al., 1974; Salamone et al., 1991; Baldo et al., 2002; Davis et al., 2010b; Rasmussen et al., 2010). Wenn eine nicht-homeostatische Fütterung die Bemühung ist, Nahrung zu erhalten - "fehlt" - in Abwesenheit vonBerridge et al., 2010), die pathologische Anpassung von Leptin / Insulin / Dopamin an Fettleibigkeit kann das Gegenteil widerspiegeln: eine wahrgenommene Notwendigkeit, Nahrung ohne Aufwand zu verbrauchen, brauchen ohne "zu wollen".

Dopamin- und Energiehomöostase: eine Ausgaben-zentrierte Perspektive

Diese oben beschriebene Arbeit konzentriert sich fast ausschließlich auf den Konsum, die Aufnahmeseite der Energiebilanz. Leptin spielt, obwohl weniger systematisch untersucht, auch eine Rolle bei der Regulierung des Energieverbrauchs (Pelleymounter et al., 1995; Williams et al., 2001; Elmquist et al., 2005; Ludwig et al., 2005; van de Wall ua, 2008; Leininger et al., 2011; Ribeiro et al., 2011). Trotz der bekannten Rolle von Dopamin bei der Regulierung der Aktivität ist wenig darüber bekannt, wie die Wechselwirkungen zwischen Leptin, Insulin und Dopamin die Aktivität und den Energieverbrauch modulieren. Unter dem Gesichtspunkt des Energieverbrauchs könnte man erwarten, dass Leptin / Insulin, das die Energieverfügbarkeit signalisiert, den Energieverbrauch erhöht und die Aktivität erhöht (Ribeiro et al., 2011) - "Wenn Sie es haben, verwenden Sie es" - was nicht mit den Beobachtungen übereinstimmt, dass Leptin die Dopamin-Funktion verringert. Neuere Arbeiten (Leininger et al., 2009; Opland et al., 2010) legt nahe, dass die Beziehung zwischen Leptin und Dopamin möglicherweise nicht einfach und unidirektional ist. Leinninger und Kollegen schlagen vor, dass Leptin auf die LH wirkt steigt Dopamin-Funktion (Leininger et al., 2009) während die Aktivierung von Leptinrezeptoren auf Dopaminzellen die Dopaminfunktion vermindert (Hommel et al., 2006; Figlewicz und Benoit, 2009). Leshanet al. (2010) legen nahe, dass die Dopaminzellen, die Leptinrezeptoren exprimieren, eine kleine (~ 10%) Subpopulation darstellen, die fast ausschließlich auf den zentralen Kern der Amygdala projiziert. Wenn Leptin von einem Überschuss an Energie zunimmt, dann kann seine primäre Wirkung auf Dopamin, über LH, sein Energie Dopamin-Funktion und erhöht Aktivität und Energieaufwand, wie von Ribeiro und Kollegen (Ribeiro et al., 2011): Energie ist verfügbar, benutze sie. Die Dopamin-Zellen und die Projektion, die direkt Leptin-Rezeptoren exprimieren, können eine andere Rolle im Appetit spielen lernen- im Zusammenhang mit dem CeN (Holland und Gallagher, 1993; Parkinson et al., 2000; Connor et al., 2001; Baxter und Murray, 2002; Lee et al., 2005; Patonet al., 2006; El-Amamy und Holland, 2007) - eine faszinierende Idee, die über den Rahmen der aktuellen Diskussion hinausgeht. In der hier vorgeschlagenen Hypothese fördert dieser Leptin-vermittelte Anstieg von Dopamin die Belohnung nicht, sondern verschiebt die Regulation der Aktivität zu mehr Aufwand und größerer Exploration. Eine größere Exploration führt zu einer scheinbaren Verringerung der Belohnungssensitivität / des Anreizes, wie es das Verhalten ist weniger voreingenommen durch Belohnung, wenn auch wichtig, immer noch motiviert.

Die belohnungsorientierte Sichtweise von Dopamin legt die Auf- oder Abregulierung der Belohnung und der Anreizmotivation als Hauptbeitrag von Dopamin zur Energiehomöostase und Fettleibigkeit fest. Die aktuelle Hypothese konzentriert die Rolle von Dopamin auf den Energieverbrauch und legt nahe, dass die verfügbare Energie normalerweise das Dopamin erhöht, was zu einer erhöhten Aktivität und Erforschung führt, wobei der Einfluss der Belohnung auf die Wahl des Verhaltens tatsächlich verringert wird. Umgekehrt würde eine niedrige Energie Dopamin verringern, was zu einer Energieeinsparung und Nutzung von Belohnungsinformationen führen würde, d. H. zunehmend der Einfluss der Belohnung auf das Verhalten. Letzteres stimmt mit Beobachtungen überein, die oft zitiert werden, um die "Belohnungsdefizit" -Hypothese zu unterstützen, aber hier interpretieren wir diese Daten als "Belohnungsexploit-Überschuss". Diese Hypothese würde nahelegen, dass hohe Kalorienaufnahme Dopamin erhöhen und durch erhöhte Aktivität schützend sein sollte gegen Fettleibigkeit. Dieser vermeintliche Mechanismus scheint jedoch nicht erfolgreicher zu sein als homöostatische Mechanismen, um Adipositas in unserer gegenwärtigen Umgebung zu verhindern. Warum?

Vereiteln der Energieausgaben: Schrank- und Käfiginduzierte Adipositas

Diese Hypothese würde voraussagen, dass eine Energiebereitstellung, wie sie in modernen westlichen Gesellschaften allgemein üblich ist, Dopamin erhöhen und den Energieaufwand erleichtern würde Sicherheit gegen Fettleibigkeit. Kritisch ist dieser Effekt abhängig von der Gelegenheit Energie verbrauchen. Ernährungsbedingte Fettleibigkeit (DIO) bei Nagetieren, die mit fettreichen, kalorienreichen Diäten gefüttert werden, ist ein vorherrschendes Modell für umweltbedingte Fettleibigkeit. Obwohl Nagetiere auf solchen Diäten weithin als ein Modell von adipösen Umgebungen ausgelegt werden, werden sie nicht allgemein fettleibig und zeigen Resistenzgrade, die zwischen den Stämmen variieren (Brownlow et al., 1996; Funkat et al., 2004; Novak et al., 2010) und zwischen Individuen die Grundlage für die selektive Zucht von Adipositas-empfindlichen und resistenten Nagetieren (Levin, 2010). Es ist schwierig, die Rolle von Dopamin-vermittelten Effekten auf den Energieverbrauch in DIO zu beurteilen, da die Frage nicht direkt untersucht wurde.

Obwohl das Laufen von Rädern gezeigt hat, dass es gegen DIO in verschiedenen Modellen von Fettleibigkeit schützt (Zachwieja et al., 1997; Levin und Dunn-Meynell, 2004; Bi, 2005; Moran und Bi, 2006b; Patterson et al., 2008, 2009; Meek et al., 2010; Novak et al., 2010) wurde das Ausmaß, in dem eine solche schützende willkürliche Aktivität durch Dopamin moduliert wird, in diesen Studien nicht direkt untersucht. Adipositas-anfällige OLEF-Ratten zeigen eine stark verminderte Fettleibigkeit, wenn sie mit Laufrädern ausgestattet sind (Bi, 2005). Interessanterweise ist das Muster dieser Ratten im Vergleich zu den Kontrolltieren analog zu dem, was wir mit den DAT-Mäusen beobachten: Sie konsumieren größere, aber weniger Mahlzeiten, obwohl im Gegensatz zum DAT ihr Nettoverbrauch erhöht ist (Moran und Bi, 2006a, S. 1214, Abbildung 2). Jüngere, nicht-diabetische OLETF-Ratten zeigen ein erhöhtes extrazelluläres Dopamin, was mit dem Phänotyp der DAT-Mahlzeit übereinstimmt (Anderzhanova et al., 2007). Bei fortgeschrittenem prädiabetischem und diabetischem Alter zeigen sie jedoch einen dramatischen Rückgang des Dopamins (Anderzhanova et al., 2007). Eine Interpretation dieser Daten ist, dass erhöhte Dopaminspiegel bei diesen Ratten sie für eine größere Energieaufnahme prädisponieren und Ausgaben, aber in Ermangelung freiwilliger Übungsmöglichkeiten, wird der erhöhte Energieaufwand blockiert, was zu Energieungleichgewicht, Fettleibigkeit und Stoffwechselstörungen führt.

Einige Studien haben gezeigt, dass Diäten mit hohem Fett- und Kaloriengehalt die Dopaminfunktion verringern, einschließlich reduzierter TH, verminderter stimulierter Dopaminfreisetzung und reduzierter D2-Rezeptorexpression (Geiger et al., 2008, 2009). Ob jedoch die beobachtete Reduktion der Dopamin-Funktion als direkte Folge der erhöhten Verfügbarkeit von Energie oder sekundär für andere Pathophysiologie auftritt, ist unklar. Insbesondere wurden Diäten mit hohem Fett- / Kaloriengehalt mit Leptin und / oder Insulinunempfindlichkeit (Araseet al., 1988; Lin et al., 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Davis et al., 2010a; Figlewicz und Sipols, 2010). Dies macht eine Interpretation der Veränderungen der Dopaminfunktion als Reaktion auf DIO schwierig. Zum Beispiel, obwohl eine reduzierte D2-Funktion mit DIO berichtet wurde, treten diese Beobachtungen im Allgemeinen nach vielen Wochen einer fettreichen Diät auf, was die Möglichkeit mit sich bringt, dass diese Veränderungen sekundär zu chronisch erhöhtem Leptin und Insulin und nachfolgender Leptin / Insulin-Insensitivität auftreten. Leider wird diese Möglichkeit selten angesprochen und Insulin / Leptinspiegel werden typischerweise nicht berichtet. In einer Studie, die die D2 - und DAT - Expression nach 20 - Tagen mit HF - Diät und berichteten Insulin / Leptin - Spiegeln untersuchten, beobachteten die Autoren eine Abnahme von DAT und a Energie in D2 (Süd und Huang, 2007; Siehe auch Huang et al., 2005), beides im Einklang mit erhöhter Aktivität. In einer neueren Studie beobachten dieselben Autoren einen Anstieg der Dopamin-System-Funktion, wenn Ratten von Futter auf Hochenergie-Diät umgestellt werden (South et al., 2012). Diese Daten deuten darauf hin, dass die Anfangs- Antwort auf fettreiche und erhöhte Kalorienverfügbarkeit ist Energie Dopamin und Energie Expression des dishibitorischen D2-Rezeptors induziert eine größere Aktivität. Um die Frage zu beantworten, wie das Dopaminsystem auf eine Fülle verfügbarer Kalorien reagiert, ist es entscheidend, sich zu disambiguieren Anfangs- für chronisch Antwort und beurteilen, inwieweit pathologische Anpassungen wie Leptin-Sensitivität vorliegen.

In welchem ​​Maße entstehen die Veränderungen, die im Dopaminsystem unter DIO beobachtet werden, nicht aus einer kalorienreichen Diät selbst, sondern aus einem Mangel an Bewegungsmöglichkeiten? Das heißt, in den Beobachtungen der verminderten Dopaminfunktion, die mit DIO assoziiert sind, können wir nicht nur fragen, inwieweit dies eine pathologische Anpassung widerspiegelt, sondern auch, in welchem ​​Ausmaß eine fehlende Möglichkeit für einen freiwilligen Energieverbrauch besteht beitragen zu dieser Pathologie? Hinweise deuten darauf hin, dass das Laufrad die funktionellen Eigenschaften des Dopaminsystems verändern kann (MacRae et al., 1987; Sabol et al., 1990; Hattori et al., 1993, 1994; Wilson und Marsden, 1995; Liste et al., 1997; Meeusen et al., 1997; Foley und Fleshner, 2008; Greenwood et al., 2011), einschließlich erhöhtem extrazellulärem Dopamin, erhöhtem Umsatz, erhöhter TH-mRNA und Veränderungen der D2-Expression. In einer neueren Studie, die zwischen postsynaptischem D2 und Autorezeptoren unterscheidet, wurden die Autorezeptoren herunterreguliert und das postsynaptische D2 hochreguliert (Foley und Fleshner, 2008). Darüber hinaus könnte die freiwillige Aktivität pathologische Adaptationen bei der Leptin- und Insulinsignalisierung abschwächen, die indirekt die Dopaminfunktion schützen könnten (Krawczewski Carhuatanta et al., 2011). Daher kann eine willkürliche Übung die verminderte Dopamin-Funktion, die bei DIO beobachtet wird, verbessern, obwohl dies nicht systematisch untersucht wurde.

In der hier vorgeschlagenen Hypothese würde eine erhöhte Verfügbarkeit von Energie über eine Hochregulierung der Dopamin-vermittelten Verhaltensaktivität zu einem erhöhten Explorations- und Energieaufwand führen, was es dem Tier ermöglicht, von einer reichlichen Energieversorgung zu profitieren und vor Fettleibigkeit zu schützen. Insofern das DIO - Paradigma keine Möglichkeit für Exploration und Energieaufwand bietet, indem es Nagetiere auf kleine Käfige beschränkt, mit wenig oder gar keiner Neuheit, Stimulation oder Bewegungsmöglichkeiten, kann es die Konsequenzen von Nagetieren widerspiegeln Vereitelung Energieaufwand unter Bedingungen der energetischen Fülle. Viele haben vorgeschlagen, dass sesshafte Lebensstile, die für moderne westliche Kulturen charakteristisch sind, zu Fettleibigkeit genauso viel oder mehr beitragen können wie eine Diät (Powell und Blair, 1994; Booth et al., 2000; Hill et al., 2003; Chakravarthy und Booth, 2004; Levin und Dunn-Meynell, 2004; Warburtonet al., 2006; Booth und Lees, 2007; Elder und Roberts, 2007; Hawley und Holloszy, 2009; Chaput et al., 2011), wodurch DIO für das Verständnis von Adipositas in modernen Gesellschaften von großer Bedeutung ist. Ob jedoch die induzierte Adipositas aus einem erhöhten Kalorienverbrauch oder aus einem Mangel an sinnvollen Möglichkeiten zur Aufwendung von Energiekäfig- oder "Boxen" -induzierter Adipositas resultiert, bleibt unklar. Obwohl Dopamin weithin vorgeschlagen wird, dass es zu DIO beiträgt, indem es Belohnungs- und Appetitmotivation moduliert, bleibt sein potenzieller Beitrag durch modulierende Energieausgaben weitgehend unerforscht und wird im herkömmlichen DIO-Paradigma verdeckt.

Zukünftige Richtungen: Neuformulierung von Forschungsstrategien

Die Belohnungshypothese von Dopamin hat Untersuchung und Denken über Dopamin beherrscht; Experimente werden normalerweise innerhalb dieses konzeptionellen Rahmens entworfen. Daher fehlen häufig die Informationen, die zur Bewertung der vorgeschlagenen Hypothese notwendig sind. Häufig werden Aktivitätsstufen einfach ignoriert. Dies reicht von einer breiten, umfassenden Untersuchung, in der eine große Vorliebe für die Untersuchung von Appetitzüglerverhalten und -konsum mit erst kürzlich entstandener Literatur über Mechanismen zur Steuerung des freiwilligen Energieaufwands für spezifische Experimente besteht, wie viele DIO-Studien, in denen Aktivität nicht gemessen oder einbezogen wird Konto überhaupt [zB Geiger et al., 2008, 2009]. Diese Tendenz zu Belohnungstheorien spiegelt sich auch in der Literatur wider, in der ausgeklügelte und ausgeklügelte Wege, die die Aufnahme und / oder Belohnung steuern, ausführlich beschrieben wurden, während eine vergleichbare Kartierung von Mechanismen und Wegen zur Regulierung freiwilliger Aktivitäten praktisch nicht existiert (siehe jedoch) Garland et al., 2011). Die Integration systematischer und abgestimmter Aktivitätsmaße muss routinemäßig in Studien zur Dopaminfunktion integriert werden.

Zweitens ist Anpassung umweltabhängig. Gegenwärtig untersucht die überwiegende Mehrheit der Tierstudien effektiv eine Energiewirtschaft: periodische, vorübergehende Nahrungsmittelknappheit, die sich aus der Einschränkung von Nahrungsmitteln ergibt, die zur Motivierung von Tieren eingesetzt wird. Dies spiegelt nicht nur die Angebot Bedingungen, denen sich ein Tier anpassen muss, aber es spiegelt nicht die primäre Bedingung wider, von der angenommen wird, dass sie dem Anstieg der Fettleibigkeit zugrunde liegt, die eine Umgebung des Überflusses und nicht der Knappheit darstellt. Ein semi-naturalistischer Heimkäfigansatz, wie er in unserer Arbeit und anderen (Hursh et al., 1988; Chaney und Rowland, 2008) ist wichtig, um ein „vollständiges“ Bild der Dopaminfunktion zu erhalten. In solchen Paradigmen für Heimkäfige können die Umweltkontingente über einen längeren Zeitraum in verschiedenen Dimensionen gesteuert werden, ohne dass künstlich induzierte Energiedefizite (dh Lebensmittelbeschränkungen) oder die Einführung künstlicher zeitlicher Horizonte (die Stundensitzung) erforderlich sind. Das heißt, das selbstregulierte Verhalten des Tieres als Reaktion auf seine Umgebung kann eingehender untersucht werden.

Drittens konzentrieren sich praktisch alle Arbeiten auf den Einfluss von verändertem Dopamin auf das Verhalten, wobei wenig untersucht wird, wie verhaltensbezogene Interaktionen mit der Umwelt und nachfolgende Ergebnisse das Dopaminsystem selbst verändern. Diese Arten von Studien sind zugegebenermaßen herausfordernd, wie die Literatur zeigt, wie Stress die Dopaminfunktion verändert. Nichtsdestoweniger scheinen sie kritisch zu sein, um die adaptive Funktion von Dopamin vollständig zu verstehen. Reguliert eine anhaltende Umgebung von Überfluss oder Mangel die Dopaminfunktion? Obwohl die Frage durchaus kritisch sein kann, gibt es bisher keine klare oder zwingende Antwort und die Frage wird selten gestellt.

Schlussfolgerungen: Eine breitere Sicht

Hier entwickeln wir eine breite Hypothese der Dopaminfunktion, die nahelegt, dass die unzähligen scheinbaren Funktionen von Dopamin kollektiv als Mechanismen verstanden werden könnten, durch die der Energieaufwand an die Energiewirtschaft angepasst wird, in der sich das Tier befindet: ein Substrat, um das Streben nach Belohnung in Einklang zu bringen Ressourcen. Wir haben diese Hypothese zuerst in theoretischer Hinsicht ausgearbeitet, um verschiedene Ansichten der Dopaminfunktion in ein breiteres Energiemanagementsystem zu integrieren. Wir haben diesen Rahmen dann angewendet, um Ideen und Daten im wachsenden Bereich von Dopamin und Fettleibigkeit neu zu interpretieren. Wir schlagen die neuartige Hypothese vor, dass Dopamin, durch die Bevorzugung des Energieverbrauchs, normalerweise vor Fettleibigkeit schützen würde, dass aber der sitzende Lebensstil der modernen Gesellschaft diesen Schutzprozess behindert und pathologische Anpassungen induziert, die eher dazu beitragen, als gegen Fettleibigkeit zu schützen. Obwohl wir über den Rahmen der aktuellen Diskussion hinausgehen, glauben wir, dass der hier in groben Zügen skizzierte Rahmen fruchtbar auf andere Bereiche der Dopaminforschung angewendet werden kann, einschließlich Aufmerksamkeitsdefizit-Hyperaktivitätsstörung und -abhängigkeit, die möglicherweise neue Einsichten und überprüfbare Hypothesen liefern.

Belohnung - die Verknüpfung von externen Ereignissen und Reizen mit internen Bedürfnissen - stellt eindeutig eine kritische Funktion von einem evolutionären, adaptiven Standpunkt aus dar. Belohnung und Wert sind jedoch grundsätzlich relativ. Was ist der Maßstab, nach dem Belohnung moduliert wird? Hier schlagen wir vor, dass das Dopaminsystem an seiner Wurzel entstand, um eine noch fundamentalere Funktion als eine Belohnung anzusprechen: Energiequellen optimal zu nutzen, das Herz des adaptiven Überlebens und buchstäblich eine Frage von Leben oder Tod.

Interessenkonflikt

Die Autoren erklären, dass die Untersuchung in Abwesenheit von kommerziellen oder finanziellen Beziehungen durchgeführt wurde, die als möglicher Interessenkonflikt ausgelegt werden könnten.

Anerkennungen

Diese Arbeit wurde von NIDA R01DA25875 (Jeff A. Beeler), F31DA026802 (Cristianne RM Frazier), R01GM100768 (Xiaoxi Zhuang) und R56DK088515 (Xiaoxi Zhuang) unterstützt. Wir möchten den Rezensenten für ihre rigorosen und aufschlussreichen Kommentare danken, die das endgültige Manuskript wesentlich verbessert haben.

Bibliographie

Bearbeitet von:

John J. Foxe, Albert Einstein College of Medicine, USA

Rezensiert von:

Thomas A. Stalnaker, Universität von Maryland School of Medicine Baltimore, USA
John D. Salamone, Universität von Connecticut, USA