Dopamin in der Motivationskontrolle: belohnend, aversiv und alarmierend (2010)

Siehe andere Artikel in PMC zitieren der veröffentlichte Artikel.

Midbrain-Dopamin-Neuronen sind bekannt für ihre starken Reaktionen auf Belohnungen und ihre entscheidende Rolle bei der positiven Motivation. Es wurde jedoch immer deutlicher, dass Dopamin-Neuronen auch Signale übertragen, die auf hervorstechende, aber nicht belohnende Erfahrungen wie aversive und alarmierende Ereignisse zurückzuführen sind. Hier betrachten wir die jüngsten Fortschritte beim Verständnis der Belohnungs- und Nichtbelohnungsfunktionen von Dopamin. Basierend auf diesen Daten schlagen wir vor, dass Dopamin-Neuronen in mehreren Arten vorliegen, die mit unterschiedlichen Gehirnnetzwerken verbunden sind und eine unterschiedliche Rolle bei der Motivation spielen. Einige Dopamin-Neuronen kodieren motivationale Werte und unterstützen Gehirnnetzwerke bei der Suche, Bewertung und Wertschätzung. Andere kodieren motivierende Salience und unterstützen Gehirnnetzwerke zur Orientierung, Wahrnehmung und allgemeinen Motivation. Beide Arten von Dopaminneuronen werden durch ein Alarmsignal verstärkt, das an der schnellen Erkennung potenziell wichtiger sensorischer Hinweise beteiligt ist. Wir stellen die Hypothese auf, dass diese dopaminergen Wege für Wertigkeit, Aufklärung und Alarmierung zusammenarbeiten, um adaptives Verhalten zu unterstützen.

Dopamin als Motivation für belohnungssuchende Handlungen

Dopamin ist seit langem als wichtig für die Verstärkung und Motivation von Handlungen bekannt. Medikamente, die die DA-Übertragung stören, beeinträchtigen das Lernen mit Verstärkung, während Manipulationen, die die DA-Übertragung verbessern, wie Hirnstimulation und Suchtmittel, oft als Verstärker wirken (Weise, 2004). DA-Übertragung ist entscheidend für die Schaffung einer Motivation, Belohnungen zu suchen (Berridge und Robinson, 1998; Salamone et al., 2007) und zur Erinnerung an Cue-Reward-Assoziationen (Dalley et al., 2005). Die Veröffentlichung von DA ist nicht für alle Formen des Belohnungslernens erforderlich und wird möglicherweise nicht immer als "gern" im Sinne von Vergnügen empfunden. Es ist jedoch entscheidend, um Ziele dazu zu bringen, "erwünscht" zu werden, im Sinne motivierender Aktionen, um sie zu erreichen (Berridge und Robinson, 1998; Palmiter, 2008).

Eine Hypothese, wie Dopamin das Verstärkungslernen unterstützt, besteht darin, dass es die Stärke synaptischer Verbindungen zwischen Neuronen einstellt. Die einfachste Version dieser Hypothese ist, dass Dopamin die synaptische Plastizität gemäß einer modifizierten Hebbian-Regel kontrolliert, die grob als "Neuronen, die zusammengeschaltet werden, verdrahtet wird, solange sie einen Dopaminausbruch bekommen". Mit anderen Worten, wenn Zelle A Zelle B aktiviert und Zelle B eine Verhaltensaktion auslöst, die zu einer Belohnung führt, würde Dopamin freigesetzt werden und die A → B-Verbindung würde verstärkt werden (Montague et al., 1996; Schultz, 1998). Dieser Mechanismus würde es einem Organismus ermöglichen, die optimale Wahl der Maßnahmen zu erlernen, um bei ausreichendem Versuch und Irrtum Belohnung zu erhalten. In Übereinstimmung mit dieser Hypothese hat Dopamin einen starken Einfluss auf die synaptische Plastizität in zahlreichen Hirnregionen (Surmeier et al., 2010; Goto et al., 2010; Molina-Luna et al., 2009; Marowsky et al., 2005; Lisman und Gnade, 2005). In einigen Fällen ermöglicht Dopamin synaptische Plastizität gemäß den oben beschriebenen Regeln der hebräischen Regel, und zwar in einer Weise, die mit dem Verhalten der Belohnung nach Sucht korreliert (Reynolds et al., 2001). Zusätzlich zu seinen Auswirkungen auf die synaptische Langzeit-Plastizität kann Dopamin die neuronalen Schaltkreise auch unmittelbar steuern, indem es die neuronale Spitzenaktivität und die synaptischen Verbindungen zwischen Neuronen moduliert (Surmeier et al., 2007; Robbins und Arnsten, 2009) in einigen Fällen auf eine Art und Weise, die sofortige belohnungssuchende Maßnahmen (Frank, 2005).

Belohnungssignale für Dopamin-Neuronen

Um Aktionen zu motivieren, die zu Belohnungen führen, sollte Dopamin während belohnender Erfahrungen freigesetzt werden. In der Tat werden die meisten DA-Neuronen durch unerwartete Primärbelohnungen wie Nahrung und Wasser stark aktiviert und erzeugen häufig phasische Aktivitätsausbrüche (Schultz, 1998) (phasische Anregungen mit mehreren Spikes (Grace und Bunney, 1983)). Die bahnbrechenden Studien von Wolfram Schultz zeigten jedoch, dass diese DA-Neuronenantworten nicht durch Belohnungsverbrauch ausgelöst werden an sich. Stattdessen ähneln sie einem „Fehler bei der Vorhersage von Belohnungen“, der die Differenz zwischen der erhaltenen Belohnung und der erwarteten Belohnung angibt (Schultz et al., 1997) (Abbildung 1A). Wenn also eine Belohnung größer ist als vorhergesagt, werden DA-Neuronen stark angeregt (positiver Vorhersagefehler, Abbildung 1E, rot); Ist eine Belohnung geringer als vorhergesagt oder tritt sie zum festgelegten Zeitpunkt nicht ein, werden DA-Neuronen phasisch gehemmt (negativer Vorhersagefehler, Abbildung 1E, Blau); und wenn eine Belohnung vorab so festgelegt wird, dass ihre Größe vollständig vorhersagbar ist, haben DA-Neuronen wenig oder keine Antwort (null Vorhersagefehler, Abbildung 1Cschwarz). Dasselbe Prinzip gilt für DA-Antworten auf sensorische Hinweise, die neue Informationen über zukünftige Belohnungen liefern. DA-Neuronen sind aufgeregt, wenn ein Hinweis auf eine Erhöhung des zukünftigen Belohnungswerts hinweist (Abbildung 1C, rot), gesperrt, wenn ein Cue eine Abnahme des zukünftigen Belohnungswerts anzeigt (Abbildung 1C, blau) und haben im Allgemeinen wenig Antwort auf Hinweise, die keine neuen Belohnungsinformationen vermitteln (Abbildung 1Eschwarz). Diese DA-Antworten ähneln einer bestimmten Art von Belohnungsvorhersagefehlern, die als Zeitdifferenzfehler oder "TD-Fehler" bezeichnet werden und als Verstärkungssignal für das Lernen des Wertes von Aktionen und Umgebungszuständen vorgeschlagen wurden (Houk et al., 1995; Montague et al., 1996; Schultz et al., 1997). Rechenmodelle, die ein TD-artiges Verstärkungssignal verwenden, können viele Aspekte des Verstärkungslernens bei Menschen, Tieren und DA-Neuronen selbst erklären (Sutton und Barto, 1981; Waelti et al., 2001; Montague und Berns, 2002; Dayan und Niv, 2008).

 

Figure 1

Dopamin-Codierung von Prädiktionsfehlern für die Belohnung und Präferenz für prädiktive Informationen

Eine eindrucksvolle Reihe von Experimenten hat gezeigt, dass DA-Signale Belohnungsvorhersagen auf eine Weise darstellen, die den Verhaltenspräferenzen sehr nahe kommt, einschließlich der Bevorzugung großer Belohnungen gegenüber kleinen (Tobler et al., 2005wahrscheinliche Belohnungen über unwahrscheinliche (Fiorillo et al., 2003; Satoh et al., 2003; Morris et al., 2004) und sofortige Belohnungen über verzögerte (Roesch et al., 2007; Fiorillo et al., 2008; Kobayashi und Schultz, 2008). Es gibt sogar Beweise, dass DA-Neuronen beim Menschen den Belohnungswert von Geld kodieren (Zaghloul et al., 2009). Außerdem treten während des Lernens DA-Signale mit einem ähnlichen Zeitverlauf wie Verhaltensmessungen der Belohnungsvorhersage auf (Hollerman und Schultz, 1998; Satoh et al., 2003; Takikawa et al., 2004; Day et al., 2007) und korrelieren mit subjektiven Werten der Belohnungspräferenz (Morris et al., 2006). Diese Ergebnisse haben DA-Neuronen als eines der am besten verstandenen und am häufigsten replizierten Beispiele für Belohnungscodierung im Gehirn herausgestellt. Infolgedessen haben kürzlich durchgeführte Studien DA-Neuronen einer intensiven Prüfung unterzogen, um herauszufinden, wie sie Vorhersagevorhersagen erzeugen und wie ihre Signale auf nachgeschaltete Strukturen wirken, um das Verhalten zu kontrollieren.

Belohnungssignale für Dopamin-Neuronen

Jüngste Fortschritte beim Verständnis der DA-Belohnungssignale ergeben sich aus der Überlegung von drei großen Fragen: Wie lernen DA-Neuronen Belohnungsvorhersagen? Wie genau sind ihre Vorhersagen? Und was behandeln sie als lohnend?

Wie lernen DA-Neuronen Belohnungsvorhersagen? Klassische Theorien legen nahe, dass die Vorhersage von Belohnungen durch einen allmählichen Verstärkungsprozess erlernt wird, der wiederholte Stimulus-Belohnung-Paarungen erfordert (Rescorla und Wagner, 1972; Montague et al., 1996). Jedes Mal, wenn auf Stimulus A eine unerwartete Belohnung folgt, wird der geschätzte Wert von A erhöht. Jüngste Daten zeigen jedoch, dass DA-Neuronen über das Lernen mit einfachen Stimulus-Belohnungen hinausgehen und auf hoch entwickelten Annahmen über die Struktur der Welt Vorhersagen treffen. DA-Neuronen können Belohnungen auch in unkonventionellen Umgebungen richtig vorhersagen, in denen Belohnungen, die mit einem Reiz gekoppelt sind, a verursachen verringern im Wert dieses Stimulus (Satoh et al., 2003; Nakahara et al., 2004; Bromberg-Martin et al., 2010c) oder eine Änderung des Wertes eines ganz anderen Stimulus bewirken (Bromberg-Martin et al., 2010b). DA-Neuronen können ihre Belohnungssignale auch basierend auf Statistiken höherer Ordnung der Belohnungsverteilung anpassen, z. B. Skalierungsvorhersagefehlersignale basierend auf ihrer erwarteten Varianz (Tobler et al., 2005) und „spontan erholen“ ihre Antworten auf ausgelöschte Belohnungsreflektionen (Pan et al., 2008). Alle diese Phänomene bilden eine bemerkenswerte Parallele zu ähnlichen Effekten bei der sensorischen und motorischen Anpassung (Braun et al., 2010; Fairhall et al., 2001; Shadmehr et al., 2010), was darauf hindeutet, dass sie einen allgemeinen neuronalen Mechanismus für prädiktives Lernen widerspiegeln.

Wie genau sind die DA-Belohnungsvorhersagen? Kürzlich durchgeführte Studien haben gezeigt, dass DA-Neuronen ihre Belohnungssignale getreu anpassen, um drei Quellen von Vorhersageunsicherheiten zu berücksichtigen. Erstens leiden Mensch und Tier an internen Timing-Geräuschen, die es ihnen unmöglich machen, verlässliche Vorhersagen über lange Zeitintervalle der Belohnung zu treffen (Gallistel und Gibbon, 2000). Wenn die Verzögerungszeiten für die Belohnungsverzögerung kurz sind (1 – 2-Sekunden), sind die Timing-Vorhersagen genau und die Belohnungsabgabe löst eine geringe DA-Reaktion aus. Bei längeren Verzögerungen der Queue-Belohnung sind die Timing-Vorhersagen jedoch weniger zuverlässig und die Belohnungen rufen eindeutige DA-Bursts hervor (Kobayashi und Schultz, 2008; Fiorillo et al., 2008). Zweitens sind viele Hinweise im Alltag ungenau, da sie eine breite Verteilung der Belohnungslieferzeiten vorgeben. DA-Neuronen spiegeln diese Form der Timing-Unsicherheit wieder: Sie werden während variabler Belohnungsverzögerungen progressiv gehemmt, als würden Signalfehler der negativen Belohnung immer dann angezeigt, wenn die Belohnung nicht erscheint (Fiorillo et al., 2008; Bromberg-Martin et al., 2010a; Nomoto et al., 2010). Schließlich sind viele Hinweise wahrnehmungsmäßig komplex und erfordern eine eingehende Prüfung, um zu einem endgültigen Ergebnis ihres Belohnungswerts zu gelangen. In solchen Situationen treten DA-Belohnungssignale bei langen Latenzen und allmählich auf und scheinen den allmählichen Fluss von Wahrnehmungsinformationen widerzuspiegeln, wenn der Stimuluswert decodiert wird (Nomoto et al., 2010).

Welche Ereignisse behandeln DA-Neuronen als lohnend? Konventionelle Theorien des Belohnungslernens legen nahe, dass DA-Neuronen einen Wert auf der Grundlage der erwarteten zukünftigen Primärbelohnung zuweisen (Montague et al., 1996). Selbst wenn die Primärbelohnungsrate konstant gehalten wird, drücken Menschen und Tiere oft eine zusätzliche Präferenz für die Vorhersagbarkeit aus - Suchumgebungen, in denen die Größe, Wahrscheinlichkeit und der Zeitpunkt jeder Belohnung im Voraus bekannt sind (Daly, 1992; Chew und Ho, 1994; Ahlbrecht und Weber, 1996). Eine kürzlich durchgeführte Studie an Affen ergab, dass DA-Neuronen diese Präferenz signalisieren (Bromberg-Martin und Hikosaka, 2009). Affen äußerten eine starke Vorliebe für informative visuelle Hinweise, die es ihnen ermöglichen würden, die Höhe einer künftigen Belohnung vorherzusagen, und nicht informative Hinweise, die keine neuen Informationen lieferten. Parallel dazu waren DA-Neuronen begeistert von der Möglichkeit, die informativen Signale auf eine Art und Weise zu betrachten, die mit der Verhaltenspräferenz des Tieres korrelierte (Abbildung 1B, D). Dies legt nahe, dass DA-Neuronen nicht nur Aktionen motivieren, um Belohnungen zu erhalten, sondern sie auch dazu motivieren, genaue Vorhersagen über diese Belohnungen zu treffen, um sicherzustellen, dass Belohnungen im Voraus richtig antizipiert und vorbereitet werden können.

Zusammengenommen zeigen diese Ergebnisse, dass DA-Prädiktionsfehler-Fehlersignale empfindlich auf ausgeklügelte Faktoren reagieren, die die Vorhersagen für die Belohnung von Mensch und Tier beeinflussen, einschließlich der Anpassung an die Belohnungsstatistik hoher Ordnung, der Ungewissheit der Belohnung und Präferenzen für Vorhersageinformationen.

Der Effekt von phasischem Dopamin belohnt Signale auf nachgeschalteten Strukturen

DA-Belohnungsantworten treten in synchronen phasischen Bursts auf (Joshua et al., 2009b), ein Antwortmuster, das die DA-Freisetzung in Zielstrukturen formt (Gonon, 1988; Zhang et al. 2009; Tsai et al., 2009). Es wurde lange vermutet, dass diese phasischen Ausbrüche das Lernen und die Motivation deutlich von der tonischen DA-Aktivität beeinflussen (Gnade, 1991; Grace et al., 2007; Schultz, 2007; Lapish et al., 2007). Kürzlich entwickelte Technologien haben es möglich gemacht, diese Hypothese zu bestätigen, indem die Aktivität der DA-Neuronen mit feiner räumlicher und zeitlicher Präzision kontrolliert wird. Die optogenetische Stimulation von VTA-DA-Neuronen induziert eine starke konditionierte Ortspräferenz, die nur dann auftritt, wenn die Stimulation in einem Burst-Muster angewendet wird (Tsai et al., 2009). Umgekehrt verursacht das genetische Knockout von NMDA-Rezeptoren aus DA-Neuronen, das das Bersten beeinträchtigt, während die tonische Aktivität weitgehend erhalten bleibt, eine selektive Beeinträchtigung bei bestimmten Formen des Belohnungslernens (Zweifel et al., 2009; Parker et al., 2010) (beachten Sie jedoch, dass dieses Knockout auch die synaptische Plastizität von DA-Neuronen beeinträchtigt (Zweifel et al., 2008)). DA-Bursts können das Belohnungslernen verbessern, indem sie lokale neuronale Schaltungen neu konfigurieren. Insbesondere werden belohnungsvorhersagende DA-Bursts an bestimmte Regionen des Nucleus accumbens gesendet, und diese Regionen weisen besonders hohe belohnungsprädiktive neuronale Aktivität auf (Cheer ua, 2007; Owesson-White et al., 2009).

Im Vergleich zu phasischen Bursts ist weniger bekannt, wie wichtig phasische Pausen für die Spitzenaktivität für Vorhersagefehler bei negativen Belohnungen sind. Diese Pausen verursachen kleinere Änderungen in der Spitzenrate und werden weniger durch die Belohnungserwartung moduliert (Bayer und Glimcher, 2005; Joshua et al., 2009a; Nomoto et al., 2010) und kann geringere Auswirkungen auf das Lernen haben (Rutledge et al., 2009). Bestimmte Arten des Lernens negativer Vorhersagefehler erfordern jedoch den VTA (Takahashi et al. 2009), was darauf hindeutet, dass phasische Pausen noch von nachgelagerten Strukturen dekodiert werden können.

Da Bursts und Pausen sehr unterschiedliche Muster der DA-Freisetzung verursachen, beeinflussen sie wahrscheinlich nachgelagerte Strukturen durch unterschiedliche Mechanismen. Es gibt neuere Beweise für diese Hypothese in einem Hauptziel von DA-Neuronen, dem dorsalen Striatum. Dorsale Striatum-Projektionsneuronen gibt es in zwei Arten, die unterschiedliche DA-Rezeptoren exprimieren. Ein Typ exprimiert D1-Rezeptoren und -Projekte auf den direkten Weg der Basalganglien, um Körperbewegungen zu erleichtern. der zweite Typ exprimiert D2-Rezeptoren und projiziert auf den "indirekten Weg", um Körperbewegungen zu unterdrücken (Figure 2) (Albinet al., 1989; Gerfen et al., 1990; Kravitz et al., 2010; Hikida et al., 2010). Basierend auf den Eigenschaften dieser Pfade und Rezeptoren wurde theoretisiert, dass DA-Burst Zustände mit hohem DA erzeugen, D1-Rezeptoren aktivieren und bewirken, dass der direkte Weg hochwertige Bewegungen auswählt (Abbildung 2A), während DA-Pausen Zustände mit niedrigem DA erzeugen, D2-Rezeptoren hemmen und den indirekten Weg dazu veranlassen, geringwertige Bewegungen zu unterdrücken (Abbildung 2B) (Frank, 2005; Hikosaka, 2007). In Übereinstimmung mit dieser Hypothese fördert eine hohe DA-Rezeptoraktivierung die Potenzierung kortiko-striataler Synapsen auf den direkten Weg (Shenet al., 2008) und aus positiven Ergebnissen lernen (Frank ua, 2004; Voon et al., 2010), während die striatale D1-Rezeptorblockade Bewegungen zu belohnenden Zielen selektiv beeinträchtigt (Nakamura und Hikosaka, 2006). In analoger Weise fördert eine niedrige DA-Rezeptoraktivierung die Potenzierung kortiko-striataler Synapsen auf den indirekten Weg (Shenet al., 2008) und aus negativen Ergebnissen lernen (Frank ua, 2004; Voon et al., 2010), während die striatale D2-Rezeptorblockade Bewegungen zu nicht belohnten Zielen selektiv unterdrückt (Nakamura und Hikosaka, 2006). Diese Aufteilung der D1- und D2-Rezeptorfunktionen bei der Motivationskontrolle erklärt viele der Auswirkungen von DA-verwandten Genen auf das menschliche Verhalten (Ullsperger, 2010; Frank und Fossella, 2010) und kann sich über das dorsale Striatum hinaus erstrecken, da sich im ventralen Striatum eine ähnliche Arbeitsteilung ergibt (Grace et al., 2007; Lobo et al., 2010).

 

Figure 2

Dopaminkontrolle der positiven und negativen Motivation im dorsalen Striatum

Während das obige Schema ein einfaches Bild der phasischen DA-Kontrolle des Verhaltens durch seine Auswirkungen auf das Striatum zeichnet, ist das Gesamtbild viel komplexer. DA beeinflusst das belohnungsbezogene Verhalten, indem es auf viele Hirnregionen einschließlich des präfrontalen Kortex wirkt (Hitchcott et al., 2007), Rhinalcortex (Liu et al., 2004), Hippocampus (Packard und White, 1991; Grecksch und Matties, 1981) und Amygdala (Phillips et al., 2010). Die Auswirkungen von DA unterscheiden sich wahrscheinlich zwischen diesen Regionen aufgrund von Schwankungen in der Dichte der DA-Innervation, DA-Transportern, metabolischen Enzymen, Autorezeptoren, Rezeptoren und der Rezeptorkopplung an intrazelluläre Signalwege (Neve et al., 2004; Bentivoglio und Morelli, 2005; Frank und Fossella, 2010). Außerdem können DA-Neuronen zumindest in der VTA abhängig von ihren Projektionszielen unterschiedliche zellulare Eigenschaften aufweisen (Lammel et al., 2008; Margolis et al., 2008), und einige haben die bemerkenswerte Fähigkeit, Glutamat sowie Dopamin zu übertragen (Descarries et al., 2008; Chuhma et al., 2009; Hnasko et al., 2010; Tecuapetla et al., 2010; Stuber et al., 2010; Birgneret al., 2010). Das volle Ausmaß der DA-Neuronenkontrolle über neuronale Verarbeitung beginnt also erst zu erkennen.

Diverse Dopaminreaktionen auf aversive Ereignisse

Die Antwort eines Neurons auf aversive Ereignisse liefert einen entscheidenden Test seiner Funktionen bei der Motivation (Schultz, 1998; Berridge und Robinson, 1998; Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003). In vielerlei Hinsicht behandeln wir belohnende und aversive Ereignisse auf unterschiedliche Weise und reflektieren ihr Gegenteil Motivationswert. Wir suchen Belohnungen und weisen ihnen einen positiven Wert zu, während wir aversive Ereignisse vermeiden und ihnen einen negativen Wert zuweisen. In anderer Hinsicht behandeln wir belohnende und aversive Ereignisse auf ähnliche Weise und reflektieren ihre Ähnlichkeit Motivationsgewandtheit [FOOTNOTE1]. Sowohl belohnende als auch aversive Ereignisse lösen Orientierung, kognitive Verarbeitung aus und steigern die allgemeine Motivation.

Welche dieser Funktionen unterstützen DA-Neuronen? Es ist seit langem bekannt, dass belastende und aversive Erfahrungen starke Veränderungen der DA-Konzentrationen in nachgelagerten Gehirnstrukturen verursachen und dass Verhaltensreaktionen auf diese Erfahrungen von DA-Agonisten, Antagonisten und Läsionen dramatisch verändert werden (Salamone, 1994; Di Chiara, 2002; Pezze und Feldon, 2004; Young ua, 2005). Diese Studien haben jedoch eine erstaunliche Ergebnisvielfalt hervorgebracht (Levita et al., 2002; Di Chiara, 2002; Young ua, 2005). Viele Studien stimmen mit DA-Neuronen überein, die für motivierende Salienz kodieren. Sie berichten, dass aversive Ereignisse die DA-Spiegel erhöhen und die Verhaltensaversion durch ein hohes DA-Übertragungsniveau unterstützt wird (Salamone, 1994; Joseph et al., 2003; Ventura et al., 2007; Barr et al., 2009; Fadok et al., 2009) einschließlich phasischer DA-Bursts (Zweifel et al., 2009). Andere Studien stimmen jedoch eher mit DA-Neuronen überein, die den Motivationswert kodieren. Sie berichten, dass aversive Ereignisse die DA-Spiegel reduzieren und die Verhaltensaversion durch niedrige DA-Übertragungsraten unterstützt wird (Mark et al., 1991; Shippenberg et al., 1991; Liu et al., 2008; Roitman et al., 2008). In vielen Fällen wurden diese gemischten Ergebnisse in Einzelstudien gefunden, was darauf hindeutet, dass aversive Erfahrungen unterschiedliche Muster der DA-Freisetzung in verschiedenen Gehirnstrukturen verursachen (Thierry et al., 1976; Besson und Louilot, 1995; Ventura et al., 2001; Jeanblanc et al., 2002; Bassareo et al., 2002; Pascucci et al., 2007), und DA-ähnliche Arzneimittel können eine Mischung aus neuronalen und Verhaltenseffekten erzeugen, die denen ähneln, die sowohl durch belohnende als auch durch aversive Erfahrungen verursacht werden (Ettenberg, 2004; Wheeler et al., 2008).

Diese Vielfalt der DA-Freisetzungsmuster und -funktionen lässt sich nur schwer mit der Idee vereinbaren, dass DA-Neuronen ein einheitliches Motivationssignal an alle Gehirnstrukturen übertragen. Diese vielfältigen Reaktionen könnten jedoch erklärt werden, wenn DA-Neuronen selbst unterschiedlich sind - sie bestehen aus mehreren neuronalen Populationen, die verschiedene Aspekte der aversiven Verarbeitung unterstützen. Diese Ansicht wird durch neuronale Aufnahmestudien bei betäubten Tieren gestützt. Diese Studien haben gezeigt, dass schädliche Stimuli in einigen DA-Neuronen eine Erregung hervorrufen, in anderen DA-Neuronen jedoch eine Hemmung (Chiodo et al., 1980; Maeda und Mogenson, 1982; Schultz und Romo, 1987; Mantz et al., 1989; Gao et al., 1990; Coizet et al., 2006). Es ist wichtig, dass sowohl erregende als auch hemmende Reaktionen in Neuronen auftreten, die durch juxtazelluläre Markierung (dopaminerge Wirkung) bestätigt wurden (Brischouxet al., 2009) (Figure 3). Eine ähnliche Vielfalt aversiver Reaktionen tritt während des aktiven Verhaltens auf. Verschiedene Gruppen von DA-Neuronen werden durch aversive Ereignisse, einschließlich schädlicher Stimulation der Haut, phasisch angeregt oder gehemmt (Kiyatkin, 1988a; Kiyatkin, 1988b), sensorische Hinweise zur Vorhersage aversiver Schocks (Guarraci und Kapp, 1999aversive Airpuffs (Matsumoto und Hikosaka, 2009b) und sensorische Hinweise, die aversive Airpuffs vorhersagen (Matsumoto und Hikosaka, 2009b; Joshua et al., 2009a). Wenn zwei DA-Neuronen gleichzeitig aufgenommen werden, haben ihre aversiven Reaktionen im Allgemeinen eine geringe Korrelation von Versuch zu Versuch (Joshua et al., 2009b), was darauf hindeutet, dass aversive Antworten nicht über die gesamte DA-Bevölkerung hinweg koordiniert werden.

 

Figure 3

Diverse Dopaminneuronenreaktionen auf aversive Ereignisse

Um die Funktionen dieser vielfältigen aversiven Antworten zu verstehen, müssen wir wissen, wie sie mit Belohnungsreaktionen kombiniert werden, um ein bedeutungsvolles Motivationssignal zu erzeugen. Eine kürzlich durchgeführte Studie untersuchte dieses Thema und zeigte, dass DA-Neuronen in mehrere Populationen mit unterschiedlichen Motivationssignalen unterteilt sind (Matsumoto und Hikosaka, 2009b). Eine Bevölkerung ist durch belohnende Ereignisse aufgeregt und durch aversive Ereignisse gehemmt, als ob sie kodieren würde Motivationswert (Abbildung 4A). Eine zweite Bevölkerung wird durch belohnende und aversive Ereignisse auf ähnliche Weise angeregt, als ob sie kodieren würden Motivationsgewandtheit (Abbildung 4B). In beiden Bevölkerungsgruppen reagieren viele Neuronen auf belohnende und aversive Vorhersagen: Sie reagieren, wenn belohnende Ereignisse lohnender sind als vorhergesagt werden und wenn aversive Ereignisse eher abwegig sind als vorhergesagt (Matsumoto und Hikosaka, 2009b). Dies zeigt, dass ihre aversiven Reaktionen tatsächlich durch Vorhersagen über aversive Ereignisse verursacht werden, die die Möglichkeit ausschließen, dass sie durch unspezifische Faktoren wie rohen sensorischen Input oder generalisierte Assoziationen mit Belohnung (Schultz, 2010). Diese beiden Populationen unterscheiden sich jedoch in der detaillierten Natur ihres Vorhersagecodes. DA-Neuronen kodieren eine Motivationswertkodierung für ein genaues Vorhersagefehlersignal, einschließlich einer starken Hemmung durch das Auslassen von Belohnungen und einer milden Anregung durch das Auslassen aversiver Ereignisse (Abbildung 4A, Recht). Im Gegensatz dazu reagieren motivational salience kodierende DA-Neuronen, wenn auffallende Ereignisse vorliegen, nicht aber, wenn sie nicht vorhanden sind (Abbildung 4Brechts), im Einklang mit den theoretischen Begriffen der Erregung (Lang und Davis, 2006) [FOOTNOTE2]. Der Nachweis für diese beiden DA-Neuronenpopulationen wurde selbst dann beobachtet, wenn die Nervenaktivität gemittelt untersucht wurde. So fanden Studien, die auf verschiedene Bereiche des DA-Systems abzielten, phasische DA-Signale, die aversive Ereignisse mit Hemmung kodieren (Roitman et al., 2008), ähnlich der Kodierung des Motivationswerts oder mit Erregung (Joshua et al., 2008; Anstrom et al., 2009), ähnlich der Kodierung von motivationaler Salienz.

 

Figure 4

Deutliche Dopamin-Neuronen-Populationen, die Motivationswert und Salienz kodieren

Diese jüngsten Erkenntnisse scheinen einem frühen Bericht zu widersprechen, dass DA-Neuronen vorrangig auf Belohnungen und nicht auf aversive Signale reagieren (Mirenowicz und Schultz, 1996). Bei genauer Betrachtung stimmt jedoch auch diese Studie vollständig mit dem DA-Wert und der Salience-Kodierung überein. In dieser Studie führten Belohnungshinweise zu Belohnungsergebnissen mit hoher Wahrscheinlichkeit (> 90%), während aversive Hinweise zu aversiven Ergebnissen mit geringer Wahrscheinlichkeit (<10%) führten. Daher würden DA-Neuronen, die Wert und Salience codieren, wenig auf die aversiven Hinweise reagieren und ihr geringes Maß an Aversivität genau codieren.

Funktionale Rolle von Motivationswert und Signifikanz

Zusammenfassend zeigen die obigen Befunde, dass DA-Neuronen in mehrere Populationen unterteilt sind, die für verschiedene Rollen bei der Motivationskontrolle geeignet sind. DA-Neuronen, die die Motivationswerte kodieren, passen gut zu aktuellen Theorien der Dopamin-Neuronen und der Belohnungsverarbeitung (Schultz et al., 1997; Berridge und Robinson, 1998; Weise, 2004). Diese Neuronen codieren ein vollständiges Vorhersagefehlersignal und codieren belohnende und aversive Ereignisse in entgegengesetzte Richtungen. Somit liefern diese Neuronen ein geeignetes instruktives Signal für die Suche, Bewertung und das Lernen von Werten (Figure 5). Wenn ein Stimulus dazu führt, dass wertkodierende DA-Neuronen angeregt werden, sollten wir uns diesem nähern, ihm einen hohen Wert zuweisen und Aktionen lernen, um ihn in Zukunft erneut zu suchen. Wenn ein Stimulus dazu führt, dass wertcodierende DA-Neuronen gehemmt werden, sollten wir ihn vermeiden, ihm einen niedrigen Wert zuweisen und Maßnahmen lernen, um ihn in Zukunft wieder zu vermeiden.

 

Figure 5

Hypothetische Funktionen von Motivationswert, Aufsehen und Warnsignalen

Im Gegensatz dazu passen motivational salience, die DA-Neuronen kodieren, gut mit Theorien von Dopamin-Neuronen und der Verarbeitung von auffälligen Ereignissen (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Kapur, 2003). Diese Neuronen werden sowohl durch belohnende als auch durch aversive Ereignisse angeregt und reagieren schwächer auf neutrale Ereignisse. Sie liefern ein geeignetes instruktives Signal für neuronale Schaltkreise, um zu lernen, Situationen von großer Bedeutung zu erkennen, vorherzusagen und darauf zu reagieren. Hier werden drei solcher Gehirnsysteme betrachtet (Figure 5). Erstens werden neuronale Schaltungen für visuelle und Aufmerksamkeitsorientierung kalibriert, um Informationen zu allen Arten von Ereignissen zu finden, sowohl lohnend als auch aversiv. Beispielsweise ziehen sowohl belohnende als auch aversive Signale Orientierungsreaktionen effektiver an als neutrale Signale (Lang und Davis, 2006; Matsumoto und Hikosaka, 2009b; Austin und Duka, 2010). Zweitens greifen sowohl lohnende als auch aversive Situationen neuronale Systeme für die kognitive Kontrolle und die Auswahl von Aktionen an. Wir müssen das Arbeitsgedächtnis einbeziehen, um Informationen im Auge zu behalten, die Konfliktlösung, um über eine Vorgehensweise zu entscheiden, und das Langzeitgedächtnis, um sich an das resultierende Ergebnis zu erinnern (Bradley et al., 1992; Botvinick et al., 2001; Savine et al., 2010). Drittens erfordern sowohl belohnende als auch aversive Situationen eine Steigerung der allgemeinen Motivation, Handlungen anzuregen und sicherzustellen, dass sie ordnungsgemäß ausgeführt werden. DA-Neuronen sind in der Tat von entscheidender Bedeutung, um die Bemühungen um die Erreichung hochwertiger Ziele zu motivieren und das Wissen über die Aufgabenanforderungen in zuverlässige motorische Leistung umzusetzen (Berridge und Robinson, 1998; Mazzoni et al., 2007; Niv et al., 2007; Salamone et al., 2007).

Dopaminanregung durch Alarmierung sensorischer Hinweise

Zusätzlich zu ihren Signalen, die den Motivationswert und die Geduld kodieren, hat die Mehrheit der DA-Neuronen Burst-Reaktionen auf verschiedene Arten von Sinnesereignissen, die nicht direkt mit belohnenden oder aversiven Erfahrungen verbunden sind. Es wurde theoretisch angenommen, dass diese Reaktionen von einer Reihe neuronaler und psychologischer Faktoren abhängen, darunter direkter sensorischer Input, Überraschung, Neuheit, Erregung, Aufmerksamkeit, Aufklärung, Generalisierung und Pseudokonditionierung (Schultz, 1998; Redgrave et al., 1999; Horvitz, 2000; Lisman und Gnade, 2005; Redgrave und Gurney, 2006; Joshua et al., 2009a; Schultz, 2010).

Hier werden wir versuchen, diese Ideen zu synthetisieren und diese DA-Antworten in Form eines einzigen zugrundeliegenden Signals zu berücksichtigen Alarmsignal (Figure 5). Der Begriff "Alarmierung" wurde von Schultz verwendet (Schultz, 1998) als allgemeiner Begriff für Ereignisse, die Aufmerksamkeit erregen. Hier werden wir es in einem spezifischeren Sinn verwenden. Mit einem Alarmereignis meinen wir einen unerwarteten sensorischen Hinweis, der durch eine schnelle Einschätzung der potenziellen Bedeutung Aufmerksamkeit erregt und dabei einfache Merkmale wie Standort, Größe und sensorische Modalität verwendet. Solche Alarmierungsereignisse lösen häufig sofortige Verhaltensreaktionen aus, um sie zu untersuchen und ihre genaue Bedeutung zu bestimmen. DA-Warnsignale treten daher typischerweise bei kurzen Latenzen auf, basieren auf den groben Merkmalen eines Stimulus und sind am besten mit unmittelbaren Reaktionen wie Orientierungsreaktionen (Schultz und Romo, 1990; Joshua et al., 2009a; Schultz, 2010). Dies steht im Gegensatz zu anderen Motivationssignalen in DA-Neuronen, die typischerweise bei längeren Latenzzeiten auftreten, die genaue Identität des Stimulus berücksichtigen und am besten mit den betrachteten Verhaltenshandlungen korrelieren, z. B. Entscheidungen zum Angehen oder Vermeiden (Schultz und Romo, 1990; Joshua et al., 2009a; Schultz, 2010).

DA-Alarmierungsreaktionen können durch überraschende sensorische Ereignisse ausgelöst werden, z. B. durch unerwartete Lichtblitze und hörbare Klicks, die in 60 – 90% der DA-Neuronen im gesamten SNc und VTA (Strecker und Jacobs, 1985; Horvitz et al., 1997; Horvitz, 2000) (Abbildung 6A). Diese Alarmierungsreaktionen scheinen den Grad der Überraschung des Stimulus zu reflektieren und die Aufmerksamkeit zu erregen; sie werden reduziert, wenn ein Stimulus zu vorhersagbaren Zeitpunkten auftritt, wenn die Aufmerksamkeit anderswo eingehalten wird oder während des Schlafes (Schultz, 1998; Takikawa et al., 2004; Strecker und Jacobs, 1985; Steinfels et al., 1983). Ein unerwartetes Klicken verursacht beispielsweise einen hervorgehobenen DA-Ausbruch, wenn sich eine Katze in einem passiven Zustand des ruhigen Aufwachens befindet, hat jedoch keine Wirkung, wenn die Katze an aufmerksamkeitsintensiven Aktivitäten wie dem Jagen einer Ratte, Füttern, Putzen oder Streicheln beteiligt ist vom Experimentator und so weiter (Strecker und Jacobs, 1985) (Abbildung 6A). Ähnlich werden DA-Burst-Antworten durch sensorische Ereignisse ausgelöst, die physisch schwach sind, aber aufgrund ihrer Neuheit alarmieren (Ljungberg et al., 1992; Schultz, 1998). Diese Reaktionen gewöhnen sich, wenn der neuartige Stimulus parallel zur Gewöhnung der Orientierungsreaktionen bekannt wird (Abbildung 6B). Im Einklang mit diesen Ergebnissen rufen überraschende und neuartige Ereignisse eine DA-Freisetzung in nachgelagerten Strukturen hervor (Lisman und Gnade, 2005) und DA-bezogene Gehirnschaltungen auf eine Weise aktivieren, die die Verarbeitung von Belohnungen (Zink et al., 2003; Davidson et al., 2004; Duzel et al., 2010).

 

Figure 6

Exzitatorische Reaktionen von Dopamin-Neuronen auf Alarmereignisse

DA-Alarmierungsreaktionen werden auch durch unerwartete sensorische Hinweise ausgelöst, die das Potenzial haben, neue Informationen zu motivational hervorstechenden Ereignissen bereitzustellen. Wie für ein Signal mit kurzer Latenzzeit zu erwarten, sind diese Antworten eher nicht selektiv: Sie werden durch jeden Reiz ausgelöst, der lediglich dazu führt ähnelt ein motivational hervorstechendes Stichwort, auch wenn die Ähnlichkeit sehr gering ist (ein Phänomen, das als Generalisierung bezeichnet wird) (Schultz, 1998). Infolgedessen reagieren DA-Neuronen auf einen Reiz oft mit einer Mischung aus zwei Signalen: Ein schnelles Alarmsignal, das die Tatsache codiert, dass der Reiz vorliegt möglicherweise wichtig, und ein zweites Signal, das sein präsentieren belohnende oder aversive Bedeutung (Schultz und Romo, 1990; Waelti et al., 2001; Tobler et al., 2003; Day et al., 2007; Kobayashi und Schultz, 2008; Fiorillo et al., 2008; Nomoto et al., 2010) (sehen (Kakade und Dayan, 2002; Joshua et al., 2009a; Schultz, 2010) zur Durchsicht). Ein Beispiel ist in einer Reihe von motivationalen Erkenntnissen zu sehen, die DA-Neuronen kodieren, die in gezeigt sind Abbildung 6C (Bromberg-Martin et al., 2010a). Diese Neuronen wurden durch belohnende und aversive Signale stimuliert, aber auch durch neutrale Signale. Das neutrale Cue war nie mit motivationalen Ergebnissen gepaart worden, hatte aber eine (sehr leichte) körperliche Ähnlichkeit mit den Belohnungen und aversiven Cues.

Diese Alarmierungsreaktionen scheinen eng mit der Fähigkeit eines sensorischen Hinweises verbunden zu sein, Orientierungsreaktionen auszulösen, um ihn weiter zu untersuchen und seine Bedeutung zu entdecken. Dies ist in drei bemerkenswerten Eigenschaften zu sehen. Erstens: Alarmierungsreaktionen treten nur bei sensorischen Hinweisen auf, die zur Bestimmung ihrer Bedeutung untersucht werden müssen, nicht für intrinsisch belohnende oder aversive Ereignisse wie die Abgabe von Saft oder Airpuffs (Schultz, 2010). Zweitens treten Alarmierungsreaktionen nur dann auf, wenn ein Cue möglicherweise wichtig ist und Orientierungsreaktionen auslösen kann, nicht wenn der Cue für die anstehende Aufgabe irrelevant ist und keine Orientierungsreaktionen auslöst (Schultz und Romo, 1990). Drittens werden Warnmeldungen in Situationen verbessert, in denen die Aufmerksamkeit eine abrupte Aufmerksamkeitsverschiebung auslösen würde - wenn sie zu einem unerwarteten Zeitpunkt oder außerhalb des Blickpunkts erscheinen (Bromberg-Martin et al., 2010a). Wenn Motivationshinweise mit einem unvorhersehbaren Timing präsentiert werden, lösen sie sofort Orientierungsreaktionen und eine generalisierte DA-Alarmierungsreaktion aus - Anregung durch alle Signale einschließlich neutraler Signale (Abbildung 6Cschwarz). Wenn der zeitliche Ablauf jedoch vorhersehbar ist, z. B. durch Vorwarnung der Probanden mit einem „Teststart-Cue“, der eine Sekunde vor dem Auftreten der Cues angezeigt wird, lösen die Cues keine Alarmmeldung mehr aus (Abbildung 6Dgrau). Stattdessen verschiebt sich die Alarmierungsantwort auf den Startpunkt der Testphase - das erste Ereignis der Studie, das ein unvorhersehbares Timing aufweist und Orientierungsreaktionen hervorruft (Abbildung 6Dschwarz).

Was ist der zugrunde liegende Mechanismus, der DA-Neuron-Alarmsignale erzeugt? Eine Hypothese ist, dass Alarmantworten einfach konventionelle Belohnungsvorhersagefehlersignale sind, die bei kurzen Latenzzeiten auftreten und den erwarteten Belohnungswert eines Stimulus codieren, bevor er vollständig diskriminiert wurde (Kakade und Dayan, 2002). Neuere Beweise deuten jedoch darauf hin, dass Warnsignale durch einen bestimmten Mechanismus von herkömmlichen DA-Belohnungssignalen erzeugt werden können (Satoh et al., 2003; Bayer und Glimcher, 2005; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c; Nomoto et al., 2010). Am bemerkenswertesten ist, dass die Alarmierungsreaktion auf das Teststart-Startereignis nicht auf das Belohnen von Aufgaben beschränkt ist. es kann bei einer aversiven Aufgabe, bei der keine Belohnungen geliefert werden, gleich stark sein (Abbildung 6C, Dunten, "aversive Aufgabe"). Dies tritt auch dann auf, wenn herkömmliche DA-Belohnungssignale in denselben Neuronen korrekt signalisieren, dass die Belohnungsaufgabe einen viel höheren erwarteten Wert hat als die Aversivaufgabe (Bromberg-Martin et al., 2010a). Diese Alarmsignale sind nicht nur eine Form der Wertkodierung oder eine Form der Salienzkodierung, da sie in der Mehrzahl sowohl des Motivationswerts als auch der Salenzkodierung von DA-Neuronen (Bromberg-Martin et al., 2010a). Eine zweite Dissoziation zeigt sich in der Art und Weise, wie DA-Neuronen zukünftige Belohnungen basierend auf dem Gedächtnis früherer Belohnungsergebnisse vorhersagen (Satoh et al., 2003; Bayer und Glimcher, 2005). Während herkömmliche DA-Belohnungssignale durch eine lange Zeitskala-Gedächtnisspur gesteuert werden, die für eine genaue Belohnungsprognose optimiert ist, werden Alarmreaktionen auf den Starttest der Studie durch eine separate Gedächtnisspur gesteuert, die derjenigen bei direkten Orientierungsreaktionen ähnelt (Bromberg-Martin et al., 2010c). Eine dritte Dissoziation zeigt sich in der Art und Weise, wie diese Signale über die DA-Neuronenpopulation verteilt werden. Während konventionelle DA-Belohnungssignale im ventromedialen SNc am stärksten sind, werden Alarmmeldungen auf den Teststart-Cue (und andere unerwartet zeitgesteuerte Cues) im gesamten SNc übertragen (Nomoto et al., 2010).

Im Gegensatz zu diesen Dissoziationen von herkömmlichen Belohnungssignalen korrelieren DA-Alarmsignale mit der Orientierungsgeschwindigkeit und nähern sich den Reaktionen auf das Alarmereignis (Satoh et al., 2003; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). Dies legt nahe, dass Alarmsignale durch einen neuronalen Prozess generiert werden, der schnelle Reaktionen zur Untersuchung potenziell wichtiger Ereignisse anregt. Leider ist derzeit relativ wenig darüber bekannt, welche Ereignisse dieser Prozess als "wichtig" behandelt. Ist zum Beispiel die Reaktion auf Warnungen gleich sensibel für belohnende und aversive Ereignisse? Es ist bekannt, dass Warnungsreaktionen für Reize auftreten, die Belohnungsreizen ähneln oder sowohl Belohnungs- als auch Aversivreizen ähneln (z. B. durch Verwendung derselben sensorischen Modalität). Es ist jedoch noch nicht bekannt, ob Alarmierungsreaktionen für Reize auftreten, die ausschließlich aversiven Hinweisen ähneln.

Funktionale Funktion von Dopamin-Warnsignalen

Wie wir gesehen haben, werden Alarmsignale wahrscheinlich durch einen bestimmten Mechanismus aus Motivationswert und Salience-Signalen erzeugt. Alarmsignale werden jedoch sowohl an den Motivationswert als auch an die Salience-Kodierung von DA-Neuronen gesendet und regeln daher wahrscheinlich die Gehirnverarbeitung und das Verhalten auf ähnliche Weise wie die Wert- und Salience-Signale (Figure 5).

Alarmsignale, die an motivational saliencecodierende DA-Neuronen gesendet werden, würden die Orientierung der Aufmerksamkeit auf den Alarmierungsreiz unterstützen, die Nutzung kognitiver Ressourcen zur Ermittlung der Bedeutung und die Festlegung eines Aktionsplans unterstützen und die Motivation erhöhen, um diesen Plan effizient umzusetzen (Figure 5). Diese Auswirkungen können durch unmittelbare Auswirkungen auf die neuronale Verarbeitung oder durch verstärkte Aktionen auftreten, die zur Erkennung des Alarmereignisses führen. Diese funktionale Rolle passt gut zusammen mit der Korrelation zwischen DA-Alarmierungsreaktionen und schnellen Verhaltensreaktionen auf den Alarmierungsreiz und mit Theorien, dass DA-Neuronenreaktionen bei kurzer Latenzzeit in die Ausrichtung der Aufmerksamkeit, Erregung, Verbesserung der kognitiven Verarbeitung und unmittelbare Verhaltensreaktionen involviert sind (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Lisman und Gnade, 2005; Redgrave und Gurney, 2006; Joshua et al., 2009a).

Das Vorhandensein von Alarmsignalen in Motivationswertkodierung von DA-Neuronen ist schwieriger zu erklären. Diese Neuronen übertragen motivationale Wertsignale, die ideal für die Suche, Bewertung von Ergebnissen und das Lernen von Werten sind. Sie können jedoch auch durch die Benachrichtigung über Ereignisse wie unerwartete Klickgeräusche und den Beginn aversiver Versuche erregt werden. Nach unserem hypothetischen Weg (Figure 5), würden Alarmierungsereignisse einen positiven Wert erhalten und ähnlich wie Belohnungen gesucht werden! Auf den ersten Blick überraschend, besteht Grund zu der Annahme, dass Alarmierungsereignisse als positive Ziele betrachtet werden können. Warnsignale geben die erste Warnung vor dem Eintritt eines möglicherweise wichtigen Ereignisses ab und bieten somit die erste Gelegenheit, Maßnahmen zur Steuerung dieses Ereignisses zu ergreifen. Wenn Warnhinweise verfügbar sind, können motivational hervorstechende Ereignisse erkannt, vorhergesagt und im Voraus vorbereitet werden. Fehlen Warnhinweise, treten motivational hervorstechende Ereignisse immer als unerwartete Überraschung auf. In der Tat äußern Menschen und Tiere häufig eine Vorliebe für Umgebungen, in denen belohnende, aversive und sogar motivierend neutrale sensorische Ereignisse im Voraus beobachtet und vorhergesagt werden können (Badia et al., 1979; Herry et al., 2007; Daly, 1992; Chew und Ho, 1994) und viele DA-Neuronen signalisieren die Verhaltenspräferenz, belohnungsvorhersagende Informationen anzuzeigen (Bromberg-Martin und Hikosaka, 2009). DA-Warnsignale können diese Präferenzen unterstützen, indem sie Umgebungen, in denen potenziell wichtige sensorische Hinweise vorhergesehen werden können, einen positiven Wert zuweisen.

Anatomische Orte von Wert und Bedeutung, die Neuronen kodieren

In einer kürzlich durchgeführten Studie wurden die Standorte von DA-Belohnungen und aversiven Signalen im lateralen Mittelhirn einschließlich des SNc und des lateralen Teils des VTA (Matsumoto und Hikosaka, 2009b). Motivationswert und Motivationssignale wurden in einem anatomischen Gradienten über diese Region verteilt. Motivationswertsignale wurden häufiger in Neuronen in der ventromedialen SNc und lateralen VTA gefunden, während motivationale Salience-Signale häufiger in Neuronen in der dorsolateralen SNc gefunden wurden (Abbildung 7B). Dies steht im Einklang mit Berichten, dass die DA-Belohnungswertkodierung im ventromedialen SNc am stärksten ist (Nomoto et al., 2010aversive Erregungen neigen dazu, lateral stärker zu sein (Mirenowicz und Schultz, 1996). Andere Studien haben das medialere Mittelhirn untersucht. Diese Studien fanden eine Mischung aus erregenden und hemmenden aversiven Reaktionen ohne signifikanten Unterschied in ihren Positionen, jedoch mit dem Trend, dass aversive Anregungen eher ventral lokalisiert werden (Guarraci und Kapp, 1999; Brischouxet al., 2009) (Abbildung 7C).

Ziele von Motivationssignalen

Gemäß unserer Hypothese sollten motivationale Werte, die DA-Neuronen kodieren, auf Gehirnregionen abzielen, die an Annäherungs- und Vermeidungsmaßnahmen, an der Bewertung von Ergebnissen und am Lernen von Wert (Figure 5). Tatsächlich projizieren die ventromedialen SNc und VTA auf den ventromedialen präfrontalen Kortex (Williams und Goldman-Rakic, 1998) einschließlich des orbitofrontalen Kortex (OFC) (Porrino und Goldman-Rakic, 1982) (Abbildung 7A). Die OFC wurde konsequent in die Wertekodierung in Studien zur funktionalen Bildgebung einbezogen (Anderson et al., 2003; Small et al., 2003; Jensenet al., 2007; Litt et al., 2010) und Einzelneuronenaufnahmen (Morrison und Salzman, 2009; Roesch und Olson, 2004). Es wird angenommen, dass der OFC Auswahlmöglichkeiten bewertet (Padoa-Schioppa, 2007; Kable und Glimcher, 2009), Ergebniserwartungen kodieren (Schoenbaum et al., 2009) und aktualisieren diese Erwartungen während des Lernens (Waltonet al., 2010). Darüber hinaus ist das OFC daran beteiligt, aus Vorhersagefehlern für negative Belohnungen zu lernen (Takahashi et al. 2009), die am stärksten in wertkodierenden DA-Neuronen (Figure 4).

Darüber hinaus projizieren die medialen Teile des dopaminergen Mittelhirns das ventrale Striatum einschließlich der Schale des Nucleus accumbens (NAc-Schale) (Haberet al., 2000) (Abbildung 7A). Eine kürzlich durchgeführte Studie hat gezeigt, dass die NAc-Schale phasische DA-Signale empfängt, die den Motivationswert der Geschmacksergebnisse kodieren (Roitman et al., 2008). Diese Signale führen wahrscheinlich zum Lernen von Wert, da die direkte Infusion von DA-Medikamenten in die NAc-Schale stark verstärkt wird (Ikemoto, 2010) während Behandlungen, die den DA-Input in der Schale reduzieren, Aversionen verursachen können (Liu et al., 2008). Ein Nachteil ist, dass Studien der NAc-Shell-DA-Freisetzung über lange Zeiträume (Minuten) zu gemischten Ergebnissen geführt haben, von denen einige mit der Wertcodierung und andere mit der Salienzcodierung (z. B. (Bassareo et al., 2002; Ventura et al., 2007)). Dies legt nahe, dass Wertsignale auf bestimmte Positionen in der NAc-Shell beschränkt sein können. Insbesondere sind verschiedene Regionen der NAc-Schale darauf spezialisiert, appetitliches und aversives Verhalten zu kontrollieren (Reynolds und Berridge, 2002), die beide Eingaben von DA-Neuronen erfordern (Faureet al., 2008).

Schließlich senden DA-Neuronen im gesamten Ausmaß der SNc starke Projektionen an das dorsale Striatum (Haberet al., 2000), was darauf hindeutet, dass das dorsale Striatum DA-Signale (Motivationswert und Salience-Kodierung) empfangen kann (Abbildung 7A). DA-Neuronen mit einer Motivationswertkodierung würden ein ideales instruktives Signal für striatale Schaltkreise liefern, die an dem Lernen von Werten beteiligt sind, z. B. das Lernen von Stimulus-Antwort-Gewohnheiten (Faureet al., 2005; Yin und Knowlton, 2006; Balleine und O'Doherty, 2010). Wenn diese DA-Neuronen platzen, würden sie den direkten Weg einschlagen, um zu lernen, Belohnungsergebnisse zu erzielen. Wenn sie eine Pause einlegen, würden sie den indirekten Weg einschlagen, um zu lernen, aversive Ergebnisse zu vermeiden (Figure 2). Es gibt in der Tat Hinweise darauf, dass die striatalen Pfade genau dieser Arbeitsteilung folgen, um Belohnung und aversive Verarbeitung zu erhalten (Hikida et al., 2010). Es ist jedoch noch nicht bekannt, wie Neuronen in diesen Bahnen auf belohnende und aversive Ereignisse während des Verhaltens reagieren. Zumindest im dorsalen Striatum insgesamt reagiert eine Untergruppe von Neuronen auf bestimmte belohnende und aversive Ereignisse auf unterschiedliche Weise (Ravelet al., 2003; Yamada et al., 2004, 2007; Joshua et al., 2008).

Ziele von motivationalen Salience-Signalen

Nach unserer Hypothese sollte motivational salience, das DA-Neuronen codiert, auf Gehirnregionen projiziert werden, die an Orientierung, kognitiver Verarbeitung und allgemeiner Motivation beteiligt sind (Figure 5). In der Tat senden DA-Neuronen im dorsolateralen Mittelhirn Projektionen in den dorsalen und lateralen Frontalkortex (Williams und Goldman-Rakic, 1998) (Abbildung 7A), eine Region, die in kognitive Funktionen wie Aufmerksamkeitssuche, Arbeitsgedächtnis, kognitive Kontrolle und Entscheidungsfindung zwischen Motivationsergebnissen involviert ist (Williams und Castner, 2006; Lee und Seo, 2007; Weise, 2008; Kable und Glimcher, 2009; Wallis und Kennerley, 2010). Dorsolaterale präfrontale kognitive Funktionen werden durch das DA-Niveau streng reguliert (Robbins und Arnsten, 2009) und sind theoretisch auf eine phasische DA-Neuronenaktivierung angewiesen (Cohen et al., 2002; Lapish et al., 2007). Insbesondere reagiert eine Untergruppe von lateralen präfrontalen Neuronen sowohl auf belohnende als auch auf aversive visuelle Signale, und die große Mehrheit reagiert in die gleiche Richtung, ähnlich der Kodierung der motivationalen Salienz (Kobayashi et al., 2006). Darüber hinaus korreliert die Aktivität dieser Neuronen mit dem Erfolg des Verhaltens bei der Ausführung von Arbeitsgedächtnisaufgaben (Kobayashi et al., 2006). Obwohl dieser dorsolaterale DA → dorsolaterale frontale Kortexpfad für Primaten spezifisch zu sein scheint (Williams und Goldman-Rakic, 1998) kann ein funktionell ähnlicher Weg in anderen Arten existieren. Insbesondere werden viele der kognitiven Funktionen des dorsolateralen präfrontalen Kortex des Primaten durch den medialen präfrontalen Kortex des Nagetieres (Uylings et al., 2003), und es gibt Belege dafür, dass diese Region DA-motivierende Signalgebungssignale empfängt und das Verhalten bezüglichMantz et al., 1989; Di Chiara, 2002; Joseph et al., 2003; Ventura et al., 2007; Ventura et al., 2008).

In Anbetracht des Nachweises, dass der VTA sowohl salience- als auch value-kodierende Neuronen enthält, und dass wertcodierende Signale an die NAc-Shell gesendet werden, können salience-Signale an den NAc-Kern gesendet werden (Abbildung 7A). In der Tat ist der NAc-Kern (aber nicht die Hülle) von entscheidender Bedeutung, um die Motivation zur Überwindung der Reaktionskosten wie körperliche Anstrengung zu ermöglichen. zur Durchführung von Set-Shifting-Aufgaben, die kognitive Flexibilität erfordern; und dafür zu sorgen, dass Belohnungsmerkmale eine Steigerung der allgemeinen Motivation bewirken (Ghods-Sharifi und Floresco, 2010; Floresco et al., 2006; Hall et al., 2001; Kardinal, 2006). Im Einklang mit der Kodierung von motivationaler Salienz erhält der NAc-Kern während beider belohnenden Erfahrungen phasische DA-Ausbrüche (Day et al., 2007) und aversive Erfahrungen (Anstrom et al., 2009).

Schließlich können, wie oben diskutiert, einige Salience-kodierende DA-Neuronen auf das dorsale Striatum projizieren (Abbildung 7A). Während einige Regionen des dorsalen Striatum in Funktionen involviert sind, die mit den Aktionswerten des Lernens zusammenhängen, ist das dorsale Striatum auch in Funktionen involviert, die für alle hervorstechenden Ereignisse eingesetzt werden sollten, wie Orientierung, Aufmerksamkeit, Arbeitsgedächtnis und allgemeine Motivation (Hikosaka et al., 2000; Klingberg, 2010; Palmiter, 2008). In der Tat reagiert eine Untergruppe von dorsalen striatalen Neuronen stärker auf belohnende und aversive Ereignisse als auf neutrale Ereignisse (Ravelet al., 1999; Blazquez et al., 2002; Yamada et al., 2004, 2007), obwohl ihre kausale Rolle im motivierten Verhalten noch nicht bekannt ist.

Quellen von Motivationssignalen

Eine kürzlich durchgeführte Serie von Studien legt nahe, dass DA-Neuronen Motivationssignale von einem kleinen Kern im Epithalamus, der lateralen Habenula (LHb) (LHb) (Hikosaka, 2010) (Figure 8). Das LHb übt eine starke negative Kontrolle über DA-Neuronen aus: Die LHb-Stimulation hemmt DA-Neuronen bei kurzen Latenzzeiten (Christoph et al., 1986) und kann das Lernen entgegen der VTA-Stimulation regulieren (Shumake et al., 2010). In Übereinstimmung mit einem negativen Kontrollsignal haben viele LHb-Neuronen spiegelverkehrte phasische Antworten auf DA-Neuronen: LHb-Neuronen sind gehemmt durch positive Belohnungsvorhersagefehler und aufgeregt durch negative Belohnungsvorhersagefehler (Matsumoto und Hikosaka, 2007, 2009a; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). In einigen Fällen treten diese Signale mit kürzeren Latenzen im LHb auf, im Einklang mit der LHb → DA-Übertragung (Matsumoto und Hikosaka, 2007; Bromberg-Martin et al., 2010a).

 

Figure 8

Hypothetische Quellen für Motivationswert, Aufsehen und Alarmsignale

Das LHb ist in der Lage, DA-Neuronen im gesamten Mittelhirn zu kontrollieren, aber mehrere Beweise legen nahe, dass es eine bevorzugte Kontrolle über den Motivationswert ausübt, der DA-Neuronen codiert. Erstens kodieren LHb-Neuronen den Motivationswert auf eine Weise, die die Wertkodierung von DA-Neuronen eng widerspiegelt - sie codieren sowohl Vorhersagefehler für positive als auch negative Belohnungen und reagieren entgegengesetzt auf belohnende und aversive Ereignisse (Matsumoto und Hikosaka, 2009a; Bromberg-Martin et al., 2010a). Zweitens hat die LHb-Stimulation ihre stärksten Wirkungen auf DA-Neuronen, deren Eigenschaften mit der Wertkodierung übereinstimmen, einschließlich der Hemmung durch keine Belohnungsmerkmale und der anatomischen Lage im ventromedialen SNc (Matsumoto und Hikosaka, 2007, 2009b). Drittens beeinträchtigen Läsionen am LHb die Hemmung von DA-Neuronen auf aversive Ereignisse, was auf eine ursächliche Rolle des LHb bei der Erzeugung von DA-Wertsignalen schließen lässt (Gao et al., 1990).

Das LHb ist Teil eines ausgedehnteren neuronalen Pfads, durch den DA-Neuronen durch die Basalganglien gesteuert werden können (Figure 8). Das LHb empfängt Signale, die Belohnungsvorhersagefehlern ähneln, durch eine Projektion aus einer Population von Neuronen, die sich um die Grenze des Globus pallidus (GPb) befinden (Hong und Hikosaka, 2008). Sobald diese Signale den LHb erreichen, werden sie wahrscheinlich über einen disynaptischen Weg an DA-Neuronen gesendet, bei dem der LHb GABA-Neuronen im mittleren Gehirn erregt, die wiederum DA-Neuronen hemmen (Ji und Shepard, 2007; Omelchenko et al., 2009; Brinschwitz et al., 2010). Dies könnte durch LHb-Projektionen auf Interneurone in der VTA und auf einen benachbarten GABA-ergischen Kern, den rostromedialen tegmentalen Kern (RMTg) (Jhou et al., 2009b) (wird auch als „Schwanzschwanz des VTA“ bezeichnet (Kaufling et al., 2009)). Insbesondere haben RMTg-Neuronen ähnliche Antworteigenschaften wie LHb-Neuronen, kodieren den Motivationswert und haben eine starke inhibitorische Projektion auf das dopaminerge Mittelhirn (Jhou et al., 2009a). Somit kann der vollständige Basalganglienweg zum Senden von Motivwertsignalen an DA-Neuronen GPb → LHb → RMTg → DA sein (Hikosaka, 2010).

Eine wichtige Frage für die zukünftige Forschung ist, ob Motivationswertsignale ausschließlich über die LHb kanalisiert werden oder ob sie von mehreren Eingabepfaden getragen werden. DA-Hemmungen durch aversive Fußschocks werden insbesondere durch die Aktivität im Parabachienkern von Mesopontin (PBN) kontrolliert (Coizet et al., 2010) (Figure 8). Dieser Kern enthält Neuronen, die direkte Eingaben vom Rückenmark erhalten, die schädliche Empfindungen kodieren, und könnten DA-Neuronen durch exzitatorische Projektionen auf die RMTg hemmen (Coizet et al., 2010; Gauriau und Bernard, 2002). Dies legt nahe, dass der LHb DA-Neuronen motivationale Wertsignale für belohnende und aversive Signale und Ergebnisse sendet, während der PBN eine Komponente des Wertsignals bereitstellt, die speziell mit aversiven Ergebnissen zusammenhängt.

Quellen motivationaler Signalgebungssignale

Über die Quelle motivationaler Salience-Signale in DA-Neuronen ist weniger bekannt. Ein interessanter Kandidat ist der zentrale Kern der Amygdala (CeA), der konsequent an Orientierung, Aufmerksamkeit und allgemeinen Motivationsreaktionen sowohl bei belohnenden als auch bei aversiven Ereignissen beteiligt war (Holland und Gallagher, 1999; Baxter und Murray, 2002; Merali et al., 2003; Balleine und Killcross, 2006) (Figure 8). Die CeA und andere Amygdala-Kerne enthalten viele Neuronen, deren Signale mit motivationaler Salienz übereinstimmen: Sie signalisieren belohnende und aversive Ereignisse in dieselbe Richtung, werden verstärkt, wenn Ereignisse unerwartet auftreten, und mit Verhaltensmessungen der Erregung korreliert (Nishijo et al., 1988; Belova et al., 2007; Shabel und Janak, 2009). Diese Signale können an DA-Neuronen gesendet werden, da der CeA absteigende Projektionen zum Hirnstamm mit lohnenden und aversiven Informationen enthält (Lee et al., 2005; Pascoe und Kapp, 1985) und die CeA ist für die Veröffentlichung von DA bei belohnungsbezogenen Ereignissen erforderlich (Phillips et al., 2003a). Darüber hinaus beteiligt sich die CeA mit DA-Neuronen an Wegen, die mit unseren vorgeschlagenen anatomischen und funktionellen Netzwerken für motivierende Einsichten übereinstimmen. Ein Weg, der das CeA-, SNc- und das dorsale Striatum umfasst, ist für die erlernte Orientierung an Nahrungsmitteln (Han et al., 1997; Lee et al., 2005; El-Amamy und Holland, 2007). In Übereinstimmung mit unserer Aufteilung von Salience vs. Value-Signalen ist dieser Weg erforderlich, um zu lernen, sich an den Nahrungsmitteln zu orientieren,Han et al., 1997). Ein zweiter Weg, einschließlich des CeA-, SNc-, VTA- und NAc-Kerns, ist für Belohnungsmerkmale notwendig, um die allgemeine Motivation für die Durchführung von belohnungssuchenden Aktionen zu erhöhen (Hall et al., 2001; Corbit und Balleine, 2005; El-Amamy und Holland, 2007).

Zusätzlich zum CeA könnten DA-Neuronen motivationale Salience-Signale von anderen Quellen empfangen, beispielsweise von salzkodierenden Neuronen im basalen Vorderhirn (Lin und Nicolelis, 2008; Richardson und DeLong, 1991) und Neuronen im PBN (Coizet et al., 2010), obwohl diese Wege noch untersucht werden müssen.

Quellen für Alarmsignale

Es gibt mehrere gute Kandidaten, um DA-Neuronen mit Alarmsignalen zu versorgen. Der attraktivste Kandidat ist möglicherweise der übergeordnete Colliculus (SC), ein Kern des Mittelhirns, der sensorische Eingaben mit kurzer Latenzzeit aus mehreren sensorischen Modalitäten erhält und Orientierungsreaktionen und Aufmerksamkeit steuert (Redgrave und Gurney, 2006) (Figure 8). Der SC hat eine direkte Projektion auf SNc und VTA (May et al., 2009; Comoli et al., 2003). Bei anästhesierten Tieren ist der SC ein lebenswichtiger Kanal für visuelle Signale mit kurzer Latenzzeit, um DA-Neuronen zu erreichen und die DA-Freisetzung in nachgelagerten Strukturen auszulösen (Comoli et al., 2003; Dommett et al., 2005). Der SC-DA-Weg eignet sich am besten für die Übermittlung von Alarmsignalen anstelle von Belohnungs- und Abneigungssignalen, da SC-Neuronen nur eine geringe Reaktion auf die Belohnungsabgabe haben und nur einen geringen Einfluss auf die aversiven Reaktionen von DA haben (Coizet et al., 2006). Dies schlägt eine Abfolge von Ereignissen vor, bei denen SC-Neuronen (1) einen Stimulus detektieren, (2) ihn als möglicherweise wichtig auswählen, (3) eine Orientierungsreaktion auslösen, um den Stimulus zu untersuchen, und (4) gleichzeitig eine DA-Alarmantwort auslösen ein Stoß von DA in nachgelagerten Strukturen (Redgrave und Gurney, 2006).

Ein zweiter Kandidat für das Senden von Alarmsignalen an DA-Neuronen ist das LHb (Figure 8). Bemerkenswerterweise hemmt der unerwartete Beginn eines Teststart-Cues viele LHb-Neuronen auf inverse Weise zum DA-Neuron-Alarmsignal, und diese Reaktion tritt bei einer kürzeren Latenz im LHb auf, die mit einer LHb → DA-Übertragungsrichtung übereinstimmt (Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). Wir haben auch anekdotisch beobachtet, dass LHb-Neuronen im Allgemeinen durch unerwartete visuelle Bilder und Töne invers zu DA-Anregungen (MM, ESB-M. Und OH, unveröffentlichte Beobachtungen) gehemmt werden, obwohl dies eine systematischere Untersuchung erwartet.

Ein dritter Kandidat für das Senden von Alarmsignalen an DA-Neuronen ist der Tübelnukleus (PPTg) von Pedunculopontin, der sowohl auf SNc als auch auf VTA projiziert und an der motivationalen Verarbeitung beteiligt ist (Winn, 2006) (Figure 8). Die PPTg ist wichtig für die Aktivierung von VTA-DA-Neuronenbursts (Grace et al., 2007) einschließlich Impulsantworten auf Belohnungshinweise (Pan und Hyland, 2005). In Übereinstimmung mit einem Warnsignal haben PPTg-Neuronen eine kurze Latenzzeit auf mehrere sensorische Modalitäten und sind während Orientierungsreaktionen aktiv (Winn, 2006). Es gibt Belege dafür, dass die sensorischen Reaktionen der PPTg durch den Belohnungswert und die Anforderungen an sofortiges Handeln beeinflusst werden (Dormont et al., 1998; Okada et al., 2009) (aber sehen Sie (Pan und Hyland, 2005)). Einige PPTg-Neuronen reagieren auch selbst auf belohnende oder aversive Ergebnisse (Dormont et al., 1998; Kobayashi et al., 2002; Ivlieva und Timofeeva, 2003b, a). Es ist wichtig zu prüfen, ob die Signale, die die PPTg an DA-Neuronen sendet, sich speziell auf die Alarmierung beziehen oder ob sie andere Motivationssignale wie Wert und Salienz enthalten.

Diese Arbeit wurde durch das intramurale Forschungsprogramm des National Eye Institute unterstützt. Wir danken auch Amy Arnsten für wertvolle Diskussionen.

Haftungsausschluss des Herausgebers: Dies ist eine PDF-Datei eines unbearbeiteten Manuskripts, das zur Veröffentlichung angenommen wurde. Als Service für unsere Kunden stellen wir diese frühe Version des Manuskripts zur Verfügung. Das Manuskript wird vor der Veröffentlichung in seiner endgültigen zitierfähigen Form einer Vervielfältigung, einem Satz und einer Überprüfung unterzogen. Bitte beachten Sie, dass während des Produktionsprozesses Fehler entdeckt werden können, die sich auf den Inhalt auswirken können, und alle rechtlichen Disclaimer, die für das Journal gelten.

^FOOTNOTE1By Motivationsgewandtheit wir meinen eine Menge, die sowohl für lohnende als auch für aversive Ereignisse hoch ist und für motivationsneutrale (nicht lohnende und nicht aversive) Ereignisse niedrig ist. Dies ist ähnlich der Definition von (Berridge und Robinson, 1998). Beachten Sie, dass sich motivational Salience von anderen in der Neurowissenschaft verwendeten Begriffen des Salience unterscheidet, wie beispielsweise Incentive Salience (die nur für wünschenswerte Ereignisse gilt) (Berridge und Robinson, 1998)) und Wahrnehmungsgewandtheit (was für motivationsneutrale Ereignisse wie bewegte Objekte und farbige Lichter gilt) (Bisley und Goldberg, 2010)).]

^FOOTNOTE2Es ist zu beachten, dass die motivationalen Gedankenkodierung von DA-Neuronensignalen sich von den klassischen Vorstellungen von „Assoziierbarkeit“ und „Veränderung der Assoziierbarkeit“ unterscheidet, die vorgeschlagen wurden, um die Geschwindigkeit des Verstärkungslernens zu regulieren (z. B. (Pearce und Hall, 1980)). Solche Theorien besagen, dass Tiere aus positiven und negativen Vorhersagefehlern lernen (und die Lernraten anpassen). Obwohl diese DA-Neuronen dazu beitragen können, aus positiven Vorhersagefehlern zu lernen, während sie eine starke Reaktion hervorrufen können (z. B. auf unerwartete Belohnungen), können sie nicht dazu beitragen, aus negativen Vorhersagefehlern zu lernen, während sie nur wenig oder gar keine Antwort haben ( zB zur unerwarteten Auslassung von Belohnungen) (Abb. 4B).

1. Ahlbrecht M, Weber M. Die Lösung der Unsicherheit: eine experimentelle Studie. Zeitschrift für institutionelle und theoretische Ökonomie. 1996; 152: 593 – 607.
2. Albin RL, Young AB, Penney JB. Die funktionelle Anatomie von Basalganglienerkrankungen. Trends in den Neurowissenschaften. 1989; 12: 366 – 375. [PubMed]
3. Anderson AK, Christoff K., Stappen I, Panitz D., Ghahremani DG, Glover G., Gabrieli JD, Sobel N. Dissoziierte neuronale Repräsentationen von Intensität und Valenz im menschlichen Geruchssinn. Nat Neurosci. 2003; 6: 196 – 202. [PubMed]
4. Anstrom KK, Miczek KA, Budygin EA. Verstärkte phasische Dopamin-Signalübertragung im mesolimbischen Weg während der sozialen Niederlage bei Ratten. Neurowissenschaften 2009; 161: 3 – 12. [PubMed]
5. Aragona BJ, Tag JJ, MF Roitman, Cleaveland NA, Wightman RM, Carelli RM. Regionale Spezifität bei der Entwicklung von phasischen Dopamin-Transmissionsmustern während des Erwerbs einer Queue-Kokain-Assoziation bei Ratten in Echtzeit. Die europäische Zeitschrift für Neurowissenschaften. 2009; 30: 1889 – 1899. [PMC freier Artikel] [PubMed]
6. Austin AJ, Duka T. Aufmerksamkeitsmechanismen für appetitanregende und aversive Ergebnisse bei der Konditionierung von Pavlov. Verhaltens-Hirnforschung. 2010; 213: 19 – 26. [PubMed]
7. Badia P, Harsh J, Abbott B. Wahl zwischen vorhersagbaren und unvorhersehbaren Schockbedingungen: Daten und Theorie. Psychologisches Bulletin. 1979; 86: 1107 – 1131.
8. Balleine BW, Killcross S. Parallele Incentive-Verarbeitung: eine integrierte Sicht auf die Amygdala-Funktion. Trends in den Neurowissenschaften. 2006; 29: 272 – 279. [PubMed]
9. Balleine BW, O'Doherty JP. Homologien von Menschen und Nagetieren bei der Aktionskontrolle: kortikostriatale Determinanten zielgerichteten und gewohnheitsmäßigen Handelns. Neuropsychopharmakologie. 2010; 35: 48–69. [PMC freier Artikel] [PubMed]
10. Barr GA, Moriceau S., Shionoya K., Muzny K., Gao P., Wang S., Sullivan RM. Übergänge beim Lernen von Kindern werden in der Amygdala durch Dopamin moduliert. Nat Neurosci. 2009; 12: 1364 – 1366. [PMC freier Artikel] [PubMed]
11. Bassareo V, De Luca, MA, Di Chiara G. Differentielle Expression motivationaler Stimulationseigenschaften durch Dopamin in der Nucleus Accumbens-Shell im Vergleich zu Core und Prefrontal Cortex. J Neurosci. 2002; 22: 4709 – 4719. [PubMed]
12. Bassareo V, Di Chiara G. Differenziale Empfindlichkeit der Dopaminübertragung auf Nahrungsmittelreize in Kern- / Kernkompartimenten. Neurowissenschaften 1999; 89: 637 – 641. [PubMed]
13. Baxter MG, Murray EA. Die Amygdala und Belohnung. Nat Rev Neurosci. 2002; 3: 563 – 573. [PubMed]
14. Bayer HM, Glimcher PW. Midbrain-Dopamin-Neuronen kodieren ein quantitatives Belohnungsvorhersage-Fehlersignal. Neuron. 2005; 47: 129 – 141. [PMC freier Artikel] [PubMed]
15. MA Belova, Paton JJ, Morrison SE, Salzman CD. Erwartung moduliert neuronale Reaktionen auf angenehme und unangenehme Reize in der Primaten-Amygdala. Neuron. 2007; 55: 970 – 984. [PMC freier Artikel] [PubMed]
16. Bentivoglio M, Morelli M. Die Organisation und Schaltung von mesencephalen dopaminergen Neuronen und die Verteilung von Dopaminrezeptoren im Gehirn. Handbuch der chemischen Neuroanatomie. 2005: 1 – 107.
17. Berridge KC, Robinson TE. Welche Rolle spielt Dopamin bei der Belohnung: hedonische Wirkung, Belohnungslernen oder Incentivierung? Gehirnforschung. 1998; 28: 309 – 369. [PubMed]
18. Besson C, Louilot A. Asymmetrische Beteiligung mesolimbischer dopaminerger Neuronen bei der affektiven Wahrnehmung. Neurowissenschaften 1995; 68: 963 – 968. [PubMed]
19. Birgner C., Nordenankar K., Lundblad M., Mendez JA, Smith C., Le Greves M., Galter D., Olson L., Fredriksson A., Trudeau LE, et al. VGLUT2 in Dopamin-Neuronen ist für die durch Psychostimulanz induzierte Verhaltensaktivierung erforderlich. Verfahren der National Academy of Sciences der Vereinigten Staaten von Amerika. 2010; 107: 389 – 394. [PMC freier Artikel] [PubMed]
20. Bisley JW, Goldberg ME. Aufmerksamkeit, Absicht und Priorität im Parietallappen. Jährliche Überprüfung der Neurowissenschaften. 2010; 33: 1 – 21. [PMC freier Artikel] [PubMed]
21. Bjorklund A, Dunnett SB. Dopamin-Neuronensysteme im Gehirn: ein Update. Trends in den Neurowissenschaften. 2007; 30: 194 – 202. [PubMed]
22. Blazquez PM, Fujii N, Kojima J, Graybiel AM. Eine Netzwerkdarstellung der Antwortwahrscheinlichkeit im Striatum. Neuron. 2002; 33: 973 – 982. [PubMed]
23. Botvinick MM, Braver TS, DM Barch, Carter CS, Cohen JD. Konfliktüberwachung und kognitive Kontrolle. Psychol Rev. 2001; 108: 624-652. [PubMed]
24. Bradley MM, Greenwald MK, Petry MC, Lang PJ. Bilder merken: Freude und Erregung in Erinnerung. J Exp Psychol Mem Cogn lernen. 1992; 18: 379 – 390. [PubMed]
25. Braun DA, Mehring C, Wolpert DM. Strukturieren lernen in Aktion. Verhaltens-Hirnforschung. 2010; 206: 157 – 165. [PMC freier Artikel] [PubMed]
26. Brinschwitz K, Dittgen A, Madai VI, Lommel R, Geisler S, Veh RW. Glutamatergische Axone aus der lateralen Habenula enden hauptsächlich an GABAergen Neuronen des ventralen Mittelhirns. Neurowissenschaften 2010; 168: 463 – 476. [PubMed]
27. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Phasische Erregung von Dopamin-Neuronen im ventralen VTA durch schädliche Reize. Verfahren der National Academy of Sciences der Vereinigten Staaten von Amerika. 2009; 106: 4894 – 4899. [PMC freier Artikel] [PubMed]
28. Bromberg-Martin ES, Hikosaka O. Midbrain-Dopaminneuronen signalisieren Präferenz für Vorabinformationen über bevorstehende Belohnungen. Neuron. 2009; 63: 119 – 126. [PMC freier Artikel] [PubMed]
29. Bromberg-Martin ES, Matsumoto M, Hikosaka O. Deutliche tonische und phasische antizipatorische Aktivität in lateralen Habenula- und Dopamin-Neuronen. Neuron. 2010a; 67: 144 – 155. [PMC freier Artikel] [PubMed]
30. Bromberg-Martin ES, Matsumoto M, Hong S., Hikosaka O. Ein Pallidus-Habenula-Dopamin-Weg signalisiert abgeleitete Reizwerte. J Neurophysiol. 2010b; 104: 1068 – 1076. [PMC freier Artikel] [PubMed]
31. Bromberg-Martin ES, Matsumoto M, Nakahara H, Hikosaka O. Mehrere Zeitskalen des Gedächtnisses in lateralen Habenula- und Dopamin-Neuronen. Neuron. 2010c; 67: 499 – 510. [PMC freier Artikel] [PubMed]
32. Brown MTC, Henny P., Bolam JP, Magill PJ. Aktivität neurochemisch heterogener dopaminerger Neuronen in der Substantia nigra während spontaner und angetriebener Veränderungen des Gehirnzustandes. J Neurosci. 2009; 29: 2915 – 2925. [PubMed]
33. Kardinal RN. Neuronale Systeme für verzögerte und probabilistische Verstärkung. Neural Netw. 2006; 19: 1277 – 1301. [PubMed]
34. Cheer JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM. Koordinierte Accumbal-Dopamin-Freisetzung und neuronale Aktivität führen zu zielgerichtetem Verhalten. Neuron. 2007; 54: 237 – 244. [PubMed]
35. Cheramy A, Kemel ML, Gauchy C, Desce JM, Galli T, Barbeito L, Glowinski J. Die Rolle exzitatorischer Aminosäuren bei der direkten und indirekten präsynaptischen Regulation der Dopaminfreisetzung aus den Nervenenden von nigrostriatalen Dopaminneuronen. Aminosäuren. 1991; 1: 351 – 363. [PubMed]
36. Chew SH, Ho JL. Hoffnung: eine empirische Untersuchung der Einstellung zum Zeitpunkt der Auflösung der Unsicherheit. Journal of Risk und Ungewissheit. 1994; 8: 267 – 288.
37. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sinnesreize verändern die Entladungsrate von Dopamin (DA) -Neuronen: Beweis für zwei funktionelle Typen von DA-Zellen in der Substantia nigra. Brain Res. 1980; 189: 544 – 549. [PubMed]
38. Christoph GR, Leonzio RJ, Wilcox KS. Die Stimulation der lateralen Habenula hemmt dopaminhaltige Neuronen in der Substantia nigra und im ventralen Tegmentbereich der Ratte. J Neurosci. 1986; 6: 613 – 619. [PubMed]
39. Chuhma N, Choi WY, Mingote S, Rayport S. Dopamin-Neuron-Glutamat-Cotransmission: frequenzabhängige Modulation in der mesoventromedialen Projektion. Neurowissenschaften 2009; 164: 1068 – 1083. [PMC freier Artikel] [PubMed]
40. Cohen JD, Braver TS, Brown JW. Computerperspektiven auf die Dopaminfunktion im präfrontalen Kortex. Aktuelle Meinung in der Neurobiologie. 2002; 12: 223 – 229. [PubMed]
41. Coizet V, Dommett EJ, Klop EM, Redgrave P, Overton PG. Der parabrachiale Kern ist eine wichtige Verbindung bei der Übertragung nozizeptiver Informationen mit kurzer Latenzzeit auf dopaminerge Neuronen des Mittelhirns. Neurowissenschaften 2010; 168: 263 – 272. [PMC freier Artikel] [PubMed]
42. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nozizeptive Reaktionen von dopaminergen Neuronen im Mittelhirn werden durch den Colliculus superior in der Ratte moduliert. Neurowissenschaften 2006; 139: 1479 – 1493. [PubMed]
43. Comoli E, Coizet V, Boyes J, Bolam JP, Canteras NS, Quirk RH, Overton PG, Redgrave P. Eine direkte Projektion vom Colliculus superior auf die Substantia nigra zur Erkennung auffälliger visueller Ereignisse. Nat Neurosci. 2003; 6: 974 – 980. [PubMed]
44. Corbit LH, Balleine BW. Doppelte Dissoziation basolateraler und zentraler Amygdala-Läsionen von den allgemeinen und ergebnisspezifischen Formen des pavlovian-instrumentellen Transfers. J Neurosci. 2005; 25: 962 – 970. [PubMed]
45. Dalley JW, Laane K, Theobald DE, HC Armstrong, Corlett PR, Chudasama Y, Robbins TW. Zeitlich begrenzte Modulation des appetitlichen Pawlowschen Gedächtnisses durch D1- und NMDA-Rezeptoren im Nucleus Accumbens. Verfahren der National Academy of Sciences der Vereinigten Staaten von Amerika. 2005; 102: 6189 – 6194. [PMC freier Artikel] [PubMed]
46. Daly HB. Die Präferenz für Unvorhersehbarkeit wird aufgehoben, wenn unvorhersehbare, nicht lohnenswerte Faktoren aversiv sind: Verfahren, Daten und Theorien der Appetitiv-Reaktionserfassung. In: Gormezano I, Wasserman EA, Redakteure. Lernen und Gedächtnis: Die verhaltensbezogenen und biologischen Substrate. LE Associates; 1992. S. 81 – 104.
47. Davidson MC, Horvitz JC, Tottenham N., Fossella JA, Watts R., Ulug AM, Casey BJ. Differentielle Caudat- und Cingulataktivierung nach unerwarteten, nicht lenkenden Reizen. NeuroImage. 2004; 23: 1039 – 1045. [PubMed]
48. Tag JJ, Roitman MF, Wightman RM, Carelli RM. Assoziatives Lernen vermittelt dynamische Verschiebungen bei der Dopamin-Signalgebung im Nucleus Accumbens. Nat Neurosci. 2007; 10: 1020 – 1028. [PubMed]
49. Dayan P, Niv Y. Verstärktes Lernen: das Gute, das Schlechte und das Hässliche. Aktuelle Meinung in der Neurobiologie. 2008; 18: 185 – 196. [PubMed]
50. Descarries L, Berube-Carrière N, Riad M, Bo GD, Mendez JA, Trudeau LE. Glutamat in Dopamin-Neuronen: synaptische versus diffuse Übertragung. Gehirnforschungsberichte. 2008; 58: 290 – 302. [PubMed]
51. Di Chiara G. Nucleus accumbens Hülle und Kerndopamin: unterschiedliche Rolle in Verhalten und Sucht. Verhaltens-Hirnforschung. 2002; 137: 75 – 114. [PubMed]
52. Dommett E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N., Mayhew JE, Overton PG, Redgrave P. Wie visuelle Stimuli dopaminerge Neuronen bei kurzer Latenzzeit aktivieren. Wissenschaft. 2005; 307: 1476 – 1479. [PubMed]
53. Dormont JF, Conde H, Farin D. Die Rolle des tegmentalen Kerns von Pedunculopontin im Verhältnis zur konditionierten motorischen Leistung in der Katze. I. Kontextabhängige und verstärkungsbezogene Aktivität einer Einheit. Experimentelle Hirnforschung. Experimentelle Hirnforschung. 1998; 121: 401 – 410. [PubMed]
54. Duzel E, Bunzeck N, Guitart-Masip M, Duzel S. Neue Motivation der Antizipation und Erkundung durch Dopamin (NOMAD): Implikationen für ein gesundes Altern. Neurowissenschaften und Biobehavioral Reviews. 2010; 34: 660 – 669. [PubMed]
55. El-Amamy H, Holland PC. Dissoziierbare Auswirkungen der Trennung des zentralen Kerns der Amygdala aus dem ventralen Tegmentbereich oder der Substantia nigra auf die erlernte Orientierung und Anreizmotivation Die europäische Zeitschrift für Neurowissenschaften. 2007; 25: 1557 – 1567. [PMC freier Artikel] [PubMed]
56. Ettenberg A. Prozess-Eigenschaften des Gegners von selbst verabreichtem Kokain. Neurowissenschaften und Biobehavioral Reviews. 2004; 27: 721 – 728. [PubMed]
57. JP Fadok, Dickerson TM, Palmiter RD. Dopamin ist notwendig für die Cue-abhängige Angstaufbereitung. J Neurosci. 2009; 29: 11089 – 11097. [PMC freier Artikel] [PubMed]
58. Fairhall AL, Lewen GD, Bialek W, Ruyter Van Steveninck RR. Effizienz und Mehrdeutigkeit in einem adaptiven neuronalen Code. Natur. 2001; 412: 787 – 792. [PubMed]
59. Faure A, Haberland U, Conde F, El Massioui N. Die Verletzung des nigrostriatalen Dopaminsystems unterbricht die Bildung von Reizreaktionen. J Neurosci. 2005; 25: 2771 – 2780. [PubMed]
60. Faure A, Reynolds SM, Richard JM, Berridge KC. Mesolimbic Dopamin in Begierde und Furcht: Ermöglicht die Motivation durch lokalisierte Glutamat-Störungen im Nucleus Accumbens. J Neurosci. 2008; 28: 7184 – 7192. [PMC freier Artikel] [PubMed]
61. Fiorillo CD, Newsome WT, Schultz W. Die zeitliche Präzision der Belohnung Vorhersage in Dopamin-Neuronen. Nat Neurosci. 2008; 11: 966-973. [PubMed]
62. Fiorillo CD, Tobler PN, Schultz W. Diskrete Codierung der Belohnung Wahrscheinlichkeit und Unsicherheit durch Dopamin-Neuronen. Wissenschaft. 2003; 299: 1898-1902. [PubMed]
63. Floresco SB, Ghods-Sharifi S, Vexelman C, Magyar O. Dissoziierbare Rollen für den Kern und die Hülle des Nucleus accumbens bei der Regulierung des Satzwechsels. J Neurosci. 2006; 26: 2449 – 2457. [PubMed]
64. Ford CP, Gantz SC, Phillips PE, Williams JT. Kontrolle von extrazellulärem Dopamin an Dendriten- und Axon-Terminals. J Neurosci. 2010; 30: 6975 – 6983. [PMC freier Artikel] [PubMed]
65. Frank MJ. Dynamische Dopaminmodulation in den Basalganglien: ein neurokomputierter Bericht über kognitive Defizite bei medikamentösem und nicht medikamentösem Parkinsonismus. Zeitschrift für kognitive Neurowissenschaften. 2005; 17: 51 – 72. [PubMed]
66. Frank MJ, Fossella JA. Neurogenetik und Pharmakologie von Lernen, Motivation und Kognition. Neuropsychopharmakologie. 2010 [PMC freier Artikel] [PubMed]
67. Frank MJ, Seeberger LC, O'Reilly RC. Durch Karotte oder durch Stock: kognitives Verstärkungslernen beim Parkinsonismus. Wissenschaft. 2004; 306: 1940-1943. [PubMed]
68. Gallistel CR, Gibbon J. Zeit, Rate und Konditionierung. Psychol Rev. 2000; 107: 289-344. [PubMed]
69. Gao DM, Jeaugey L, Pollak P, Benabid AL. Intensitätsabhängige nozizeptive Reaktionen von vermuteten dopaminergen Neuronen der Substantia nigra, pars compacta bei der Ratte und deren Modifikation durch laterale Habenula-Inputs. Brain Res. 1990; 529: 315 – 319. [PubMed]
70. Gauriau C, Bernard JF. Schmerzwege und parabrachiale Kreisläufe bei der Ratte. Experimentelle Physiologie. 2002; 87: 251 – 258. [PubMed]
71. Geisler S, Zahm DS. Afferente des ventralen tegmentalen Bereichs im Rattenanatomischen Substrat für integrative Funktionen. Das Journal der vergleichenden Neurologie. 2005; 490: 270 – 294. [PubMed]
72. Gerfen CR, Engber TM, Mahan LC, Susel Z, Chase TN, Monsma FJ, Jr., Sibley DR. D1 und D2 Dopaminrezeptor-regulierte Genexpression von striatonigralen und striatopallidalen Neuronen. Wissenschaft. 1990; 250: 1429 – 1432. [PubMed]
73. Ghods-Sharifi S, Floresco SB. Unterschiedliche Auswirkungen auf die Aufwandsreduzierung durch Inaktivierung des Kerns oder der Hülle des Kerns. Verhaltensneurowissenschaften. 2010; 124: 179 – 191. [PubMed]
74. Gonon FG. Nichtlineare Beziehung zwischen Impulsfluss und Dopamin, die von dopaminergen Neuronen im mittleren Gehirn von Ratten freigesetzt werden, wie durch In-vivo-Elektrochemie untersucht. Neurowissenschaften 1988; 24: 19 – 28. [PubMed]
75. Goto Y, Yang CR, Otani S. Funktionelle und dysfunktionale synaptische Plastizität im präfrontalen Kortex: Rollen bei psychiatrischen Erkrankungen. Biologische Psychiatrie 2010; 67: 199 – 207. [PubMed]
76. Grace AA. Phasische versus tonische Dopaminfreisetzung und Modulation der Dopaminsystem-Empfindlichkeit: Eine Hypothese für die Ätiologie der Schizophrenie. Neurowissenschaften 1991; 41: 1 – 24. [PubMed]
77. Grace AA, Bunney BS. Intrazelluläre und extrazelluläre Elektrophysiologie nigraler dopaminerger Neuronen - 1. Identifizierung und Charakterisierung. Neurowissenschaften. 1983; 10: 301–315. [PubMed]
78. Grace AA, Floresco SB, Goto Y, DJ der Lodge. Regulierung der Zündung von dopaminergen Neuronen und Kontrolle zielorientierter Verhaltensweisen. Trends in den Neurowissenschaften. 2007; 30: 220 – 227. [PubMed]
79. Grecksch G, Matties H. Die Rolle dopaminerger Mechanismen im Hippocampus der Ratte für die Konsolidierung in einer Helligkeitsunterscheidung. Psychopharmakologie (Berl) 1981; 75: 165-168. [PubMed]
80. Guarraci FA, Kapp BS. Eine elektrophysiologische Charakterisierung von dopaminergen Neuronen im ventralen tegmentalen Bereich während der pavlovianischen Angstkonditionierung im erwachenden Kaninchen. Verhaltens-Hirnforschung. 1999; 99: 169 – 179. [PubMed]
81. Haber SN, Fudge JL, McFarland NR. Striatonigrostriatalwege in Primaten bilden eine aufsteigende Spirale von der Schale zum dorsolateralen Striatum. J Neurosci. 2000; 20: 2369 – 2382. [PubMed]
82. Hall J, Parkinson, Connor, Dickinson, Everitt BJ. Beteiligung des zentralen Kerns der Amygdala und des Nucleus accumbens an der Vermittlung von Pavlovian-Einflüssen auf das instrumentale Verhalten. Die europäische Zeitschrift für Neurowissenschaften. 2001; 13: 1984 – 1992. [PubMed]
83. Han JS, McMahan RW, Holland P, Gallagher M. Die Rolle eines Amygdalo-Nigrostriatal-Pfads beim assoziativen Lernen. J Neurosci. 1997; 17: 3913 – 3919. [PubMed]
84. Harris GC, Aston-Jones G. Arousal und Belohnung: eine Dichotomie in der Orexinfunktion. Trends in den Neurowissenschaften. 2006; 29: 571 – 577. [PubMed]
85. Herry C, DR Bach, Esposito F, Di Salle F, Perrig WJ, Scheffler K, Luthi A, Seifritz E. Verarbeitung zeitlicher Unberechenbarkeit in der Amygdala von Mensch und Tier. J Neurosci. 2007; 27: 5958 – 5966. [PubMed]
86. Hikida T, Kimura K, Wada N, Funabiki K, Nakanishi S. Deutliche Rollen der synaptischen Übertragung in direkten und indirekten striatalen Bahnen zur Belohnung und zum aversiven Verhalten. Neuron. 2010; 66: 896 – 907. [PubMed]
87. Hikosaka O. Basalganglien Mechanismen der belohnungsorientierten Augenbewegung. Annalen der New York Academy of Sciences. 2007; 1104: 229 – 249. [PubMed]
88. Hikosaka O. Die habenula: Von der Stressvermeidung zur wertorientierten Entscheidungsfindung. Nat Rev Neurosci. 2010; 11: 503 – 513. [PMC freier Artikel] [PubMed]
89. Hikosaka O, Takikawa Y, Kawagoe R. Rolle der Basalganglien bei der Kontrolle gezielter sakkadischer Augenbewegungen. Physiologische Bewertungen. 2000; 80: 953 – 978. [PubMed]
90. Hitchcott PK, Quinn JJ, Taylor JR. Bidirektionale Modulation zielgerichteter Wirkungen durch präfrontales kortikales Dopamin. Cereb Cortex 2007; 17: 2820 – 2827. [PubMed]
91. Hnasko TS, Chuhma N., Zhang H., Goh GY, Sulzer D., Palmiter RD, Rayport S., Edwards RH. Vesikulärer Glutamattransport fördert die Dopaminlagerung und Glutamat-Corelease in vivo. Neuron. 2010; 65: 643 – 656. [PMC freier Artikel] [PubMed]
92. Holland PC, Gallagher M. Amygdala-Schaltung in Aufmerksamkeits- und Repräsentationsprozessen. Trends in den kognitiven Wissenschaften. 1999; 3: 65 – 73. [PubMed]
93. Hollerman JR, Schultz W. Dopamine Neuronen berichten über einen Fehler in der zeitlichen Vorhersage der Belohnung während des Lernens. Nat Neurosci. 1998; 1: 304 – 309. [PubMed]
94. Holroyd CB, Coles MG. Die neuronale Basis der Verarbeitung menschlicher Fehler: Verstärkungslernen, Dopamin und die fehlerbezogene Negativität. Psychol Rev. 2002; 109: 679-709. [PubMed]
95. Hong S, Hikosaka O. Der Globus pallidus sendet belohnungsbezogene Signale an die laterale Habenula. Neuron. 2008; 60: 720 – 729. [PMC freier Artikel] [PubMed]
96. Horvitz JC. Mesolimocortikale und nigrostriatale Dopaminreaktionen auf hervorstechende Nicht-Belohnungsereignisse. Neurowissenschaften. 2000; 96: 651-656. [PubMed]
97. Horvitz JC, Stewart T, Jacobs BL. Die Burst-Aktivität ventraler tegmentaler Dopamin-Neuronen wird durch sensorische Stimuli bei der Wachkatze ausgelöst. Brain Res. 1997; 759: 251 – 258. [PubMed]
98. Houk JC, Adams JL, Barto AG. Ein Modell, wie die Basalganglien neuronale Signale erzeugen und verwenden, die eine Verstärkung vorhersagen. In: Houk JC, Davis JL, Beiser DG, Herausgeber. Modelle der Informationsverarbeitung in den Basalganglien. Cambridge, MA: MIT Press; 1995. S. 249 – 274.
99. Ikemoto S. Brain Belohnungskreislauf jenseits des mesolimbischen Dopaminsystems: Eine neurobiologische Theorie. Neurowissenschaften und Biobehavioral Reviews. 2010 [PMC freier Artikel] [PubMed]
100. Ito R, Dalley JW, Howes SR, Robbins TW, Everitt BJ. Dissoziation in konditionierter Dopamin-Freisetzung im Kern und in der Schale von Nucleus Accumbens als Reaktion auf Kokain-Queues und während des Kokainsuchens bei Ratten. J Neurosci. 2000; 20: 7489 – 7495. [PubMed]
101. Ivlieva NY, Timofeeva NO. Neuronenaktivität im Kern des Pedunculopontin während eines konditionierten konditionierten Reflexes im Zusammenhang mit Nahrungsmitteln. Neurowissenschaften und Verhaltensphysiologie. 2003a; 33: 919 – 928. [PubMed]
102. Ivlieva NY, Timofeeva NO. Neuronenaktivität im Kern des Pedunkulopontin während eines operanten konditionierten Reflexes. Neurowissenschaften und Verhaltensphysiologie. 2003b; 33: 499 – 506. [PubMed]
103. Jalabert M., Aston-Jones G., Herzog E., Manzoni O., Georges F. Rolle des Bettkerns der Stria terminalis bei der Kontrolle von Dopamin-Neuronen im ventralen Tegmentbereich. Fortschritte in der Neuropsychopharmakologie und biologischen Psychiatrie. 2009; 33: 1336–1346. [PMC freier Artikel] [PubMed]
104. Jeanblanc J, Hoeltzel A, Louilot A. Dissoziation bei der Beteiligung von dopaminergen Neuronen, die die Kern- und Schalen-Subregionen des Nucleus accumbens bei latenter Hemmung und affektiver Wahrnehmung innervieren. Neurowissenschaften 2002; 111: 315 – 323. [PubMed]
105. Jensen J, Smith AJ, Willeit M, Crawley AP, Mikulis DJ, Vitcu I, Kapur S. Getrennter Hirnregionscode für Salenz vs. Valenz während der Belohnungsvorhersage beim Menschen. Abbildung des menschlichen Gehirns 2007; 28: 294 – 302. [PubMed]
106. Jhou TC, Felder HL, Baxter MG, Saper CB, Holland PC. Der rostromediale Tegmental Nucleus (RMTg), ein GABAergic, der zu Drüsenneuronen des Mittelhirns afferent ist, kodiert für aversive Reize und hemmt motorische Reaktionen. Neuron. 2009a; 61: 786-800. [PMC freier Artikel] [PubMed]
107. Jhou TC, Geisler S., Marinelli M., Degarmo BA, Zahm DS. Der rostromediale tegmentale Kern des Mesopontins: Eine Struktur, auf die die laterale Habenula gerichtet ist, die in das ventrale tegmentale Gebiet von Tsai und substantia nigra compacta hineinragt. Das Journal der vergleichenden Neurologie. 2009b; 513: 566 – 596. [PMC freier Artikel] [PubMed]
108. Ji H, Shepard PD. Die laterale Habenula-Stimulation hemmt Ratten-Mittelhirn-Dopamin-Neuronen durch einen GABA (A) -Rezeptor-vermittelten Mechanismus. J Neurosci. 2007; 27: 6923-6930. [PubMed]
109. Jin X, Costa RM. Start / Stopp-Signale treten während des Lernens in Sequenzen auf. Natur. 2010; 466: 457 – 462. [PMC freier Artikel] [PubMed]
110. Johansen JP, Fields HL. Die glutamatergische Aktivierung der anterioren cingulären Kortikalis erzeugt ein aversives Lehrsignal. Nat Neurosci. 2004; 7: 398 – 403. [PubMed]
111. Joseph MH, Datla K, Young AM. Die Interpretation der Messung von Nucleus accumbens Dopamin durch In-vivo-Dialyse: der Tritt, das Verlangen oder die Erkenntnis? Neurowissenschaften und Biobehavioral Reviews. 2003; 27: 527 – 541. [PubMed]
112. Joshua M, Adler A, Bergman H. Die Dynamik von Dopamin bei der Kontrolle des motorischen Verhaltens. Aktuelle Meinung in der Neurobiologie. 2009a; 19: 615 – 620. [PubMed]
113. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Dopaminerge Neuronen und striatale cholinerge Interneurone kodieren den Unterschied zwischen belohnenden und aversiven Ereignissen in verschiedenen Epochen probabilistischer klassischer Konditionierungsstudien. J Neurosci. 2008; 28: 11673 – 11684. [PubMed]
114. Joshua M, Adler A, Prut Y, Vaadia E, Wickens JR, Bergman H. Die Synchronisation von dopaminergen Neuronen des Mittelhirns wird durch belohnende Ereignisse verstärkt. Neuron. 2009b; 62: 695 – 704. [PubMed]
115. Kable JW, Glimcher PW. Die Neurobiologie der Entscheidung: Konsens und Kontroverse. Neuron. 2009; 63: 733 – 745. [PMC freier Artikel] [PubMed]
116. Kakade S, Dayan P. Dopamin: Verallgemeinerung und Boni. Neuronale Netze. 2002; 15: 549 – 559. [PubMed]
117. Kapur S. Psychose als ein Zustand von abwegiger Salienz: Ein Rahmen, der Biologie, Phänomenologie und Pharmakologie bei Schizophrenie verbindet. Die amerikanische Zeitschrift für Psychiatrie. 2003; 160: 13 – 23. [PubMed]
118. Kaufling J, Veinante P, Pawlowski SA, Freund-Mercier MJ, Barrot M. Afferente am GABAergen Schwanz des ventralen Tegmentbereichs bei der Ratte. Das Journal der vergleichenden Neurologie. 2009; 513: 597 – 621. [PubMed]
119. Kennerley SW, Wallis JD. Auswahl von einzelnen Neuronen im Frontallappen auswerten: Ergebniswert, kodiert über mehrere Entscheidungsvariablen. Die europäische Zeitschrift für Neurowissenschaften. 2009; 29: 2061 – 2073. [PMC freier Artikel] [PubMed]
120. Kim H, Sul JH, Huh N, D Lee, Jung MW. Rolle des striatum bei der Aktualisierung der Werte der ausgewählten Aktionen. J Neurosci. 2009; 29: 14701 – 14712. [PubMed]
121. Kiyatkin EA. Funktionelle Eigenschaften mutmaßlicher Dopamin-enthaltender und anderer ventraler tegmentaler Neurone bei bewussten Ratten. Int J Neurosci. 1988a; 42: 21 – 43. [PubMed]
122. Kiyatkin EA. Morphin-induzierte Modifikation der funktionellen Eigenschaften von Nervenzellen der ventralen tegmentalen Zone bei bewussten Ratten. Intern J Neuroscience. 1988b; 41: 57 – 70. [PubMed]
123. Klingberg T. Ausbildung und Plastizität des Arbeitsgedächtnisses. Trends in den kognitiven Wissenschaften. 2010; 14: 317 – 324. [PubMed]
124. Kobayashi S, Nomoto K, Watanabe M, Hikosaka O, Schultz W, Sakagami M. Einflüsse belohnender und aversiver Ergebnisse auf die Aktivität im präfrontalen Kortex des Makaken. Neuron. 2006; 51: 861 – 870. [PubMed]
125. Kobayashi S, Schultz W. Einfluss von Belohnungsverzögerungen auf die Reaktionen von Dopamin-Neuronen. J Neurosci. 2008; 28: 7837 – 7846. [PMC freier Artikel] [PubMed]
126. Y. Kobayashi, Y. Inoue, Y. Yamamoto, T. Isa, Aizawa H. Beitrag der Tegmental-Neuronen des Pedunculopontin zur Durchführung von visuell geführten Sakkadenaufgaben bei Affen. J Neurophysiol. 2002; 88: 715 – 731. [PubMed]
127. Koyama T, Tanaka YZ, Mikami A. Nozizeptive Neuronen im Makaken anterioren Cingulat aktivieren während der Antizipation von Schmerz. Neuroreport 1998; 9: 2663 – 2667. [PubMed]
128. Kravitz AV, BS Freeze, Parker PR, Kay K, MT Thwin, Deisseroth K, Kreitzer AC. Regulierung des Parkinsonschen Motorverhaltens durch optogenetische Kontrolle der Basalganglienschaltung. Natur. 2010 [PMC freier Artikel] [PubMed]
129. Lammel S, Hetzel A, Hackel O, Jones I, Liss B, Roeper J. Einzigartige Eigenschaften von Mesopräfrontalneuronen innerhalb eines dualen mesocorticolimbischen Dopaminsystems. Neuron. 2008; 57: 760 – 773. [PubMed]
130. Lang PJ, Davis M. Emotion, Motivation und das Gehirn: Reflexgrundlagen in der Tier- und Menschenforschung. Fortschritt in der Hirnforschung. 2006; 156: 3 – 29. [PubMed]
131. Lapish CC, Kroener S, Durstewitz D, Lavin A, Seamans JK. Die Fähigkeit des mesokortikalen Dopaminsystems, in unterschiedlichen zeitlichen Modi zu arbeiten. Psychopharmakologie (Berl) 2007; 191: 609-625. [PubMed]
132. Lee D, Seo H. Mechanismen des Verstärkungslernens und der Entscheidungsfindung im dorsolateralen präfrontalen Kortex von Primaten. Annalen der New York Academy of Sciences. 2007; 1104: 108 – 122. [PubMed]
133. Lee HJ, Groshek F, Petrovich GD, Cantalini JP, Gallagher M, Holland PC. Rolle von Amygdalo-Nigral-Schaltkreisen bei der Konditionierung eines visuellen Stimulus in Verbindung mit Nahrung. J Neurosci. 2005; 25: 3881 – 3888. [PMC freier Artikel] [PubMed]
134. Levita L, Dalley JW, Robbins TW. Nucleus accumbens Dopamin und erlernte Angst revisited: eine Überprüfung und einige neue Erkenntnisse. Verhaltens-Hirnforschung. 2002; 137: 115 – 127. [PubMed]
135. Lin SC, Nicolelis MA. Neuronales Ensemble, das im basalen Vorderhirn platzt, codiert Salenz unabhängig von der Wertigkeit. Neuron. 2008; 59: 138 – 149. [PMC freier Artikel] [PubMed]
136. Lisman JE, Anmut AA. Die Hippocampus-VTA-Schleife: Kontrolle der Eingabe von Informationen in das Langzeitgedächtnis. Neuron. 2005; 46: 703-713. [PubMed]
137. Litt A, Plassmann H, Shiv B, Rangel A. Dissoziation von Bewertungssignalen und Signalgebungssignalen während der Entscheidungsfindung. Cereb Cortex 2010 in der Presse. [PubMed]
138. Liu Z, Richmond BJ, Murray EA, Saunders RC, Steenrod S, Stubblefield BK, DM Montague, Ginns EI. Das DNA-Targeting des Rhinalcortex D2-Rezeptorproteins blockiert reversibel das Lernen von Belohnungen. Verfahren der National Academy of Sciences der Vereinigten Staaten von Amerika. 2004; 101: 12336 – 12341. [PMC freier Artikel] [PubMed]
139. Liu ZH, Shin R, Ikemoto S. Doppelrolle von medialen A10-Dopamin-Neuronen bei der affektiven Kodierung. Neuropsychopharmakologie. 2008; 33: 3010 – 3020. [PMC freier Artikel] [PubMed]
140. Ljungberg T, Apicella P, Schultz W. Reaktionen von Affen-Dopamin-Neuronen beim Lernen von Verhaltensreaktionen. J Neurophysiol. 1992; 67: 145-163. [PubMed]
141. Lobo MK, Covington, HE, 3rd, D. Chaudhury, AK Friedman, H. H., Damez-Werno D., DM Dietz, S. Zaman, W. JW Koo, Kennedy PJ, et al. Der zelltypspezifische Verlust des BDNF-Signals simuliert die optogenetische Kontrolle der Kokainbelohnung. Wissenschaft. 2010; 330: 385 – 390. [PMC freier Artikel] [PubMed]
142. Maeda H, Mogenson GJ. Auswirkungen der peripheren Stimulation auf die Aktivität von Neuronen im ventralen Tegmentbereich, die Substia nigra und die retikuläre Mittelhirnbildung bei Ratten. Gehirnforschungsbulletin. 1982; 8: 7 – 14. [PubMed]
143. Mantz J, Thierry AM, Glowinski J. Einfluss der schädlichen Schwanzklemmung auf die Entladungsrate von mesokortikalen und mesolimbischen Dopamin-Neuronen: selektive Aktivierung des mesokortikalen Systems. Brain Res. 1989; 476: 377 – 381. [PubMed]
144. Margolis EB, Lock H, Hjelmstad GO, Felder HL. Das ventrale tegmentale Gebiet überarbeitet: Gibt es einen elektrophysiologischen Marker für dopaminerge Neuronen? Das Journal der Physiologie. 2006; 577: 907 – 924. [PMC freier Artikel] [PubMed]
145. Margolis EB, Mitchell JM, Ishikawa J, Hjelmstad GO, Felder HL. Mittelhirn-Dopamin-Neuronen: Projektionsziel bestimmt Aktionspotentialdauer und Dopamin-D (2) -Rezeptor-Hemmung. J Neurosci. 2008; 28: 8908-8913. [PubMed]
146. Mark GP, Blander DS, Hoebel BG. Ein konditionierter Stimulus verringert extrazelluläres Dopamin im Nucleus Accumbens nach der Entwicklung einer erlernten Geschmacksaversion. Brain Res. 1991; 551: 308 – 310. [PubMed]
147. Marowsky A, Yanagawa Y, Obata K, Vogt KE. Eine spezialisierte Unterklasse von Interneuronen vermittelt die dopaminerge Erleichterung der Amygdala-Funktion. Neuron. 2005; 48: 1025 – 1037. [PubMed]
148. Matsumoto M, Hikosaka O. Lateral habenula als Quelle für negative Belohnungssignale in Dopamin-Neuronen. Natur. 2007; 447: 1111 – 1115. [PubMed]
149. Matsumoto M, Hikosaka O. Repräsentation eines negativen Motivationswerts in der seitlichen Habenula des Primaten. Nat Neurosci. 2009a; 12: 77 – 84. [PMC freier Artikel] [PubMed]
150. Matsumoto M, Hikosaka O. Zwei Arten von Dopaminneuronen vermitteln eindeutig positive und negative Motivationssignale. Natur. 2009b; 459: 837 – 841. [PMC freier Artikel] [PubMed]
151. Matsumoto M, Matsumoto K, Abe H, Tanaka K. Mediale präfrontale Zellaktivität, die Vorhersagefehler der Aktionswerte signalisiert. Nat Neurosci. 2007; 10: 647 – 656. [PubMed]
152. Mai PJ, McHaffie JG, Stanford TR, Jiang H, Costello MG, Coizet V, Hayes LM, Haber SN, Redgrave P. Tectonigral-Projektionen im Primaten: ein Weg für prä-aufmerksame sensorische Eingaben für dopaminerge Neuronen im Mittelhirn. Die europäische Zeitschrift für Neurowissenschaften. 2009; 29: 575 – 587. [PMC freier Artikel] [PubMed]
153. Mazzoni P, Hristova A, Krakauer JW. Warum bewegen wir uns nicht schneller? Parkinson-Krankheit, Bewegungskraft und implizite Motivation. J Neurosci. 2007; 27: 7105–7116. [PubMed]
154. Merali Z., Michaud D., McIntosh J., Kent P., Anisman H. Unterschiedliche Beteiligung von Amygdaloid-CRH-Systemen an der Bedeutung und Wertigkeit der Stimuli. Fortschritte in der Neuropsychopharmakologie und biologischen Psychiatrie. 2003; 27: 1201–1212. [PubMed]
155. Mirenowicz J, Schultz W. Bevorzugte Aktivierung von Mittelhirn-Dopamin-Neuronen durch appetitive statt aversive Stimuli. Natur. 1996; 379: 449 – 451. [PubMed]
156. Molina-Luna K, Pekanovic A, Rohrich S., Hertler B, Schubring-Giese M, Rioult-Pedotti MS, Luft AR. Dopamin im motorischen Kortex ist für das Erlernen von Fertigkeiten und für die synaptische Plastizität notwendig. Plus eins. 2009; 4: e7082. [PMC freier Artikel] [PubMed]
157. Montague PR, Berns GS. Neuronale Ökonomie und die biologischen Substrate der Bewertung. Neuron. 2002; 36: 265 – 284. [PubMed]
158. Montague PR, Dayan P, Sejnowski TJ. Ein Rahmen für mesenzephalische Dopaminsysteme basierend auf prädikativem Hebb-Lernen. J Neurosci. 1996; 16: 1936-1947. [PubMed]
159. Morris G., Arkadir D., Nevet A., Vaadia E., Bergman H. Zufällige, aber unterschiedliche Botschaften von Mittelhirn-Dopamin und striatal tonisch aktiven Neuronen. Neuron. 2004; 43: 133 – 143. [PubMed]
160. Morris G., Nevet A., Arkadir D., Vaadia E., Bergman H. Midbrain-Dopaminneuronen kodieren Entscheidungen für zukünftige Maßnahmen. Nat Neurosci. 2006; 9: 1057 – 1063. [PubMed]
161. Morrison SE, Salzman CD. Die Konvergenz von Informationen über belohnende und aversive Reize in einzelnen Neuronen. J Neurosci. 2009; 29: 11471 – 11483. [PMC freier Artikel] [PubMed]
162. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamin-Neuronen können kontextabhängige Vorhersagefehler darstellen. Neuron. 2004; 41: 269 – 280. [PubMed]
163. Nakamura K, Hikosaka O. Die Rolle von Dopamin im Primaten-Caudat-Kern bei der Belohnungsmodulation von Sakkaden. J Neurosci. 2006; 26: 5360 – 5369. [PubMed]
164. Neve KA, Seamans JK, Trantham-Davidson H. Dopaminrezeptorsignalisierung. Zeitschrift für Rezeptor- und Signaltransduktionsforschung. 2004; 24: 165 – 205. [PubMed]
165. Nishijo H, Ono T, Nishino H. Einzelne Neuronenreaktionen in der Amygdala eines Alarmaffen während komplexer sensorischer Stimulation mit affektiver Bedeutung. J Neurosci. 1988; 8: 3570 – 3583. [PubMed]
166. Niv Y, Daw ND, Joel D., Dayan P. Tonic Dopamin: Opportunitätskosten und die Kontrolle der Reaktionsstärke. Psychopharmakologie. 2007; 191: 507 – 520. [PubMed]
167. Nomoto K, Schultz W, Watanabe T, Sakagami M. Erweitert die Dopaminreaktion zeitlich auf perzeptiv fordernde belohnungsprädiktive Reize. J Neurosci. 2010; 30: 10692 – 10702. [PMC freier Artikel] [PubMed]
168. Okada K, Toyama K, Inoue Y, Isa T, Kobayashi Y. Verschiedene Pedunculopontin-Tegmental-Neuronen signalisieren vorhergesagte und tatsächliche Aufgabenbelohnungen. J Neurosci. 2009; 29: 4858 – 4870. [PubMed]
169. Omelchenko N, Bell R, Sesack SR. Laterale Habenula-Projektionen auf Dopamin- und GABA-Neuronen im ventralen Segment der Ratte. Die europäische Zeitschrift für Neurowissenschaften. 2009; 30: 1239 – 1250. [PMC freier Artikel] [PubMed]
170. Owesson-White CA, Ariansen J, Stuber GD, Cleaveland NA, Jubel JF, Wightman RM, Carelli RM. Die neuronale Kodierung von Kokainsuchendem Verhalten fällt zusammen mit der Freisetzung von phasischem Dopamin im Accumbens-Kern und der Hülle. Die europäische Zeitschrift für Neurowissenschaften. 2009; 30: 1117 – 1127. [PMC freier Artikel] [PubMed]
171. Oyama K, Hernadi I, Iijima T, Tsutsui K. Belohnungsfehlercodierung in dorsalen striatalen Neuronen. J Neurosci. 2010; 30: 11447 – 11457. [PubMed]
172. Packard MG, White NM. Dissoziation von Hippocampus- und Caudat-Nucleus-Memory-Systemen durch Nachtraining der intracerebralen Injektion von Dopamin-Agonisten. Verhaltensneurowissenschaften. 1991; 105: 295 – 306. [PubMed]
173. Padoa-Schioppa C. Orbitofrontaler Kortex und Berechnung des wirtschaftlichen Wertes. Annalen der New York Academy of Sciences. 2007; 1121: 232 – 253. [PubMed]
174. Palmiter RD. Dopamin-Signale im dorsalen Striatum sind für motiviertes Verhalten unerlässlich: Lehren aus Dopamin-defizienten Mäusen. Annalen der New York Academy of Sciences. 2008; 1129: 35 – 46. [PMC freier Artikel] [PubMed]
175. Pan WX, Hyland BI. Der tegmentale Kern des Pedunculopontin kontrolliert die konditionierten Reaktionen der Mittelhirn-Dopamin-Neuronen bei verhaltenen Ratten. J Neurosci. 2005; 25: 4725 – 4732. [PubMed]
176. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dreigliedriger Extinktionsmechanismus durch Dopamin-Neuronenaktivität und zeitliches Differenzmodell. J Neurosci. 2008; 28: 9619 – 9631. [PubMed]
177. Parker JG, Zweifel LS, Clark JJ, Evans SB, Phillips PE, Palmiter RD. Das Fehlen von NMDA-Rezeptoren in Dopamin-Neuronen schwächt die Freisetzung von Dopamin ab, jedoch nicht den konditionierten Ansatz während der Pavlov-Konditionierung. Verfahren der National Academy of Sciences der Vereinigten Staaten von Amerika. 2010 [PMC freier Artikel] [PubMed]
178. Pascoe JP, Kapp BS. Elektrophysiologische Merkmale von Amygdaloid-Neuronen des zentralen Kerns während der Pavlovian-Angstkonditionierung im Kaninchen. Verhaltens-Hirnforschung. 1985; 16: 117 – 133. [PubMed]
179. Pascucci T, Ventura R, Latagliata EC, Cabib S, Puglisi-Allegra S. Der mediale präfrontale Kortex bestimmt die Accumbens-Dopamin-Reaktion auf Stress durch die entgegengesetzten Einflüsse von Noradrenalin und Dopamin. Cereb Cortex 2007; 17: 2796 – 2804. [PubMed]
180. Pearce JM, Halle G. Ein Modell für das Pavlovian-Lernen: Variationen in der Wirksamkeit von konditionierten, aber nicht von unkonditionierten Reizen. Psychol Rev. 1980; 87: 532-552. [PubMed]
181. Pezze MA, Feldon J. Mesolimbic dopaminerge Wege in der Angstkonditionierung. Fortschritt in der Neurobiologie. 2004; 74: 301 – 320. [PubMed]
182. Phillips AG, Ahn S, Howland JG. Amygdalar-Kontrolle des mesocorticolimbic Dopaminsystems: Parallele Wege zu motiviertem Verhalten. Neurowissenschaften und Biobehavioral Reviews. 2003a; 27: 543 – 554. [PubMed]
183. Phillips GD, Salussolia E, Hitchcott PK. Die Rolle der Mesoamygdaloid-Dopamin-Projektion beim emotionalen Lernen. Psychopharmakologie. 2010 [PubMed]
184. Phillips PE, Stuber GD, Heien ML, Wightman RM, Carelli RM. Eine untergeordnete Dopamin-Freisetzung fördert die Suche nach Kokain. Natur. 2003b; 422: 614 – 618. [PubMed]
185. Porrino LJ, Goldman-Rakic ​​PS. Brainstem-Innervation der präfrontalen und anterioren cingulären Kortikalis im Rhesusaffen durch retrograden HRP-Transport. Das Journal der vergleichenden Neurologie. 1982; 205: 63 – 76. [PubMed]
186. Puryear CB, Kim MJ, Mizumori SJ. Konjunktive Kodierung von Bewegung und Belohnung durch ventrale tegmentale Neuronen des frei navigierenden Nagetiers. Verhaltensneurowissenschaften. 2010; 124: 234 – 247. [PMC freier Artikel] [PubMed]
187. Ravel S, Legallet E, Apicella P. Tonisch aktive Neuronen im Affenstriatum sprechen nicht bevorzugt auf appetitliche Reize an. Experimentelle Hirnforschung. Experimentelle Hirnforschung. 1999; 128: 531 – 534. [PubMed]
188. Ravel S, Legallet E, Apicella P. Die Reaktionen tonisch aktiver Neuronen im Affenstriatum unterscheiden zwischen motivational entgegengesetzten Reizen. J Neurosci. 2003; 23: 8489 – 8497. [PubMed]
189. Ravel S, Richmond BJ. Dopamin-Neuronenreaktionen bei Affen, die visuell ausgewählte Belohnungspläne ausführen. Die europäische Zeitschrift für Neurowissenschaften. 2006; 24: 277 – 290. [PubMed]
190. Redgrave P, Gurney K. Das Dopamin-Signal mit kurzer Latenz: Eine Rolle bei der Entdeckung neuer Handlungen? Nat Rev Neurosci. 2006; 7: 967 – 975. [PubMed]
191. Redgrave P, Prescott TJ, Gurney K. Ist die Dopaminreaktion mit kurzer Latenz zu kurz, um einen Belohnungsfehler zu signalisieren? Trends in den Neurowissenschaften. 1999; 12: 146 – 151. [PubMed]
192. Rescorla RA, Wagner AR. Eine Theorie der Pavlovschen Konditionierung: Unterschiede in der Wirksamkeit der Verstärkung und Nichtverstärkung. In: Black AH, Prokasy WF, Redakteure. Klassische Konditionierung II: Aktuelle Forschung und Theorie. New York, New York: Appleton Century Crofts; 1972. S. 64 – 99.
193. Reynolds JNJ, Hyland BI, Wickens JR. Ein zellulärer Mechanismus des belohnungsbezogenen Lernens. Natur. 2001; 413: 67 – 70. [PubMed]
194. Reynolds SM, Berridge KC. Positive und negative Motivation in der Hülle des Nucleus accumbens: zweiwertige rostro-kaudale Gradienten für GABA-ausgelöstes Essen, Geschmacksreaktionen, Vorlieben / Vermeidung und Angst. J Neurosci. 2002; 22: 7308–7320. [PubMed]
195. Richardson RT, DeLong MR. Elektrophysiologische Untersuchungen der Funktionen des Nucleus basalis bei Primaten. Fortschritte in der experimentellen Medizin und Biologie. 1991; 295: 233 – 252. [PubMed]
196. Robbins TW, Arnsten AF. Die Neuropsychopharmakologie der Fronto-Exekutivfunktion: monoaminerge Modulation. Jährliche Überprüfung der Neurowissenschaften. 2009; 32: 267 – 287. [PMC freier Artikel] [PubMed]
197. Robinson DL, Hermans A, Seipel AT, Wightman RM. Überwachung der schnellen chemischen Kommunikation im Gehirn. Chemische Bewertungen. 2008; 108: 2554 – 2584. [PMC freier Artikel] [PubMed]
198. Roesch MR, Calu DJ, Schönbaum G. Dopamin-Neuronen kodieren die bessere Option bei Ratten, die sich zwischen unterschiedlich verzögerten oder unterschiedlich großen Belohnungen entscheiden. Nat Neurosci. 2007; 10: 1615 – 1624. [PMC freier Artikel] [PubMed]
199. Roesch MR, Olson CR. Neuronale Aktivität im Zusammenhang mit Belohnungswert und Motivation im frontalen Cortex des Primaten. Wissenschaft. 2004; 304: 307-310. [PubMed]
200. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Chemische Reaktionen in Echtzeit im Nucleus Accumbens unterscheiden belohnende und aversive Reize. Nat Neurosci. 2008; 11: 1376 – 1377. [PMC freier Artikel] [PubMed]
201. Rutledge RB, Lazzaro SC, Lau B, Myers CE, Gluck MA, Glimcher PW. Dopaminerge Medikamente modulieren die Lernraten und die Ausdauer bei Parkinson-Patienten in einer dynamischen Nahrungssuche. J Neurosci. 2009; 29: 15104–15114. [PMC freier Artikel] [PubMed]
202. Salamone JD. Die Beteiligung von Nucleus accumbens Dopamin an appetitlicher und aversiver Motivation. Verhaltens-Hirnforschung. 1994; 61: 117 – 133. [PubMed]
203. Salamone JD, Correa M, Farrar A, Mingote SM. Aufwandsbezogene Funktionen von Nucleus accumbens Dopamin und damit verbundenen Vorderhirnkreisläufen. Psychopharmakologie (Berl) 2007; 191: 461-482. [PubMed]
204. Satoh T., Nakai S., Sato T., Kimura M. Korrelierte Kodierung der Motivation und des Ergebnisses der Entscheidung durch Dopamin-Neuronen. J Neurosci. 2003; 23: 9913 – 9923. [PubMed]
205. Savine AC, Beck SM, Edwards BG, Chiew KS, Braver TS. Verbesserung der kognitiven Kontrolle durch Motivationszustände bei Annäherung und Vermeidung. Erkenntnis & Emotion. 2010; 24: 338–356. [PMC freier Artikel] [PubMed]
206. Schoenbaum G, Roesch MR, Stalnaker TA, Takahashi YK. Eine neue Perspektive auf die Rolle des orbitofrontalen Kortex im adaptiven Verhalten. Nat Rev Neurosci. 2009; 10: 885 – 892. [PMC freier Artikel] [PubMed]
207. Schultz W. Reaktionen von Mittelhirn-Dopamin-Neuronen auf Verhaltensauslöserreize beim Affen. J Neurophysiol. 1986; 56: 1439 – 1461. [PubMed]
208. Schultz W. Prädiktives Belohnungssignal von Dopaminneuronen. J Neurophysiol. 1998; 80: 1-27. [PubMed]
209. Schultz W. Multiple Dopaminfunktionen zu verschiedenen Zeitverläufen. Jährliche Überprüfung der Neurowissenschaften. 2007; 30: 259 – 288. [PubMed]
210. Schultz W. Dopamine signalisiert Belohnung und Risiko: Basisdaten und aktuelle Daten. Behav Gehirn-Funktion. 2010; 6: 24. [PMC freier Artikel] [PubMed]
211. Schultz W., Dayan P., Montague PR. Ein neurales Substrat der Vorhersage und Belohnung. Wissenschaft. 1997; 275: 1593-1599. [PubMed]
212. Schultz W, Romo R. Reaktionen nigrostriataler Dopamin-Neuronen auf hochintensive somatosensorische Stimulation beim anästhesierten Affen. J Neurophysiol. 1987; 57: 201 – 217. [PubMed]
213. Schultz W, Romo R. Dopamin-Neuronen des Mittelhirns der Affen: Eventualreaktionen auf Stimuli, die sofortige Verhaltensreaktionen auslösen. J Neurophysiol. 1990; 63: 607 – 624. [PubMed]
214. Seo H, Lee D. Zeitliche Filterung von Belohnungssignalen im dorsalen anterioren cingulate Cortex während eines Spiels mit gemischten Strategien. J Neurosci. 2007; 27: 8366 – 8377. [PMC freier Artikel] [PubMed]
215. Shabel SJ, Janak PH. Wesentliche Ähnlichkeit in der neuronalen Aktivität der Amygdala während konditionierter appetitiver und aversiver emotionaler Erregung. Verfahren der National Academy of Sciences der Vereinigten Staaten von Amerika. 2009; 106: 15031 – 15036. [PMC freier Artikel] [PubMed]
216. Shadmehr R, Smith MA, Krakauer JW. Fehlerkorrektur, sensorische Vorhersage und Anpassung in der Motorsteuerung. Jährliche Überprüfung der Neurowissenschaften. 2010 [PubMed]
217. Shen W., Flajolet M., Greengard P., Surmeier DJ. Dichotome dopaminerge Kontrolle der striatalen synaptischen Plastizität. Wissenschaft. 2008; 321: 848 – 851. [PMC freier Artikel] [PubMed]
218. Shimo Y, Wichmann T. Die neuronale Aktivität im Nucleus subthalamicus moduliert die Freisetzung von Dopamin im Affenstriatum. Die europäische Zeitschrift für Neurowissenschaften. 2009; 29: 104 – 113. [PMC freier Artikel] [PubMed]
219. Shippenberg TS, Bals-Kubik R, Huber A, Herz A. Neuroanatomische Substrate, die die aversiven Wirkungen von D-1-Dopaminrezeptorantagonisten vermitteln. Psychopharmakologie (Berl) 1991; 103: 209-214. [PubMed]
220. Shumake J, Ilango A, Scheich H, Wetzel W, Ohl FW. Differentielle Neuromodulation des Erwerbs und Wiederauffindens von Vermeidungslern durch die laterale Habenula und den ventralen Tegmentbereich. J Neurosci. 2010; 30: 5876 – 5883. [PubMed]
221. Kleine DM, Gregory MD, Mak YE, D Gitelman, MM Mesulam, Parrish T. Dissoziation der neuronalen Repräsentation von Intensität und affektiver Bewertung in der menschlichen Trunkenheit. Neuron. 2003; 39: 701 – 711. [PubMed]
222. Stefani MR, Moghaddam B. Regellernen und Belohnungskontingenz sind mit dissoziierbaren Mustern der Dopaminaktivierung im präfrontalen Kortex der Ratte, im Nucleus accumbens und im Dorsalstriatum verbunden. J Neurosci. 2006; 26: 8810 – 8818. [PMC freier Artikel] [PubMed]
223. Steinfels GF, Heym J, Strecker RE, Jacobs BL. Reaktion dopaminerger Neuronen bei Katzen auf Hörreize während des Schlaf-Wach-Zyklus. Brain Res. 1983; 277: 150 – 154. [PubMed]
224. Strecker RE, Jacobs BL. Substantia nigra dopaminerge Aktivität bei verhaltenen Katzen: Einfluss der Erregung auf spontane Entlassung und sensorisch hervorgerufene Aktivität. Brain Res. 1985; 361: 339 – 350. [PubMed]
225. Stuber GD, Hnasko TS, Britt JP, Edwards RH, Bonci A. Dopaminerge Terminals im Nucleus Accumbens, nicht jedoch Dorsalstriatum Corelease Glutamat. Journal of Neuroscience. 2010; 30: 8229 – 8233. [PMC freier Artikel] [PubMed]
226. Stuber GD, Wightman RM, Carelli RM. Das Aussterben der Kokain-Selbstverabreichung zeigt funktional und zeitlich unterschiedliche dopaminerge Signale im Nucleus Accumbens. Neuron. 2005; 46: 661 – 669. [PubMed]
227. Sul JH, Kim H., Huh N., Lee D., Jung MW. Deutliche Rollen des orbitofrontalen und medialen präfrontalen Kortex von Nagetieren bei der Entscheidungsfindung. Neuron. 2010; 66: 449 – 460. [PMC freier Artikel] [PubMed]
228. Surmeier DJ, Ding J, Tag M, Wang Z, Shen W. D1 und D2-Dopaminrezeptor-Modulation der striatalen glutamatergischen Signalgebung in striatalen, mittelgroßen, stacheligen Neuronen. Trends in den Neurowissenschaften. 2007; 30: 228 – 235. [PubMed]
229. Surmeier DJ, Shen W, Tag M, Gertler T, Chan S., Tian X, Plotkin JL. Die Rolle von Dopamin bei der Modulation der Struktur und Funktion von Striatalkreisläufen. Fortschritt in der Hirnforschung. 2010; 183C: 148 – 167. [PubMed]
230. Sutton RS, Barto AG. Auf dem Weg zu einer modernen Theorie adaptiver Netzwerke: Erwartung und Vorhersage. Psychol Rev. 1981; 88: 135-170. [PubMed]
231. Takahashi YK, Roesch MR, Stalnaker TA, Haney RZ, Calu DJ, Taylor AR, Burke KA, Schoenbaum G. Der Orbitofrontalcortex und der ventrale Segmentabschnitt sind notwendig, um aus unerwarteten Ergebnissen zu lernen. Neuron. 2009; 62: 269 – 280. [PMC freier Artikel] [PubMed]
232. Takikawa Y, Kawagoe R, Hikosaka O. Eine mögliche Rolle von Mittelhirn-Dopamin-Neuronen bei der kurz- und langfristigen Anpassung von Sakkaden an die Positionsbelohnungskartierung. J Neurophysiol. 2004; 92: 2520 – 2529. [PubMed]
233. Tecuapetla F, Patel JC, Xenias H, Englisch D, Tadros I, Shah F, Berlin J, Deisseroth K, Reis ME, Tepper JM, Koos T. Glutamatergische Signalisierung durch mesolimbische Dopamin-Neuronen im Nucleus accumbens. J Neurosci. 2010; 30: 7105 – 7110. [PMC freier Artikel] [PubMed]
234. Thierry AM, JP Tassin, Blanc G., Glowinski J. Selektive Aktivierung des mesokortikalen DA-Systems durch Stress. Natur. 1976; 263: 242 – 244. [PubMed]
235. Tobler PN, Dickinson A, Schultz W. Kodierung der vorhergesagten Belohnungsabgabe durch Dopamin-Neuronen in einem bedingten Inhibitionsparadigma. J Neurosci. 2003; 23: 10402 – 10410. [PubMed]
236. Tobler PN, CD Fiorillo, Schultz W. Adaptive Codierung der Belohnung Wert von Dopamin-Neuronen. Wissenschaft. 2005; 307: 1642-1645. [PubMed]
237. Tsai HC, Zhang F, Adamantidis A, GD Stuber, Bonci A, Lecea L, Deisseroth K. Phasisches Brennen in dopaminergen Neuronen reicht für die Verhaltensaufbereitung aus. Wissenschaft. 2009 [PubMed]
238. Ullsperger M. Genetische Assoziationsstudien zur Leistungsüberwachung und zum Lernen aus Feedback: Die Rolle von Dopamin und Serotonin. Neurowissenschaften und Biobehavioral Reviews. 2010; 34: 649 – 659. [PubMed]
239. Ungless MA Dopamin: das auffallende Problem. Trends in den Neurowissenschaften. 2004; 27: 702 – 706. [PubMed]
240. Uylings HB, Groenewegen HJ, Kolb B. Haben Ratten einen präfrontalen Kortex? Verhaltens-Hirnforschung. 2003; 146: 3 – 17. [PubMed]
241. Ventura R, Cabib S, Puglisi-Allegra S. Genotypabhängige mesocorticolimbic Dopamin-Reaktion auf Stress. Neurowissenschaften 2001; 104: 627 – 631. [PubMed]
242. Ventura R, Latagliata EC, Morrone C, La Mela I, Puglisi-Allegra S. Präfrontales Noradrenalin bestimmt die Zuschreibung einer „hohen“ Motivationskraft. Plus eins. 2008; 3: e3044. [PMC freier Artikel] [PubMed]
243. Ventura R, Morrone C, Puglisi-Allegra S. Das präfrontale / akkumbale Katecholamin-System bestimmt die Zuordnung der motivationalen Salienz zu belohnungs- und aversionbedingten Reizen. Verfahren der National Academy of Sciences der Vereinigten Staaten von Amerika. 2007; 104: 5181 – 5186. [PMC freier Artikel] [PubMed]
244. Vogt BA. Schmerz- und Emotionsinteraktionen in Subregionen des Gyrus cinguli. Nat Rev Neurosci. 2005; 6: 533 – 544. [PMC freier Artikel] [PubMed]
245. Voon V, Pessiglione M, Brezing C, Gallea C, Fernandez HH, Dolan RJ, Hallett M. Mechanismen, die der Dopamin-vermittelten Belohnung zugrunde liegen, sind zwanghafte Verhaltensweisen. Neuron. 2010; 65: 135 – 142. [PMC freier Artikel] [PubMed]
246. Waelti P, Dickinson A, Schultz W. Die Dopamin-Antworten entsprechen grundlegenden Annahmen der formalen Lerntheorie. Natur. 2001; 412: 43-48. [PubMed]
247. Wallis JD, Kennerley SW. Heterogene Belohnungssignale im präfrontalen Kortex. Aktuelle Meinung in der Neurobiologie. 2010; 20: 191 – 198. [PMC freier Artikel] [PubMed]
248. Walton ME, Behrens TE, Buckley MJ, PH Rudebeck, Rushworth MF. Trennbare Lernsysteme im Makakengehirn und die Rolle des orbitofrontalen Kortex beim kontingenten Lernen. Neuron. 2010; 65: 927 – 939. [PMC freier Artikel] [PubMed]
249. Wheeler RA, RC Twining, Jones JL, Slater JM, PS Grigson, Carelli RM. Verhaltens- und elektrophysiologische Negativindikatoren prognostizieren die Selbstverwaltung von Kokain. Neuron. 2008; 57: 774 – 785. [PubMed]
250. Wightman RM, Heien MLAV, Wassum KM, Sombers LA, Aragona BJ, Khan AS, JL Ariansen, Cheer JF, PE Phillips, Carelli RM. Die Freisetzung von Dopamin ist innerhalb der Mikroumgebungen des Rattenkernes Accumbens heterogen. Die europäische Zeitschrift für Neurowissenschaften. 2007; 26: 2046 – 2054. [PubMed]
251. Williams GV, Castner SA. Unter der Kurve: kritische Punkte zur Erklärung der Funktion des D1-Rezeptors im Arbeitsgedächtnis. Neurowissenschaften 2006; 139: 263 – 276. [PubMed]
252. Williams SM, Goldman-Rakic ​​PS. Weit verbreiteter Ursprung des mesofrontalen Dopaminsystems des Primaten. Cereb Cortex 1998; 8: 321 – 345. [PubMed]
253. Winn P. Wie die Struktur und Funktion des Tegmental-Kerns von Pedunculopontin am besten zu berücksichtigen ist: Beweise aus Tierversuchen. Journal der Neurologischen Wissenschaften. 2006; 248: 234 – 250. [PubMed]
254. Weise RA. Dopamin, Lernen und Motivation. Nat Rev Neurosci. 2004; 5: 483 – 494. [PubMed]
255. Weise RA. Substrate der Belohnung und Motivation. Das Journal der vergleichenden Neurologie. 2005; 493: 115 – 121. [PMC freier Artikel] [PubMed]
256. Wise SP. Vordere Frontfelder: Phylogenie und grundlegende Funktion. Trends in den Neurowissenschaften. 2008; 31: 599 – 608. [PMC freier Artikel] [PubMed]
257. Yamada H., Matsumoto N., Kimura M. Tonisch aktive Neuronen im Primat-Caudat-Kern und Putamen codieren differentiell die motivierten Ergebnisse der Aktion. J Neurosci. 2004; 24: 3500 – 3510. [PubMed]
258. Yamada H, Matsumoto N, Kimura M. Geschichts- und aktuelle unterrichtsbasierte Kodierung bevorstehender Verhaltensergebnisse im Striatum. J Neurophysiol. 2007; 98: 3557 – 3567. [PubMed]
259. Yin HH, Knowlton BJ. Die Rolle der Basalganglien bei der Habitusbildung. Nat Rev Neurosci. 2006; 7: 464 – 476. [PubMed]
260. Young AM, Moran PM, Joseph MH. Die Rolle von Dopamin bei der Konditionierung und latenten Hemmung: Was, wann, wo und wie? Neurowissenschaften und Biobehavioral Reviews. 2005; 29: 963 – 976. [PubMed]
261. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Menschliche Substantia Nigra Neuronen kodieren unerwartete finanzielle Belohnungen. Wissenschaft. 2009; 323: 1496 – 1499. [PMC freier Artikel] [PubMed]
262. Zahniser NR, Sorkin A. Schnelle Regulation des Dopamintransporters: Rolle bei der Stimulansabhängigkeit? Neuropharmakologie. 2004; 47 Suppl 1: 80 – 91. [PubMed]
263. Zhang L, Doyon WM, Clark JJ, Phillips PE, Dani JA. Kontrollen der tonischen und phasischen Dopaminübertragung im dorsalen und ventralen Striatum. Molekulare Pharmakologie. 2009; 76: 396 – 404. [PMC freier Artikel] [PubMed]
264. Zink Zink, Pagnoni G., Martin ME, M. Dhamala, Berns GS. Striatale Reaktion des Menschen auf auffällige, nicht lenkende Reize. Journal of Neuroscience. 2003; 23: 8092 – 8097. [PubMed]
265. Zweifel LS, Argilli E, Bonci A, Palmiter RD. Die Rolle von NMDA-Rezeptoren in Dopamin-Neuronen für Plastizität und Suchtverhalten. Neuron. 2008; 59: 486 – 496. [PMC freier Artikel] [PubMed]
266. Zweifel LS, Parker JG, Lobb CJ, Regenwasser A, Wall VZ, Fadok JP, Darvas M., Kim MJ, Mizumori SJ, Paladini, CA, et al. Die Unterbrechung des NMDAR-abhängigen Burst-Feuers durch Dopamin-Neuronen ermöglicht die selektive Beurteilung des phasischen Dopamin-abhängigen Verhaltens. Verfahren der National Academy of Sciences der Vereinigten Staaten von Amerika. 2009; 106: 7281 – 7288. [PMC freier Artikel] [PubMed]