Dopamin i motiverande kontroll: givande, aversiv och alerting (2010)

Se andra artiklar i PMC som citerar den publicerade artikeln.

Mellanhjärnans dopaminneuroner är välkända för sina starka svar på belöningar och deras avgörande roll i positiv motivation. Det har dock blivit allt tydligare att dopaminneuroner också sänder signaler relaterade till framträdande men icke-belönande upplevelser såsom aversiva och uppmärksamma händelser. Här granskar vi de senaste framstegen för att förstå dopamins belönings- och icke-belöningsfunktioner. Baserat på dessa data föreslår vi att dopaminneuroner finns i flera typer som är kopplade till distinkta hjärnnätverk och har distinkta roller i motivationskontroll. Vissa dopaminneuroner kodar för motivationsvärde, vilket stöder hjärnnätverk för sökning, utvärdering och värdeinlärning. Andra kodar för motiverande framträdande, vilket stöder hjärnnätverk för orientering, kognition och allmän motivation. Båda typerna av dopaminneuroner förstärks av en varningssignal involverad i snabb upptäckt av potentiellt viktiga sensoriska signaler. Vi antar att dessa dopaminerga vägar för värde, framträdande och varning samarbetar för att stödja adaptivt beteende.

Dopamin som motivation för belöningssökande handlingar

Dopamin har länge varit känt för att vara viktigt för att förstärka och motivera handlingar. Läkemedel som interfererar med DA-överföring stör förstärkningsinlärning, medan manipulationer som förbättrar DA-överföring, såsom hjärnstimulering och beroendeframkallande droger, ofta fungerar som förstärkare (Klokt, 2004). DA-överföring är avgörande för att skapa ett tillstånd av motivation att söka belöningar (Berridge och Robinson, 1998; Salamone et al., 2007) och för att skapa minnen av cue-reward associationer (Dalley et al., 2005). DA-frigivning är inte nödvändigt för alla former av belöningsinlärning och kanske inte alltid "gillades" i betydelsen att skapa njutning, men det är avgörande för att få mål att bli "eftertraktade" i betydelsen att motivera handlingar för att uppnå dem (Berridge och Robinson, 1998; Palmiter, 2008).

En hypotes om hur dopamin stöder förstärkningsinlärning är att det justerar styrkan hos synaptiska kopplingar mellan neuroner. Den enklaste versionen av denna hypotes är att dopamin kontrollerar synaptisk plasticitet enligt en modifierad hebbisk regel som grovt kan anges som "neuroner som skjuter ihop trådar tillsammans, så länge de får en explosion av dopamin". Med andra ord, om cell A aktiverar cell B och cell B orsakar ett beteende som resulterar i en belöning, då skulle dopamin frigöras och A→B-kopplingen skulle förstärkas (Montague et al., 1996; Schultz, 1998). Denna mekanism skulle tillåta en organism att lära sig det optimala valet av åtgärder för att vinna belöningar, givet tillräcklig erfarenhet av försök och misstag. I enlighet med denna hypotes har dopamin ett starkt inflytande på synaptisk plasticitet i många hjärnregioner (Surmeier et al., 2010; Goto et al., 2010; Molina-Luna et al., 2009; Marowsky et al., 2005; Lisman och Grace, 2005). I vissa fall möjliggör dopamin synaptisk plasticitet i linje med den hebbiska regeln som beskrivs ovan, på ett sätt som är korrelerat med belöningssökande beteende (Reynolds et al., 2001). Förutom dess effekter på långvarig synaptisk plasticitet, kan dopamin också utöva omedelbar kontroll över neurala kretsar genom att modulera neural spikaktivitet och synaptiska kopplingar mellan neuroner (Surmeier et al., 2007; Robbins och Arnsten, 2009), i vissa fall göra det på ett sätt som skulle främja omedelbara belöningssökande åtgärder (Frank, 2005).

Dopaminneuron belöningssignaler

För att motivera handlingar som leder till belöningar bör dopamin frisättas under givande upplevelser. Faktum är att de flesta DA-neuroner är starkt aktiverade av oväntade primära belöningar som mat och vatten, vilket ofta producerar fasiska "utbrott" av aktivitet (Schultz, 1998) (fasiska excitationer inklusive flera spikar (Grace and Bunney, 1983)). Men de banbrytande studierna av Wolfram Schultz visade att dessa DA-neuronsvar inte utlöses av belöningskonsumtion per se. Istället liknar de ett "belöningsförutsägelsefel", som rapporterar skillnaden mellan belöningen som tas emot och belöningen som förutspåddes inträffa (Schultz et al., 1997) (Figur 1A). Således, om en belöning är större än förutspått, är DA-neuroner starkt exciterade (positivt prediktionsfel, Figur 1E, röd); om en belöning är mindre än förutspått eller inte inträffar vid sin bestämda tidpunkt, hämmas DA-neuroner fasiskt (negativt prediktionsfel, Figur 1E, blå); och om en belöning signaleras i förväg så att dess storlek är helt förutsägbar, har DA-neuroner lite eller inget svar (noll prediktionsfel, Figur 1C, svart). Samma princip gäller för DA-svar på sensoriska signaler som ger ny information om framtida belöningar. DA-neuroner är upphetsade när en signal indikerar en ökning av framtida belöningsvärde (Figur 1C, röd), hämmas när en cue indikerar en minskning av framtida belöningsvärde (Figur 1C, blå), och har i allmänhet lite respons på signaler som inte förmedlar ny belöningsinformation (Figur 1E, svart). Dessa DA-svar liknar en specifik typ av belöningsförutsägelsefel som kallas temporal skillnadsfel eller "TD-fel", som har föreslagits fungera som en förstärkningssignal för att lära sig värdet av åtgärder och miljötillstånd (Houk et al., 1995; Montague et al., 1996; Schultz et al., 1997). Beräkningsmodeller som använder en TD-liknande förstärkningssignal kan förklara många aspekter av förstärkningsinlärning hos människor, djur och DA-neuroner själva (Sutton och Barto, 1981; Waelti et al., 2001; Montague och Berns, 2002; Dayan och Niv, 2008).

 

Figur 1

Dopaminkodning av belöningsförutsägelsefel och preferens för prediktiv information

En imponerande mängd experiment har visat att DA-signaler representerar belöningsförutsägelser på ett sätt som nära matchar beteendepreferenser, inklusive preferensen för stora belöningar framför små (Tobler et al., 2005) troliga belöningar framför osannolika (Fiorillo et al., 2003; Satoh et al., 2003; Morris et al., 2004) och omedelbara belöningar över försenade (Roesch et al., 2007; Fiorillo et al., 2008; Kobayashi och Schultz, 2008). Det finns till och med bevis för att DA-neuroner hos människor kodar för belöningsvärdet av pengar (Zaghloul et al., 2009). Dessutom framträder DA-signaler under inlärning med ett liknande tidsförlopp som beteendemått för belöningsförutsägelse (Hollerman och Schultz, 1998; Satoh et al., 2003; Takikawa et al., 2004; Day et al., 2007) och är korrelerade med subjektiva mått på belöningspreferens (Morris et al., 2006). Dessa fynd har etablerat DA-neuroner som ett av de bäst förstådda och mest replikerade exemplen på belöningskodning i hjärnan. Som ett resultat har nyare studier utsatt DA-neuroner för intensiv granskning för att upptäcka hur de genererar belöningsförutsägelser och hur deras signaler verkar på nedströmsstrukturer för att kontrollera beteendet.

Dopaminneuron belöningssignaler

De senaste framstegen för att förstå DA-belöningssignaler kommer från att överväga tre breda frågor: Hur lär sig DA-neuroner belöningsförutsägelser? Hur exakta är deras förutsägelser? Och vad behandlar de som givande?

Hur lär sig DA-neuroner belöningsförutsägelser? Klassiska teorier tyder på att belöningsförutsägelser lärs in genom en gradvis förstärkningsprocess som kräver upprepade stimulans-belöningsparningar (Rescorla och Wagner, 1972; Montague et al., 1996). Varje gång stimulans A följs av en oväntad belöning, ökas det uppskattade värdet av A. Nya data visar dock att DA-neuroner går utöver enkel stimulans-belöningsinlärning och gör förutsägelser baserade på sofistikerade föreställningar om världens struktur. DA-neuroner kan förutsäga belöningar korrekt även i okonventionella miljöer där belöningar parat med en stimulans orsakar en minskning i värdet av den stimulansen (Satoh et al., 2003; Nakahara et al., 2004; Bromberg-Martin et al., 2010c) eller orsaka en förändring i värdet av en helt annan stimulans (Bromberg-Martin et al., 2010b). DA-neuroner kan också anpassa sina belöningssignaler baserat på högre ordningsstatistik över belöningsfördelningen, såsom skalning av prediktionsfelsignaler baserat på deras förväntade varians (Tobler et al., 2005) och "spontant återhämta sig" sina svar på släckta belöningssignaler (Pan et al., 2008). Alla dessa fenomen bildar en anmärkningsvärd parallell till liknande effekter som ses vid sensorisk och motorisk anpassning (Braun et al., 2010; Fairhall et al., 2001; Shadmehr et al., 2010), vilket tyder på att de kan återspegla en allmän neural mekanism för prediktivt lärande.

Hur exakta är DA-belöningsförutsägelser? Nyligen genomförda studier har visat att DA-neuroner troget justerar sina belöningssignaler för att ta hänsyn till tre källor till förutsägelseosäkerhet. För det första lider människor och djur av internt timingbrus som hindrar dem från att göra tillförlitliga förutsägelser om långa cue-belöningstidsintervall (Gallistel och Gibbon, 2000). Således, om cue-belöningsförseningar är korta (1–2 sekunder) är timingförutsägelser korrekta och belöningsleverans utlöser lite DA-svar, men för längre cue-belöningsfördröjningar blir timingförutsägelser mindre tillförlitliga och belöningar framkallar tydliga DA-skurar (Kobayashi och Schultz, 2008; Fiorillo et al., 2008). För det andra är många ledtrådar i vardagen oprecisa, vilket anger en bred fördelning av belöningsleveranstider. DA-neuroner återspeglar denna form av timingosäkerhet: de hämmas progressivt under varierande belöningsförseningar, som om de signalerar allt mer negativa belöningsförutsägelsefel varje ögonblick belöningen inte visas (Fiorillo et al., 2008; Bromberg-Martin et al., 2010a; Nomoto et al., 2010). Slutligen är många ledtrådar perceptuellt komplexa och kräver en detaljerad inspektion för att nå en bestämd slutsats om deras belöningsvärde. I sådana situationer uppstår DA-belöningssignaler med långa latenser och på ett gradvis sätt, som tycks återspegla det gradvisa flödet av perceptuell information när stimulansvärdet avkodas (Nomoto et al., 2010).

Vilka händelser behandlar DA-neuroner som givande? Konventionella teorier om belöningsinlärning tyder på att DA-neuroner tilldelar värde baserat på den förväntade mängden framtida primär belöning (Montague et al., 1996). Men även när frekvensen av primär belöning hålls konstant, uttrycker människor och djur ofta en ytterligare preferens för förutsägbarhet – att söka miljöer där varje belönings storlek, sannolikhet och tidpunkt kan vara känd i förväg (Daly, 1992; Chew och Ho, 1994; Ahlbrecht och Weber, 1996). En nyligen genomförd studie på apor fann att DA-neuroner signalerar denna preferens (Bromberg-Martin och Hikosaka, 2009). Apor uttryckte en stark preferens för att se informativa visuella ledtrådar som skulle göra det möjligt för dem att förutsäga storleken på en framtida belöning, snarare än oinformativa ledtrådar som inte gav någon ny information. Parallellt var DA-neuroner glada över möjligheten att se de informativa ledtrådarna på ett sätt som var korrelerat med djurets beteendepreferens (Figur 1B, D). Detta tyder på att DA-neuroner inte bara motiverar handlingar för att få belöningar utan också motiverar handlingar för att göra exakta förutsägelser om dessa belöningar, för att säkerställa att belöningar kan förutses och förberedas på rätt sätt i förväg.

Sammantaget visar dessa fynd att DA-belöningsförutsägelsefelsignaler är känsliga för sofistikerade faktorer som informerar människors och djurs belöningsförutsägelser, inklusive anpassning till belöningsstatistik av hög ordning, belöningsosäkerhet och preferenser för prediktiv information.

Effekter av fasiska dopaminbelöningssignaler på nedströmsstrukturer

DA-belöningssvar uppstår i synkrona fasiska skurar (Joshua et al., 2009b), ett svarsmönster som formar DA-frisättning i målstrukturer (Gonon, 1988; Zhang et al., 2009; Tsai et al., 2009). Det har länge varit teorier om att dessa fasiska utbrott påverkar inlärning och motivation på ett distinkt sätt från tonic DA-aktivitet (Grace, 1991; Grace et al., 2007; Schultz, 2007; Lapish et al., 2007). Nyligen utvecklad teknologi har gjort det möjligt att bekräfta denna hypotes genom att kontrollera DA-neuronaktivitet med fin rumslig och tidsmässig precision. Optogenetisk stimulering av VTA DA-neuroner inducerar en stark betingad platspreferens som endast inträffar när stimulering appliceras i ett sprängmönster (Tsai et al., 2009). Omvänt orsakar genetisk knockout av NMDA-receptorer från DA-neuroner, som försämrar bristning samtidigt som den toniska aktiviteten i stort sett är intakt, en selektiv försämring av specifika former av belöningsinlärning (Zweifel et al., 2009; Parker et al., 2010) (även om notera att denna knockout också försämrar DA-neurons synaptiska plasticitet (Zweifel et al., 2008)). DA-skurar kan förbättra belöningsinlärningen genom att omkonfigurera lokala neurala kretsar. Noterbart är att belöningsprediktiva DA-skurar skickas till specifika regioner av nucleus accumbens, och dessa regioner har särskilt höga nivåer av belöningsprediktiv neural aktivitet (Cheer et al., 2007; Owesson-White et al., 2009).

Jämfört med fasiska skurar är mindre känt om vikten av fasiska pauser i spikaktivitet för negativa belöningsförutsägelsefel. Dessa pauser orsakar mindre förändringar i topphastigheten, är mindre modulerade av belöningsförväntningar (Bayer och Glimcher, 2005; Joshua et al., 2009a; Nomoto et al., 2010), och kan ha mindre effekter på lärande (Rutledge et al., 2009). Vissa typer av inlärning av negativa prediktionsfel kräver dock VTA (Takahashi et al., 2009), vilket tyder på att fasiska pauser fortfarande kan avkodas av nedströmsstrukturer.

Eftersom skurar och pauser orsakar mycket olika mönster av DA-frisättning, kommer de sannolikt att påverka nedströms strukturer genom distinkta mekanismer. Det finns nyligen bevis för denna hypotes i ett stort mål för DA-neuroner, dorsala striatum. Dorsal striatum projektionsneuroner finns i två typer som uttrycker olika DA-receptorer. En typ uttrycker D1-receptorer och projicerar till basalgangliernas "direkta väg" för att underlätta kroppsrörelser; den andra typen uttrycker D2-receptorer och projicerar till den "indirekta vägen" för att undertrycka kroppsrörelser (Figur 2) (Albin et al., 1989; Gerfen et al., 1990; Kravitz et al., 2010; Hikida et al., 2010). Baserat på egenskaperna hos dessa vägar och receptorer har det teoretiserats att DA-skurar producerar tillstånd med hög DA, aktiverar D1-receptorer och gör att den direkta vägen väljer högvärdiga rörelser (Figur 2A), medan DA-pauser producerar tillstånd med låg DA, hämmar D2-receptorer och gör att den indirekta vägen undertrycker rörelser med lågt värde (Figur 2B) (Frank, 2005; Hikosaka, 2007). I enlighet med denna hypotes främjar hög DA-receptoraktivering potentiering av kortiko-striatala synapser på den direkta vägen (Shen et al., 2008) och lära av positiva resultat (Frank et al., 2004; Voon et al., 2010), medan striatal D1-receptorblockad selektivt försämrar rörelser till belönade mål (Nakamura och Hikosaka, 2006). På ett analogt sätt främjar låg DA-receptoraktivering potentiering av kortiko-striatala synapser på den indirekta vägen (Shen et al., 2008) och lära av negativa resultat (Frank et al., 2004; Voon et al., 2010), medan striatal D2-receptorblockad selektivt undertrycker rörelser till icke-belönade mål (Nakamura och Hikosaka, 2006). Denna uppdelning av D1- och D2-receptorfunktioner i motivationskontroll förklarar många av effekterna av DA-relaterade gener på mänskligt beteende (Ullsperger, 2010; Frank och Fossella, 2010) och kan sträcka sig bortom dorsala striatum, eftersom det finns bevis för en liknande arbetsfördelning i ventral striatum (Grace et al., 2007; Lobo et al., 2010).

 

Figur 2

Dopaminkontroll av positiv och negativ motivation i dorsala striatum

Medan ovanstående schema målar upp en enkel bild av fasisk DA-kontroll av beteende genom dess effekter på striatum, är hela bilden mycket mer komplex. DA påverkar belöningsrelaterat beteende genom att verka på många hjärnregioner inklusive den prefrontala cortex (Hitchcott et al., 2007), rhinal cortex (Liu et al., 2004), hippocampus (Packard och White, 1991; Grecksch och Matties, 1981) och amygdala (Phillips et al., 2010). Effekterna av DA kommer sannolikt att skilja sig mycket mellan dessa regioner på grund av variationer i tätheten av DA-innervation, DA-transportörer, metaboliska enzymer, autoreceptorer, receptorer och receptorkoppling till intracellulära signalvägar (Neve et al., 2004; Bentivoglio och Morelli, 2005; Frank och Fossella, 2010). Dessutom, åtminstone i VTA, kan DA-neuroner ha olika cellulära egenskaper beroende på deras projektionsmål (Lammel et al., 2008; Margolis et al., 2008), och vissa har den anmärkningsvärda förmågan att överföra glutamat såväl som dopamin (Descarries et al., 2008; Chuhma et al., 2009; Hnasko et al., 2010; Tecuapetla et al., 2010; Stuber et al., 2010; Birgner et al., 2010). Således börjar den fulla omfattningen av DA-neuronkontroll över neural bearbetning bara att avslöjas.

Olika dopaminsvar på aversiva händelser

En neurons svar på aversiva händelser ger ett avgörande test av dess funktioner i motivationskontroll (Schultz, 1998; Berridge och Robinson, 1998; Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003). I många avseenden behandlar vi givande och aversiva händelser på motsatta sätt, vilket återspeglar deras motsats motivationsvärde. Vi söker belöningar och tilldelar dem positivt värde, samtidigt som vi undviker aversiva händelser och tilldelar dem negativt värde. I andra avseenden behandlar vi givande och motbjudande händelser på liknande sätt, vilket återspeglar deras liknande motiverande salience [FOTNOT1]. Både givande och aversiva händelser utlöser orientering av uppmärksamhet, kognitiv bearbetning och ökar den allmänna motivationen.

Vilka av dessa funktioner stödjer DA-neuroner? Det har länge varit känt att stressiga och aversiva upplevelser orsakar stora förändringar i DA-koncentrationer i nedströms hjärnstrukturer, och att beteendereaktioner på dessa upplevelser dramatiskt förändras av DA-agonister, antagonister och lesioner (Salamon, 1994; Di Chiara, 2002; Pezze och Feldon, 2004; Young et al., 2005). Dessa studier har producerat en slående mångfald av resultat, men (Levita et al., 2002; Di Chiara, 2002; Young et al., 2005). Många studier överensstämmer med DA-neuroner som kodar för motiverande framträdande. De rapporterar att aversiva händelser ökar DA-nivåerna och att beteendeaversion stöds av höga nivåer av DA-överföring (Salamon, 1994; Joseph et al., 2003; Ventura et al., 2007; Barr et al., 2009; Fadok et al., 2009) inklusive fasiska DA-skurar (Zweifel et al., 2009). Men andra studier överensstämmer mer med DA-neuroner som kodar för motivationsvärde. De rapporterar att aversiva händelser minskar DA-nivåer och att beteendeaversion stöds av låga nivåer av DA-överföring (Mark et al., 1991; Shippenberg et al., 1991; Liu et al., 2008; Roitman et al., 2008). I många fall har dessa blandade resultat hittats i enstaka studier, vilket indikerar att aversiva upplevelser orsakar olika mönster av DA-frisättning i olika hjärnstrukturer (Thierry et al., 1976; Besson och Louilot, 1995; Ventura et al., 2001; Jeanblanc et al., 2002; Bassareo et al., 2002; Pascucci et al., 2007), och att DA-relaterade läkemedel kan ge en blandning av neurala och beteendemässiga effekter som liknar de som orsakas av både givande och aversiva upplevelser (Ettenberg, 2004; Wheeler et al., 2008).

Denna mångfald av DA-frisättningsmönster och funktioner är svåra att förena med tanken att DA-neuroner överför en enhetlig motivationssignal till alla hjärnstrukturer. Dessa olika svar skulle dock kunna förklaras om DA-neuroner i sig själva är olika - sammansatta av flera neurala populationer som stöder olika aspekter av aversiv bearbetning. Denna uppfattning stöds av neurala inspelningsstudier på sövda djur. Dessa studier har visat att skadliga stimuli framkallar excitation i vissa DA-neuroner men hämning i andra DA-neuroner (Chiodo et al., 1980; Maeda och Mogenson, 1982; Schultz och Romo, 1987; Mantz et al., 1989; Gao et al., 1990; Coizet et al., 2006). Viktigt är att både excitatoriska och hämmande svar förekommer i neuroner som bekräftats vara dopaminerga med hjälp av juxtacellulär märkning (Brischoux et al., 2009) (Figur 3). En liknande mångfald av aversiva reaktioner uppstår under aktivt beteende. Olika grupper av DA-neuroner exciteras eller hämmas fasiskt av aversiva händelser inklusive skadlig stimulering av huden (Kiyatkin, 1988a; Kiyatkin, 1988b), sensoriska signaler som förutsäger aversiva stötar (Guarraci och Kapp, 1999), aversiva luftpuffar (Matsumoto och Hikosaka, 2009b), och sensoriska signaler som förutsäger aversiva luftpuffar (Matsumoto och Hikosaka, 2009b; Joshua et al., 2009a). Dessutom, när två DA-neuroner registreras samtidigt, har deras aversiva svar i allmänhet liten korrelation från försök till försök med varandra (Joshua et al., 2009b), vilket tyder på att aversiva svar inte samordnas över DA-befolkningen som helhet.

 

Figur 3

Olika dopaminneuronsvar på aversiva händelser

För att förstå funktionerna hos dessa olika aversiva svar måste vi veta hur de kombineras med belöningssvar för att generera en meningsfull motivationssignal. En nyligen genomförd studie undersökte detta ämne och avslöjade att DA-neuroner är uppdelade i flera populationer med distinkta motivationssignaler (Matsumoto och Hikosaka, 2009b). En befolkning är upphetsad av givande händelser och hämmas av aversiva händelser, som om de kodar motivationsvärde (Figur 4A). En andra befolkning är upphetsad av både givande och aversiva händelser på liknande sätt, som om de kodade motiverande salience (Figur 4B). I båda dessa populationer är många neuroner känsliga för belöning och aversiva förutsägelser: de svarar när givande händelser är mer givande än förutspått och när aversiva händelser är mer aversiva än förutspått (Matsumoto och Hikosaka, 2009b). Detta visar att deras aversiva svar verkligen orsakas av förutsägelser om aversiva händelser, vilket utesluter möjligheten att de kan orsakas av ospecifika faktorer som rå sensorisk input eller generaliserade associationer till belöning (Schultz, 2010). Dessa två populationer skiljer sig dock åt i den detaljerade karaktären av deras prediktiva kod. Motivationsvärdekodande DA-neuroner kodar för en korrekt prediktionsfelsignal, inklusive stark hämning genom utelämnande av belöningar och mild excitation genom utelämnande av aversiva händelser (Figur 4A, höger). Däremot svarar motivationsframträdande kodande DA-neuroner när framträdande händelser är närvarande men inte när de är frånvarande (Figur 4B, höger), i överensstämmelse med teoretiska föreställningar om upphetsning (Lang och Davis, 2006) [FOTNOT2]. Bevis för dessa två DA-neuronpopulationer har observerats även när neural aktivitet har undersökts på ett genomsnittligt sätt. Studier som riktade in sig på olika delar av DA-systemet fann således fasiska DA-signaler som kodar aversiva händelser med hämning (Roitman et al., 2008), liknande kodning av motivationsvärde, eller med excitation (Joshua et al., 2008; Anström et al., 2009), liknande kodning av motiverande framträdande.

 

Figur 4

Distinkta dopaminneuronpopulationer som kodar för motivationsvärde och framträdande

Dessa senaste fynd kan tyckas motsäga en tidig rapport om att DA-neuroner reagerar företrädesvis på belöningssignaler snarare än aversiva signaler (Mirenowicz och Schultz, 1996). När den granskas noggrant är dock även den studien helt förenlig med DA-värde och framträdande kodning. I den studien ledde belöningssignaler till belöningsresultat med hög sannolikhet (>90 %), medan aversiva signaler ledde till aversiva utfall med låg sannolikhet (<10 %). Därför skulle värde- och saliencekodande DA-neuroner ha litet svar på de aversiva signalerna, och koda exakt deras låga nivå av aversivitet.

Funktionell roll för motivationsvärde och framträdande signaler

Sammantaget indikerar ovanstående resultat att DA-neuroner är uppdelade i flera populationer som är lämpliga för distinkta roller i motivationskontroll. Motivationsvärdekodande DA-neuroner passar bra med nuvarande teorier om dopaminneuroner och belöningsbearbetning (Schultz et al., 1997; Berridge och Robinson, 1998; Klokt, 2004). Dessa neuroner kodar för en fullständig förutsägelsefelsignal och kodar givande och aversiva händelser i motsatta riktningar. Sålunda ger dessa neuroner en lämplig instruktiv signal för att söka, utvärdera och värdeinlära (Figur 5). Om en stimulans gör att värdekodande DA-neuroner blir upphetsade bör vi närma oss det, tilldela det högt värde och lära oss åtgärder för att söka det igen i framtiden. Om en stimulans gör att värdekodande DA-neuroner hämmas bör vi undvika det, tilldela det lågt värde och lära oss åtgärder för att undvika det igen i framtiden.

 

Figur 5

Hypotesiserade funktioner av motiverande värde, framträdande och varningssignaler

Däremot passar motivationsframträdande kodande DA-neuroner väl med teorier om dopaminneuroner och bearbetning av framträdande händelser (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Kapur, 2003). Dessa neuroner upphetsas av både givande och aversiva händelser och har svagare svar på neutrala händelser, vilket ger en lämplig instruktiv signal för neurala kretsar att lära sig att upptäcka, förutsäga och reagera på situationer av hög betydelse. Här kommer vi att överväga tre sådana hjärnsystem (Figur 5). Först kalibreras neurala kretsar för visuell och uppmärksamhetsorientering för att upptäcka information om alla typer av händelser, både givande och aversiva. Till exempel lockar både belönings- och aversiva signaler till sig orienterande reaktioner mer effektivt än neutrala signaler (Lang och Davis, 2006; Matsumoto och Hikosaka, 2009b; Austin och Duka, 2010). För det andra engagerar både givande och aversiva situationer neurala system för kognitiv kontroll och handlingsval – vi måste engagera arbetsminnet för att hålla information i åtanke, konfliktlösning för att besluta om en handlingslinje och långtidsminnet för att komma ihåg resultatet (Bradley et al., 1992; Botvinick et al., 2001; Savine et al., 2010). För det tredje kräver både givande och aversiva situationer en ökning av den allmänna motivationen för att ge energi till handlingar och för att säkerställa att de utförs korrekt. Faktum är att DA-neuroner är avgörande för att motivera ansträngningar för att uppnå högt värdefulla mål och för att översätta kunskap om uppgiftskrav till pålitlig motorisk prestanda (Berridge och Robinson, 1998; Mazzoni et al., 2007; Niv et al., 2007; Salamone et al., 2007).

Dopaminexcitation genom att varna sensoriska signaler

Förutom att deras signaler kodar för motivationsvärde och framträdande, har majoriteten av DA-neuroner också burst-svar på flera typer av sensoriska händelser som inte är direkt associerade med givande eller aversiva upplevelser. Dessa svar har teoretiserats bero på ett antal neurala och psykologiska faktorer, inklusive direkt sensorisk input, överraskning, nyhet, upphetsning, uppmärksamhet, framträdande, generalisering och pseudokonditionering (Schultz, 1998; Redgrave et al., 1999; Horvitz, 2000; Lisman och Grace, 2005; Redgrave och Gurney, 2006; Joshua et al., 2009a; Schultz, 2010).

Här kommer vi att försöka syntetisera dessa idéer och redogöra för dessa DA-svar i termer av en enda underliggande signal, en varningssignal (Figur 5). Termen "varning" användes av Schultz (Schultz, 1998) som en allmän term för händelser som väcker uppmärksamhet. Här kommer vi att använda det i en mer specifik mening. Med en larmhändelse menar vi en oväntad sensorisk signal som fångar uppmärksamhet baserat på en snabb bedömning av dess potentiella betydelse, med hjälp av enkla funktioner som dess plats, storlek och sensoriska modalitet. Sådana larmhändelser utlöser ofta omedelbara beteendereaktioner för att undersöka dem och fastställa deras exakta innebörd. Sålunda uppträder DA-varningssignaler vanligtvis med korta latenser, är baserade på de grova egenskaperna hos en stimulans och är bäst korrelerade med omedelbara reaktioner såsom orienterande reaktioner (Schultz och Romo, 1990; Joshua et al., 2009a; Schultz, 2010). Detta i motsats till andra motivationssignaler i DA-neuroner som vanligtvis uppträder vid längre latenser, tar hänsyn till stimulansens exakta identitet och är bäst korrelerade med övervägda beteendehandlingar såsom beslut att närma sig eller undvika (Schultz och Romo, 1990; Joshua et al., 2009a; Schultz, 2010).

DA-varningssvar kan utlösas av överraskande sensoriska händelser som oväntade ljusblixtar och hörselklick, som framkallar framträdande burst-excitationer i 60–90 % av DA-neuronerna i hela SNc och VTA (Strecker och Jacobs, 1985; Horvitz et al., 1997; Horvitz, 2000) (Figur 6A). Dessa larmsvar tycks återspegla i vilken grad stimulansen är överraskande och fångar uppmärksamheten; de minskar om en stimulans inträffar vid förutsägbara tidpunkter, om uppmärksamheten engageras någon annanstans eller under sömnen (Schultz, 1998; Takikawa et al., 2004; Strecker och Jacobs, 1985; Steinfels et al., 1983). Till exempel framkallar ett oväntat klickljud en framträdande DA-burst när en katt är i ett passivt tillstånd av tyst uppvaknande, men har ingen effekt när katten är engagerad i uppmärksamhetskrävande aktiviteter som att jaga en råtta, mata, trimma, bli klappad av experimenteraren och så vidare (Strecker och Jacobs, 1985) (Figur 6A). På liknande sätt utlöses DA-burst-svar av sensoriska händelser som är fysiskt svaga men som är uppmärksamma på grund av sin nyhet (Ljungberg et al., 1992; Schultz, 1998). Dessa svar vänjer sig när den nya stimulansen blir bekant, parallellt med tillvänjningen av orienterande reaktioner (Figur 6B). I enlighet med dessa fynd framkallar överraskande och nya händelser DA-frisättning i nedströmsstrukturer (Lisman och Grace, 2005) och aktivera DA-relaterade hjärnkretsar på ett sätt som formar belöningsbearbetning (Zink et al., 2003; Davidson et al., 2004; Duzel et al., 2010).

 

Figur 6

Dopaminneuron excitatoriska svar på larmhändelser

DA-varningssvar utlöses också av oväntade sensoriska signaler som har potential att ge ny information om motiverande framträdande händelser. Som förväntat för en varningssignal med kort latens är dessa svar ganska icke-selektiva: de utlöses av alla stimulanser som bara Liknar en motivationsmässigt framträdande ledtråd, även om likheten är mycket liten (ett fenomen som kallas generalisering) (Schultz, 1998). Som ett resultat reagerar DA-neuroner ofta på ett stimulus med en blandning av två signaler: en snabb varningssignal som kodar för det faktum att stimulansen är potentiellt viktigt, och en andra signal som kodar dess faktiska givande eller aversiv betydelse (Schultz och Romo, 1990; Waelti et al., 2001; Tobler et al., 2003; Day et al., 2007; Kobayashi och Schultz, 2008; Fiorillo et al., 2008; Nomoto et al., 2010) (ser (Kakade och Dayan, 2002; Joshua et al., 2009a; Schultz, 2010) för granskning). Ett exempel kan ses i en uppsättning av motiverande framträdande kodande DA-neuroner som visas i Figur 6C (Bromberg-Martin et al., 2010a). Dessa nervceller exciterades av belöning och aversiva signaler, men de exciterades också av en neutral signal. Den neutrala signalen hade aldrig parats ihop med motiverande resultat, men hade en (mycket liten) fysisk likhet med belöningen och aversiva ledtrådar.

Dessa varningsreaktioner verkar nära knutna till en sensorisk signals förmåga att utlösa orienterande reaktioner för att undersöka den ytterligare och upptäcka dess innebörd. Detta kan ses i tre anmärkningsvärda fastigheter. För det första inträffar varningssvar endast för sensoriska signaler som måste undersökas för att bestämma deras innebörd, inte för inneboende givande eller aversiva händelser som leverans av juice eller luftpuffar (Schultz, 2010). För det andra inträffar varningssvar endast när en signal är potentiellt viktig och har förmågan att utlösa orienterande reaktioner, inte när signalen är irrelevant för uppgiften och inte kan utlösa orienterande reaktioner (Schultz och Romo, 1990). För det tredje förbättras varningssvaren i situationer när signaler skulle utlösa en abrupt förskjutning av uppmärksamhet – när de dyker upp vid en oväntad tidpunkt eller borta från blickens centrum (Bromberg-Martin et al., 2010a). Så när motiverande ledtrådar presenteras med oförutsägbar timing utlöser de omedelbara orienterande reaktioner och ett generaliserat DA-varningssvar – excitation av alla ledtrådar inklusive neutrala signaler (Figur 6C, svart). Men om deras timing görs förutsägbar – till exempel genom att varna försökspersonerna med en "provstart-cue" som presenteras en sekund innan ledtrådarna visas - framkallar ledtrådarna inte längre ett varningssvar (Figur 6D, grå). Istället skiftar varningssvaret till rättegångens startsignal – den första händelsen i rättegången som har oförutsägbar timing och framkallar orienterande reaktioner (Figur 6D, svart).

Vilken är den underliggande mekanismen som genererar DA-neuronvarningssignaler? En hypotes är att varningssvar helt enkelt är konventionella belöningsförutsägelsefelsignaler som inträffar med korta latenser, kodar det förväntade belöningsvärdet för en stimulans innan den har blivit helt diskriminerad (Kakade och Dayan, 2002). Nyare bevis tyder dock på att varningssignaler kan genereras av en distinkt mekanism från konventionella DA-belöningssignaler (Satoh et al., 2003; Bayer och Glimcher, 2005; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c; Nomoto et al., 2010). Mest slående är att det uppmärksammade svaret på provstartsignalen inte är begränsad till givande uppgifter; den kan ha samma styrka under en aversiv uppgift där inga belöningar levereras (Figur 6C,D, nederst, "aversiv uppgift"). Detta inträffar även om konventionella DA-belöningssignaler i samma neuroner korrekt signalerar att den givande uppgiften har ett mycket högre förväntat värde än den aversiva uppgiften (Bromberg-Martin et al., 2010a). Dessa varningssignaler är inte enbart en form av värdekodning eller enbart en form av framträdande kodning, eftersom de förekommer i majoriteten av både motivationsvärde och framträdande kodande DA-neuroner (Bromberg-Martin et al., 2010a). En andra dissociation kan ses på det sätt som DA-neuroner förutsäger framtida belöningar baserat på minnet av tidigare belöningsresultat (Satoh et al., 2003; Bayer och Glimcher, 2005). Medan konventionella DA-belöningssignaler styrs av en minnesspårning i lång tid som är optimerad för exakt belöningsförutsägelse, styrs varningssvaren på provstartsignalen av ett separat minnesspår som liknar det som ses i omedelbara orienterande reaktioner (Bromberg-Martin et al., 2010c). En tredje dissociation kan ses på sättet att dessa signaler är fördelade över DA-neuronpopulationen. Medan konventionella DA-belöningssignaler är starkast i den ventromediala SNc, sänds larmsvar på försöksstartsignalen (och på andra oväntat tidsinställda signaler) genom hela SNc (Nomoto et al., 2010).

I motsats till dessa dissociationer från konventionella belöningssignaler, är DA-varningssignaler korrelerade med orienteringshastigheten och närmande svar på varningshändelsen (Satoh et al., 2003; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). Detta tyder på att varningssignaler genereras av en neural process som motiverar snabba reaktioner för att undersöka potentiellt viktiga händelser. För närvarande är tyvärr relativt lite känt om exakt vilka händelser denna process behandlar som "viktiga". Till exempel, är varningssvar lika känsliga för givande och aversiva händelser? Det är känt att larmsvar uppstår för stimuli som liknar belöningssignaler eller som liknar både belönings- och aversiva signaler (t.ex. genom att dela samma sensoriska modalitet). Men det är ännu inte känt om varningssvar uppstår för stimuli som enbart liknar aversiva signaler.

Funktionell roll för dopaminvarningssignaler

Som vi har sett kommer varningssignaler sannolikt att genereras av en distinkt mekanism från motivationsvärde och framträdande signaler. Men varningssignaler skickas till både motivationsvärde och framträdande kodande DA-neuroner, och kommer därför sannolikt att reglera hjärnans bearbetning och beteende på ett liknande sätt som värde- och framträdande signaler (Figur 5).

Larmsignaler som skickas till motivationsframträdande kodande DA-neuroner skulle stödja orientering av uppmärksamheten till den varningsstimulans, engagemang av kognitiva resurser för att upptäcka dess innebörd och besluta om en handlingsplan och öka motivationsnivåerna för att implementera denna plan effektivt (Figur 5). Dessa effekter kan uppstå genom omedelbara effekter på neural bearbetning eller genom förstärkande åtgärder som ledde till upptäckt av larmhändelsen. Denna funktionella roll stämmer väl överens med korrelationen mellan DA-varningssvar och snabba beteendereaktioner på larmstimulansen, och med teorier om att DA-neuronsvar med kort latens är involverade i orientering av uppmärksamhet, upphetsning, förbättring av kognitiv bearbetning och omedelbara beteendereaktioner (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Lisman och Grace, 2005; Redgrave och Gurney, 2006; Joshua et al., 2009a).

Förekomsten av varningssignaler i motivationsvärdekodande DA-neuroner är svårare att förklara. Dessa neuroner överför motiverande värdesignaler som är idealiska för att söka, utvärdera resultat och värdeinlärning; men de kan också bli upphetsade genom att varna händelser som oväntade klickljud och uppkomsten av aversiva försök. Enligt vår hypotes väg (Figur 5), skulle detta göra att varningshändelser tilldelas positivt värde och att de blir eftertraktade på ett sätt som liknar belöningar! Även om det är förvånande vid första anblicken, finns det anledning att misstänka att larmhändelser kan behandlas som positiva mål. Varningssignaler ger den första varningen om att en potentiellt viktig händelse är på väg att inträffa, och ger därför den första möjligheten att vidta åtgärder för att kontrollera den händelsen. Om varningssignaler finns tillgängliga, kan motiverande framträdande händelser upptäckas, förutsägas och förberedas för i förväg; om varningssignaler saknas inträffar alltid motiverande framträdande händelser som en oväntad överraskning. I själva verket uttrycker människor och djur ofta en preferens för miljöer där givande, aversiva och till och med motivationsneutrala sensoriska händelser kan observeras och förutsägas i förväg (Badia et al., 1979; Herry et al., 2007; Daly, 1992; Chew och Ho, 1994) och många DA-neuroner signalerar beteendepreferensen att se belöningsförutsägande information (Bromberg-Martin och Hikosaka, 2009). DA-varningssignaler kan stödja dessa preferenser genom att tilldela positivt värde till miljöer där potentiellt viktiga sensoriska signaler kan förutses i förväg.

Anatomiska placeringar av värde och framträdande kodande neuroner

En nyligen genomförd studie kartlade platserna för DA-belöning och aversiva signaler i den laterala mitthjärnan inklusive SNc och den lateralaste delen av VTA (Matsumoto och Hikosaka, 2009b). Motivationsvärde och motiverande framträdande signaler fördelades över denna region i en anatomisk gradient. Motivationsvärdesignaler hittades vanligare i neuroner i den ventromediala SNc och laterala VTA, medan motiverande framträdande signaler hittades vanligare i neuroner i den dorsolaterala SNc (Figur 7B). Detta överensstämmer med rapporter om att DA-belöningsvärdeskodning är starkast i den ventromediala SNc (Nomoto et al., 2010) medan aversiva excitationer tenderar att vara starkast mer lateralt (Mirenowicz och Schultz, 1996). Andra studier har utforskat den mer mediala mellanhjärnan. Dessa studier fann en blandning av excitatoriska och hämmande aversiva svar utan någon signifikant skillnad i deras lägen, men med en trend för aversiva excitationer att lokaliseras mer ventralt (Guarraci och Kapp, 1999; Brischoux et al., 2009) (Figur 7C).

Destinationer för motiverande värdesignaler

Enligt vår hypotes bör motivationsvärdekodande DA-neuroner projicera till hjärnregioner som är involverade i tillvägagångssätt och undvikandeåtgärder, utvärdering av resultat och värdeinlärning (Figur 5). Faktum är att den ventromediala SNc och VTA projekterar till den ventromediala prefrontala cortex (Williams och Goldman-Rakic, 1998) inklusive orbitofrontal cortex (OFC) (Porrino och Goldman-Rakic, 1982) (Figur 7A). OFC har konsekvent varit inblandad i värdekodning i funktionella avbildningsstudier (Anderson et al., 2003; Small et al., 2003; Jensen et al., 2007; Litt et al., 2010) och enstaka neuroninspelningar (Morrison och Salzman, 2009; Roesch och Olson, 2004). OFC tros utvärdera valmöjligheter (Padoa-Schioppa, 2007; Kable och Glimcher, 2009), koda resultatförväntningar (Schoenbaum et al., 2009), och uppdatera dessa förväntningar under inlärningen (Walton et al., 2010). Dessutom är OFC involverad i att lära av negativa belöningsförutsägelsefel (Takahashi et al., 2009) som är starkast i värdekodande DA-neuroner (Figur 4).

Dessutom projicerar de mediala delarna av den dopaminerga mellanhjärnan till det ventrala striatum inklusive nucleus accumbens skal (NAc-skal) (Haber et al., 2000) (Figur 7A). En nyligen genomförd studie visade att NAc-skalet tar emot fasiska DA-signaler som kodar för det motiverande värdet av smakresultat (Roitman et al., 2008). Dessa signaler kommer sannolikt att orsaka värdeinlärning eftersom direkt infusion av DA-läkemedel i NAc-skalet är starkt förstärkande (Ikemoto, 2010) medan behandlingar som minskar DA-inmatningen till skalet kan inducera aversioner (Liu et al., 2008). En varning är att studier av NAc-skal DA-frisättning under långa tidsskalor (minuter) har gett blandade resultat, vissa överensstämmer med värdekodning och andra med framträdande kodning (t.ex.Bassareo et al., 2002; Ventura et al., 2007)). Detta tyder på att värdesignaler kan vara begränsade till specifika platser inom NAc-skalet. Speciellt är olika regioner av NAc-skalet specialiserade för att kontrollera aptitligt och aversivt beteende (Reynolds och Berridge, 2002), som båda kräver input från DA-neuroner (Faure et al., 2008).

Slutligen skickar DA-neuroner genom hela SNc:s omfattning tunga projektioner till dorsala striatum (Haber et al., 2000), vilket tyder på att dorsala striatum kan ta emot både motivationsvärde och framträdande kodande DA-signaler (Figur 7A). Motiverande värdekodande DA-neuroner skulle ge en idealisk instruktiv signal för striatala kretsar involverade i värdeinlärning, såsom inlärning av stimulus-responsvanor (Faure et al., 2005; Yin och Knowlton, 2006; Balleine och O'Doherty, 2010). När dessa DA-neuroner spricker, skulle de engagera sig i den direkta vägen för att lära sig att få belöningsresultat; när de pausar, skulle de engagera sig i den indirekta vägen för att lära sig undvika aversiva resultat (Figur 2). Det finns faktiskt nyligen bevis för att de striatala vägarna följer exakt denna arbetsfördelning för belöning och aversiv bearbetning (Hikida et al., 2010). Det är dock fortfarande okänt hur neuroner i dessa vägar reagerar på givande och aversiva händelser under beteende. Åtminstone i dorsala striatum som helhet, reagerar en delmängd av neuroner på vissa givande och aversiva händelser på olika sätt (Ravel et al., 2003; Yamada et al., 2004, 2007; Joshua et al., 2008).

Destinationer av motiverande framträdande signaler

Enligt vår hypotes bör motivationsframträdande kodande DA-neuroner projicera till hjärnregioner som är involverade i orientering, kognitiv bearbetning och allmän motivation (Figur 5). Faktum är att DA-neuroner i den dorsolaterala mellanhjärnan skickar projektioner till dorsal och lateral frontal cortex (Williams och Goldman-Rakic, 1998) (Figur 7A), en region som har varit inblandad i kognitiva funktioner som uppmärksamhetssökning, arbetsminne, kognitiv kontroll och beslutsfattande mellan motiverande resultat (Williams och Castner, 2006; Lee och Seo, 2007; Klokt, 2008; Kable och Glimcher, 2009; Wallis och Kennerley, 2010). Dorsolaterala prefrontala kognitiva funktioner regleras hårt av DA-nivåer (Robbins och Arnsten, 2009) och är teoretiserade att bero på fasisk DA-neuronaktivering (Cohen et al., 2002; Lapish et al., 2007). Noterbart är att en undergrupp av laterala prefrontala neuroner svarar på både givande och aversiva visuella signaler, och den stora majoriteten svarar i samma riktning som liknar kodning av motiverande framträdande (Kobayashi et al., 2006). Dessutom är aktiviteten hos dessa neuroner korrelerad med beteendemässig framgång vid att utföra arbetsminnesuppgifter (Kobayashi et al., 2006). Även om denna dorsolaterala DA→dorsolaterala frontala cortex-bana verkar vara specifik för primater (Williams och Goldman-Rakic, 1998), kan en funktionellt liknande väg existera i andra arter. I synnerhet utförs många av de kognitiva funktionerna hos primatens dorsolaterala prefrontala cortex av gnagarens mediala prefrontala cortex (Uylings et al., 2003), och det finns bevis för att denna region tar emot DA-motiverande framträdande signaler och kontrollerar framträdande-relaterat beteende (Mantz et al., 1989; Di Chiara, 2002; Joseph et al., 2003; Ventura et al., 2007; Ventura et al., 2008).

Med tanke på bevisen att VTA innehåller både framträdande och värdekodande neuroner och att värdekodande signaler skickas till NAc-skalet, kan framträdande signaler skickas till NAc-kärnan (Figur 7A). NAc-kärnan (men inte skalet) är faktiskt avgörande för att möjliggöra motivation för att övervinna svarskostnader såsom fysisk ansträngning; för att utföra set-skiftande uppgifter som kräver kognitiv flexibilitet; och för att möjliggöra belöningssignaler för att orsaka en förbättring av den allmänna motivationen (Ghods-Sharifi och Floresco, 2010; Floresco et al., 2006; Hall et al., 2001; Kardinal, 2006). I enlighet med kodning av motiverande framträdande, får NAc-kärnan fasiska skurar av DA under båda givande upplevelser (Day et al., 2007) och aversiva upplevelser (Anström et al., 2009).

Slutligen, som diskuterats ovan, kan vissa framträdande kodande DA-neuroner projicera till dorsalstriatum (Figur 7A). Medan vissa regioner i ryggstriatum är involverade i funktioner relaterade till inlärningshandlingsvärden, är ryggstriatum också involverat i funktioner som bör vara engagerade för alla framträdande händelser, såsom orientering, uppmärksamhet, arbetsminne och allmän motivation (Hikosaka et al., 2000; Klingberg, 2010; Palmiter, 2008). Faktum är att en undergrupp av dorsala striatala neuroner är mer känsliga för givande och aversiva händelser än på neutrala händelser (Ravel et al., 1999; Blazquez et al., 2002; Yamada et al., 2004, 2007), även om deras orsaksroll i motiverat beteende ännu inte är känd.

Källor till motiverande värdesignaler

En nyligen genomförd serie studier tyder på att DA-neuroner får motivationsvärdesignaler från en liten kärna i epitalamus, den laterala habenulan (LHb) (Hikosaka, 2010) (Figur 8). LHb utövar potent negativ kontroll över DA-neuroner: LHb-stimulering hämmar DA-neuroner vid korta latenser (Christoph et al., 1986) och kan reglera inlärning på ett motsatt sätt till VTA-stimulering (Shumake et al., 2010). I överensstämmelse med en negativ kontrollsignal har många LHb-neuroner spegelvända fasiska svar på DA-neuroner: LHb-neuroner är inhiberade genom positiv belöning förutsägelsefel och exciterade av negativ belöningsförutsägelsefel (Matsumoto och Hikosaka, 2007, 2009; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). I flera fall uppstår dessa signaler med kortare latenser i LHb, i överensstämmelse med LHb → DA-överföring (Matsumoto och Hikosaka, 2007; Bromberg-Martin et al., 2010a).

 

Figur 8

Hypotesiserade källor till motivationsvärde, framträdande och varningssignaler

LHb kan kontrollera DA-neuroner i hela mellanhjärnan, men flera bevis tyder på att den utövar företrädeskontroll över motivationsvärde som kodar DA-neuroner. För det första kodar LHb-neuroner motivationsvärde på ett sätt som nära speglar värdekodande DA-neuroner - de kodar för både positiva och negativa belöningsförutsägelsefel och svarar i motsatta riktningar på givande och aversiva händelser (Matsumoto och Hikosaka, 2009a; Bromberg-Martin et al., 2010a). För det andra har LHb-stimulering sina mest potenta effekter på DA-neuroner vars egenskaper överensstämmer med värdekodning, inklusive hämning av signaler utan belöning och anatomisk placering i ventromediala SNc (Matsumoto och Hikosaka, 2007, 2009b). För det tredje försämrar lesioner till LHb DA-neuronhämmande svar på aversiva händelser, vilket tyder på en orsaksroll för LHb vid generering av DA-värdesignaler (Gao et al., 1990).

LHb är en del av en mer omfattande neural väg genom vilken DA-neuroner kan kontrolleras av de basala ganglierna (Figur 8). LHb tar emot signaler som liknar belöningsförutsägelsefel genom en projektion från en population av neuroner belägna runt globus pallidus-gränsen (GPb) (Hong och Hikosaka, 2008). När dessa signaler väl når LHb kommer de sannolikt att skickas till DA-neuroner genom en disynaptisk väg där LHb exciterar mellanhjärnans GABA-neuroner som i sin tur hämmar DA-neuroner (Ji och Shepard, 2007; Omelchenko et al., 2009; Brinschwitz et al., 2010). Detta kan ske genom LHb-projektioner till interneuroner i VTA och till en intilliggande GABA-ergisk kärna som kallas den rostromediala tegmentala kärnan (RMTg) (Jhou et al., 2009b) (även kallad "caudal tail of VTA" (Kaufling et al., 2009)). Noterbart är att RMTg-neuroner har svarsegenskaper som liknar LHb-neuroner, kodar för motivationsvärde och har en kraftig hämmande projektion mot dopaminerg mellanhjärna (Jhou et al., 2009a). Således kan den kompletta basala ganglierna för att skicka motivationsvärdesignaler till DA-neuroner vara GPb→LHb→RMTg→DA (Hikosaka, 2010).

En viktig fråga för framtida forskning är om motivationsvärdesignaler kanaliseras enbart genom LHb eller om de bärs av flera ingångsvägar. Speciellt kontrolleras DA-hämningar av aversiva fotchock av aktivitet i mesopontine parabrachial nucleus (PBN) (Coizet et al., 2010) (Figur 8). Denna kärna innehåller neuroner som tar emot direkt input från ryggmärgen som kodar för skadliga förnimmelser och kan hämma DA-neuroner genom excitatoriska projektioner till RMTg (Coizet et al., 2010; Gauriau och Bernard, 2002). Detta tyder på att LHb skickar DA-neuroners motiverande värdesignaler för både givande och aversiva signaler och resultat medan PBN tillhandahåller en komponent av värdesignalen specifikt relaterad till aversiva resultat.

Källor till motiverande framträdande signaler

Mindre är känt om källan till motiverande framträdande signaler i DA-neuroner. En spännande kandidat är den centrala kärnan av amygdala (CeA) som konsekvent har varit inblandad i orientering, uppmärksamhet och allmänna motiverande svar under både givande och aversiva händelser (Holland och Gallagher, 1999; Baxter och Murray, 2002; Merali et al., 2003; Balleine och Killcross, 2006) (Figur 8). CeA och andra amygdala kärnor innehåller många neuroner vars signaler överensstämmer med motiverande framträdande: de signalerar givande och aversiva händelser i samma riktning, förstärks när händelser inträffar oväntat och är korrelerade med beteendemässiga mått på upphetsning (Nishijo et al., 1988; Belova et al., 2007; Shabel och Janak, 2009). Dessa signaler kan skickas till DA-neuroner eftersom CeA har fallande projektioner till hjärnstammen som bär givande och aversiv information (Lee et al., 2005; Pascoe och Kapp, 1985) och CeA är nödvändigt för DA-frigivning under belöningsrelaterade händelser (Phillips et al., 2003a). Dessutom deltar CeA med DA-neuroner i vägar som överensstämmer med våra föreslagna anatomiska och funktionella nätverk för motiverande framträdande. En väg som inkluderar CeA, SNc och dorsala striatum är nödvändig för att lära sig orientera sig mot matriktlinjer (Han et al., 1997; Lee et al., 2005; El-Amamy och Holland, 2007). I överensstämmelse med vår uppdelning av framträdande vs värdesignaler behövs denna väg för att lära sig att orientera sig efter matriktlinjer men inte för att lära sig att närma sig matresultat (Han et al., 1997). En andra väg, inklusive CeA-, SNc-, VTA- och NAc-kärnan, är nödvändig för att belöningssignaler ska orsaka en ökning av den allmänna motivationen att utföra belöningssökande åtgärder (Hall et al., 2001; Corbit och Balleine, 2005; El-Amamy och Holland, 2007).

Förutom CeA kan DA-neuroner ta emot motiverande framträdande signaler från andra källor, såsom framhävningskodande neuroner i den basala framhjärnan (Lin och Nicolelis, 2008; Richardson och DeLong, 1991) och neuroner i PBN (Coizet et al., 2010), även om dessa vägar återstår att undersöka.

Källor för varningssignaler

Det finns flera bra kandidater för att förse DA-neuroner med varningssignaler. Den kanske mest attraktiva kandidaten är den överlägsna colliculus (SC), en kärna i mitthjärnan som tar emot sensorisk input med kort latens från flera sensoriska modaliteter och kontrollerar orienterande reaktioner och uppmärksamhet (Redgrave och Gurney, 2006) (Figur 8). SC har en direkt projektion till SNc och VTA (May et al., 2009; Comoli et al., 2003). Hos sövda djur är SC en viktig kanal för visuella signaler med kort latens för att nå DA-neuroner och trigga DA-frisättning i nedströmsstrukturer (Comoli et al., 2003; Dommett et al., 2005). SC-DA-vägen är bäst lämpad för att förmedla varningssignaler snarare än belönings- och aversionssignaler, eftersom SC-neuroner har lite svar på belöningsleverans och endast har en mild inverkan på DA-aversiva svar (Coizet et al., 2006). Detta antyder en sekvens av händelser där SC-neuroner (1) upptäcker ett stimulus, (2) väljer det som potentiellt viktigt, (3) utlöser en orienterande reaktion för att undersöka stimulansen och (4) samtidigt utlöser ett DA-varningssvar som orsakar en skur av DA i nedströms strukturer (Redgrave och Gurney, 2006).

En andra kandidat för att skicka varningssignaler till DA-neuroner är LHb (Figur 8). Noterbart är att den oväntade starten av en provstartssignal hämmar många LHb-neuroner på ett omvänt sätt till DA-neuronens varningssignal, och detta svar inträffar med kortare latens i LHb i överensstämmelse med en LHb→DA-överföringsriktning (Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). Vi har också anekdotiskt observerat att LHb-neuroner vanligtvis hämmas av oväntade visuella bilder och ljud på ett omvänt sätt till DA-excitationer (MM, ESB-M. och OH, opublicerade observationer) även om detta väntar på en mer systematisk undersökning.

Slutligen, en tredje kandidat för att skicka varningssignaler till DA-neuroner är pedunculopontine tegmental nucleus (PPTg), som projicerar till både SNc och VTA och är involverad i motiverande bearbetning (Winn, 2006) (Figur 8). PPTg är viktigt för att möjliggöra VTA DA-neuronskurar (Grace et al., 2007) inklusive burst-svar på belöningssignaler (Pan och Hyland, 2005). I enlighet med en varningssignal har PPTg-neuroner korta latenssvar på flera sensoriska modaliteter och är aktiva under orienteringsreaktioner (Winn, 2006). Det finns bevis för att PPTg-sensoriska reaktioner påverkas av belöningsvärde och av krav på omedelbar åtgärd (Dormont et al., 1998; Okada et al., 2009) (men se (Pan och Hyland, 2005)). Vissa PPTg-neuroner reagerar också på givande eller motbjudande resultat själva (Dormont et al., 1998; Kobayashi et al., 2002; Ivlieva och Timofeeva, 2003b, a). Det kommer att vara viktigt att testa om signalerna som PPTg skickar till DA-neuroner är relaterade specifikt till varning eller om de innehåller andra motivationssignaler som värde och framträdande.

Detta arbete stöddes av det intramurala forskningsprogrammet vid National Eye Institute. Vi tackar också Amy Arnsten för värdefulla diskussioner.

Ansvarsfriskrivning för förlag: Detta är en PDF-fil av ett oediterat manuskript som har godkänts för publicering. Som en tjänst till våra kunder tillhandahåller vi denna tidiga version av manuskriptet. Manuskriptet kommer att genomgå copyediting, uppsättning och granskning av det resulterande beviset innan det publiceras i sin slutliga formulär. Observera att under tillverkningsprocessen kan det upptäckas fel som kan påverka innehållet och alla juridiska ansvarsfrister som gäller för tidskriften avser.

^FOTNOT1By motiverande salience vi menar en kvantitet som är hög för både givande och aversiva händelser och är låg för motivationsneutrala (icke-belönande och icke-aversiva) händelser. Detta liknar definitionen som ges av (Berridge och Robinson, 1998). Observera att motivationsframträdande framträdande skiljer sig från andra uppfattningar om framträdande som används inom neurovetenskap, såsom incitamentframträdande (som endast gäller önskvärda händelser; (Berridge och Robinson, 1998)) och perceptuell framträdande (vilket gäller motivationsneutrala händelser som rörliga föremål och färgat ljus; (Bisley och Goldberg, 2010))]

^FOTNOT2Observera att motivationsframträdande kodande DA-neuronsignaler skiljer sig från de klassiska begreppen "associabilitet" och "förändring i associerbarhet" som har föreslagits för att reglera graden av förstärkningsinlärning (t.ex.Pearce och Hall, 1980)). Sådana teorier säger att djur lär sig (och justerar inlärningshastigheter) från både positiva och negativa prediktionsfel. Även om dessa DA-neuroner kan bidra till att lära sig av positiva förutsägelsefel, under vilka de kan ha ett starkt svar (t.ex. på oväntad belöning), kanske de inte bidrar till att lära av negativa förutsägelsefel, under vilka de kan ha lite eller inget svar ( t.ex. till oväntad belöning utelämnande) (Fig. 4B).

1. Ahlbrecht M, Weber M. Osäkerhetens upplösning: en experimentell studie. Tidskrift för institutionell och teoretisk ekonomi. 1996;152:593–607.
2. Albin RL, Young AB, Penney JB. Den funktionella anatomin av basala ganglia störningar. Trender inom neurovetenskap. 1989;12:366-375. [PubMed]
3. Anderson AK, Christoff K, Stappen I, Panitz D, Ghahremani DG, Glover G, Gabrieli JD, Sobel N. Dissocierade neurala representationer av intensitet och valens i mänsklig olfaction. Nat Neurosci. 2003;6:196–202. [PubMed]
4. Anstrom KK, Miczek KA, Budygin EA. Ökad fasisk dopaminsignalering i den mesolimbiska vägen under socialt nederlag hos råttor. Neurovetenskap. 2009;161:3–12. [PubMed]
5. Aragona BJ, Day JJ, Roitman MF, Cleaveland NA, Wightman RM, Carelli RM. Regional specificitet i realtidsutvecklingen av fasiska dopaminöverföringsmönster under förvärv av en cue-kokainförening hos råttor. European journal of neuroscience. 2009;30:1889–1899. [PMC gratis artikel] [PubMed]
6. Austin AJ, Duka T. Mekanismer för uppmärksamhet för aptitliga och aversiva resultat vid Pavlovsk konditionering. Beteendehjärnforskning. 2010;213:19–26. [PubMed]
7. Badia P, Harsh J, Abbott B. Att välja mellan förutsägbara och oförutsägbara chockförhållanden: data och teori. Psykologisk bulletin. 1979;86:1107-1131.
8. Balleine BW, Killcross S. Parallell incitamentsbehandling: en integrerad bild av amygdalafunktionen. Trender inom neurovetenskap. 2006;29:272–279. [PubMed]
9. Balleine BW, O'Doherty JP. Människo- och gnagarhomologi i handlingskontroll: kortikostriatala bestämningsfaktorer för målriktad och vanemässig handling. Neuropsykofarmakologi. 2010;35:48–69. [PMC gratis artikel] [PubMed]
10. Barr GA, Moriceau S, Shionoya K, Muzny K, Gao P, Wang S, Sullivan RM. Övergångar i spädbarnsinlärning moduleras av dopamin i amygdala. Nat Neurosci. 2009;12:1364–1366. [PMC gratis artikel] [PubMed]
11. Bassareo V, De Luca MA, Di Chiara G. Differentiellt uttryck av motiverande stimulansegenskaper av dopamin i Nucleus Accumbens Shell kontra Core och Prefrontal Cortex. J Neurosci. 2002;22:4709–4719. [PubMed]
12. Bassareo V, Di Chiara G. Differentiell lyhördhet för dopaminöverföring till matstimuli i nucleus accumbens skal/kärna fack. Neurovetenskap. 1999;89:637-641. [PubMed]
13. Baxter MG, Murray EA. Amygdala och belöning. Nat Rev Neurosci. 2002;3:563–573. [PubMed]
14. Bayer HM, Glimcher PW. Midbrain dopamin neuroner kodar en kvantitativ belöning förutsägelse fel signal. Nervcell. 2005; 47: 129-141. [PMC gratis artikel] [PubMed]
15. Belova MA, Paton JJ, Morrison SE, Salzman CD. Förväntan modulerar neurala svar på behagliga och aversiva stimuli i primater amygdala. Nervcell. 2007;55:970–984. [PMC gratis artikel] [PubMed]
16. Bentivoglio M, Morelli M. Organisationen och kretsarna av mesencefaliska dopaminerga neuroner och fördelningen av dopaminreceptorer i hjärnan. Handbok för kemisk neuroanatomi. 2005:1–107.
17. Berridge KC, Robinson TE. Vilken roll spelar dopamin i belöning: hedonisk påverkan, belöningsinlärning eller incitamentframträdande? Hjärnforskning. 1998;28:309-369. [PubMed]
18. Besson C, Louilot A. Asymmetrisk involvering av mesolimbiska dopaminerga neuroner i affektiv perception. Neurovetenskap. 1995;68:963–968. [PubMed]
19. Birgner C, Nordenankar K, Lundblad M, Mendez JA, Smith C, le Greves M, Galter D, Olson L, Fredriksson A, Trudeau LE, et al. VGLUT2 i dopaminneuroner krävs för psykostimulantinducerad beteendeaktivering. Proceedings of the National Academy of Sciences of the United States of America. 2010;107:389–394. [PMC gratis artikel] [PubMed]
20. Bisley JW, Goldberg ME. Uppmärksamhet, avsikt och prioritet i parietalloben. Årlig översyn av neurovetenskap. 2010;33:1–21. [PMC gratis artikel] [PubMed]
21. Björklund A, Dunnett SB. Dopaminneuronsystem i hjärnan: en uppdatering. Trender inom neurovetenskap. 2007;30:194–202. [PubMed]
22. Blazquez PM, Fujii N, Kojima J, Graybiel AM. En nätverksrepresentation av svarssannolikhet i striatum. Nervcell. 2002;33:973–982. [PubMed]
23. Botvinick MM, Braver TS, Barch DM, Carter CS, Cohen JD. Konfliktövervakning och kognitiv kontroll. Psychol Rev. 2001;108:624–652. [PubMed]
24. Bradley MM, Greenwald MK, Petry MC, Lang PJ. Att minnas bilder: njutning och upphetsning i minnet. J Exp Psychol Lär Mem Cogn. 1992;18:379-390. [PubMed]
25. Braun DA, Mehring C, Wolpert DM. Strukturera lärande i handling. Beteendehjärnforskning. 2010;206:157–165. [PMC gratis artikel] [PubMed]
26. Brinschwitz K, Dittgen A, Madai VI, Lommel R, Geisler S, Veh RW. Glutamaterga axoner från den laterala habenulan slutar huvudsakligen på GABAergiska neuroner i den ventrala mellanhjärnan. Neurovetenskap. 2010;168:463–476. [PubMed]
27. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fasisk excitation av dopaminneuroner i ventral VTA av skadliga stimuli. Proceedings of the National Academy of Sciences of the United States of America. 2009;106:4894–4899. [PMC gratis artikel] [PubMed]
28. Bromberg-Martin ES, Hikosaka O. Mellanhjärnans dopaminneuroner signalerar preferens för förhandsinformation om kommande belöningar. Nervcell. 2009;63:119–126. [PMC gratis artikel] [PubMed]
29. Bromberg-Martin ES, Matsumoto M, Hikosaka O. Distinkt tonisk och fasisk förutseende aktivitet i laterala habenula och dopaminneuroner. Nervcell. 2010a;67:144–155. [PMC gratis artikel] [PubMed]
30. Bromberg-Martin ES, Matsumoto M, Hong S, Hikosaka O. En pallidus-habenula-dopaminväg signalerar härledda stimulusvärden. J Neurophysiol. 2010b;104:1068–1076. [PMC gratis artikel] [PubMed]
31. Bromberg-Martin ES, Matsumoto M, Nakahara H, Hikosaka O. Flera tidsskalor av minne i laterala habenula och dopaminneuroner. Nervcell. 2010c;67:499–510. [PMC gratis artikel] [PubMed]
32. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktivitet hos neurokemiskt heterogena dopaminerga neuroner i substantia nigra under spontana och drivna förändringar i hjärnans tillstånd. J Neurosci. 2009;29:2915–2925. [PubMed]
33. Kardinal RN. Neurala system inblandade i fördröjd och probabilistisk förstärkning. Neuralt nät. 2006;19:1277–1301. [PubMed]
34. Cheer JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM. Koordinerad ackumbal dopaminfrisättning och neural aktivitet driver målriktat beteende. Nervcell. 2007;54:237–244. [PubMed]
35. Cheramy A, Kemel ML, Gauchy C, Desce JM, Galli T, Barbeito L, Glowinski J. Roll av excitatoriska aminosyror i den direkta och indirekta presynaptiska regleringen av dopaminfrisättning från nervterminaler av nigrostriatala dopaminneuroner. Aminosyror. 1991;1:351-363. [PubMed]
36. Chew SH, Ho JL. Hope: en empirisk studie av attityd till tidpunkten för osäkerhetslösning. Journal of Risk and Uncertainty. 1994;8:267-288.
37. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensoriska stimuli förändrar utsläppshastigheten för dopamin (DA) neuroner: bevis för två funktionella typer av DA-celler i substantia nigra. Brain Res. 1980; 189: 544-549. [PubMed]
38. Christoph GR, Leonzio RJ, Wilcox KS. Stimulering av den laterala habenulan hämmar dopamininnehållande neuroner i substantia nigra och ventrala tegmentala området hos råttan. J Neurosci. 1986;6:613-619. [PubMed]
39. Chuhma N, Choi WY, Mingote S, Rayport S. Samöverföring av dopaminneuron glutamat: frekvensberoende modulering i mesoventromedial projektion. Neurovetenskap. 2009;164:1068–1083. [PMC gratis artikel] [PubMed]
40. Cohen JD, Braver TS, Brown JW. Beräkningsperspektiv på dopaminfunktion i prefrontal cortex. Aktuell åsikt inom neurobiologi. 2002;12:223–229. [PubMed]
41. Coizet V, Dommett EJ, Klop EM, Redgrave P, Overton PG. Den parabrachiala kärnan är en kritisk länk i överföringen av nociceptiv information med kort latens till dopaminerga neuroner i mitthjärnan. Neurovetenskap. 2010;168:263–272. [PMC gratis artikel] [PubMed]
42. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptiva svar från dopaminerga neuroner i mitthjärnan moduleras av den överlägsna colliculus hos råttan. Neurovetenskap. 2006;139:1479–1493. [PubMed]
43. Comoli E, Coizet V, Boyes J, Bolam JP, Canteras NS, Quirk RH, Overton PG, Redgrave P. En direkt projektion från superior colliculus till substantia nigra för att upptäcka framträdande visuella händelser. Nat Neurosci. 2003;6:974–980. [PubMed]
44. Corbit LH, Balleine BW. Dubbel dissociation av basolaterala och centrala amygdala lesioner på de allmänna och resultatspecifika formerna av pavlovisk-instrumentell överföring. J Neurosci. 2005;25:962–970. [PubMed]
45. Dalley JW, Laane K, Theobald DE, Armstrong HC, Corlett PR, Chudasama Y, Robbins TW. Tidsbegränsad modulering av aptitligt Pavlovian-minne av D1- och NMDA-receptorer i nucleus accumbens. Proceedings of the National Academy of Sciences of the United States of America. 2005;102:6189–6194. [PMC gratis artikel] [PubMed]
46. Daly HB. Preferensen för oförutsägbarhet är omvänd när oförutsägbar icke-belöning är aversiv: procedurer, data och teorier om aptitlig observerande svarsinhämtning. I: Gormezano I, Wasserman EA, redaktörer. Inlärning och minne: de beteendemässiga och biologiska substraten. LE Associates; 1992. s. 81–104.
47. Davidson MC, Horvitz JC, Tottenham N, Fossella JA, Watts R, Ulug AM, Casey BJ. Differentiell caudat- och cingulataktivering efter oväntade icke-belönande stimuli. NeuroImage. 2004;23:1039–1045. [PubMed]
48. Day JJ, Roitman MF, Wightman RM, Carelli RM. Associativ inlärning förmedlar dynamiska förändringar i dopaminsignalering i nucleus accumbens. Nat Neurosci. 2007;10:1020–1028. [PubMed]
49. Dayan P, Niv Y. Förstärkningsinlärning: det goda, det dåliga och det fula. Aktuell åsikt inom neurobiologi. 2008;18:185–196. [PubMed]
50. Descarries L, Berube-Carriere N, Riad M, Bo GD, Mendez JA, Trudeau LE. Glutamat i dopaminneuroner: synaptisk kontra diffus överföring. Hjärnforskningsöversikter. 2008;58:290–302. [PubMed]
51. Di Chiara G. Nucleus accumbens skal och kärndopamin: differentiell roll i beteende och beroende. Beteendehjärnforskning. 2002;137:75–114. [PubMed]
52. Dommett E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N, Mayhew JE, Overton PG, Redgrave P. Hur visuella stimuli aktiverar dopaminerga neuroner med kort latens. Vetenskap. 2005;307:1476–1479. [PubMed]
53. Dormont JF, Conde H, Farin D. Rollen av den pedunculopontine tegmentala kärnan i förhållande till betingad motorisk prestanda hos katten. I. Kontextberoende och förstärkningsrelaterad enstaka enhetsaktivitet. Experimentell hjärnforskning. Experimentelle Hirnforschung. 1998;121:401–410. [PubMed]
54. Duzel E, Bunzeck N, Guitart-Masip M, Duzel S. NOvelty-relaterad motivation av förväntan och utforskning av dopamin (NOMAD): implikationer för hälsosamt åldrande. Neurovetenskap och biobeteenderecensioner. 2010;34:660–669. [PubMed]
55. El-Amamy H, Holland PC. Dissocierbara effekter av att koppla bort amygdalas centrala kärna från det ventrala tegmentala området eller substantia nigra på inlärd orientering och incitamentmotivation. European journal of neuroscience. 2007;25:1557–1567. [PMC gratis artikel] [PubMed]
56. Ettenberg A. Motståndarens processegenskaper hos självadministrerat kokain. Neurovetenskap och biobeteenderecensioner. 2004;27:721–728. [PubMed]
57. Fadok JP, Dickerson TM, Palmiter RD. Dopamin är nödvändigt för cue-beroende rädsla conditioning. J Neurosci. 2009;29:11089–11097. [PMC gratis artikel] [PubMed]
58. Fairhall AL, Lewen GD, Bialek W, de Ruyter Van Steveninck RR. Effektivitet och tvetydighet i en adaptiv neural kod. Natur. 2001;412:787–792. [PubMed]
59. Faure A, Haberland U, Conde F, El Massioui N. Lesion till det nigrostriatala dopaminsystemet stör bildningen av stimulus-responsvanor. J Neurosci. 2005;25:2771–2780. [PubMed]
60. Faure A, Reynolds SM, Richard JM, Berridge KC. Mesolimbisk dopamin i lust och rädsla: möjliggör att motivation kan genereras av lokaliserade glutamatstörningar i nucleus accumbens. J Neurosci. 2008;28:7184–7192. [PMC gratis artikel] [PubMed]
61. Fiorillo CD, Newsome WT, Schultz W. Den tidsmässiga precisionen av belöningsspecifikation i dopaminneuroner. Nat Neurosci. 2008; 11: 966-973. [PubMed]
62. Fiorillo CD, Tobler PN, Schultz W. Diskret kodning av belöningssannolikhet och osäkerhet av dopaminneuroner. Vetenskap. 2003; 299: 1898-1902. [PubMed]
63. Floresco SB, Ghods-Sharifi S, Vexelman C, Magyar O. Dissocierbara roller för nucleus accumbens kärna och skal vid reglering av uppsättningsförskjutning. J Neurosci. 2006;26:2449–2457. [PubMed]
64. Ford CP, Gantz SC, Phillips PE, Williams JT. Kontroll av extracellulär dopamin vid dendrit- och axonterminaler. J Neurosci. 2010;30:6975–6983. [PMC gratis artikel] [PubMed]
65. Frank MJ. Dynamisk dopaminmodulering i basalganglierna: en neuroberäkningsredovisning av kognitiva underskott i medicinsk och icke-medicinerad Parkinsonism. Tidskrift för kognitiv neurovetenskap. 2005;17:51–72. [PubMed]
66. Frank MJ, Fossella JA. Neurogenetik och farmakologi av lärande, motivation och kognition. Neuropsykofarmakologi. 2010 [PMC gratis artikel] [PubMed]
67. Frank MJ, Seeberger LC, O'Reilly RC. Med morot eller stick: kognitiv förstärkning lärande i parkinsonism. Vetenskap. 2004; 306: 1940-1943. [PubMed]
68. Gallistel CR, Gibbon J. Tid, hastighet och konditionering. Psychol Rev. 2000;107:289–344. [PubMed]
69. Gao DM, Jeaugey L, Pollak P, Benabid AL. Intensitetsberoende nociceptiva svar från förmodade dopaminerga neuroner från substantia nigra, pars compacta hos råttan och deras modifiering genom laterala habenula-ingångar. Brain Res. 1990;529:315–319. [PubMed]
70. Gauriau C, Bernard JF. Smärtvägar och parabrachial kretsar hos råttan. Experimentell fysiologi. 2002;87:251–258. [PubMed]
71. Geisler S, Zahm DS. Afferenter av det ventrala tegmentala området i det anatomiska råttsubstratet för integrerande funktioner. Journal of comparative neurology. 2005;490:270–294. [PubMed]
72. Gerfen CR, Engber TM, Mahan LC, Susel Z, Chase TN, Monsma FJ, Jr, Sibley DR. D1 och D2 dopaminreceptorreglerade genuttryck av striatonigral och striatopallidala neuroner. Vetenskap. 1990; 250: 1429-1432. [PubMed]
73. Ghods-Sharifi S, Floresco SB. Differentiella effekter på ansträngningsdiskontering inducerad av inaktiveringar av nucleus accumbens kärna eller skal. Beteende neurovetenskap. 2010;124:179–191. [PubMed]
74. Gonon FG. Icke-linjärt förhållande mellan impulsflöde och dopamin frisatt av dopaminerga nervceller från råttas mitthjärna som studerats av in vivo elektrokemi. Neurovetenskap. 1988;24:19–28. [PubMed]
75. Goto Y, Yang CR, Otani S. Funktionell och dysfunktionell synaptisk plasticitet i prefrontal cortex: roller i psykiatriska störningar. Biologisk psykiatri. 2010;67:199–207. [PubMed]
76. Grace AA. Fasisk kontra tonisk dopaminfrisättning och modulering av dopamin-systemresponsivitet: en hypotes för etsologin av schizofreni. Neuroscience. 1991; 41: 1-24. [PubMed]
77. Grace AA, Bunney BS. Intracellulär och extracellulär elektrofysiologi hos nigral dopaminerga nervceller – 1. Identifiering och karakterisering. Neurovetenskap. 1983; 10: 301–315. [PubMed]
78. Grace AA, Floresco SB, Goto Y, Lodge DJ. Reglering av avfyring av dopaminerga neuroner och kontroll av målriktade beteenden. Trender inom neurovetenskap. 2007;30:220–227. [PubMed]
79. Grecksch G, Matties H. Rollen av dopaminerga mekanismer i råtta hippocampus för konsolidering i en ljusstyrka diskriminering. Psykofarmakologi (Berl) 1981;75:165–168. [PubMed]
80. Guarraci FA, Kapp BS. En elektrofysiologisk karakterisering av ventrala tegmentala dopaminerga neuroner under differentiell pavlovisk rädslakonditionering i den vakna kaninen. Beteendehjärnforskning. 1999;99:169-179. [PubMed]
81. Haber SN, Fudge JL, McFarland NR. Striatonigrostriatala vägar i primater bildar en stigande spiral från skalet till den dorsolaterala striatumen. J Neurosci. 2000; 20: 2369-2382. [PubMed]
82. Hall J, Parkinson JA, Connor TM, Dickinson A, Everitt BJ. Involvering av den centrala kärnan av amygdala och nucleus accumbens kärna i att förmedla Pavlovian influenser på instrumentellt beteende. European journal of neuroscience. 2001;13:1984–1992. [PubMed]
83. Han JS, McMahan RW, Holland P, Gallagher M. Rollen av en amygdalo-nigrostriatal väg i associativt lärande. J Neurosci. 1997;17:3913–3919. [PubMed]
84. Harris GC, Aston-Jones G. Upphetsning och belöning: en dikotomi i orexinfunktion. Trender inom neurovetenskap. 2006;29:571–577. [PubMed]
85. Herry C, Bach DR, Esposito F, Di Salle F, Perrig WJ, Scheffler K, Luthi A, Seifritz E. Bearbetning av temporal oförutsägbarhet i människans och djurets amygdala. J Neurosci. 2007;27:5958–5966. [PubMed]
86. Hikida T, Kimura K, Wada N, Funabiki K, Nakanishi S. Distinkta roller för synaptisk överföring i direkta och indirekta striatalvägar för att belöna och aversive beteende. Nervcell. 2010; 66: 896-907. [PubMed]
87. Hikosaka O. Basala ganglia mekanismer för belöningsorienterad ögonrörelse. Annals of the New York Academy of Sciences. 2007;1104:229–249. [PubMed]
88. Hikosaka O. Habenulan: från stressflykt till värdebaserat beslutsfattande. Nat Rev Neurosci. 2010;11:503–513. [PMC gratis artikel] [PubMed]
89. Hikosaka O, Takikawa Y, Kawagoe R. Basalgangliernas roll i kontrollen av ändamålsenliga saccadiska ögonrörelser. Fysiologiska översikter. 2000;80:953–978. [PubMed]
90. Hitchcott PK, Quinn JJ, Taylor JR. Dubbelriktad modulering av målriktade handlingar av prefrontalt kortikalt dopamin. Cereb Cortex. 2007;17:2820–2827. [PubMed]
91. Hnasko TS, Chuhma N, Zhang H, Goh GY, Sulzer D, Palmiter RD, Rayport S, Edwards RH. Vesikulär glutamattransport främjar dopaminlagring och glutamatkärnfrisättning in vivo. Nervcell. 2010;65:643–656. [PMC gratis artikel] [PubMed]
92. Holland PC, Gallagher M. Amygdala-kretsar i uppmärksamhets- och representationsprocesser. Trender inom kognitionsvetenskap. 1999;3:65–73. [PubMed]
93. Hollerman JR, Schultz W. Dopaminneuroner rapporterar ett fel i den tidsmässiga förutsägelsen av belöning under inlärning. Nat Neurosci. 1998;1:304–309. [PubMed]
94. Holroyd CB, Coles MG. Den neurala grunden för mänsklig felbearbetning: förstärkningsinlärning, dopamin och den felrelaterade negativiteten. Psychol Rev. 2002;109:679–709. [PubMed]
95. Hong S, Hikosaka O. Globus pallidus skickar belöningsrelaterade signaler till den laterala habenulan. Nervcell. 2008;60:720–729. [PMC gratis artikel] [PubMed]
96. Horvitz JC. Mesolimbokortikala och nigrostriatala dopaminreaktioner till framträdande icke-belöningshändelser. Neuroscience. 2000; 96: 651-656. [PubMed]
97. Horvitz JC, Stewart T, Jacobs BL. Burstaktivitet hos ventrala tegmentala dopaminneuroner framkallas av sensoriska stimuli i den vakna katten. Brain Res. 1997; 759: 251-258. [PubMed]
98. Houk JC, Adams JL, Barto AG. En modell av hur basalganglierna genererar och använder neurala signaler som förutsäger förstärkning. I: Houk JC, Davis JL, Beiser DG, redaktörer. Modeller för informationsbehandling i basala ganglia. Cambridge, MA: MIT Press; 1995. s. 249–274.
99. Ikemoto S. Hjärnbelöningskretsar bortom det mesolimbiska dopaminsystemet: En neurobiologisk teori. Neurovetenskap och biobeteenderecensioner. 2010 [PMC gratis artikel] [PubMed]
100. Ito R, Dalley JW, Howes SR, Robbins TW, Everitt BJ. Dissociation i konditionerad dopaminfrisättning i Nucleus Accumbens kärna och skal som svar på kokainsignaler och under kokainsökande beteende hos råttor. J Neurosci. 2000;20:7489–7495. [PubMed]
101. Ivlieva NY, Timofeeva NO. Neuronaktivitet i pedunkulopontinkärnan under en matrelaterad operant betingad reflex. Neurovetenskap och beteendefysiologi. 2003a;33:919–928. [PubMed]
102. Ivlieva NY, Timofeeva NO. Neuronaktivitet i pedunculopontine kärnan under en operant betingad reflex. Neurovetenskap och beteendefysiologi. 2003b;33:499–506. [PubMed]
103. Jalabert M, Aston-Jones G, Herzog E, Manzoni O, Georges F. Roll av sängkärnan i stria terminalis i kontrollen av ventrala tegmentala dopaminneuroner. Framsteg inom neuro-psykofarmakologi och biologisk psykiatri. 2009;33:1336–1346. [PMC gratis artikel] [PubMed]
104. Jeanblanc J, Hoeltzel A, Louilot A. Dissociation i involveringen av dopaminerga neuroner som innerverar kärnan och skalets subregioner av nucleus accumbens i latent hämning och affektiv perception. Neurovetenskap. 2002;111:315–323. [PubMed]
105. Jensen J, Smith AJ, Willeit M, Crawley AP, Mikulis DJ, Vitcu I, Kapur S. Separata hjärnregioner kodar för framträdande vs valens under belöningsprediktion hos människor. Kartläggning av mänsklig hjärna. 2007;28:294–302. [PubMed]
106. Jhou TC, Fields HL, Baxter MG, Saper CB, Holland PC. Den rostromediala tegmentala kärnan (RMTg), en GABAergisk afferent mot dopaminneuron i mitten av hjärnan, kodar för aversiva stimuli och hämmar motorresponser. Nervcell. 2009a; 61: 786-800. [PMC gratis artikel] [PubMed]
107. Jhou TC, Geisler S, Marinelli M, Degarmo BA, Zahm DS. Mesopontin rostromedial tegmental nucleus: En struktur som riktas mot den laterala habenulan som skjuter ut mot det ventrala tegmentala området av Tsai och substantia nigra compacta. Journal of comparative neurology. 2009b;513:566–596. [PMC gratis artikel] [PubMed]
108. Ji H, Shepard PD. Lateral habenula stimulering inhiberar dopaminneuroner i råttmidhinnan genom en GABA (A) -receptormedierad mekanism. J Neurosci. 2007; 27: 6923-6930. [PubMed]
109. Jin X, Costa RM. Start/stopp-signaler framträder i nigrostriatala kretsar under sekvensinlärning. Natur. 2010;466:457–462. [PMC gratis artikel] [PubMed]
110. Johansen JP, Fields HL. Glutamatergisk aktivering av främre cingulate cortex producerar en aversiv undervisningssignal. Nat Neurosci. 2004;7:398–403. [PubMed]
111. Joseph MH, Datla K, Young AM. Tolkningen av mätningen av nucleus accumbens dopamin genom in vivo dialys: kicken, suget eller kognitionen? Neurovetenskap och biobeteenderecensioner. 2003;27:527–541. [PubMed]
112. Joshua M, Adler A, Bergman H. Dopamins dynamik vid kontroll av motoriskt beteende. Aktuell åsikt inom neurobiologi. 2009a;19:615–620. [PubMed]
113. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Mellanhjärnans dopaminerga neuroner och striatala kolinerga interneuroner kodar för skillnaden mellan belöning och aversiva händelser vid olika epoker av probabilistiska klassiska konditioneringsförsök. J Neurosci. 2008;28:11673–11684. [PubMed]
114. Joshua M, Adler A, Prut Y, Vaadia E, Wickens JR, Bergman H. Synkronisering av mellanhjärnans dopaminerga neuroner förstärks av givande händelser. Nervcell. 2009b;62:695–704. [PubMed]
115. Kable JW, Glimcher PW. Beslutets neurobiologi: konsensus och kontrovers. Nervcell. 2009;63:733–745. [PMC gratis artikel] [PubMed]
116. Kakade S, Dayan P. Dopamin: generalisering och bonusar. Neurala nätverk. 2002;15:549–559. [PubMed]
117. Kapur S. Psykos som ett tillstånd av avvikande framträdande: ett ramverk som kopplar samman biologi, fenomenologi och farmakologi vid schizofreni. American Journal of Psychiatry. 2003;160:13–23. [PubMed]
118. Kaufling J, Veinante P, Pawlowski SA, Freund-Mercier MJ, Barrot M. Afferenter till den GABAergiska svansen av det ventrala tegmentala området hos råttan. Journal of comparative neurology. 2009;513:597–621. [PubMed]
119. Kennerley SW, Wallis JD. Utvärdera val av enstaka neuroner i frontalloben: resultatvärde kodat över flera beslutsvariabler. European journal of neuroscience. 2009;29:2061–2073. [PMC gratis artikel] [PubMed]
120. Kim H, Sul JH, Huh N, Lee D, Jung MW. Striatums roll vid uppdatering av värden för valda åtgärder. J Neurosci. 2009;29:14701–14712. [PubMed]
121. Kiyatkin EA. Funktionella egenskaper hos förmodade dopamininnehållande och andra ventrala tegmentala neuroner hos råttor vid medvetande. Int J Neurosci. 1988a;42:21–43. [PubMed]
122. Kiyatkin EA. Morfininducerad modifiering av de funktionella egenskaperna hos ventrala tegmentala områdesneuroner i medveten råtta. Praktikant J Neurovetenskap. 1988b;41:57–70. [PubMed]
123. Klingberg T. Arbetsminnets träning och plasticitet. Trender inom kognitionsvetenskap. 2010;14:317–324. [PubMed]
124. Kobayashi S, Nomoto K, Watanabe M, Hikosaka O, Schultz W, Sakagami M. Influenser av givande och aversiva resultat på aktivitet i makak lateral prefrontal cortex. Nervcell. 2006;51:861–870. [PubMed]
125. Kobayashi S, Schultz W. Inverkan av belöningsförseningar på svar från dopaminneuroner. J Neurosci. 2008;28:7837–7846. [PMC gratis artikel] [PubMed]
126. Kobayashi Y, Inoue Y, Yamamoto M, Isa T, Aizawa H. Bidrag av pedunculopontine tegmentala kärnneuroner till utförandet av visuellt guidade saccade-uppgifter hos apor. J Neurophysiol. 2002;88:715–731. [PubMed]
127. Koyama T, Tanaka YZ, Mikami A. Nociceptiva neuroner i makakens främre cingulate aktiveras under förväntan av smärta. Neuroreport. 1998;9:2663-2667. [PubMed]
128. Kravitz AV, Freeze BS, Parker PR, Kay K, Thwin MT, Deisseroth K, Kreitzer AC. Reglering av parkinsoniska motoriska beteenden genom optogenetisk kontroll av basala gangliakretsar. Natur. 2010 [PMC gratis artikel] [PubMed]
129. Lammel S, Hetzel A, Hackel O, Jones I, Liss B, Roeper J. Unika egenskaper hos mesoprefrontala neuroner inom ett dubbel mesokortikolimbiskt dopaminsystem. Nervcell. 2008; 57: 760-773. [PubMed]
130. Lang PJ, Davis M. Emotion, motivation, and the brain: reflex foundations in animal and human research. Framsteg inom hjärnforskning. 2006;156:3–29. [PubMed]
131. Lapish CC, Kroener S, Durstewitz D, Lavin A, Seamans JK. Förmågan hos det mesokortikala dopaminsystemet att fungera i distinkta temporala lägen. Psykofarmakologi (Berl) 2007;191:609–625. [PubMed]
132. Lee D, Seo H. Mekanismer för förstärkningsinlärning och beslutsfattande i primaternas dorsolaterala prefrontala cortex. Annals of the New York Academy of Sciences. 2007;1104:108–122. [PubMed]
133. Lee HJ, Groshek F, Petrovich GD, Cantalini JP, Gallagher M, Holland PC. Roll av amygdalo-nigral kretsar i konditionering av en visuell stimulans parad med mat. J Neurosci. 2005;25:3881–3888. [PMC gratis artikel] [PubMed]
134. Levita L, Dalley JW, Robbins TW. Nucleus accumbens dopamin och lärd rädsla återbesökt: en recension och några nya rön. Beteendehjärnforskning. 2002;137:115–127. [PubMed]
135. Lin SC, Nicolelis MA. Neuronal ensemble brister i den basala framhjärnan kodar framträdande oberoende av valens. Nervcell. 2008;59:138–149. [PMC gratis artikel] [PubMed]
136. Lisman JE, Grace AA. Hippocampal-VTA-slingan: kontrollerar uppgiften av information till långsiktigt minne. Nervcell. 2005; 46: 703-713. [PubMed]
137. Litt A, Plassmann H, Shiv B, Rangel A. Dissocierande värderings- och framträdande signaler under beslutsfattande. Cereb Cortex. 2010 i pressen. [PubMed]
138. Liu Z, Richmond BJ, Murray EA, Saunders RC, Steenrod S, Stubblefield BK, Montague DM, Ginns EI. DNA-inriktning av rhinal cortex D2-receptorprotein blockerar reversibelt inlärning av ledtrådar som förutsäger belöning. Proceedings of the National Academy of Sciences of the United States of America. 2004;101:12336–12341. [PMC gratis artikel] [PubMed]
139. Liu ZH, Shin R, Ikemoto S. Dubbla roll av mediala A10 dopaminneuroner i affektiv kodning. Neuropsykofarmakologi. 2008;33:3010–3020. [PMC gratis artikel] [PubMed]
140. Ljungberg T, Apicella P, Schultz W. Svar från apa-dopaminneuroner under inlärning av beteendereaktioner. J Neurophysiol. 1992; 67: 145-163. [PubMed]
141. Lobo MK, Covington HE, 3rd, Chaudhury D, Friedman AK, Sun H, Damez-Werno D, Dietz DM, Zaman S, Koo JW, Kennedy PJ, et al. Celltypsspecifik förlust av BDNF-signalering efterliknar optogenetisk kontroll av kokainbelöning. Vetenskap. 2010;330:385–390. [PMC gratis artikel] [PubMed]
142. Maeda H, Mogenson GJ. Effekter av perifer stimulering på aktiviteten av neuroner i det ventrala tegmentala området, substantia nigra och mitthjärnans retikulära bildning hos råttor. Hjärnforskningsbulletin. 1982;8:7–14. [PubMed]
143. Mantz J, Thierry AM, Glowinski J. Effekt av skadlig svansnypa på urladdningshastigheten för mesokortikala och mesolimbiska dopaminneuroner: selektiv aktivering av det mesokortikala systemet. Brain Res. 1989;476:377-381. [PubMed]
144. Margolis EB, Lock H, Hjelmstad GO, Fields HL. Det ventrala tegmentala området återbesökt: finns det en elektrofysiologisk markör för dopaminerga neuroner? Journal of Physiology. 2006;577:907–924. [PMC gratis artikel] [PubMed]
145. Margolis EB, Mitchell JM, Ishikawa J, Hjelmstad GO, Fields HL. Midbrain dopaminneuroner: projektionsmål bestämmer aktivitetspotentialens varaktighet och dopamin D (2) receptorinhibering. J Neurosci. 2008; 28: 8908-8913. [PubMed]
146. Mark GP, Blander DS, Hoebel BG. En konditionerad stimulans minskar extracellulär dopamin i kärnan accumbens efter utvecklingen av en lärd smakaversion. Brain Res. 1991; 551: 308-310. [PubMed]
147. Marowsky A, Yanagawa Y, Obata K, Vogt KE. En specialiserad underklass av interneuroner förmedlar dopaminerg förenkling av amygdalafunktionen. Nervcell. 2005;48:1025–1037. [PubMed]
148. Matsumoto M, Hikosaka O. Lateral habenula som en källa till negativa belöningssignaler i dopaminneuroner. Natur. 2007;447:1111–1115. [PubMed]
149. Matsumoto M, Hikosaka O. Representation av negativt motivationsvärde i primatens laterala habenula. Nat Neurosci. 2009a;12:77–84. [PMC gratis artikel] [PubMed]
150. Matsumoto M, Hikosaka O. Två typer av dopaminneuron förmedlar tydligt positiva och negativa motivationssignaler. Natur. 2009b;459:837–841. [PMC gratis artikel] [PubMed]
151. Matsumoto M, Matsumoto K, Abe H, Tanaka K. Medial prefrontal cellaktivitet som signalerar förutsägelsefel av åtgärdsvärden. Nat Neurosci. 2007;10:647–656. [PubMed]
152. May PJ, McHaffie JG, Stanford TR, Jiang H, Costello MG, Coizet V, Hayes LM, Haber SN, Redgrave P. Tectonigral projections in the primate: a pathway for pre-attentive sensory input to midbrain dopaminerga neurons. European journal of neuroscience. 2009;29:575–587. [PMC gratis artikel] [PubMed]
153. Mazzoni P, Hristova A, Krakauer JW. Varför går vi inte snabbare? Parkinsons sjukdom, rörelsekraft och implicit motivation. J Neurosci. 2007;27:7105–7116. [PubMed]
154. Merali Z, Michaud D, McIntosh J, Kent P, Anisman H. Differentiell involvering av amygdaloida CRH-system i stimulans framträdande och valens. Framsteg inom neuro-psykofarmakologi och biologisk psykiatri. 2003;27:1201–1212. [PubMed]
155. Mirenowicz J, Schultz W. Preferentiell aktivering av mellanhjärnans dopaminneuroner genom aptitretande snarare än aversiva stimuli. Natur. 1996;379:449-451. [PubMed]
156. Molina-Luna K, Pekanovic A, Rohrich S, Hertler B, Schubring-Giese M, Rioult-Pedotti MS, Luft AR. Dopamin i motorisk cortex är nödvändigt för inlärning av färdigheter och synaptisk plasticitet. PLoS ETT. 2009;4:e7082. [PMC gratis artikel] [PubMed]
157. Montague PR, Berns GS. Neural ekonomi och de biologiska substraten för värdering. Nervcell. 2002;36:265–284. [PubMed]
158. Montague PR, Dayan P, Sejnowski TJ. En ram för mesencefaliska dopaminsystem baserade på prediktivt hebbiskt lärande. J Neurosci. 1996; 16: 1936-1947. [PubMed]
159. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Tillfälliga men distinkta meddelanden från mellanhjärnans dopamin och striatala toniskt aktiva neuroner. Nervcell. 2004;43:133–143. [PubMed]
160. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Dopaminneuroner i mitthjärnan kodar beslut för framtida åtgärder. Nat Neurosci. 2006;9:1057–1063. [PubMed]
161. Morrison SE, Salzman CD. Konvergensen av information om givande och aversiva stimuli i enstaka neuroner. J Neurosci. 2009;29:11471–11483. [PMC gratis artikel] [PubMed]
162. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopaminneuroner kan representera kontextberoende prediktionsfel. Nervcell. 2004;41:269–280. [PubMed]
163. Nakamura K, Hikosaka O. Dopamins roll i primatens caudatkärna i belöningsmodulering av saccader. J Neurosci. 2006;26:5360–5369. [PubMed]
164. Neve KA, Seamans JK, Trantham-Davidson H. Dopaminreceptorsignalering. Journal of receptor- och signaltransduktionsforskning. 2004;24:165–205. [PubMed]
165. Nishijo H, Ono T, Nishino H. Singelneuronsvar i amygdala hos alert apa under komplex sensorisk stimulering med affektiv betydelse. J Neurosci. 1988;8:3570-3583. [PubMed]
166. Niv Y, Daw ND, Joel D, dayan P. Tonic dopamin: alternativkostnader och kontroll av responskraft. Psykofarmakologi. 2007;191:507–520. [PubMed]
167. Nomoto K, Schultz W, Watanabe T, Sakagami M. Temporellt utökade dopaminsvar på perceptuellt krävande belöningsprediktiva stimuli. J Neurosci. 2010;30:10692–10702. [PMC gratis artikel] [PubMed]
168. Okada K, Toyama K, Inoue Y, Isa T, Kobayashi Y. Olika pedunculopontine tegmentala neuroner signalerar förutspådda och faktiska uppdragsbelöningar. J Neurosci. 2009;29:4858–4870. [PubMed]
169. Omelchenko N, Bell R, Sesack SR. Laterala habenula-projektioner till dopamin- och GABA-neuroner i råttans ventrala tegmentala område. European journal of neuroscience. 2009;30:1239–1250. [PMC gratis artikel] [PubMed]
170. Owesson-White CA, Ariansen J, Stuber GD, Cleaveland NA, Cheer JF, Wightman RM, Carelli RM. Neural kodning av kokainsökande beteende sammanfaller med fasisk dopaminfrisättning i accumbens kärna och skal. European journal of neuroscience. 2009;30:1117–1127. [PMC gratis artikel] [PubMed]
171. Oyama K, Hernadi I, Iijima T, Tsutsui K. Belöningsförutsägelsefelkodning i dorsala striatala neuroner. J Neurosci. 2010;30:11447–11457. [PubMed]
172. Packard MG, Vit NM. Dissociation av hippocampus och caudate kärnminnessystem genom efterträning av intracerebral injektion av dopaminagonister. Beteende neurovetenskap. 1991;105:295–306. [PubMed]
173. Padoa-Schioppa C. Orbitofrontal cortex och beräkning av ekonomiskt värde. Annals of the New York Academy of Sciences. 2007;1121:232–253. [PubMed]
174. Palmiter RD. Dopaminsignalering i dorsala striatum är avgörande för motiverade beteenden: lärdomar från möss med dopaminbrist. Annals of the New York Academy of Sciences. 2008;1129:35–46. [PMC gratis artikel] [PubMed]
175. Pan WX, Hyland BI. Pedunculopontine tegmental nucleus kontrollerar betingade svar från mellanhjärnans dopaminneuroner hos råttor som beter sig. J Neurosci. 2005;25:4725–4732. [PubMed]
176. Pan WX, Schmidt R, Wickens JR, Hyland BI. Tredelad utrotningsmekanism föreslås av dopaminneuronaktivitet och tidsskillnadsmodell. J Neurosci. 2008;28:9619–9631. [PubMed]
177. Parker JG, Zweifel LS, Clark JJ, Evans SB, Phillips PE, Palmiter RD. Frånvaro av NMDA-receptorer i dopaminneuroner dämpar dopaminfrisättning men inte betingat tillvägagångssätt under Pavlovsk konditionering. Proceedings of the National Academy of Sciences of the United States of America. 2010 [PMC gratis artikel] [PubMed]
178. Pascoe JP, Kapp BS. Elektrofysiologiska egenskaper hos amygdaloida centrala kärnneuroner under Pavlovsk rädslakonditionering hos kanin. Beteendehjärnforskning. 1985;16:117–133. [PubMed]
179. Pascucci T, Ventura R, Latagliata EC, Cabib S, Puglisi-Allegra S. Den mediala prefrontala cortexen bestämmer accumbens dopaminrespons på stress genom de motsatta influenserna av noradrenalin och dopamin. Cereb Cortex. 2007;17:2796–2804. [PubMed]
180. Pearce JM, Hall G. En modell för Pavlovian inlärning: variationer i effektiviteten av betingade men inte av ovillkorade stimuli. Psychol Rev. 1980;87:532–552. [PubMed]
181. Pezze MA, Feldon J. Mesolimbiska dopaminerga vägar i rädslakonditionering. Framsteg inom neurobiologi. 2004;74:301–320. [PubMed]
182. Phillips AG, Ahn S, Howland JG. Amygdalar kontroll av det mesokortikolimbiska dopaminsystemet: parallella vägar till motiverat beteende. Neurovetenskap och biobeteenderecensioner. 2003a;27:543–554. [PubMed]
183. Phillips GD, Salussolia E, Hitchcott PK. Roll av mesoamygdaloid dopaminprojektion i känslomässigt lärande. Psykofarmakologi. 2010 [PubMed]
184. Phillips PE, Stuber GD, Heien ML, Wightman RM, Carelli RM. Andra dopaminfrisättningen främjar kokainsökning. Natur. 2003b;422:614–618. [PubMed]
185. Porrino LJ, Goldman-Rakic ​​PS. Hjärnstammens innervering av prefrontal och främre cingulat cortex i rhesusapan avslöjad genom retrograd transport av HRP. Journal of comparative neurology. 1982;205:63–76. [PubMed]
186. Puryear CB, Kim MJ, Mizumori SJ. Konjunktiv kodning av rörelse och belöning av ventrala tegmentala neuroner i den fritt navigerande gnagaren. Beteende neurovetenskap. 2010;124:234–247. [PMC gratis artikel] [PubMed]
187. Ravel S, Legallet E, Apicella P. Toniskt aktiva nervceller i apans striatum svarar inte preferentiellt på aptitretande stimuli. Experimentell hjärnforskning. Experimentelle Hirnforschung. 1999;128:531–534. [PubMed]
188. Ravel S, Legallet E, Apicella P. Svar från toniskt aktiva neuroner i apans striatum skiljer mellan motivationsmässigt motsatta stimuli. J Neurosci. 2003;23:8489–8497. [PubMed]
189. Ravel S, Richmond BJ. Dopaminneuronala svar hos apor som utför visuellt indikerade belöningsscheman. European journal of neuroscience. 2006;24:277–290. [PubMed]
190. Redgrave P, Gurney K. Dopaminsignalen med kort latens: en roll i att upptäcka nya handlingar? Nat Rev Neurosci. 2006;7:967–975. [PubMed]
191. Redgrave P, Prescott TJ, Gurney K. Är dopaminsvaret med kort latens för kort för att signalera belöningsfel? Trender inom neurovetenskap. 1999;12:146–151. [PubMed]
192. Rescorla RA, Wagner AR. En teori om Pavlovsk konditionering: variationer i effektiviteten av förstärkning och icke-förstärkning. I: Black AH, Prokasy WF, redaktörer. Klassisk konditionering II: Aktuell forskning och teori. New York, New York: Appleton Century Crofts; 1972. s. 64–99.
193. Reynolds JNJ, Hyland BI, Wickens JR. En cellulär mekanism för belöningsrelaterat lärande. Natur. 2001;413:67–70. [PubMed]
194. Reynolds SM, Berridge KC. Positiv och negativ motivation i nucleus accumbens skal: bivalenta rostrocaudala gradienter för GABA-framkallad ätande, smak "gillar"/"ogillar" reaktioner, platspreferens/undvikande och rädsla. J Neurosci. 2002;22:7308–7320. [PubMed]
195. Richardson RT, DeLong MR. Elektrofysiologiska studier av nucleus basalis funktioner hos primater. Framsteg inom experimentell medicin och biologi. 1991;295:233–252. [PubMed]
196. Robbins TW, Arnsten AF. Den neuropsykofarmakologi av fronto-exekutiv funktion: monoaminerg modulering. Årlig översyn av neurovetenskap. 2009;32:267–287. [PMC gratis artikel] [PubMed]
197. Robinson DL, Hermans A, Seipel AT, Wightman RM. Övervakning av snabb kemisk kommunikation i hjärnan. Kemiska recensioner. 2008;108:2554–2584. [PMC gratis artikel] [PubMed]
198. Roesch MR, Calu DJ, Schoenbaum G. Dopaminneuroner kodar för det bättre alternativet hos råttor som väljer mellan olika fördröjda eller stora belöningar. Nat Neurosci. 2007;10:1615–1624. [PMC gratis artikel] [PubMed]
199. Roesch MR, Olson CR. Neuronal aktivitet relaterad till belöningsvärde och motivation i primats frontala cortex. Vetenskap. 2004;304:307–310. [PubMed]
200. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Kemiska reaktioner i realtid i nucleus accumbens skiljer givande och aversiva stimuli. Nat Neurosci. 2008; 11: 1376-1377. [PMC gratis artikel] [PubMed]
201. Rutledge RB, Lazzaro SC, Lau B, Myers CE, Gluck MA, Glimcher PW. Dopaminerga läkemedel modulerar inlärningshastigheter och uthållighet hos Parkinsonspatienter i en dynamisk födosöksuppgift. J Neurosci. 2009;29:15104–15114. [PMC gratis artikel] [PubMed]
202. Salamone JD. Inblandningen av nucleus accumbens dopamin i aptitlig och aversiv motivation. Beteendehjärnforskning. 1994;61:117–133. [PubMed]
203. Salamone JD, Correa M, Farrar A, Mingote SM. Insatsrelaterade funktioner hos nucleus accumbens dopamin och tillhörande hjärnkretsar. Psykofarmakologi (Berl) 2007; 191: 461 – 482. [PubMed]
204. Satoh T, Nakai S, Sato T, Kimura M. Korrelerad kodning av motivation och resultatet av beslut av dopaminneuroner. J Neurosci. 2003;23:9913–9923. [PubMed]
205. Savine AC, Beck SM, Edwards BG, Chiew KS, Braver TS. Förbättring av kognitiv kontroll genom att närma sig och undvika motiverande tillstånd. Kognition & känsla. 2010;24:338–356. [PMC gratis artikel] [PubMed]
206. Schoenbaum G, Roesch MR, Stalnaker TA, Takahashi YK. Ett nytt perspektiv på den orbitofrontala cortexens roll i adaptivt beteende. Nat Rev Neurosci. 2009; 10: 885-892. [PMC gratis artikel] [PubMed]
207. Schultz W. Svar från mellanhjärnans dopaminneuroner på beteendeutlösare stimuli hos apan. J Neurophysiol. 1986;56:1439-1461. [PubMed]
208. Schultz W. Prediktiv belöningssignal för dopaminneuroner. J Neurophysiol. 1998; 80: 1-27. [PubMed]
209. Schultz W. Flera dopaminfunktioner vid olika tidsförlopp. Årlig översyn av neurovetenskap. 2007;30:259–288. [PubMed]
210. Schultz W. Dopaminsignaler för belöningsvärde och risk: grundläggande och senaste data. Uppför sig hjärnfunktion. 2010;6:24. [PMC gratis artikel] [PubMed]
211. Schultz W, Dayan P, Montague PR. Ett neuralt substrat av förutsägelse och belöning. Vetenskap. 1997; 275: 1593-1599. [PubMed]
212. Schultz W, Romo R. Svar från nigrostriatala dopaminneuroner på högintensiv somatosensorisk stimulering i den bedövade apan. J Neurophysiol. 1987;57:201–217. [PubMed]
213. Schultz W, Romo R. Dopaminneuroner i apans mitthjärna: oförutsedda reaktioner på stimuli som framkallar omedelbara beteendereaktioner. J Neurophysiol. 1990;63:607-624. [PubMed]
214. Seo H, Lee D. Temporal filtrering av belöningssignaler i den dorsala främre cingulate cortex under ett blandat strategispel. J Neurosci. 2007;27:8366–8377. [PMC gratis artikel] [PubMed]
215. Shabel SJ, Janak PH. Betydande likhet i amygdalas neuronal aktivitet under betingad aptitlig och aversiv emotionell upphetsning. Proceedings of the National Academy of Sciences of the United States of America. 2009;106:15031–15036. [PMC gratis artikel] [PubMed]
216. Shadmehr R, Smith MA, Krakauer JW. Felkorrigering, sensorisk förutsägelse och anpassning i motorstyrning. Årlig översyn av neurovetenskap. 2010 [PubMed]
217. Shen W, Flajolet M, Greengard P, Surmeier DJ. Dikotom dopaminerg kontroll av striatal synaptisk plasticitet. Vetenskap. 2008;321:848–851. [PMC gratis artikel] [PubMed]
218. Shimo Y, Wichmann T. Neuronal aktivitet i den subtalamiska kärnan modulerar frisättningen av dopamin i apans striatum. European journal of neuroscience. 2009;29:104–113. [PMC gratis artikel] [PubMed]
219. Shippenberg TS, Bals-Kubik R, Huber A, Herz A. Neuroanatomiska substrat som förmedlar de aversiva effekterna av D-1-dopaminreceptorantagonister. Psykofarmakologi (Berl) 1991;103:209–214. [PubMed]
220. Shumake J, Ilango A, Scheich H, Wetzel W, Ohl FW. Differentiell neuromodulering av förvärv och hämtning av undvikande inlärning av laterala habenula och ventrala tegmentala området. J Neurosci. 2010;30:5876–5883. [PubMed]
221. Small DM, Gregory MD, Mak YE, Gitelman D, Mesulam MM, Parrish T. Dissociation av neurala representation av intensitet och affektiv värdering i mänsklig smak. Nervcell. 2003;39:701–711. [PubMed]
222. Stefani MR, Moghaddam B. Regelinlärning och belöningskontingens är associerade med dissocierbara mönster av dopaminaktivering i råttans prefrontala cortex, nucleus accumbens och dorsala striatum. J Neurosci. 2006;26:8810–8818. [PMC gratis artikel] [PubMed]
223. Steinfels GF, Heym J, Strecker RE, Jacobs BL. Svar från dopaminerga neuroner hos katt på hörselstimuli som presenteras över sömn-vakna cykeln. Brain Res. 1983;277:150–154. [PubMed]
224. Strecker RE, Jacobs BL. Substantia nigra dopaminerg enhetsaktivitet hos katter som beter sig: effekt av upphetsning på spontan urladdning och sensorisk framkallad aktivitet. Brain Res. 1985;361:339-350. [PubMed]
225. Stuber GD, Hnasko TS, Britt JP, Edwards RH, Bonci A. Dopaminerga terminaler i nucleus accumbens men inte dorsal striatum corelease glutamat. Journal of Neuroscience. 2010;30:8229–8233. [PMC gratis artikel] [PubMed]
226. Stuber GD, Wightman RM, Carelli RM. Utrotning av självadministrering av kokain avslöjar funktionellt och tidsmässigt distinkta dopaminerga signaler i nucleus accumbens. Nervcell. 2005;46:661–669. [PubMed]
227. Sul JH, Kim H, Huh N, Lee D, Jung MW. Distinkta roller för gnagares orbitofrontala och mediala prefrontala cortex i beslutsfattande. Nervcell. 2010;66:449–460. [PMC gratis artikel] [PubMed]
228. Surmeier DJ, Ding J, Day M, Wang Z, Shen W. D1 och D2 dopaminreceptormodulering av striatal glutamatergisk signalering i striatal medium taggiga neuroner. Trender inom neurovetenskap. 2007;30:228–235. [PubMed]
229. Surmeier DJ, Shen W, Day M, Gertler T, Chan S, Tian X, Plotkin JL. Dopamins roll för att modulera strukturen och funktionen hos striatala kretsar. Framsteg inom hjärnforskning. 2010;183C:148–167. [PubMed]
230. Sutton RS, Barto AG. Mot en modern teori om adaptiva nätverk: förväntningar och förutsägelser. Psychol Rev. 1981;88:135–170. [PubMed]
231. Takahashi YK, Roesch MR, Stalnaker TA, Haney RZ, Calu DJ, Taylor AR, Burke KA, Schoenbaum G. Den orbitofrontala cortex och ventrala tegmentala området är nödvändiga för att lära av oväntade resultat. Nervcell. 2009;62:269–280. [PMC gratis artikel] [PubMed]
232. Takikawa Y, Kawagoe R, Hikosaka O. En möjlig roll för dopaminneuroner i mellanhjärnan i kort- och långtidsanpassning av saccader till positionsbelöningskartläggning. J Neurophysiol. 2004;92:2520–2529. [PubMed]
233. Tecuapetla F, Patel JC, Xenias H, English D, Tadros I, Shah F, Berlin J, Deisseroth K, Rice ME, Tepper JM, Koos T. Glutamatergisk signalering av mesolimbiska dopaminneuroner i nucleus accumbens. J Neurosci. 2010;30:7105–7110. [PMC gratis artikel] [PubMed]
234. Thierry AM, Tassin JP, Blanc G, Glowinski J. Selektiv aktivering av mesokortikalt DA-system genom stress. Natur. 1976;263:242–244. [PubMed]
235. Tobler PN, Dickinson A, Schultz W. Coding of Predicted Reward Omission by Dopamine Neurons in a Conditioned Inhibition Paradigm. J Neurosci. 2003;23:10402–10410. [PubMed]
236. Tobler PN, Fiorillo CD, Schultz W. Adaptiv kodning av belöningsvärde av dopaminneuroner. Vetenskap. 2005; 307: 1642-1645. [PubMed]
237. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fasisk avfyring i dopaminerga neuroner är tillräcklig för beteendekonditionering. Vetenskap. 2009 [PubMed]
238. Ullsperger M. Genetiska associationsstudier av prestationsövervakning och lärande av feedback: rollen av dopamin och serotonin. Neurovetenskap och biobeteenderecensioner. 2010;34:649–659. [PubMed]
239. Unglös MA. Dopamin: den framträdande frågan. Trender inom neurovetenskap. 2004;27:702–706. [PubMed]
240. Uylings HB, Groenewegen HJ, Kolb B. Har råttor en prefrontal cortex? Beteendehjärnforskning. 2003;146:3–17. [PubMed]
241. Ventura R, Cabib S, Puglisi-Allegra S. Motsatt genotypberoende mesokortikolimbisk dopaminsvar på stress. Neurovetenskap. 2001;104:627–631. [PubMed]
242. Ventura R, Latagliata EC, Morrone C, La Mela I, Puglisi-Allegra S. Prefrontal noradrenalin bestämmer tillskrivningen av "hög" motivationsframträdande. PLoS ETT. 2008;3:e3044. [PMC gratis artikel] [PubMed]
243. Ventura R, Morrone C, Puglisi-Allegra S. Prefrontalt/ackumbal katekolaminsystem bestämmer motivationsframträdande tillskrivning till både belönings- och aversionsrelaterade stimuli. Proceedings of the National Academy of Sciences of the United States of America. 2007;104:5181–5186. [PMC gratis artikel] [PubMed]
244. Vogt BA. Smärta och känslor interaktioner i subregioner av cingulate gyrus. Nat Rev Neurosci. 2005;6:533–544. [PMC gratis artikel] [PubMed]
245. Voon V, Pessiglione M, Brezing C, Gallea C, Fernandez HH, Dolan RJ, Hallett M. Mekanismer bakom dopaminmedierad belöning ias i tvångsbeteende. Nervcell. 2010;65:135–142. [PMC gratis artikel] [PubMed]
246. Waelti P, Dickinson A, Schultz W. Dopaminresponser överensstämmer med grundläggande antaganden om formell inlärningsteori. Natur. 2001; 412: 43-48. [PubMed]
247. Wallis JD, Kennerley SW. Heterogena belöningssignaler i prefrontal cortex. Aktuell åsikt inom neurobiologi. 2010;20:191–198. [PMC gratis artikel] [PubMed]
248. Walton ME, Behrens TE, Buckley MJ, Rudebeck PH, Rushworth MF. Separerbara inlärningssystem i makakhjärnan och rollen av orbitofrontal cortex i kontingent lärande. Nervcell. 2010;65:927–939. [PMC gratis artikel] [PubMed]
249. Wheeler RA, Twining RC, Jones JL, Slater JM, Grigson PS, Carelli RM. Beteendemässiga och elektrofysiologiska index med negativ påverkan förutsäger självständig administration av kokain. Nervcell. 2008; 57: 774-785. [PubMed]
250. Wightman RM, Heien MLAV, Wassum KM, Sombers LA, Aragona BJ, Khan AS, Ariansen JL, Cheer JF, Phillips PE, Carelli RM. Dopaminfrisättningen är heterogen inom mikromiljöer i råttkärnan accumbens. European journal of neuroscience. 2007;26:2046–2054. [PubMed]
251. Williams GV, Castner SA. Under kurvan: kritiska frågor för att belysa D1-receptorfunktionen i arbetsminnet. Neurovetenskap. 2006;139:263–276. [PubMed]
252. Williams SM, Goldman-Rakic ​​PS. Utbredd ursprung för primats mesofrontala dopaminsystem. Cereb Cortex. 1998;8:321-345. [PubMed]
253. Winn P. Hur man bäst överväger strukturen och funktionen av pedunculopontine tegmental nucleus: bevis från djurstudier. Journal of the Neurological Sciences. 2006;248:234–250. [PubMed]
254. Klok RA. Dopamin, lärande och motivation. Nat Rev Neurosci. 2004; 5: 483-494. [PubMed]
255. Kloka RA. Framhjärnans substrat för belöning och motivation. Journal of comparative neurology. 2005;493:115–121. [PMC gratis artikel] [PubMed]
256. Kloka SP. Framåt frontala fält: fylogeni och grundläggande funktion. Trender inom neurovetenskap. 2008;31:599–608. [PMC gratis artikel] [PubMed]
257. Yamada H, Matsumoto N, Kimura M. Toniskt aktiva neuroner i primatens caudatkärna och putamen kodar differentiellt instruerade motiverande handlingsresultat. J Neurosci. 2004;24:3500–3510. [PubMed]
258. Yamada H, Matsumoto N, Kimura M. Historie- och aktuell instruktionsbaserad kodning av kommande beteendeutfall i striatum. J Neurophysiol. 2007;98:3557–3567. [PubMed]
259. Yin HH, Knowlton BJ. De basala gangliernas roll i vanebildning. Nat Rev Neurosci. 2006;7:464–476. [PubMed]
260. Young AM, Moran PM, Joseph MH. Dopamins roll i konditionering och latent hämning: vad, när, var och hur? Neurovetenskap och biobeteenderecensioner. 2005;29:963–976. [PubMed]
261. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Mänskliga substantia nigra-neuroner kodar för oväntade ekonomiska belöningar. Vetenskap. 2009;323:1496–1499. [PMC gratis artikel] [PubMed]
262. Zahniser NR, Sorkin A. Snabb reglering av dopamintransportören: roll i stimulerande missbruk? Neurofarmakologi. 2004;47 Suppl 1:80–91. [PubMed]
263. Zhang L, Doyon WM, Clark JJ, Phillips PE, Dani JA. Kontroller av tonisk och fasisk dopaminöverföring i dorsal och ventral striatum. Molekylär farmakologi. 2009;76:396–404. [PMC gratis artikel] [PubMed]
264. Zink CF, Pagnoni G, Martin ME, Dhamala M, Berns GS. Mänskligt striatal svar på framträdande icke-belönande stimuli. Journal of Neuroscience. 2003;23:8092–8097. [PubMed]
265. Zweifel LS, Argilli E, Bonci A, Palmiter RD. Roll av NMDA-receptorer i dopaminneuroner för plasticitet och beroendeframkallande beteenden. Nervcell. 2008; 59: 486-496. [PMC gratis artikel] [PubMed]
266. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, et al. Störning av NMDAR-beroende burst-firing av dopaminneuroner ger selektiv bedömning av fasiskt dopaminberoende beteende. Proceedings of the National Academy of Sciences of the United States of America. 2009;106:7281–7288. [PMC gratis artikel] [PubMed]