Dopamin i motiverande kontroll: givande, aversiv och alerting (2010)

Nervcell. Författarens manuskript; tillgänglig i PMC Dec 9, 2011.

Publicerad i slutredigerad form som:

PMCID: PMC3032992

NIHMSID: NIHMS253484

Se andra artiklar i PMC som citerar den publicerade artikeln.

Gå till:

SAMMANFATTNING

Midbrain dopaminneuroner är kända för sina starka svar på belöningar och deras kritiska roll i positiv motivation. Det har emellertid blivit allt tydligare att dopaminneuroner också sänder signaler relaterade till framstående men icke givande upplevelser som aversiva och varnande händelser. Här granskar vi de senaste framstegen när det gäller att förstå dopaminens belöning och icke-belöningsfunktioner. Baserat på dessa data föreslår vi att dopaminneuroner kommer i flera typer som är kopplade till distinkta hjärnanät och har olika roller i motivationskontroll. Vissa dopaminneuroner kodar motivationsvärde, stöder hjärnans nätverk för att söka, utvärdera och värdera inlärning. Andra kodar motiverande salience, stödjer hjärnanät för orientering, kognition och allmän motivation. Båda typerna av dopaminneuroner förstärks av en varningssignal involverad i snabb detektering av potentiellt viktiga sensoriska signaler. Vi förutser att dessa dopaminerga vägar för värde, salience och alerting samarbetar för att stödja adaptivt beteende.

Beskrivning

Neoprotransmitterdopaminen (DA) har en avgörande roll i motivationskontrollen - att lära sig vilka saker i världen som är bra och dåliga, och att välja åtgärder för att få de bra sakerna och undvika de dåliga sakerna. Huvudkällorna för DA i hjärnbarken och i de flesta subkortiska områdena är de DA-frisättande neuronerna i den ventrala midjen, som ligger i substantia nigra pars compacta (SNc) och ventral tegmental area (VTA) (Bjorklund och Dunnett, 2007). Dessa neuroner sänder DA i två lägen, "tonic" och "phasic" (Grace, 1991; Grace et al., 2007). I sitt toniska läge behåller DA-neuroner en stabil, baslinjenivå av DA i nedströms neurala strukturer som är avgörande för att möjliggöra normala funktioner hos neurala kretsar (Schultz, 2007). I deras fasläge ökar eller minskar DA neuronerna sina bränningshastigheter för 100-500 millisekunder, vilket medför stora förändringar i DA-koncentrationer i nedströmsstrukturer som varar i flera sekunder (Schultz, 1998; Schultz, 2007).

Dessa fasiska DA-svar utlöses av många typer av belöningar och belöningsrelaterade sensoriska signaler (Schultz, 1998) och är idealiskt positionerade för att uppfylla DA: s roller i motivationskontroll, inklusive dess roller som en undervisningssignal som ligger till grund för förstärkningslärande (Schultz et al., 1997; Klokt, 2005) och som en incitamentsignal som främjar omedelbar belöningssökning (Berridge och Robinson, 1998). Som ett resultat har dessa phasic DA-belöningssignaler tagit en framträdande roll i teorier om funktionerna i kortikala och subkortiska kretsar och har blivit föremål för intensiv neurovetenskaplig forskning. I den första delen av den här översynen introducerar vi den konventionella teorin om phasic DA-belöningssignaler och kommer att se över de senaste framstegen när det gäller att förstå deras natur och deras kontroll över neuralt bearbetning och beteende.

I motsats till DA: s accepterade roll i behandlingen av belöning har det skett en betydande debatt om rollen som fasisk DA-aktivitet vid behandling av icke-givande händelser. Vissa teorier tyder på att DA neuron phasic svar primärt kodar belöningsrelaterade händelser (Schultz, 1998; Unglösa, 2004; Schultz, 2007), medan andra föreslår att DA neuroner överför ytterligare icke-belöningssignaler relaterade till överraskande, nya, uppenbara och till och med aversiva upplevelser (Redgrave et al., 1999; Horvitz, 2000; Di Chiara, 2002; Joseph et al., 2003; Pezze och Feldon, 2004; Lisman och Grace, 2005; Redgrave och Gurney, 2006). I den andra delen av den här översynen diskuteras en serie studier som har testat dessa teorier och har avslöjat mycket om arten av icke-belöningssignaler i DA neuroner. I synnerhet ger dessa studier bevis för att DA-neuroner är mer mångfacetterade än tidigare tänkta. I stället för att koda en enda homogen motivationssignal, kommer DA neuroner i flera typer som kodar belöning och icke-belöningshändelser på olika sätt. Detta utgör ett problem för allmänna teorier som försöker identifiera dopamin med en enda neuralsignal eller motivationsmekanism.

För att åtgärda detta dilemma föreslår vi i den sista delen av den här översynen en ny hypotes för att förklara närvaron av flera typer av DA neuroner, beskaffenheten av deras neurala signaler och deras integration i olika hjärnanät för motivationskontroll. Vårt grundläggande förslag är som följer. En typ av DA neuroner kodar motiverande värde, upphetsad av givande händelser och hämmad av aversiva händelser. Dessa neuroner stödjer hjärnsystem för att söka mål, utvärdera resultat och värdera inlärning. En andra typ av DA neuroner kodar motiverande salience, upphetsad av både givande och aversiva händelser. Dessa neuroner stöder hjärnsystem för orientering, kognitiv bearbetning och motivationsdrift. Förutom deras värde- och salaminkodningsaktivitet sänder båda typerna av DA neuroner också en varningssignal, utlöst av oväntade sensoriska signaler av hög potential. Tillsammans föreställer vi att dessa värde-, salighets- och varningssignaler samverkar för att samordna nedströms hjärnstrukturer och styra motiverat beteende.

Dopamin i belöning: Konventionell teori

Dopamin i motivation av belöningssökande handlingar

Dopamin har länge varit känt för att vara viktigt för förstärkning och motivation av handlingar. Läkemedel som stör DA-överföring störa förstärkningsinlärning, medan manipuleringar som förbättrar DA-överföring, såsom hjärnstimulering och beroendeframkallande läkemedel, ofta fungerar som förstärkare (Klokt, 2004). DA-överföring är avgörande för att skapa en motivationstillstånd för att söka belöningar (Berridge och Robinson, 1998; Salamone et al., 2007) och för att etablera minnen av cue-reward associations (Dalley et al., 2005). DA-frisläppning är inte nödvändig för alla former av belöningsbelöning och kan inte alltid "tyckas" i den meningen att det leder till nöje, men det är avgörande för att målen blir "önskade" i den meningen att motivera åtgärder för att uppnå dem (Berridge och Robinson, 1998; Palmiter, 2008).

En hypotes om hur dopamin stöder förstärkningsinlärning är att det anpassar styrkan hos synaptiska kopplingar mellan neuroner. Den mest enkla versionen av denna hypotes är att dopamin kontrollerar synaptisk plasticitet enligt en modifierad hebreisk regel som grovt kan anges som "neuroner som brinner tillsammans ihop, så länge de får en spricka av dopamin". Med andra ord, om cell A aktiverar cell B och cell B orsakar en beteendemässig åtgärd som resulterar i en belöning, då dopamin skulle släppas och A → B-anslutningen skulle förstärkas (Montague et al., 1996; Schultz, 1998). Denna mekanism skulle göra det möjligt för en organism att lära sig det optimala valet av åtgärder för att vinna belöningar, med tanke på tillräcklig erfarenhet av försök och fel. I överensstämmelse med denna hypotese har dopamin ett starkt inflytande på synaptisk plasticitet i många hjärnregioner (Surmeier et al., 2010; Goto et al., 2010; Molina-Luna et al., 2009; Marowsky et al., 2005; Lisman och Grace, 2005). I vissa fall möjliggör dopamin synaptisk plasticitet i enlighet med den hebreiska regeln som beskrivits ovan, på ett sätt som är korrelerat med belöningssökande beteende (Reynolds et al., 2001). Förutom effekterna på långsiktigt synaptisk plasticitet kan dopamin också utöva omedelbar kontroll över neurala kretsar genom att modulera neurala spikningsaktivitet och synaptiska samband mellan neuroner (Surmeier et al., 2007; Robbins och Arnsten, 2009), i vissa fall gör det på ett sätt som skulle främja omedelbara belöningssökande åtgärder (Frank, 2005).

Dopamin neuron belöningssignaler

För att motivera handlingar som leder till belöningar bör dopamin frisläppas under givande erfarenheter. Faktum är att de flesta DA-neuroner aktiveras starkt av oväntade primära belöningar som mat och vatten, vilket ofta producerar fasiska "utbrott" av aktivitet (Schultz, 1998) (fasuttryck inklusive multipelspikar (Grace and Bunney, 1983)). De banbrytande studierna av Wolfram Schultz visade dock att dessa DA neuron svar inte utlöses av belöning konsumtion per se. Istället liknar de ett "prediktionsfel", rapporterar skillnaden mellan belöningen som mottas och den belöning som förutspåddes att inträffa (Schultz et al., 1997) (Figur 1A). Således, om en belöning är större än förutspådd, är DA neuroner starkt upphetsade (positivt prediktionsfel, Figur 1E, röd); Om en belöning är mindre än förutspådd eller misslyckas att inträffa vid dess bestämda tidpunkt, hämmas DA-neuroner fasiskt (negativt prediktionsfel, Figur 1E, blå); och om en belöning är cued i förväg så att dess storlek är fullt förutsägbar, har DA neuroner lite eller inget svar (noll prediktionsfel, Figur 1C, svart). Samma princip gäller för DA-svar på sensoriska signaler som ger ny information om framtida belöningar. DA neuroner är upphetsade när en cue indikerar en ökning av det framtida belöningsvärdet (Figur 1C, röd), hämmad när en cue indikerar en minskning av framtida belöningsvärde (Figur 1C, blå) och har generellt lite svar på signaler som inte ger någon ny belöningsinformation (Figur 1E, svart). Dessa DA-svar liknar en specifik typ av belöningsprediktionsfel som kallas det tidsmässiga skillnadsfelet eller "TD-felet", vilket har föreslagits att fungera som en förstärkningssignal för att lära sig värdet av åtgärder och miljötillstånd (Houk et al., 1995; Montague et al., 1996; Schultz et al., 1997). Beräkningsmodeller som använder en TD-liknande förstärkningssignal kan förklara många aspekter av förstärkningslärande hos människor, djur och DA-neuroner själva (Sutton och Barto, 1981; Waelti et al., 2001; Montague och Berns, 2002; Dayan och Niv, 2008).

Figur 1 

Dopaminkodning av felsökningsfel och preferens för prediktiv information

En imponerande uppsättning experiment har visat att DA-signaler representerar belöningsspecifikationer på ett sätt som nära matchar beteendemässiga preferenser, inklusive preferensen för stora belöningar över små (Tobler et al., 2005) sannolika belöningar över osannolika (Fiorillo et al., 2003; Satoh et al., 2003; Morris et al., 2004) och omedelbara belöningar över försenade (Roesch et al., 2007; Fiorillo et al., 2008; Kobayashi och Schultz, 2008). Det finns till och med bevis på att DA neuroner hos människor kodar belöningsvärdet av pengar (Zaghloul et al., 2009). Vidare framträder DA-signaler under inlärning med en liknande tidskurs för beteendeåtgärder av belöningsspecifikation (Hollerman och Schultz, 1998; Satoh et al., 2003; Takikawa et al., 2004; Day et al., 2007) och är korrelerade med subjektiva åtgärder för belöningsförmåner (Morris et al., 2006). Dessa fynd har etablerat DA neuroner som ett av de bäst förstådda och mest replikerade exemplen på belöningskodning i hjärnan. Som ett resultat har senaste studierna underkastat DA neuroner intensiv granskning för att upptäcka hur de genererar belöningsspecifikationer och hur deras signaler verkar på nedströms strukturer för att styra beteende.

Dopamin i belöning: Nya framsteg

Dopamin neuron belöningssignaler

Nya framsteg i att förstå DA-belöningssignaler kommer från att överväga tre breda frågor: Hur lär DA neuroner belöningsspecifikationer? Hur exakta är deras förutsägelser? Och precis vad behandlar de som givande?

Hur lär sig DA neuroner belöningsprognoser? Klassiska teorier tyder på att belöningsspecifikationer lärs genom en gradvis förstärkningsprocess som kräver upprepade stimulans-belöningsparningar (Rescorla och Wagner, 1972; Montague et al., 1996). Varje gång stimulans A följs av en oväntad belöning ökar det uppskattade värdet av A. Nyliga data visar emellertid att DA-neuroner går utöver enkla stimulansbelöningsundervisning och gör förutsägelser baserade på sofistikerade övertygelser om världens struktur. DA neuroner kan förutsäga belöningar rätt även i okonventionella miljöer där belöningar paras med en stimulans orsak a minskning i värdet av den stimulansen (Satoh et al., 2003; Nakahara et al., 2004; Bromberg-Martin et al., 2010c) eller orsaka en förändring i värdet av en helt annan stimulans (Bromberg-Martin et al., 2010b). DA-neuroner kan också anpassa sina belöningssignaler baserat på högre orderstatistik av belöningsfördelningen, såsom signaler för beräkning av prediktionsfel baserat på deras förväntade varians (Tobler et al., 2005) och "spontant återhämtar" sina svar på släckta belöningssignaler (Pan et al., 2008). Alla dessa fenomen bildar en anmärkningsvärd parallell med liknande effekter som ses i sensorisk och motorisk anpassning (Braun et al., 2010; Fairhall et al., 2001; Shadmehr et al., 2010), vilket tyder på att de kan återspegla en allmän neuromekanism för prediktivt lärande.

Hur exakta är DA-belöningsprognoser? Tidigare studier har visat att DA neuroner på ett trovärdigt sätt anpassar sina belöningssignaler för att redogöra för tre källor till förutsägelse osäkerhet. För det första lider människor och djur från interna tidsstörningar som hindrar dem från att göra tillförlitliga förutsägelser om långa löneintervaller (Gallistel och Gibbon, 2000). Om kortbetalningsfördröjningar är korta (1-2 sekunder) är timing förutsägelser korrekta och belöningsleverans utlöser lite DA-svar, men för längre cue-belöningsfördröjningar blir tidsförutsägningar mindre pålitliga och belöningar uppkallar tydliga DA-utbrott (Kobayashi och Schultz, 2008; Fiorillo et al., 2008). För det andra är många ledtrådar i vardagen osäkra, vilket anger en bred fördelning av belöningstider. DA-neuroner återspeglar återigen denna form av tidsvisa osäkerhet: de hämmas gradvis under fördröjning av variabel belöning, som om signalerande misstag för negativ belöning förutspår varje gång belöningen misslyckas att dyka upp (Fiorillo et al., 2008; Bromberg-Martin et al., 2010a; Nomoto et al., 2010). Slutligen är många signaler perceptuellt komplexa, vilket kräver detaljerad inspektion för att nå en bestämd slutsats om deras belöningsvärde. I sådana situationer uppstår DA-belöningssignaler vid långa latenser och på ett gradvis sätt som förefaller återspegla det gradvisa flödet av perceptuell information då stimulansvärdet avkodas (Nomoto et al., 2010).

Bara vilka händelser behandlar DA neuroner som givande? Konventionella teorier om belöningsbelöning tyder på att DA neuroner tilldelar värde baserat på förväntad mängd framtida primärbelöning (Montague et al., 1996). Men även när primärbelöningen hålls konstant, uttrycker människor och djur ofta en ytterligare preferens för förutsägbarhetssökande miljöer där varje belönings storlek, sannolikhet och tidpunkt kan vara kända i förväg (Daly, 1992; Chew och Ho, 1994; Ahlbrecht och Weber, 1996). En ny studie i apor fann att DA neuroner signalerar denna preferens (Bromberg-Martin och Hikosaka, 2009). Apor uttryckte en stark preferens för att se informativa visuella ledtrådar som skulle göra det möjligt för dem att förutsäga storleken på en framtida belöning snarare än informativa ledtrådar som inte gav någon ny information. Parallellt var DA-neuroner upphetsade av möjligheten att se de informativa ledtrådarna på ett sätt som var korrelerat med djurets beteendepreferens (Figur 1B, D). Detta antyder att DA-nervceller inte bara motiverar handlingar för att få belöningar utan också motivera åtgärder för att göra exakta förutsägelser om dessa belöningar för att säkerställa att belöningar kan förväntas och förberedas på rätt sätt i förväg.

Sammantaget visar dessa fynd att signaler från DA-belöningsförutsägelse är känsliga för sofistikerade faktorer som informerar om förutsägelser för människor och djur, inklusive anpassning till belöningsstatistik med hög ordning, osäkerhet om belöning och preferenser för förutsägbar information.

Effekter av fasiska dopamin-belöningssignaler på nedströmsstrukturer

DA-belöningssvar uppstår i synkrona fasiska skurar (Joshua et al., 2009b), ett svarmönster som formar DA-frisättning i målstrukturer (Gonon, 1988; Zhang et al., 2009; Tsai et al., 2009). Det har länge teoretiserats att dessa fasiska skurar påverkar inlärning och motivation på ett distinkt sätt från tonic DA-aktivitet (Grace, 1991; Grace et al., 2007; Schultz, 2007; Lapish et al., 2007). Nyligen utvecklad teknologi har gjort det möjligt att bekräfta denna hypotes genom att kontrollera DA neuronaktivitet med fin rumslig och temporär precision. Optogenetisk stimulering av VTA DA-nervceller inducerar en stark konditionerad platspreferens som endast inträffar när stimulering appliceras i ett sprängmönster (Tsai et al., 2009). Omvänt förorsakar genetisk knockout av NMDA-receptorer från DA-neuroner, som försvårar sprängning medan de lämnar tonisk aktivitet till stor del intakt, en selektiv försämring av specifika former av belöningsinlärning (Zweifel et al., 2009; Parker et al., 2010) (även om du noterar att denna knockout också försvårar DA-neurons synaptiska plasticitet (Zweifel et al., 2008)). DA-skurar kan förbättra belöningsinlärningen genom att konfigurera lokala neuralkretsar. I synnerhet skickas belöningsförutsägbara DA-skurar till specifika regioner i nucleus accumbens, och dessa regioner har särskilt höga nivåer av belöningsprediktiv nervaktivitet (Cheer et al., 2007; Owesson-White et al., 2009).

Jämfört med fasiska skurar är mindre känt om betydelsen av fasiska pauser i spikaktivitet för negativa belöningsförutsägelsefel. Dessa pauser orsakar mindre förändringar i spikfrekvens, är mindre modulerade av belöningsförväntningar (Bayer och Glimcher, 2005; Joshua et al., 2009a; Nomoto et al., 2010), och kan ha mindre effekter på inlärning (Rutledge et al., 2009). Vissa typer av inlärning av negativa förutsägelsefel kräver dock VTA (Takahashi et al., 2009), vilket antyder att fasiska pauser fortfarande kan avkodas av nedströmsstrukturer.

Eftersom skur och pauser orsakar mycket olika mönster av DA-frisläppande kommer de sannolikt att påverka strukturer nedströms genom distinkta mekanismer. Det finns nyligen bevis för denna hypotes i ett huvudmål för DA-nervceller, dorsal striatum. Dorsal striatum-projektionsneuroner finns i två typer som uttrycker olika DA-receptorer. En typ uttrycker D1-receptorer och projicerar till basala ganglia "direktväg" för att underlätta kroppsrörelser; den andra typen uttrycker D2-receptorer och projicerar till "indirekt väg" för att undertrycka kroppsrörelser (Figur 2) (Albin et al., 1989; Gerfen et al., 1990; Kravitz et al., 2010; Hikida et al., 2010). Baserat på egenskaperna hos dessa vägar och receptorer har det teoretiserats att DA-skurar producerar förhållanden med hög DA, aktiverar D1-receptorer och får den direkta vägen att välja rörelser med högt värde (Figur 2A), medan DA pausar producerar förhållanden med låg DA, hämmar D2-receptorer och får den indirekta vägen att undertrycka rörelser med lågt värde (Figur 2B) (Frank, 2005; Hikosaka, 2007). I överensstämmelse med denna hypotes främjar hög DA-receptoraktivering potentiering av kortikostriatala synapser på den direkta vägen (Shen et al., 2008) och lära av positiva resultat (Frank et al., 2004; Voon et al., 2010), medan striatal D1-receptorblockad selektivt försvårar rörelser till belönade mål (Nakamura och Hikosaka, 2006). På ett analogt sätt främjar aktivering av låg DA-receptor potentiering av kortikostriatala synapser på den indirekta vägen (Shen et al., 2008) och lära av negativa resultat (Frank et al., 2004; Voon et al., 2010), medan striatal D2-receptorblockad selektivt undertrycker rörelser till icke-belönade mål (Nakamura och Hikosaka, 2006). Denna uppdelning av D1- och D2-receptorfunktioner i motiverande kontroll förklarar många av effekterna av DA-relaterade gener på mänskligt beteende (Ullsperger, 2010; Frank och Fossella, 2010) och kan sträcka sig utöver ryggstriatumet, eftersom det finns bevis för en liknande arbetsdelning i det ventrala striatum (Grace et al., 2007; Lobo et al., 2010).

Figur 2 

Dopaminkontroll av positiv och negativ motivation i ryggstratum

Medan ovanstående schema målar en enkel bild av fasisk DA-kontroll av beteende genom dess effekter på striatum, är hela bilden mycket mer komplex. DA påverkar belöningsrelaterat beteende genom att agera i många hjärnregioner inklusive den prefrontala cortex (Hitchcott et al., 2007), rhinal cortex (Liu et al., 2004), hippocampus (Packard och White, 1991; Grecksch och Matties, 1981) och amygdala (Phillips et al., 2010). Effekterna av DA kommer sannolikt att skilja sig mycket mellan dessa regioner på grund av variationer i tätheten av DA-innervation, DA-transportörer, metaboliska enzymer, autoreceptorer, receptorer och receptorkoppling till intracellulära signalvägar (Neve et al., 2004; Bentivoglio och Morelli, 2005; Frank och Fossella, 2010). Dessutom, åtminstone i VTA, kan DA-neuroner ha olika cellulära egenskaper beroende på deras projektionsmål (Lammel et al., 2008; Margolis et al., 2008), och vissa har den anmärkningsvärda förmågan att överföra glutamat såväl som dopamin (Descarries et al., 2008; Chuhma et al., 2009; Hnasko et al., 2010; Tecuapetla et al., 2010; Stuber et al., 2010; Birgner et al., 2010). Därför börjar den fullständiga omfattningen av DA-neuronkontrollen över neuronbearbetning först avslöjas.

Dopamin: Beyond Reward

Hittills har vi diskuterat DA-neurons roll i belöningsrelaterat beteende, baserat på dopaminsvar som liknar belöningsförutsägelsefel. Det har emellertid blivit allt tydligare att DA-neuroner reagerar fasiskt på flera typer av händelser som inte är givande i sig och inte är ledtrådar för framtida belöningar, och att dessa icke-belöningssignaler har en viktig roll i motivationsbearbetningen. Dessa icke-belöningsevenemang kan grupperas i två breda kategorier, aversiv och larma, som vi kommer att diskutera i detalj nedan. Aversiva händelser inkluderar iboende oönskade stimuli (som luftpustar, bitter smak, elektriska stötar och andra obehagliga känslor) och sensoriska signaler som har fått aversiva egenskaper genom association med dessa händelser. Alertande händelser är oväntade sensoriska signaler med hög potential, vilket i allmänhet utlöser omedelbara reaktioner för att bestämma deras mening.

Diverse dopaminresponser till aversiva händelser

En neurons svar på aversiva händelser ger ett viktigt test av sina funktioner i motivationskontrollen (Schultz, 1998; Berridge och Robinson, 1998; Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003). I många avseenden behandlar vi givande och aversiva händelser på motsatta sätt, vilket återspeglar deras motsats motiverande värde. Vi söker belöningar och tilldelar dem positiva värden, samtidigt som vi undviker aversiva händelser och tilldelar dem negativa värden. I andra avseenden behandlar vi givande och aversiva händelser på liknande sätt som återspeglar deras liknande motiverande salience [FOOTNOTE1]. Både givande och aversiva händelser utlöser orientering av uppmärksamhet, kognitiv behandling och ökning av allmän motivation.

Vilka av dessa funktioner stödjer DA neuroner? Det har länge varit känt att stressiga och aversiva upplevelser orsakar stora förändringar i DA-koncentrationer i nedströms hjärnstrukturer, och att beteendemässiga reaktioner på dessa erfarenheter dramatiskt förändras av DA-agonister, antagonister och skador (Salamon, 1994; Di Chiara, 2002; Pezze och Feldon, 2004; Young et al., 2005). Dessa studier har dock resulterat i en slående mångfald av resultat (Levita et al., 2002; Di Chiara, 2002; Young et al., 2005). Många studier överensstämmer med DA neuroner som kodar för motiverande salience. De rapporterar att aversiva händelser ökar DA-nivåerna och att beteendeavvikelsen stöds av höga nivåer av DA-överföring (Salamon, 1994; Joseph et al., 2003; Ventura et al., 2007; Barr et al., 2009; Fadok et al., 2009) inklusive fasiska DA-utbrott (Zweifel et al., 2009). Men andra studier är mer konsekventa med DA neuroner som kodar mot motiverande värde. De rapporterar att aversiva händelser minskar DA-nivåerna och att beteendeavvikelsen stöds av låga nivåer av DA-överföring (Mark et al., 1991; Shippenberg et al., 1991; Liu et al., 2008; Roitman et al., 2008). I många fall har dessa blandade resultat funnits i enkla studier, vilket indikerar att aversiva upplevelser orsakar olika mönster av DA-frisättning i olika hjärnstrukturer (Thierry et al., 1976; Besson och Louilot, 1995; Ventura et al., 2001; Jeanblanc et al., 2002; Bassareo et al., 2002; Pascucci et al., 2007) och att DA-relaterade droger kan producera en blandning av neurala och beteendemässiga effekter som liknar dem som orsakas av både givande och aversiva erfarenheter (Ettenberg, 2004; Wheeler et al., 2008).

Denna mångfald av DA-frisättningsmönster och funktioner är svår att förena med tanken att DA-neuroner överför en enhetlig motivationssignal till alla hjärnstrukturer. Dessa olika svar kan dock förklaras om DA neuroner själva är olika - bestående av flera neurala populationer som stöder olika aspekter av aversiv behandling. Denna uppfattning stöds av neurala inspelningsstudier hos bedövade djur. Dessa studier har visat att skadliga stimuli framkallar excitation i vissa DA neuroner men inhibering i andra DA neuroner (Chiodo et al., 1980; Maeda och Mogenson, 1982; Schultz och Romo, 1987; Mantz et al., 1989; Gao et al., 1990; Coizet et al., 2006). Viktigt är att både excitatoriska och hämmande reaktioner uppträder i neuroner som bekräftas vara dopaminerga med användning av juxtacellulär märkning (Brischoux et al., 2009) (Figur 3). En liknande mångfald av aversiva svar uppstår under aktivt beteende. Olika grupper av DA neuroner är fasiskt upphetsade eller inhiberade av avkommande händelser, inklusive skadlig stimulering av huden (Kiyatkin, 1988a; Kiyatkin, 1988b), sensoriska signaler som förutsätter aversiva chocker (Guarraci och Kapp, 1999), aversive airpuffs (Matsumoto och Hikosaka, 2009b) och sensoriska signaler som förutsätter aversiva luftpustar (Matsumoto och Hikosaka, 2009b; Joshua et al., 2009a). Vidare, när två DA-neuroner spelas in samtidigt, har deras aversiva svar generellt liten prövning jämfört med varandra (Joshua et al., 2009b), vilket tyder på att aversiva svar inte samordnas över DA-befolkningen som helhet.

Figur 3 

Diverse dopaminneuron svar på aversiva händelser

För att förstå funktionerna i dessa olika aversiva svar måste vi veta hur de kombineras med belöningssvar för att skapa en meningsfull motivationssignal. En nyligen genomförd studie undersökte detta ämne och avslöjade att DA neuroner är uppdelade i flera populationer med tydliga motivationssignaler (Matsumoto och Hikosaka, 2009b). En befolkning är upphetsad av att belöna händelser och hämmas av aversiva händelser, som om kodning motiverande värde (Figur 4A). En andra befolkning är upphetsad av både givande och aversiva händelser på liknande sätt, som om kodning motiverande salience (Figur 4B). I båda dessa populationer är många neuroner känsliga för belöning och aversiva förutsägelser: de svarar när givande händelser är mer givande än förutspådda och när aversiva händelser är mer aversiva än förutspådda (Matsumoto och Hikosaka, 2009b). Detta visar att deras aversiva svar verkligen orsakas av förutsägelser om aversiva händelser, utesluter möjligheten att de kan vara orsakade av icke-specifika faktorer som rå sensorisk ingång eller generaliserade föreningar med belöning (Schultz, 2010). Dessa två populationer skiljer sig emellertid i den detaljerade karaktären av deras prediktiva kod. Motivationsvärdes kodande DA-neuroner kodar en exakt prediktionsfelsignal, inkluderande stark inhibering genom utelämnande av belöningar och mild excitation genom utelämnande av aversiva händelser (Figur 4A, höger). Däremot svarar motiverande salience-kodande DA-neuroner när viktiga händelser är närvarande men inte när de är frånvarande (Figur 4B, rätt), i överensstämmelse med teoretiska uppfattningar om upphetsning (Lang och Davis, 2006) [FOOTNOTE2]. Bevis för dessa två DA neuronpopulationer har observerats även när neural aktivitet har undersökts på ett medelvärde sätt. Studier som riktar sig mot olika delar av DA-systemet fann således fas-DA-signaler som kodade aversiva händelser med inhibering (Roitman et al., 2008), som liknar kodning av motivationsvärde eller med excitation (Joshua et al., 2008; Anstrom et al., 2009), liknande kodning av motiverande salience.

Figur 4 

Distinkta dopaminneuropopulationer som kodar för motivationsvärde och salience

Dessa senaste resultat kan verka som att motsäga en tidig rapport att DA neuroner reagerar företrädesvis för att belöna signaler snarare än aversiva signaler (Mirenowicz och Schultz, 1996). När det undersöks noggrant, är även den studien helt överensstämmande med DA-värde och viktkodning. I den studien ledde belöningssignaler till belöningsresultat med hög sannolikhet (> 90%) medan aversiva ledtrådar ledde till avvikande resultat med låg sannolikhet (<10%). Därför skulle värde- och viktkodande DA-nervceller ha lite svar på de aversiva signalerna, vilket exakt kodar deras låga nivå av aversivitet.

Funktionell roll motivationsvärdet och salience signaler

Sammantaget indikerar ovanstående fynd att DA neuroner är uppdelade i flera populationer som är lämpliga för olika roller i motivationskontroll. Motivationsvärde kodande DA neuroner passar väl med aktuella teorier om dopaminneuroner och belöning bearbetning (Schultz et al., 1997; Berridge och Robinson, 1998; Klokt, 2004). Dessa neuroner kodar en fullständig prediktionsfelsignal och kodar givande och aversiva händelser i motsatta riktningar. Sålunda tillhandahåller dessa neuroner en lämplig instruktiv signal för att söka, utvärdera och värdera lärande (Figur 5). Om en stimulans orsakar att värdkodning av DA neuroner ska vara upphetsad ska vi närma oss det, tilldela det högt värde och lära oss att vi ska söka efter det igen i framtiden. Om en stimulans orsakar att värdekodning av DA-neuroner hämmas, bör vi undvika det, tilldela det lågt värde och lära sig åtgärder för att undvika det igen i framtiden.

Figur 5 

Hypoteserade funktioner av motivationsvärde, salience och alerting signaler

Däremot passar motiverande salighetskodande DA neuroner bra med teorier om dopaminneuroner och behandling av framträdande händelser (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Kapur, 2003). Dessa neuroner är upphetsade av både givande och aversiva händelser och har svagare svar på neutrala händelser, vilket ger en lämplig instruktiv signal för neuralkretsar för att lära sig att upptäcka, förutsäga och reagera på situationer av hög vikt. Här kommer vi att överväga tre sådana hjärnsystem (Figur 5). För det första kalibreras neurala kretsar för visuell och attentional orientering för att upptäcka information om alla typer av händelser, både givande och aversiva. Både belöning och aversiva signaler lockar till exempel orienteringsreaktioner mer effektivt än neutrala signaler (Lang och Davis, 2006; Matsumoto och Hikosaka, 2009b; Austin och Duka, 2010). För det andra engagerar både givande och aversiva situationer neurala system för kognitiv kontroll och handlingsval - vi måste engagera arbetsminne för att hålla informationen i åtanke, konfliktlösning för att besluta om ett handlingsförlopp och långtidsminne för att komma ihåg det resulterande resultatet (Bradley et al., 1992; Botvinick et al., 2001; Savine et al., 2010). För det tredje kräver både givande och aversiva situationer en ökning av allmän motivation för att aktivera åtgärder och för att säkerställa att de genomförs på rätt sätt. Faktum är att DA-neuroner är kritiska för att motivera ansträngningar för att uppnå högvärdesmål och att översätta kunskap om uppgiftskrav till pålitlig motorprestanda (Berridge och Robinson, 1998; Mazzoni et al., 2007; Niv et al., 2007; Salamone et al., 2007).

Dopamin excitation genom att varna sensoriska signaler

Förutom deras signaler som kodar mot motiverande värde och salience har majoriteten av DA neuroner också spränga svar på flera typer av sensoriska händelser som inte är direkt förknippade med givande eller aversiva upplevelser. Dessa svar har teoretiserats för att bero på ett antal neurala och psykologiska faktorer, inklusive direkt sensorisk inmatning, överraskning, nyhet, upphetsning, uppmärksamhet, salience, generalisering och pseudokonditionering (Schultz, 1998; Redgrave et al., 1999; Horvitz, 2000; Lisman och Grace, 2005; Redgrave och Gurney, 2006; Joshua et al., 2009a; Schultz, 2010).

Här kommer vi att försöka syntetisera dessa idéer och redogöra för dessa DA svar med avseende på en enda underliggande signal, en varningssignal (Figur 5). Termen "alerting" användes av Schultz (Schultz, 1998) som en allmän term för händelser som lockar uppmärksamhet. Här kommer vi att använda det i en mer specifik mening. Med en uppmärksammande händelse menar vi en oväntad sensorisk kue som tar upp uppmärksamhet baserat på en snabb bedömning av dess potentiella betydelse, med hjälp av enkla funktioner som dess placering, storlek och sensoriska modalitet. Sådana varningshändelser utlöser ofta omedelbara beteendereaktioner för att undersöka dem och bestämma deras exakta mening. Sålunda uppträder DA-varningssignaler typiskt vid korta latenser, baseras på de grova egenskaperna hos en stimulans och är bäst korrelerade med omedelbara reaktioner såsom orienteringsreaktioner (Schultz och Romo, 1990; Joshua et al., 2009a; Schultz, 2010). Detta stämmer i motsats till andra motivationssignaler i DA-neuroner som vanligen uppträder vid längre latenser, tar hänsyn till stimulans exakta identitet och är bäst korrelerade med betraktande beteendeåtgärder som beslut att närma sig eller undvika (Schultz och Romo, 1990; Joshua et al., 2009a; Schultz, 2010).

DA-varningsresponser kan utlösas av överraskande sensoriska händelser som oväntade ljusflimmer och auditiva klick, vilket framkallar framträdande sprängutbrott i 60-90% av DA-neuroner i hela SNc och VTAStrecker och Jacobs, 1985; Horvitz et al., 1997; Horvitz, 2000) (Figur 6A). Dessa varningssignaler tycks återspegla den grad som stimulansen är överraskande och fångar uppmärksamhet; de reduceras om en stimulans uppträder vid förutsägbara tider, om uppmärksamhet engageras någon annanstans eller under sömnen (Schultz, 1998; Takikawa et al., 2004; Strecker och Jacobs, 1985; Steinfels et al., 1983). Ett oväntat klickljud framkallar till exempel en framstående DA-brist när en katt är i ett passivt tillstånd av tystvakten, men har ingen effekt när katten är engagerad i uppmärksamhetsskrävande aktiviteter som att jaga en råtta, mata, grooming, petted av experimenter, och så vidare (Strecker och Jacobs, 1985) (Figur 6A). På samma sätt utlöser DA-bristande svar av sensoriska händelser som är fysiskt svaga men varnar på grund av deras nyhet (Ljungberg et al., 1992; Schultz, 1998). Dessa svar hyser när den nya stimulansen blir bekant, parallellt med orienteringen av orienteringsreaktioner (Figur 6B). I överensstämmelse med dessa resultat framkallar överraskande och nya händelser DA-frisättning i nedströms strukturer (Lisman och Grace, 2005) och aktivera DA-relaterade hjärnkretsar på ett sätt som bildar belöningsprocesser (Zink et al., 2003; Davidson et al., 2004; Duzel et al., 2010).

Figur 6 

Dopaminneurons excitatoriska reaktioner på att varna händelser

DA-varningsresponser utlöses också av oväntade sensoriska signaler som har potential att ge ny information om motivationellt framträdande händelser. Som förväntat för en kortvarig varningssignal är dessa svar ganska icke-selektiva: de utlöses av någon stimulans som bara Liknar en motiverande framträdande kue, även om likheten är mycket liten (ett fenomen som kallas generalisering) (Schultz, 1998). Som ett resultat svarar DA neuroner ofta på en stimulans med en blandning av två signaler: en snabbvarningssignal som kodar för att stimulansen är potentiellt viktigt och en andra signal som kodar för dess faktiska givande eller aversiv betydelse (Schultz och Romo, 1990; Waelti et al., 2001; Tobler et al., 2003; Day et al., 2007; Kobayashi och Schultz, 2008; Fiorillo et al., 2008; Nomoto et al., 2010) (se (Kakade och Dayan, 2002; Joshua et al., 2009a; Schultz, 2010) för granskning). Ett exempel kan ses i en uppsättning motivativa salience-kodande DA-neuroner som visas i Figur 6C (Bromberg-Martin et al., 2010a). Dessa neuroner var upphetsade av belöning och aversive signaler, men de var också upphetsade av en neutral cue. Den neutrala koden hade aldrig varit kopplad till motivationsresultat, men hade en (mycket liten) fysisk likhet med belöningen och aversive signaler.

Dessa varningsresponser verkar nära knutna till en sensorisk lednings förmåga att utlösa orienteringsreaktioner för att undersöka det vidare och upptäcka dess mening. Detta kan ses i tre anmärkningsvärda egenskaper. För det första uppkommer varningssvar endast för sensoriska signaler som måste undersökas för att bestämma deras mening, inte för att i grunden belöna eller avkomma händelser som leverans av juice eller airpuffs (Schultz, 2010). För det andra uppkommer varningssvar endast när en cue är potentiellt viktig och har förmåga att utlösa orienteringsreaktioner, inte när koden är irrelevant för uppgiften till hands och misslyckas med att utlösa orienteringsreaktioner (Schultz och Romo, 1990). För det tredje förbättras varningssignaler i situationer där signaler skulle utlösa en abrupt skiftning av uppmärksamhet - när de uppträder vid en oväntad tid eller bort från centrum av blicken (Bromberg-Martin et al., 2010a). Således, när motivationssignaler presenteras med oförutsägbar tidpunkt, utlöser de omedelbara orienteringsreaktioner och ett generaliserat DA-varningsrespons - excitation av alla signaler inklusive neutrala signaler (Figur 6C, svart). Men om deras tidpunkt görs förutsägbar - till exempel genom att varna ämnena med en "trial start cue" som presenteras en sekund innan signalerna visas - signalerna inte längre framkallar ett varnande svar (Figur 6D, grå). Istället ändras det varningssvaret till försöksbegäran - den första händelsen i försöket som har oförutsägbar timing och framkallar orienteringsreaktioner (Figur 6D, svart).

Vad är den underliggande mekanismen som genererar DA neuron-varningssignaler? En hypotes är att alerting-svar är helt enkelt konventionella belöningsspecifikationsfelssignaler som uppträder vid korta latenser, vilket kodar för det förväntade belöningsvärdet av en stimulans innan den har blivit fullt diskriminerad (Kakade och Dayan, 2002). Nyare bevis tyder emellertid på att varningssignaler kan genereras med en distinkt mekanism från konventionella DA-belöningssignaler (Satoh et al., 2003; Bayer och Glimcher, 2005; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c; Nomoto et al., 2010). Mest påtagligt är det varnande svaret på försöksbegäran inte begränsat till givande uppgifter. det kan ha samma styrka under en aversiv uppgift där inga belöningar levereras (Figur 6C, D, botten, "aversive uppgift"). Detta sker även om konventionella DA-belöningssignaler i samma neuroner korrekt signalerar att den givande uppgiften har ett mycket högre förväntat värde än den aversiva uppgiften (Bromberg-Martin et al., 2010a). Dessa varningssignaler är inte enbart en form av värdekodning eller enbart en form av salaminkodning, eftersom de förekommer i majoriteten av både motivationsvärdet och salience-kodande DA-neuroner (Bromberg-Martin et al., 2010a). En andra dissociation kan ses på sättet att DA neuroner förutsäger framtida belöningar baserat på minnet av tidigare belöningsresultat (Satoh et al., 2003; Bayer och Glimcher, 2005). Medan konventionella DA-belöningssignaler styrs av ett långvarigt minnesspår optimerat för exakt belöningsförutsägning, varnar svaren på försöksstartkoden styrs av ett separat minnesspår som liknar det som ses i omedelbara orienteringsreaktioner (Bromberg-Martin et al., 2010c). En tredje dissociation kan ses på sättet att dessa signaler fördelas över DA neuronpopulationen. Medan konventionella DA-belöningssignaler är starkast i ventromediala SNC, varnar svaren på försöksstartkoden (och till andra oväntat tidsbestämda signaler) sänds genom hela SNc (Nomoto et al., 2010).

I motsats till dessa dissociationer från konventionella belöningssignaler korreleras DA-varningssignaler med hastigheten för orienterings- och tillvägagångssvar för varningshändelsen (Satoh et al., 2003; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). Detta tyder på att alarmerande signaler genereras av en neural process som motiverar snabba reaktioner för att undersöka potentiellt viktiga händelser. För närvarande är tyvärr relativt lite känt om exakt vilka händelser denna process behandlar som "viktig". Till exempel är varningssvar lika känsliga för givande och avkommande händelser? Alertande svar är kända för stimuli som liknar belöningssignaler eller som liknar både belöning och aversiva signaler (t.ex. genom att dela samma sensoriska modalitet). Men det är ännu inte känt om varningssignaler uppstår för stimuli som enbart liknar aversiva signaler.

Funktionell roll för dopaminvarningssignaler

Som vi har sett, kommer alerting signaler sannolikt att genereras av en distinkt mekanism från motivationsvärde och salience signaler. Alarmerande signaler skickas emellertid till både motivationsvärdet och salience-kodande DA-neuroner och är därför sannolikt att reglera hjärnbearbetning och beteende på ett liknande sätt som värdesignaler och signalerFigur 5).

Alertande signaler som skickas till motiverande salience-kodande DA-neuroner skulle stödja orientering av uppmärksamheten på den akustiska stimulansen, engagemanget av kognitiva resurser för att upptäcka dess mening och besluta om en handlingsplan och öka motivationsnivåerna för att genomföra denna plan effektivt (Figur 5). Dessa effekter kan uppstå genom omedelbara effekter på neuralt bearbetning eller genom förstärkning av åtgärder som ledde till detektering av alerting-händelsen. Denna funktionella roll passar väl i samband med korrelationen mellan DA-varningsresponser och snabba beteendereaktioner på den akustiska stimulansen och med teorier att korta latens DA-neuronreaktioner är inblandade i orientering av uppmärksamhet, upphetsning, förbättring av kognitiv behandling och omedelbara beteendereaktioner (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Lisman och Grace, 2005; Redgrave och Gurney, 2006; Joshua et al., 2009a).

Närvaron av varningssignaler i motiverande värdekodande DA-neuroner är svårare att förklara. Dessa neuroner överför motivationsvärdessignaler som är idealiska för att söka, utvärdera resultat och värdera inlärning. men de kan också vara glada genom att varna händelser som oväntade klickljud och början av aversiva försök. Enligt vår hypotetiska väg (Figur 5) skulle detta leda till att händelserna tilldelas positivt värde och eftersträvas på liknande sätt som belöningar! Medan överraskande vid första anblicken finns det anledning att misstänka att alerting händelser kan behandlas som positiva mål. Varningssignaler ger den första varningen om att en potentiellt viktig händelse ska inträffa, och därigenom ge den första möjligheten att vidta åtgärder för att kontrollera den händelsen. Om varningsignaler är tillgängliga kan motivationellt framträdande händelser detekteras, förutses och förberedas i förväg; Om varningsignaler är frånvarande, uppträder motiverande framträdande händelser som en oväntad överraskning. Faktum är att människor och djur ofta uttrycker en preferens för miljöer där belöning, aversiv och till och med motivationellt neutrala sensoriska händelser kan observeras och förutsägas i förväg (Badia et al., 1979; Herry et al., 2007; Daly, 1992; Chew och Ho, 1994) och många DA neuroner signalerar beteendemässiga preferenser för att visa belönings-prediktiv information (Bromberg-Martin och Hikosaka, 2009). DA-varningssignaler kan stödja dessa inställningar genom att tilldela positivt värde till miljöer där potentiellt viktiga sensoriska signaler kan förväntas i förväg.

Neurala vägar för motivationsvärde, salience och alerting

Hittills har vi delat DA neuroner i två typer som kodar mot motiverande värde och motiverande salience och lämpar sig för olika roller i motivationskontroll (Figur 5). Hur kartlägger detta konceptuella schema på neurala vägar i hjärnan? Här föreslår vi en hypotes om de neurologiska anatomiska placeringarna, deras prognoser för nedströmsstrukturer och källorna till deras motivationssignaler (Figurer 6,, 77).

Figur 7 

Hypoteserad anatomisk plats och projicer av dopamin motiverande värde och salience kodande neuroner

Anatomiska placeringar av värde och salience kodande neuroner

En ny studie kartlade platser för DA-belöning och aversiva signaler i lateral midbrain inklusive SNC och senare delen av VTA (Matsumoto och Hikosaka, 2009b). Motivationsvärdet och motivationssaliversignalerna fördelades över denna region i en anatomisk gradient. Motivationsvärdessignaler hittades vanligare i neuroner i ventromediala SNc och laterala VTA, medan motivationssalidsignaler hittades vanligare i neuroner i dorsolaterala SNC (Figur 7B). Detta överensstämmer med rapporter om att DA-belöningsvärdekodning är starkast i ventromediala SNC (Nomoto et al., 2010) medan aversiva excitationer tenderar att vara starkast mer lateralt (Mirenowicz och Schultz, 1996). Andra studier har undersökt den mer mediala midbrainen. Dessa studier hittade en blandning av excitatoriska och hämmande aversiva svar utan någon signifikant skillnad på deras ställen, men med en trend för aversiva excitationer att lokaliseras mer ventralt (Guarraci och Kapp, 1999; Brischoux et al., 2009) (Figur 7C).

Resmål för motivationsvärdessignaler

Enligt vår hypotes bör motiverande värdekodande DA-neuroner projicera till hjärnregioner som är involverade i tillvägagångssätt och undvikande åtgärder, utvärdering av resultat och värdering av lärande (Figur 5). Faktum är att ventromediala SNc och VTA-projektet till den ventromediala prefrontala cortexen (Williams och Goldman-Rakic, 1998) inklusive orbitofrontal cortex (OFC) (Porrino och Goldman-Rakic, 1982) (Figur 7A). OFC har konsekvent implicerats i värdekodning i funktionella bildstudier (Anderson et al., 2003; Small et al., 2003; Jensen et al., 2007; Litt et al., 2010) och enkla neuroninspelningar (Morrison och Salzman, 2009; Roesch och Olson, 2004). OFC bedöms utvärdera valmöjligheter (Padoa-Schioppa, 2007; Kable och Glimcher, 2009), koda resultatförväntningar (Schoenbaum et al., 2009), och uppdatera dessa förväntningar under inlärning (Walton et al., 2010). Vidare är OFC inblandad i att lära av negativa belöningsspecifikationsfel (Takahashi et al., 2009) som är starkast i värdekodande DA-neuroner (Figur 4).

Dessutom kommer de mediala delarna av det dopaminerga midbrainet att projicera till ventralstriatumet inklusive kärnan accumbens-skalet (NAc-skalet) (Haber et al., 2000) (Figur 7A). En ny studie visade att NAc-skalet mottar fas-DA-signaler som kodar för motivationsvärdet av smakutfall (Roitman et al., 2008). Dessa signaler kommer sannolikt att orsaka värdeinlärning eftersom direkt infusion av DA-läkemedel i NAc-skalet stärks starkt (Ikemoto, 2010) medan behandlingar som reducerar DA-inmatning till skalet kan orsaka aversioner (Liu et al., 2008). Ett tillvägagångssätt är att studier av NAc-skalet DA-utsläpp över långa tidsskala (minuter) har producerat blandade resultat, vissa överensstämmer med värdekodning och andra med salaminkodning (t.ex.Bassareo et al., 2002; Ventura et al., 2007)). Detta föreslår att värdesignaler kan begränsas till specifika platser inom NAc-skalet. I synnerhet är olika regioner i NAc-skalet specialiserade för att kontrollera aptit och aversivt beteende (Reynolds och Berridge, 2002), vilka båda kräver inmatning från DA neuroner (Faure et al., 2008).

Slutligen skickar DA-neuroner i hela SNC-utsträckningen tunga utsprång till dorsalstriatumet (Haber et al., 2000), vilket tyder på att dorsalstriatumet kan ta emot både motivationsvärde och salighetskodande DA-signaler (Figur 7A). Motivationsvärdekodning DA-neuroner skulle ge en idealisk lärande signal för striatalkretsar som är involverade i värderingsinlärning, såsom att lära av stimulansresponsvanor (Faure et al., 2005; Yin och Knowlton, 2006; Balleine och O'Doherty, 2010). När dessa DA neuroner brutit, skulle de engagera sig i den direkta vägen för att lära sig att vinna belöningsresultat. när de pausar, skulle de engagera den indirekta vägen för att lära sig att undvika aversiva resultat (Figur 2). I själva verket finns det nyligen bevis på att striatalvägarna följer exakt denna arbetsfördelning för belöning och aversiv bearbetning (Hikida et al., 2010). Det är dock fortfarande okänt hur neuroner i dessa vägar svarar på givande och avkommande händelser under beteendet. Åtminstone i dorsalstriatum som helhet, svarar en delmängd neuroner på vissa givande och aversiva händelser på olika sätt (Ravel et al., 2003; Yamada et al., 2004, 2007; Joshua et al., 2008).

Resmål av motivational salience signaler

Enligt vår hypotes bör motiverande salience-kodande DA-neuroner komma till projekt för hjärnregioner involverade i orientering, kognitiv bearbetning och allmän motivation (Figur 5). Faktum är att DA-neuroner i den dorsolaterala midjan sänder prognoser mot dorsal och lateral frontal cortex (Williams och Goldman-Rakic, 1998) (Figur 7A), en region som har blivit involverad i kognitiva funktioner såsom attentional sökning, arbetsminne, kognitiv kontroll och beslutsfattande mellan motivativa utfall (Williams och Castner, 2006; Lee och Seo, 2007; Klokt, 2008; Kable och Glimcher, 2009; Wallis och Kennerley, 2010). Dorsolaterala prefrontala kognitiva funktioner regleras strikt av DA-nivåer (Robbins och Arnsten, 2009) och teoretiseras för att bero på fas-DA-neuronaktivering (Cohen et al., 2002; Lapish et al., 2007). I synnerhet svarar en delmängd av laterala prefrontala neuroner på både givande och aversiva visuella signaler, och majoriteten svarar i samma riktning som liknar kodning av motiverande salience (Kobayashi et al., 2006). Vidare är aktiviteten hos dessa neuroner korrelerad med beteendemässig framgång vid utförande av arbetsminnesuppgifter (Kobayashi et al., 2006). Även om denna dorsolaterala DA → dorsolateral frontal cortexväg verkar vara specifik för primater (Williams och Goldman-Rakic, 1998) kan en funktionellt liknande vägen finnas i andra arter. I synnerhet utförs många av de kognitiva funktionerna hos den primära dorsolaterala prefrontala cortexen av den gnagare mediala prefrontala cortexen (Uylings et al., 2003), och det finns bevis för att denna region mottar DA motivationssaliversignaler och kontrollerar saliencerelaterat beteende (Mantz et al., 1989; Di Chiara, 2002; Joseph et al., 2003; Ventura et al., 2007; Ventura et al., 2008).

Med tanke på bevisen att VTA innehåller både salience och värdekodande neuroner och de värdekodningssignaler som skickas till NAc-skalet, kan salamsignaler skickas till NAc-kärnan (Figur 7A). Faktum är att NAc-kärnan (men inte skalet) är avgörande för att möjliggöra motivation för att övervinna responskostnader som fysisk ansträngning; för utförande av set-shifting-uppgifter som kräver kognitiv flexibilitet; och för att möjliggöra belöningssignaler för att ge en ökad allmän motivation (Ghods-Sharifi och Floresco, 2010; Floresco et al., 2006; Hall et al., 2001; Kardinal, 2006). I överensstämmelse med kodning av motiverande salience mottar NAc-kärnan fasiska utbrott av DA under både givande erfarenheter (Day et al., 2007) och aversive erfarenheter (Anstrom et al., 2009).

Slutligen, som diskuterats ovan, kan vissa salience-kodande DA-neuroner projicera till dorsalstriatumen (Figur 7A). Medan vissa delar av dorsalstriatumet är involverade i funktioner relaterade till inlärningsaktionsvärden är dorsalstriatum också involverad i funktioner som bör engagera sig för alla viktiga händelser, såsom orientering, uppmärksamhet, arbetsminne och allmän motivation (Hikosaka et al., 2000; Klingberg, 2010; Palmiter, 2008). Faktum är att en delmängd av dorsala striataleuroner starkare reagerar på givande och aversiva händelser än till neutrala händelser (Ravel et al., 1999; Blazquez et al., 2002; Yamada et al., 2004, 2007), även om deras orsakssamband i motiverat beteende ännu inte är känt.

Källor av motivationsvärdessignaler

En ny serie studier tyder på att DA neuroner får motivationsvärdessignaler från en liten kärna i epitelamusen, den laterala habenula (LHb) (Hikosaka, 2010) (Figur 8). LHb utövar kraftig negativ kontroll över DA-neuroner: LHb-stimulering hämmar DA-neuroner vid korta latenser (Christoph et al., 1986) och kan reglera lärandet på ett motsatt sätt till VTA-stimulering (Shumake et al., 2010). I överensstämmelse med en negativ kontrollsignal har många LHb-neuroner spegel-inverterade fasresponser på DA-neuroner: LHb-neuroner är inhiberade genom positiva belöningar förutsägelse fel och exciterade genom negativ belöning förutsägelse fel (Matsumoto och Hikosaka, 2007, 2009; Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). I flera fall uppträder dessa signaler vid kortare latenser i LHb, i överensstämmelse med LHb → DA-överföring (Matsumoto och Hikosaka, 2007; Bromberg-Martin et al., 2010a).

Figur 8 

Hypoteserade källor till motivationsvärde, salience och alerting signaler

LHb kan styra DA neuroner i hela mitten, men flera rader av bevis tyder på att det utövar förmånskontroll över motivationsvärdes kodande DA neuroner. För det första kodar LHb-neuroner motivationsvärdet på ett sätt som speglar värdekodande DA-neuroner - de kodar både predikationsfel för positiva och negativa belöningar och svarar i motsatta riktningar till givande och avkommande händelser (Matsumoto och Hikosaka, 2009a; Bromberg-Martin et al., 2010a). För det andra har LHb-stimulering sina mest potenta effekter på DA-neuroner vars egenskaper överensstämmer med värdekodning, inklusive inhibering av icke-belöningssignaler och anatomisk lokalisering i ventromediala SNc (Matsumoto och Hikosaka, 2007, 2009b). För det tredje försämrar lesioner till LHb DA-hämmande reaktioner på aversiva händelser, vilket föreslår en orsakssrolle för LHb vid alstring av DA-värdesignaler (Gao et al., 1990).

LHb är en del av en mer omfattande neuralväg genom vilken DA neuroner kan styras av de basala ganglierna (Figur 8). LHb mottar signaler som liknar belöningsprognosfel genom en projicering från en population av neuroner som ligger runt globus pallidusgränsen (GPb) (Hong och Hikosaka, 2008). När dessa signaler når LHb kommer de sannolikt att sändas till DA neuroner via en disynaptisk vägen där LHb exciterar GABA-neuroner i mittbråck som i sin tur hämmar DA-neuroner (Ji och Shepard, 2007; Omelchenko et al., 2009; Brinschwitz et al., 2010). Detta kan ske genom LHb-prognoser mot interneuroner i VTA och till en intilliggande GABA-ergic-kärna som kallas den rostromediella tegmentala kärnan (RMTg) (Jhou et al., 2009b) (kallas även den "kaudala svansen av VTA" (Kaufling et al., 2009)). Speciellt har RMTg-neuroner responsegenskaper som liknar LHb-neuroner, kodar mot motiverande värde och har en stor hämmande projicering mot dopaminerge mitthålan (Jhou et al., 2009a). Således kan den fullständiga basala ganglierbanan för att skicka motivationsvärdessignaler till DA neuroner vara GPb → LHb → RMTg → DA (Hikosaka, 2010).

En viktig fråga för framtida forskning är om motivationsvärdessignaler kanaliseras enbart via LHb eller om de bärs av flera ingångsbanor. I synnerhet kontrolleras DA-inhiberingar genom avkommande fotstötar genom aktivitet i mesopontinparabrachialkärnan (PBN) (Coizet et al., 2010) (Figur 8). Denna kärna innehåller neuroner som mottar direkt inmatning från ryggmärgen som kodar för skadliga sensioner och kan hämma DA-neuroner genom excitatoriska projektioner till RMTg (Coizet et al., 2010; Gauriau och Bernard, 2002). Detta föreslår att LHb skickar DA neurons motivationsvärdessignaler för både givande och aversiva signaler och resultat medan PBN tillhandahåller en komponent av värdesignalen specifikt relaterad till aversiva resultat.

Källor av motivationssaliversignaler

Mindre är känt om källan till motivationssaliversignaler i DA neuroner. En fascinerande kandidat är den centrala kärnan i amygdalaen (CeA) som konsekvent har varit inblandad i orientering, uppmärksamhet och generella motiverande responser under både givande och aversiva händelser (Holland och Gallagher, 1999; Baxter och Murray, 2002; Merali et al., 2003; Balleine och Killcross, 2006) (Figur 8). CeA och andra amygdala-kärnor innehåller många neuroner vars signaler överensstämmer med motivationssalience: de signalerar givande och aversiva händelser i samma riktning, förbättras när händelser uppträder oväntat och är korrelerade med uppträdande åtgärder av upphetsning (Nishijo et al., 1988; Belova et al., 2007; Shabel och Janak, 2009). Dessa signaler kan skickas till DA neuroner eftersom CeA har nedåtgående projektioner till hjärnstammen som bär givande och aversiv information (Lee et al., 2005; Pascoe och Kapp, 1985) och CeA är nödvändigt för DA-utsläpp under belöningsrelaterade händelser (Phillips et al., 2003a). Vidare deltar CeA med DA neuroner i vägar som överensstämmer med våra föreslagna anatomiska och funktionella nätverk för motivational salience. En väg inklusive CeA, SNc och dorsal striatum är nödvändig för lärt orientering mot matvaror (Han et al., 1997; Lee et al., 2005; El-Amamy och Holland, 2007). I överensstämmelse med vår uppdelning av salience vs värdesignaler behövs denna väg för att lära sig att orientera till matvaror men inte för att lära sig att närma sig matresultat (Han et al., 1997). En andra väg, inklusive CeA, SNc, VTA och NAc-kärnan, är nödvändig för belöningssignaler för att orsaka en ökning av allmän motivation för att utföra belöningssökande åtgärder (Hall et al., 2001; Corbit och Balleine, 2005; El-Amamy och Holland, 2007).

Förutom CeA skulle DA neuroner kunna få motivationssaliversignaler från andra källor, såsom salience-kodande neuroner i basalforkanten (Lin och Nicolelis, 2008; Richardson och DeLong, 1991) och neuroner i PBN (Coizet et al., 2010), även om dessa vägar fortfarande är undersökta.

Källor för att varna signaler

Det finns flera bra kandidater för att ge DA neuroner med varningsignaler. Kanske är den mest attraktiva kandidaten den överlägsen colliculusen (SC), en midbrain-kärna som tar emot sensorisk insignal med kort latens från flera sensoriska modaliteter och styr orienterande reaktioner och uppmärksamhet (Redgrave och Gurney, 2006) (Figur 8). SC har en direkt projicering till SNc och VTA (May et al., 2009; Comoli et al., 2003). I bedövade djur är SC en vital ledning för korta latenta visuella signaler för att nå DA neuroner och utlösa DA-frisättning i nedströms strukturer (Comoli et al., 2003; Dommett et al., 2005). SC-DA-vägen passar bäst för att överföra varningssignaler i stället för belöning och aversionssignaler, eftersom SC-neuroner har liten respons på belöningsleverans och har bara ett litet inflytande över DA-aversiva svar (Coizet et al., 2006). Detta föreslår en följd av händelser där SC-neuroner (1) upptäcker en stimulans, (2) markerar den som potentiellt viktig, (3) utlöser en orienteringsreaktion för att undersöka stimulansen och (4) utlöser samtidigt ett DA-varningsrespons som orsakar en utbrott av DA i nedströms strukturer (Redgrave och Gurney, 2006).

En andra kandidat för att skicka varningssignaler till DA neuroner är LHb (Figur 8). I synnerhet hämmar den oväntade starten på en försöksstartkälla många LHb-neuroner på ett omvänt sätt till DA-neuron-varningssignalen, och detta svar uppträder vid kortare latens i LHb i överensstämmelse med en LHb → DA-sändningsriktning (Bromberg-Martin et al., 2010a; Bromberg-Martin et al., 2010c). Vi har också anekdotiskt observerat att LHb-neuroner vanligtvis hämmas av oväntade visuella bilder och ljud på ett inverterat sätt till DA-excitationer (MM, ESB-M, och OH, opublicerade observationer), även om detta väntar på en mer systematisk utredning.

Slutligen är en tredje kandidat för att skicka varningssignaler till DA neuroner pedunculopontin tegmental-kärnan (PPTg), som projekterar både SNc och VTA och är involverad i motivationsbehandling (Winn, 2006) (Figur 8). PPTg är viktigt för att möjliggöra VTA DA neuronbrott (Grace et al., 2007) inklusive sprängresponser för att belöna signaler (Pan och Hyland, 2005). I överensstämmelse med en varningssignal har PPTg-neuroner kort latent respons på flera sensoriska modaliteter och är aktiva under orienteringsreaktioner (Winn, 2006). Det finns bevis för att PPTg-sensoriska responser påverkas av belöningsvärdet och av krav på omedelbar åtgärd (Dormont et al., 1998; Okada et al., 2009) (men se (Pan och Hyland, 2005)). Vissa PPTg-neuroner svarar också på givande eller aversiva resultat själva (Dormont et al., 1998; Kobayashi et al., 2002; Ivlieva och Timofeeva, 2003b, a). Det kommer att vara viktigt att testa om de signaler PPTg skickar till DA neuroner är relaterade specifikt till att varna eller om de innehåller andra motivationssignaler som värde och salience.

Riktlinjer för framtida forskning

Vi har granskat naturen av belöning, aversive och varnar signaler i DA neuroner, och har föreslagit en hypotes om de underliggande neurala vägarna och deras roller i motiverat beteende. Vi anser att detta är en arbetshypotes, en guide för framtida teorier och forskning som kommer att ge oss en mer fullständig förståelse. Här kommer vi att lyfta fram flera områden där ytterligare utredning behövs för att avslöja djupare komplexiteter.

För närvarande är vår förståelse för neurala vägar som ligger bakom DA-signaler i ett tidigt skede. Därför har vi försökt härleda källorna och destinationerna för värde- och salighetskodande DA-signaler som i stor utsträckning är baserade på indirekta åtgärder såsom neurala responsegenskaper och funktionella roller hos olika hjärnområden. Det kommer att vara viktigt att sätta dessa kandidatvägar till ett direkt test och att upptäcka deras detaljerade egenskaper, med hjälp av nyligen utvecklade verktyg som möjliggör övervakning av DA-överföring (Robinson et al., 2008) och kontrollerad (Tsai et al., 2009; Tecuapetla et al., 2010; Stuber et al., 2010) med hög rumslig och tidsmässig precision. Som nämnts ovan har flera av dessa kandidatstrukturer en topografisk organisation, vilket tyder på att deras kommunikation med DA neuroner kan vara topografisk också. De neurala källorna till fasiska DA-signaler kan också vara mer komplexa än de enkla matningsvägarna vi har föreslagit, eftersom de neurala strukturerna som kommunicerar med DA neuroner är tätt sammankopplade (Geisler och Zahm, 2005) och DA neuroner kan kommunicera med varandra inom mittenFord et al., 2010).

Vi har fokuserat på en utvald uppsättning DA neuron-anslutningar, men DA-neuroner får funktionell inmatning från många ytterligare strukturer, inklusive subthalamuskärnan, laterodorsala tegmentalkärnan, strängterminalens sängkärna, prefrontal cortex, ventral pallidum och lateral hypotalamus (Grace et al., 2007; Shimo och Wichmann, 2009; Jalabert et al., 2009). I synnerhet, laterala hypotalamus-orexin-neuroner, som kommer till DA-neuroner, aktiveras genom att belöna snarare än aversiva händelser och utlösa läkemedelssökande beteende (Harris och Aston-Jones, 2006), vilket föreslår en möjlig roll i värderelaterade funktioner. DA-neuroner skickar även prognoser till många ytterligare strukturer, inklusive hypotalamus, hippocampus, amygdala, habenula och en stor mängd kortikala områden. I synnerhet har den främre cingulära cortexen (ACC) föreslagits att mottaga belöningsspecifikationsfelsignaler från DA neuroner (Holroyd och Coles, 2002) och innehåller neuroner med aktivitet som är positivt relaterad till motivationsvärdet (Koyama et al., 1998). Ändå är ACC-aktivering kopplad till aversiv bearbetning (Vogt, 2005; Johansen och Fields, 2004). Dessa ACC-funktioner kan stödjas av en blandning av DA motivationsvärde och salamsignaler, vilket kommer att vara viktigt att testa i framtida studier. Faktum är att neurala signaler relaterade till felsökningsprognosfel har rapporterats på flera områden, inklusive medial prefrontal cortex (Matsumoto et al., 2007; Seo och Lee, 2007), orbitofrontal cortex (Sul et al., 2010) (men se (Takahashi et al., 2009; Kennerley och Wallis, 2009)) och dorsalstriatum (Kim et al., 2009; Oyama et al., 2010), och deras orsakssamband med DA neuronaktivitet återstår att upptäckas.

Vi har beskrivit motivationshändelser med en enkel dikotomi, klassificera dem som "givande" eller "aversiva". Ändå innehåller dessa kategorier stor variation. En aversiv sjukdom är gradvis, långvarig och orsakad av interna händelser; en aversiv luftpuff är snabb, kort och orsakad av den yttre världen. Dessa situationer kräver mycket olika beteendemässiga svar som sannolikt kommer att stödjas av olika neurala system. Även om vi har fokuserat vår diskussion om två typer av DA-neuroner med signaler som liknar motivationsvärde och salighet, visar en nära undersökning att DA-neuroner inte är begränsade till denna strikta dikotomi. Som indikeras av vår uppfattning om en anatomisk gradient överför vissa DA-neuroner blandningar av både salienceliknande och värdeliknande signaler; fortfarande andra DA neuroner svarar på givande men inte aversiva händelser (Matsumoto och Hikosaka, 2009b; Bromberg-Martin et al., 2010a). Dessa överväganden tyder på att vissa DA neuroner kanske inte kodar mot motiverande händelser längs vår intuitiva axel av "bra" vs "dåligt" och kan istället vara specialiserade för att stödja specifika former av adaptivt beteende.

Även i belöningsområdet finns det bevis för att DA neuroner sänder olika belöningssignaler till olika hjärnregioner (Bassareo och Di Chiara, 1999; Ito et al., 2000; Stefani och Moghaddam, 2006; Wightman et al., 2007; Aragona et al., 2009). Diverse svar som rapporterats i SNc och VTA inkluderar neuroner som: svarar endast på början av en försök (Roesch et al., 2007), som kanske kodar för en ren varningssignal; svara annorlunda mot visuella och auditiva modaliteter (Strecker och Jacobs, 1985), kanske mottar inmatning från olika SC och PPTg neuroner; svara på den första eller sista händelsen i en sekvens (Ravel och Richmond, 2006; Jin och Costa, 2010); har fortsatt aktivering med riskabla belöningar (Fiorillo et al., 2003); eller aktiveras under kroppsrörelser (Schultz, 1986; Kiyatkin, 1988a; Puryear et al., 2010; Jin och Costa, 2010) (se även (Phillips et al., 2003b; Stuber et al., 2005)). Även om var och en av dessa responsmönster endast rapporterats i en minoritet av studier eller neuroner, tyder dessa data på att DA neuroner potentiellt kan delas in i ett mycket större antal funktionellt distinkta populationer.

En slutlig och viktig övervägelse är att nuvarande inspelningsstudier hos djur som uppför sig inte ännu tillhandahåller fullständiga avgörande mätningar av DA neuronaktivitet, eftersom dessa studier endast har kunnat skilja mellan DA- och icke-DA-neuroner genom att använda indirekta metoder baserat på neurala egenskaper såsom som avfyrningsgrad, spikvågform och känslighet för D2-receptoragonister (Grace and Bunney, 1983; Schultz, 1986). Dessa tekniker tycks identifiera DA neuroner på ett tillförlitligt sätt inom SNc, indikerat av flera rader av bevis inklusive jämförelse av intracellulära och extracellulära metoder, juxtacellulära inspelningar och effekterna av DA-specifika lesioner (Grace and Bunney, 1983; Grace et al., 2007; Brown et al., 2009). Nya studier tyder dock på att denna teknik kan vara mindre tillförlitlig i VTA, där DA och icke-DA neuroner har en större mängd cellulära egenskaper (Margolis et al., 2006; Margolis et al., 2008; Lammel et al., 2008; Brischoux et al., 2009). Även direkta mätningar av DA-koncentrationer i nedströmsstrukturer ger inte slutgiltigt bevis på DA neuron-spikningsaktivitet eftersom DA-koncentrationer kan kontrolleras av ytterligare faktorer såsom glutamatergisk aktivering av DA axonterminaler (Cheramy et al., 1991) och snabba förändringar i DA-transportörernas aktivitet (Zahniser och Sorkin, 2004). För att utföra helt avgörande mätningar av DA neuronaktivitet under aktivt beteende är det nödvändigt att använda nya inspelningstekniker, såsom att kombinera extracellulär inspelning med optogenisk stimulering (Jin och Costa, 2010).

Slutsats

Ett inflytelserikt begrepp med neurbrains DA-neuroner har varit att de överför en enhetlig motivationssignal till alla nedströms strukturer. Här har vi granskat bevis på att DA-signaler är mer mångsidiga än vanligt tänkta. I stället för att koda en enhetlig signal kommer DA neuroner i flera typer som skickar distinkta motivationsmeddelanden om givande och icke-givande händelser. Även enskilda DA neuroner verkar inte överföra enskilda motivationssignaler. I stället sänder DA neuroner blandningar av flera signaler genererade av olika neurala processer. Vissa reflekterar detaljerade förutsägelser om givande och aversiva upplevelser, medan andra speglar snabba svar på händelser av hög potential.

Dessutom har vi föreslagit en hypotes om typen av dessa olika DA-signaler, de neurala nätverk som genererar dem och deras inflytande på nedströms hjärnstrukturer och på motiverat beteende. Vårt förslag kan ses som en syntes av tidigare teorier. Många tidigare teorier har försökt identifiera DA-neuroner med en enda motivationsprocess som att söka efter värderade mål, engagera motiverande framträdande situationer eller reagera på att varna förändringar i miljön. Enligt vår syn mottar DA neuroner signaler relaterade till alla tre av dessa processer. Men snarare än att destillera dessa signaler till ett enhetligt meddelande, har vi föreslagit att DA neuroner sänder dessa signaler till olika hjärnstrukturer för att stödja distinkta neurala system för motiverad kognition och beteende. Några DA-neuroner stöder hjärnsystem som tilldelar motivationsvärde, främjar åtgärder för att söka givande händelser, undvik avvikande händelser och se till att varningshändelser kan förutsägas och förberedas i förhand. Andra DA neuroner stöder hjärnans system som är engagerade av motiverande salience, inklusive orientering för att upptäcka potentiellt viktiga händelser, kognitiv bearbetning för att välja ett svar och att komma ihåg följderna och motivationen att fortsätta i strävan efter ett optimalt resultat. Vi hoppas att detta förslag hjälper oss till en mer förfinad förståelse av DA-funktioner i hjärnan, där DA-neuroner skräddarsy sina signaler för att stödja flera neurala nätverk med olika roller i motivationskontroll.

TACK

Detta arbete stöddes av det intramurala forskningsprogrammet vid National Eye Institute. Vi tackar också Amy Arnsten för värdefulla diskussioner.

fotnoter

Ansvarsfriskrivning för förlag: Detta är en PDF-fil av ett oediterat manuskript som har godkänts för publicering. Som en tjänst till våra kunder tillhandahåller vi denna tidiga version av manuskriptet. Manuskriptet kommer att genomgå copyediting, uppsättning och granskning av det resulterande beviset innan det publiceras i sin slutliga formulär. Observera att under tillverkningsprocessen kan det upptäckas fel som kan påverka innehållet och alla juridiska ansvarsfrister som gäller för tidskriften avser.

FOOTNOTE1By motiverande salience vi menar en mängd som är hög för både givande och aversiva händelser och är låg för motivationellt neutrala (icke-givande och icke-aversiva) händelser. Detta liknar definitionen som ges av (Berridge och Robinson, 1998). Observera att motiverande salience skiljer sig från andra begrepp som används i neurovetenskap, såsom stimulanssalience (som endast gäller önskvärda händelser;Berridge och Robinson, 1998)) och perceptual salience (som gäller motivationellt neutrala händelser som rörliga föremål och färgade ljus;Bisley och Goldberg, 2010)).]

FOOTNOTE2Observera att motiverande salience-kodande DA-neuronsignaler skiljer sig från de klassiska begreppen "associerbarhet" och "förändring i associerbarhet" som har föreslagits för att reglera graden av förstärkningslärande (t.ex.Pearce och Hall, 1980)). Sådana teorier anger att djuren lär sig (och anpassar inlärningsgraden) från både positiva och negativa förutsägelsesfel. Även om dessa DA-neuroner kan bidra till att lära av positiva förutsägelsesfel, där de kan ha ett starkt svar (t.ex. till oväntad belöning), kan de inte bidra till att lära sig av negativa förutsägelsesfel, under vilka de kan ha ringa eller inget svar ( t ex till oväntad belöningsutelämning) (Fig. 4B).

REFERENSER

  1. Ahlbrecht M, Weber M. Upplösningen av osäkerhet: en experimentell studie. Journal of institutional and theoretical economics. 1996; 152: 593-607.
  2. Albin RL, Young AB, Penney JB. Den funktionella anatomin av basala ganglia störningar. Trender i neurovetenskaper. 1989; 12: 366-375. [PubMed]
  3. Anderson AK, Christoff K, Stappen I, Panitz D, Ghahremani DG, Glover G, Gabrieli JD, Sobel N. Dissocierade neurala representationer av intensitet och valens vid mänsklig olfaction. Nat Neurosci. 2003; 6: 196-202. [PubMed]
  4. Anstrom KK, Miczek KA, Budygin EA. Ökad fasisk dopamin signalering i mesolimbic vägen under social nederlag hos råttor. Neuroscience. 2009; 161: 3-12. [PubMed]
  5. Aragona BJ, Dag JJ, Roitman MF, Cleaveland NA, Wightman RM, Carelli RM. Regional specificitet i realtidsutveckling av fasiska dopaminöverföringsmönster vid förvärv av en cue-kokainförening hos råttor. Den europeiska tidningen för neurovetenskap. 2009; 30: 1889-1899. [PMC gratis artikel] [PubMed]
  6. Austin AJ, Duka T. Mekanismer av uppmärksamhet för aptit och aversive resultat i Pavlovian konditionering. Behavioral brain research. 2010; 213: 19-26. [PubMed]
  7. Badia P, Harsh J, Abbott B. Välja mellan förutsägbara och oförutsägbara chockförhållanden: Data och teori. Psykologisk bulletin. 1979; 86: 1107-1131.
  8. Balleine BW, Killcross S. Parallell incitamentbehandling: En integrerad bild av amygdalafunktionen. Trender i neurovetenskaper. 2006; 29: 272-279. [PubMed]
  9. Balleine BW, O'Doherty JP. Mänskliga och gnagarehomologier i handlingskontroll: kortikostriatala determinanter för målstyrd och vanlig handling. Neuropsykofarmakologi. 2010; 35: 48–69. [PMC gratis artikel] [PubMed]
  10. Barr GA, Moriceau S, Shionoya K, Muzny K, Gao P, Wang S, Sullivan RM. Övergångar i spädbarnsinlärning moduleras av dopamin i amygdala. Nat Neurosci. 2009; 12: 1364-1366. [PMC gratis artikel] [PubMed]
  11. Bassareo V, De Luca MA, Di Chiara G. Differentiell Expression av Motivational Stimulus Properties av Dopamin i Nucleus Accumbens Shell mot Core och Prefrontal Cortex. J Neurosci. 2002; 22: 4709-4719. [PubMed]
  12. Bassareo V, Di Chiara G. Differentiell reaktivitet för dopaminöverföring till matstimuli i nukleinsymboler skal / kärnfack. Neuroscience. 1999; 89: 637-641. [PubMed]
  13. Baxter MG, Murray EA. Amygdala och belöning. Nat Rev Neurosci. 2002; 3: 563-573. [PubMed]
  14. Bayer HM, Glimcher PW. Midbrain dopamin neuroner kodar en kvantitativ belöning förutsägelse fel signal. Nervcell. 2005; 47: 129-141. [PMC gratis artikel] [PubMed]
  15. Belova MA, Paton JJ, Morrison SE, Salzman CD. Förväntan modulerar neurala reaktioner på trevliga och aversiva stimuli i primatamygdala. Nervcell. 2007; 55: 970-984. [PMC gratis artikel] [PubMed]
  16. Bentivoglio M, Morelli M. Organisationen och kretsarna av mesencefaliska dopaminerga neuroner och fördelningen av dopaminreceptorer i hjärnan. Handbok för kemisk neuroanatomi. 2005: 1-107.
  17. Berridge KC, Robinson TE. Vad är dopaminens roll i belöning: hedonisk inverkan, belöningsbelöning eller incitamentsalience? Hjärnforskning. 1998; 28: 309-369. [PubMed]
  18. Besson C, Louilot A. Asymmetrisk involvering av mesolimbiska dopaminerga neuroner i affektiv perception. Neuroscience. 1995; 68: 963-968. [PubMed]
  19. Birgner C, Nordenankar K, Lundblad M, Mendez JA, Smith C, le Greves M, Galter D, Olson L, Fredriksson A, Trudeau LE, et al. VGLUT2 i dopaminneuroner krävs för psykostimulerande inducerad beteendeaktivering. Förhandlingar vid National Academy of Sciences i USA. 2010; 107: 389-394. [PMC gratis artikel] [PubMed]
  20. Bisley JW, Goldberg ME. Uppmärksamhet, avsikt och prioritet i parietalloben. Årlig granskning av neurovetenskap. 2010; 33: 1-21. [PMC gratis artikel] [PubMed]
  21. Bjorklund A, Dunnett SB. Dopaminneuronsystem i hjärnan: en uppdatering. Trender i neurovetenskaper. 2007; 30: 194-202. [PubMed]
  22. Blazquez PM, Fujii N, Kojima J, Graybiel AM. En nätverksrepresentation av respons sannolikhet i striatumet. Nervcell. 2002; 33: 973-982. [PubMed]
  23. Botvinick MM, Braver TS, Barch DM, Carter CS, Cohen JD. Konfliktövervakning och kognitiv kontroll. Psychol Rev. 2001; 108: 624-652. [PubMed]
  24. Bradley MM, Greenwald MK, Petry MC, Lang PJ. Minns bilder: glädje och upphetsning i minnet. J Exp Psychol Learn Mem Cogn. 1992; 18: 379-390. [PubMed]
  25. Braun DA, Mehring C, Wolpert DM. Strukturinlärning i handling. Behavioral brain research. 2010; 206: 157-165. [PMC gratis artikel] [PubMed]
  26. Brinschwitz K, Dittgen A, Madai VI, Lommel R, Geisler S, Veh RW. Glutamatergiska axoner från lateral habenula avslutas huvudsakligen på GABAergic neuroner i ventral midbrain. Neuroscience. 2010; 168: 463-476. [PubMed]
  27. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fasisk excitation av dopaminneuroner i ventral VTA genom skadliga stimuli. Förhandlingar vid National Academy of Sciences i USA. 2009; 106: 4894-4899. [PMC gratis artikel] [PubMed]
  28. Bromberg-Martin ES, Hikosaka O. Midbrain dopaminneuroner signalerar preferens för förhandsinformation om kommande belöningar. Nervcell. 2009; 63: 119-126. [PMC gratis artikel] [PubMed]
  29. Bromberg-Martin ES, Matsumoto M, Hikosaka O. Distinct tonic och phasic anticipatory aktivitet i laterala habenula och dopaminneuroner. Nervcell. 2010a; 67: 144-155. [PMC gratis artikel] [PubMed]
  30. Bromberg-Martin ES, Matsumoto M, Hong S, Hikosaka O. En pallidus-habenula-dopaminväg signalerar utspädda stimulansvärden. J Neurophysiol. 2010b; 104: 1068-1076. [PMC gratis artikel] [PubMed]
  31. Bromberg-Martin ES, Matsumoto M, Nakahara H, Hikosaka O. Flera tidsskalaer av minne i lateral habenula och dopaminneuroner. Nervcell. 2010c; 67: 499-510. [PMC gratis artikel] [PubMed]
  32. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktivitet av neurokemiskt heterogena dopaminerga neuroner i substantia nigra under spontana och drivna förändringar i hjärnans tillstånd. J Neurosci. 2009; 29: 2915-2925. [PubMed]
  33. Kardinal RN. Neurala system inblandade i försenad och probabilistisk förstärkning. Neural Netw. 2006; 19: 1277-1301. [PubMed]
  34. Heja JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM. Koordinerad ackumbal dopaminfrisättning och neural aktivitet driver målriktat beteende. Nervcell. 2007; 54: 237-244. [PubMed]
  35. Cheramy A, Kemel ML, Gauchy C, Desce JM, Galli T, Barbeito L, Glowinski J. Rollen av excitatoriska aminosyror vid direkt och indirekt presynaptisk reglering av dopaminfrisättning från nervterminaler av nigrostriataldopaminneuroner. Aminosyror. 1991; 1: 351-363. [PubMed]
  36. Chew SH, Ho JL. Hopp: En empirisk studie av attityd mot tidpunkten för osäkerhetsupplösning. Journal of Risk and Uncertainty. 1994; 8: 267-288.
  37. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensoriska stimuli förändrar utsläppshastigheten för dopamin (DA) neuroner: bevis för två funktionella typer av DA-celler i substantia nigra. Brain Res. 1980; 189: 544-549. [PubMed]
  38. Christoph GR, Leonzio RJ, Wilcox KS. Stimulering av lateral habenula hämmar dopamininnehållande neuroner i råttans substantia nigra och ventral tegmentala area. J Neurosci. 1986; 6: 613-619. [PubMed]
  39. Chuhma N, Choi WY, Mingote S, Rayport S. Dopaminneuron glutamatkotransmission: frekvensberoende modulering i mesoventromedialprojektionen. Neuroscience. 2009; 164: 1068-1083. [PMC gratis artikel] [PubMed]
  40. Cohen JD, Braver TS, Brown JW. Beräkningsperspektiv på dopaminfunktion i prefrontal cortex. Nuvarande åsikt i neurobiologi. 2002; 12: 223-229. [PubMed]
  41. Coizet V, Dommett EJ, Klop EM, Redgrave P, Overton PG. Parabrachialkärnan är en kritisk länk i överföringen av kort latent nociceptiv information till midbrain dopaminerga neuroner. Neuroscience. 2010; 168: 263-272. [PMC gratis artikel] [PubMed]
  42. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptiva reaktioner hos dopaminerga neuroner med medelvärde moduleras av överlägsen colliculus i råttan. Neuroscience. 2006; 139: 1479-1493. [PubMed]
  43. Comoli E, Coizet V, Boyes J, Bolam JP, Canteras NS, Quirk RH, Overton PG, Redgrave P. En direktprojektion från överlägsen colliculus till substantia nigra för att upptäcka framträdande visuella händelser. Nat Neurosci. 2003; 6: 974-980. [PubMed]
  44. Corbit LH, Balleine BW. Dubbel dissociation av basolaterala och centrala amygdala lesioner på de allmänna och utfallsspecifika formerna för pavlovian-instrumentöverföring. J Neurosci. 2005; 25: 962-970. [PubMed]
  45. Dalley JW, Laane K, Theobald DE, Armstrong HC, Corlett PR, Chudasama Y, Robbins TW. Tidsbegränsad modulering av appetitivt Pavlovian-minne av D1 och NMDA-receptorer i kärnan accumbens. Förhandlingar vid National Academy of Sciences i USA. 2005; 102: 6189-6194. [PMC gratis artikel] [PubMed]
  46. Daly HB. Preferensen för oförutsägbarhet är omvänd när oförutsägbar icke-återvändande är aversiv: procedurer, data och teorier om appetitivt observerande responsförvärv. I: Gormezano I, Wasserman EA, redaktörer. Lärande och minne: Beteende och biologiska substrat. LE Associates; 1992. pp. 81-104.
  47. Davidson MC, Horvitz JC, Tottenham N, Fossella JA, Watts R, Ulug AM, Casey BJ. Differentiell caudat och cingulat aktivering efter oväntade icke-återkommande stimuli. Neuroimage. 2004; 23: 1039-1045. [PubMed]
  48. Dag JJ, Roitman MF, Wightman RM, Carelli RM. Associativ inlärning medierar dynamiska skift i dopamin-signalering i kärnans accumbens. Nat Neurosci. 2007; 10: 1020-1028. [PubMed]
  49. Dayan P, Niv Y. Förstärkning lärande: det goda, det dåliga och det fula. Nuvarande åsikt i neurobiologi. 2008; 18: 185-196. [PubMed]
  50. Descarries L, Berube-Carriere N, Riad M, Bo GD, Mendez JA, Trudeau LE. Glutamat i dopaminneuroner: Synaptisk kontra diffus överföring. Brain forskning recensioner. 2008; 58: 290-302. [PubMed]
  51. Di Chiara G. Nucleus accumbens skal och kärndopamin: differentiell roll i beteende och beroende. Behavioral brain research. 2002; 137: 75-114. [PubMed]
  52. Dommett E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N, Mayhew JE, Overton PG, Redgrave P. Hur visuella stimuli aktiverar dopaminerga neuroner vid kort latens. Vetenskap. 2005; 307: 1476-1479. [PubMed]
  53. Dormont JF, Conde H, Farin D. Rollen av pedunculopontin-tegmentalkärnan i förhållande till konditionerad motorprestation i katten. I. Kontextberoende och förstärkningsrelaterad enhetsaktivitet. Experimentell hjärnforskning. Experimentell Hirnforschung. 1998; 121: 401-410. [PubMed]
  54. Duzel E, Bunzeck N, Guitart-Masip M, Duzel S. NOvelty-relaterad motivation för förväntan och undersökning av dopamin (NOMAD): konsekvenser för hälsosam åldrande. Neurovetenskap och biobehavioral recensioner. 2010; 34: 660-669. [PubMed]
  55. El-Amamy H, Holland PC. Dissocierbara effekter av att koppla amygdala centrala kärnan från det ventrala tegmentala området eller substantia nigra på lärd orientering och incitament motivation. Den europeiska tidningen för neurovetenskap. 2007; 25: 1557-1567. [PMC gratis artikel] [PubMed]
  56. Ettenberg A. Motståndsprocessegenskaper för självadministrerat kokain. Neurovetenskap och biobehavioral recensioner. 2004; 27: 721-728. [PubMed]
  57. Fadok JP, Dickerson TM, Palmiter RD. Dopamin är nödvändigt för cueberoende räddningskonditionering. J Neurosci. 2009; 29: 11089-11097. [PMC gratis artikel] [PubMed]
  58. Fairhall AL, Lewen GD, Bialek W, de Ruyter Van Steveninck RR. Effektivitet och tvetydighet i en adaptiv neuralkod. Natur. 2001; 412: 787-792. [PubMed]
  59. Faure A, Haberland U, Conde F, El Massioui N. Lesion till nigrostriatal dopamin-systemet stör primärbildning av stimulus-respons. J Neurosci. 2005; 25: 2771-2780. [PubMed]
  60. Faure A, Reynolds SM, Richard JM, Berridge KC. Mesolimbic dopamin i lust och rädsla: möjliggör motivation att genereras genom lokaliserad glutamatstörningar i kärnan accumbens. J Neurosci. 2008; 28: 7184-7192. [PMC gratis artikel] [PubMed]
  61. Fiorillo CD, Newsome WT, Schultz W. Den tidsmässiga precisionen av belöningsspecifikation i dopaminneuroner. Nat Neurosci. 2008; 11: 966-973. [PubMed]
  62. Fiorillo CD, Tobler PN, Schultz W. Diskret kodning av belöningssannolikhet och osäkerhet av dopaminneuroner. Vetenskap. 2003; 299: 1898-1902. [PubMed]
  63. Floresco SB, Ghods-Sharifi S, Vexelman C, Magyar O. Dissocierbara roller för kärnan accumbens kärna och skal i reglering av setskiftning. J Neurosci. 2006; 26: 2449-2457. [PubMed]
  64. Ford CP, Gantz SC, Phillips PE, Williams JT. Kontroll av extracellulär dopamin vid dendrit och axonterminaler. J Neurosci. 2010; 30: 6975-6983. [PMC gratis artikel] [PubMed]
  65. Frank MJ. Dynamisk dopaminmodulering i basalganglierna: ett neurokomputativt bero på kognitiva underskott i medicinerad och nonmedicated Parkinsonism. Journal of Cognitive Neuroscience. 2005; 17: 51-72. [PubMed]
  66. Frank MJ, Fossella JA. Neurogenetik och farmakologi av lärande, motivation och kognition. Neuropsychopharmacology. 2010 [PMC gratis artikel] [PubMed]
  67. Frank MJ, Seeberger LC, O'Reilly RC. Med morot eller stick: kognitiv förstärkning lärande i parkinsonism. Vetenskap. 2004; 306: 1940-1943. [PubMed]
  68. Gallistel CR, Gibbon J. Tid, hastighet och konditionering. Psychol Rev. 2000; 107: 289-344. [PubMed]
  69. Gao DM, Jeaugey L, Pollak P, Benabid AL. Intensitetsberoende nociceptiva reaktioner från antagna dopaminerga neuroner av substantia nigra, pars compacta i råttan och deras modifiering genom laterala habenula ingångar. Brain Res. 1990; 529: 315-319. [PubMed]
  70. Gauriau C, Bernard JF. Smärta vägar och parabrachial kretsar i råttan. Experimentell fysiologi. 2002; 87: 251-258. [PubMed]
  71. Geisler S, Zahm DS. Afferenter av det ventrala tegmentala området i det råtta-anatomiska substratet för integrativa funktioner. Journal of comparative neurology. 2005; 490: 270-294. [PubMed]
  72. Gerfen CR, Engber TM, Mahan LC, Susel Z, Chase TN, Monsma FJ, Jr, Sibley DR. D1 och D2 dopaminreceptorreglerade genuttryck av striatonigral och striatopallidala neuroner. Vetenskap. 1990; 250: 1429-1432. [PubMed]
  73. Ghods-Sharifi S, Floresco SB. Differentiella effekter på insatsrabattning inducerad genom inaktivering av kärnans accumbenskärna eller skal. Beteende neurovetenskap. 2010; 124: 179-191. [PubMed]
  74. Gonon FG. Icke-linjärt förhållande mellan impulsflöde och dopamin frigjord av dopaminerga neuroner med råttmuskeln som studerats av in vivo elektrokemi. Neuroscience. 1988; 24: 19-28. [PubMed]
  75. Goto Y, Yang CR, Otani S. Funktionell och dysfunktionell synaptisk plasticitet i prefrontal cortex: roller i psykiatriska störningar. Biologisk psykiatri. 2010; 67: 199-207. [PubMed]
  76. Grace AA. Fasisk kontra tonisk dopaminfrisättning och modulering av dopamin-systemresponsivitet: en hypotes för etsologin av schizofreni. Neuroscience. 1991; 41: 1-24. [PubMed]
  77. Grace AA, Bunney BS. Intracellulär och extracellulär elektrofysiologi hos nigral dopaminerga nervceller – 1. Identifiering och karakterisering. Neurovetenskap. 1983; 10: 301–315. [PubMed]
  78. Grace AA, Floresco SB, Goto Y, Lodge DJ. Reglering av avfyrning av dopaminerga neuroner och kontroll av målinriktade beteenden. Trender i neurovetenskaper. 2007; 30: 220-227. [PubMed]
  79. Grecksch G, Matties H. Rollen av dopaminerga mekanismer i råttahippocampus för konsolidering i en ljushetsdiskriminering. Psykofarmakologi (Berl) 1981; 75: 165-168. [PubMed]
  80. Guarraci FA, Kapp BS. En elektrofysiologisk karaktärisering av ventrala tegmentala områdena dopaminerga neuroner under differentialpavlovian räddar kondition i vaken kanin. Behavioral brain research. 1999; 99: 169-179. [PubMed]
  81. Haber SN, Fudge JL, McFarland NR. Striatonigrostriatala vägar i primater bildar en stigande spiral från skalet till den dorsolaterala striatumen. J Neurosci. 2000; 20: 2369-2382. [PubMed]
  82. Hall J, Parkinson JA, Connor TM, Dickinson A, Everitt BJ. Inblandning av den centrala kärnan i amygdala och kärnan accumbens kärna för att förmedla Pavlovian influenser på instrumentalt beteende. Den europeiska tidningen för neurovetenskap. 2001; 13: 1984-1992. [PubMed]
  83. Han JS, McMahan RW, Holland P, Gallagher M. Rollen av en amygdalo-nigrostriatalväg i associerat lärande. J Neurosci. 1997; 17: 3913-3919. [PubMed]
  84. Harris GC, Aston-Jones G. Arousal och belöning: en dikotomi i orexin funktion. Trender i neurovetenskaper. 2006; 29: 571-577. [PubMed]
  85. Herry C, Bach DR, Esposito F, Di Salle F, Perrig WJ, Scheffler K, Luthi A, Seifritz E. Behandling av temporär oförutsägbarhet hos amygdala hos människor och djur. J Neurosci. 2007; 27: 5958-5966. [PubMed]
  86. Hikida T, Kimura K, Wada N, Funabiki K, Nakanishi S. Distinkta roller för synaptisk överföring i direkta och indirekta striatalvägar för att belöna och aversive beteende. Nervcell. 2010; 66: 896-907. [PubMed]
  87. Hikosaka O. Basal ganglia mekanismer av belöningsorienterad ögonrörelse. Annaler från New York Academy of Sciences. 2007; 1104: 229-249. [PubMed]
  88. Hikosaka O. Habenula: från stressavvikelse till värdebaserat beslutsfattande. Nat Rev Neurosci. 2010; 11: 503-513. [PMC gratis artikel] [PubMed]
  89. Hikosaka O, Takikawa Y, Kawagoe R. Den basala gangliaens roll i kontrollen av avsiktliga saccadiska ögonrörelser. Fysiologiska recensioner. 2000; 80: 953-978. [PubMed]
  90. Hitchcott PK, Quinn JJ, Taylor JR. Tvåriktad modulering av målriktade åtgärder av prefrontal kortikal dopamin. Cereb Cortex. 2007; 17: 2820-2827. [PubMed]
  91. Hnasko TS, Chuhma N, Zhang H, Goh GY, Sulzer D, Palmiter RD, Rayport S, Edwards RH. Vesikulär glutamattransport främjar dopaminförvaring och glutamatkoreleas in vivo. Nervcell. 2010; 65: 643-656. [PMC gratis artikel] [PubMed]
  92. Holland PC, Gallagher M. Amygdala kretslopp i attentional och representational processer. Trender i kognitiv vetenskap. 1999; 3: 65-73. [PubMed]
  93. Hollerman JR, Schultz W. Dopaminneuroner rapporterar ett fel i den tidsmässiga förutsägelsen av belöning under inlärning. Nat Neurosci. 1998; 1: 304-309. [PubMed]
  94. Holroyd CB, Coles MG. Den neurala grunden för mänsklig felbehandling: förstärkningslärande, dopamin och den felrelaterade negativiteten. Psychol Rev. 2002; 109: 679-709. [PubMed]
  95. Hong S, Hikosaka O. Globus pallidus skickar belöningsrelaterade signaler till lateral habenula. Nervcell. 2008; 60: 720-729. [PMC gratis artikel] [PubMed]
  96. Horvitz JC. Mesolimbokortikala och nigrostriatala dopaminreaktioner till framträdande icke-belöningshändelser. Neuroscience. 2000; 96: 651-656. [PubMed]
  97. Horvitz JC, Stewart T, Jacobs BL. Burstaktivitet hos ventrala tegmentala dopaminneuroner framkallas av sensoriska stimuli i den vakna katten. Brain Res. 1997; 759: 251-258. [PubMed]
  98. Houk JC, Adams JL, Barto AG. En modell av hur de basala ganglierna genererar och använder neurala signaler som förutsäger förstärkning. I: Houk JC, Davis JL, Beiser DG, redaktörer. Modeller av informationsbehandling i basal ganglia. Cambridge, MA: MIT Press; 1995. pp. 249-274.
  99. Ikemoto S. Brain belöningskretsar utanför det mesolimbiska dopaminsystemet: En neurobiologisk teori. Neurovetenskap och biobehavioral recensioner. 2010 [PMC gratis artikel] [PubMed]
  100. Ito R, Dalley JW, Howes SR, Robbins TW, Everitt BJ. Dissociation i skickad dopaminfrisättning i Nucleus Accumbens Core och Shell som svar på kokainrör och under kokain-sökande beteende hos råttor. J Neurosci. 2000; 20: 7489-7495. [PubMed]
  101. Ivlieva NY, Timofeeva NO. Neuronaktivitet i pedunculopontin-kärnan under en matrelaterad operant-konditionerad reflex. Neurovetenskap och beteendefysiologi. 2003a; 33: 919-928. [PubMed]
  102. Ivlieva NY, Timofeeva NO. Neuronaktivitet i pedunculopontin-kärnan under en operant-konditionerad reflex. Neurovetenskap och beteendefysiologi. 2003b; 33: 499-506. [PubMed]
  103. Jalabert M, Aston-Jones G, Herzog E, Manzoni O, Georges F. Roll av bäddkärnan i stria terminalis i kontrollen av det ventrala tegmentala området dopaminneuroner. Framsteg inom neuro-psykofarmakologi och biologisk psykiatri. 2009; 33: 1336–1346. [PMC gratis artikel] [PubMed]
  104. Jeanblanc J, Hoeltzel A, Louilot A. Dissociation i involvering av dopaminerga neuroner som inverterar kärn- och skalsubregionerna av kärnans accumbens vid latent inhibering och affektiv perception. Neuroscience. 2002; 111: 315-323. [PubMed]
  105. Jensen J, Smith AJ, Willeit M, Crawley AP, Mikulis DJ, Vitcu I, Kapur S. Separata hjärnregioner kodar för salience vs. valence under premissprediktion hos människor. Mänsklig hjärnans kartläggning. 2007; 28: 294-302. [PubMed]
  106. Jhou TC, Fields HL, Baxter MG, Saper CB, Holland PC. Den rostromediala tegmentala kärnan (RMTg), en GABAergisk afferent mot dopaminneuron i mitten av hjärnan, kodar för aversiva stimuli och hämmar motorresponser. Nervcell. 2009a; 61: 786-800. [PMC gratis artikel] [PubMed]
  107. Jhou TC, Geisler S, Marinelli M, Degarmo BA, Zahm DS. Den mesopontin-rostromediala tegmentalkärnan: En struktur som riktas mot den laterala habenula som projicerar till det ventrala tegmentala området Tsai och substantia nigra compacta. Journal of comparative neurology. 2009b; 513: 566-596. [PMC gratis artikel] [PubMed]
  108. Ji H, Shepard PD. Lateral habenula stimulering inhiberar dopaminneuroner i råttmidhinnan genom en GABA (A) -receptormedierad mekanism. J Neurosci. 2007; 27: 6923-6930. [PubMed]
  109. Jin X, Costa RM. Start / stopp-signaler kommer fram i nigrostriatala kretsar under sekvenslärning. Natur. 2010; 466: 457-462. [PMC gratis artikel] [PubMed]
  110. Johansen JP, Fields HL. Glutamatergisk aktivering av främre cingulära cortex ger en aversiv undervisningssignal. Nat Neurosci. 2004; 7: 398-403. [PubMed]
  111. Joseph MH, Datla K, Young AM. Tolkningen av mätningen av kärnan accumbens dopamin genom in vivo dialys: sparken, längtan eller kognitionen? Neurovetenskap och biobehavioral recensioner. 2003; 27: 527-541. [PubMed]
  112. Joshua M, Adler A, Bergman H. Dynamiken hos dopamin i kontroll av motoriskt beteende. Nuvarande åsikt i neurobiologi. 2009a; 19: 615-620. [PubMed]
  113. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminerga neuroner och striatalkolinerga interneuroner kodar skillnaden mellan belöning och aversiva händelser vid olika epoker av probabilistiska klassiska konditioneringsförsök. J Neurosci. 2008; 28: 11673-11684. [PubMed]
  114. Joshua M, Adler A, Prut Y, Vaadia E, Wickens JR, Bergman H. Synkronisering av dopaminerga neuroner med medelvärde förbättras genom givande händelser. Nervcell. 2009b; 62: 695-704. [PubMed]
  115. Kable JW, Glimcher PW. Beslutets neurobiologi: konsensus och kontrovers. Nervcell. 2009; 63: 733-745. [PMC gratis artikel] [PubMed]
  116. Kakade S, Dayan P. Dopamin: generalisering och bonusar. Neurala nätverk. 2002; 15: 549-559. [PubMed]
  117. Kapur S. Psychosis som ett tillstånd av avvikande salience: ett ramverk som knyter samman biologi, fenomenologi och farmakologi i schizofreni. Den amerikanska journalen för psykiatri. 2003; 160: 13-23. [PubMed]
  118. Kaufling J, Veinante P, Pawlowski SA, Freund-Mercier MJ, Barrot M. Affärer till den GABAergiska svansen i det ventrala tegmentala området i råttan. Journal of comparative neurology. 2009; 513: 597-621. [PubMed]
  119. Kennerley SW, Wallis JD. Utvärdering av val av enskilda neuroner i frontalloben: Resultatvärde kodat över flera beslutsvariabler. Den europeiska tidningen för neurovetenskap. 2009; 29: 2061-2073. [PMC gratis artikel] [PubMed]
  120. Kim H, Sul JH, Huh N, Lee D, Jung MW. Rollen av striatum i uppdatering av värden för valda åtgärder. J Neurosci. 2009; 29: 14701-14712. [PubMed]
  121. Kiyatkin EA. Funktionella egenskaper hos förmodade dopamininnehållande och andra ventrala tegmentala area-neuroner i medvetna råttor. Int J Neurosci. 1988a; 42: 21-43. [PubMed]
  122. Kiyatkin EA. Morfininducerad modifiering av de funktionella egenskaperna hos ventrala tegmentala area-neuroner i medveten råtta. Intern J Neurovetenskap. 1988b; 41: 57-70. [PubMed]
  123. Klingberg T. Utbildning och plasticitet i arbetsminnet. Trender i kognitiv vetenskap. 2010; 14: 317-324. [PubMed]
  124. Kobayashi S, Nomoto K, Watanabe M, Hikosaka O, Schultz W, Sakagami M. Påverkan av givande och aversiva resultat på aktivitet i makaque lateral prefrontal cortex. Nervcell. 2006; 51: 861-870. [PubMed]
  125. Kobayashi S, Schultz W. Påverkan av belöningsfördröjningar på respons av dopaminneuroner. J Neurosci. 2008; 28: 7837-7846. [PMC gratis artikel] [PubMed]
  126. Kobayashi Y, Inoue Y, Yamamoto M, Isa T, Aizawa H. Bidrag från pedunculopontin-tegmentala nuklearmuroner till prestanda av visuellt guidade saccaduppgifter i apor. J Neurophysiol. 2002; 88: 715-731. [PubMed]
  127. Koyama T, Tanaka YZ, Mikami A. Nociceptiva nervceller i det makaque främre cingulatet aktiveras under förväntan på smärta. Neuroreport. 1998; 9: 2663-2667. [PubMed]
  128. Kravitz AV, Frys BS, Parker PR, Kay K, Thwin MT, Deisseroth K, Kreitzer AC. Reglering av parkinsoniska motoriska beteenden genom optogenetisk kontroll av basal ganglia kretsar. Natur. 2010 [PMC gratis artikel] [PubMed]
  129. Lammel S, Hetzel A, Hackel O, Jones I, Liss B, Roeper J. Unika egenskaper hos mesoprefrontala neuroner inom ett dubbel mesokortikolimbiskt dopaminsystem. Nervcell. 2008; 57: 760-773. [PubMed]
  130. Lang PJ, Davis M. Emotion, motivation och hjärnan: reflexfundering i djur och mänsklig forskning. Framsteg i hjärnforskning. 2006; 156: 3-29. [PubMed]
  131. Lapish CC, Kroener S, Durstewitz D, Lavin A, Seamans JK. Det mesokortiska dopaminsystemets förmåga att fungera i olika temporära lägen. Psykofarmakologi (Berl) 2007; 191: 609-625. [PubMed]
  132. Lee D, Seo H. Mekanismer för förstärkning av lärande och beslutsfattande i primär dorsolateral prefrontal cortex. Annaler från New York Academy of Sciences. 2007; 1104: 108-122. [PubMed]
  133. Lee HJ, Groshek F, Petrovich GD, Cantalini JP, Gallagher M, Holland PC. Rolle av amygdalo-nigral kretsar i konditionering av en visuell stimulans parat med mat. J Neurosci. 2005; 25: 3881-3888. [PMC gratis artikel] [PubMed]
  134. Levita L, Dalley JW, Robbins TW. Nucleus accumbens dopamin och lärde sig rädsla revisited: en recension och några nya fynd. Behavioral brain research. 2002; 137: 115-127. [PubMed]
  135. Lin SC, Nicolelis MA. Neuronal Ensemble Bursting i Basal Forebrain kodar Salience Oavsett Valence. Nervcell. 2008; 59: 138-149. [PMC gratis artikel] [PubMed]
  136. Lisman JE, Grace AA. Hippocampal-VTA-slingan: kontrollerar uppgiften av information till långsiktigt minne. Nervcell. 2005; 46: 703-713. [PubMed]
  137. Litt A, Plassmann H, Shiv B, Rangel A. Dissociating valuation och saliency signaler under beslutsfattandet. Cereb Cortex. 2010 i pressen. [PubMed]
  138. Liu Z, Richmond BJ, Murray EA, Saunders RC, Steenrod S, Stubblefield BK, Montague DM, Ginns EI. DNA-målning av rhinal cortex D2-receptorprotein blockerar reversibelt inlärning av signaler som förutsäger belöning. Förhandlingar vid National Academy of Sciences i USA. 2004; 101: 12336-12341. [PMC gratis artikel] [PubMed]
  139. Liu ZH, Shin R, Ikemoto S. Dual roll av medial A10 dopaminneuroner i affektiv kodning. Neuropsychopharmacology. 2008; 33: 3010-3020. [PMC gratis artikel] [PubMed]
  140. Ljungberg T, Apicella P, Schultz W. Svar från apa-dopaminneuroner under inlärning av beteendereaktioner. J Neurophysiol. 1992; 67: 145-163. [PubMed]
  141. Lobo MK, Covington HE, 3rd, Chaudhury D, Friedman AK, Sun H, Damez-Werno D, Dietz DM, Zaman S, Koo JW, Kennedy PJ, et al. Celltypspecifik förlust av BDNF-signalering efterliknar optogenetisk kontroll av kokainbelöning. Vetenskap. 2010; 330: 385-390. [PMC gratis artikel] [PubMed]
  142. Maeda H, Mogenson GJ. Effekter av perifer stimulering på neurons aktivitet i det ventrala tegmentala området, substantia nigra och midjärn retikulär bildning av råttor. Brains forskningsbulletin. 1982; 8: 7-14. [PubMed]
  143. Mantz J, Thierry AM, Glowinski J. Effekt av skadlig svansnyp på utsläppshastigheten för mesokortiska och mesolimbiska dopaminneuroner: selektiv aktivering av det mesokortiska systemet. Brain Res. 1989; 476: 377-381. [PubMed]
  144. Margolis EB, Lock H, Hjelmstad GO, Fields HL. Det ventrale tegmentala området återbesökt: Finns det en elektrofysiologisk markör för dopaminerga neuroner? Journal of physiology. 2006; 577: 907-924. [PMC gratis artikel] [PubMed]
  145. Margolis EB, Mitchell JM, Ishikawa J, Hjelmstad GO, Fields HL. Midbrain dopaminneuroner: projektionsmål bestämmer aktivitetspotentialens varaktighet och dopamin D (2) receptorinhibering. J Neurosci. 2008; 28: 8908-8913. [PubMed]
  146. Mark GP, Blander DS, Hoebel BG. En konditionerad stimulans minskar extracellulär dopamin i kärnan accumbens efter utvecklingen av en lärd smakaversion. Brain Res. 1991; 551: 308-310. [PubMed]
  147. Marowsky A, Yanagawa Y, Obata K, Vogt KE. En specialiserad subklass av interneuroner medierar dopaminerg förenkling av amygdalafunktionen. Nervcell. 2005; 48: 1025-1037. [PubMed]
  148. Matsumoto M, Hikosaka O. Lateral habenula som en källa till negativa belöningssignaler i dopaminneuroner. Natur. 2007; 447: 1111-1115. [PubMed]
  149. Matsumoto M, Hikosaka O. Representation av negativt motivationsvärde i primats laterala habenula. Nat Neurosci. 2009a; 12: 77-84. [PMC gratis artikel] [PubMed]
  150. Matsumoto M, Hikosaka O. Två typer av dopaminneuron överför tydligt positiva och negativa motivationssignaler. Natur. 2009b; 459: 837-841. [PMC gratis artikel] [PubMed]
  151. Matsumoto M, Matsumoto K, Abe H, Tanaka K. Medial prefrontal cellaktivitet signalerande prediktionsfel av verkningsvärden. Nat Neurosci. 2007; 10: 647-656. [PubMed]
  152. May PJ, McHaffie JG, Stanford TR, Jiang H, Costello MG, Coizet V, Hayes LM, Haber SN, Redgrave P. Tektonigralprojektioner i primat: En väg för förebyggande sensorisk inmatning till dopaminerga neuroner i mitten av hjärnan. Den europeiska tidningen för neurovetenskap. 2009; 29: 575-587. [PMC gratis artikel] [PubMed]
  153. Mazzoni P, Hristova A, Krakauer JW. Varför går vi inte snabbare? Parkinsons sjukdom, rörelsekraft och implicit motivation. J Neurosci. 2007; 27: 7105–7116. [PubMed]
  154. Merali Z, Michaud D, McIntosh J, Kent P, Anisman H. Differentiell involvering av amygdaloid CRH-system i stimulansernas framträdande och valens. Framsteg inom neuro-psykofarmakologi och biologisk psykiatri. 2003; 27: 1201-1212. [PubMed]
  155. Mirenowicz J, Schultz W. Preferential aktivering av mid-brain-dopaminneuroner genom aptitiv snarare än aversiv stimuli. Natur. 1996; 379: 449-451. [PubMed]
  156. Molina-Luna K, Pekanovic A, Rohrich S, Hertler B, Schubring-Giese M, Rioult-Pedotti MS, Luft AR. Dopamin i motorcortex är nödvändig för kunskapsinlärning och synaptisk plasticitet. PLoS ONE. 2009; 4: e7082. [PMC gratis artikel] [PubMed]
  157. Montague PR, Berns GS. Neuralekonomi och de biologiska substraten för värdering. Nervcell. 2002; 36: 265-284. [PubMed]
  158. Montague PR, Dayan P, Sejnowski TJ. En ram för mesencefaliska dopaminsystem baserade på prediktivt hebbiskt lärande. J Neurosci. 1996; 16: 1936-1947. [PubMed]
  159. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Sammantaget men distinkta meddelanden om dopamin i midhjärnan och striataltoniskt aktiva neuroner. Nervcell. 2004; 43: 133-143. [PubMed]
  160. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain dopaminneuroner kodar beslut för framtida åtgärder. Nat Neurosci. 2006; 9: 1057-1063. [PubMed]
  161. Morrison SE, Salzman CD. Konvergensen av information om givande och aversiva stimuli i enskilda neuroner. J Neurosci. 2009; 29: 11471-11483. [PMC gratis artikel] [PubMed]
  162. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopaminneuroner kan representera kontextberoende prediktionsfel. Nervcell. 2004; 41: 269-280. [PubMed]
  163. Nakamura K, Hikosaka O. Roll av dopamin i primat caudate kärnan i belöning modulering av saccades. J Neurosci. 2006; 26: 5360-5369. [PubMed]
  164. Neve KA, Seamans JK, Trantham-Davidson H. Dopaminreceptorsignalering. Journal of receptor och signal transduction research. 2004; 24: 165-205. [PubMed]
  165. Nishijo H, Ono T, Nishino H. Enkla neuronsvar i amygdala av alert monkey under komplex sensorisk stimulering med affektiv betydelse. J Neurosci. 1988; 8: 3570-3583. [PubMed]
  166. Niv Y, Daw ND, Joel D, dayan P. Tonic dopamin: möjlighetskostnader och kontroll av responsvigor. Psychopharmacology. 2007; 191: 507-520. [PubMed]
  167. Nomoto K, Schultz W, Watanabe T, Sakagami M. Temporärt utvidgade dopaminresponser till perceptuellt krävande belönings-prediktiva stimuli. J Neurosci. 2010; 30: 10692-10702. [PMC gratis artikel] [PubMed]
  168. Okada K, Toyama K, Inoue Y, Isa T, Kobayashi Y. Olika pedunculopontine tegmental neuroner signaleras och faktiska uppdragsbelöningar. J Neurosci. 2009; 29: 4858-4870. [PubMed]
  169. Omelchenko N, Bell R, Sesack SR. Lateral habenula projicer mot dopamin och GABA neuroner i råtta ventral tegmental området. Den europeiska tidningen för neurovetenskap. 2009; 30: 1239-1250. [PMC gratis artikel] [PubMed]
  170. Owesson-White CA, Ariansen J, Stuber GD, Cleaveland NA, Cheer JF, Wightman RM, Carelli RM. Neural kodning av kokain-sökande beteende är sammantaget med fasisk dopaminfrisättning i accumbens kärnan och skalet. Den europeiska tidningen för neurovetenskap. 2009; 30: 1117-1127. [PMC gratis artikel] [PubMed]
  171. Oyama K, Hernadi I, Iijima T, Tsutsui K. Belöningsprognosfelkodning i dorsala striatala neuroner. J Neurosci. 2010; 30: 11447-11457. [PubMed]
  172. Packard MG, White NM. Dissociation av hippocampus- och caudat-kärnminne-system genom att träna intracerebral injektion av dopaminagonister. Beteende neurovetenskap. 1991; 105: 295-306. [PubMed]
  173. Padoa-Schioppa C. Orbitofrontal cortex och beräkning av ekonomiskt värde. Annaler från New York Academy of Sciences. 2007; 1121: 232-253. [PubMed]
  174. Palmiter RD. Dopamin signalering i dorsalstriatum är avgörande för motiverat beteende: lektioner från dopamin-bristande möss. Annaler från New York Academy of Sciences. 2008; 1129: 35-46. [PMC gratis artikel] [PubMed]
  175. Pan WX, Hyland BI. Pedunculopontin tegmental-kärnan kontrollerar konditionerade svar på dopamin-neuroner i mittenhålan hos beteende råttor. J Neurosci. 2005; 25: 4725-4732. [PubMed]
  176. Pan WX, Schmidt R, Wickens JR, Hyland BI. Tripartittmekanism för utrotning som föreslagits av dopaminneuronaktivitet och tidsskillnadsmodell. J Neurosci. 2008; 28: 9619-9631. [PubMed]
  177. Parker JG, Zweifel LS, Clark JJ, Evans SB, Phillips PE, Palmiter RD. Frånvaron av NMDA-receptorer i dopaminneuroner dämpar dopaminfrisättning men inte betingad tillvägagång under Pavlovian-konditionering. Förhandlingar vid National Academy of Sciences i USA. 2010 [PMC gratis artikel] [PubMed]
  178. Pascoe JP, Kapp BS. Elektrofysiologiska egenskaper hos amygdaloid-centrala nukleärneuroner under Pavlovian räddar konditionering i kaninen. Behavioral brain research. 1985; 16: 117-133. [PubMed]
  179. Pascucci T, Ventura R, Latagliata EC, Cabib S, Puglisi-Allegra S. Den mediala prefrontala cortexen bestämmer accumbensdopaminreaktionen på stress genom motsatta influenser av norepinefrin och dopamin. Cereb Cortex. 2007; 17: 2796-2804. [PubMed]
  180. Pearce JM, Hall G. En modell för Pavlovian lärande: variationer i effektiviteten av konditionerade men inte av okonditionerade stimuli. Psychol Rev. 1980; 87: 532-552. [PubMed]
  181. Pezze MA, Feldon J. Mesolimbic dopaminerga vägar i rädsla kondition. Framsteg i neurobiologi. 2004; 74: 301-320. [PubMed]
  182. Phillips AG, Ahn S, Howland JG. Amygdalar kontroll av det mesokortikolimbiska dopaminsystemet: parallella vägar till motiverat beteende. Neurovetenskap och biobehavioral recensioner. 2003a; 27: 543-554. [PubMed]
  183. Phillips GD, Salussolia E, Hitchcott PK. Rollen av mesoamygdaloiddopaminprojektionen i känslomässigt lärande. Psychopharmacology. 2010 [PubMed]
  184. Phillips PE, Stuber GD, Heien ML, Wightman RM, Carelli RM. Subsecond dopaminfrisättning främjar kokainsökande. Natur. 2003b; 422: 614-618. [PubMed]
  185. Porrino LJ, Goldman-Rakic ​​PS. Brainstem innervation av prefrontal och främre cingulat cortex i rhesus apa avslöjas genom retrograd transport av HRP. Journal of comparative neurology. 1982; 205: 63-76. [PubMed]
  186. Puryear CB, Kim MJ, Mizumori SJ. Konjunktiv kodning av rörelse och belöning genom ventrala tegmentala områdesneuroner i den fritt navigerade gnagaren. Beteende neurovetenskap. 2010; 124: 234-247. [PMC gratis artikel] [PubMed]
  187. Ravel S, Legallet E, Apicella P. Toniskt aktiva neuroner i apa-striatum reagerar inte företrädesvis på aptitiva stimuli. Experimentell hjärnforskning. Experimentell Hirnforschung. 1999; 128: 531-534. [PubMed]
  188. Ravel S, Legallet E, Apicella P. Svar från toniskt aktiva neuroner i abenstriatumet diskriminerar mot motiverande motsatta stimuli. J Neurosci. 2003; 23: 8489-8497. [PubMed]
  189. Ravel S, Richmond BJ. Dopaminneuronrespons hos aber som utför visuellt cued belöningsplaner. Den europeiska tidningen för neurovetenskap. 2006; 24: 277-290. [PubMed]
  190. Redgrave P, Gurney K. Den korta latensdopamin-signalen: En roll för att upptäcka nya handlingar? Nat Rev Neurosci. 2006; 7: 967-975. [PubMed]
  191. Redgrave P, Prescott TJ, Gurney K. Är det korta latensdopaminreaktionen för kort för att signalbelöningsfel? Trender i neurovetenskaper. 1999; 12: 146-151. [PubMed]
  192. Rescorla RA, Wagner AR. En teori om Pavlovian-konditionering: variationer i effektiviteten av förstärkning och nonreinforcement. I: Black AH, Prokasy WF, redaktörer. Klassisk konditionering II: Aktuell forskning och teori. New York, New York: Appleton Century Crofts; 1972. pp. 64-99.
  193. Reynolds JNJ, Hyland BI, Wickens JR. En cellmekanism av belöningsrelaterad inlärning. Natur. 2001; 413: 67-70. [PubMed]
  194. Reynolds SM, Berridge KC. Positiv och negativ motivation i nucleus accumbens skal: bivalenta rostrocaudala gradienter för GABA-framkallad ätning, smak "gillande" / "ogillande" reaktioner, plats preferens / undvikande och rädsla. J Neurosci. 2002; 22: 7308–7320. [PubMed]
  195. Richardson RT, DeLong MR. Elektrofysiologiska studier av kärnbasbasalernas funktioner i primater. Förskott i experimentell medicin och biologi. 1991; 295: 233-252. [PubMed]
  196. Robbins TW, Arnsten AF. Neuropsykofarmakologin för fronto-verkställande funktion: monoaminerg modulering. Årlig granskning av neurovetenskap. 2009; 32: 267-287. [PMC gratis artikel] [PubMed]
  197. Robinson DL, Hermans A, Seipel AT, Wightman RM. Övervakning av snabb kemisk kommunikation i hjärnan. Kemiska recensioner. 2008; 108: 2554-2584. [PMC gratis artikel] [PubMed]
  198. Roesch MR, Calu DJ, Schoenbaum G. Dopaminneuroner kodar för det bättre alternativet hos råttor som bestämmer mellan olika försenade eller stora belöningar. Nat Neurosci. 2007; 10: 1615-1624. [PMC gratis artikel] [PubMed]
  199. Roesch MR, Olson CR. Neuronal aktivitet relaterad till belöningsvärde och motivation i primär frontal cortex. Vetenskap. 2004; 304: 307-310. [PubMed]
  200. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Kemiska reaktioner i realtid i nucleus accumbens skiljer givande och aversiva stimuli. Nat Neurosci. 2008; 11: 1376-1377. [PMC gratis artikel] [PubMed]
  201. Rutledge RB, Lazzaro SC, Lau B, Myers CE, Gluck MA, Glimcher PW. Dopaminerga läkemedel modulerar inlärningshastigheter och uthållighet hos Parkinsons patienter i en dynamisk födosökningsuppgift. J Neurosci. 2009; 29: 15104–15114. [PMC gratis artikel] [PubMed]
  202. Salamone JD. Engagemang av nucleus accumbens dopamine i aptitlig och aversiv motivation. Beteende hjärnforskning. 1994; 61: 117-133. [PubMed]
  203. Salamone JD, Correa M, Farrar A, Mingote SM. Insatsrelaterade funktioner hos nucleus accumbens dopamin och tillhörande hjärnkretsar. Psykofarmakologi (Berl) 2007; 191: 461 – 482. [PubMed]
  204. Satoh T, Nakai S, Sato T, Kimura M. Korrelerat kodning av motivation och resultat av beslut av dopaminneuroner. J Neurosci. 2003; 23: 9913-9923. [PubMed]
  205. Savine AC, Beck SM, Edwards BG, Chiew KS, Braver TS. Förbättring av kognitiv kontroll genom att närma sig och undvika motiverande tillstånd. Kognition och känslor. 2010; 24: 338–356. [PMC gratis artikel] [PubMed]
  206. Schoenbaum G, Roesch MR, Stalnaker TA, Takahashi YK. Ett nytt perspektiv på den orbitofrontala cortexens roll i adaptivt beteende. Nat Rev Neurosci. 2009; 10: 885-892. [PMC gratis artikel] [PubMed]
  207. Schultz W. Svar från dopamin neuroner i mitten av hjärnan på beteendestimulerande stimuli i apan. J Neurophysiol. 1986; 56: 1439-1461. [PubMed]
  208. Schultz W. Prediktiv belöningssignal för dopaminneuroner. J Neurophysiol. 1998; 80: 1-27. [PubMed]
  209. Schultz W. Flera dopaminfunktioner vid olika tidskurser. Årlig granskning av neurovetenskap. 2007; 30: 259-288. [PubMed]
  210. Schultz W. Dopamine signalerar för belöningsvärde och risk: grundläggande och senaste data. Behav Brain Funct. 2010; 6: 24. [PMC gratis artikel] [PubMed]
  211. Schultz W, Dayan P, Montague PR. Ett neuralt substrat av förutsägelse och belöning. Vetenskap. 1997; 275: 1593-1599. [PubMed]
  212. Schultz W, Romo R. Svar från nigrostriatal dopamin neuroner på högintensiv somatosensorisk stimulering i den bedövade apan. J Neurophysiol. 1987; 57: 201-217. [PubMed]
  213. Schultz W, Romo R. Dopamin-neuroner i apans midtränga: händelser av svar på stimuli som framkallar omedelbara beteendemässiga reaktioner. J Neurophysiol. 1990; 63: 607-624. [PubMed]
  214. Seo H, Lee D. Temporal filtrering av belöningssignaler i rygg främre cingulatbarken under ett blandat strategispel. J Neurosci. 2007; 27: 8366-8377. [PMC gratis artikel] [PubMed]
  215. Shabel SJ, Janak PH. Betydande likhet i neuronal aktivitet i amygdala under konditionerad aptitlig och aversiv emotionell upphetsning. Förfaranden från National Academy of Sciences of the United States of America. 2009; 106: 15031-15036. [PMC gratis artikel] [PubMed]
  216. Shadmehr R, Smith MA, Krakauer JW. Felkorrigering, sensorisk förutsägelse och anpassning i motorstyrning. Årlig granskning av neurovetenskap. 2010 [PubMed]
  217. Shen W, Flajolet M, Greengard P, Surmeier DJ. Dikotom dopaminerg kontroll av striatal synaptisk plasticitet. Vetenskap. 2008; 321: 848-851. [PMC gratis artikel] [PubMed]
  218. Shimo Y, Wichmann T. Neuronal aktivitet i den subthalamiska kärnan modulerar frisättningen av dopamin i apa striatum. European Journal of neuroscience. 2009; 29: 104-113. [PMC gratis artikel] [PubMed]
  219. Shippenberg TS, Bals-Kubik R, Huber A, Herz A. Neuroanatomiska substrat som medierar de negativa effekterna av D-1-dopaminreceptorantagonister. Psykofarmakologi (Berl) 1991; 103: 209 – 214. [PubMed]
  220. Shumake J, Ilango A, Scheich H, Wetzel W, Ohl FW. Differential neuromodulering av förvärv och återhämtning av undvikande inlärning genom den laterala habenula och ventrala tegmentalområdet. J Neurosci. 2010; 30: 5876-5883. [PubMed]
  221. Small DM, Gregory MD, Mak YE, Gitelman D, Mesulam MM, Parrish T. Dissociation of neural representation of intensive and affective valuation in human gustation. Nervcell. 2003; 39: 701-711. [PubMed]
  222. Stefani MR, Moghaddam B. Regelinlärning och belöningskänslighet är associerade med dissocierbara mönster av dopaminaktivering i råttens prefrontala cortex, nucleus accumbens och dorsal striatum. J Neurosci. 2006; 26: 8810-8818. [PMC gratis artikel] [PubMed]
  223. Steinfels GF, Heym J, Strecker RE, Jacobs BL. Reaktion av dopaminerga nervceller hos katt på hörselstimuli presenterade över sömnvakningscykeln. Brain Res. 1983; 277: 150-154. [PubMed]
  224. Strecker RE, Jacobs BL. Substantia nigra dopaminerg enhetsaktivitet hos uppförande katter: effekt av upphetsning på spontan urladdning och sensorisk väckt aktivitet. Brain Res. 1985; 361: 339-350. [PubMed]
  225. Stuber GD, Hnasko TS, Britt JP, Edwards RH, Bonci A. Dopaminerga terminaler i nucleus accumbens men inte dorsal striatum corelease glutamat. Journal of Neuroscience. 2010; 30: 8229-8233. [PMC gratis artikel] [PubMed]
  226. Stuber GD, Wightman RM, Carelli RM. Utrotning av självadministrering av kokain avslöjar funktionella och temporärt distinkta dopaminerge signaler i nucleus accumbens. Nervcell. 2005; 46: 661-669. [PubMed]
  227. Sul JH, Kim H, Huh N, Lee D, Jung MW. Särskilda roller hos gnagare orbitofrontal och medial prefrontal cortex i beslutsfattande. Nervcell. 2010; 66: 449-460. [PMC gratis artikel] [PubMed]
  228. Surmeier DJ, Ding J, Day M, Wang Z, Shen W. D1 och D2 dopamin-receptor-modulering av striatal glutamatergisk signalering i striatal medelstora spiny neuroner. Trender inom neurovetenskap. 2007; 30: 228-235. [PubMed]
  229. Surmeier DJ, Shen W, Day M, Gertler T, Chan S, Tian X, Plotkin JL. Dopamins roll i att modulera strukturen och funktionen hos striatal kretsar. Framsteg inom hjärnforskning. 2010; 183C: 148-167. [PubMed]
  230. Sutton RS, Barto AG. Mot en modern teori om adaptiva nätverk: förväntan och förutsägelse. Psychol Rev. 1981; 88: 135 – 170. [PubMed]
  231. Takahashi YK, Roesch MR, Stalnaker TA, Haney RZ, Calu DJ, Taylor AR, Burke KA, Schoenbaum G. Orbitofrontal cortex och det ventrale tegmentområdet är nödvändigt för att lära av oväntade resultat. Nervcell. 2009; 62: 269-280. [PMC gratis artikel] [PubMed]
  232. Takikawa Y, Kawagoe R, Hikosaka O. En möjlig roll av dopamin neuroner i mitten av hjärnan i kort- och långsiktig anpassning av saccader till kartläggning av belöning av position. J Neurophysiol. 2004; 92: 2520-2529. [PubMed]
  233. Tecuapetla F, Patel JC, Xenias H, engelska D, Tadros I, Shah F, Berlin J, Deisseroth K, Rice ME, Tepper JM, Koos T. Glutamatergisk signalering av mesolimbiska dopamin neuroner i nucleus accumbens. J Neurosci. 2010; 30: 7105-7110. [PMC gratis artikel] [PubMed]
  234. Thierry AM, Tassin JP, Blanc G, Glowinski J. Selektiv aktivering av mesokortikalt DA-system genom stress. Natur. 1976; 263: 242-244. [PubMed]
  235. Tobler PN, Dickinson A, Schultz W. Kodning av förutspådd belöningsundersökning av Dopamine Neurons i ett villkorat inhiberingsparadigm. J Neurosci. 2003; 23: 10402-10410. [PubMed]
  236. Tobler PN, Fiorillo CD, Schultz W. Adaptiv kodning av belöningsvärde av dopaminneuroner. Vetenskap. 2005; 307: 1642-1645. [PubMed]
  237. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fasisk avfyrning i dopaminerga neuroner är tillräckligt för beteendemässig konditionering. Vetenskap. 2009 [PubMed]
  238. Ullsperger M. Genetiska föreningsstudier av prestationsövervakning och lärande av feedback: rollen som dopamin och serotonin. Neurovetenskap och biobeteende. 2010; 34: 649-659. [PubMed]
  239. Ungless MA. Dopamin: den framträdande frågan. Trender inom neurovetenskap. 2004; 27: 702-706. [PubMed]
  240. Uylings HB, Groenewegen HJ, Kolb B. Har råttor ett prefrontalt cortex? Beteende hjärnforskning. 2003; 146: 3-17. [PubMed]
  241. Ventura R, Cabib S, Puglisi-Allegra S. Motsatt genotypberoende mesocorticolimbic dopamin-respons på stress. Neuroscience. 2001; 104: 627-631. [PubMed]
  242. Ventura R, Latagliata EC, Morrone C, La Mela I, Puglisi-Allegra S. Prefrontal noradrenalin bestämmer tillskrivningen av "hög" motiverande salience. PLoS ONE. 2008; 3: e3044. [PMC gratis artikel] [PubMed]
  243. Ventura R, Morrone C, Puglisi-Allegra S. Prefrontalt / ackumulerat katekolaminsystem bestämmer motivationsförmågan att ge både belönings- och motviljerelaterade stimuli. Förfaranden från National Academy of Sciences of the United States of America. 2007; 104: 5181-5186. [PMC gratis artikel] [PubMed]
  244. Vogt BA. Interaktion mellan smärta och känslor i underregioner av den cingulerade gyrusen. Nat Rev Neurosci. 2005; 6: 533-544. [PMC gratis artikel] [PubMed]
  245. Voon V, Pessiglione M, Brezing C, Gallea C, Fernandez HH, Dolan RJ, Hallett M. Mekanismer som ligger till grund för dopaminmedierad belöning i kompulsiva beteenden. Nervcell. 2010; 65: 135-142. [PMC gratis artikel] [PubMed]
  246. Waelti P, Dickinson A, Schultz W. Dopaminresponser överensstämmer med grundläggande antaganden om formell inlärningsteori. Natur. 2001; 412: 43-48. [PubMed]
  247. Wallis JD, Kennerley SW. Heterogena belöningssignaler i prefrontal cortex. Aktuellt yttrande inom neurobiologi. 2010; 20: 191-198. [PMC gratis artikel] [PubMed]
  248. Walton ME, Behrens TE, Buckley MJ, Rudebeck PH, Rushworth MF. Separerbara inlärningssystem i makakhjärnan och orbitofrontal cortex i kontingent inlärning. Nervcell. 2010; 65: 927-939. [PMC gratis artikel] [PubMed]
  249. Wheeler RA, Twining RC, Jones JL, Slater JM, Grigson PS, Carelli RM. Beteendemässiga och elektrofysiologiska index med negativ påverkan förutsäger självständig administration av kokain. Nervcell. 2008; 57: 774-785. [PubMed]
  250. Wightman RM, Heien MLAV, Wassum KM, Sombers LA, Aragona BJ, Khan AS, Ariansen JL, Cheer JF, Phillips PE, Carelli RM. Dopaminfrisättning är heterogen inom mikromiljöer hos råttkärnan. European Journal of neuroscience. 2007; 26: 2046-2054. [PubMed]
  251. Williams GV, Castner SA. Under kurvan: kritiska problem för att belysa D1-receptorfunktion i arbetsminnet. Neuroscience. 2006; 139: 263-276. [PubMed]
  252. Williams SM, Goldman-Rakic ​​PS. Det utbredda ursprunget till det primo mesofrontala dopaminsystemet. Cereb Cortex. 1998; 8: 321-345. [PubMed]
  253. Winn P. Hur man bäst kan beakta strukturen och funktionen i den pedunculopontine tegmentala kärnan: bevis från djurstudier. Journal of the Neurological Sciences. 2006; 248: 234-250. [PubMed]
  254. Klok RA. Dopamin, lärande och motivation. Nat Rev Neurosci. 2004; 5: 483-494. [PubMed]
  255. Klok RA. Förhjärnsunderlag av belöning och motivation. Journal of comparative neurology. 2005; 493: 115-121. [PMC gratis artikel] [PubMed]
  256. Wise SP. Framåtriktade fält: fylogeni och grundläggande funktion. Trender i neurovetenskaper. 2008; 31: 599-608. [PMC gratis artikel] [PubMed]
  257. Yamada H, Matsumoto N, Kimura M. Toniskt aktiva neuroner i primat caudate-kärnan och putamen kodifierar differentierat instruerade motivativa verkningsresultaten. J Neurosci. 2004; 24: 3500-3510. [PubMed]
  258. Yamada H, Matsumoto N, Kimura M. Historik- och nuvarande instruktionsbaserad kodning av kommande beteendemässiga resultat i striatumet. J Neurophysiol. 2007; 98: 3557-3567. [PubMed]
  259. Yin HH, Knowlton BJ. De basala gangliernas roll i vanaformning. Nat Rev Neurosci. 2006; 7: 464-476. [PubMed]
  260. Young AM, Moran PM, Joseph MH. Dopaminens roll vid konditionering och latent hämning: vad, när, var och hur? Neurovetenskap och biobehavioral recensioner. 2005; 29: 963-976. [PubMed]
  261. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Human substantia nigra neuroner kodar oväntade ekonomiska belöningar. Vetenskap. 2009; 323: 1496-1499. [PMC gratis artikel] [PubMed]
  262. Zahniser NR, Sorkin A. Snabb reglering av dopamintransportören: roll i stimulansberoende? Neuro. 2004; 47 Suppl 1: 80-91. [PubMed]
  263. Zhang L, Doyon WM, Clark JJ, Phillips PE, Dani JA. Kontroller av tonisk och fasisk dopaminöverföring i dorsal och ventralstriatum. Molekylär farmakologi. 2009; 76: 396-404. [PMC gratis artikel] [PubMed]
  264. Zink CF, Pagnoni G, Martin ME, Dhamala M, Berns GS. Mänskligt striatalt svar på framträdande nonrewarding stimuli. Journal of Neuroscience. 2003; 23: 8092-8097. [PubMed]
  265. Zweifel LS, Argilli E, Bonci A, Palmiter RD. Roll av NMDA-receptorer i dopaminneuroner för plasticitet och beroendeframkallande beteenden. Nervcell. 2008; 59: 486-496. [PMC gratis artikel] [PubMed]
  266. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, et al. Störning av NMDAR-beroende bristning av dopaminneuroner ger selektiv bedömning av fasiskt dopaminberoende beteende. Förhandlingar vid National Academy of Sciences i USA. 2009; 106: 7281-7288. [PMC gratis artikel] [PubMed]