Sätta önskan på en budget: dopamin och energiutgifter, förena belöning och resurser (2012)

Beskrivning

Tanken att dopamins primära funktion är att förmedla belöning är genomgående. Även om kontroverser överflöd över just hur dopamin kan bidra till belöning – eller till och med om det gör det (Kanon och palmiter, 2003; Klokt, 2004; Berridge, 2007; Goto et al., 2007; Robbins och Roberts, 2007; Salamon, 2007; Schultz, 2007; Redgrave et al., 2008), är belöning som en organiserande metafor för dopaminfunktion så allestädes närvarande att den ofta behandlas som ett faktum, en trend som är särskilt uttalad inom fetma- och matningslitteraturen där dopamin i mellanhjärnan effektivt likställs med belöning (t.ex. Kenny, 2010; Volkow et al., 2010; Avena och Bocarsly, 2011; Berthoud et al., 2011). Men årtionden av forskning har obestridligen dokumenterat en tydlig roll för dopamin i modulerande aktivitet, vilket bäst illustreras av de psykostimulerande egenskaperna hos läkemedel som ökar dopaminsignaleringen. Salamone och kollegor har länge hävdat att den primära effekten av dopamin är att reglera ansträngande aktivitet, vilket gör att ett djur kan övervinna svarskostnader förknippade med att eftersträva värdefulla stimuli (Salamon, 2009, 2011). På senare tid har genetiska studier som utforskar potentiella gener som reglerar frivillig aktivitet pekat på dopaminrelaterade gener med vissa författare som tyder på att dopamin kan representera en "slutlig gemensam väg" för att kontrollera frivillig aktivitet (Leamy et al., 2008; Kelly et al., 2010; Knab och Lightfoot, 2010; Mathes et al., 2010; Garland et al., 2011). Trots övertygande och betydande data som tyder på att dopamin spelar en nyckelroll i energiförbrukning, överskuggas denna syn på dopamin av belöningsperspektivet. Till exempel, i många tidningar som diskuterar dopamin och fetma (Geiger et al., 2009; Berridge et al., 2010; Kenny, 2010; Berthoud et al., 2011), övervägs inte ens dopamins roll i energiförbrukningen, trots att energiförbrukningen begreppsmässigt representerar hälften av energibalansekvationen.

Hittills har inget övertygande ramverk integrerat dessa två distinkta domäner av dopamineffekter och förmodad funktion, den allmänt erkända belöningsfunktionen och de mindre framträdande men lika påvisbara effekterna av dopamin på aktivitet och energiförbrukning. Uppenbara dopaminerga effekter på aktivitet framställs ofta som en konsekvens av belöningsprocesser. Till exempel har dopamins roll vid modulering av frivillig hjulkörning hos gnagare föreslagits uppstå från dopaminerg modulering av belöningen och förstärkningen i samband med hjulkörning (Garland et al., 2011; Roberts et al., 2011; Yang et al., 2012). Här utvecklar vi en hypotes där dopamins primära funktion är att reglera energiförbrukningen. Specifikt hävdar vi att dopamin fungerar som ett gränssnitt mellan den interna och externa miljön som matchar beteendeenergiförbrukningen med den rådande, miljömässiga energiekonomin. Vi föreslår att dopamin reglerar energiförbrukningen längs två dimensioner: (1) hur mycket energi att förbruka (bevara-förbruka axel) och (2) hur man distribuera eller allokera energi till olika aktiviteter (en utforska-utnyttjande-axel, utvecklad nedan). I detta synsätt uppstår dopamins belöningsrelaterade effekter sekundärt till och i tjänsten för att adaptivt hantera energiförbrukningen. Vi är djupt tacksamma till Salamones eleganta arbete och envisa fokus på dopamins roll för att reglera ansträngningar och hans ihärdiga kritik av belöningshypotesen om dopamin. Den nuvarande hypotesen representerar en integrering och expansion av hans grundläggande insikter i en bredare hypotes där dopamin adaptivt reglerar både ansträngning och belöning – skalar inverkan av tidigare belöningshistoria på nuvarande beteende – med avseende på tillgängligheten av energi i miljön.

Undersöker dopamin i en adaptiv, semi-naturalistisk kontext

Nedan kommer vi först att granska nya studier från vårt laboratorium som ifrågasätter belöningens företräde i den dopaminerga moduleringen av beteende och belyser dess roll i energiförbrukningen. Därefter kommer vi att utarbeta en energiekonomisk hypotes om dopaminfunktion, genom att granska relevant litteratur. Vi kommer att avsluta med en övervägande av den aktuella hypotesen när vi undersöker dopamins roll vid fetma. Termen "belöning" missbrukas tyvärr inom litteraturen, vilket har påpekats av andra (Kanon, 2004; Salamone et al., 2005; Salamon, 2006; Yin et al., 2008). I synnerhet används ordet oprecist och tvetydigt för att fånga olika begrepp, inklusive affektiva reaktioner (som att gilla något), förstärkning (ett resultat som ökar sannolikheten för att det föregående beteendet upprepas), stimuli som möter ett aptitligt behov (t.ex. mat) och så vidare. I den första delen av denna recension använder vi (miss-) termen brett, ungefär som det missbrukas i litteraturen, som en paraplyterm för att klumpa ihop och fånga teman som genomsyrar litteraturen, trots olika teoretiska skillnader mellan olika idéer. Därefter kommer vi att definiera belöning mer exakt när vi utvecklar vår hypotes.

Förhöjd dopamin: Minskad koppling till belöning

Implicit i belöningsperspektiv av dopamin är tanken att dopamin ökar belöningens inverkan på beteendet. Empiriskt stöds detta av otaliga studier som visar att ökad dopamin ökar ansträngningen ett djur utövar mot belöning medan minskad dopamin minskar ansträngningen (Wise et al., 1978; Taylor och Robbins, 1986; Aberman et al., 1998; Peciña et al., 2003; Kelley, 2004; Cagniard et al., 2006a,b; Phillips et al., 2007; Salamon, 2009, 2011). Dessa kumulativa data har fått många forskare att dra slutsatsen att antingen belöningen i sig eller incitament förknippade med belöningsrelaterade stimuli förstärks av dopamin. Alternativt kan känsligheten för kostnader förknippade med att erhålla belöningen minskas av ökat dopamin (Phillips et al., 2007; Salamon, 2011). Vad man ofta drar slutsatsen från dessa studier, även om deras författare bestämt motsätter sig sådana tolkningar (t.ex. Salamone), är att dopamin modulerar förhållandet mellan belöning och beteende på ett sådant sätt att dopamin ökar graden i vilken belöning fördomar beteendeval. Till exempel hävdar Salamone att dopamin inte modulerar belöning alls; han visar att dopamin underlättar ansträngning. Djurens strävan efter belöning hindras således mindre av svarskostnaden. Många har tolkat detta som att belöningens inverkan på beteendeval ökar, inte genom att ändra själva belöningen utan genom att ändra en faktor – svarskostnad – som normalt begränsar belöningssträvan.

För att undersöka hur ökat dopamin förändrar anpassningen till en semi-naturalistisk miljö, frågade vi om den upprepade observerade ökningen av motivation för belöning skulle resultera i minskad beteendeflexibilitet (Beeler et al., 2010). För att testa detta använde vi ett hemburparadigm där mössen levde i operantutrustade hemburar och all mat erhölls genom spakpressning, 24/7. Ingen matrestriktion användes och möss fick helt och hållet reglera sin konsumtion. Två spakar gav mat där den ena alltid var "billig" och krävde ett lågt antal pressningar för en pellet (FR20) medan den andra alltid var "dyr" och krävde ett större antal pressningar som ökade allt eftersom experimentet fortskred (FR40–FR200) . Vilken spak var som dock växlade slumpmässigt var 20–40:e min. För att erhålla största möjliga avkastning för nedlagd ansträngning var mössen tvungna att övervaka pågående belöningsfeedback och regelbundet byta spakar för att få pellets till lägsta kostnad. Vi testade vildtyp C57BL/6 (kontroll) och dopamintransportör knock-down (DATkd) möss som har förhöjd extracellulär dopamin och ökad tonisk dopaminavfyrningsaktivitet (Zhuang et al., 2001; Cagniard et al., 2006b).

Vi fann att mössen med förhöjt dopamin (DATkd) tryckte betydligt mer på högkostnadsspaken än vildtypsmöss, i överensstämmelse med tidigare litteratur som visar att dopamin ökar ansträngningen mot belöning. Men i det här fallet ökade den ökade ansträngningen inte belöningen, bara mängden ansträngning som lagts ner på den belöningen. Detaljerad analys av data visar att DATkd inte var okänsliga för eller omedvetna om växlar mellan spakarna eftersom deras peri-switch-beteende var i huvudsak identiskt. Skillnaden uppstod under de stabila perioderna mellan spakväxlar där DATkd-mössen fördelade sin ansträngning lika på båda spakarna medan vildtypsmössen företrädesvis tryckte på den billiga spaken. För att bättre förstå strategin som ligger bakom DATkd-beteendet, anpassar vi data till en temporal difference learning (TD)-modell (Sutton och Barto, 1998). I dessa modeller finns det två nyckelparametrar: en inlärningshastighet som styr den hastighet med vilken ny belöningsinformation införlivas i (och bleknar från) värdet av att trycka på spaken och en "omvänd temperatur" som styr i vilken grad det värdet fördomar beteendeval. Den senare parametern kallas ofta för utforska-utnyttjande-parametern eftersom en större partiskhet resulterar i utnyttjande av lärande medan minskad fördom tillåter större utforskning (Sutton och Barto, 1998; Daw et al., 2006). Vi fann att det inte fanns några skillnader mellan genotyperna med avseende på inlärningshastighet, i överensstämmelse med bristen på inlärningsskillnader som observerades kring switchar, men att DATkd uppvisade en reducerad invers temperatur. Det vill säga, det fanns en reducerad koppling mellan belöningshistoria och deras beteendeval. Vid första anblicken verkar detta paradoxalt. Även om DATkd-mössen arbetade hårdare för att få belöning, i linje med årtionden av litteratur, verkar detta inte uppstå som en konsekvens av att belöning utövar en större kontroll över deras beteende. Tvärtom fanns det minskad koppling mellan belöning och beteendeval. Snarare än att belöna att ha en större fördomsfull effekt på deras beteende, hade det mindre. Ökat dopamin, under dessa förhållanden, resulterade i minskad snarare än ökad exploatering. Intressant nog, Salamone et al. (Salamone et al., 2001) har visat att råttor med nucleus accumbens dopaminutarmningar är mer beroende av den senaste belöningen för att övervinna svarskostnaden, vilket tyder på det omvända under reducerat dopamin, en ökat koppling mellan belöningshistoria och val.

Förhöjd dopamin: Modulering av ansträngning utan ökad konsumtion

En annan idé implicit i dopamins belöningsperspektiv är att dopamin, genom att öka graden till vilken belöning fördomar beteende, reglerar i vilken grad ett djur kommer att eftersträva belöning; det är det dopamin förmedlar "att vilja": mer dopamin, mer vilja, mer jakt (Robinson och Berridge, 1993; Leyton et al., 2002; Volkow et al., 2002; Tindell et al., 2005; Berridge et al., 2010). Denna effekt av dopamin är central för många teorier om beroende (Robinson och Berridge, 2001; Koob och Volkow, 2010) och, på senare tid, teorier om dopamin och fetma (Volkow och Wise, 2005; Finlayson et al., 2007; Zheng et al., 2009; Berridge et al., 2010; Volkow et al., 2010; Avena och Bocarsly, 2011; Berthoud et al., 2011). I en annan nyligen genomförd homecage-studie (Beeler et al., 2012a), frågade vi om denna ökade "vilja" under olika miljöförhållanden kunde vara adaptiv. För att testa detta höll vi återigen möss i hemburar utrustade med operanta spakar där de tjänade all sin mat genom att trycka på spaken, återigen utan explicit matbegränsning. I detta paradigm gav endast en spak mat och arbetsbehovet för den spaken ökade var tredje dag under experimenten, med början vid FR3 och slutade vid FR5. Detta ger en efterfrågekurva som visar i vilken grad möss anpassar sin dagliga konsumtion till den nuvarande kostnaden för pellets. Om vi ​​antar att dopamin ökar värdet av belöning och/eller minskar känsligheten för kostnader, skulle vi förvänta oss att DATkd-mössen med förhöjd dopamin skulle klara sig bättre i detta paradigm och fortsätta pressa mer till högre kostnader än vildtypsmöss. Även om DATkd visade något ökad pressning till högre kostnader, uppvisade de totalt sett samma anpassning till eskalerande kostnader som vildtypsmöss, utan någon skillnad observerad i kroppsviktsförändringar eller överlevnad inom experimentet. Dessutom, när data passade till en modell för efterfrågeelasticitet (Hursh och Silberberg, 2008), fanns det ingen skillnad mellan genotyperna i elasticitet. Så var tog dopamineffekten på ansträngning och belöning vägen?

Analys av individuella måltidsdata (dvs. antal, varaktighet och storlek på måltider) indikerar en stor genotypeffekt där DATkd-mössen åt större men färre måltider. Det vill säga, även om dopamin inte nämnvärt förändrade deras totala konsumtion, ändrade det deras måltidsmönster - det sätt på vilket de temporärt fördelade sin ansträngning och konsumtion. Dessa data tyder på att eskalerande kostnader inducerade ett tillstånd av brist som engagerade homeostatiska bevarandemekanismer i både vildtyp och DATkd. För att undvika detta konstgjorda tillstånd av brist genomförde vi en studie med progressivt förhållande för hemmaburar där de eskalerande kostnaderna inträffar inom varje måltid eller pressning då kostnaden för varje efterföljande pellets ökar med 2. Efter 30 minuters upphörande av all pressning, var förhållandet återställa. På detta sätt kunde möss flytta sin ansträngning mot större, dyrare måltider, eller mindre, billigare och mer frekventa måltider utan att offra den totala konsumtionen. I denna studie observerade vi inga signifikanta kroppsviktsförändringar mellan grupper och ingen signifikant skillnad i den totala konsumtionen. Men DATkd-mössen åt återigen större måltider och uppvisade en högre brytpunkt inom individuella anfall, i överensstämmelse med tidigare litteratur som visar att förhöjt dopamin ökar brytpunkten i paradigmet för progressivt förhållande. Men som ovan kompenserades denna större ansträngning av mindre frekventa måltider så att den totala konsumtionen inte var annorlunda. Från dessa studier drar vi två viktiga slutsatser. För det första verkar effekterna av dopamin på jakten på mat, åtminstone i detta paradigm, förbli under homeostatisk kontroll. För det andra tycks dopamin inte förändra "viljan" eller den övergripande strävan efter mat i en global bemärkelse, utan tycks modulera ansträngning som lagts ner inom tidsmässigt lokala episoder av målsträvan. Kort sagt, dopamin verkar ha påverkat hur energi och ansträngning är distribueras snarare än att öka aptitens motivation per se.

Vi observerar här att ökat dopamin inte gör efterfrågan mer oelastisk; det är, övergripande hyperdopaminerga möss anpassar sin konsumtion till svarskostnader på samma sätt som vildtyp. På ytan förefaller detta vara motsägelsefullt till många studier som tyder på att stimulering eller försvårande av dopaminöverföring kan förbättra respektive minska ansträngningsbaserad respons (t.ex. Aberman och Salamone, 1999; Bardgett et al., 2009; Salamone et al., 2009b), vilket förmodligen påverkar elasticiteten som svar på kostnader. Men vi observerar samma fenomen som observerats i dessa studier: dopamin underlättar större ansträngning under en anfall av matjakt, här bevisas av större måltider och högre brytpunkter. Men vi observerar också vad sessionsbaserade studier inte kan – att dessa skillnader i ansträngning, från vilka vi kan dra slutsatser om förändringar i elasticitet, inte nödvändigtvis åtföljs av förändringar i den totala konsumtionen och efterfrågan. Dessa större måltider kompenseras av färre måltider, vilket resulterar i en övergripande liknande elasticitet som svar på eskalerande kostnader. Att förhöjt dopamin inte producerade oelasticitet i dessa studier betyder inte att dopamin aldrig modulerar elasticiteten, bara att sambandet mellan dopamin, ansträngning och efterfrågan kan vara mer komplext än vad man tidigare uppskattat.

Förhöjt dopamin: Förbättrar inte hedoniskt värde eller ändrar beteendeval

En annan idé implicit i dopamin- och belöningshypotesen är det dopamin ökar jakten på föredragen livsmedel (Salamone et al., 1991; Kusiner et al., 1993; Salamon, 1994; Lowe och Levine, 2005; Zheng et al., 2009; Berridge et al., 2010; Kenny, 2010; Volkow et al., 2010), där "föredragen" vanligtvis definieras som välsmakande, hedoniskt givande mat: saker som smakar gott. Ur ett incitament-salience-perspektiv ökar dopamin det större incitamentet som är förknippat med föredragna livsmedel. Mot detta argumenterade Salamone et al. (Salamone et al., 1991; Salamone, 1994) har visat att under förhållanden med fri utfodring ändras preferensen inte av förändringar i dopaminfunktionen; det vill säga dopamin ökar inte incitamentet eller ändrar matpreferenser när inget (eller lågt) arbetskrav finns. I sina studier, men när man skaffar en föredragen mat is i samband med en responskostnad, ökar dopamin ansträngningen ett djur kommer att utöva, vilket förändrar djurets beteendeval till förmån för större strävan efter en föredragen mat (Salamon, 1994; Salamone et al., 1994), vilket ofta anses antyda att ökat dopamin skulle öka jakten på föredragen mat i en naturlig födosöksmiljö genom att minska känsligheten för associerade kostnader.

I en ny serie studier (Beeler et al., 2012b), undersökte vi det relativa bidraget av näringsmässiga och hedoniska, eller smak, värde till konsumtion, preferenser och förstärkning och frågade hur förhöjt dopamin kan förändra dessa. För att testa enbart smakvärdet använde vi kalorifria sötningsmedel (både sukralos och sackarin). För att testa för enbart näringsvärde använde vi trpm5 knock-out möss som saknar sötsmaksreceptorn och inte smakar sött (Damak et al., 2006; de Araujo et al., 2008), vilket gör att vi kan bedöma effekten av enbart näring. I båda fallen använde vi möss med och utan en knock-down i dopamintransportören för att testa effekterna av förhöjt dopamin. Litteraturen tyder på att mer hedoniskt givande livsmedel skulle påverkas mer av ökad dopamin. Av detta kan vi förutsäga att förhöjt dopamin företrädesvis skulle påverka hedonisk belöning framför näringsmässig belöning. Vi fann för det första att även om både hedoniskt och näringsvärde inducerade ökad konsumtion och preferens, var hedoniskt värde dissocierat från näringsvärde en dålig förstärkare. Det vill säga, möss skulle konsumera kalorifria söta lösningar och föredra det framför vatten, men söt smak i frånvaro av kalorivärde saknade förmågan att framkalla konditionering i konditioneringstestet med två flaskor. Dessutom, i ett progressivt förhållande test, inducerade sackaros ökad respons över sessioner. Kalorifria sötningsmedel, däremot, inducerade mycket mindre svar som faktiskt minskade under sessioner, vilket liknar så kallad "utrotningsmimik" (Wise et al., 1978). Berridge och Robinson (Robinson och Berridge, 1993) har berömt beskrivit en dissociation mellan "att vilja" och "tycka om" i missbruk där missbrukare utvecklar "lust" för droger utan att "gilla"; det vill säga incitamentet att köra tvångsmässigt drogsökande är oberoende av dess hedoniska konsekvenser. Dessa data tyder på en kompletterande dissociation av "gilla" utan att "vilja" där man kan uppleva ett positivt hedoniskt svar utan att utveckla associativa incitament som driver tvångsmässigt sökande efter den upplevelsen i framtiden (Beeler et al., 2012b).

Tvärtemot förväntningarna förändrade förhöjt dopamin inte signifikant motivationen för enbart hedonisk, söt smak, men ökade ansträngningen för kombinerad smak/näring såväl som enbart näring. Tidigare studier av dopaminfrisättning har visat att dopamin frisätts som svar på enbart smak (t.ex. genom att använda intraoral kanylering för att stimulera smaken utan eftersmak) (Mark et al., 1991; Hajnal et al., 2004; Norgren et al., 2006; de Araujo et al., 2008; Wheeler et al., 2011). Så varför observerade vi minskad förstärkning till söt smak i frånvaro av näring? Vi genomförde en voltammetristudie där råttorna förexponerades för både sackaros och sackarinpellets, var och en med en identifierande smak, för att ge dem möjlighet att särskilja och lära sig om det relativa näringsvärdet för var och en (Beeler et al., 2012b). Vi mätte sedan framkallad dopaminfrisättning som svar på antingen sackaros eller sackarin. Råttorna hämtade och konsumerade båda typerna av pellets lika; men när vi mätte framkallad dopaminfrisättning var svaret på sackarin kraftigt försvagat jämfört med sackaros. I en uppföljningsstudie observerades samma försvagning av framkallat dopamin som svar på signaler som förutsäger antingen sackaros eller sackarin (McCutcheon et al., 2012). Det försvagade dopaminsvaret på enbart kalorifri smak överensstämmer med den minskade svarande och uppenbara utrotningshärmningen som observerades i beteendestudierna med mössen. Kort sagt, dessa studier visar att ökat dopamin, även om det ökar ansträngningen och förändrar fördelningen av energiförbrukningen (dvs måltidsmönster), inte ändrade konsumtion eller preferenser och inte ökade "viljan" av hedoniskt värderade livsmedel i frånvaro av näring .

I den konventionella samtidiga valuppgiften (Salamon, 1994) ett djur kan välja mellan att trycka på en spak för ett föredraget foder eller att äta fritt tillgänglig standardmat under en timmes sessioner. Salamone och kollegor har visat att dopamin ökar förhållandet mellan föredragen mat och standardmat som konsumeras; det vill säga dopamin ändrar beteendeval för att gynna det mer kostsamma men föredragna alternativet. Många drar slutsatsen från detta arbete att dopamin kommer att öka jakten på önskad mat. Vi testade denna slutsats genom att genomföra ett parallellt valexperiment med progressivt förhållande i hemmaburen där möss kunde trycka på för ett föredraget foder (PR2), antingen kalorifria sötningsmedel eller sackaros, eller äta fritt tillgänglig chow. I detta semi-naturalistiska paradigm, förskjutit ökat dopamin, som rapporterats i efterfrågan och homecage progressiva ratio-studier ovan, fördelningen av ansträngning mot större energiförbrukning (dvs. längre pressperioder, större brytpunkt, men färre totala anfall). Trots större ansträngning ändrade dock inte förhöjt dopamin deras beteendeval, vilket återspeglas i förhållandet mellan föredragen mat och standardmat. Salamone har hävdat att ökad ansträngning mot en föredragen mat som observeras i paradigmet för samtidiga val återspeglar förändringar i känslighet för svarskostnader och inte ändrade preferenser (Salamone et al., 2007). Dessa data bekräftar och utökar detta argument genom att förfalska slutsatsen att den ökade ansträngningen som observeras i paradigmet för samtidiga val kommer att öka belöningssträvan. I en semi-naturalistisk miljö observerar vi samma ökade ansträngning mot en föredragen mat som observerats av Salamone, men detta förändrar inte konsumtion, preferenser eller beteendeval utan återspeglar olika energiförbrukningsstrategier.

Integrering av belöning och beteendeenergihantering

Dessa fynd är svåra att förklara enbart i termer av aktuella teorier om dopamin och belöning. (1) I stället för att öka påverkan av belöning på beteende, observerar vi en minskad koppling mellan belöningshistoria och val, vilket tyder på att dopamin inducerar större utforskning; det är, mindre fördomar av val genom belöning. (2) Istället för att åsidosätta homeostatiska mekanismer och främja överkonsumtion, verkar dopamin fungera inom ramen för homeostatisk reglering, vilket förändrar fördelning av ansträngning i jakten på mat utan att ändra den totala konsumtionen; det vill säga dopamin inducerar större kraft men inte större "lust". (3) Istället för att flytta ansträngning, konsumtion och beteendeval till mer föredragna livsmedel, ökar dopamin igen kraften utan att ändra konsumtion, preferenser eller val; det vill säga den uppenbart minskade känsligheten för kostnader förskjuter inte aptitliga mål. De beskrivna studierna pekar alla på ett gemensamt tema: att dopamin modulerar beteendeenergi utgifter. Dopaminmodulering av ansträngningar och utgifter har betraktats som antingen en ospecifik effekt - "generaliserad aktivitet" - och/eller som en omfördelning av ansträngning som övervinner svarskostnader förknippade med att uppnå mål (Salamone et al., 2007). I resten av artikeln kommer vi att försöka integrera de belönings- och aktivitetsmodulerande aspekterna av dopamin. För att göra det kommer vi att utveckla ett alternativt perspektiv: effekterna av dopamin på belöning uppstår sekundärt till och i tjänsten att reglera beteendemässig energiförbrukning, vilket placerar belöningssystemet i ett större sammanhang av att förena energiförbrukning med tillgängliga resurser.

Dopamin: Ett beteendestyrt energiledningssystem

Energi och dess användning är slutresultatet för anpassning. Alla organismers behov och funktioner, från termoreglering till reproduktion till själva energianskaffningen, kräver energi. Att upprätthålla ett tillräckligt utbud kan ses som ett evolutionärt huvuddirektiv. Mycket fokus har lagts på system som reglerar jakten, konsumtionen och lagringen av energi, men mycket mindre uppmärksamhet har lagts på system som kontrollerar dess utgifter. Men förutom att vara en "likvärdig partner" för att fastställa energibalansen (dvs konsumtion—utgifter = nettobalans), är det avgörande för anpassningen att uppnå en optimal fördelning av energi till olika aktiviteter. Det vill säga, vad ett djur gör med sin tillgängliga energi är utan tvekan lika viktigt som att skaffa energi. Hur man bäst styr energiförbrukningen är dock beroende av miljöförhållandena. I en energirik miljö är utforskning, träning och energiförbrukning adaptiv. I en energifattig miljö är utnyttjande av tidigare erfarenheter och energibesparing – att få mest valuta för sina ökända energipengar – viktigt. I det här perspektivet innebär effektiv energihantering att jag bestämmer (1) hur mycket energi jag måste förbruka och (2) hur noggrant, eller selektivt, jag behöver använda den. Vi karakteriserar dessa två frågor som två axlar för energihushållning: förbruka vs. spara och utforska vs. exploatera, respektive (figur 1).

 

Figur 1. Två axlar konceptuell ram för reglering av beteendemässig energiförbrukning av dopamin. De horisontella axlarna representerar dopamins roll i att reglera generaliserade aktivitetsnivåer längs ett kontinuum från låg aktivitet (bevara) till hög aktivitet (förbruka). De vertikala axlarna representerar dopamins roll när det gäller att reglera balansen mellan utforskning och exploatering genom att modulera graden till vilken belöningsinformation fördomar fördelningen av beteendeaktivitet. "Dopaminfunktion" tolkas brett här och kan inkludera inte bara extracellulära koncentrationer av dopamin i målregioner, aktivitet av dopaminneuroner (dvs. hastighet av tonisk aktivitet, prevalens av bristningar) utan också parametrar som relativt uttryck av olika receptorer (t.ex. D1 och D2), uttryck och aktivitet av doapmintransportören (DAT) såväl som egenskaper för vesikulär frisättning, inklusive storleken på den lätt frisättbara poolen och vesikelstorleken. Som en allmän konceptuell princip associerar vi minskad dopaminfunktion med bevarande och exploatering (nedre vänstra kvadranten) och ökad dopaminfunktion med utgifter och utforskning (övre högra kvadranten), vilket återspeglas av den större pilen. Ändringar av olika aspekter av dopaminsystemet (till exempel skiftande av det relativa uttrycket av D1- och D2-receptorer) kan emellertid förskjuta detta förhållande, vilket skapar beteende som beskrivs av de andra kvadranterna, såsom höga utgifter i kombination med ett större utnyttjande av belöningsinformation ( nedre högra kvadranten).

I den aktuella hypotesen associerar vi dessa två axlar för energiförbrukning med två väldokumenterade dopaminfunktioner. Först kopplar vi till dopamins roll i att reglera generaliserad aktivitet till axlarna för att spara pengar. För det andra föreslår vi att dopamins roll i belöning inte är att modulera belöningsincitament och aptitlig strävan per se, men att använda belöningsinformation att reglera fördelning av energi till olika aktiviteter, förmedlar axlarna utforska-exploatering; det vill säga hur selektivt ska energi användas? Vi ramar in denna andra aspekt av dopamin inom TD-inlärningsmodeller av dopamin och belöning där dopamin förmedlar både (1) inlärning handla om belöning – det vill säga att tilldela värde till stimuli som styr energiförbrukningen och (2) i vilken grad den belöningsinformationen påverkar beteendeval, tolkar den andra axeln, utforska-utnyttja, som energisk sparsamhet: hur noggrant måste jag utnyttja mina tillgängliga resurser?

Genom att betona hanteringen av energiförbrukning snarare än belöningsmodulering som en primär funktion av dopamin, kan många annars svårförenliga observationer sammanhänga i en central organiserande metafor för att förstå dopamins roll i beteende. I följande avsnitt beskriver vi kortfattat kärnelementen i denna hypotes i samband med aktuella idéer och litteratur om dopamin.

Det bör noteras att dopaminsystemet är komplext och mångfacetterat. Bortsett från extracellulära dopaminkoncentrationer och hastigheter för tonisk och fasisk dopamincellavfyrning, kan "dopaminfunktion" inkludera modulering av frisättning vid dess mål, modulering av syntes, vesikulär förpackning och lättfrisättbara pooler, förändringar i receptoruttryck och funktion och förändringar i dopamintransportören och återupptagning. Som en nödvändig förenkling för utläggningsändamål kommer vi att tala om "hög" och "låg" dopaminfunktion, en inte ovanlig praxis i litteraturen. Komplexiteten som detta döljer representerar potentiella mekanismer genom vilka dopaminsystemet kan utöva mer nyanserad, flexibel och sofistikerad reglering av dess funktion(er). I figur 1, är det dessa komplexiteter som tillåter oss att betrakta dopamin inte som en enda linje från högt till lågt (som visas i mitten) utan som en mer komplex funktion som potentiellt kan sträcka sig över det tvådimensionella utrymmet som porträtteras. För att förstå dessa komplexiteter är dock beroende av en tolkningsram för att organisera mer detaljerad information. Här fokuserar vi på att artikulera en skelett- alternativa ramverk och försök inte assimilera allt som är känt om dopamin och inte heller detaljera varje mekanism som potentiellt är involverad i dopaminsignalering, en svårlöst utmaning för en enda artikel.

Dopamin: förmedling mellan den inre och yttre världen

Dopaminsystemet är placerat mellan två världar av stimuli: den yttre och den inre. Å ena sidan modulerar dopamin en organisms svar på miljöstimuli. I förstärkningsinlärningsperspektivet av dopamin och belöning (Montague et al., 1996; Schultz et al., 1997), förmedlar dopamin kritiskt lärande om värdet av stimuli (tillstånd) och vilka svar (åtgärder) som är optimala (Reynolds et al., 2001; Schultz, 2002; McClure et al., 2003; Daw och Doya, 2006; Day och Carelli, 2007; Day et al., 2010; Flagel et al., 2010; Gan et al., 2010; Day et al., 2011). Incitament-salience-perspektivet hävdar att dopamin skalar det incitamentsvärde som är förknippat med miljöstimuli, vilket ändrar graden i vilken stimuli förintar beteendeval (Phillips et al., 2003; Berridge, 2004; Roitman et al., 2004; Cagniard et al., 2006b; Day et al., 2006; Cheer et al., 2007). I båda fallen, även om det är mekaniskt mycket olika, modulerar dopamin organismens svar på miljöstimuli, världen utanför.

Nyare arbete har visat komplexa interaktioner mellan dopamin och homeostatiska system som övervakar och signalerar information om den inre organismmiljön (Davis et al., 2010a; de Araujo et al., 2010; Figlewicz och Sipols, 2010; Opland et al., 2010; Vucetic och Reyes, 2010). Mellanhjärnans dopaminneuroner uttrycker receptorer för många cirkulerande signaler associerade med homeostatiska mekanismer, inklusive leptin, ghrelin, orexin och insulin (för omfattande granskning, Figlewicz och Sipols, 2010). Förutom direkt avkänning av homeostatiska signaler får dopaminkärnor projektioner från olika substrat associerade med homeostatiska kontrollmekanismer, inklusive hypotalamiska projektioner (Opland et al., 2010). Det anses allmänt att dessa ingångar modulerar belöningsprocesser. Till exempel föreslås det ofta att cirkulerande leptin minskar dopaminaktiviteten, vilket i sin tur minskar belöningsvärdet av mat, vilket följaktligen minskar aptitretande (Morton et al., 2009; Davis et al., 2010a; Figlewicz och Sipols, 2010; Opland et al., 2010; Vucetic och Reyes, 2010). Den exakta rollen för dessa homeostatiska ingångar är fortfarande kontroversiell. Nyckelpunkten här är att dopaminsystemet får väsentlig information om organismens inre miljö och homeostatiska tillstånd, vilket gör att den kan utnyttja organismens kunskap om sin miljö i enlighet med interna behov och krav; det vill säga att modulera beteende för att optimera förhållandet mellan dessa två världar, den inre och yttre, organism och värld. Naturligtvis, på ett sätt har hela hjärnan utvecklats för att förmedla mellan den inre och yttre världen, men de breda och diffusa projektionerna av dopaminsystemet, tillsammans med de olika input som konvergerar på det och dess uppenbara roll i att modulera ett brett spektrum av beteenden och processer, från motivation till motorisk utförande tillsammans med att vara mycket bevarad över arter, tyder på att det faktiskt kan ha utvecklats till att spela någon grundläggande, kritisk roll i anpassningen.

Dopamin: Att sätta begär på en budget

Få skulle argumentera med denna uppfattning att dopamin integrerar intern och extern information för att anpassa beteendet till miljöförhållanden och optimalt möta organismens behov. Den svåra frågan är hur uppnår dopamin detta? Det vill säga vad som är det primära effektor mekanism genom vilken dopamin anpassar beteendet? Den rådande uppfattningen, nästan hegemonisk, är att dopamin modulerar belöningsprocesser – oavsett om det förmedlar lärande om belöning, uttryck för incitament eller någon kombination av båda – och följaktligen formar motivation: de mål och aktiviteter som en organism eftersträvar och den kraft med vilken dessa eftersträvas. Kritiskt är platsen för modulering aptit: hur mycket belöning inducerar dess strävan.

Även om det är mycket mindre diskuterat, modulerar dopamin också aktivitetsnivåer. I överensstämmelse med denna modulering av aktivitet har Salamone och kollegor länge hävdat att dopamin kan modulera båda ansträngningarna mot ett mål (Salamone et al., 1997, 2005, 2009) samt generaliserade aktivitetsnivåer (Kusiner et al., 1993; Correa et al., 2002), observationer som är centrala för den aktuella hypotesen.

Vi kommer att hävda att dopamin reglerar energiförbrukningen för att förena beteende med energiresurser; det vill säga dopamin modulerar inte begäret, det sätter det på en energibudget. I detta synsätt är energitillgänglighet, inte belöning, den primära faktorn som påverkar dopaminerg reglering av beteende. I de följande avsnitten kommer vi att utveckla denna energihanteringshypotes om dopamin och diskutera de första effektormekanismerna genom vilka dopamin reglerar energiförbrukningen följt av en diskussion om mekanismer genom vilka dopaminsystemet reglerar fördelningen av energi med hjälp av belöningsinformation. Efter att ha utarbetat hypotesen kommer vi att fokusera specifikt på en alternativ redogörelse för dopamins roll vid fetma.

Axel I: Spara-Expend

I de följande avsnitten kommer vi att beskriva dopamins roll för att modulera energiförbrukningen längs ett kontinuum av bevarande och utgifter. Enligt den utvecklade synen är reglering av energiutgifter – både generaliserad aktivitet och ansträngning mot särskilda mål – i grunden oberoende av belöning och beror istället på tillgängliga energiresurser. Belöning, kommer vi att hävda, spelar en tydlig roll för att bestämma distribution eller tilldelning av denna energiförbrukning, representerad av axeln utforska-utnyttjande och diskuteras i avsnittet "Axis II: Utforska-utnyttja."

Dopamin och generaliserad aktivitet: Spendera eller spara?

Förhöjt dopamin har associerats med ökad aktivitet i decennier. Läkemedel som ökar dopaminfrisättningen, såsom amfetamin, kokain eller dopaminåterupptagshämmare, ökar generaliserad aktivitet hos människor och gnagare (Kelly, 1975; Mogenson et al., 1980; Beninger, 1983; Ahlenius et al., 1987; Carlsson, 1993; Xu et al., 1994; Sedelis et al., 2000; Correa et al., 2002; David et al., 2005; Viggiano, 2008; Charntikov et al., 2011). Administrering av Dl-agonister eller -antagonister ökar respektive minskar aktiviteten. D1-verkande läkemedel verkar postsynaptiskt på medelstora taggiga neuroner i den hämmande, indirekta vägen; emellertid verkar de också pre-synaptiskt på dopamin- och glutamatterminaler och som autoreceptorer på dopamincellkroppar. Som en följd av detta kommer låga doser kinpirol, en D2-agonist, att sänka aktiviteten, vilket förmodligen minskar dopaminfrisättningen genom autoreceptoraktivering medan höga doser kinpirol ökar aktiviteten, förmodligen genom aktivering av postsynaptiska D2-receptorer som minskar aktiviteten i den hämmande, indirekta vägen (Lomanowska et al., 2004). Hos gnagare ökar vissa beroendeframkallande droger som är CNS-depressiva (t.ex. morfin) aktiviteten, en effekt som tros uppstå från ökad frisättning av dopamin (Koek et al., 2012). Läkemedel som blockerar dopaminåterupptaget ökar aktiviteten (Billes och Cowley, 2008; Young et al., 2010) och DAT-uttryck korrelerar med rörelseaktivitet. Möss med reducerat uttryck av dopamintransportören, vilket resulterar i förhöjt toniskt dopamin, är hyperaktiva (Cagniard et al., 2006a).

Även om det inte råder någon tvekan om att dopamin modulerar generaliserad aktivitet, är mekanismen genom vilken det gör det dåligt förstådd. Faktum är att det inte finns någon generell ram för att begreppsualisera vad exakt "generaliserad aktivitet" eller upphetsning är i första hand (Quinkert et al., 2011). Hos gnagare mäts den generella aktiviteten vanligtvis med hjälp av antingen öppet fält, löphjul eller homecage-aktivitetsmonitorer. I vilken grad var och en speglar en generell aktivitetsnivå diskuteras (Dishman, 2008; Viggiano, 2008; Hesse et al., 2010; Garland et al., 2011). Det öppna fältet kan till exempel ses som ett mått på allmän aktivitet, utforskande beteende eller "emotionalitet". Löphjulet, eftersom löpning är mycket förstärkande hos gnagare (Wagner, 2005; Brené et al., 2007; Greenwood et al., 2011), kan förväxlas med belöningsprocesser. Icke desto mindre ökar ökad dopamin aktiviteten på alla tre åtgärderna och omvänt, minskande dopamin minskar aktiviteten på alla tre åtgärderna (Ahlenius et al., 1987; Zhuang et al., 2001; Correa et al., 2002; Leng et al., 2004; Beeler et al., 2006, 2009; Dishman, 2008; Kitanaka et al., 2012).

Istället för att se "generaliserad aktivitet" som skild från målorienterat, belöningsdrivet beteende, skulle ett alternativt perspektiv vara att dopamin signalerar energitillgänglighet och inducerar energiförbrukning, oavsett om det är riktat mot en givande, förstärkt aktivitet som hjulkörning (eller spaktryckning), mot utforskning som i det öppna fältet eller att bara flytta runt och göra mer musliknande saker dagligen i hemburen. Som psykostimulerande användare i årtionden intygar: dopamin är energigivande. Effekten av dopamin på generaliserad aktivitet representerar således en grundläggande effektor i regleringen av energiförbrukning genom att upp- eller nedreglera hur mycket energi som förbrukas i beteendeaktivitet oberoende av hur den aktiviteten kan riktas: oberoende av belöning.

Dopamin och ansträngning: Hur mycket har jag råd med?

Litteraturen är full av bevis för att ökat dopamin ökar ansträngningen i strävan efter mål, kanoniskt illustreras av ökad prestation i progressiva ratio-paradigm där kostnaden för varje efterföljande belöning ökar efter varje intjänad belöning (Hodos, 1961). Historiskt sett har ansträngningen en försöksperson gör i ett progressivt kvottest tolkats som ett mått på förstärkareffektivitet: det vill säga hur hårt jag arbetar är ett mått på hur värdefull eller motiverande belöningen är (Madden et al., 2007a,b). Detta är analogt med att bedöma värdet av något enligt det pris någon är villig att betala.

Emellertid mäter brytpunkten implicit en kostnads-nyttobestämning (Salamone et al., 2009a). Även om dopamin bidrar till denna pågående beslutsamhet, är dess roll fortfarande oklart (Salamone et al., 1997; Roesch et al., 2007; Day et al., 2010, 2011; Ostlund et al., 2010). Å ena sidan, som argumenteras i incitament-salience-teorin, kan dopamin förbättra incitamentegenskaperna hos stimuli som är förknippade med belöning, vilket väsentligt ökar den upplevda fördel (Berridge, 2007; Gan et al., 2010). Å andra sidan hävdar Salamone och kollegor att dopamin minskar känsligheten för kostnader och därmed minskar kosta komponent (Salamon, 2011, se även Phillips et al., 2007). I båda fallen är resultatet en ökad jakt på belöning till följd av förändrad kostnads-nyttobestämning, observerad som en förhöjd brytpunkt. I det konventionella progressiva ratio-paradigmet är det svårt att urskilja dessa två möjligheter eftersom beteenderesultatet skulle se likadant ut: ökad ansträngning och respons. De hemburstudier som granskats ovan kan dock skilja mellan dessa två alternativ. Om ökad dopamin ökade känsligheten för belöning, inducerade större "vilja" och uppreglerande aptitmotivation, då skulle vi förvänta oss att se större konsumtion och ökad preferens för mer givande mat. Vi observerade ingetdera. Istället observerade vi liknande konsumtion, preferenser och beteendeval men en förändring i födosöksstrategier mot större energiförbrukning. Det skulle dock vara felaktigt att säga att DATkd-mössen är det okänslig till kostnader; de anpassar sin konsumtion och ansträngning som svar på eskalerande kostnader precis som vildtypsmössen. Dessutom, i det billiga och dyra spakväxlingsparadigmet, om spakarna gör det inte switch, föredrar DATkd-mössen den billiga spaken på samma sätt som vildtypen. Snarare verkar ökad dopamin förskjuta födosöksstrategin mot större energiförbrukning.

Vid bestämning av den optimala avvägningen mellan kostnad och nytta är båda faktorerna situationsmässigt betingade. Å ena sidan är nyttan beroende av behov. En matpellet kommer att vara mycket mer värdefull och motiverande för en hungrig mus än en mättad. Den roll som motivationstillstånd spelar för att bestämma belöning och förstärkning har en lång historia inom psykologi och neurovetenskap (Berridge, 2004) och representerar ett aktivt undersökningsområde (Dayan och Balleine, 2002; Balleine, 2005; Fontanini och Katz, 2009; Haase et al., 2009). Mycket mindre uppskattat är dock att utvärderingen av kostnaden också kan vara betingad. Specifikt beror kostnaden för en utgift på tillgängliga resurser. Kostnaden för en flygplatskorv på $12.00 värderas inte lika mycket av en miljonärs VD och en fattig doktorand. Med gnagare kan liknande resursförutsättningar gälla. Till exempel kan förseningskostnader vara mer betydande om endast en begränsad tid är tillgänglig (som i en timmes operationssessioner) för att få belöning. På liknande sätt kan kostnaden förknippad med spakpressar bero på den allmänna tillgången på energi för en mus. Så om dopamin minskar kostnadskänsligheten finns det två tolkningar. I det första minskar kostnadskänsligheten i förhållande till nyttan; det vill säga när kostnad och belöning jämförs, minskar dopamin kostnadsfaktorn för att gynna belöning (funktionellt motsvarar det att öka incitamentsvärdet). I den andra modulerar dopamin kostnadskänsligheten i förhållande till tillgängliga resurser. Om energi är rikligt tillgänglig diskonteras ansträngningskostnaderna.

Således hävdar vi att dopaminregleringen av ansträngning är oberoende av belöningsvärdet; det vill säga dopamins effekter på ansträngning återspeglar en direkt modulering av energiförbrukningen i förhållande till tillgängliga energiresurser snarare än en indirekt konsekvens av att modulera en avvägning mellan kostnad och belöning. Eftersom dopamin ökar energiförbrukningen generellt, som diskuterats ovan, så ökar den energiförbrukningen – eller kraften i målsträvan – i specifika aktiviteter, återigen, hävdar vi, oberoende av belöningsvärde: om du har energi, använd den.

Axis II: Utforska-Exploa

I de följande avsnitten hävdar vi att belöning har en central funktion i den dopaminmedierade energihanteringen: att kontrollera fördelning av energiförbrukning, som vi representerar med axeln utforska-utnyttjande (Figur 1). I denna uppfattning bestämmer inlärt belöningsvärde den relativa nyttan av olika aktiviteter; vad som dock är avgörande i denna axel är grad som dessa värderingar (och kontrasten mellan dem) faktiskt fördomar och formar beteendeval. Vi integrerar i denna axel perspektiv för förstärkning av lärande och incitament-salience och hävdar att fasisk dopamin förmedlar lärande om och uppdatering av belöningsvärden, som allmänt trott, medan tonic dopamin, som incitamentsynpunkter antyder, skalar effekterna av dessa värderingar på beteendeval, uttrycket av inlärda värderingar. Vi rekonceptualiserar denna incitamentsskalning formellt som en funktion inom förstärkningsinlärning som reglerar i vilken grad tidigare belöningsinlärning fördomar val; det vill säga hur mycket etablerat lärande som utnyttjas. Vi tilldelar denna senare funktion till toniskt dopamin och tolkar det som reglerande sparsamhet; det vill säga reglera energiförbrukningens sparsamhet.

Dopamin och målval: Att göra kloka val i energiutgifter

Sparsamheten i ens utgifter beror på de tillgängliga resurserna. En rik person behöver inte tjafsa om tusentals dollar medan en fattig person behöver räkna slantar. På samma sätt behöver djur som lever i energetiska miljöer inte oroa sig för energibesparing medan de som lever under förhållanden av knapphet måste spendera energi klokt. Energihushållning innebär alltså inte bara att bestämma den totala storleken på energiutgifterna, som diskuterats ovan, utan också att de allokeras till specifika aktiviteter.

Vi utgår från antagandet att när energi är lättillgänglig är energiförbrukningen adaptivt fördelaktig, av två primära skäl. För det första har fysisk aktivitet i otaliga studier visat sig bidra väsentligt till hälsa och livslängd (Holloszy et al., 1985; Samorajski et al., 1985; Paffenbarger et al., 1986; Holloszy, 1988; Helmrich et al., 1991; Greendale et al., 1995; Booth et al., 2000; Alevizos et al., 2005; LaMonte et al., 2005; Warburton et al., 2006; Gaesser, 2007; Huffman et al., 2008; Hawley och Holloszy, 2009; Mercken et al., 2012). Under förhållanden av knapphet måste djur arbeta hårt för att hitta mat; men under överflöd gör de det inte. Ett system som ökade energiförbrukningen som svar på överflöd skulle upprätthålla aktivitetsnivåer och hälsa, åtminstone hindra ett djur från att bli en fet, långsam bit till en rovdjursmiddag. Dessutom, om energi är tillgänglig, så finns det en informationsmässig fördel att vinna från utforskning som gör att ett djur kan lära sig mer om sin miljö, information som skulle kunna utnyttjas i framtiden (Behrens et al., 2007). Sålunda, när energi är tillgänglig, finns det logik att framkalla utgifter och beteendeutforskning. Däremot när energin är knapp behöver djuret spara sin energi och maximalt utnyttja sin kunskap om miljön. I den hypotes som utvecklas här uppstår dopamins roll i belöningsprocesser som en mekanism för allokering av energi till specifika aktiviteter och stimuli.

För att allokera energi optimalt krävs två primära funktioner. Först måste organismen bestämma värdet av stimuli och handlingar i första hand. För det andra måste organismen bestämma i vilken grad dessa värden ska beaktas när man gör beteendeval: hur sparsam eller "värdemedveten" ska utgifter vara? De två paraplysynerna om dopamin och belöning, förstärkningsinlärningen och hypoteserna om incitament-salience, ger dessa två funktioner. I avsnitten nedan undersöker vi båda funktionerna och deras bidrag till utforska-exploateringsaxeln (Figur 1) gjutna i termer av TD-inlärningsmodeller.

Dopamin och förstärkningsinlärning: Värderedovisning

Som nämnts i inledningen kan termen "belöning" vara tvetydig. Här antar vi ett informationsperspektiv och definierar belöning som positivt valenserad resultatinformation. Den primära frågan som ska tas upp är vilken roll dopamin spelar för att koppla belöningshistoria till framtida val. Förstärkningsinlärningsperspektiv hävdar att dopamin modulerar kortikostriatal plasticitet som svar på belöning, dvs positiv resultatinformation, vilket förmedlar inlärning handla om stimuli och handlingar som är värdefulla. Motiverande åsikter, särskilt incitament-salience, tyder på att dopamin modulerar Uttrycket av tidigare lärda värden (incitament). Den nuvarande hypotesen omfattar båda inom en TD-inlärningsram.

Temporala skillnadsmodeller är en klass av förstärkningsinlärningsalgoritmer som framgångsrikt har tillämpats för att förstå hur neurala substrat, såsom dopamin och de basala ganglierna, förmedlar beteendemässigt observerad förstärkningsinlärning. Inom dessa modeller tilldelas stimuli och handlingar ett "värde" som inkluderar alla förväntade framtida belöningar förknippade med dessa stimuli eller handlingar. När tiden utvecklas och djuret rör sig stegvis framåt i tiden, avancerar genom successiva tillstånd (dvs. konfigurationer av stimuli, handlingar, belöningar), vid varje steg framåt den tidigare förutsägelsen (t − 1) jämförs med vad som faktiskt erhölls vid tidpunkten t plus återstående förväntade belöningar i framtiden, det vill säga värdeskattningen vid t. Om det finns en diskrepans, kallat ett prediktionsfel, är det tidigare värdet vid t − 1 justeras så att när det tillståndet påträffas igen blir det mer exakt. När djuret går framåt i tiden till t + 1, kommer samma process att inträffa, denna gång justerar det förutsagda värdet på t genom att jämföra den med faktisk belöning kl t + 1 plus det framtida förväntade värdet på t +1 och så vidare. Namnet TD uppstår eftersom en hel rad stater, var och en med sin egen värdeförutsägelse av "återstående" framtida belöning, justeras ett steg i taget. Det är denna samling av värden förknippade med olika tillstånd – stimuli och handlingar – som möjliggör korrekt förutsägelse av framtida belöning. Kort sagt är det en algoritm som underlättar trial and error-inlärning där djuret så att säga alltid är, i medias res, och en korrekt uppskattning av värdet av särskilda stimuli och handlingar tillkommer gradvis över tiden genom erfarenhet.

Temporala skillnadsmodeller har två nyckelfunktioner. Först lär de sig. Som beskrivits ovan, med hjälp av en uppdateringsregel baserad på prediktionsfel, justerar de tidigare värden associerade med stimuli och åtgärder. För det andra fattar de beslut. Det vill säga, när du väl har en uppsättning värden finns det en regel för hur dessa värden används när du väljer en åtgärd. Dessa två funktioner är associerade med två parametrar, allmänt kända som alfa, inlärningshastigheten respektive beta, "temperaturen". Inlärningshastigheten avgör i vilken grad ny information förändrar etablerade värden, både viktar ny information mot gammal och skapar ett "fönster för att glömma." Temperaturparametern bestämmer i vilken grad information om aktuellt värde (dvs. belöningshistorik) påverkar val av åtgärder, ofta kallad "utforska-utnyttja"-parametern.

Väsentliga bevis stöder en roll för dopamin i att förmedla förstärkningsinlärning och kortikostriatal plasticitet, vilket inte kommer att granskas här (Montague et al., 1996; Schultz et al., 1997; Reynolds och Wickens, 2002; Schultz, 2002, 2010; Kanon och palmiter, 2003; Klokt, 2004; Berridge, 2007; Goto et al., 2007; Redish et al., 2007; Robbins och Roberts, 2007; Salamon, 2007; Schultz, 2007; Dayan och Niv, 2008; Kheirbek et al., 2008, 2009; Redgrave et al., 2008; Kurth-Nelson och Redish, 2009; Lovinger, 2010; Lüscher och Malenka, 2011). Denna inlärningsfunktion har främst associerats med fasisk dopaminaktivitet som fungerar på en millisekunds tidsskala och tros inte representera belöning direkt. I stället, med utgångspunkt från TD-inlärning som beskrivits ovan, tros fasisk dopamin koda förutsägelsefel. Genom att signalera oväntad belöning eller misslyckande med förväntad belöning (Schultz et al., 1997; Schultz, 2007; Flagel et al., 2010; Brown et al., 2011; Day et al., 2011), uppdaterar fasisk dopamin värdena associerade med stimuli och handlingar genom att ändra synaptiska vikter genom dess effekter på kortikostriatal plasticitet. Inom den aktuella hypotesen accepterar och betraktar vi denna funktion av fasisk dopamin i uppdateringsvärdet som, på sätt och vis, en redovisningsfunktion: dopamin sätter inte, skapar eller skalar godtyckligt värde utan ger funktionellt en undervisningssignal för att modifiera inlärningen för att exakt återspegla värdet förknippat med stimuli och handlingar. Enkelt uttryckt försöker denna funktion av dopamin att "få rätt på värdet": en grundläggande egenskap hos varje framgångsrik budget är att få rätt siffror. Det vill säga de mycket detaljerade och mekanistiska funktionerna hos dopamin i förstärkningsinlärning gör det möjligt för ett djur att lära sig om sin miljö i ordning att bättre allokera och utnyttja sin tillgängliga energi.

Dopamin och Incitament-Salience: Energibudgettilldelning

Incitament-salience-synen av dopamin, däremot, hävdar att dopamin skalar inverkan av belöningsrelaterade stimuli på beteendeval (Cagniard et al., 2006b; Berridge, 2007). Det vill säga, dopamin modulerar graden till vilken incitamentvärde som är förknippat med stimuli fördomar beteende. Generellt sett ses ökat dopamin som ökande incitament och skala upp aptitretande beteende; det vill säga att framkalla större "vilja". Denna uppfattning är förenlig med decennier av litteratur som visar ökat dopamin resulterar i ökad målsträvan och ansträngning, som diskuterats ovan. I huvudsak kan detta uppfattas som ökat utnyttjande av belöningsinlärning: belöningsvärde utövar en större partiskhet på beteendeval. Men om ökad dopamin leder till ökad exploatering, kan man logiskt sett förvänta sig att minskad dopamin skulle resultera i större utforskning; det vill säga beteende kommer att vara mindre partisk av belöningsinformation. Såvitt vi vet har dock inga data visat ökad prospektering som en konsekvens av minskat dopamin. Istället har minskat dopamin konsekvent associerats med minskad aktivitet och utforskande beteende. I den beteendeflexibilitetsstudie som beskrivs ovan, fann vi att förhöjt dopamin minskade kopplingen mellan belöningshistoria och val, vilket gynnar utforskning, inte exploatering, i överensstämmelse med årtionden av öppna fältstudier som visar ökad utforskande aktivitet som en konsekvens av ökat dopamin (t.ex. Zhuang et al., 2001). I överensstämmelse med den nuvarande hypotesen, nyligen beräkningsarbete av Humphries och kollegor (Humphries et al., 2012) visar att toniskt dopamin kan modulera avvägningen mellan utforskning och exploatering. I deras modell är effekterna av dopamin på denna avvägning komplexa och koncentrationsberoende, men indikerar att hög dopamin kan inducera utforskande beteende.

Vi föreslår att incitament-salience-synen av dopamin, där dopamin skalar i vilken grad belöningsvärdet påverkar beteendeval, fångar en kritisk effektormekanism i dopaminerg hantering av energiförbrukning. Genom att modulera balansen mellan utforskning och exploatering reglerar dopamin energiförbrukningens sparsamhet. I motsats till nuvarande teorier om incitament-salience, menar vi att dopamin verkar ungefär i motsatt riktning från vad som är allmänt tolkat: dopamin gynnar utforskning; det är, minskat fördomar av beteendeval genom belöningsvärde, men som Humphries et al. (Humphries et al., 2012) visar att den exakta funktionen av denna funktion av dopamin sannolikt är komplex. Den ökade ansträngningen i belöningssträvan som observerats av förbättrad dopaminfunktion uppstår enligt detta synsätt inte som en konsekvens av ökat belöningsvärde utan som ett resultat av en dopaminerg signal till förbruka energi och vara mindre sparsam i jakten på mål.

Även om (fasisk) dopamin, genom sin roll i förstärkningsinlärning, bidrar till att lära sig om värde, är intervallet för de vertikala axlarna i figur 1 representerar inte värde per se, från mindre till större värde, men i vilken grad etablerade värden förspänning eller direkt beteendeval, som sträcker sig på ett kontinuum från starkt påverkande val (exploatering) till minimal påverkan (utforska). Detta skulle kunna tolkas som en sparsamhetsaxel där större exploatering maximerar belöningen för förbrukad energi medan minskad exploatering underlättar utforskning och större energiförbrukning.

Hur och i vilken utsträckning inlärda värden styr beteendeval beror helt klart på många faktorer, mest uppenbart organismens motivationstillstånd, "framträdande" i "incitament-salience", med hänsyn till organismens inre miljö. De extern miljön måste också beaktas, särskilt tillgången till belöning, särskilt energi. Som diskuterats ovan avgör miljöns rikedom hur sparsamt ett djur behöver vara med sin energiförbrukning och hur mycket det behöver för att maximalt utnyttja tidigare inlärning. Niv et al. (2007) har föreslagit att tonic dopamin kodar för genomsnittlig belöning över tid, en formalisering som kopplar det relativa överflöd eller bristen på belöning i en miljö till beteendekraft. I modellen som föreslagits av Niv inducerar högre genomsnittlig belöning större beteendekraft för att minska alternativkostnaderna; det vill säga ju rikare miljön är, desto mer går förlorad av inaktivitet, färgstarkt beskrivet som "kostnaden för sengångare". Med fokus specifikt på energitillgänglighet delar vi denna uppfattning att toniskt dopamin signalerar överflöd eller brist på energi i miljön över tid. Men enligt den nuvarande uppfattningen, snarare än att se den ökade kraften som är förknippad med dopamin som inducerar större exploatering för att minska alternativkostnaderna, föreslår vi att ökat dopamin återspeglar energiöverflöd och inducerar större energiförbrukning men mindre utnyttjande; det vill säga mindre energisparande beteende, som gynnar utforskning (men inte inaktivitet).

Slutligen är det en allmän uppfattning att inlärda värderingar kan vara en del av ett målinriktat eller ett vanesystem (Daw et al., 2005; Balleine et al., 2007), ofta förknippad med dorsomedial respektive dorsolateral striatum (Yin och Knowlton, 2006; Balleine och O'Doherty, 2010). I TD-modeller gjuts den senare som ett "cache" eller "modellfritt" system där värdet av stimuli och handlingar är outgrundliga; det vill säga hur dessa värden härleddes är inte tillgängligt för granskning. Däremot är målinriktat beteende associerat med "modellbaserade" system där ett "träd" av tillstånd och deras tillhörande värde uttryckligen representeras så att djuret medvetet kan söka i trädet för att bestämma hur värdet på något löv härleds och utvärdera dessa värderingar mot nuvarande motivationstillstånd. Däremot anses vanan eller cachesystemet vara okänsligt för motivationstillstånd, även om det är viktigt, inte okänsligt för ny inlärning (Balleine och O'Doherty, 2010). Just för att det cachade värdet inte kan "granskas" med hänsyn till aktuella mål, kommer vanebeteende baserat på cachade värden att avges som svar på stimulipresentation även i frånvaro av motivation tills det cachade värdet som driver det beteendet uppdateras. I TD-modeller justerar temperaturparametern i vilken grad värdena bias beteende utan hänsyn till källan till dessa värden, dvs om de är en del av ett cache-, modellfritt eller modellbaserat system. Frågan uppstår då, om dopaminregleringen av utforska-utnyttjande, som föreslås här, gäller lika för både vanan och det målstyrda systemet, en fråga vi inte kan svara på. I den mån reducerat dopamin kan inducera exploatering, sparsamhet och bevarande, kan ökad kontroll som tidigare inlärning har över beteende, belöning/energifattiga miljöer och hypodopaminergi, genom att öka inflytandet av etablerad inlärning och värderingar på beteende, öka kontrollen som utövas av vanebaserad system, även om detta helt klart kräver ytterligare utredning.

Dopamin och skiftande energiutgifter: Återbesök GO- och NOGO-vägarna

Ett primärt mål för dopamin, allmänt förknippat med dopamins roll i både belöning och motorisk kontroll, är striatum (Albin et al., 1989, 1995; Alexander et al., 1990; Mink, 1996; Everitt och Robbins, 2005; Cagniard et al., 2006b; Balleine et al., 2007; Nicola, 2007; DeLong och Wichmann, 2009; Klokt, 2009; Haber och Knutson, 2010; Humphries and Prescott, 2010; Sesack and Grace, 2010). Striatum är den huvudsakliga ingångspunkten för kortikala ingångar (Bolam et al., 2000) som bearbetas genom de basala ganglierna som så småningom återvänder till cortex, innefattande de välkända återinträdande kortikostriatala slingorna (Alexander et al., 1990; Alexander och Crutcher, 1990; Alexander, 1994; Middleton och Strick, 2000; Haber, 2003; Lehéricy et al., 2005). Kortikostriatal bearbetning sker genom två parallella vägar (exklusive den hyperdirekta vägen), den direkta och indirekta som underlättar och hämmar kortikostriatal genomströmning (Albin et al., 1995; Mink, 1996), som ibland kallas GO- och NOGO-vägarna (Cohen och Frank, 2009). GO-vägen uttrycker övervägande D1 medan NOGO uttrycker D2 (Surmeier et al., 2007) så att en ökning av dopaminaktivitet ökar aktiviteten i den underlättande GO-vägen och minskar aktiviteten i den hämmande NOGO-vägen. Omvänt resulterar minskat dopamin i mindre GO-aktivitet och ökad NOGO-aktivitet, en idé som är central för klassiska modeller av motorisk avmattning vid Parkinsons sjukdom (Albin et al., 1989; Mink, 1996). Den klassiska funktionella förklaringen för denna dubbelvägsarkitektur är "fokuserat urval", idén att GO-banan isolerar och underlättar en utvald motorisk åtgärd medan NOGO-banan hämmar konkurrerande handlingar och främmande brus, vilket möjliggör ett rent utförande av åtgärder (Mink, 1996).

Samma arkitektur kan emellertid tolkas som en effektormekanism för att reglera energiförbrukningen. Genom att skifta balansen mellan GO- och NOGO-vägarna reglerar dopamin både den totala genomströmningen av det kortikostriatala systemet och modulerar dess selektivitet (Beeler, 2011). Specifikt gynnar ökat dopamin GO-vägen och minskar NOGO-vägen. Detta resulterar i större övergripande kortikostriatal genomströmning och större utforskning eftersom de potentiella åtgärderna representerade i kortikostriatal input till GO-vägen möter mindre motstånd i den hämmande NOGO-vägen, vilket minskar begränsningarna för att välja åtgärder. Däremot, när dopamin minskar, finns det större hämmande NOGO-aktivitet, vilket resulterar i totalt sett mindre kortikostriatal genomströmning och större exploatering eftersom de åtgärder som väljs genom GO-vägen måste vara tillräckligt starka för att övervinna den hämmande påverkan av NOGO-vägen (för ett inlärningsperspektiv på det här, se Frank et al., 2009). Detta ger en grund för att förstå hur förhöjt dopamin kan öka aktivitet överlag samt minskning selektiviteten för den aktiviteten, dvs öka energiförbrukningen och utforskningen. Däremot skulle minskad dopamin minska den totala aktiviteten men öka selektiviteten, vilket resulterade i minskad energiförbrukning och ökad utnyttjande (Figur 2). En mer detaljerad diskussion om dopamins roll(er) för att modulera kortikostriatal genomströmning kan hittas på andra ställen (Beeler, 2011). Denna dubbelvägsarkitektur ger alltså en potentiell grund för att modulera energiförbrukningen längs de två beskrivna axlarna: reglering av övergripande, generaliserad aktivitet (spara-förbruka) å ena sidan och, å andra sidan, reglera i vilken grad förhandslärande om belöning utnyttjas, utforska-exploateringsyxorna.

 

Figur 2. Roll av direkt och indirekt vägmodulering av kortikostriatal genomströmning för att reglera energiförbrukningen. Striatum modulerar kortikal bearbetning via kortikostriatala-talamokortikala slingor genom basala gangia genom två vägar, den direkta, nigrostriatala ("GO") och den indirekta, striatopallidala ("NOGO"), som uttrycker övervägande D1- respektive D2-dopaminreceptorer. Genom att verka på D1 i GO-vägen (rödtonade rutor), hämmar dopamin kortikostriatal genomströmning som underlättar aktivitet medan dopaminaktivering av D2 hämmar NOGO-vägen (blå tonade rutor), vilket också underlättar aktiviteten genom att dämpa den inhiberande påverkan av den indirekta. Omvänt minskar minskningar av dopamin D1-medierad disinhibering av GO-vägen och D2-medierad hämning av NOGO-vägen, båda tjänar till att begränsa kortikostriatal genomströmning. Dessa dopamineffekter representeras av gröna pilar för GO-vägarna, vilket indikerar underlättande av kortikostriatal genomströmning och röda stopppilar för NOGO-vägen som indikerar hämning av kortikostriatal genomströmning. Konsekvenserna av ökat och minskat dopamin på utgifterna och distributionen av energi sammanfattas nedan med de två axlarna (bevara-förbruka och utforska-utnyttja) kollapsar på en enda skala av restriktiv användning av energi (begränsade utgifter fokuserade på att utnyttja belöningsinformation) kontra expansiva energiutgifter (höga utgifter fördelade liberalt på beteendeaktiviteter, dvs. prospektering), där restriktiv energianvändning representeras av blått och expansiv energianvändning av rött.

Dopamin och dess olika mål: Orchestration eller evolutionär Bric-a-Brac?

I föregående avsnitt fokuserar vi på dopaminverkan i striatum, allmänt tolkad som ett primärt substrat för förstärkningsinlärning och inblandad i både motivation och motorisk kontroll. Dopamin projicerar emellertid brett över hjärnan, med viktiga projektioner, till exempel till den prefrontala cortex. Bortsett från de allmänt studerade nigrostriatala och mesoaccumbens vägarna, som projiceras till dorsala och ventrala striatum och förknippas med motorisk kontroll och vana respektive motivation, finns det mycket mindre studerade dopaminkärnor, inklusive de som är associerade med hypotalamus, som alla kan (eller kanske inte) bidra till energihushållning på potentiellt olika sätt. Utvecklingen av en hypotes om dopamin och energihantering kräver att man frågar hur dopaminmodulering i olika mål kan bidra till samordnad energihantering. I det här läget kan vi inte rimligen spekulera i denna fråga.

Att reflektera över denna fråga väcker dock frågan om det verkligen finns någon överordnad "funktion" av dopamin överhuvudtaget? Eller har dopamin förvärvat olika, orelaterade funktioner så att föreställningen om att hitta "den" funktionen av dopamin representerar ett dåraktigt ärende: kanske de dopaminfunktioner vi observerar idag har utvecklats som lapptäcke, evolutionär slumpmässigt, en opportunistisk samling av slumpmässiga anpassningar . Från litteraturen får man känslan av att många tror där is en övergripande, storslagen funktion av dopamin - oftast "belönings"-bearbetning, i någon eller annan form. Det verkar inte orimligt att tro att när funktionen hos en neurotransmittor utvecklas och transformeras över evolutionen, uppstår dessa utarbetningar som variationer på ett tema, en ytterligare förbättring av någon funktion som redan har gett adaptiv kondition. Även om en sådan uppfattning i slutändan visar sig vara falsk, kan sökandet efter en "gemensam tråd" bland till synes olika, orelaterade funktioner ge en djupare insikt i hur dessa uppenbarligen olika funktioner samverkar för att bidra till beteendeanpassning. "Medla belöning", hur bred och tvetydig som den är, har fungerat som denna gemensamma nämnare i mycket av litteraturen och har gett rika resultat. Här föreslår vi en alternativ, övergripande funktion, energihushållning.

För att återgå till frågan om hur dopaminverkan vid olika neurala substrat kan bidra till energihantering, kan vi bara reflektera tillbaka frågan ur vår hypotesperspektiv. Energihushållning utgör en grundläggande biologisk process, ungefär som reproduktion, tillväxt och att svara på stress, och kräver samordnas aktivitet över flera substrat som svar på yttre förhållanden, på ett sätt som belönar, en händelse i den yttre världen, kanske inte gör det. Denna samordnade orkestrering av flera substrat mot ett enda mål eller syfte är karakteristisk för hormoner, såsom reproduktiva eller stresshormoner. Med tanke på dopamins diffusa projektioner och handlingar på flera mål, är det frestande att hysa föreställningen att dopamin kan ha utvecklat en hormonliknande funktion för att koordinera flera neurala substrat och orkestrera beteende optimalt anpassat till den rådande energimiljön där organismen befinner sig. Även om det visserligen är brett och spekulativt (men se Ugrumov et al., 2012), är det därför intressant att fråga sig hur dopaminmodulering i dorsal kontra ventral striatum, eller i prefrontal cortex kontra hypotalamus, kan representera koordinationen av olika neurala substrat med olika funktioner mot ett enda syfte, anpassa beteendet till energin miljö där organismen måste överleva.

Dopamin och fetma: ett alternativt perspektiv

Under de senaste åren har det varit ett ökat fokus på dopamins roll vid fetma med flera högprofilerade tidningar som liknar överätande med ett matberoende (Volkow och Wise, 2005; Trinko et al., 2007; Avena et al., 2008; Corwin och Grigson, 2009; Dagher, 2009; Davis och Carter, 2009; Ifland et al., 2009; Pelchat, 2009; Johnson och Kenny, 2010; Volkow et al., 2010). Dessa teorier fokuserar på dopamins roll i att förmedla belöningsprocesser, vilket tyder på att i moderna västerländska kulturer där mycket välsmakande livsmedel är lättillgängliga, fungerar dessa välsmakande livsmedel på samma sätt som missbruksdroger och inducerar ökad "vilja" som leder till en förlust av kontroll överkonsumtion, trots, som en missbrukare, individuella avsikter att minska kaloriintaget (Berridge et al., 2010; Berthoud et al., 2011). Det finns två motsatta synsätt på detta (Davis et al., 2007; Davis och Carter, 2009). I den första, ökat dopaminerg funktion som härrör från eskalerande förstärkning i samband med välsmakande mat leder till ökad motivation som åsidosätter normal homeostatisk kontroll (Finlayson et al., 2007; Zheng et al., 2009; Avena och Bocarsly, 2011). I huvudsak tappar vi kontrollen inför riktigt välsmakande mat, en effekt som tros förmedlas av den ihållande överaktiveringen av dopamin. Däremot har en "belöningsbrist"-hypotes föreslagits där en underskott i dopaminfunktionen resulterar i minskad belöningssignalering som genererar överdriven konsumtion när personen eller djuret försöker "fylla belöningstomrummet" (Wang et al., 2004; Geiger et al., 2009; Kenny, 2010).

Inom den nuvarande hypotesen hävdar vi att ökad dopamin underlättar större energiförbrukning och utforskning, dvs. mindre fördomar i beteendeval genom belöning, gynnar mindre energilagring och ger skydd mot fetma, i överensstämmelse med de välkända effekterna av psykostimulanter för att inducera viktminskning (Vanina et al., 2002; Leddy et al., 2004). Däremot inducerar minskat dopamin energibesparing och utnyttjande, dvs. större fördomar i beteendet genom belöning. I detta fall gynnas energiförbrukning och lagring, vilket resulterar i överätande och viktökning. I motsats till psykostimulerande medel har antipsykotika som motverkar dopamin (främst D2) konsekvent associerats med viktökning i decennier (Allison och Casey, 2001; Vanina et al., 2002), även om de exakta mekanismerna förblir osäkra.

Leptin, insulin och dopamin: Avstämning av resurser och utgifter

Observationer av minskad dopaminfunktion vid fetma, särskilt minskat uttryck av D2-receptorerna, har genererat hypotesen om belöningsbrist (Blum et al., 2000, 2011) där överkonsumtion drivs av ett försök att kompensera för minskad belöningssignalering. I den hypotes som föreslås här skulle vi omtolka dessa data. När dopaminfunktionen reduceras gynnar detta energibesparing och utnyttjande av belöningsinformation: det vill säga "konsumera och rör dig så lite som möjligt", ett uppenbart recept för fetma.

Motiverande dissociation: behöva utan att "vilja"

Decennier av elegant arbete har bevisat obestridligt att cirkulerande hormoner som signalerar energitillförsel, särskilt insulin och leptin, bidrar till regleringen av konsumtion och kroppsvikt genom inverkan på det centrala nervsystemet [se Figlewicz och Sipols, 2010 för utmärkt recension]. I överensstämmelse med dess roll i att förmedla homeostatisk energibalans, verkar leptin och insulin på flera mål i hypotalamus som är involverade i regleringen av matning, inklusive NPY, POMC, α-MSH och AgRP (Figlewicz och Sipols, 2010). Dessa observationer överensstämmer med drivreduktionsteorier om motivation där energiunderskott eller energiöverskott främjar respektive hämmar konsumtion.

Den dramatiska ökningen av fetma de senaste åren (Ford och Mokdad, 2008), väcker dock frågan om varför dessa homeostatiska mekanismer uppenbarligen misslyckas. Det anses allmänt att mellanhjärnans dopaminsystem som förmedlar incitamentmotivation – motivation som uppstår från belöningsvärdet förknippat med stimuli (inklusive mat) snarare än från behovstillstånd – förmedlar detta homeostatiska misslyckande genom att främja så kallad icke-homeostatisk eller hedonisk matning (Saper et al., 2002; Zheng och Berthoud, 2007; Lutter and Nestler, 2009; Zheng et al., 2009; Berthoud et al., 2011). Betydande bevis tyder på att både leptin och insulin kan modulera mellanhjärnans dopaminfunktion (Krügel et al., 2003; Fulton et al., 2006; Hommel et al., 2006; Roseberry et al., 2007; Leinninger et al., 2009) och ändra matjakt och konsumtion (Sipols et al., 2000; Figlewicz et al., 2001, 2004, 2008, 2006; Hommel et al., 2006; Morton et al., 2009; Davis et al., 2010b).

Enligt den rådande uppfattningen verkar en hel del data tyda på att både insulin och leptin minskar dopaminfunktionen, vilket i sin tur minskar den stimulansdrivna jakten och konsumtionen av mat. I huvudsak representerar leptin och insulin, genom att signalera tillräcklig energi, en funktionell mättnadssignal som minskar belöningen förknippad med mat (Morton et al., 2009; Davis et al., 2010b; Figlewicz och Sipols, 2010; Opland et al., 2010; Vucetic och Reyes, 2010). Omvänt, när energin är låg, minskar leptin och insulin, vilket avhämtar dopamin och främjar ökad incitament/belöningsdriven matsökning. Denna allmänna idé överensstämmer med data som visar att ökad leptin och insulin minskar belöningsdrivet beteende (Carr et al., 2000; Fulton et al., 2000; Sipols et al., 2000; Figlewicz et al., 2004, 2006, 2007; Hommel et al., 2006; Farooqi et al., 2007; Rosenbaum et al., 2008; Morton et al., 2009) och, omvänt, den matrestriktion som är förknippad med minskat leptin/insulin (Havel, 2000), ökar belöningsdrivet beteende (Carroll och Meisch, 1980; Carr, 2007, 2011; Davis et al., 2010a). Kort sagt, genom att reglera dopaminfunktionen upp och ned, modulerar leptin och insulin incitamentet som är förknippat med mat och belönar möjligen känslighet generellt (Morton et al., 2006; Davis et al., 2010a). Även om denna redogörelse för leptin och dopamin är intuitiv, kan historien ändå vara mer komplex (Palmiter, 2007).

I samband med fetma är förhållandet mellan leptin/insulin, dopamin och belöningsbeteende paradoxalt och överensstämmer inte med idén som just beskrivits. För det första, snarare än den förväntade ökningen av leptin/insulinsignalering i proportion till ökat kaloriintag och fett, har fetma associerats med minskad känslighet för leptin/insulin (Arase et al., 1988; Lin et al., 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Enriori et al., 2007; Davis et al., 2010a; Figlewicz och Sipols, 2010; Koek et al., 2012). För det andra, även om vi kan förvänta oss att denna observerade minskning av leptin/insulinkänslighet kommer att resultera i ökad dopaminfunktion, analogt med minskade leptin/insulinsignaler vid matrestriktion, rapporterar de flesta studier minskade dopaminfunktion vid fetma (Di Chiara et al., 1998; Wang et al., 2001a; Davis et al., 2008; Geiger et al., 2008, 2009; Li et al., 2009; Vucetic och Reyes, 2010). Slutligen kan man förvänta sig att minskad dopaminerg funktion leder till minskad konsumtion, vilket bevisen som citeras ovan antyder. Istället uppstår minskat dopamin och hyperfagi samtidigt. Vid fetma vänds alltså leptin/insulin -> dopamin -> belöningskedja vid varje steg.

De två första inversionerna belyser en kritisk distinktion mellan akut och kronisk positiv energibalans. Minskad känslighet för leptin/insulin anses allmänt uppstå som en konsekvens av kronisk positiv energibalans, vilket leder till fetma och metabola störningar, och representerar en patologisk anpassning. Den paradoxala minskningen av dopaminfunktionen associerad med fetma trots minskad känslighet för leptin/insulin är sannolikt också en (patologisk) anpassning, vilket ofta föreslagits i teorier som liknar fetma med beroende (Volkow och Wise, 2005; Trinko et al., 2007; Avena et al., 2009; Lutter and Nestler, 2009; Avena och Bocarsly, 2011). Detta komplicerar undersökningen avsevärt eftersom det betyder att vi för varje observation av ett samband mellan energiintag, leptin/insulin och dopamin måste fråga "återspeglar denna observation normal funktion eller patologisk anpassning?" Denna situation ökar risken för att göra olämpliga slutsatser om normal funktion från patologiska tillstånd och vice versa, en fråga som tas upp nedan (avsnittet med burinducerad fetma).

Den tredje inversionen - att minskad dopaminfunktion associerad med fetma främjar snarare än hämmar konsumtion - motsäger ytligt hela uppfattningen att dopamin ökar incitamentvärdet. Detta kan dock återspegla komplexiteten hos neurala substrat som styr konsumtionen. I synnerhet kan minskad incitamentmotivation och hyperfagi samexistera. Davis et al. (Davis et al., 2010b) tillhandahåller nyligen data som tyder på att leptin modulerar dopamin genom två mekanismer: direkt signalering genom leptinreceptorer på mellanhjärnans dopaminceller och indirekt genom leptinuttryckande neuron i den laterala hypotalamus för att modulera dopamincellaktivitet. De föreslår att leptins verkan på LH reglerar homeostatisk motivation medan dess verkan på mellanhjärnans dopamin reglerar ansträngande respons. Även om dessa två mekanismer normalt fungerar tillsammans, kan de bli dissocierade så att konsumtion och vilja att arbeta för mat inte är korrelerade (t.ex. Greenwood et al., 1974; Salamone et al., 1991; Baldo et al., 2002; Davis et al., 2010b; Rasmussen et al., 2010). Om icke-homeostatisk utfodring är en ansträngning att skaffa mat - "att vilja ha" - i avsaknad av behov (Berridge et al., 2010), kan den patologiska anpassningen av leptin/insulin/dopamin till fetma spegla motsatsen: ett upplevt behov av att konsumera mat utan att anstränga sig, behöva utan att "vilja".

Dopamin och energihomeostas: ett utgiftscentrerat perspektiv

Detta arbete som beskrivs ovan fokuserar nästan uteslutande på konsumtion, intagssidan av energibalansen. Leptin, även om det är mindre systematiskt undersökt, spelar också en roll för att reglera energiförbrukningen (Pelleymounter et al., 1995; Williams et al., 2001; Elmquist et al., 2005; Ludwig et al., 2005; van de Wall et al., 2008; Leinninger et al., 2011; Ribeiro et al., 2011). Men trots dopamins välkända roll för att reglera aktivitet, är lite känt om hur interaktionerna mellan leptin, insulin och dopamin modulerar aktivitet och energiförbrukning. Ur energiförbrukningsperspektiv kan man förvänta sig att leptin/insulin, som signalerar energitillgänglighet, skulle öka energiförbrukningen och öka aktiviteten (Ribeiro et al., 2011)—”if you got it, use it”—vilket inte stämmer överens med observationer om att leptin minskar dopaminfunktionen. Men det senaste arbetet (Leinninger et al., 2009; Opland et al., 2010) antyder att förhållandet mellan leptin och dopamin kanske inte är enkelt och enkelriktat. Leinninger och kollegor föreslår att leptin verkar på LH ökar dopaminfunktion (Leinninger et al., 2009) medan aktivering av leptinreceptorer på dopaminceller minskar dopaminfunktionen (Hommel et al., 2006; Figlewicz och Benoit, 2009). Leshan et al. (2010) tyder på att dopamincellerna som uttrycker leptinreceptorer representerar en liten (~10%) subpopulation som projicerar nästan uteslutande till den centrala kärnan av amygdala. När leptin ökar från ett överskott av energi, kan dess primära effekt på dopamin, via LH, vara att öka dopamin fungerar och ökar aktivitet och energiförbrukning, som observerats av Ribeiro och kollegor (Ribeiro et al., 2011): energi är tillgänglig, använd den. Dopamincellerna och projektionen som direkt uttrycker leptinreceptorer kan spela en annan roll i aptiten inlärning— associerad med CeN (Holland och Gallagher, 1993; Parkinson et al., 2000; Connor et al., 2001; Baxter och Murray, 2002; Lee et al., 2005; Paton et al., 2006; El-Amamy och Holland, 2007)—en spännande idé utanför ramen för den aktuella diskussionen. I den hypotes som föreslås här, förbättrar denna leptinmedierade ökning av dopamin inte belöningen, utan förskjuter snarare regleringen av aktiviteten mot större utgifter och större utforskning. Större utforskning resulterar i en uppenbar minskning av belöningskänslighet/incitament som beteende är mindre partisk genom belöning, även om det är viktigt, fortfarande motiverad.

Den belöningscentrerade synen på dopamin placerar upp- eller nedregleringen av belöning och incitamentmotivation som dopamins primära bidrag till energihomeostas och fetma. Den nuvarande hypotesen centrerar dopamins roll på energiförbrukningen och antyder att tillgänglig energi normalt ökar dopamin vilket resulterar i ökad aktivitet och utforskning, där belöningens inverkan på beteendeval faktiskt minskar. Omvänt skulle låg energi minska dopamin, vilket resulterar i energibesparing och utnyttjande av belöningsinformation, dvs. ökande belöningens inverkan på beteendet. Det senare stämmer överens med observationer som ofta citeras för att stödja hypotesen om "belöningsbrist", men här tolkar vi dessa data som att de reflekterar ett "överskott av belöningsexploatering". Denna hypotes skulle tyda på att högt kaloriintag skulle öka dopamin och genom ökad aktivitet vara skyddande mot fetma. Denna förmodade mekanism verkar dock inte vara mer framgångsrik än homeostatiska mekanismer för att förhindra fetma i vår nuvarande miljö. Varför?

Motverka energiutgifter: Fetma orsakad av bås och bur

Denna hypotes skulle förutsäga att en lättförsörjning av energi, vilket generellt är fallet i moderna västerländska samhällen, skulle öka dopamin och underlätta energiförbrukning, skydd mot fetma. Kritiskt sett är denna effekt beroende av möjlighet att förbruka energi. Dietary induced obesitas (DIO) hos gnagare som utfodras med hög fetthalt, högkaloridieter är en utbredd modell av miljöinducerad fetma. Även om gnagare på sådana dieter allmänt tolkas som en modell för obesogena miljöer, blir gnagare på sådana dieter inte allmänt överviktiga, och uppvisar grader av motstånd som varierar mellan stammar (Brownlow et al., 1996; Funkat et al., 2004; Novak et al., 2010) och mellan individer, grunden för selektiv uppfödning av fetmakänsliga och resistenta gnagare (Levin, 2010). Att bedöma rollen av dopaminmedierade effekter på energiförbrukningen i DIO är svårt eftersom frågan inte har undersökts direkt.

Även om hjulkörning har visat sig skydda mot DIO i flera modeller av fetma (Zachwieja et al., 1997; Levin och Dunn-Meynell, 2004; Bi, 2005; Moran och Bi, 2006b; Patterson et al., 2008, 2009; Meek et al., 2010; Novak et al., 2010), i vilken utsträckning sådan skyddande frivillig aktivitet moduleras av dopamin har inte direkt undersökts i dessa studier. Fetmabenägna OLEF-råttor visar kraftigt minskad fetma när de tillhandahåller löphjul (Bi, 2005). Intressant nog är måltidsmönstret hos dessa råttor, jämfört med kontroller, analogt med vad vi observerar med DAT-mössen: de konsumerar större men färre måltider, men till skillnad från DAT är deras nettokonsumtion förhöjd (Moran och Bi, 2006a, s. 1214, figur 2). Yngre, icke-diabetiska OLETF-råttor visar ökad extracellulär dopamin, i överensstämmelse med fenotypen för DAT-måltidsmönster (Anderzhanova et al., 2007). Men vid mer avancerade prediabetiker och diabetiker visar de en dramatisk minskning av dopamin (Anderzhanova et al., 2007). En tolkning av dessa data är att förhöjda dopaminnivåer hos dessa råttor predisponerar dem för större energiintag och utgifter men i frånvaro av frivilliga träningsmöjligheter blockeras den ökade energiförbrukningen, vilket resulterar i energiobalans, fetma och metabolisk störning.

Vissa studier har visat att dieter med hög fetthalt/kalori minskar dopaminfunktionen, inklusive minskad TH, minskad stimulerad dopaminfrisättning och minskat uttryck av D2-receptorer (Geiger et al., 2008, 2009). Huruvida den observerade minskningen av dopaminfunktionen uppstår som en direkt konsekvens av den ökade tillgången på energi eller sekundärt till annan patofysiologi är dock oklart. Specifikt har dieter med hög fetthalt/kalori förknippats med leptin- och/eller insulinokänslighet (Arase et al., 1988; Lin et al., 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Davis et al., 2010a; Figlewicz och Sipols, 2010). Detta gör det svårt att tolka förändringar i dopaminfunktionen som svar på DIO. Till exempel, även om minskad D2-funktion har rapporterats med DIO, inträffar dessa observationer i allmänhet efter många veckors diet med hög fetthalt, vilket introducerar möjligheten att dessa förändringar uppstår sekundärt till kroniskt förhöjt leptin och insulin och efterföljande leptin/insulin-okänslighet. Tyvärr behandlas denna möjlighet sällan och insulin/leptinnivåer rapporteras vanligtvis inte. Men i en studie som undersökte D2- och DAT-uttryck efter 20 dagars HF-diet och rapporterade insulin/leptinnivåer, observerade författarna en minskning av DAT och en öka i D2 (South och Huang, 2007; se även Huang et al., 2005), båda överensstämmer med ökad aktivitet. I en nyare studie observerar samma författare en ökning av dopaminsystemets funktion när råttor byter från chow till högenergidiet (South et al., 2012). Dessa data tyder på att inledande svar på hög fetthalt och ökad kaloritillgänglighet är att öka dopamin och öka uttryck av den disinhiberande D2-receptorn, vilket inducerar större aktivitet. För att svara på frågan om hur dopaminsystemet reagerar på ett överflöd av tillgängliga kalorier, är det viktigt att disambiguera inledande från kronisk svar och bedöma i vilken grad patologiska anpassningar, såsom leptin okänslighet, är närvarande.

I vilken grad härrör de förändringar som observeras i dopaminsystemet under DIO inte från högkaloridieten i sig utan från bristande träningsmöjligheter? Det vill säga, i observationer av minskad dopaminfunktion associerad med DIO kan vi fråga inte bara i vilken utsträckning detta återspeglar en patologisk anpassning, utan också i vilken grad bristen på möjlighet till frivillig energiförbrukning bidra till denna patologi? Bevis tyder på att hjulkörning kan förändra funktionella egenskaper hos dopaminsystemet (MacRae et al., 1987; Sabol et al., 1990; Hattori et al., 1993, 1994; Wilson och Marsden, 1995; Liste et al., 1997; Meeusen et al., 1997; Foley och Fleshner, 2008; Greenwood et al., 2011), inklusive ökad extracellulär dopamin, ökad omsättning, förhöjt TH-mRNA och förändringar i D2-uttryck. I en nyligen genomförd studie som särskiljde mellan postsynaptiska D2 och autoreceptorer, visade sig autoreceptorerna vara nedreglerade och postsynaptiska D2 uppreglerade (Foley och Fleshner, 2008). Dessutom kan frivillig aktivitet mildra patologiska anpassningar i leptin- och insulinsignalering som indirekt kan skydda dopaminfunktionen (Krawczewski Carhuatanta et al., 2011). Således kan frivillig träning förbättra den minskade dopaminfunktionen som observeras i DIO, även om detta inte har undersökts systematiskt.

I den här föreslagna hypotesen skulle ökad tillgänglighet av energi, via uppreglering av dopaminmedierad beteendeaktivitet, resultera i ökad utforskning och energiförbrukning, vilket gör att djuret kan dra fördel av en riklig energiförsörjning och skydda mot fetma. I den mån DIO-paradigmet inte ger möjlighet till utforskning och energiförbrukning genom att begränsa gnagare till små burar med liten eller ingen nyhet, stimulans eller träningsmöjligheter, kan det återspegla konsekvenserna av hindrande energiförbrukning under förhållanden av energiskt överflöd. Många har föreslagit att stillasittande livsstilar som är karakteristiska för moderna västerländska kulturer kan bidra till fetma lika mycket eller mer än diet (Powell och Blair, 1994; Booth et al., 2000; Hill et al., 2003; Chakravarthy och Booth, 2004; Levin och Dunn-Meynell, 2004; Warburton et al., 2006; Booth och Lees, 2007; Elder och Roberts, 2007; Hawley och Holloszy, 2009; Chaput et al., 2011), vilket gör DIO mycket relevant för att förstå fetma i moderna samhällen. Huruvida den inducerade fetman uppstår från ökad kaloriförbrukning eller från brist på meningsfulla möjligheter att förbruka energi - bur- eller "bås"-inducerad fetma - är dock oklart. På samma sätt, även om det i stor utsträckning föreslagits att dopamin bidrar till DIO genom att modulera belöning och aptitlig motivation, förblir dess potentiella bidrag genom att modulera energiförbrukningen i stort sett outforskat och, i det konventionella DIO-paradigmet, fördunklat.

Framtida riktningar: Omformulering av forskningsstrategier

Belöningshypotesen om dopamin har dominerat undersökningar och tankar kring dopamin; experiment utformas vanligtvis inom den konceptuella ramen. Som en konsekvens saknas den information som krävs för att utvärdera den föreslagna hypotesen oftare än inte. Ofta ignoreras aktivitetsnivåer helt enkelt. Detta sträcker sig från bred, övergripande undersökning där det finns en djupgående partiskhet mot att studera aptitbeteende och konsumtion med bara nyligen begynnande litteratur om mekanismer som kontrollerar frivillig energiförbrukning till specifika experiment, såsom många DIO-studier där aktivitet inte mäts eller tas in i konto överhuvudtaget [t.ex. Geiger et al., 2008, 2009]. Denna partiskhet mot belöningsteorier återspeglas också i litteraturen där utarbetade och sofistikerade vägar som kontrollerar intag och/eller belöning har kartlagts omfattande medan en jämförbar kartläggning av mekanismer och vägar som reglerar frivillig aktivitet är praktiskt taget obefintlig (men se Garland et al., 2011). Att integrera systematiska och överenskomna mått på aktivitet måste rutinmässigt integreras i studier av dopaminfunktion.

För det andra är anpassning miljöberoende. För närvarande undersöker de allra flesta djurstudier effektivt en energiekonomi: periodisk, tillfällig matbrist som härrör från matrestriktioner som används för att motivera djur. Detta misslyckas inte med att återspegla område av förhållanden som ett djur måste anpassa sig till, men det återspeglar inte det primära tillstånd som tros ligga bakom ökningen av fetma, vilket är en miljö av överflöd, inte brist. Ett semi-naturalistiskt tillvägagångssätt för hembur, som illustreras av vårt arbete såväl som andra (Hursh et al., 1988; Chaney och Rowland, 2008) är avgörande för att få en "fullständig" bild av dopaminfunktionen. I sådana hemburparadigm kan miljökontingenserna kontrolleras längs olika dimensioner under en utdragen period utan behov av artificiellt inducerade energibrister (dvs matrestriktioner) eller införandet av artificiella tidshorisonter (timmesessionen); det vill säga att djurets självreglerade beteende som svar på dess miljö kan undersökas mer fullständigt.

För det tredje fokuserar praktiskt taget allt arbete på påverkan av förändrat dopamin på beteende med liten undersökning av hur beteendemässiga interaktioner med miljön och efterföljande resultat förändrar själva dopaminsystemet. Dessa typer av studier är visserligen utmanande, vilket framgår av litteraturen om hur stress förändrar dopaminfunktionen. Icke desto mindre verkar de vara avgörande för att fullt ut förstå dopamins adaptiva funktion. Upp- eller nedreglerar en varaktig miljö av överflöd eller brist dopaminfunktionen? Även om frågan mycket väl kan vara kritisk, finns det inget tydligt eller övertygande svar hittills och frågan ställs sällan.

Slutsatser: En bredare syn

Här utvecklar vi en bred hypotes om dopaminfunktion som antyder att dopamins otaliga skenbara funktioner kan förstås kollektivt som mekanismer genom vilka energiförbrukningen anpassas till den energiekonomi som djuret befinner sig i: ett substrat för att förena strävan efter belöning med Resurser. Vi utarbetade först denna hypotes i teoretiska termer och försökte integrera olika synpunkter på dopaminfunktion i ett bredare ramverk för energihantering. Vi tillämpade sedan detta ramverk för att omtolka idéer och data inom det växande området dopamin och fetma. Vi föreslår den nya hypotesen att dopamin, genom att gynna energiförbrukning, normalt skulle vara skyddande mot fetma men att det moderna samhällets stillasittande livsstil hämmar denna skyddsprocess och framkallar patologiska anpassningar som bidrar till snarare än skyddar mot fetma. Även om det ligger utanför ramen för den aktuella diskussionen tror vi att ramverket som skisseras här i stora drag kan tillämpas fruktbart på andra forskningsområden inom dopamin, inklusive hyperaktivitetsstörning med uppmärksamhetsbrist och beroende, vilket potentiellt kan ge nya insikter och testbara hypoteser.

Belöning – kopplingen av yttre händelser och stimuli till interna behov – representerar helt klart en kritisk funktion ur en evolutionär, adaptiv synvinkel. Men belöning och värde är i grunden relativa. Vad är måttstocken för vilken belöning moduleras? Här föreslår vi att dopaminsystemet, i grunden, uppstod för att ta itu med en ännu mer grundläggande funktion än belöning: optimalt utnyttjande av energiresurser, själva hjärtat av adaptiv överlevnad och, bokstavligen, en fråga om liv eller död.

Intresseanmälan

Författarna förklarar att forskningen genomfördes i avsaknad av kommersiella eller finansiella relationer som kan tolkas som en potentiell intressekonflikt.

Erkännanden

Detta arbete stöddes av NIDA R01DA25875 (Jeff A. Beeler), F31DA026802 (Cristianne RM Frazier), R01GM100768 (Xiaoxi Zhuang) och R56DK088515 (Xiaoxi Zhuang). Vi vill tacka recensenterna för deras rigorösa och insiktsfulla kommentarer som avsevärt förbättrade det slutliga manuskriptet.

Referensprojekt

Redigerad av:

John J. Foxe, Albert Einstein College of Medicine, USA

Recenserad av:

Thomas A. Stalnaker, University of Maryland School of Medicine Baltimore, USA
John D. Salamone, University of Connecticut, USA