Sätta önskan på en budget: dopamin och energiutgifter, förena belöning och resurser (2012)

Jeff A. Beeler¹*, Cristianne RM Frazier² och Xiaoxi Zhuang^1,2

Beskrivning

Tanken att dopamins primära funktion är att förmedla belöning är genomgående. Även om kontroverser överflöd över just hur dopamin kan bidra till belöning – eller till och med om det gör det (Kanon och palmiter, 2003; Klokt, 2004; Berridge, 2007; Goto et al., 2007; Robbins och Roberts, 2007; Salamon, 2007; Schultz, 2007; Redgrave et al., 2008), är belöning som en organiserande metafor för dopaminfunktion så allestädes närvarande att den ofta behandlas som ett faktum, en trend som är särskilt uttalad inom fetma- och matningslitteraturen där dopamin i mellanhjärnan effektivt likställs med belöning (t.ex. Kenny, 2010; Volkow et al., 2010; Avena och Bocarsly, 2011; Berthoud et al., 2011). Men årtionden av forskning har obestridligen dokumenterat en tydlig roll för dopamin i modulerande aktivitet, vilket bäst illustreras av de psykostimulerande egenskaperna hos läkemedel som ökar dopaminsignaleringen. Salamone och kollegor har länge hävdat att den primära effekten av dopamin är att reglera ansträngande aktivitet, vilket gör att ett djur kan övervinna svarskostnader förknippade med att eftersträva värdefulla stimuli (Salamon, 2009, 2011). På senare tid har genetiska studier som utforskar potentiella gener som reglerar frivillig aktivitet pekat på dopaminrelaterade gener med vissa författare som tyder på att dopamin kan representera en "slutlig gemensam väg" för att kontrollera frivillig aktivitet (Leamy et al., 2008; Kelly et al., 2010; Knab och Lightfoot, 2010; Mathes et al., 2010; Garland et al., 2011). Trots övertygande och betydande data som tyder på att dopamin spelar en nyckelroll i energiförbrukning, överskuggas denna syn på dopamin av belöningsperspektivet. Till exempel, i många tidningar som diskuterar dopamin och fetma (Geiger et al., 2009; Berridge et al., 2010; Kenny, 2010; Berthoud et al., 2011), övervägs inte ens dopamins roll i energiförbrukningen, trots att energiförbrukningen begreppsmässigt representerar hälften av energibalansekvationen.

Hittills har inget övertygande ramverk integrerat dessa två distinkta domäner av dopamineffekter och förmodad funktion, den allmänt erkända belöningsfunktionen och de mindre framträdande men lika påvisbara effekterna av dopamin på aktivitet och energiförbrukning. Uppenbara dopaminerga effekter på aktivitet utformas ofta som en konsekvens av belöningsprocesser. Till exempel har dopamins roll i att modulera frivillig hjullöpning hos gnagare föreslagits uppstå från dopaminerg modulering av belöningen och förstärkningen i samband med hjullöpning ( Garland et al., 2011 ; Roberts et al., 2011 ; Yang et al., 2012 ). Här utvecklar vi en hypotes där dopamins primära funktion är att reglera energiförbrukningen. Mer specifikt argumenterar vi för att dopamin fungerar som ett gränssnitt mellan de interna och externa miljöerna och matchar beteendemässig energiförbrukning med den rådande miljömässiga energiekonomin. Vi föreslår att dopamin reglerar energiförbrukningen längs två dimensioner: (1) hur mycket energi som ska förbrukas (spara-förbruka-axeln) och (2) hur man distribuerar eller allokerar energi till olika aktiviteter (en utforska-utnyttja-axel, som beskrivs nedan). I denna synvinkel uppstår dopamins belöningsrelaterade effekter sekundärt till och i tjänst för att adaptivt hantera energiförbrukning. Vi står i djup tacksamhetsskuld till Salamones eleganta arbete och ihärdiga fokus på dopamins roll i regleringen av ansträngning och hans ihållande kritik av dopamins belöningshypotes. Den aktuella hypotesen representerar en integration och utvidgning av hans grundläggande insikter i en bredare hypotes där dopamin adaptivt reglerar både ansträngning och belöning – genom att skala effekten av tidigare belöningshistorik på nuvarande beteende – med avseende på tillgången på energi i omgivningen.

Undersöker dopamin i en adaptiv, semi-naturalistisk kontext

Nedan kommer vi först att granska aktuella studier från vårt laboratorium som ifrågasätter belöningens företräde i den dopaminerga moduleringen av beteende och belyser dess roll i energiförbrukning. Därefter kommer vi att utarbeta en energiekonomisk hypotes om dopaminfunktionen, genom att granska relevant litteratur. Vi kommer att avsluta med en övervägning av den aktuella hypotesen för att undersöka dopaminens roll i fetma. Termen "belöning" missbrukas tyvärr inom litteraturen, vilket har påpekats av andra ( Cannon, 2004 ; Salamone et al., 2005 ; Salamone, 2006 ; Yin et al., 2008 ). I synnerhet används ordet oprecis och tvetydigt för att fånga olika begrepp, inklusive affektiva reaktioner (som att gilla något), förstärkning (ett resultat som ökar sannolikheten för att föregående beteende upprepas), stimuli som möter ett aptitbehov (t.ex. mat) och så vidare. I den första delen av denna översikt (felaktigt) använder vi termen i vida kretsar, ungefär som den felaktigt används i litteraturen, som ett paraplybegrepp för att klumpa ihop och fånga teman som genomsyrar litteraturen, trots olika teoretiska skillnader mellan olika idéer. Därefter kommer vi att definiera belöning mer exakt allt eftersom vi utvecklar vår hypotes.

Förhöjd dopamin: Minskad koppling till belöning

Implicit i dopamins belöningsperspektiv ligger idén att dopamin förstärker belöningens inverkan på beteendet . Empiriskt stöds detta av otaliga studier som visar att ökad dopamin ökar djurets ansträngning för att få belöning, medan minskad dopamin minskar ansträngningen ( Wise et al., 1978 ; Taylor och Robbins, 1986 ; Aberman et al., 1998 ; Peciña et al., 2003 ; Kelley, 2004 ; Cagniard et al., 2006a , b ; Phillips et al., 2007 ; Salamone, 2009 , 2011 ). Dessa kumulativa data har lett många forskare till slutsatsen att antingen belöningen i sig eller incitament i samband med belöningsrelaterade stimuli förstärks av dopamin. Alternativt kan känsligheten för kostnader i samband med att erhålla belöningen minskas av ökad dopamin ( Phillips et al., 2007 ; Salamone, 2011 ). Det som ofta dras slutsatsen från dessa studier, även om deras författare bestämt motsätter sig sådana tolkningar (t.ex. Salamone), är att dopamin modulerar förhållandet mellan belöning och beteende på ett sådant sätt att dopamin ökar graden av belöning som påverkar beteendemässiga val. Salamone menar till exempel att dopamin inte modulerar belöning alls; han visar att dopamin underlättar ansträngning . Således hindras djurens strävan efter belöning mindre av responskostnaden. Många har tolkat detta som att öka belöningens inverkan på beteendemässiga val, inte genom att ändra själva belöningen utan genom att förändra en faktor – responskostnaden – som normalt begränsar strävan efter belöning.

För att undersöka hur ökad dopamin förändrar anpassningen till en semi-naturalistisk miljö, frågade vi oss om den upprepade gånger observerade ökningen av motivationen för belöning skulle resultera i minskad beteendemässig flexibilitet ( Beeler et al., 2010 ). För att testa detta använde vi ett paradigm för hemmaburar där mössen levde i operantutrustade hemmaburar och all deras mat erhölls genom hävstångstryckningar, dygnet runt. Inga matrestriktioner tillämpades och mössen fick helt självreglera sin konsumtion. Två hävstänger gav mat där den ena alltid var "billig" och krävde ett lågt antal tryck för en pellet (FR20) medan den andra alltid var "dyr" och krävde ett större antal tryck som ökade allt eftersom experimentet fortskred (FR40–FR200). Vilken hävstång som var vilken bytte dock slumpmässigt var 20–40 minut. För att få största möjliga avkastning på den nedlagda ansträngningen var mössen därför tvungna att övervaka den pågående belöningsfeedbacken och regelbundet byta hävstänger för att få de lägsta kostnaderna för pellets. Vi testade vildtyp C57BL/6 (kontroll) och dopamintransportör knock-down (DATkd) möss som hade förhöjd extracellulär dopamin och ökad tonisk dopaminavfyrningsaktivitet ( Zhuang et al., 2001 ; Cagniard et al., 2006b ).

Vi fann att mössen med förhöjt dopamin (DATkd) tryckte signifikant mer på den högkostnadsspaken än vildtypsmöss, vilket överensstämmer med tidigare litteratur som visar att dopamin ökar ansträngningen mot belöning. I detta fall ökade dock inte den ökade ansträngningen belöningen, utan bara mängden ansträngning som lades ner på den belöningen. En detaljerad analys av data visar att DATkd inte var okänsliga för eller omedvetna om växlar mellan spakarna eftersom deras peri-switch-beteende var i huvudsak identiskt. Skillnaden uppstod under de stabila perioderna mellan spakväxlarna där DATkd-mössen fördelade sin ansträngning lika på båda spakarna medan vildtypsmössen företrädesvis tryckte på den billiga spaken. För att bättre förstå strategin bakom DATkd-beteendet anpassade vi data till en temporal difference learning (TD)-modell ( Sutton och Barto, 1998 ). I dessa modeller finns det två nyckelparametrar: en inlärningshastighet som styr hastigheten med vilken ny belöningsinformation införlivas i (och försvinner från) värdet av att trycka på spaken och en "invers temperatur" som styr i vilken grad det värdet påverkar beteendeval. Den senare parametern kallas ofta utforska-utnyttja-parametern eftersom en större bias resulterar i utnyttjande av lärande medan minskad bias möjliggör större utforskande ( Sutton och Barto, 1998 ; Daw et al., 2006 ). Vi fann att det inte fanns några skillnader mellan genotyperna med avseende på inlärningshastighet, vilket överensstämmer med avsaknaden av inlärningsskillnader som observerades kring switchar, men att DATkd uppvisade en reducerad invers temperatur. Det vill säga, det fanns en minskad koppling mellan belöningshistorik och deras beteendeval. Vid första anblicken verkar detta paradoxalt. Även om DATkd-mössen arbetade hårdare för att få belöning, i överensstämmelse med årtionden av litteratur, verkar detta inte uppstå som en konsekvens av att belöning utövar större kontroll över deras beteende. Tvärtom fanns det minskad koppling mellan belöning och beteendeval. Snarare än att belöning hade en större biasande effekt på deras beteende, hade den mindre . Ökad dopamin, under dessa förhållanden, resulterade i minskad snarare än ökad utnyttjande. Intressant nog visade Salamone et al. ( Salamone et al., 2001 ) har visat att råttor med dopaminbrist i nucleus accumbens är mer beroende av nyligen upplevd belöning för att övervinna responskostnaden, vilket tyder på det motsatta vid minskad dopamin, en ökad koppling mellan belöningshistorik och val.

Förhöjd dopamin: Modulering av ansträngning utan ökad konsumtion

En annan idé implicit i dopamins belöningsperspektiv är att dopamin, genom att öka graden till vilken belöning fördomar beteende, reglerar i vilken grad ett djur kommer att eftersträva belöning; det är det dopamin förmedlar "att vilja": mer dopamin, mer vilja, mer jakt (Robinson och Berridge, 1993; Leyton et al., 2002; Volkow et al., 2002; Tindell et al., 2005; Berridge et al., 2010). Denna effekt av dopamin är central för många teorier om beroende (Robinson och Berridge, 2001; Koob och Volkow, 2010) och, på senare tid, teorier om dopamin och fetma (Volkow och Wise, 2005; Finlayson et al., 2007; Zheng et al., 2009; Berridge et al., 2010; Volkow et al., 2010; Avena och Bocarsly, 2011; Berthoud et al., 2011). I en annan nyligen genomförd homecage-studie (Beeler et al., 2012a), frågade vi om denna ökade "vilja" under olika miljöförhållanden kunde vara adaptiv. För att testa detta höll vi återigen möss i hemburar utrustade med operanta spakar där de tjänade all sin mat genom att trycka på spaken, återigen utan explicit matbegränsning. I detta paradigm gav endast en spak mat och arbetsbehovet för den spaken ökade var tredje dag under experimenten, med början vid FR3 och slutade vid FR5. Detta ger en efterfrågekurva som visar i vilken grad möss anpassar sin dagliga konsumtion till den nuvarande kostnaden för pellets. Om vi ​​antar att dopamin ökar värdet av belöning och/eller minskar känsligheten för kostnader, skulle vi förvänta oss att DATkd-mössen med förhöjd dopamin skulle klara sig bättre i detta paradigm och fortsätta pressa mer till högre kostnader än vildtypsmöss. Även om DATkd visade något ökad pressning till högre kostnader, uppvisade de totalt sett samma anpassning till eskalerande kostnader som vildtypsmöss, utan någon skillnad observerad i kroppsviktsförändringar eller överlevnad inom experimentet. Dessutom, när data passade till en modell för efterfrågeelasticitet (Hursh och Silberberg, 2008), fanns det ingen skillnad mellan genotyperna i elasticitet. Så var tog dopamineffekten på ansträngning och belöning vägen?

Analys av individuella måltidsdata (dvs. antal, varaktighet och storlek på måltiderna) indikerar en stor genotypeffekt där DATkd-mössen åt större men färre måltider. Det vill säga, även om dopamin inte signifikant förändrade deras totala konsumtion, förändrade det deras måltidsmönster – hur de tidsmässigt fördelade sin ansträngning och konsumtion. Dessa data tyder på att eskalerande kostnader orsakade ett tillstånd av knapphet som aktiverade homeostatiska konserveringsmekanismer i både vildtypen och DATkd. För att undvika detta artificiella tillstånd av knapphet genomförde vi en studie med progressivt förhållande i hemmaburar där de eskalerande kostnaderna inträffar inom varje måltid eller pressningsomgång när kostnaden för varje efterföljande pellet ökar med 2. Efter 30 minuters upphörande av all pressning återställdes förhållandet. På detta sätt kunde mössen rikta sin ansträngning mot större, dyrare måltider, eller mindre, billigare och mer frekventa måltider utan att offra den totala konsumtionen. I denna studie observerade vi inga signifikanta förändringar i kroppsvikt mellan grupperna och ingen signifikant skillnad i den totala konsumtionen. DATkd-mössen åt dock återigen större måltider och uppvisade en högre brytpunkt inom individuella perioder, vilket överensstämmer med tidigare litteratur som visar att förhöjt dopamin ökar brytpunkten i progressivt förhållande-paradigm. Men som ovan motverkades denna större ansträngning av mindre frekventa måltider, så att den totala konsumtionen inte skilde sig åt. Från dessa studier drar vi två viktiga slutsatser. För det första verkar effekterna av dopamin på strävan efter mat, åtminstone i detta paradigm, förbli under homeostatisk kontroll. För det andra verkar dopamin inte förändra "begär" eller den övergripande strävan efter mat i global mening, utan verkar modulera ansträngning som används inom tidsmässigt lokala episoder av målsträvan. Kort sagt verkar dopamin ha påverkat hur energi och ansträngning fördelas snarare än att öka aptitmotivationen i sig.

Vi observerar här att ökad dopaminnivå inte gör efterfrågan mer oelastisk; det vill säga att hyperdopaminerga möss överlag anpassar sin konsumtion till responskostnader på liknande sätt som vildtypsmöss. Vid första anblicken verkar detta motsägelsefullt jämfört med många studier som tyder på att stimulering eller hämning av dopaminöverföring kan förstärka respektive minska ansträngningsbaserad respons (t.ex. Aberman och Salamone, 1999 ; Bardgett et al., 2009 ; Salamone et al., 2009b ), vilket förmodligen påverkar elasticiteten som svar på kostnader. Vi observerar dock samma fenomen som observerats i dessa studier: dopamin underlättar större ansträngning under en period av efterfrågan, vilket här bevisas av större måltider och högre brytpunkter. Vi observerar dock också vad sessionsbaserade studier inte kan – att dessa skillnader i ansträngning, från vilka vi kan dra slutsatser om förändringar i elasticitet, inte nödvändigtvis åtföljs av förändringar i den totala konsumtionen och efterfrågan. Dessa större måltider kompenseras av färre måltider, vilket resulterar i en överlag liknande elasticitet som svar på ökande kostnader. Att förhöjt dopamin inte producerade inelasticitet i dessa studier betyder inte att dopamin aldrig modulerar elasticitet, bara att sambandet mellan dopamin, ansträngning och efterfrågan kan vara mer komplext än man tidigare uppskattat.

Förhöjt dopamin: Förbättrar inte hedoniskt värde eller ändrar beteendeval

En annan idé implicit i dopamin- och belöningshypotesen är det dopamin ökar jakten på föredragen livsmedel (Salamone et al., 1991; Kusiner et al., 1993; Salamon, 1994; Lowe och Levine, 2005; Zheng et al., 2009; Berridge et al., 2010; Kenny, 2010; Volkow et al., 2010), där "föredragen" vanligtvis definieras som välsmakande, hedoniskt givande mat: saker som smakar gott. Ur ett incitament-salience-perspektiv ökar dopamin det större incitamentet som är förknippat med föredragna livsmedel. Mot detta argumenterade Salamone et al. (Salamone et al., 1991; Salamone, 1994) har visat att under förhållanden med fri utfodring ändras preferensen inte av förändringar i dopaminfunktionen; det vill säga dopamin ökar inte incitamentet eller ändrar matpreferenser när inget (eller lågt) arbetskrav finns. I sina studier, men när man skaffar en föredragen mat is i samband med en responskostnad, ökar dopamin ansträngningen ett djur kommer att utöva, vilket förändrar djurets beteendeval till förmån för större strävan efter en föredragen mat (Salamon, 1994; Salamone et al., 1994), vilket ofta anses antyda att ökat dopamin skulle öka jakten på föredragen mat i en naturlig födosöksmiljö genom att minska känsligheten för associerade kostnader.

I en nyligen genomförd serie studier ( Beeler et al., 2012b ) undersökte vi det relativa bidraget mellan näringsvärde och hedoniskt, eller smakvärde, till konsumtion, preferens och förstärkning och frågade hur förhöjt dopamin kan förändra dessa. För att testa enbart smakvärdet använde vi kalorifria sötningsmedel (både sukralos och sackarin). För att testa enbart näringsvärde använde vi trpm5 knockout-möss som saknar den söta smakreceptorn och inte smakar sött ( Damak et al., 2006 ; de Araujo et al., 2008 ), vilket gjorde det möjligt för oss att bedöma effekten av enbart näring. I båda fallen använde vi möss med och utan en knockdown i dopamintransportören för att testa effekterna av förhöjt dopamin. Litteraturen tyder på att mer hedoniskt givande livsmedel skulle påverkas mer av ökat dopamin. Utifrån detta kan vi förutsäga att förhöjt dopamin företrädesvis skulle påverka hedonistisk framför näringsmässig belöning. Vi fann för det första att även om både hedonistiskt och näringsmässigt värde inducerade ökad konsumtion och preferens, var hedonistiskt värde dissocierat från näringsvärde en dålig förstärkare. Det vill säga, möss konsumerade kalorifria söta lösningar och föredrog det framför vatten, men söt smak i frånvaro av kalorivärde saknade förmågan att inducera konditionering i konditioneringstestet med två flaskor. Dessutom inducerade sackaros i ett progressivt förhållandetest ökad respons över sessionerna. Kalorifria sötningsmedel inducerade däremot mycket mindre respons som faktiskt minskade över sessionerna, vilket liknar så kallad "extinction mimicry" ( Wise et al., 1978 ). Berridge och Robinson ( Robinson och Berridge, 1993 ) har berömt beskrivit en dissociation mellan att "vilja" och "tycka om" i beroende där missbrukare utvecklar "vilja" efter droger utan att "tycka om"; det vill säga, incitamentet som driver tvångsmässigt drogsökande är oberoende av dess hedoniska konsekvenser. Dessa data tyder på en komplementär dissociation av ”att tycka om” utan ”att vilja ha” där man kan uppleva en positiv hedonisk respons utan att utveckla associativa incitament som driver ett tvångsmässigt sökande efter den upplevelsen i framtiden ( Beeler et al., 2012b ).

I motsats till förväntan förändrade förhöjt dopamin inte signifikant motivationen för enbart hedonisk, söt smak, men ökade ansträngningen för kombinerad smak/näring såväl som enbart näring. Tidigare studier av dopaminfrisättning har visat att dopamin frisätts som svar på enbart smak (t.ex. med intraoral kanylering för att stimulera smak utan postestiva effekter) ( Mark et al., 1991 ; Hajnal et al., 2004 ; Norgren et al., 2006 ; de Araujo et al., 2008 ; Wheeler et al., 2011 ). Så varför observerade vi minskad förstärkning av söt smak i frånvaro av näring? Vi genomförde en voltammetristudie där råttorna förexponerades för både sackaros- och sackarinpellets, var och en med en identifierande smak, för att ge dem möjlighet att särskilja och lära sig om det relativa näringsvärdet av varje ( Beeler et al., 2012b ). Vi mätte sedan framkallad dopaminfrisättning som svar på antingen sackaros eller sackarin. Råttorna hämtade och konsumerade båda typerna av pellets lika mycket; men när vi mätte framkallad dopaminfrisättning var svaret på sackarin kraftigt försvagat jämfört med sackaros. I en uppföljningsstudie observerades samma försvagning av framkallat dopamin som svar på signaler som förutspådde antingen sackaros eller sackarin ( McCutcheon et al., 2012 ). Det försvagade dopaminsvaret enbart på kalorifri smak överensstämmer med det minskade svaret och den skenbara extinktionsmimikrin som observerades i beteendestudierna med mössen. Kort sagt visar dessa studier att ökat dopamin, även om det ökar ansträngningen och förändrar fördelningen av energiförbrukning (dvs. måltidsmönster), inte förändrade konsumtion eller preferens och inte ökade "begäret" av hedoniskt värderade livsmedel i frånvaro av näring.

I den konventionella uppgiften med samtidiga val ( Salamone, 1994 ) har ett djur ett val mellan att trycka med en spak för en föredragen maträtt eller att äta fritt tillgängligt standardfoder under en timmes sessioner. Salamone och kollegor har visat att dopamin ökar förhållandet mellan föredragen mat och konsumerad standardmat; det vill säga, dopamin förändrar beteendeval för att gynna det dyrare men föredragna alternativet. Många drar slutsatsen från detta arbete att dopamin kommer att öka strävan efter föredragen maträtt. Vi testade denna slutsats genom att utföra experiment med progressivt förhållande mellan möss i hemburen där de kunde trycka med en spak för en föredragen maträtt (PR2), antingen kalorifria sötningsmedel eller sackaros, eller äta fritt tillgängligt foder. I detta semi-naturalistiska paradigm förskjutit ökat dopamin, som rapporterats i studierna av efterfrågan och progressivt förhållande mellan möss i hemburen ovan, fördelningen av ansträngning mot större energiförbrukning (dvs. längre perioder av tryck, större brytpunkt, men färre perioder totalt sett). Trots större ansträngning förändrade dock inte förhöjt dopamin deras beteendeval, vilket återspeglas i förhållandet mellan föredragen mat och standardfoder. Salamone har hävdat att ökad ansträngning mot en föredragen mat som observeras i paradigmet för samtidiga val återspeglar förändringar i känslighet för responskostnad och inte förändrad preferens ( Salamone et al., 2007 ). Dessa data bekräftar och utvidgar detta argument genom att motbevisa slutsatsen att den ökade ansträngningen som observeras i paradigmet för samtidiga val kommer att öka belöningsjakten. I en semi-naturalistisk miljö observerar vi samma ökade ansträngning mot en föredragen mat som observeras av Salamone, men detta förändrar inte konsumtion, preferens eller beteendeval utan återspeglar olika energiförbrukningsstrategier.

Integrering av belöning och beteendeenergihantering

Dessa fynd är svåra att förklara enbart utifrån nuvarande teorier om dopamin och belöning. (1) Snarare än att öka belöningens inverkan på beteendet observerar vi en minskad koppling mellan belöningshistorik och val, vilket tyder på att dopamin inducerar större utforskande; det vill säga mindre bias av val genom belöning. (2) Snarare än att åsidosätta homeostatiska mekanismer och främja överkonsumtion, verkar dopamin fungera inom ramen för homeostatisk reglering, och förändrar fördelningen av ansträngning i jakten på mat utan att förändra den totala konsumtionen; det vill säga, dopamin inducerar större kraft men inte större "begär". (3) Snarare än att flytta ansträngning, konsumtion och beteendemässiga val till mer föredragna livsmedel, ökar dopamin återigen kraften utan att förändra konsumtion, preferens eller val; det vill säga, den uppenbara minskade känsligheten för kostnader förändrar inte aptitmålen. De beskrivna studierna pekar alla på ett gemensamt tema: att dopamin modulerar beteendemässig energiförbrukning . Dopaminmodulering av ansträngning och utgifter har betraktats som antingen en icke-specifik effekt – "generaliserad aktivitet" – och/eller som en omfördelning av ansträngning som övervinner responskostnaderna i samband med att uppnå mål ( Salamone et al., 2007 ). I resten av artikeln kommer vi att försöka integrera de belönings- och aktivitetsmodulerande aspekterna av dopamin. För att göra det kommer vi att utveckla ett alternativt perspektiv: dopamins effekter på belöning uppstår sekundärt till och i tjänst för att reglera beteendemässig energiförbrukning, och placerar belöningssystemet i ett större sammanhang där energiförbrukning avstämms med tillgängliga resurser.

Dopamin: Ett beteendestyrt energiledningssystem

Energi och dess användning är den slutgiltiga nyckeln till anpassning. Alla organismers behov och funktioner, från termoreglering till reproduktion till energianskaffning, kräver energi. Att upprätthålla en tillräcklig energiförsörjning kan betraktas som ett evolutionärt huvuddirektiv. Mycket fokus har ägnats åt system som reglerar energiförbrukning, konsumtion och lagring, men mycket mindre uppmärksamhet åt system som kontrollerar dess förbrukning. Men förutom att vara en "jämlik partner" i att bestämma energibalansen (dvs. konsumtion - förbrukning = nettobalans), är det avgörande för anpassningen att uppnå en optimal fördelning av energi till olika aktiviteter. Det vill säga, vad ett djur gör med sin tillgängliga energi är utan tvekan lika viktigt som att förvärva energi. Hur man bäst styr energiförbrukningen är dock beroende av miljöförhållandena. I en energirik miljö är utforskning, motion och energiförbrukning adaptiv. I en energifattig miljö är det viktigt att utnyttja tidigare erfarenheter och spara energi – att få ut mesta möjliga av sin energislant. Enligt denna uppfattning innebär effektiv energihantering att bestämma (1) hur mycket energi jag måste förbruka och (2) hur noggrant, eller selektivt, jag behöver använda den. Vi karakteriserar dessa två frågor som två axlar inom energihantering: förbruka kontra spara respektive utforska kontra utnyttja (figur 1 ).

I den aktuella hypotesen kopplar vi dessa två axlar för energiförbrukning till två väl dokumenterade dopaminfunktioner. För det första kopplar vi dopamins roll i regleringen av generaliserad aktivitet till förbruknings-bevarande-axlarna. För det andra föreslår vi att dopamins roll i belöning inte är att modulera belöningsincitament och aptitdrivande strävan i sig , utan att använda belöningsinformation för att reglera energifördelningen till olika aktiviteter, vilket medierar utforska-utnyttja-axlarna; det vill säga, hur selektivt bör energin användas? Vi ramar in denna andra aspekt av dopamin inom TD-inlärningsmodeller för dopamin och belöning där dopamin medierar både (1) lärande om belöning – det vill säga att tillskriva värde till stimuli som styr energiförbrukning och (2) i vilken grad den belöningsinformationen påverkar beteendemässiga val, och tolkar den andra axeln, utforska-utnyttja, som energisk sparsamhet : hur noggrant behöver jag utnyttja mina tillgängliga resurser?

Genom att betona hanteringen av energiförbrukning snarare än belöningsmodulering som en primär funktion av dopamin, kan många annars svårförenliga observationer sammanhänga i en central organiserande metafor för att förstå dopamins roll i beteende. I följande avsnitt beskriver vi kortfattat kärnelementen i denna hypotes i samband med aktuella idéer och litteratur om dopamin.

Det bör noteras att dopaminsystemet är komplext och mångfacetterat. Förutom extracellulära dopaminkoncentrationer och hastigheter för tonisk och fasisk dopamincellavfyrning kan "dopaminfunktion" inkludera modulering av frisättning vid dess mål, modulering av syntes, vesikulär förpackning och lätt frisättbara pooler, förändringar i receptoruttryck och funktion samt förändringar i dopamintransportör och återupptag. Som en nödvändig förenkling för redogörelsens skull kommer vi att tala om "hög" och "låg" dopaminfunktion, en inte ovanlig praxis i litteraturen. De komplexiteter som detta döljer representerar potentiella mekanismer genom vilka dopaminsystemet kan utöva en mer nyanserad, flexibel och sofistikerad reglering av sin(a) funktion(er). I figur 1 är det dessa komplexiteter som gör att vi kan betrakta dopamin inte som en enda linje från högt till lågt (som visas i mitten) utan som en mer komplex funktion som potentiellt kan sträcka sig över det tvådimensionella utrymmet som avbildas. Att förstå dessa komplexiteter beror dock på ett tolkningsramverk kring vilket mer detaljerad information kan organiseras. Här fokuserar vi på att formulera ett skelettalternativt ramverk och försöker inte assimilera allt som är känt om dopamin eller i detalj varje mekanism som potentiellt är involverad i dopaminsignalering, en svårhanterlig utmaning för en enda artikel.

Dopamin: förmedling mellan den inre och yttre världen

Dopaminsystemet är placerat mellan två världar av stimuli: den yttre och den inre. Å ena sidan modulerar dopamin en organisms svar på miljöstimuli. I förstärkningsinlärningsperspektivet av dopamin och belöning (Montague et al., 1996; Schultz et al., 1997), förmedlar dopamin kritiskt lärande om värdet av stimuli (tillstånd) och vilka svar (åtgärder) som är optimala (Reynolds et al., 2001; Schultz, 2002; McClure et al., 2003; Daw och Doya, 2006; Day och Carelli, 2007; Day et al., 2010; Flagel et al., 2010; Gan et al., 2010; Day et al., 2011). Incitament-salience-perspektivet hävdar att dopamin skalar det incitamentsvärde som är förknippat med miljöstimuli, vilket ändrar graden i vilken stimuli förintar beteendeval (Phillips et al., 2003; Berridge, 2004; Roitman et al., 2004; Cagniard et al., 2006b; Day et al., 2006; Cheer et al., 2007). I båda fallen, även om det är mekaniskt mycket olika, modulerar dopamin organismens svar på miljöstimuli, världen utanför.

Nyare forskning har visat komplexa interaktioner mellan dopamin- och homeostatiska system som övervakar och signalerar information om den interna organismens miljö ( Davis et al., 2010a ; de Araujo et al., 2010 ; Figlewicz och Sipols, 2010 ; Opland et al., 2010 ; Vucetic och Reyes, 2010 ). Dopaminneuroner i mitthjärnan uttrycker receptorer för ett flertal cirkulerande signaler associerade med homeostatiska mekanismer, inklusive leptin, ghrelin, orexin och insulin (för en omfattande översikt, Figlewicz och Sipols, 2010 ). Förutom direkt avkänning av homeostatiska signaler tar dopaminkärnor emot projektioner från olika substrat associerade med homeostatiska kontrollmekanismer, inklusive hypotalamiska projektioner ( Opland et al., 2010 ). Det är en allmän uppfattning att dessa insignaler modulerar belöningsprocesser. Till exempel föreslås det ofta att cirkulerande leptin minskar dopaminaktiviteten, vilket i sin tur minskar belöningsvärdet av mat, vilket följaktligen minskar aptitbeteendet ( Morton et al., 2009 ; Davis et al., 2010a ; Figlewicz och Sipols, 2010 ; Opland et al., 2010 ; Vucetic och Reyes, 2010 ). Den exakta rollen för dessa homeostatiska input är fortfarande kontroversiell. Huvudpoängen här är att dopaminsystemet får betydande information om organismens interna miljö och homeostatiska tillstånd, vilket sätter den i en position att utnyttja organismens kunskap om sin omgivning i enlighet med interna behov och krav; det vill säga att modulera beteende för att optimera förhållandet mellan dessa två världar, den inre och den yttre, organismen och världen. Naturligtvis har hela hjärnan på sätt och vis utvecklats för att medla mellan den inre och yttre världen, men dopaminsystemets breda och diffusa projektioner, tillsammans med de olika insignaler som konvergerar mot det och dess uppenbara roll i att modulera ett brett spektrum av beteenden och processer, från motivation till motorisk utförande, tillsammans med att vara mycket konserverad över arter, tyder på att det faktiskt kan ha utvecklats för att spela en grundläggande, kritisk roll i anpassning.

Dopamin: Att sätta begär på en budget

Få skulle argumentera mot uppfattningen att dopamin integrerar intern och extern information för att anpassa beteende till miljöförhållanden och optimalt möta organismens behov. Den svåra frågan är hur dopamin uppnår detta? Det vill säga, vilken är den primära effektormekanismen genom vilken dopamin anpassar beteende? Den rådande uppfattningen, nästan hegemonisk, är att dopamin modulerar belöningsprocesser – oavsett om det medierar inlärning om belöning, uttryck av incitament eller någon kombination av båda – och följaktligen formar motivation: de mål och aktiviteter en organism strävar efter och den kraft med vilken dessa eftersträvas. Avgörande är att moduleringens fokus är aptit : hur mycket belöning som inducerar dess strävan.

Även om det diskuteras mycket mindre, modulerar dopamin även aktivitetsnivåer. I överensstämmelse med denna modulering av aktivitet har Salamone och kollegor länge hävdat att dopamin kan modulera både ansträngning mot ett mål ( Salamone et al., 1997 , 2005 , 2009a ) såväl som generaliserade aktivitetsnivåer ( Cousins ​​et al., 1993 ; Correa et al., 2002 ), observationer som är centrala för den aktuella hypotesen.

Vi kommer att hävda att dopamin reglerar energiförbrukningen för att förena beteende med energiresurser; det vill säga dopamin modulerar inte begäret, det sätter det på en energibudget. I detta synsätt är energitillgänglighet, inte belöning, den primära faktorn som påverkar dopaminerg reglering av beteende. I de följande avsnitten kommer vi att utveckla denna energihanteringshypotes om dopamin och diskutera de första effektormekanismerna genom vilka dopamin reglerar energiförbrukningen följt av en diskussion om mekanismer genom vilka dopaminsystemet reglerar fördelningen av energi med hjälp av belöningsinformation. Efter att ha utarbetat hypotesen kommer vi att fokusera specifikt på en alternativ redogörelse för dopamins roll vid fetma.

Axel I: Spara-Expend

I följande avsnitt kommer vi att i detalj beskriva dopamins roll i att modulera energiförbrukningen längs ett kontinuum av bevarande och förbrukning. Enligt den utvecklade uppfattningen är regleringen av energiförbrukningen – både generaliserad aktivitet och ansträngning mot specifika mål – fundamentalt oberoende av belöning och beror istället på tillgängliga energiresurser. Belöning, kommer vi att argumentera för, spelar en tydlig roll för att bestämma fördelningen eller allokeringen av den energiförbrukningen, representerad av utforska-utnyttja-axeln och diskuterad i avsnittet "Axel II: Utforska-utnyttja".

Dopamin och generaliserad aktivitet: Spendera eller spara?

Förhöjt dopamin har associerats med ökad aktivitet i decennier. Läkemedel som ökar dopaminfrisättningen, såsom amfetamin, kokain eller dopaminåterupptagshämmare, ökar generaliserad aktivitet hos människor och gnagare (Kelly, 1975; Mogenson et al., 1980; Beninger, 1983; Ahlenius et al., 1987; Carlsson, 1993; Xu et al., 1994; Sedelis et al., 2000; Correa et al., 2002; David et al., 2005; Viggiano, 2008; Charntikov et al., 2011). Administrering av Dl-agonister eller -antagonister ökar respektive minskar aktiviteten. D1-verkande läkemedel verkar postsynaptiskt på medelstora taggiga neuroner i den hämmande, indirekta vägen; emellertid verkar de också pre-synaptiskt på dopamin- och glutamatterminaler och som autoreceptorer på dopamincellkroppar. Som en följd av detta kommer låga doser kinpirol, en D2-agonist, att sänka aktiviteten, vilket förmodligen minskar dopaminfrisättningen genom autoreceptoraktivering medan höga doser kinpirol ökar aktiviteten, förmodligen genom aktivering av postsynaptiska D2-receptorer som minskar aktiviteten i den hämmande, indirekta vägen (Lomanowska et al., 2004). Hos gnagare ökar vissa beroendeframkallande droger som är CNS-depressiva (t.ex. morfin) aktiviteten, en effekt som tros uppstå från ökad frisättning av dopamin (Koek et al., 2012). Läkemedel som blockerar dopaminåterupptaget ökar aktiviteten (Billes och Cowley, 2008; Young et al., 2010) och DAT-uttryck korrelerar med rörelseaktivitet. Möss med reducerat uttryck av dopamintransportören, vilket resulterar i förhöjt toniskt dopamin, är hyperaktiva (Cagniard et al., 2006a).

Även om det inte råder någon tvekan om att dopamin modulerar generaliserad aktivitet, är mekanismen genom vilken det gör det dåligt förstådd. Faktum är att det inte finns någon generell ram för att begreppsualisera vad exakt "generaliserad aktivitet" eller upphetsning är i första hand (Quinkert et al., 2011). Hos gnagare mäts den generella aktiviteten vanligtvis med hjälp av antingen öppet fält, löphjul eller homecage-aktivitetsmonitorer. I vilken grad var och en speglar en generell aktivitetsnivå diskuteras (Dishman, 2008; Viggiano, 2008; Hesse et al., 2010; Garland et al., 2011). Det öppna fältet kan till exempel ses som ett mått på allmän aktivitet, utforskande beteende eller "emotionalitet". Löphjulet, eftersom löpning är mycket förstärkande hos gnagare (Wagner, 2005; Brené et al., 2007; Greenwood et al., 2011), kan förväxlas med belöningsprocesser. Icke desto mindre ökar ökad dopamin aktiviteten på alla tre åtgärderna och omvänt, minskande dopamin minskar aktiviteten på alla tre åtgärderna (Ahlenius et al., 1987; Zhuang et al., 2001; Correa et al., 2002; Leng et al., 2004; Beeler et al., 2006, 2009; Dishman, 2008; Kitanaka et al., 2012).

Snarare än att se "generaliserad aktivitet" som något annat än målinriktat, belöningsdrivet beteende, skulle ett alternativt perspektiv vara att dopamin signalerar energitillgänglighet och inducerar energiförbrukning, oavsett om den riktas mot en givande, förstärkt aktivitet som att köra på hjul (eller trycka på spakar), mot utforskning som i det öppna fältet eller helt enkelt att röra sig och göra mer musliknande saker dagligen i buren. Som psykostimulerande medelanvändare i årtionden intygar: dopamin är energigivande. Således representerar effekten av dopamin på generaliserad aktivitet en grundläggande effektor i regleringen av energiförbrukning genom att upp- eller nedreglera hur mycket energi som förbrukas i beteendeaktivitet oberoende av hur den aktiviteten kan riktas: oberoende av belöning.

Dopamin och ansträngning: Hur mycket har jag råd med?

Litteraturen är full av bevis för att ökat dopamin ökar ansträngningen i strävan efter mål, vilket kanoniskt illustreras av ökad prestation i progressiva ratio-paradigm där kostnaden för varje efterföljande belöning ökar efter varje erhållen belöning ( Hodos, 1961 ). Historiskt sett har den ansträngning en försöksperson gör i ett progressivt ratio-test tolkats som ett mått på förstärkarens effektivitet: det vill säga, hur hårt jag arbetar är ett mått på hur värdefull eller motiverande belöningen är ( Madden et al., 2007a , b ). Detta är analogt med att bedöma värdet av något utifrån det pris någon är villig att betala.

Brytpunkten mäter dock implicit en kostnads-nyttobestämning ( Salamone et al., 2009a ). Även om dopamin bidrar till denna pågående bestämning, förblir dess roll oklar ( Salamone et al., 1997 ; Roesch et al., 2007 ; Day et al., 2010 , 2011 ; Ostlund et al., 2010 ). Å ena sidan, som argumenteras i incitament-salience-teorin, kan dopamin förstärka incitamentsegenskaperna hos stimuli associerade med belöning, vilket i huvudsak ökar den upplevda nyttan ( Berridge, 2007 ; Gan et al., 2010 ). Å andra sidan hävdar Salamone och kollegor att dopamin minskar känsligheten för kostnader, vilket minskar kostnadskomponenten ( Salamone, 2011 , se även Phillips et al., 2007 ). I båda fallen är resultatet ett ökat sökande efter belöning till följd av förändrad kostnads-nyttobestämning, vilket observeras som en förhöjd brytpunkt. I det konventionella progressiva ratio-paradigmet är det svårt att urskilja dessa två möjligheter eftersom det beteendemässiga resultatet skulle se detsamma ut: ökad ansträngning och ökad respons. De studier av hemmaburar som granskats ovan kan dock skilja mellan dessa två alternativ. Om ökad dopamin ökade känsligheten för belöning, vilket inducerar större "önskan" och uppreglerar aptitmotivation, skulle vi förvänta oss att se större konsumtion och ökad preferens för mer givande livsmedel. Vi observerade ingendera. Istället observerade vi liknande konsumtion, preferenser och beteendemässiga val men en förändring i födosöksstrategier mot större energiförbrukning. Det skulle dock vara felaktigt att säga att DATkd-möss är okänsliga för kostnader; de justerar sin konsumtion och ansträngning som svar på eskalerande kostnader precis som vildtypsmössen. Dessutom, i det billig-dyra spakbytesparadigmet, om spakarna inte växlar , föredrar DATkd-mössen den billiga spaken identiskt med vildtypen. Snarare verkar ökat dopamin skifta födosöksstrategin mot större energiförbrukning.

Vid bestämning av den optimala avvägningen mellan kostnad och nytta är båda faktorerna situationsberoende. Å ena sidan är nyttan beroende av behov. En matpellet kommer att vara mycket mer värdefull och motiverande för en hungrig mus än en mätt. Den roll som motivationstillståndet spelar för att bestämma belöning och förstärkning har en lång historia inom psykologi och neurovetenskap ( Berridge, 2004 ) och representerar ett aktivt forskningsområde ( Dayan och Balleine, 2002 ; Balleine, 2005 ; Fontanini och Katz, 2009 ; Haase et al., 2009 ). Mycket mindre uppskattat är dock att utvärderingen av kostnaden också kan vara beroende. Mer specifikt beror kostnaden i samband med eventuella utgifter på tillgängliga resurser. Kostnaden för en flygplatskorv för 12.00 dollar utvärderas inte på samma sätt av en miljonär-VD och en fattig doktorand. Med gnagare kan liknande resursförutsättningar gälla. Till exempel kan förseningskostnader vara mer betydande om endast en begränsad tid finns tillgänglig (till exempel i en timmes operanta sessioner) för att erhålla belöning. På liknande sätt kan kostnaden för hävstänger bero på den allmänna tillgången på energi för en mus. Så om dopamin minskar kostnadskänsligheten finns det två tolkningar. I den första minskar kostnadskänsligheten i förhållande till nyttan; det vill säga, när kostnad och belöning jämförs minskar dopamin kostnadsfaktorn för att gynna belöning (funktionellt ekvivalent med att öka incitamentsvärdet). I den andra modulerar dopamin kostnadskänsligheten i förhållande till tillgängliga resurser . Om energi finns i överflöd diskonteras ansträngningskostnaderna.

Vi menar således att dopaminregleringen av ansträngning är oberoende av belöningsvärdet; det vill säga, dopamins effekter på ansträngning återspeglar en direkt modulering av energiförbrukningen i förhållande till tillgängliga energiresurser snarare än en indirekt konsekvens av att modulera en avvägning mellan kostnad och belöning. Eftersom dopamin generellt ökar energiförbrukningen, som diskuterats ovan, ökar det även energiförbrukningen – eller kraften i att uppnå mål – i specifika aktiviteter, återigen, menar vi, oberoende av belöningsvärdet : om du har energi, använd den.

Axis II: Utforska-Exploa

I följande avsnitt argumenterar vi för att belöning fyller en central funktion i den dopaminmedierade energihanteringen: att kontrollera fördelningen av energiförbrukning, vilket vi representerar med utforska-utnyttja-axeln (Figur 1 ). I denna synvinkel bestämmer inlärda belöningsvärden den relativa nyttan av olika aktiviteter; det som dock är avgörande i denna axel är i vilken grad dessa värden (och kontrasten mellan dem) faktiskt påverkar och formar beteendeval. Vi integrerar förstärkningsinlärning och incitament-saliensperspektiv i denna axel och argumenterar för att fasisk dopamin medierar inlärning om och uppdatering av belöningsvärden, vilket är allmänt trott, medan tonisk dopamin, som incitamentssynpunkter antyder, skalar effekten av dessa värden på beteendeval, uttrycket av inlärda värden. Vi omkonceptualiserar denna incitamentsskalning formellt som en funktion inom förstärkningsinlärning som reglerar i vilken grad tidigare belöningsinlärning påverkar val; det vill säga hur mycket etablerat lärande utnyttjas. Vi tilldelar denna senare funktion till tonisk dopamin och tolkar den som att den reglerar sparsamhet ; det vill säga reglerar energiförbrukningens sparsamhet.

Dopamin och målval: Att göra kloka val i energiutgifter

Sparsamheten i ens utgifter beror på de tillgängliga resurserna. En rik person behöver inte tjafsa om tusentals dollar medan en fattig person behöver räkna slantar. På samma sätt behöver djur som lever i energetiska miljöer inte oroa sig för energibesparing medan de som lever under förhållanden av knapphet måste spendera energi klokt. Energihushållning innebär alltså inte bara att bestämma den totala storleken på energiutgifterna, som diskuterats ovan, utan också att de allokeras till specifika aktiviteter.

Vi utgår från antagandet att när energi är lättillgänglig är energiförbrukningen adaptivt fördelaktig, av två primära skäl. För det första har fysisk aktivitet i otaliga studier visat sig bidra väsentligt till hälsa och livslängd (Holloszy et al., 1985; Samorajski et al., 1985; Paffenbarger et al., 1986; Holloszy, 1988; Helmrich et al., 1991; Greendale et al., 1995; Booth et al., 2000; Alevizos et al., 2005; LaMonte et al., 2005; Warburton et al., 2006; Gaesser, 2007; Huffman et al., 2008; Hawley och Holloszy, 2009; Mercken et al., 2012). Under förhållanden av knapphet måste djur arbeta hårt för att hitta mat; men under överflöd gör de det inte. Ett system som ökade energiförbrukningen som svar på överflöd skulle upprätthålla aktivitetsnivåer och hälsa, åtminstone hindra ett djur från att bli en fet, långsam bit till en rovdjursmiddag. Dessutom, om energi är tillgänglig, så finns det en informationsmässig fördel att vinna från utforskning som gör att ett djur kan lära sig mer om sin miljö, information som skulle kunna utnyttjas i framtiden (Behrens et al., 2007). Sålunda, när energi är tillgänglig, finns det logik att framkalla utgifter och beteendeutforskning. Däremot när energin är knapp behöver djuret spara sin energi och maximalt utnyttja sin kunskap om miljön. I den hypotes som utvecklas här uppstår dopamins roll i belöningsprocesser som en mekanism för allokering av energi till specifika aktiviteter och stimuli.

För att optimalt allokera energi krävs två primära funktioner. För det första måste organismen bestämma värdet av stimuli och handlingar från första början. För det andra måste organismen avgöra i vilken grad dessa värden bör beaktas när beteendemässiga val görs: hur sparsamma eller "värdemedvetna" bör utgifterna vara? De två paraplysynerna på dopamin och belöning, hypoteserna om förstärkningsinlärning och incitament-salience, tillhandahåller dessa två funktioner. I avsnitten nedan undersöker vi båda funktionerna och deras bidrag till utforska-utnyttja-axeln (Figur 1 ) uttryckt i termer av TD-inlärningsmodeller.

Dopamin och förstärkningsinlärning: Värderedovisning

Som nämnts i inledningen kan termen "belöning" vara tvetydig. Här antar vi ett informationsperspektiv och definierar belöning som positivt valuerad resultatinformation. Den primära frågan som ska behandlas är vilken roll dopamin spelar i att koppla belöningshistorik till framtida val. Perspektiv på förstärkningsinlärning hävdar att dopamin modulerar kortikostriatal plasticitet som svar på belöning, dvs. positiv resultatinformation, och därmed medierar lärande om stimuli och handlingar som är värdefulla. Motivationssynpunkter, särskilt incitament-saliens, tyder på att dopamin modulerar uttrycket av tidigare inlärda värden (incitament). Den nuvarande hypotesen omfattar båda inom ett TD-inlärningsramverk.

Temporala skillnadsmodeller är en klass av algoritmer för förstärkningsinlärning som framgångsrikt har tillämpats för att förstå hur neurala substrat, såsom dopamin och basala ganglier, medierar beteendemässigt observerad förstärkningsinlärning. Inom dessa modeller tilldelas stimuli och handlingar ett "värde" som inkluderar alla förväntade framtida belöningar som är associerade med dessa stimuli eller handlingar. Allt eftersom tiden går och djuret rör sig stegvis framåt i tiden, genom successiva tillstånd (dvs. konfigurationer av stimuli, handlingar, belöningar), jämförs vid varje steg framåt den tidigare förutsägelsen ( t − 1) med vad som faktiskt mottogs vid tidpunkten t plus återstående förväntade belöningar i framtiden, det vill säga värdeuppskattningen vid t . Om det finns en avvikelse, kallad ett förutsägelsesfel, justeras det tidigare värdet vid t − 1 så att när det tillståndet uppstår igen, kommer det att vara mer exakt. När djuret rör sig framåt i tiden till t + 1, kommer samma process att ske, denna gång justeras det förutspådda värdet på t genom att jämföra det med den faktiska belöningen vid t + 1 plus det framtida förväntade värdet på t + 1, och så vidare. Namnet TD uppstår eftersom en hel följd av tillstånd, vart och ett med sin egen värdeförutsägelse av "återstående" framtida belöning, justeras ett steg i taget. Det är denna samling värden associerade med olika tillstånd – stimuli och handlingar – som möjliggör noggrann förutsägelse av framtida belöning. Kort sagt är det en algoritm som underlättar trial and error-inlärning där djuret alltid, så att säga, är in medias res , och en noggrann uppskattning av värdet av specifika stimuli och handlingar ackumuleras gradvis över tid genom erfarenhet.

Temporala skillnadsmodeller har två nyckelfunktioner. Först lär de sig. Som beskrivits ovan, med hjälp av en uppdateringsregel baserad på prediktionsfel, justerar de tidigare värden associerade med stimuli och åtgärder. För det andra fattar de beslut. Det vill säga, när du väl har en uppsättning värden finns det en regel för hur dessa värden används när du väljer en åtgärd. Dessa två funktioner är associerade med två parametrar, allmänt kända som alfa, inlärningshastigheten respektive beta, "temperaturen". Inlärningshastigheten avgör i vilken grad ny information förändrar etablerade värden, både viktar ny information mot gammal och skapar ett "fönster för att glömma." Temperaturparametern bestämmer i vilken grad information om aktuellt värde (dvs. belöningshistorik) påverkar val av åtgärder, ofta kallad "utforska-utnyttja"-parametern.

Väsentliga bevis stöder en roll för dopamin i att förmedla förstärkningsinlärning och kortikostriatal plasticitet, vilket inte kommer att granskas här (Montague et al., 1996; Schultz et al., 1997; Reynolds och Wickens, 2002; Schultz, 2002, 2010; Kanon och palmiter, 2003; Klokt, 2004; Berridge, 2007; Goto et al., 2007; Redish et al., 2007; Robbins och Roberts, 2007; Salamon, 2007; Schultz, 2007; Dayan och Niv, 2008; Kheirbek et al., 2008, 2009; Redgrave et al., 2008; Kurth-Nelson och Redish, 2009; Lovinger, 2010; Lüscher och Malenka, 2011). Denna inlärningsfunktion har främst associerats med fasisk dopaminaktivitet som fungerar på en millisekunds tidsskala och tros inte representera belöning direkt. I stället, med utgångspunkt från TD-inlärning som beskrivits ovan, tros fasisk dopamin koda förutsägelsefel. Genom att signalera oväntad belöning eller misslyckande med förväntad belöning (Schultz et al., 1997; Schultz, 2007; Flagel et al., 2010; Brown et al., 2011; Day et al., 2011), uppdaterar fasisk dopamin värdena associerade med stimuli och handlingar genom att ändra synaptiska vikter genom dess effekter på kortikostriatal plasticitet. Inom den aktuella hypotesen accepterar och betraktar vi denna funktion av fasisk dopamin i uppdateringsvärdet som, på sätt och vis, en redovisningsfunktion: dopamin sätter inte, skapar eller skalar godtyckligt värde utan ger funktionellt en undervisningssignal för att modifiera inlärningen för att exakt återspegla värdet förknippat med stimuli och handlingar. Enkelt uttryckt försöker denna funktion av dopamin att "få rätt på värdet": en grundläggande egenskap hos varje framgångsrik budget är att få rätt siffror. Det vill säga de mycket detaljerade och mekanistiska funktionerna hos dopamin i förstärkningsinlärning gör det möjligt för ett djur att lära sig om sin miljö i ordning att bättre allokera och utnyttja sin tillgängliga energi.

Dopamin och Incitament-Salience: Energibudgettilldelning

Incitament-saliens-synen på dopamin argumenterar däremot för att dopamin skalar effekten av belöningsassocierade stimuli på beteendemässiga val ( Cagniard et al., 2006b ; Berridge, 2007 ). Det vill säga, dopamin modulerar i vilken grad incitamentsvärde associerat med stimuli påverkar beteendet. Generellt sett ses ökat dopamin som att öka incitamentet och skala upp aptitbeteendet; det vill säga att det inducerar större "vilja". Denna syn överensstämmer med årtionden av litteratur som visar att ökat dopamin resulterar i ökad målsträvan och ansträngning, som diskuterats ovan. I huvudsak kan detta konceptualiseras som ökat utnyttjande av belöningsinlärning: belöningsvärde utövar en större bias på beteendemässiga val. Men om ökat dopamin resulterar i ökat utnyttjande, kan man logiskt förvänta sig att minskat dopamin skulle resultera i större utforskning; det vill säga att beteendet kommer att vara mindre partiskt av belöningsinformation. Men såvitt vi vet har inga data visat ökat utforskning som en konsekvens av minskat dopamin. Istället har minskat dopamin konsekvent associerats med minskad aktivitet och utforskande beteende. I den ovan beskrivna studien av beteendeflexibilitet i hemmaburar fann vi att förhöjt dopamin minskade kopplingen mellan belöningshistorik och val, vilket gynnade utforskning , inte exploatering, vilket överensstämmer med årtionden av öppna studier som visar ökad utforskande aktivitet som en konsekvens av ökat dopamin (t.ex. Zhuang et al., 2001 ). I överensstämmelse med den nuvarande hypotesen visar nyligen genomförda beräkningsarbeten av Humphries och kollegor ( Humphries et al., 2012 ) att tonisk dopamin kan modulera avvägningen mellan utforskning och exploatering. I deras modell är effekterna av dopamin på denna avvägning komplexa och koncentrationsberoende, men indikerar att höga dopaminnivåer kan inducera utforskande beteende.

Vi föreslår att incitament-saliens-synen på dopamin, där dopamin skalar i vilken grad belöningsvärdet påverkar beteendemässiga val, fångar en kritisk effektormekanism i dopaminerg hantering av energiförbrukning. Genom att modulera balansen mellan utforskning och exploatering reglerar dopamin sparsamheten i energiförbrukningen. I motsats till nuvarande teorier om incitament-saliens argumenterar vi dock för att dopamin verkar ungefär i motsatt riktning från vad som allmänt tolkas: dopamin gynnar utforskning ; det vill säga minskad bias av beteendemässiga val baserat på belöningsvärde, även om, som Humphries et al. ( Humphries et al., 2012 ) visar, den exakta funktionen av denna dopaminfunktion sannolikt är komplex. Den ökade ansträngningen i belöningsjakten som observeras av förbättrad dopaminfunktion uppstår enligt denna uppfattning inte som en konsekvens av ökat belöningsvärde utan som ett resultat av en dopaminerg signal att förbruka energi och vara mindre sparsam i strävan efter mål.

Även om (fasiskt) dopamin, genom sin roll i förstärkningsinlärning, bidrar till lärande om värde, representerar inte intervallet för de vertikala axlarna i figur 1 värdet i sig , från mindre till större värde, utan i vilken grad etablerade värden snedvrider eller styr beteendemässiga val, och sträcker sig på ett kontinuum från starkt påverkande av val (exploatering) till minimalt inflytande (explorering). Detta skulle kunna tolkas som en sparsamhetsaxel där större utnyttjande maximerar belöningen för förbrukad energi medan minskad utnyttjande underlättar utforskning och större energiförbrukning.

Hur och i vilken utsträckning inlärda värden styr beteendemässiga val beror helt klart på många faktorer, framför allt organismens motivationstillstånd och "framträdande" i "incitament-framträdande", med hänsyn till organismens interna miljö. Den externa miljön måste också beaktas, särskilt tillgången på belöning, särskilt energi. Som diskuterats ovan avgör miljöns rikedom hur sparsamt ett djur behöver vara med sin energiförbrukning och hur mycket det behöver utnyttja tidigare lärande maximalt. Niv et al. (2007) har föreslagit att tonisk dopamin kodar för genomsnittlig belöning över tid, en formalisering som kopplar den relativa mängden eller bristen på belöning i en miljö till beteendemässig kraft. I den modell som föreslagits av Niv inducerar högre genomsnittlig belöning större beteendemässig kraft för att minska alternativkostnader; det vill säga, ju rikare miljön är, desto mer går förlorat genom inaktivitet, vilket färgstarkt beskrivs som "kostnaden för lättja". Med fokus specifikt på energitillgänglighet delar vi denna uppfattning att tonisk dopamin signalerar mängden eller bristen på energi i miljön över tid. Men enligt nuvarande uppfattning, snarare än att se den ökade kraften i samband med dopamin som att den inducerar större utnyttjande för att minska alternativkostnader, föreslår vi att ökat dopamin återspeglar energiöverflöd och inducerar större energiförbrukning men mindre utnyttjande; det vill säga mindre energisparsamt beteende, vilket gynnar utforskning (men inte inaktivitet).

Slutligen är det en allmän uppfattning att inlärda värden kan vara en del av ett målinriktat system eller ett vanesystem ( Daw et al., 2005 ; Balleine et al., 2007 ), ofta associerat med dorsomediala respektive dorsolaterala striatum ( Yin och Knowlton, 2006 ; Balleine och O'Doherty, 2010 ). I TD-modeller beskrivs det senare som ett "cache"- eller "modellfritt" system där värdet av stimuli och handlingar är outgrundligt; det vill säga hur dessa värden härleddes är inte tillgängligt för undersökning. Däremot är målinriktat beteende associerat med "modellbaserade" system där ett "träd" av tillstånd och deras associerade värden representeras explicit så att djuret medvetet kan söka i trädet för att avgöra hur värdet vid vilket blad som helst härleds och utvärdera dessa värden mot aktuella motivationstillstånd. Däremot anses vanesystemet, eller cachesystemet, vara okänsligt för motivationstillstånd, men viktigt är att det inte är okänsligt för nytt lärande ( Balleine och O'Doherty, 2010 ). Just för att det cachade värdet inte kan "undersökas" med avseende på nuvarande mål, kommer vanemässigt beteende baserat på cachade värden att emitteras som svar på stimuli som presenteras även i avsaknad av motivation tills det cachade värdet som driver beteendet uppdateras. I TD-modeller justerar temperaturparametern i vilken grad värden snedvrider beteendet utan hänsyn till källan till dessa värden, dvs. om de är en del av ett cachesystem, ett modellfritt system eller ett modellbaserat system. Frågan uppstår då om dopaminregleringen av utforska-utnyttja, som föreslås här, gäller lika för både det vane- och det målinriktade systemet, en fråga vi inte kan besvara. I den mån minskad dopamin kan inducera exploatering, sparsamhet och bevarande, kan ökad kontroll som tidigare lärande har över beteende, belönings-/energifattiga miljöer och hypodopaminergi, genom att öka inflytandet av etablerat lärande och värderingar på beteende, öka den kontroll som utövas av vanebaserade system, även om detta uppenbarligen kräver ytterligare undersökning.

Dopamin och skiftande energiutgifter: Återbesök GO- och NOGO-vägarna

Ett primärt mål för dopamin, allmänt förknippat med dopamins roll i både belöning och motorisk kontroll, är striatum (Albin et al., 1989, 1995; Alexander et al., 1990; Mink, 1996; Everitt och Robbins, 2005; Cagniard et al., 2006b; Balleine et al., 2007; Nicola, 2007; DeLong och Wichmann, 2009; Klokt, 2009; Haber och Knutson, 2010; Humphries and Prescott, 2010; Sesack and Grace, 2010). Striatum är den huvudsakliga ingångspunkten för kortikala ingångar (Bolam et al., 2000) som bearbetas genom de basala ganglierna som så småningom återvänder till cortex, innefattande de välkända återinträdande kortikostriatala slingorna (Alexander et al., 1990; Alexander och Crutcher, 1990; Alexander, 1994; Middleton och Strick, 2000; Haber, 2003; Lehéricy et al., 2005). Kortikostriatal bearbetning sker genom två parallella vägar (exklusive den hyperdirekta vägen), den direkta och indirekta som underlättar och hämmar kortikostriatal genomströmning (Albin et al., 1995; Mink, 1996), som ibland kallas GO- och NOGO-vägarna (Cohen och Frank, 2009). GO-vägen uttrycker övervägande D1 medan NOGO uttrycker D2 (Surmeier et al., 2007) så att en ökning av dopaminaktivitet ökar aktiviteten i den underlättande GO-vägen och minskar aktiviteten i den hämmande NOGO-vägen. Omvänt resulterar minskat dopamin i mindre GO-aktivitet och ökad NOGO-aktivitet, en idé som är central för klassiska modeller av motorisk avmattning vid Parkinsons sjukdom (Albin et al., 1989; Mink, 1996). Den klassiska funktionella förklaringen för denna dubbelvägsarkitektur är "fokuserat urval", idén att GO-banan isolerar och underlättar en utvald motorisk åtgärd medan NOGO-banan hämmar konkurrerande handlingar och främmande brus, vilket möjliggör ett rent utförande av åtgärder (Mink, 1996).

Samma arkitektur kan emellertid tolkas som en effektormekanism för att reglera energiförbrukning. Genom att förskjuta balansen mellan GO- och NOGO-vägarna reglerar dopamin både den totala genomströmningen i det kortikostriatala systemet och modulerar dess selektivitet ( Beeler, 2011 ). Mer specifikt gynnar ökad dopamin GO-vägen och minskar NOGO-vägen. Detta resulterar i större total kortikostriatal genomströmning och större utforskning eftersom de potentiella åtgärder som representeras i kortikostriatalt input till GO-vägen möter mindre motstånd i den hämmande NOGO-vägen, vilket minskar begränsningarna för att välja åtgärder. Däremot, när dopamin minskar, finns det större hämmande NOGO-aktivitet vilket resulterar i totalt sett mindre kortikostriatal genomströmning och större utnyttjande eftersom de åtgärder som väljs genom GO-vägen måste vara tillräckligt starka för att övervinna NOGO-vägens hämmande inflytande (för ett lärandeperspektiv på detta, se Frank et al., 2009 ). Detta ger en grund för att förstå hur förhöjt dopamin kan öka aktiviteten totalt sett samt minska selektiviteten för den aktiviteten, dvs. öka energiförbrukning och utforskning. Däremot skulle minskad dopamin minska den totala aktiviteten men öka selektiviteten, vilket resulterar i minskad energiförbrukning och ökat utnyttjande (Figur 2 ). En mer detaljerad diskussion om dopamins roll(er) i att modulera kortikostriatal genomströmning finns på annan plats ( Beeler, 2011 ). Denna dubbla signalvägsarkitektur ger således en potentiell grund för att modulera energiförbrukningen längs de två beskrivna axlarna: att reglera den övergripande, generaliserade aktiviteten (bevara-förbruka) å ena sidan och att reglera i vilken grad tidigare lärande om belöning utnyttjas, utforska-utnyttja-axlarna.

Dopamin och dess olika mål: Orchestration eller evolutionär Bric-a-Brac?

I föregående avsnitt fokuserar vi på dopaminverkan i striatum, allmänt tolkad som ett primärt substrat för förstärkningsinlärning och inblandad i både motivation och motorisk kontroll. Dopamin projicerar emellertid brett över hjärnan, med viktiga projektioner, till exempel till den prefrontala cortex. Bortsett från de allmänt studerade nigrostriatala och mesoaccumbens vägarna, som projiceras till dorsala och ventrala striatum och förknippas med motorisk kontroll och vana respektive motivation, finns det mycket mindre studerade dopaminkärnor, inklusive de som är associerade med hypotalamus, som alla kan (eller kanske inte) bidra till energihushållning på potentiellt olika sätt. Utvecklingen av en hypotes om dopamin och energihantering kräver att man frågar hur dopaminmodulering i olika mål kan bidra till samordnad energihantering. I det här läget kan vi inte rimligen spekulera i denna fråga.

Att reflektera över denna fråga väcker dock frågan om det verkligen finns någon övergripande "funktion" för dopamin överhuvudtaget? Eller har dopamin förvärvat olika, orelaterade funktioner så att idén om att hitta "dopamins" funktion representerar ett dumt ärende: kanske de dopaminfunktioner vi observerar idag utvecklats som ett lapptäcke, evolutionärt krimskrams, en opportunistisk samling av lyckosamma anpassningar. Från litteraturen får man känslan av att många tror att det finns en övergripande, storslagen funktion för dopamin – oftast "belönings"-bearbetning, i någon form. Det verkar inte orimligt att tro att när en neurotransmittors funktion utvecklas och omvandlas under evolutionens gång, uppstår dessa utarbetningar som variationer på ett tema, en ytterligare förbättring av någon funktion som redan har gett adaptiv kondition. Även om en sådan uppfattning i slutändan visar sig vara falsk, kan sökandet efter en "gemensam tråd" bland till synes olika, orelaterade funktioner ge djupare insikt i hur dessa till synes olikartade funktioner samverkar för att bidra till beteendeanpassning. ”Att förmedla belöning”, hur brett och tvetydigt det än är, har fungerat som denna gemensamma nämnare i mycket av litteraturen och har gett rika resultat. Här föreslår vi en alternativ, övergripande funktion, energihantering.

För att återgå till frågan om hur dopaminverkan på olika neurala substrat kan bidra till energihantering, kan vi bara reflektera över frågan ur vår hypotes perspektiv. Energihantering utgör en grundläggande biologisk process, ungefär som reproduktion, tillväxt och stressreaktion, och kräver samordnad aktivitet över flera substrat som svar på yttre förhållanden, på ett sätt som belöning, en händelse i den yttre världen, kanske inte gör det. Denna samordnade orkestrering av flera substrat mot ett enda mål eller syfte är karakteristisk för hormoner, såsom reproduktions- eller stresshormoner. Med tanke på dopamins diffusa projektioner och åtgärder på flera mål är det frestande att överväga tanken att dopamin kan ha utvecklat en hormonliknande funktion för att koordinera flera neurala substrat och orkestrera beteende optimalt anpassat till den rådande energimiljön i vilken organismen befinner sig. Även om det visserligen är brett och spekulativt (men se Ugrumov et al., 2012 ), är det intressant att fråga sig hur dopaminmodulering i dorsal kontra ventral striatum, eller i prefrontal cortex kontra hypotalamus, kan representera samordningen av olika neurala substrat med olika funktioner mot ett enda syfte, att anpassa beteendet till den energimiljö där organismen måste arbeta för sin överlevnad.

Dopamin och fetma: ett alternativt perspektiv

Under de senaste åren har det varit ett ökat fokus på dopamins roll vid fetma med flera högprofilerade tidningar som liknar överätande med ett matberoende (Volkow och Wise, 2005; Trinko et al., 2007; Avena et al., 2008; Corwin och Grigson, 2009; Dagher, 2009; Davis och Carter, 2009; Ifland et al., 2009; Pelchat, 2009; Johnson och Kenny, 2010; Volkow et al., 2010). Dessa teorier fokuserar på dopamins roll i att förmedla belöningsprocesser, vilket tyder på att i moderna västerländska kulturer där mycket välsmakande livsmedel är lättillgängliga, fungerar dessa välsmakande livsmedel på samma sätt som missbruksdroger och inducerar ökad "vilja" som leder till en förlust av kontroll överkonsumtion, trots, som en missbrukare, individuella avsikter att minska kaloriintaget (Berridge et al., 2010; Berthoud et al., 2011). Det finns två motsatta synsätt på detta (Davis et al., 2007; Davis och Carter, 2009). I den första, ökat dopaminerg funktion som härrör från eskalerande förstärkning i samband med välsmakande mat leder till ökad motivation som åsidosätter normal homeostatisk kontroll (Finlayson et al., 2007; Zheng et al., 2009; Avena och Bocarsly, 2011). I huvudsak tappar vi kontrollen inför riktigt välsmakande mat, en effekt som tros förmedlas av den ihållande överaktiveringen av dopamin. Däremot har en "belöningsbrist"-hypotes föreslagits där en underskott i dopaminfunktionen resulterar i minskad belöningssignalering som genererar överdriven konsumtion när personen eller djuret försöker "fylla belöningstomrummet" (Wang et al., 2004; Geiger et al., 2009; Kenny, 2010).

Inom den nuvarande hypotesen antar vi att ökad dopaminnivå underlättar större energiförbrukning och utforskning, dvs. mindre påverkan av beteendemässiga val genom belöning, vilket gynnar mindre energilagring och ger skydd mot fetma, vilket överensstämmer med de välkända effekterna av psykostimulantia för att inducera viktminskning ( Vanina et al., 2002 ; Leddy et al., 2004 ). Däremot inducerar minskad dopaminnivå energibesparing och -exploatering, dvs. större påverkan av beteende genom belöning. I detta fall gynnas energiförbrukning och -lagring, vilket resulterar i överätning och viktökning. Det är värt att notera att antipsykotika som motverkar dopamin (främst D2) i motsats till psykostimulantia konsekvent har associerats med viktökning i årtionden ( Allison och Casey, 2001 ; Vanina et al., 2002 ), även om de exakta mekanismerna fortfarande är osäkra.

Leptin, insulin och dopamin: Avstämning av resurser och utgifter

Observationer av minskad dopaminfunktion vid fetma, särskilt minskat uttryck av D2-receptorer, har genererat hypotesen om belöningsbrist ( Blum et al., 2000 , 2011 ) där överkonsumtion drivs av ett försök att kompensera för minskad belöningssignalering. I den hypotes som föreslås här skulle vi omtolka dessa data. När dopaminfunktionen är reducerad gynnar detta energibesparing och utnyttjande av belöningsinformation: det vill säga "konsumera och röra på dig så lite som möjligt", ett uppenbart recept för fetma.

Motiverande dissociation: behöva utan att "vilja"

Årtionden av elegant arbete har utan tvekan visat att cirkulerande hormoner som signalerar energitillförsel, särskilt insulin och leptin, bidrar till regleringen av konsumtion och kroppsvikt genom effekter på det centrala nervsystemet [se Figlewicz och Sipols, 2010 för en utmärkt översikt]. I överensstämmelse med sin roll i att mediera homeostatisk energibalans verkar leptin och insulin på flera mål i hypotalamus som är involverade i regleringen av födointag, inklusive NPY, POMC, α-MSH och AgRP ( Figlewicz och Sipols, 2010 ). Dessa observationer överensstämmer med teorier om drivkraftsreduktion inom motivation, där energiunderskott eller -överskott främjar respektive hämmar konsumtion.

Den dramatiska ökningen av fetma de senaste åren (Ford och Mokdad, 2008), väcker dock frågan om varför dessa homeostatiska mekanismer uppenbarligen misslyckas. Det anses allmänt att mellanhjärnans dopaminsystem som förmedlar incitamentmotivation – motivation som uppstår från belöningsvärdet förknippat med stimuli (inklusive mat) snarare än från behovstillstånd – förmedlar detta homeostatiska misslyckande genom att främja så kallad icke-homeostatisk eller hedonisk matning (Saper et al., 2002; Zheng och Berthoud, 2007; Lutter and Nestler, 2009; Zheng et al., 2009; Berthoud et al., 2011). Betydande bevis tyder på att både leptin och insulin kan modulera mellanhjärnans dopaminfunktion (Krügel et al., 2003; Fulton et al., 2006; Hommel et al., 2006; Roseberry et al., 2007; Leinninger et al., 2009) och ändra matjakt och konsumtion (Sipols et al., 2000; Figlewicz et al., 2001, 2004, 2008, 2006; Hommel et al., 2006; Morton et al., 2009; Davis et al., 2010b).

Enligt den rådande uppfattningen verkar en hel del data tyda på att både insulin och leptin minskar dopaminfunktionen, vilket i sin tur minskar den stimulansdrivna jakten och konsumtionen av mat. I huvudsak representerar leptin och insulin, genom att signalera tillräcklig energi, en funktionell mättnadssignal som minskar belöningen förknippad med mat (Morton et al., 2009; Davis et al., 2010b; Figlewicz och Sipols, 2010; Opland et al., 2010; Vucetic och Reyes, 2010). Omvänt, när energin är låg, minskar leptin och insulin, vilket avhämtar dopamin och främjar ökad incitament/belöningsdriven matsökning. Denna allmänna idé överensstämmer med data som visar att ökad leptin och insulin minskar belöningsdrivet beteende (Carr et al., 2000; Fulton et al., 2000; Sipols et al., 2000; Figlewicz et al., 2004, 2006, 2007; Hommel et al., 2006; Farooqi et al., 2007; Rosenbaum et al., 2008; Morton et al., 2009) och, omvänt, den matrestriktion som är förknippad med minskat leptin/insulin (Havel, 2000), ökar belöningsdrivet beteende (Carroll och Meisch, 1980; Carr, 2007, 2011; Davis et al., 2010a). Kort sagt, genom att reglera dopaminfunktionen upp och ned, modulerar leptin och insulin incitamentet som är förknippat med mat och belönar möjligen känslighet generellt (Morton et al., 2006; Davis et al., 2010a). Även om denna redogörelse för leptin och dopamin är intuitiv, kan historien ändå vara mer komplex (Palmiter, 2007).

I samband med fetma är förhållandet mellan leptin/insulin, dopamin och belöningsbeteende paradoxalt och överensstämmer inte med idén som just beskrivits. För det första, snarare än den förväntade ökningen av leptin/insulinsignalering i proportion till ökat kaloriintag och fett, har fetma associerats med minskad känslighet för leptin/insulin (Arase et al., 1988; Lin et al., 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Enriori et al., 2007; Davis et al., 2010a; Figlewicz och Sipols, 2010; Koek et al., 2012). För det andra, även om vi kan förvänta oss att denna observerade minskning av leptin/insulinkänslighet kommer att resultera i ökad dopaminfunktion, analogt med minskade leptin/insulinsignaler vid matrestriktion, rapporterar de flesta studier minskade dopaminfunktion vid fetma (Di Chiara et al., 1998; Wang et al., 2001a; Davis et al., 2008; Geiger et al., 2008, 2009; Li et al., 2009; Vucetic och Reyes, 2010). Slutligen kan man förvänta sig att minskad dopaminerg funktion leder till minskad konsumtion, vilket bevisen som citeras ovan antyder. Istället uppstår minskat dopamin och hyperfagi samtidigt. Vid fetma vänds alltså leptin/insulin -> dopamin -> belöningskedja vid varje steg.

De två första inversionerna belyser en kritisk skillnad mellan akut och kronisk positiv energibalans. Minskad känslighet för leptin/insulin tros allmänt uppstå som en konsekvens av kronisk positiv energibalans, vilket leder till fetma och metabola störningar, och representerar en patologisk anpassning. Den paradoxala minskningen av dopaminfunktion i samband med fetma trots minskad känslighet för leptin/insulin är sannolikt också en (patologisk) anpassning, vilket ofta föreslås i teorier som liknar fetma vid beroende ( Volkow och Wise, 2005 ; Trinko et al., 2007 ; Avena et al., 2009 ; Lutter och Nestler, 2009 ; Avena och Bocarsly, 2011 ). Detta komplicerar allvarligt undersökningen eftersom det innebär att för varje observation av ett samband mellan energiintag, leptin/insulin och dopamin måste vi fråga oss "återspeglar denna observation normal funktion eller patologisk anpassning?". Denna situation ökar risken för att dra felaktiga slutsatser om normal funktion från patologiska tillstånd och vice versa, en fråga som behandlas nedan (avsnittet om burinducerad fetma).

Den tredje inversionen – att minskad dopaminfunktion i samband med fetma främjar snarare än hämmar konsumtion – motsäger ytligt sett hela uppfattningen att dopamin ökar incitamentsvärdet. Detta kan dock återspegla komplexiteten hos neurala substrat som styr konsumtionen. I synnerhet kan minskad incitamentsmotivation och hyperfagi samexistera. Davis et al. ( Davis et al., 2010b ) tillhandahåller nyligen data som tyder på att leptin modulerar dopamin genom två mekanismer: direkt signalering genom leptinreceptorer på dopaminceller i mitthjärnan och indirekt genom leptinuttryckande neuroner i den laterala hypotalamus för att modulera dopamincellaktivitet. De föreslår att leptins effekter på LH reglerar homeostatisk motivation medan dess effekter på dopamin i mitthjärnan reglerar ansträngningsfull respons. Även om dessa två mekanismer normalt sett fungerar tillsammans, kan de bli dissocierade så att konsumtion och villighet att arbeta för mat inte korrelerar (t.ex. Greenwood et al., 1974 ; Salamone et al., 1991 ; Baldo et al., 2002 ; Davis et al., 2010b ; Rasmussen et al., 2010 ). Om icke-homeostatisk födointag är en ansträngning för att få tag på mat – att ”vilja” – i frånvaro av behov ( Berridge et al., 2010 ), kan den patologiska anpassningen av leptin/insulin/dopamin till fetma återspegla motsatsen: ett upplevt behov av att konsumera mat utan att anstränga sig, att behöva utan att ”vilja”.

Dopamin och energihomeostas: ett utgiftscentrerat perspektiv

Detta arbete som beskrivs ovan fokuserar nästan uteslutande på konsumtion, intagssidan av energibalansen. Leptin, även om det är mindre systematiskt undersökt, spelar också en roll för att reglera energiförbrukningen (Pelleymounter et al., 1995; Williams et al., 2001; Elmquist et al., 2005; Ludwig et al., 2005; van de Wall et al., 2008; Leinninger et al., 2011; Ribeiro et al., 2011). Men trots dopamins välkända roll för att reglera aktivitet, är lite känt om hur interaktionerna mellan leptin, insulin och dopamin modulerar aktivitet och energiförbrukning. Ur energiförbrukningsperspektiv kan man förvänta sig att leptin/insulin, som signalerar energitillgänglighet, skulle öka energiförbrukningen och öka aktiviteten (Ribeiro et al., 2011)—”if you got it, use it”—vilket inte stämmer överens med observationer om att leptin minskar dopaminfunktionen. Men det senaste arbetet (Leinninger et al., 2009; Opland et al., 2010) antyder att förhållandet mellan leptin och dopamin kanske inte är enkelt och enkelriktat. Leinninger och kollegor föreslår att leptin verkar på LH ökar dopaminfunktion (Leinninger et al., 2009) medan aktivering av leptinreceptorer på dopaminceller minskar dopaminfunktionen (Hommel et al., 2006; Figlewicz och Benoit, 2009). Leshan et al. (2010) tyder på att dopamincellerna som uttrycker leptinreceptorer representerar en liten (~10%) subpopulation som projicerar nästan uteslutande till den centrala kärnan av amygdala. När leptin ökar från ett överskott av energi, kan dess primära effekt på dopamin, via LH, vara att öka dopamin fungerar och ökar aktivitet och energiförbrukning, som observerats av Ribeiro och kollegor (Ribeiro et al., 2011): energi är tillgänglig, använd den. Dopamincellerna och projektionen som direkt uttrycker leptinreceptorer kan spela en annan roll i aptiten inlärning— associerad med CeN (Holland och Gallagher, 1993; Parkinson et al., 2000; Connor et al., 2001; Baxter och Murray, 2002; Lee et al., 2005; Paton et al., 2006; El-Amamy och Holland, 2007)—en spännande idé utanför ramen för den aktuella diskussionen. I den hypotes som föreslås här, förbättrar denna leptinmedierade ökning av dopamin inte belöningen, utan förskjuter snarare regleringen av aktiviteten mot större utgifter och större utforskning. Större utforskning resulterar i en uppenbar minskning av belöningskänslighet/incitament som beteende är mindre partisk genom belöning, även om det är viktigt, fortfarande motiverad.

Den belöningscentrerade synen på dopamin placerar upp- eller nedregleringen av belöning och incitamentsmotivation som dopamins primära bidrag till energihomeostas och fetma. Den nuvarande hypotesen centrerar dopamins roll på energiförbrukning och antyder att tillgänglig energi normalt ökar dopamin vilket resulterar i ökad aktivitet och utforskning, där belöningens inverkan på beteendemässiga val faktiskt minskar. Omvänt skulle låg energi minska dopamin, vilket resulterar i energibesparing och utnyttjande av belöningsinformation, det vill säga öka belöningens inverkan på beteende. Det senare överensstämmer med observationer som ofta citeras för att stödja hypotesen om "belöningsbrist", men här tolkar vi dessa data som att de återspeglar ett "belöningsutnyttjande överskott". Denna hypotes skulle antyda att högt kaloriintag bör öka dopamin och, genom ökad aktivitet, vara skyddande mot fetma. Denna förmodade mekanism verkar dock inte vara mer framgångsrik än homeostatiska mekanismer för att förebygga fetma i vår nuvarande miljö. Varför?

Motverka energiutgifter: Fetma orsakad av bås och bur

Denna hypotes skulle förutsäga att en god tillgång på energi, vilket generellt är fallet i moderna västerländska samhällen, skulle öka dopamin och underlätta energiförbrukningen, vilket skulle ge skydd mot fetma. Avgörande är att denna effekt är beroende av möjligheten att förbruka energi. Dietinducerad fetma (DIO) hos gnagare som utfodras med fettrika och kaloririka dieter är en vanlig modell för miljöinducerad fetma. Även om det i stor utsträckning tolkas som en modell för fetmaframkallande miljöer, blir gnagare på sådana dieter inte universellt överviktiga, utan uppvisar grader av resistens som varierar mellan stammar ( Brownlow et al., 1996 ; Funkat et al., 2004 ; Novak et al., 2010 ) och mellan individer, vilket utgör grunden för selektiv avel av fetmakänsliga och resistenta gnagare ( Levin, 2010 ). Att bedöma rollen av dopaminmedierade effekter på energiförbrukningen vid DIO är svårt eftersom frågan inte har undersökts direkt.

Även om hjullöpning har visat sig skydda mot DIO i flera modeller av fetma ( Zachwieja et al., 1997 ; Levin och Dunn-Meynell, 2004 ; Bi, 2005 ; Moran och Bi, 2006b ; Patterson et al., 2008 , 2009 ; Meek et al., 2010 ; Novak et al., 2010 ), har i vilken utsträckning sådan skyddande frivillig aktivitet moduleras av dopamin inte undersökts direkt i dessa studier. Fetmabenägna OLEF-råttor uppvisar kraftigt minskad fetma när de har löpande hjul ( Bi, 2005 ). Intressant nog är måltidsmönstret hos dessa råttor, jämfört med kontrollgruppen, analogt med vad vi observerar hos DAT-mössen: de konsumerar större men färre måltider, även om deras nettokonsumtion, till skillnad från DAT, är förhöjd ( Moran och Bi, 2006a , s. 12-14, figur 2). Yngre, icke-diabetiska OLETF-råttor uppvisar ökad extracellulär dopamin, vilket överensstämmer med DAT-måltidsmönstringsfenotypen ( Anderzhanova et al., 2007 ). Vid mer avancerad prediabetisk och diabetisk ålder uppvisar de dock en dramatisk minskning av dopamin ( Anderzhanova et al., 2007 ). En tolkning av dessa data är att förhöjda dopaminnivåer hos dessa råttor predisponerar dem för större energiintag och -förbrukning, men i avsaknad av frivilliga träningsmöjligheter blockeras den ökade energiförbrukningen, vilket resulterar i energiobalans, fetma och metabolisk störning.

Vissa studier har visat att dieter med hög fetthalt/kalori minskar dopaminfunktionen, inklusive minskad TH, minskad stimulerad dopaminfrisättning och minskat uttryck av D2-receptorer (Geiger et al., 2008, 2009). Huruvida den observerade minskningen av dopaminfunktionen uppstår som en direkt konsekvens av den ökade tillgången på energi eller sekundärt till annan patofysiologi är dock oklart. Specifikt har dieter med hög fetthalt/kalori förknippats med leptin- och/eller insulinokänslighet (Arase et al., 1988; Lin et al., 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Davis et al., 2010a; Figlewicz och Sipols, 2010). Detta gör det svårt att tolka förändringar i dopaminfunktionen som svar på DIO. Till exempel, även om minskad D2-funktion har rapporterats med DIO, inträffar dessa observationer i allmänhet efter många veckors diet med hög fetthalt, vilket introducerar möjligheten att dessa förändringar uppstår sekundärt till kroniskt förhöjt leptin och insulin och efterföljande leptin/insulin-okänslighet. Tyvärr behandlas denna möjlighet sällan och insulin/leptinnivåer rapporteras vanligtvis inte. Men i en studie som undersökte D2- och DAT-uttryck efter 20 dagars HF-diet och rapporterade insulin/leptinnivåer, observerade författarna en minskning av DAT och en öka i D2 (South och Huang, 2007; se även Huang et al., 2005), båda överensstämmer med ökad aktivitet. I en nyare studie observerar samma författare en ökning av dopaminsystemets funktion när råttor byter från chow till högenergidiet (South et al., 2012). Dessa data tyder på att inledande svar på hög fetthalt och ökad kaloritillgänglighet är att öka dopamin och öka uttryck av den disinhiberande D2-receptorn, vilket inducerar större aktivitet. För att svara på frågan om hur dopaminsystemet reagerar på ett överflöd av tillgängliga kalorier, är det viktigt att disambiguera inledande från kronisk svar och bedöma i vilken grad patologiska anpassningar, såsom leptin okänslighet, är närvarande.

I vilken grad beror de förändringar som observeras i dopaminsystemet under DIO inte på själva kaloririk diet utan på brist på möjligheter till träning? Det vill säga, i observationer av minskad dopaminfunktion i samband med DIO kan vi fråga oss inte bara i vilken utsträckning detta återspeglar en patologisk anpassning, utan också i vilken grad bristande möjlighet till frivillig energiförbrukning bidrar till denna patologi? Det finns bevis som tyder på att hjullöpning kan förändra dopaminsystemets funktionella egenskaper ( MacRae et al., 1987 ; Sabol et al., 1990 ; Hattori et al., 1993 , 1994 ; Wilson och Marsden, 1995 ; Liste et al., 1997 ; Meeusen et al., 1997 ; Foley och Fleshner, 2008 ; Greenwood et al., 2011 ), inklusive ökad extracellulär dopamin, ökad omsättning, förhöjt TH mRNA och förändringar i D2-uttryck. I en nyligen genomförd studie som differentierade mellan postsynaptisk D2 och autoreceptorer, fann man att autoreceptorerna var nedreglerade och den postsynaptiska D2 uppreglerade ( Foley och Fleshner, 2008 ). Dessutom kan frivillig aktivitet mildra patologiska anpassningar i leptin- och insulinsignalering som indirekt kan skydda dopaminfunktionen ( Krawczewski Carhuatanta et al., 2011 ). Således kan frivillig träning förbättra den minskade dopaminfunktionen som observerats vid DIO, även om detta inte har undersökts systematiskt.

I den hypotes som föreslås här skulle ökad tillgång på energi, via uppreglering av dopaminmedierad beteendeaktivitet, resultera i ökad utforskning och energiförbrukning, vilket gör det möjligt för djuret att dra nytta av en riklig energiförsörjning och skydda mot fetma. I den mån DIO-paradigmet inte ger möjlighet till utforskning och energiförbrukning genom att begränsa gnagare till små burar med liten eller ingen nyhet, stimulans eller motionsmöjligheter, kan det återspegla konsekvenserna av att motverka energiförbrukningen under förhållanden med energiöverflöd. Många har föreslagit att stillasittande livsstilar som är karakteristiska för moderna västerländska kulturer kan bidra till fetma lika mycket eller mer än kosten ( Powell och Blair, 1994 ; Booth et al., 2000 ; Hill et al., 2003 ; Chakravarthy och Booth, 2004 ; Levin och Dunn-Meynell, 2004 ; Warburton et al., 2006 ; Booth och Lees, 2007 ; Elder och Roberts, 2007 ; Hawley och Holloszy, 2009 ; Chaput et al., 2011 ), vilket gör DIO (inaktiv fetma) mycket relevant för att förstå fetma i moderna samhällen. Huruvida den inducerade fetman uppstår från ökat kaloriintag eller från brist på meningsfulla möjligheter att förbruka energi – bur- eller "kubikula"-inducerad fetma – är dock fortfarande oklart. Likaså, även om det allmänt föreslagits att dopamin bidrar till DIO genom att modulera belöning och aptitmotivation, förblir dess potentiella bidrag genom att modulera energiförbrukning i stort sett outforskat och, i det konventionella DIO-paradigmet, dolt.

Framtida riktningar: Omformulering av forskningsstrategier

Belöningshypotesen kring dopamin har dominerat forskning och tänkande kring dopamin; experiment utformas vanligtvis inom detta konceptuella ramverk. Som en konsekvens saknas oftast den information som krävs för att utvärdera den föreslagna hypotesen. Ofta ignoreras aktivitetsnivåer helt enkelt. Detta sträcker sig från breda, övergripande undersökningar där det finns en djupgående bias mot att studera aptitbeteende och konsumtion, med nyligen en ny litteratur om mekanismer som styr frivillig energiförbrukning, till specifika experiment, såsom många DIO-studier där aktivitet inte mäts eller beaktas alls [t.ex. Geiger et al., 2008 , 2009 ]. Denna bias mot belöningsteorier återspeglas också i litteraturen där utarbetade och sofistikerade vägar som styr intag och/eller belöning har kartlagts i stor utsträckning, medan en jämförbar kartläggning av mekanismer och vägar som reglerar frivillig aktivitet är praktiskt taget obefintlig (men se Garland et al., 2011 ). Integrering av systematiska och överenskomna aktivitetsmått behöver rutinmässigt integreras i studier av dopaminfunktion.

För det andra är anpassning miljöberoende. För närvarande undersöker den stora majoriteten av djurstudier effektivt en energiekonomi: periodisk, tillfällig matbrist som uppstår på grund av matrestriktioner som används för att motivera djur. Detta misslyckas inte bara med att återspegla de olika förhållanden som ett djur måste anpassa sig till, utan det återspeglar inte heller det primära tillstånd som tros ligga bakom ökningen av fetma, vilket är en miljö av överflöd, inte brist. En semi-naturalistisk hemmabursmetod, som illustreras av vårt arbete såväl som andras ( Hursh et al., 1988 ; Chaney och Rowland, 2008 ), är avgörande för att få en "komplett" bild av dopaminfunktionen. I sådana hemmabursparadigmer kan miljökontingenterna kontrolleras längs olika dimensioner under en längre period utan behov av artificiellt inducerade energibrister (dvs. matrestriktioner) eller införande av artificiella tidshorisonter (timsessionen); det vill säga att djurets självreglerade beteende som svar på sin omgivning kan undersökas mer fullständigt.

För det tredje fokuserar praktiskt taget allt arbete på påverkan av förändrat dopamin på beteende med liten undersökning av hur beteendemässiga interaktioner med miljön och efterföljande resultat förändrar själva dopaminsystemet. Dessa typer av studier är visserligen utmanande, vilket framgår av litteraturen om hur stress förändrar dopaminfunktionen. Icke desto mindre verkar de vara avgörande för att fullt ut förstå dopamins adaptiva funktion. Upp- eller nedreglerar en varaktig miljö av överflöd eller brist dopaminfunktionen? Även om frågan mycket väl kan vara kritisk, finns det inget tydligt eller övertygande svar hittills och frågan ställs sällan.

Slutsatser: En bredare syn

Här utvecklar vi en bred hypotes om dopaminfunktion som antyder att dopamins otaliga skenbara funktioner kan förstås kollektivt som mekanismer genom vilka energiförbrukningen anpassas till den energiekonomi som djuret befinner sig i: ett substrat för att förena strävan efter belöning med Resurser. Vi utarbetade först denna hypotes i teoretiska termer och försökte integrera olika synpunkter på dopaminfunktion i ett bredare ramverk för energihantering. Vi tillämpade sedan detta ramverk för att omtolka idéer och data inom det växande området dopamin och fetma. Vi föreslår den nya hypotesen att dopamin, genom att gynna energiförbrukning, normalt skulle vara skyddande mot fetma men att det moderna samhällets stillasittande livsstil hämmar denna skyddsprocess och framkallar patologiska anpassningar som bidrar till snarare än skyddar mot fetma. Även om det ligger utanför ramen för den aktuella diskussionen tror vi att ramverket som skisseras här i stora drag kan tillämpas fruktbart på andra forskningsområden inom dopamin, inklusive hyperaktivitetsstörning med uppmärksamhetsbrist och beroende, vilket potentiellt kan ge nya insikter och testbara hypoteser.

Belöning – kopplingen av yttre händelser och stimuli till interna behov – representerar helt klart en kritisk funktion ur en evolutionär, adaptiv synvinkel. Men belöning och värde är i grunden relativa. Vad är måttstocken för vilken belöning moduleras? Här föreslår vi att dopaminsystemet, i grunden, uppstod för att ta itu med en ännu mer grundläggande funktion än belöning: optimalt utnyttjande av energiresurser, själva hjärtat av adaptiv överlevnad och, bokstavligen, en fråga om liv eller död.

Intresseanmälan

Författarna förklarar att forskningen genomfördes i avsaknad av kommersiella eller finansiella relationer som kan tolkas som en potentiell intressekonflikt.

Erkännanden

Detta arbete stöddes av NIDA R01DA25875 (Jeff A. Beeler), F31DA026802 (Cristianne RM Frazier), R01GM100768 (Xiaoxi Zhuang) och R56DK088515 (Xiaoxi Zhuang). Vi vill tacka recensenterna för deras rigorösa och insiktsfulla kommentarer som avsevärt förbättrade det slutliga manuskriptet.

Referensprojekt

Redigerad av:

John J. Foxe , Albert Einstein College of Medicine, USA

Recenserad av:

Thomas A. Stalnaker, University of Maryland School of Medicine Baltimore, USA
John D. Salamone, University of Connecticut, USA