Colocando o desejo em um orçamento: gastos com dopamina e energia, conciliando recompensa e recursos (2012)

Jeff A. Beeler¹*, Cristianne RM Frazier² e Xiaoxi Zhuang^1,2

Introdução

A idéia de que a função primária da dopamina é mediar a recompensa é generalizada. Embora haja controvérsias sobre como a dopamina pode contribuir para recompensar - ou mesmo seCanhão e Palmitador, 2003; Sábio, 2004; Berridge, 2007; Goto et al., 2007; Robbins e Roberts, 2007; Salamone, 2007; Schultz, 2007; Redgrave e outros, 2008), recompensar como uma metáfora organizadora da função da dopamina é tão onipresente quanto muitas vezes ser tratada como fato, uma tendência especialmente pronunciada dentro da literatura sobre obesidade e alimentação onde a mesencéfalo da dopamina é efetivamente equacionada com a recompensa (por exemplo, Kenny, 2010; Volkow et al., 2010; Avena e Bocarsly, 2011; Berthoud et al., 2011). Entretanto, décadas de pesquisa documentaram indiscutivelmente um papel claro da dopamina na atividade moduladora, melhor ilustrada pelas propriedades psicoestimulantes de drogas que aumentam a sinalização da dopamina. Salamone e seus colegas argumentam há muito tempo que o efeito primário da dopamina é regular a atividade de esforço, permitindo que um animal supere os custos de resposta associados à busca de estímulos valiosos (Salamone, 2009, 2011). Mais recentemente, estudos genéticos explorando genes potenciais que regulam a atividade voluntária apontaram para genes relacionados à dopamina, com alguns autores sugerindo que a dopamina pode representar um "caminho final comum" no controle da atividade voluntária (Leamy et al., 2008; Kelly et al., 2010; Knab e Lightfoot, 2010; Mathes e outros, 2010; Garland e outros, 2011). Apesar de dados convincentes e substanciais que sugerem que a dopamina desempenha um papel fundamental no gasto de energia, essa visão da dopamina é ofuscada pela perspectiva da recompensa. Por exemplo, em muitos artigos discutindo dopamina e obesidade (Geiger et al., 2009; Berridge et al., 2010; Kenny, 2010; Berthoud et al., 2011), o papel da dopamina no gasto de energia nem mesmo é considerado, apesar do fato de que o gasto de energia representa conceitualmente a metade da equação do balanço de energia.

Até o momento, nenhuma estrutura convincente integrou esses dois domínios distintos de efeitos da dopamina e função putativa, a função de recompensa amplamente reconhecida e os efeitos menos proeminentes, mas igualmente demonstráveis, da dopamina sobre o gasto de energia e atividade. Os efeitos dopaminérgicos aparentes na atividade são frequentemente enquadrados como consequência de processos de recompensa. Por exemplo, o papel da dopamina na modulação do funcionamento voluntário de rodas em roedores foi proposto como resultado da modulação dopaminérgica da recompensa e reforço associados à corrida em roda (Garland e outros, 2011; Roberts e outros, 2011; Yang et al., 2012). Aqui nós desenvolvemos uma hipótese em que a função primária da dopamina é regular o gasto de energia. Especificamente, argumentamos que a dopamina serve como uma interface entre os ambientes interno e externo que combinam o gasto energético comportamental com a economia de energia ambiental prevalecente. Propomos que a dopamina regule o gasto energético em duas dimensões: (1) como muito energia a gastar (eixo conservar-gasto) e (2) como distribuir ou alocar energia para diferentes atividades (um eixo explorar-explorar, elaborado abaixo). Nessa visão, os efeitos relacionados à recompensa da dopamina surgem secundários e a serviço do gerenciamento adaptativo do gasto de energia. Somos profundamente gratos ao trabalho elegante de Salamone e ao foco obstinado no papel da dopamina na regulação do esforço e sua crítica persistente à hipótese de recompensa da dopamina. A presente hipótese representa uma integração e expansão de seus insights fundamentais em uma hipótese mais ampla em que a dopamina regula de forma adaptativa tanto o esforço quanto a recompensa - dimensionando o impacto do histórico de recompensa anterior no comportamento atual - com relação à disponibilidade de energia no ambiente.

Investigando a dopamina em um contexto adaptativo e semi-naturalista

A seguir, primeiro revisaremos estudos recentes de nosso laboratório que questionam a primazia da recompensa na modulação dopaminérgica do comportamento e destacam seu papel no gasto de energia. Posteriormente, elaboraremos uma hipótese de economia de energia da função da dopamina, revisando a literatura relevante. Vamos concluir com uma consideração da presente hipótese na investigação do papel da dopamina na obesidade. Infelizmente, o termo “recompensa” é abusado na literatura, como foi apontado por outros (Canhão, 2004; Salamone et al., 2005; Salamone, 2006; Yin et al., 2008). Em particular, a palavra é usada de forma imprecisa e ambígua para capturar conceitos diferentes, incluindo respostas afetivas (como gostar de algo), reforço (um resultado que aumenta a probabilidade do comportamento anterior ser repetido), estímulos que atendem a uma necessidade apetitiva (por exemplo, comida) e assim por diante. Na primeira parte desta revisão, nós (mal) usamos o termo amplamente, assim como é mal utilizado na literatura, como um termo abrangente para agrupar e capturar temas que permeiam a literatura, apesar de várias diferenças teóricas entre diferentes idéias. Posteriormente, definiremos a recompensa mais precisamente à medida que desenvolvemos nossa hipótese.

Dopamina Elevada: Diminuição do Acoplamento para Recompensa

Implícito nas perspectivas de recompensa da dopamina é a ideia de que a dopamina aumenta o impacto da recompensa no comportamento. Empiricamente, isso é apoiado por inúmeros estudos que mostram que o aumento da dopamina aumenta o esforço que um animal exerce em relação à recompensa, enquanto a diminuição da dopamina diminui o esforço (Wise et al., 1978; Taylor e Robbins, 1986; Aberman et al., 1998; Peciña et al., 2003; Kelley, 2004; Cagniard e outros, 2006a,b; Phillips e outros, 2007; Salamone, 2009, 2011). Esses dados cumulativos levaram muitos pesquisadores a concluir que a própria recompensa ou o incentivo associado aos estímulos relacionados à recompensa são reforçados pela dopamina. Alternativamente, a sensibilidade aos custos associados à obtenção da recompensa pode ser diminuída pelo aumento da dopamina (Phillips e outros, 2007; Salamone, 2011). O que é frequentemente inferido desses estudos, mesmo se seus autores se opõem inflexivelmente a tais interpretações (por exemplo, Salamone), é que a dopamina modula a relação entre recompensa e comportamento de tal forma que a dopamina aumenta o grau de preferência pelo preconceito. Por exemplo, Salamone argumenta que a dopamina não modula a recompensa; ele mostra que a dopamina facilita esforço. Assim, a busca de recompensa pelos animais é menos impedida pelo custo de resposta. Muitos interpretaram isso como o aumento do impacto da recompensa na escolha comportamental, não alterando a recompensa em si, mas alterando um fator - o custo de resposta - que normalmente restringe a busca por recompensa.

Para examinar como o aumento da dopamina altera a adaptação a um ambiente semi-naturalista, perguntamos se o aumento repetidamente observado na motivação por recompensa resultaria em menor flexibilidade comportamental (Beeler et al., 2010). Para testar isso, usamos um paradigma de gaiola onde os camundongos viviam em gaiolas operantes equipadas e toda a sua comida era obtida através de pressão de alavanca, 24 / 7. Nenhuma restrição alimentar foi empregada e os ratos foram autorizados a auto-regular o seu consumo. Duas alavancas produziam alimentos onde sempre era “barato” e exigiam um número baixo de prensas para um pellet (FR20), enquanto o outro sempre era “caro” e exigia um número maior de prensas que aumentavam à medida que a experiência progredia (FR40 – FR200) . Qual alavanca era qual, no entanto, comutada aleatoriamente a cada 20-40 min. Assim, para obter o maior retorno pelo esforço despendido, os ratos tiveram que monitorar o retorno da recompensa contínua e trocar periodicamente as alavancas para obter os pellets de menor custo. Foram testados camundongos C57BL / 6 (controle) e knock-down transportador de dopamina (DATkd) de tipo selvagem que possuem dopamina extracelular elevada e aumento da atividade de queima de dopamina tônica (Zhuang et al., 2001; Cagniard e outros, 2006b).

Descobrimos que os camundongos com dopamina elevada (DATkd) pressionaram significativamente mais na alavanca de alto custo do que os camundongos do tipo selvagem, consistente com a literatura anterior que mostra que a dopamina aumenta o esforço em direção à recompensa. No entanto, neste caso, o aumento do esforço não aumentou a recompensa, apenas a quantidade de esforço gasto em direção àquela recompensa. A análise detalhada dos dados mostra que o DATkd não era insensível ou ignorava as mudanças entre as alavancas, já que seu comportamento no peri-switch era essencialmente idêntico. A diferença surgiu durante os períodos estáveis ​​entre os interruptores de alavanca, onde os ratos DATkd distribuíam seu esforço igualmente para ambas as alavancas, enquanto os ratos do tipo selvagem preferencialmente pressionavam a alavanca barata. Para entender melhor a estratégia subjacente ao comportamento do DATkd, ajustamos os dados a um modelo de aprendizagem de diferenças temporais (TD) (Sutton e Barto, 1998). Nesses modelos, existem dois parâmetros-chave: uma taxa de aprendizado que controla a taxa na qual novas informações de recompensa são incorporadas (e desaparecem) o valor de pressionar a alavanca e uma “temperatura inversa” que controla o grau em que esse valor vieses escolha comportamental. O último parâmetro é frequentemente chamado de parâmetro explorar-explorar como um maior viés na exploração da aprendizagem, enquanto viés reduzido permite maior exploração (Sutton e Barto, 1998; Daw et al., 2006). Descobrimos que não houve diferenças entre os genótipos em relação à taxa de aprendizagem, consistente com a falta de diferenças de aprendizagem observadas em torno dos interruptores, mas que o DATkd exibiu uma temperatura inversa reduzida. Ou seja, havia um reduzido acoplamento entre o histórico de recompensas e suas escolhas comportamentais. À primeira vista, isso parece paradoxal. Embora os camundongos DATkd tenham trabalhado mais arduamente para obter recompensa, consistente com décadas de literatura, isso não parece surgir como consequência da recompensa exercendo um maior controle sobre seu comportamento. Pelo contrário, houve diminuição do acoplamento entre recompensa e escolha comportamental. Em vez de recompensar ter um maior efeito de polarização em seu comportamento, menos. O aumento da dopamina, sob essas condições, resultou em diminuição ao invés de aumento na exploração. Curiosamente, Salamone et al. (Salamone et al., 2001) demonstraram que ratos com depleções de dopamina no núcleo accumbens são mais dependente da recompensa recente para superar o custo da resposta, sugerindo o inverso sob dopamina aumentou acoplamento entre o histórico de recompensas e a escolha.

Dopamina Elevada: Modulação do Esforço Sem Consumo Aumentado

Outra ideia implícita na perspectiva de recompensa da dopamina é que a dopamina, aumentando o grau em que o comportamento de vieses de recompensa, regula o grau em que um animal buscará a recompensa; isso é isso dopamina media “querer”: mais dopamina, mais carência, mais perseguição (Robinson e Berridge, 1993; Leyton et al., 2002; Volkow et al., 2002; Tindell et al., 2005; Berridge et al., 2010). Este efeito da dopamina é central para muitas teorias do vício (Robinson e Berridge, 2001; Koob e Volkow, 2010) e, mais recentemente, as teorias da dopamina e da obesidade (Volkow e Wise, 2005; Finlayson e outros, 2007; Zheng et al., 2009; Berridge et al., 2010; Volkow et al., 2010; Avena e Bocarsly, 2011; Berthoud et al., 2011). Em outro estudo recente de homecage (Beeler et al., 2012a), perguntamos se, sob diferentes condições ambientais, esse aumento do “querer” poderia ser adaptativo. Para testar isso, nós novamente alojamos ratos em gaiolas domésticas equipadas com alavancas operantes, onde eles ganhavam toda a sua comida através da pressão da alavanca, novamente sem restrição explícita de alimentos. Nesse paradigma, apenas uma alavanca produzia alimentos e a demanda de trabalho por essa alavanca aumentava a cada 3 dias durante os experimentos, começando em FR5 e terminando em FR250. Isso produz uma curva de demanda que mostra o grau em que os ratos ajustam seu consumo diário ao custo atual dos pellets. Assumindo que a dopamina aumenta o valor da recompensa e / ou diminui a sensibilidade ao custo, esperamos que os camundongos DATkd com dopamina elevada se saiam melhor nesse paradigma e continuem pressionando mais a custos mais altos do que os camundongos selvagens. Embora o DATkd mostrasse um aumento moderado da pressão a custos mais altos, em geral eles exibiam o mesmo ajuste para os custos crescentes que os ratos do tipo selvagem, sem nenhuma diferença observada nas mudanças de peso corporal ou na sobrevivência dentro do experimento. Além disso, quando os dados foram ajustados a um modelo de elasticidade da demanda (Hursh e Silberberg, 2008), não houve diferença entre os genótipos na elasticidade. Então, onde foi o efeito da dopamina no esforço e na recompensa?

A análise dos dados individuais das refeições (ou seja, número, duração e tamanho das refeições) indica um grande efeito genotípico em que os camundongos DATkd comeram. Maior mas a menos refeições. Ou seja, embora a dopamina não tenha mudado significativamente o consumo geral, ela alterou o padrão de refeições - a maneira como distribuíam temporalmente seu esforço e consumo. Esses dados sugerem que os custos crescentes induziram uma condição de escassez que envolvia mecanismos de conservação homeostática tanto no tipo selvagem quanto no DATkd. Para evitar essa condição artificial de escassez, realizamos um estudo de taxa progressiva em gaiola em casa, onde os custos crescentes ocorrem dentro de cada refeição ou exercício de prensagem, à medida que o custo de cada pellet subseqüente aumenta em 2. Após uma interrupção mínima de 30 de todas as pressões, a taxa é reiniciada. Dessa forma, os camundongos poderiam transferir seus esforços para refeições maiores e mais caras, ou refeições menores, mais baratas e mais frequentes, sem sacrificar o consumo geral. Neste estudo, não observamos alterações significativas no peso corporal entre os grupos e nenhuma diferença significativa no consumo geral. No entanto, os camundongos DATkd, novamente, comeram refeições maiores e exibiram um maior ponto de interrupção dentro de sessões individuais, consistente com a literatura anterior mostrando que a dopamina elevada aumenta o ponto de quebra no paradigma da relação progressiva. No entanto, como acima, esse esforço maior foi compensado por refeições menos frequentes, de modo que o consumo geral não foi diferente. A partir desses estudos, extraímos duas conclusões importantes. Primeiro, os efeitos da dopamina na busca de comida, pelo menos neste paradigma, parecem permanecer sob controle homeostático. Segundo, a dopamina não parece alterar o “querer” ou a busca geral de alimentos em um sentido global, mas parece modular o esforço despendido dentro de episódios temporalmente locais de perseguição de objetivos. Em resumo, a dopamina parece ter afetado a forma como a energia e o esforço são distribuído em vez de aumentar a motivação apetitiva per se.

Observamos aqui que o aumento da dopamina não torna a demanda mais inelástica; isso é, global camundongos hiperdopaminérgicos adaptam seu consumo aos custos de resposta de forma semelhante ao tipo selvagem. Na superfície, isso parece contraditório com muitos estudos que sugerem que estimular ou impedir a transmissão da dopamina pode aumentar ou diminuir a resposta baseada no esforço, respectivamente (por exemplo, Aberman e Salamone, 1999; Bardgett et al., 2009; Salamone et al., 2009b), presumivelmente influenciando a elasticidade em resposta aos custos. No entanto, observamos o mesmo fenômeno observado nesses estudos: a dopamina facilita maior esforço durante um ataque de busca de alimentos, evidenciada aqui por refeições maiores e maiores pontos de interrupção. No entanto, também observamos o que os estudos baseados em sessão não podem - que essas diferenças no esforço, das quais podemos inferir mudanças na elasticidade, não são necessariamente acompanhadas por mudanças no consumo e na demanda geral. Essas refeições maiores são compensadas por menos refeições, resultando em uma elasticidade geral semelhante em resposta aos custos crescentes. O fato de a dopamina elevada não produzir inelasticidade nesses estudos não significa que a dopamina nunca modula a elasticidade, apenas que a relação entre a dopamina, o esforço e a demanda pode ser mais complexa do que a previamente avaliada.

Dopamina Elevada: Não Melhora o Valor Hedônico ou Alterna a Escolha Comportamental

Outra ideia implícita na hipótese de dopamina e recompensa é que dopamina aumenta a busca de preferido alimentos (Salamone et al., 1991; Cousins ​​et al., 1993; Salamone, 1994; Lowe e Levine, 2005; Zheng et al., 2009; Berridge et al., 2010; Kenny, 2010; Volkow et al., 2010), onde “preferido” é tipicamente definido como alimentos saborosos e hedonicamente recompensadores: coisas que são saborosas. De uma perspectiva de incentivo-saliência, a dopamina aumenta o maior incentivo associado aos alimentos preferidos. Argumentando contra isso, Salamone et al. (Salamone et al., 1991; Salamone, 1994) demonstraram que sob condições de alimentação livre, a preferência não é alterada por mudanças na função da dopamina; isto é, a dopamina não aumenta o incentivo nem altera a preferência alimentar quando nenhum requisito de trabalho (ou baixo) está presente. Em seus estudos, no entanto, ao obter um alimento preferido is associada a um custo de resposta, a dopamina aumenta o esforço que um animal irá exercer, alterando assim a escolha comportamental em favor de uma maior busca por um alimento preferido (Salamone, 1994; Salamone et al., 1994), que é frequentemente usado para sugerir que o aumento da dopamina aumentaria a busca de alimentos preferidos em um ambiente natural de forrageamento, reduzindo a sensibilidade aos custos associados.

Em uma série recente de estudos (Beeler et al., 2012b), examinamos a contribuição relativa do valor nutricional e hedônico, ou sabor, para o consumo, a preferência e o reforço, e perguntamos como a dopamina elevada pode alterá-los. Para testar apenas o valor do paladar, usamos adoçantes sem calorias (tanto sucralose quanto sacarina). Para testar apenas o valor nutricional, usamos camundongos knockout trpm5 que não têm o sabor doce e não têm sabor doce (Damak et al., 2006; de Araujo et al., 2008), permitindo-nos avaliar o impacto da nutrição sozinho. Em ambos os casos, usamos camundongos com e sem um knock-down no transportador de dopamina para testar os efeitos da dopamina elevada. A literatura sugere que alimentos mais gratificantes hedonicamente seriam mais afetados pelo aumento da dopamina. A partir disso, poderíamos prever que a dopamina elevada afetaria preferencialmente a recompensa nutricional hedônica. Em primeiro lugar, descobrimos que, embora tanto o valor hedônico quanto o valor nutricional induziram aumento de consumo e preferência, o valor hedônico dissociado do valor nutricional foi um reforçador fraco. Ou seja, os ratos consumiriam soluções doces isentas de calorias e prefeririam a água, mas na ausência de valor calórico o sabor adocicado não tinha capacidade para induzir o condicionamento no teste de condicionamento de duas garrafas. Além disso, em um teste de razão progressiva, a sacarose induziu uma maior resposta entre as sessões. Os adoçantes sem caloria, em contraste, induziram muito menos respostas que na verdade decaíram entre as sessões, lembrando a assim chamada “imitação da extinção” (Wise et al., 1978). Berridge e Robinson (Robinson e Berridge, 1993) descreveram notoriamente uma dissociação entre “querer” e “gostar” do vício, em que os viciados desenvolvem “falta” de drogas sem “gostar”; isto é, o incentivo que impulsiona a busca compulsiva de drogas é independente de suas consequências hedônicas. Esses dados sugerem uma dissociação complementar de “gostar” sem “querer” onde se pode experimentar uma resposta hedônica positiva sem desenvolver incentivos associativos que impulsionem a busca compulsiva por essa experiência no futuro (Beeler et al., 2012b).

Ao contrário da expectativa, a dopamina elevada não alterou significativamente a motivação apenas para o sabor hedônico e doce, mas aumentou o esforço para o sabor / nutrição combinados, assim como a nutrição sozinha. Estudos anteriores de liberação de dopamina mostraram que a dopamina é liberada em resposta ao gosto sozinho (por exemplo, usando canulação intra-oral para estimular o sabor sem postar efeitos adversos) (Mark et al., 1991; Hajnal et al., 2004; Norgren et al., 2006; de Araujo et al., 2008; Wheeler e outros, 2011). Então, por que observamos redução do reforço ao sabor doce na ausência de nutrição? Foi realizado um estudo de voltametria em que os ratos foram pré-expostos tanto a sacarose como a pastilhas de sacarina, cada um com um sabor identificador, para proporcionar-lhes a oportunidade de discriminar e aprender sobre o valor nutricional relativo de cada um (Beeler et al., 2012b). Em seguida, medimos a liberação de dopamina evocada em resposta à sacarose ou à sacarina. Os ratos recuperaram e consumiram ambos os tipos de pellets igualmente; no entanto, quando medimos a liberação de dopamina evocada, a resposta à sacarina foi bastante atenuada em comparação com a sacarose. Em um estudo de acompanhamento, a mesma atenuação da dopamina evocada foi observada em resposta a pistas que predizem sacarose ou sacarina (McCutcheon et al., 2012). A resposta atenuada da dopamina ao gosto isento de calorias é consistente com o mimetismo de resposta reduzida e aparente extinção observado nos estudos comportamentais com os ratinhos. Em suma, esses estudos mostram que o aumento da dopamina, embora aumente o esforço e altere a distribuição do gasto energético (isto é, padrões de refeição), não altere o consumo ou a preferência e não aumente o “desejo” de alimentos valorizados hedonicamente na ausência de nutrição. .

Na tarefa de escolha concorrente convencional (Salamone, 1994) um animal tem uma escolha entre pressionar a alavanca para um alimento preferido ou comer ração padrão disponível gratuitamente durante uma hora de sessões. Salamone e colegas mostraram que a dopamina aumenta a proporção de alimento preferido para comida padrão consumida; isto é, a dopamina muda as escolhas comportamentais para favorecer a opção mais dispendiosa, mas preferida. Muitos inferem a partir deste trabalho que a dopamina aumentará a busca por alimentos preferidos. Testamos essa inferência conduzindo experimentos de escolha simultânea de razão progressiva de homecage onde camundongos poderiam pressionar por um alimento preferido (PR2), adoçantes sem calorias ou sacarose, ou comer comida disponível gratuitamente. Nesse paradigma semi-naturalista, o aumento da dopamina, conforme relatado nos estudos de proporção progressiva de demanda e homecágios acima, deslocou a distribuição do esforço para maior gasto de energia (ou seja, períodos mais longos de pressão, maior ponto de interrupção, mas menos ataques gerais). Apesar do maior esforço, no entanto, a dopamina elevada não alterou sua escolha comportamental, como refletido na proporção de alimento preferido para a ração padrão. Salamone argumentou que o maior esforço em direção a um alimento preferido observado no paradigma de escolha concorrente reflete alterações na sensibilidade ao custo de resposta e não à preferência alterada (Salamone et al., 2007). Esses dados confirmam e estendem esse argumento falsificando a inferência de que o aumento do esforço observado no paradigma da escolha concorrente aumentará a busca por recompensas. Em um ambiente semiautomático, observamos o mesmo esforço aprimorado em direção a um alimento preferido observado por Salamone, mas isso não altera o consumo, a preferência ou a escolha comportamental, mas reflete diferentes estratégias de gasto energético.

Integrando Recompensa e Gerenciamento de Energia Comportamental

Esses achados são difíceis de explicar apenas em termos das atuais teorias de dopamina e recompensa. (1) Em vez de aumentar o impacto da recompensa no comportamento, observamos um acoplamento reduzido entre histórico de recompensa e escolha, sugerindo que a dopamina induz uma maior exploração; isso é, menos enviesamento de escolha por recompensa. (2) Em vez de superar os mecanismos homeostáticos e promover o consumo excessivo, a dopamina parece funcionar dentro dos limites da regulação homeostática, alterando a distribuição de esforço em busca de comida sem alterar o consumo geral; isto é, a dopamina induz um vigor maior, mas não um “desejo” maior. (3) Em vez de transferir o esforço, o consumo e a escolha comportamental para alimentos mais preferidos, a dopamina novamente aumenta o vigor sem alterar o consumo, a preferência ou a escolha; isto é, a aparente diminuição da sensibilidade aos custos não altera os objetivos apetitivos. Os estudos descritos apontam para um tema comum: que a dopamina modula a energia comportamental despesa. A modulação do esforço e da despesa pela dopamina tem sido vista como um efeito não específico - “atividade generalizada” - e / ou como uma realocação de esforços que supera os custos de resposta associados à busca de objetivos (Salamone et al., 2007). No restante do artigo, tentaremos integrar os aspectos moduladores de recompensa e atividade da dopamina. Para isso, desenvolveremos uma perspectiva alternativa: os efeitos da dopamina sobre a recompensa surgem secundários e a serviço da regulação do gasto energético comportamental, colocando o sistema de recompensa dentro de um contexto mais amplo de conciliação do gasto energético com os recursos disponíveis.

Dopamina: um sistema de gerenciamento de energia comportamental

Energia e seu uso são o resultado final para adaptação. Todas as necessidades e funções do organismo, desde a termorregulação até a reprodução e a obtenção da própria energia, requerem energia. Manter um suprimento adequado pode ser considerado uma diretiva evolucionária primária. Muito foco tem sido dado aos sistemas que regulam a busca, consumo e armazenamento de energia, mas muito menos atenção aos sistemas que controlam seu gasto. No entanto, além de ser um “parceiro igual” na determinação do equilíbrio energético (ou seja, consumo - gasto = equilíbrio líquido), alcançar uma distribuição ótima de energia para diferentes atividades é fundamental para a adaptação. Ou seja, o que um animal faz com sua energia disponível é indiscutivelmente tão importante quanto adquirir energia. A melhor forma de direcionar o gasto de energia, entretanto, depende das condições ambientais. Em um ambiente rico em energia, a exploração, o exercício e o gasto de energia são adaptativos. Em um ambiente de baixo consumo de energia, a exploração da experiência anterior e a conservação de energia - obter o máximo retorno do proverbial dinheiro de uma pessoa - é essencial. Nessa visão, o gerenciamento eficaz de energia envolve decidir (1) quanta energia devo gastar e (2) quão cuidadosa ou seletivamente preciso empregá-la. Caracterizamos essas duas questões como dois eixos de gestão de energia: gastar vs. conservar e explorar vs. explorar, respectivamente (Figura 1).

Na hipótese atual, associamos esses dois eixos de gasto de energia com duas funções da dopamina bem documentadas. Primeiro, vinculamos o papel da dopamina na regulação da atividade generalizada aos eixos gastar-conservar. Em segundo lugar, sugerimos que o papel da dopamina na recompensa não é modular o incentivo à recompensa e a busca do apetite per se, mas para usar informação de recompensa para regular o distribuição de energia para diferentes atividades, mediando os eixos de exploração-exploração; isto é, quão seletivamente a energia deveria ser implantada? Enquadramos este segundo aspecto da dopamina nos modelos de dopamina de aprendizagem de TD e recompensa onde a dopamina medeia a aprendizagem de ambos (1) sobre recompensa - isto é, atribuir valor a estímulos que direcionam o gasto de energia e (2) o grau em que essa informação de recompensa distorce a escolha comportamental, construindo o segundo eixo, exploração-exploração, como economia energética: com que cuidado preciso explorar meus recursos disponíveis?

Ao enfatizar o manejo do gasto energético em vez de recompensar a modulação como uma função primária da dopamina, muitas observações difíceis de conciliar podem se assemelhar a uma metáfora organizadora central para a compreensão do papel da dopamina no comportamento. Nas seções seguintes, detalhamos brevemente os elementos centrais dessa hipótese no contexto das ideias e da literatura atuais sobre a dopamina.

Deve notar-se que o sistema de dopamina é complexo e multifacetado. Além das concentrações extracelulares de dopamina e taxas de queima de células dopaminares tônicas e fásicas, a “função dopaminérgica” pode incluir modulação da liberação em seus alvos, modulação da síntese, acondicionamento vesicular e pools prontamente liberáveis, mudanças na expressão e função do receptor e alterações no transportador de dopamina e recaptura. Como uma simplificação necessária para os propósitos de exposição, falaremos de função de dopamina “alta” e “baixa”, uma prática não incomum na literatura. As complexidades que isso obscurece representam mecanismos potenciais pelos quais o sistema de dopamina pode exercer uma regulação mais sutil, flexível e sofisticada de suas funções. Na figura 1São essas complexidades que nos permitem considerar a dopamina não como uma única linha de alto a baixo (como mostrado no meio), mas como uma função mais complexa que poderia potencialmente variar no espaço bidimensional representado. A compreensão dessas complexidades, no entanto, depende de um quadro interpretativo em torno do qual se organizam informações mais detalhadas. Aqui nos concentramos em articular uma esquelético estrutura alternativa e não tentar assimilar tudo o que é conhecido sobre a dopamina nem detalhar cada mecanismo potencialmente envolvido na sinalização da dopamina, um desafio intratável para um único artigo.

Dopamina: mediando entre os mundos interno e externo

O sistema dopaminérgico se interpõe entre dois mundos de estímulos: o externo e o interno. Por um lado, a dopamina modula a resposta de um organismo aos estímulos ambientais. Na perspectiva de aprendizagem por reforço de dopamina e recompensa (Montague et al., 1996; Schultz et al., 1997), a dopamina medeia criticamente a aprendizagem sobre o valor dos estímulos (estado) e quais respostas (ações) são ótimas (Reynolds et al., 2001; Schultz, 2002; McClure et al., 2003; Daw e Doya, 2006; Dia e Carelli, 2007; Day et al., 2010; Flagel e outros, 2010; Gan et al., 2010; Day et al., 2011). A perspectiva de incentivo-saliência argumenta que a dopamina escala o valor de incentivo associado aos estímulos ambientais, alterando o grau em que a escolha comportamental do viés do estímulo (Phillips e outros, 2003; Berridge, 2004; Roitman et al., 2004; Cagniard e outros, 2006b; Day et al., 2006; Cheer et al., 2007) Em ambos os casos, embora mecanicamente muito diferentes, a dopamina está modulando a resposta do organismo aos estímulos ambientais, o mundo exterior.

Trabalhos mais recentes demonstraram interações complexas entre os sistemas dopaminérgico e homeostático que monitoram e sinalizam informações sobre o meio interno do organismo (Davis et al., 2010a; de Araujo et al., 2010; Figlewicz e Sipols, 2010; Opland et al., 2010; Vucetic e Reyes, 2010). Os neurônios dopaminérgicos mesencefálicos expressam receptores para numerosos sinais circulantes associados a mecanismos homeostáticos, incluindo leptina, grelina, orexina e insulina (para revisão extensiva, Figlewicz e Sipols, 2010). Além da detecção direta de sinais homeostáticos, os núcleos de dopamina recebem projeções de vários substratos associados a mecanismos de controle homeostático, incluindo projeções hipotalâmicas (Opland et al., 2010). Acredita-se amplamente que esses insumos modulem os processos de recompensa. Por exemplo, é freqüentemente proposto que a leptina circulante diminui a atividade da dopamina que, por sua vez, diminui o valor da recompensa dos alimentos, consequentemente reduzindo o comportamento apetitivo (Morton e outros, 2009; Davis et al., 2010a; Figlewicz e Sipols, 2010; Opland et al., 2010; Vucetic e Reyes, 2010). O papel exato desses insumos homeostáticos permanece controverso. O ponto-chave aqui é que o sistema dopaminérgico recebe informações substanciais sobre o meio interno e o estado homeostático do organismo, colocando-o em posição de explorar o conhecimento dos organismos de seu ambiente de acordo com as necessidades e demandas internas; isto é, modular o comportamento para otimizar a relação entre esses dois mundos, o interno e o externo, o organismo e o mundo. É claro que, em certo sentido, todo o cérebro evoluiu para mediar entre os mundos interno e externo, mas as projeções amplas e difusas do sistema dopaminérgico, juntamente com os diversos insumos que convergem nele e seu aparente papel na modulação de uma ampla gama de Comportamentos e processos, da motivação à execução motora, juntamente com a grande conservação entre as espécies, sugerem que ela pode, de fato, ter evoluído para desempenhar algum papel fundamental e fundamental na adaptação.

Dopamina: Colocando Desejo em um Orçamento

Poucos argumentariam com essa noção de que a dopamina integra informações internas e externas para adaptar o comportamento às condições ambientais e atender da melhor maneira às necessidades dos organismos. A questão difícil é como a dopamina consegue isso? Isto é, qual é o principal efetoras mecanismo pelo qual a dopamina adapta o comportamento? A visão predominante, quase hegemônica, é que a dopamina modula processos de recompensa - independentemente de ela mediar o aprendizado sobre recompensa, a expressão de incentivo ou alguma combinação de ambos - e, consequentemente, molda a motivação: os objetivos e atividades que um organismo persegue e o vigor com que estes são perseguidos. Criticamente, o locus da modulação é apetitoso: quanto recompensa induz a sua busca.

Embora muito menos discutida, a dopamina também modula os níveis de atividade. Consistente com essa modulação de atividade, Salamone e seus colegas argumentam há muito tempo que a dopamina pode modular tanto o esforço em direção a um objetivo (Salamone et al., 1997, 2005, 2009a), bem como níveis de actividade generalizados (Cousins ​​et al., 1993; Correa et al., 2002), observações centrais à hipótese atual.

Vamos argumentar que a dopamina regula o gasto de energia para reconciliar o comportamento com os recursos energéticos; isto é, a dopamina não modula o desejo, o coloca em um orçamento de energia. Nesta visão, a disponibilidade de energia, não a recompensa, é o principal fator que influencia a regulação dopaminérgica do comportamento. Nas seções seguintes, elaboraremos essa hipótese de gerenciamento de energia da dopamina discutindo os primeiros mecanismos efetores pelos quais a dopamina regula o gasto energético seguido de uma discussão sobre os mecanismos pelos quais o sistema de dopamina regula a distribuição de energia usando informações de recompensa. Depois de elaborar a hipótese, vamos nos concentrar especificamente em uma conta alternativa do papel da dopamina na obesidade.

Eixo I: Conserve-Expend

Nas seções seguintes, detalharemos o papel da dopamina na modulação do gasto energético ao longo de um continuum de conservação e gasto. Na visão desenvolvida, regular o gasto de energia - tanto a atividade generalizada quanto o esforço em direção a objetivos específicos - é fundamentalmente independente da recompensa e depende, ao invés disso, dos recursos energéticos disponíveis. Recompensa, vamos discutir, desempenha um papel distinto na determinação do distribuição ou alocação desse gasto energético, representado pelo eixo exploração-exploração e discutido na seção “Eixo II: Exploração-exploração”.

Dopamina e atividade generalizada: gastar ou economizar?

A dopamina elevada tem sido associada ao aumento da atividade há décadas. Drogas que aumentam a liberação de dopamina, como inibidores de recaptação de anfetamina, cocaína ou dopamina, aumentam a atividade generalizada em humanos e roedores (Kelly, 1975; Mogenson et al., 1980; Beninger, 1983; Ahlenius et al., 1987; Carlsson, 1993; Xu et al., 1994; Sedelis et al., 2000; Correa et al., 2002; David et al., 2005; Viggiano, 2008; Charntikov et al., 2011). A administração de agonistas ou antagonistas D1 aumenta e diminui a atividade, respectivamente. As drogas de ação D2 agem pós-sinapticamente em neurônios espinhosos médios na via indireta inibitória; no entanto, eles também atuam de forma pré-sináptica em terminais de dopamina e glutamato e como autoreceptores em corpos celulares de dopamina. Como conseqüência, doses baixas de quinpirol, um agonista D2, deprimirão a atividade presumivelmente diminuindo a liberação de dopamina através da ativação do autoreceptor enquanto altas doses de quinpirol aumentam a atividade, presumivelmente através da ativação de receptores D2 pós-sinápticos que diminuem a atividade na via indireta inibitória (Lomanowska et al., 2004). Em roedores, algumas drogas viciantes de abuso que são depressores do SNC (por exemplo, morfina) aumentam a atividade, um efeito que se acredita ter origem no aumento da liberação de dopamina (Koek et al., 2012). Drogas que bloqueiam a atividade de aumento da recaptação de dopamina (Billes e Cowley, 2008; Young et al., 2010) e a expressão de DAT correlaciona-se com a atividade locomotora. Camundongos com expressão reduzida do transportador de dopamina, resultando em dopamina tônica elevada, são hiperativos (Cagniard e outros, 2006a).

Embora não haja dúvidas de que a dopamina modula a atividade generalizada, o mecanismo pelo qual ela faz isso é pouco compreendido. De fato, não há um arcabouço geral para conceituar o que, exatamente, “atividade generalizada” ou excitação está em primeiro lugar (Quinkert e outros, 2011). Em roedores, a atividade generalizada é tipicamente medida usando o campo aberto, as rodas de corrida ou os monitores de atividade de coleta. O grau em que cada um reflete um nível de atividade geral é debatido (Dishman, 2008; Viggiano, 2008; Hesse e outros, 2010; Garland e outros, 2011). O campo aberto, por exemplo, pode ser visto como uma medida de atividade geral, comportamento exploratório ou “emocionalidade”. A roda de corrida, porque a corrida é altamente reforçada em roedores (Wagner, 2005; Brené et al., 2007; Greenwood et al., 2011), pode ser confundido com processos de recompensa. No entanto, o aumento da atividade da dopamina aumenta em todas as três medidas e, inversamente, a diminuição da atividade da dopamina diminui em todas as três medidas (Ahlenius et al., 1987; Zhuang et al., 2001; Correa et al., 2002; Leng e outros, 2004; Beeler et al., 2006, 2009; Dishman, 2008; Kitanaka e outros, 2012).

Em vez de considerar a “atividade generalizada” distinta do comportamento orientado pela recompensa, uma perspectiva alternativa seria a de que a dopamina sinaliza a disponibilidade de energia e induz o gasto de energia, seja direcionado para uma atividade recompensadora e reforçada, como a corrida em roda (ou pressionando a alavanca), em direção à exploração, como no campo aberto ou simplesmente movendo-se fazendo coisas mais parecidas com ratos, dia a dia, na gaiola da casa. Como os usuários de psicoestimulantes durante décadas atestam: a dopamina é energizante. Assim, o efeito da dopamina na atividade generalizada representa um efetor fundamental na regulação do gasto de energia regulando para cima ou para baixo a quantidade de energia gasta na atividade comportamental independente de como essa atividade pode ser direcionada: independente da recompensa.

Dopamina e Esforço: Quanto posso pagar?

A literatura está repleta de evidências de que o aumento da dopamina aumenta o esforço na busca de objetivos, canonicamente ilustrado pelo aumento do desempenho em paradigmas de proporção progressiva, onde após cada recompensa ganha, o custo de cada recompensa subseqüente aumenta (Hodos, 1961). Historicamente, o esforço que um sujeito faz em um teste de proporção progressiva tem sido interpretado como uma medida da eficácia reforçadora: isto é, quão duro eu trabalho é uma medida de quão valioso ou motivador é a recompensa (Madden et al., 2007a,b). Isso é análogo a avaliar o valor de algo de acordo com o preço que alguém está disposto a pagar.

No entanto, o ponto de interrupção mede implicitamente uma determinação de custo-benefício (Salamone e outros, 2009a) Embora a dopamina contribua para essa determinação contínua, seu papel permanece obscuro (Salamone et al., 1997; Roesch e outros, 2007; Day et al., 2010, 2011; Ostlund et al., 2010). Por um lado, como argumentado na teoria de incentivo-saliência, a dopamina pode aumentar as propriedades de incentivo dos estímulos associados à recompensa, aumentando essencialmente a percepção beneficiar (Berridge, 2007; Gan et al., 2010). Por outro lado, Salamone e seus colegas argumentam que a dopamina reduz a sensibilidade aos custos, reduzindo assim a custo componente (Salamone, 2011, Veja também Phillips e outros, 2007). Em ambos os casos, o resultado é o aumento da busca de recompensa resultante da alteração na determinação de custo-benefício, observada como um ponto de interrupção elevado. No paradigma da taxa progressiva convencional, é difícil discernir essas duas possibilidades, pois o resultado comportamental seria o mesmo: aumento do esforço e da resposta. Os estudos da gaiola da casa revisados ​​acima, entretanto, podem distinguir entre estas duas alternativas. Se o aumento da dopamina estivesse aumentando a sensibilidade para recompensar, induzindo uma maior motivação apetitiva para “querer” e aumentar a regulação, então esperamos ver um maior consumo e maior preferência por alimentos mais recompensadores. Nós observamos nenhum dos dois. Em vez disso, observamos escolhas similares de consumo, preferência e comportamento, mas uma mudança nas estratégias de forrageamento para um maior gasto de energia. No entanto, seria incorreto dizer que os ratos DATkd são insensível para custos; eles ajustam seu consumo e esforço em resposta ao custo crescente, assim como os ratos do tipo selvagem. Além disso, no paradigma de troca de alavanca barato e caro, se as alavancas não switch, os ratos DATkd preferem a alavanca barata de forma idêntica ao tipo selvagem. Em vez disso, o aumento da dopamina parece deslocar a estratégia de forrageamento para um maior gasto energético.

Ao determinar o trade-off ideal entre custo e benefício, ambos os fatores são situacionalmente contingentes. Por um lado, o benefício depende da necessidade. Uma bolinha de comida será muito mais valiosa e motivadora para um rato faminto do que um ratinho saciado. O papel que o estado motivacional desempenha na determinação de recompensa e reforço tem uma longa história em psicologia e neurociência (Berridge, 2004) e representa uma área activa de investigação (Dayan e Balleine, 2002; Balleine, 2005; Fontanini e Katz, 2009; Haase e outros, 2009). Muito menos apreciado, no entanto, é que a avaliação do custo também pode ser contingente. Especificamente, o custo associado a qualquer despesa depende dos recursos disponíveis. O custo de um cachorro-quente do aeroporto $ 12.00 não é avaliado da mesma forma por um CEO milionário e um estudante de graduação pobre. Com roedores, contingências de recursos semelhantes podem ser aplicadas. Por exemplo, os custos de atraso podem ser mais significativos se apenas uma quantidade limitada de tempo estiver disponível (como em sessões operantes de uma hora) para obter recompensa. Da mesma forma, o custo associado às pressões de alavancas pode depender da disponibilidade geral de energia para um mouse. Portanto, se a dopamina reduzir a sensibilidade ao custo, existem duas interpretações. No primeiro, a sensibilidade de custo é diminuída em relação ao benefício; ou seja, quando o custo e a recompensa são comparados, a dopamina diminui o fator custo para favorecer a recompensa (funcionalmente equivalente ao aumento do valor do incentivo). No segundo, a dopamina modula a sensibilidade ao custo em relação aos recursos disponíveis. Se a energia é abundantemente disponível, os custos de esforço são descontados.

Portanto, argumentamos que a regulação do esforço pela dopamina é independente do valor da recompensa; isto é, os efeitos da dopamina no esforço refletem uma modulação direta do gasto de energia em relação aos recursos de energia disponíveis, em vez de uma consequência indireta da modulação de um trade-off entre custo e recompensa. Como a dopamina aumenta o gasto de energia em geral, conforme discutido acima, ela aumenta o gasto de energia - ou o vigor da busca por objetivo - em atividades específicas, mais uma vez, argumentamos, independente do valor da recompensa: se você tiver energia, use-a.

Eixo II: explorar-explorar

Nas seções seguintes, argumentamos que a recompensa tem uma função central no gerenciamento da energia mediado pela dopamina: controlar a distribuição do gasto energético, que representamos com o eixo explorar-explorar (Figura 1). Nessa visão, o (s) valor (es) aprendido (s) da recompensa determina a utilidade relativa de diferentes atividades; no entanto, o que é crucialmente capturado neste eixo é o grau ao qual esses valores (e o contraste entre eles) realmente distorcem e moldam as escolhas comportamentais. Nós integramos neste eixo as perspectivas de aprendizagem de reforço e incentivo-saliência argumentando que a dopamina fásica medeia o aprendizado e a atualização dos valores de recompensa, como se acreditava, enquanto tônico A dopamina, como sugerem as visões de incentivo, escala o impacto desses valores na escolha comportamental, a expressão dos valores aprendidos. Reconceitualizamos essa escala de incentivo formalmente como uma função dentro do aprendizado por reforço que regula o grau em que a aprendizagem da recompensa prévia distorce a escolha; isto é, quanto aprendizado estabelecido é explorado. Atribuímos esta última função à dopamina tônica e a interpretamos como reguladora economia; isto é, regulando a frugalidade do gasto de energia.

Seleção de dopamina e meta: fazendo escolhas sábias em gastos com energia

A frugalidade dos gastos de uma pessoa depende dos recursos disponíveis. Uma pessoa rica não precisa reclamar de milhares de dólares, enquanto uma pessoa pobre precisa contar centavos. Da mesma forma, os animais que vivem em ambientes energéticos de abundância não precisam se preocupar com a conservação de energia, enquanto aqueles que vivem em condições de escassez devem gastar energia criteriosamente. Assim, o gerenciamento de energia envolve não apenas a determinação da magnitude geral do gasto de energia, conforme discutido acima, mas também sua alocação para atividades específicas.

Partimos da premissa de que quando a energia está prontamente disponível, o gasto energético é adaptativamente vantajoso, por duas razões principais. Primeiro, a atividade física tem demonstrado em inúmeros estudos contribuir significativamente para a saúde e a longevidade (Holloszy et al., 1985; Samorajski et al., 1985; Paffenbarger e outros, 1986; Holloszy, 1988; Helmrich et al., 1991; Greendale et al., 1995; Booth et al., 2000; Alevizos et al., 2005; LaMonte et al., 2005; Warburton et al., 2006; Gaesser, 2007; Huffman et al., 2008; Hawley e Holloszy, 2009; Mercken et al., 2012) Em condições de escassez, os animais têm que trabalhar duro para encontrar comida; entretanto, em condições de abundância, eles não o fazem. Um sistema que aumentasse o gasto de energia em resposta a condições de abundância manteria os níveis de atividade e a saúde, pelo menos impedindo um animal de se tornar um bocado gordo e lento para o jantar de um predador. Além disso, se a energia estiver disponível, então há uma vantagem informativa a ser obtida com a exploração que permite a um animal aprender mais completamente sobre seu ambiente, informação que poderia ser explorada no futuro (Behrens et al., 2007) Assim, quando a energia está disponível, há lógica para induzir gasto e exploração comportamental. Em contraste, quando a energia é escassa, o animal precisa conservar sua energia e explorar ao máximo seu conhecimento do meio ambiente. Na hipótese que está sendo desenvolvida aqui, o papel da dopamina nos processos de recompensa surge como um mecanismo para a alocação de energia para atividades e estímulos específicos.

Para otimizar a energia, duas funções principais são necessárias. Primeiro, o organismo tem que determinar o valor dos estímulos e ações em primeiro lugar. Segundo, o organismo precisa determinar em que medida esses valores devem ser levados em conta ao fazer escolhas comportamentais: quão frugal ou “consciente de valor” deve ser a despesa? As duas visões guarda-chuva de dopamina e recompensa, a aprendizagem de reforço e as hipóteses de incentivo-saliência, fornecem essas duas funções. Nas seções abaixo examinamos as duas funções e sua contribuição para o eixo explorar-explorar (Figura 1) em termos de modelos de aprendizagem de TD.

Aprendizagem de Dopamina e Reforço: Contabilidade de Valor

Conforme observado na introdução, o termo “recompensa” pode ser ambíguo. Aqui nós adotamos uma perspectiva de informação e definimos a recompensa como informação de resultado positivamente valenciada. A principal questão a ser abordada é qual o papel que a dopamina desempenha na vinculação do histórico de recompensas a escolhas futuras. Perspectivas de aprendizagem de reforço argumentam que a dopamina modula a plasticidade corticoestriatal em resposta à recompensa, ou seja, informações de resultados positivos, mediando assim a aprendizagem. sobre estímulos e ações que são valiosos. Opiniões motivacionais, especificamente incentivo-saliência, sugerem que a dopamina modula a expressão de valores previamente aprendidos (incentivo). A hipótese atual abrange tanto dentro de uma estrutura de aprendizagem TD.

Os modelos de diferença temporal são uma classe de algoritmos de aprendizado por reforço que foram aplicados com sucesso na compreensão de como os substratos neurais, como a dopamina e os gânglios da base, mediam o aprendizado de reforço observado no comportamento. Dentro desses modelos, estímulos e ações recebem um “valor” que incorpora todas as recompensas futuras esperadas associadas a esses estímulos ou ações. À medida que o tempo se desdobra e o animal avança progressivamente no tempo, avançando através de estados sucessivos (isto é, configurações de estímulos, ações, recompensas), a cada passo adiante a predição prévia (t - 1) é comparado com o que foi realmente recebido no momento t mais as recompensas esperadas remanescentes no futuro, ou seja, a estimativa de t. Se houver uma discrepância, chamada de erro de previsão, o valor anterior em t - O 1 é ajustado para que, quando esse estado for encontrado novamente, seja mais preciso. Quando o animal avança no tempo para t + 1, o mesmo processo ocorrerá, desta vez ajustando o valor previsto de t comparando-o com a recompensa real em t + 1 mais o valor esperado futuro de t + 1 e assim por diante. O nome TD surge porque uma sucessão inteira de estados, cada um com sua própria previsão de valor de recompensa futura “restante”, é ajustada um passo de cada vez. É essa coleção de valores associados a diferentes estados - estímulos e ações - que permite prever com precisão a recompensa futura. Em suma, é um algoritmo que facilita a tentativa e erro de aprendizagem, onde o animal é sempre, por assim dizer, em medias rese uma estimativa precisa do valor de determinados estímulos e ações acumula-se gradualmente ao longo do tempo através da experiência.

Modelos de diferença temporal têm duas funções principais. Primeiro eles aprendem. Conforme descrito acima, usando uma regra de atualização baseada em erros de previsão, eles ajustam valores anteriores associados a estímulos e ações. Em segundo lugar, eles tomam decisões. Ou seja, depois de ter um conjunto de valores, há uma regra de como esses valores são usados ​​na seleção de uma ação. Essas duas funções estão associadas a dois parâmetros, comumente conhecidos como alfa, a taxa de aprendizado e beta, a "temperatura", respectivamente. A taxa de aprendizado determina em que medida novas informações alteram os valores estabelecidos, tanto ponderando novas informações contra antigas quanto estabelecendo uma “janela de esquecimento”. O parâmetro temperatura determina o grau em que as informações de valores atuais (isto é, histórico de recompensas) enviesam a seleção de ações referido como o parâmetro “explore-exploit”.

Evidências substanciais sustentam o papel da dopamina na mediação da aprendizagem de reforço e da plasticidade corticoestriatal, que não serão revisadas aqui (Montague et al., 1996; Schultz et al., 1997; Reynolds e Wickens, 2002; Schultz, 2002, 2010; Canhão e Palmitador, 2003; Sábio, 2004; Berridge, 2007; Goto et al., 2007; Redish e outros, 2007; Robbins e Roberts, 2007; Salamone, 2007; Schultz, 2007; Dayan e Niv, 2008; Kheirbek et al., 2008, 2009; Redgrave e outros, 2008; Kurth-Nelson e Redish, 2009; Lovinger, 2010; Lüscher e Malenka, 2011). Esta função de aprendizado tem sido principalmente associada à atividade de dopamina fásica operando em uma escala de tempo de milissegundos e não se acredita que represente diretamente a recompensa. Em vez disso, a partir de aprendizado TD como descrito acima, acredita-se que a dopamina fásica codifica erros de previsão. Ao sinalizar recompensa imprevista ou a falha da recompensa esperada (Schultz et al., 1997; Schultz, 2007; Flagel e outros, 2010; Brown et al., 2011; Day et al., 2011), a dopamina fásica atualiza os valores associados aos estímulos e ações, alterando os pesos sinápticos através de seus efeitos sobre a plasticidade corticoestriada. Dentro da hipótese atual, aceitamos e vemos essa função da dopamina fásica em valor de atualização como, em certo sentido, uma função contábil: a dopamina não estabelece, cria ou dimensiona arbitrariamente valor, mas fornece funcionalmente um sinal de ensino para modificar a aprendizagem para refletir com precisão o valor associado a estímulos e ações. Simplificando, essa função da dopamina está tentando "acertar o valor": uma característica fundamental de qualquer orçamento bem-sucedido é acertar os números. Ou seja, as funções altamente detalhadas e mecanicistas da dopamina na aprendizagem de reforço permitem que um animal aprenda sobre seu ambiente em ordem para melhor alocar e utilizar sua energia disponível.

Dopamina e Incentivo-Saliência: Alocação Orçamental de Energia

A visão de incentivo-saliência da dopamina, em contraste, argumenta que a dopamina impacto de estímulos associados à recompensa na escolha comportamental (Cagniard e outros, 2006b; Berridge, 2007). Ou seja, a dopamina modula o grau em que o valor de incentivo associado ao comportamento de vieses de estímulos. Geralmente, o aumento da dopamina é visto como incentivo crescente e aumento do comportamento apetitivo; isto é, induzir um maior “desejo”. Essa visão é consistente com as décadas de literatura que mostram o aumento dos resultados da dopamina no aumento da busca e do esforço, como discutido acima. Em essência, isso pode ser conceituado como aumento exploração de recompensa aprendizagem: valor de recompensa exerce um maior viés na escolha comportamental. Entretanto, se o aumento da dopamina resulta em aumento da exploração, pode-se esperar logicamente que a diminuição da dopamina resultaria em maior exploração; isto é, o comportamento será menos enviesada pela informação de recompensa. No entanto, para nosso conhecimento, nenhum dado demonstrou aumento da exploração como conseqüência da diminuição da dopamina. Em vez disso, a diminuição da dopamina tem sido consistentemente associada à diminuição da atividade e comportamento exploratório. No estudo home gaiola de flexibilidade comportamental descrito acima, descobrimos que dopamina elevada diminuiu o acoplamento entre o histórico de recompensa e escolha, favorecendo exploração, não a exploração, consistente com décadas de estudos em campo aberto mostrando aumento da atividade exploratória como conseqüência do aumento da dopamina (por exemplo, Zhuang et al., 2001). Consistente com a hipótese atual, trabalho computacional recente de Humphries e colegas (Humphries e outros, 2012) demonstram que a dopamina tônica pode modular o trade-off entre exploração e exploração. Em seu modelo, os efeitos da dopamina sobre este trade-off são complexos e dependentes da concentração, mas indicam que a alta dopamina pode induzir um comportamento exploratório.

Propomos que a visão de incentivo-saliência da dopamina, onde a dopamina escala o grau em que o valor da recompensa influencia a escolha comportamental, capta um mecanismo efetivo crítico no gerenciamento dopaminérgico do gasto energético. Ao modular o equilíbrio entre exploração e exploração, a dopamina regula a frugalidade do gasto energético. Em contraste com as teorias atuais de incentivo-saliência, no entanto, argumentamos que a dopamina age mais ou menos na direção oposta à que é amplamente interpretada: a dopamina favorece exploração, Isto é, diminuído enviesamento da escolha comportamental pelo valor da recompensa, embora como o trabalho de Humphries et al. (Humphries e outros, 2012) demonstra que o funcionamento preciso desta função da dopamina é provavelmente complexo. O aumento do esforço na busca de recompensa observado pela função aumentada da dopamina, nesta visão, surge não como conseqüência do valor da recompensa aumentada, mas como resultado de um sinal dopaminérgico gastar energia e ser menos frugal na busca de objetivos.

Embora, através do seu papel na aprendizagem de reforço, a dopamina (fásica) contribua para a aprendizagem do valor, o alcance dos eixos verticais na figura 1 não representa valor per se, de menor para maior valor, mas o grau em que os valores estabelecidos viés ou escolha comportamental direta, variando de um continuum de influência (influência) para influência mínima (explorar). Isto poderia ser interpretado como um eixo de frugalidade, onde uma maior exploração maximiza a recompensa pela energia gasta, enquanto a redução da exploração facilita a exploração e maior gasto de energia.

Como e em que medida os valores aprendidos direcionam as escolhas comportamentais depende claramente de muitos fatores, mais obviamente o estado motivacional do organismo, a “saliência” em “incentivo-saliência”, levando em consideração o ambiente interno do organismo. o externo o meio ambiente precisa ser levado em conta também, especificamente a disponibilidade de recompensa, particularmente energia. Como discutido acima, a riqueza do ambiente determina quão frugal um animal precisa estar com seu gasto de energia e o quanto ele precisa explorar ao máximo a aprendizagem anterior. Niv et al. (2007) sugeriram que a dopamina tônica codifica a recompensa média ao longo do tempo, uma formalização que liga a abundância relativa ou a escassez de recompensa em um ambiente ao vigor comportamental. No modelo proposto por Niv, a maior recompensa média induz um maior vigor comportamental para reduzir os custos de oportunidade; ou seja, quanto mais rico o ambiente, mais é perdido pela inatividade, coloridomente descrito como “o custo da preguiça”. Focando especificamente na disponibilidade de energia, compartilhamos essa visão de que a dopamina tônica sinaliza a abundância ou a escassez de energia no meio ambiente. ao longo do tempo. No entanto, na visão atual, em vez de ver o aumento do vigor associado à dopamina como induzir maior exploração para reduzir os custos de oportunidade, sugerimos que o aumento da dopamina reflete a abundância de energia e induz um maior gasto de energia, mas menos exploração; isto é, menos energia, comportamento frugal, favorecendo a exploração (mas não a inatividade).

Finalmente, acredita-se amplamente que os valores aprendidos podem ser parte de um sistema direcionado por objetivos ou de hábitos (Daw et al., 2005; Balleine e outros, 2007), freqüentemente associada ao estriado dorsomedial e dorsolateral, respectivamente (Yin e Knowlton, 2006; Balleine e O'Doherty, 2010). Nos modelos TD, o último é lançado como um sistema “cache” ou “sem modelo”, onde o valor dos estímulos e ações são inescrutáveis; isto é, como esses valores foram derivados não está disponível para exame. Em contraste, o comportamento direcionado por objetivos é associado a sistemas baseados em modelos, onde uma árvore de estados e seus valores associados são explicitamente representados de tal forma que o animal pode deliberadamente pesquisar a árvore para determinar como o valor de qualquer folha é derivado e avaliar esses valores contra estados motivacionais atuais. Em contraste, o hábito, ou sistema de cache, é considerado insensível ao estado motivacional, embora importante, não insensível à nova aprendizagem (Balleine e O'Doherty, 2010). Precisamente porque o valor em cache não pode ser “examinado” em relação aos objetivos atuais, o comportamento habitual baseado em valores armazenados em cache será emitido em resposta à apresentação de estímulos mesmo na ausência de motivação até que o valor em cache direcione esse comportamento. Nos modelos TD, o parâmetro de temperatura ajusta o grau em que os valores polarizam o comportamento sem levar em consideração a origem desses valores, ou seja, se eles são parte de um cache, sistema sem modelo ou baseado em modelo. Surge, então, a questão de saber se a regulação da exploração da dopamina, sugerida aqui, se aplica igualmente ao sistema dirigido pelo hábito e pelo objetivo, uma questão que não podemos responder. Na medida em que a redução da dopamina pode induzir a exploração, economia e conservação, aumentando o controle antes da aprendizagem tem sobre o comportamento, recompensa / energia ambientes pobres e hipodopaminergia pode, aumentando a influência da aprendizagem estabelecida e valores no comportamento, aumentar o controle exercido pelo hábito sistemas, embora isso claramente exija mais investigação.

Dopamina e Transferência de Despesas de Energia: Revisitando as Vias GO e NOGO

Um alvo primário da dopamina, amplamente associado ao papel da dopamina na recompensa e no controle motor, é o corpo estriado (Albin et al., 1989, 1995; Alexander et al., 1990; Mink, 1996; Everitt e Robbins, 2005; Cagniard e outros, 2006b; Balleine e outros, 2007; Nicola, 2007; DeLong e Wichmann, 2009; Sábio, 2009; Haber e Knutson, 2010; Humphries e Prescott, 2010; Sesack e Grace, 2010). O corpo estriado é o principal ponto de entrada para os insumos corticais (Bolam et al., 2000) que são processados ​​através dos gânglios da base que eventualmente retornam ao córtex, compreendendo as conhecidas alças corticoestriatais reentrantes (Alexander et al., 1990; Alexander e Crutcher, 1990; Alexander, 1994; Middleton e Strick, 2000; Haber, 2003; Lehéricy et al., 2005). O processamento corticostriatal ocorre por meio de duas vias paralelas (excluindo a via hiperdirecta), as diretas e indiretas que facilitam e inibem a produção corticostriatal (Albin et al., 1995; Mink, 1996), respectivamente, por vezes referidas como as vias GO e NOGO (Cohen e Frank, 2009). O caminho GO expressa predominantemente D1 enquanto o NOGO expressa D2 (Surmeier et al., 2007) de modo que um aumento na atividade da dopamina aumenta a atividade na via facilitadora do GO e diminui a atividade na via inibitória do NOGO. Por outro lado, a redução da dopamina resulta em menos atividade do GO e aumento da atividade do NOGO, uma ideia central para os modelos clássicos de desaceleração motora na doença de Parkinson (Albin et al., 1989; Mink, 1996). A explicação funcional clássica para esta arquitetura de via dupla é a “seleção focalizada”, a ideia de que a via GO isola e facilita uma ação motora selecionada enquanto a via NOGO inibe ações concorrentes e ruídos externos, permitindo assim uma execução limpa das ações (Mink, 1996).

Essa mesma arquitetura, no entanto, pode ser interpretada como um mecanismo efetivo para regular o gasto de energia. Ao mudar o equilíbrio entre as vias GO e NOGO, a dopamina regula tanto o throughput total do sistema corticostriatal quanto modulando sua seletividade (Beeler, 2011). Especificamente, o aumento da dopamina favorece a via GO e diminui a via NOGO. Isso resulta em maior rendimento corticostriatal geral e maior exploração, uma vez que as ações potenciais representadas na entrada corticostriatal para a via GO enfrentam menos oposição na via inibitória da NOGO, reduzindo as restrições na seleção de ações. Em contraste, quando a dopamina diminui, há maior atividade inibitória do NOGO resultando em menos produção corticostriatal e maior exploração, já que as ações selecionadas através da via GO devem ser suficientemente fortes para superar a influência inibitória da via NOGO (para uma perspectiva de aprendizado sobre isso, veja Frank et al., 2009). Isso fornece uma base para entender como a dopamina pode aumentar atividade global, bem como diminuir a seletividade dessa atividade, ou seja, aumentar o gasto e a exploração de energia. Em contraste, a redução da dopamina diminuiria a atividade global, mas aumentaria a seletividade, resultando em menor gasto de energia e maior exploração (Figura 2). Uma discussão mais detalhada do (s) papel (es) da dopamina na modulação do débito corticostriatal pode ser encontrada em outros lugares (Beeler, 2011). Essa arquitetura de caminho duplo, portanto, fornece uma base potencial para modular o gasto de energia nos dois eixos descritos: regular a atividade geral generalizada (conservar-gastar), por um lado, e, por outro lado, regular o grau de aprendizagem prévia sobre recompensa. é explorado, os eixos explorar-explorar.

Dopamina e seus diversos alvos: orquestração ou Bric-a-Brac evolucionária?

Na seção anterior, nos concentramos nas ações de dopamina no corpo estriado, amplamente interpretadas como um substrato primário para a aprendizagem de reforço e implicadas na motivação e no controle motor. A dopamina, no entanto, se projeta amplamente através do cérebro, com importantes projeções, por exemplo, para o córtex pré-frontal. Além disso, além das vias nigrostriatais e mesoacumbens amplamente estudadas, projetando-se para o corpo estriado dorsal e ventral e associadas ao controle motor, hábito e motivação, respectivamente, há núcleos de dopamina muito menos estudados, incluindo aqueles associados ao hipotálamo, todos pode (ou não) contribuir para o gerenciamento de energia de maneiras potencialmente diferentes. O desenvolvimento de uma hipótese de gerenciamento de dopamina e energia exige perguntar como a modulação da dopamina em diferentes alvos pode contribuir para o gerenciamento coordenado da energia. Neste ponto, não podemos razoavelmente especular sobre esta questão.

Refletir sobre esta questão, entretanto, provoca a questão de se realmente existe alguma “função” predominante da dopamina? Ou a dopamina adquiriu várias funções não relacionadas, de modo que a noção de encontrar "a" função da dopamina representa um erro: talvez as funções da dopamina que observamos hoje tenham evoluído como colcha de retalhos, bricabraque evolucionário, uma coleção oportunista de adaptações fortuitas . Da literatura, percebe-se que muitos acreditam lá is uma grande função geral da dopamina - mais frequentemente, o processamento de “recompensa”, de uma forma ou de outra. Não parece irrazoável pensar que, como a função de um neurotransmissor elabora e transforma a evolução, essas elaborações surgem como variações de um tema, um aprimoramento adicional de alguma função que já conferiu aptidão adaptativa. Mesmo que tal noção se mostre falsa, buscar um “fio comum” entre funções aparentemente diversas e não relacionadas pode fornecer uma visão mais profunda de como essas funções aparentemente díspares interagem para contribuir para a adaptação comportamental. A “recompensa mediadora”, por mais ampla e ambígua que seja, serviu como denominador comum em grande parte da literatura e produziu resultados ricos. Aqui sugerimos uma função alternativa e abrangente, gerenciamento de energia.

Voltando à questão de como a ação da dopamina em diferentes substratos neurais pode contribuir para o gerenciamento de energia, podemos apenas refletir de volta a questão a partir da perspectiva de nossa hipótese. O gerenciamento de energia constitui um processo biológico fundamental, muito parecido com a reprodução, o crescimento e a resposta ao estresse, e requer coordenado atividade em vários substratos em resposta a condições externas, de uma forma que recompensa, um evento no mundo externo, talvez não. Essa orquestração coordenada de vários substratos em direção a um único objetivo ou propósito é característica dos hormônios, como os reprodutivos ou de estresse. Dadas as projeções e ações difusas da dopamina em vários alvos, é tentador entreter a noção de que a dopamina pode ter evoluído uma função semelhante a um hormônio para coordenar vários substratos neurais e orquestrar o comportamento adaptado de forma otimizada ao ambiente de energia predominante em que o organismo se encontra. Embora reconhecidamente amplo e especulativo (mas veja Ugrumov et al., 2012), é interessante perguntar, então, como a modulação da dopamina no estriado dorsal versus ventral, ou no córtex pré-frontal versus hipotálamo, pode representar a coordenação de diversos substratos neurais com funções díspares para um único propósito, adaptando o comportamento à energia ambiente em que o organismo deve trabalhar sua sobrevivência.

Dopamina e Obesidade: uma perspectiva alternativa

Nos últimos anos, tem havido um aumento do foco no papel da dopamina na obesidade, com vários artigos de alto perfil comparando a excessos alimentares à dependência alimentar (Volkow e Wise, 2005; Trinko e outros, 2007; Avena e outros, 2008; Corwin e Grigson, 2009; Dagher, 2009; Davis e Carter, 2009; Ifland et al., 2009; Pelchat, 2009; Johnson e Kenny, 2010; Volkow et al., 2010). Essas teorias enfocam o papel da dopamina na mediação de processos de recompensa, sugerindo que nas culturas ocidentais modernas em que alimentos altamente palatáveis ​​estão prontamente disponíveis, esses alimentos saborosos agem de forma semelhante às drogas de abuso e induzem um aumento do desejo que leva a uma perda de controle sobre o consumo, apesar de, como um viciado, as intenções individuais de reduzir a ingestão calórica (Berridge et al., 2010; Berthoud et al., 2011). Há duas tomadas opostas sobre isso (Davis et al., 2007; Davis e Carter, 2009). Em primeiro, aumentou A função dopaminérgica decorrente da intensificação do reforçamento associado a alimentos palatáveis ​​leva ao aumento da motivação que supera o controle homeostático normal (Finlayson e outros, 2007; Zheng et al., 2009; Avena e Bocarsly, 2011). Em essência, perdemos o controle diante de alimentos realmente saborosos, um efeito que se acredita ser mediado pela persistente hiperativação da dopamina. Em contraste, uma hipótese de “deficiência de recompensa” foi proposta na qual uma déficit na função da dopamina resulta em diminuição da sinalização de recompensa que gera consumo excessivo quando a pessoa ou animal tenta “preencher o vazio da recompensa” (Wang et al., 2004; Geiger et al., 2009; Kenny, 2010).

Dentro da hipótese atual, postulamos que o aumento da dopamina facilita maior gasto e exploração de energia, ou seja, menos enviesamento da escolha comportamental por recompensa, favorecendo menos armazenamento de energia e fornecendo proteção contra a obesidade, consistente com os efeitos bem conhecidos dos psicoestimulantes na indução de perda de peso (Vanina et al., 2002; Leddy et al., 2004). Em contraste, a diminuição da dopamina induz a conservação e exploração de energia, isto é, maior influência do comportamento pela recompensa. Neste caso, o consumo de energia e armazenamento é favorecido, resultando em excessos e ganho de peso. Notavelmente, em contraste com os psicoestimulantes, os antipsicóticos que antagonizam a dopamina (principalmente D2) têm sido consistentemente associados ao ganho de peso há décadas (Allison e Casey, 2001; Vanina et al., 2002), embora os mecanismos exatos permaneçam incertos.

Leptina, Insulina e Dopamina: Reconciliando Recursos e Despesas

Observações da redução da função da dopamina na obesidade, particularmente redução da expressão dos receptores D2, geraram a hipótese de deficiência de recompensa (Blum et al., 2000, 2011) em que o consumo excessivo é impulsionado por uma tentativa de compensar a redução da sinalização de recompensa. Na hipótese aqui proposta, nós reinterpretaríamos esses dados. Quando a função da dopamina é reduzida, isso favorece a conservação de energia e a exploração da informação de recompensa: isto é, “consuma e mova o mínimo possível”, uma receita óbvia para a obesidade.

Dissociação motivacional: precisar sem “querer”

Décadas de trabalho elegante demonstraram inquestionavelmente que os hormônios circulantes que sinalizam o suprimento de energia, particularmente a insulina e a leptina, contribuem para a regulação do consumo e do peso corporal por meio de ações no sistema nervoso central [ver Figlewicz e Sipols, 2010 para excelente revisão]. Consistente com o seu papel na mediação do balanço energético homeostático, a leptina e a insulina atuam em múltiplos alvos no hipotálamo envolvidos na regulação da alimentação, incluindo NPY, POMC, α-MSH e AgRP (Figlewicz e Sipols, 2010). Estas observações são consistentes com teorias de motivação de redução de motivação onde o déficit ou superávit de energia promove ou inibe o consumo, respectivamente.

O aumento dramático da obesidade nos últimos anos (Ford e Mokdad, 2008), entretanto, levanta a questão de por que esses mecanismos homeostáticos aparentemente falham. Acredita-se amplamente que os sistemas de dopamina mesencefálica que medeiam a motivação de incentivo - motivação que surge do valor de recompensa associado a estímulos (incluindo alimentos) e não de necessidade - medeiam essa falha homeostática promovendo a chamada alimentação não homeostática ou hedônica (Saper et al., 2002; Zheng e Berthoud, 2007; Lutter e Nestler, 2009; Zheng et al., 2009; Berthoud et al., 2011). Evidências consideráveis ​​sugerem que tanto a leptina quanto a insulina podem modular a função dopamínica mesencefálica (Krügel et al., 2003; Fulton e outros, 2006; Hommel et al., 2006; Roseberry e outros, 2007; Leinninger et al., 2009) e alterar a busca e consumo de alimentos (Sipols et al., 2000; Figlewicz et al., 2001, 2004, 2008, 2006; Hommel et al., 2006; Morton e outros, 2009; Davis et al., 2010b).

Na visão predominante, uma grande quantidade de dados parece sugerir que tanto a insulina quanto a leptina diminuem a função da dopamina, diminuindo, por sua vez, a busca pelo incentivo e o consumo de alimentos. Em essência, a leptina e a insulina, ao sinalizar energia adequada, representam um sinal de saciedade funcional que diminui a recompensa associada à comida (Morton e outros, 2009; Davis et al., 2010b; Figlewicz e Sipols, 2010; Opland et al., 2010; Vucetic e Reyes, 2010). Por outro lado, quando a energia é baixa, a leptina e a insulina declinam, desinibindo a dopamina e promovendo incentivos / recompensas aprimorados na busca de alimentos. Esta ideia geral é consistente com os dados que demonstram que o aumento da leptina e da insulina reduz o comportamento baseado na recompensa (Carr et al., 2000; Fulton e outros, 2000; Sipols et al., 2000; Figlewicz et al., 2004, 2006, 2007; Hommel et al., 2006; Farooqi et al., 2007; Rosenbaum et al., 2008; Morton e outros, 2009) e, inversamente, que a restrição alimentar, associada à diminuição da leptina / insulina (Havel, 2000), aumenta o comportamento impulsionado pela recompensa (Carroll e Meisch, 1980; Carr, 2007, 2011; Davis et al., 2010a). Em suma, ao aumentar e diminuir a função da dopamina, a leptina e a insulina modulam o incentivo associado à comida e, muito provavelmente, recompensa a sensibilidade em geral (Morton e outros, 2006; Davis et al., 2010a). Embora esse relato da leptina e da dopamina seja intuitivo, a história pode, no entanto, ser mais complexa (Palmitador, 2007).

No contexto da obesidade, a relação entre leptina / insulina, dopamina e comportamento de recompensa é paradoxal e não se ajusta à ideia que acabamos de esboçar. Em primeiro lugar, ao invés do aumento esperado na sinalização de leptina / insulina proporcional ao aumento da ingestão calórica e adiposidade, a obesidade tem sido associada à sensibilidade reduzida à leptina / insulina (Arase e outros, 1988; Lin et al., 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Enriori et al., 2007; Davis et al., 2010a; Figlewicz e Sipols, 2010; Koek et al., 2012). Segundo, enquanto podemos esperar que essa redução observada na sensibilidade à leptina / insulina resulte em aumento da função da dopamina, análogo aos sinais de leptina / insulina reduzidos na restrição alimentar, a maioria dos estudos relata diminuiu função da dopamina na obesidade (Di Chiara et al., 1998; Wang et al., 2001a; Davis et al., 2008; Geiger et al., 2008, 2009; Li et al., 2009; Vucetic e Reyes, 2010) Finalmente, pode-se esperar que a redução da função dopaminérgica resulte em diminuição do consumo, como sugerem as evidências citadas acima. Em vez disso, a redução da dopamina e a hiperfagia co-ocorrem. Na obesidade, então, a cadeia de leptina / insulina -> dopamina -> recompensa é invertida a cada etapa.

As duas primeiras inversões destacam uma distinção crítica entre o balanço energético positivo agudo e o crônico. A sensibilidade reduzida à leptina / insulina é amplamente acreditada como decorrente de crônico balanço energético positivo, levando à obesidade e distúrbios metabólicos, e representando uma adaptação patológica. A redução paradoxal da função da dopamina associada à obesidade, apesar da sensibilidade reduzida à leptina / insulina, também é uma adaptação (patológica), como frequentemente proposto em teorias que associam a obesidade à dependência (Volkow e Wise, 2005; Trinko e outros, 2007; Avena e outros, 2009; Lutter e Nestler, 2009; Avena e Bocarsly, 2011). Isso complica severamente a investigação porque significa que para cada observação de uma relação entre a ingestão de energia, leptina / insulina e dopamina, temos que perguntar “esta observação reflete a função normal ou adaptação patológica?” Esta situação aumenta o risco de inferências inadequadas de normal função de condições patológicas e vice-versa, uma questão abordada abaixo (seção de obesidade induzida por gaiola).

A terceira inversão - a diminuição da função da dopamina associada à obesidade promove mais do que inibe o consumo - contradiz superficialmente toda a noção de que a dopamina aumenta o valor de incentivo. No entanto, isso pode refletir a complexidade dos substratos neurais que controlam o consumo. Em particular, motivação reduzida de incentivo e hiperfagia podem coexistir. Davis et al. (Davis et al., 2010b) recentemente forneceram dados sugerindo que a leptina modula a dopamina por meio de dois mecanismos: sinalização direta por meio de receptores de leptina nas células de dopamina do mesencéfalo e indiretamente por meio do neurônio que expressa leptina no hipotálamo lateral para modular a atividade das células dopaminérgicas. Eles sugerem que as ações da leptina no LH regulam a motivação homeostática, enquanto suas ações na dopamina do mesencéfalo regulam o esforço de resposta. Embora esses dois mecanismos normalmente funcionem em conjunto, eles podem se dissociar de forma que o consumo e a vontade de trabalhar pela comida não sejam correlacionados (por exemplo, Greenwood et al., 1974; Salamone et al., 1991; Baldo et al., 2002; Davis et al., 2010b; Rasmussen et al., 2010). Se a alimentação não homeostática é um esforço para obter comida - “querer” - na ausência de necessidade (Berridge et al., 2010), a adaptação patológica da leptina / insulina / dopamina à obesidade pode refletir o contrário: uma necessidade percebida de consumir alimentos sem gastar esforço, necessitando sem “querer”.

Homeostase da dopamina e da energia: uma perspectiva centrada no gasto

Este trabalho descrito acima se concentra quase exclusivamente no consumo, o lado de entrada do balanço energético. A leptina, embora menos sistematicamente investigada, também desempenha um papel na regulação do gasto de energia (Pelleymounter e outros, 1995; Williams et al., 2001; Elmquist et al., 2005; Ludwig et al., 2005; van de Wall et al., 2008; Leinninger et al., 2011; Ribeiro et al., 2011) No entanto, apesar do papel bem conhecido da dopamina na regulação da atividade, pouco se sabe sobre como as interações entre a leptina, a insulina e a dopamina modulam a atividade e o gasto de energia. Do ponto de vista do gasto de energia, pode-se esperar que a leptina / insulina, sinalizando a disponibilidade de energia, aumentaria o gasto de energia e aumentaria a atividade (Ribeiro et al., 2011) - “se você usou, use” - o que é inconsistente com as observações de que a leptina diminui a função da dopamina. No entanto, trabalhos recentes (Leinninger et al., 2009; Opland et al., 2010) sugere que a relação entre leptina e dopamina pode não ser simples e unidirecional. Leinninger e seus colegas sugerem que a leptina atuando no LH aumenta função da dopamina (Leinninger et al., 2009) enquanto a ativação dos receptores de leptina nas células dopaminérgicas diminui a função da dopamina (Hommel et al., 2006; Figlewicz e Benoit, 2009). Leshan et al. (2010) sugerem que as células de dopamina que expressam receptores de leptina representam uma pequena subpopulação (~ 10%) que se projeta quase exclusivamente para o núcleo central da amígdala. Quando a leptina aumenta a partir de um excedente de energia, então, o seu efeito primário na dopamina, via LH, pode ser aumentar dopamina e aumentar a atividade e o gasto energético, como observado por Ribeiro e colaboradores (Ribeiro et al., 2011): a energia está disponível, use-a. As células dopaminérgicas e projeção que expressam diretamente os receptores de leptina podem desempenhar um papel diferente no apetite aprendizagem- associado ao CeN (Holanda e Gallagher, 1993; Parkinson et al., 2000; Connor et al., 2001; Baxter e Murray, 2002; Lee et al., 2005; Paton e outros, 2006; El-Amamy e Holanda, 2007) - uma ideia intrigante além do escopo da discussão atual. Na hipótese aqui proposta, esse aumento da dopamina mediado pela leptina não aumenta a recompensa, mas muda a regulação da atividade para um maior gasto e maior exploração. Maior exploração resulta em uma aparente redução na sensibilidade / incentivo à recompensa, uma vez que o comportamento é menos parcial por recompensa, embora importante, ainda motivado.

A visão centrada na recompensa da dopamina coloca a regulação para cima ou para baixo da recompensa e motivação do incentivo como a principal contribuição da dopamina para a homeostase energética e a obesidade. A hipótese atual centra o papel da dopamina no gasto de energia e sugere que a energia disponível normalmente aumenta a dopamina, resultando em aumento da atividade e exploração, onde o impacto da recompensa na escolha comportamental é realmente diminuído. Por outro lado, a baixa energia diminuiria a dopamina, resultando na conservação de energia e exploração de informações de recompensa, ou seja, aumentando o impacto da recompensa no comportamento. Este último é consistente com as observações frequentemente citadas para apoiar a hipótese da "deficiência de recompensa", mas interpretamos esses dados como refletindo um "excesso de exploração de recompensa". Essa hipótese sugere que a alta ingestão calórica deve aumentar a dopamina e, através de atividade aumentada, ser protetora contra a obesidade. Este mecanismo putativo, no entanto, não parece mais bem-sucedido do que os mecanismos homeostáticos na prevenção da obesidade em nosso ambiente atual. Por quê?

Reduzindo o gasto de energia: obesidade induzida por cubículos e gaiola

Esta hipótese preveria que um fornecimento de energia pronto, como é geralmente o caso nas sociedades ocidentais modernas, aumentaria a dopamina e facilitaria o gasto de energia, fornecendo proteção contra a obesidade. Criticamente, este efeito depende do oportunidade gastar energia. A obesidade induzida por dieta (DIO) em roedores alimentados com dietas ricas em gordura e altamente calóricas é um modelo prevalente de obesidade induzida pelo ambiente. Embora amplamente interpretado como um modelo de ambientes obesogênicos, os roedores dessas dietas não se tornam obesas universalmente, mostrando graus de resistência que variam entre as cepas (Brownlow e outros, 1996; Funkat et al., 2004; Novak et al., 2010) e entre indivíduos, a base para a reprodução seletiva de roedores suscetíveis e resistentes à obesidade (Levin, 2010). A avaliação do papel dos efeitos mediados pela dopamina no gasto de energia em DIO é difícil, uma vez que a questão não foi investigada diretamente.

Embora o funcionamento em roda tenha demonstrado proteger contra DIO em vários modelos de obesidade (Zachwieja et al., 1997; Levin e Dunn-Meynell, 2004; Bi, 2005; Moran e Bi, 2006b; Patterson e outros, 2008, 2009; Meek e outros, 2010; Novak et al., 2010), a medida em que essa atividade voluntária protetora é modulada pela dopamina não foi diretamente examinada nesses estudos. Ratos OLEF propensos à obesidade mostram obesidade muito reduzida quando fornecidos com rodas de corrida (Bi, 2005). Curiosamente, o padrão de refeições desses ratos, comparado aos controles, é análogo ao que observamos com os camundongos DAT: eles consomem refeições maiores, mas menos, embora, ao contrário do DAT, seu consumo líquido seja elevado (Moran e Bi, 2006a, p.1214, Figura 2). Os ratos OLETF não diabéticos mais jovens apresentam aumento da dopamina extracelular, consistente com o fenótipo de padrão de refeição DAT (Anderzhanova e outros, 2007). No entanto, em idades pré-diabéticas e diabéticas mais avançadas, eles mostram um declínio dramático na dopamina (Anderzhanova e outros, 2007). Uma interpretação desses dados é que níveis elevados de dopamina nesses ratos os predispõem a um maior consumo de energia. e despesas, mas na ausência de oportunidades de exercício voluntário, o aumento do gasto de energia é bloqueado, resultando em desequilíbrio energético, obesidade e desordem metabólica.

Alguns estudos demonstraram que dietas ricas em gorduras / calorias diminuem a função da dopamina, incluindo redução do TH, redução da liberação de dopamina estimulada e redução da expressão do receptor D2 (Geiger et al., 2008, 2009). Entretanto, se a redução observada na função da dopamina surge como consequência direta do aumento da disponibilidade de energia ou secundária a outras fisiopatologias, não está claro. Especificamente, dietas ricas em gorduras / calorias têm sido associadas à leptina e / ou à insensibilidade à insulina (Arase e outros, 1988; Lin et al., 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Davis et al., 2010a; Figlewicz e Sipols, 2010). Isso dificulta a interpretação de alterações na função da dopamina em resposta à DIO. Por exemplo, embora tenha sido reportada a função D2 reduzida com DIO, estas observações geralmente ocorrem após muitas semanas de dieta rica em gordura, introduzindo a possibilidade de estas alterações surgirem secundariamente à leptina e insulina cronicamente elevadas e subsequente insensibilidade à leptina / insulina. Infelizmente, essa possibilidade é raramente abordada e os níveis de insulina / leptina não são tipicamente relatados. No entanto, em um estudo que examinou a expressão D2 e DAT após 20 dias de dieta HF e os níveis de insulina / leptina relatados, os autores observaram uma diminuição no DAT e um aumentar em D2 (Sul e Huang, 2007; Veja também Huang et al., 2005), ambos consistentes com o aumento da atividade. Em um estudo mais recente, esses mesmos autores observam um aumento na função do sistema de dopamina quando os ratos passam da dieta para dieta de alta energia (South et al., 2012). Estes dados sugerem que o do estado inicial, resposta à alta gordura e aumento da disponibilidade calórica é aumentar dopamina e aumentar expressão do receptor desinibitório D2, induzindo maior atividade. A fim de responder à questão de como o sistema dopaminérgico responde a uma abundância de calorias disponíveis, é fundamental desambiguar do estado inicial, da crônico resposta e avaliar o grau em que adaptações patológicas, como a insensibilidade à leptina, estão presentes.

Até que ponto as mudanças observadas no sistema de dopamina sob DIO surgem não da dieta de alto teor calórico em si, mas da falta de oportunidade de exercício? Ou seja, em observações de diminuição da função da dopamina associada à DIO, podemos perguntar não apenas em que medida isso reflete uma adaptação patológica, mas também em que medida a falta de oportunidade para o gasto voluntário de energia contribuir para esta patologia? Evidências sugerem que o funcionamento da roda pode alterar as características funcionais do sistema de dopamina (MacRae et al., 1987; Sabol et al., 1990; Hattori e outros, 1993, 1994; Wilson e Marsden, 1995; Liste et al., 1997; Meeusen et al., 1997; Foley e Fleshner, 2008; Greenwood et al., 2011), incluindo aumento da dopamina extracelular, aumento do turnover, elevação do mRNA do TH e alterações na expressão do D2. Num estudo recente que diferenciou entre os D2 pós-sinápticos e os autoreceptores, verificou-se que os autoreceptores estavam sob regulação negativa e o D2 pós-sináptico aumentou positivamente (Foley e Fleshner, 2008). Além disso, a atividade voluntária pode mitigar adaptações patológicas na leptina e na sinalização da insulina que podem, indiretamente, proteger a função da dopamina (Krawczewski Carhuatanta e outros, 2011). Assim, o exercício voluntário pode melhorar a função diminuída da dopamina observada na DIO, embora isso não tenha sido sistematicamente examinado.

Na hipótese aqui proposta, o aumento da disponibilidade de energia, por meio de regulação positiva da atividade comportamental mediada pela dopamina, resultaria em maior exploração e gasto de energia, permitindo que o animal aproveitasse um suprimento de energia abundante e protegesse contra a obesidade. Na medida em que o paradigma DIO não oferece uma oportunidade para a exploração e o gasto de energia restringindo roedores a pequenas gaiolas com pouca ou nenhuma novidade, estimulação ou oportunidades de exercício, isso pode refletir as conseqüências de frustrar gasto energético em condições de abundância energética. Muitos sugeriram que os estilos de vida sedentários característicos das culturas ocidentais modernas podem contribuir para a obesidade como muito ou mais do que a dieta (Powell e Blair, 1994; Booth et al., 2000; Hill et al., 2003; Chakravarthy e Booth, 2004; Levin e Dunn-Meynell, 2004; Warburton et al., 2006; Booth e Lees, 2007; Elder e Roberts, 2007; Hawley e Holloszy, 2009; Chaput et al., 2011), tornando a DIO altamente relevante para o entendimento da obesidade nas sociedades modernas. Entretanto, se a obesidade induzida surge do aumento do consumo calórico ou da falta de oportunidades significativas para gastar energia - obesidade induzida por gaiola ou cubículo - ainda não está claro. Da mesma forma, embora amplamente proposto que a dopamina contribui para a DIO através da modulação da recompensa e motivação apetitiva, sua contribuição potencial através da modulação do gasto de energia permanece em grande parte não investigada e, no paradigma DIO convencional, obscurecida.

Direções Futuras: Reformulando Estratégias de Pesquisa

A hipótese da recompensa da dopamina dominou a investigação e o pensamento sobre a dopamina; experimentos são tipicamente projetados dentro dessa estrutura conceitual. Como conseqüência, a informação necessária para avaliar a hipótese proposta está mais frequentemente ausente. Freqüentemente, os níveis de atividade são simplesmente ignorados. Isso varia da ampla investigação geral na qual há um profundo viés em estudar o comportamento e consumo apetitivos com apenas uma recente literatura sobre mecanismos que controlam o gasto voluntário de energia para experimentos específicos, como muitos estudos de DIO nos quais a atividade não é medida ou tomada em consideração. conta em tudo [por exemplo, Geiger et al., 2008, 2009]. Essa tendência às teorias da recompensa também é refletida na literatura em que caminhos elaborados e sofisticados que controlam a ingestão e / ou recompensa foram extensivamente mapeados, enquanto um mapeamento comparável de mecanismos e vias reguladoras da atividade voluntária é virtualmente inexistente (mas veja Garland e outros, 2011). A integração de medidas sistemáticas e acordadas de atividade precisa ser rotineiramente integrada nos estudos da função da dopamina.

Em segundo lugar, a adaptação depende do ambiente. Atualmente, a grande maioria dos estudos em animais investiga efetivamente uma economia de energia: a escassez periódica e temporária de alimentos decorrente da restrição alimentar empregada para motivar os animais. Isso não só não reflete a alcance de condições às quais um animal deve se adaptar, mas não reflete a condição primária que se acredita estar por trás do aumento da obesidade, que é um ambiente de abundância, não de escassez. Uma abordagem de gaiola doméstica semi-naturalista, conforme ilustrado pelo nosso trabalho, bem como por outros (Hursh et al., 1988; Chaney e Rowland, 2008) é essencial para obter um quadro “completo” da função da dopamina. Em tais paradigmas de gaiola doméstica, as contingências ambientais podem ser controladas ao longo de diferentes dimensões ao longo de um período sustentado sem a necessidade de déficits de energia artificialmente induzidos (isto é, restrição alimentar) ou a introdução de horizontes temporais artificiais (a sessão horária); isto é, o comportamento autorregulado do animal em resposta ao seu ambiente pode ser investigado de forma mais completa.

Terceiro, praticamente todo o trabalho se concentra no impacto da dopamina alterada no comportamento, com um pequeno exame de como as interações comportamentais com o ambiente e os resultados subsequentes alteram o próprio sistema de dopamina. Esses tipos de estudos são reconhecidamente desafiadores, conforme evidenciado na literatura sobre como o estresse altera a função da dopamina. No entanto, eles parecem críticos para entender completamente a função adaptativa da dopamina. Um ambiente sustentado de abundância ou escassez regulam a função da dopamina? Embora a questão possa ser crítica, não há uma resposta clara ou convincente até o momento e a pergunta raramente é feita.

Conclusões: uma visão mais ampla

Aqui desenvolvemos uma ampla hipótese da função da dopamina que sugere que a miríade de funções aparentes da dopamina pode ser entendida coletivamente como mecanismos pelos quais o gasto energético é adaptado à economia de energia na qual o animal se encontra: um substrato para reconciliar a busca da recompensa com Recursos. Primeiro, elaboramos essa hipótese em termos teóricos, tentando integrar diferentes visões da função da dopamina em uma estrutura mais ampla de gerenciamento de energia. Em seguida, aplicamos essa estrutura para reinterpretar idéias e dados no crescente campo da dopamina e da obesidade. Propomos a nova hipótese de que a dopamina, ao favorecer o gasto energético, seria normalmente protetora contra a obesidade, mas que os estilos de vida sedentários da sociedade moderna impedem esse processo protetor e induzem adaptações patológicas que contribuem para a proteção contra a obesidade. Embora além do escopo da discussão atual, acreditamos que o arcabouço esboçado aqui em linhas gerais possa ser proveitosamente aplicado a outras áreas de pesquisa em dopamina, incluindo o transtorno do déficit de atenção e hiperatividade, potencialmente gerando novos insights e hipóteses testáveis.

Recompensa - a ligação de eventos externos e estímulos às necessidades internas - representa claramente uma função crítica do ponto de vista evolutivo e adaptativo. No entanto, recompensa e valor são fundamentalmente relativos. Qual é o critério pelo qual a recompensa é modulada? Aqui sugerimos que o sistema dopaminérgico, em sua raiz, surgiu para tratar de uma função ainda mais fundamental que a recompensa: otimizar a utilização de recursos energéticos, o coração da sobrevivência adaptativa e, literalmente, uma questão de vida ou morte.

Declaração de conflito de interesse

Os autores declaram que a pesquisa foi realizada na ausência de quaisquer relações comerciais ou financeiras que possam ser interpretadas como um potencial conflito de interesses.

Agradecimentos

Este trabalho foi apoiado por NIDA R01DA25875 (Jeff A. Beeler), F31DA026802 (Cristianne RM Frazier), R01GM100768 (Xiaoxi Zhuang) e R56DK088515 (Xiaoxi Zhuang). Gostaríamos de agradecer aos revisores por seus comentários rigorosos e perspicazes que melhoraram substancialmente o manuscrito final.

Referências

Editado por:

John J. Foxe, Albert Einstein College of Medicine, EUA

Revisados ​​pela:

Thomas A. StalnakerEscola de Medicina da Universidade de Maryland, Baltimore, EUA
John D. SalamoneUniversidade de Connecticut, EUA