Poner el deseo en un presupuesto: dopamina y gasto de energía, conciliación de recompensa y recursos (2012)

Jeff A. Beeler¹*, Cristianne RM Frazier² y Xiaoxi Zhuang^1,2

Introducción

La idea de que la función principal de la dopamina es mediar la recompensa es generalizada. Aunque abundan las controversias precisamente sobre cómo la dopamina puede contribuir a la recompensa, o incluso si lo hace (Cañon y Palmiter, 2003; Sabio, 2004; Berridge, 2007; Goto et al., 2007; Robbins y Roberts, 2007; Salamone, 2007; Schultz, 2007; Redgrave et al., 2008), la recompensa como metáfora organizadora de la función de la dopamina es tan omnipresente que a menudo se la trata como un hecho, una tendencia especialmente pronunciada dentro de la literatura sobre obesidad y alimentación donde la dopamina del cerebro medio se equipara efectivamente con la recompensa (por ejemplo, Kenny, 2010; Volkow et al., 2010; Avena y Bocarsly, 2011; Berthoud et al., 2011). Sin embargo, décadas de investigación han documentado indiscutiblemente un papel claro para la dopamina en la actividad de modulación, mejor ilustrada por las propiedades psicoestimulantes de las drogas que aumentan la señalización de la dopamina. Salamone y sus colegas han argumentado durante mucho tiempo que el efecto primario de la dopamina es regular la actividad de esfuerzo, permitiendo a un animal superar los costos de respuesta asociados con la búsqueda de estímulos valiosos (Salamone, 2009, 2011). Más recientemente, los estudios genéticos que exploran genes potenciales que regulan la actividad voluntaria han señalado genes relacionados con la dopamina, y algunos autores sugieren que la dopamina puede representar una "vía final común" para controlar la actividad voluntaria (Leamy et al., 2008; Kelly et al., 2010; Knab y Lightfoot, 2010; Mathes et al., 2010; Garland et al., 2011). A pesar de datos convincentes y sustanciales que sugieren que la dopamina desempeña un papel clave en el gasto de energía, esta visión de la dopamina se ve opacada por la perspectiva de la recompensa. Por ejemplo, en muchos artículos que discuten sobre la dopamina y la obesidad (Geiger et al., 2009; Berridge et al., 2010; Kenny, 2010; Berthoud et al., 2011), el papel de la dopamina en el gasto energético ni siquiera se considera, a pesar de que el gasto energético representa conceptualmente la mitad de la ecuación del balance energético.

Hasta la fecha, ningún marco convincente ha integrado estos dos dominios distintos de los efectos de la dopamina y la función putativa, la función de recompensa ampliamente reconocida y los efectos menos prominentes pero igualmente demostrables de la dopamina sobre la actividad y el gasto energético. Los efectos dopaminérgicos aparentes en la actividad a menudo se enmarcan como consecuencia de los procesos de recompensa. Por ejemplo, se ha propuesto que el papel de la dopamina en la modulación de la rueda de rodadura voluntaria en roedores se deriva de la modulación dopaminérgica de la recompensa y el refuerzo asociado con la marcha de la rueda (Garland et al., 2011; Roberts et al., 2011; Yang et al., 2012). Aquí desarrollamos una hipótesis en la que la función principal de la dopamina es regular el gasto de energía. Específicamente, argumentamos que la dopamina sirve como una interfaz entre los entornos internos y externos que combinan el gasto de energía del comportamiento con la economía energética ambiental predominante. Proponemos que la dopamina regule el gasto de energía en dos dimensiones: (1) cómo mucho más energía para gastar (eje de conservación-gasto) y (2) cómo distribuir o asignar energía a diferentes actividades (un eje explorar-explotar, elaborado a continuación). Desde este punto de vista, los efectos relacionados con la recompensa de la dopamina son secundarios y están al servicio de la gestión adaptativa del gasto energético. Estamos profundamente en deuda con el elegante trabajo de Salamone y su enfoque obstinado en el papel de la dopamina en la regulación del esfuerzo y su persistente crítica de la hipótesis de la recompensa de la dopamina. La presente hipótesis representa una integración y expansión de sus conocimientos fundamentales en una hipótesis más amplia en la que la dopamina regula adaptativamente tanto el esfuerzo como la recompensa (escalando el impacto del historial de recompensas anterior sobre el comportamiento actual) con respecto a la disponibilidad de energía en el medio ambiente.

Investigando la Dopamina en un contexto adaptativo, semi-naturalista

A continuación, primero revisaremos estudios recientes de nuestro laboratorio que cuestionan la primacía de la recompensa en la modulación dopaminérgica del comportamiento y resaltan su papel en el gasto de energía. Posteriormente, elaboraremos una hipótesis de la economía de la energía de la función de la dopamina, revisando la literatura relevante. Concluiremos con una consideración de la hipótesis actual en la investigación del papel de la dopamina en la obesidad. El término "recompensa" es, lamentablemente, abusado dentro de la literatura, como ha sido señalado por otros (Cañon, xnumx; Salamone et al., 2005; Salamone, 2006; Yin et al., 2008). En particular, la palabra se usa de manera imprecisa y ambigua para captar diferentes conceptos, incluidas las respuestas afectivas (como gustar algo), el refuerzo (un resultado que aumenta la probabilidad de que se repita el comportamiento anterior), los estímulos que satisfacen una necesidad apetitiva (por ejemplo, comida) y así sucesivamente. En la primera parte de esta revisión, usamos (mal) el término ampliamente, de manera muy similar a como se usa mal en la literatura, como un término general para agrupar y capturar temas que impregnan la literatura, a pesar de varias diferencias teóricas entre diferentes ideas. Posteriormente, definiremos la recompensa con mayor precisión a medida que desarrollamos nuestra hipótesis.

Dopamina elevada: disminución del acoplamiento a la recompensa

Implícito en las perspectivas de recompensa de la dopamina es la idea de que La dopamina aumenta el impacto de la recompensa en el comportamiento. Empíricamente, esto se apoya en innumerables estudios que muestran que el aumento de la dopamina aumenta el esfuerzo que un animal ejerce para obtener una recompensa, mientras que la disminución de la dopamina disminuye el esfuerzo (Wise et al., 1978; Taylor y Robbins, 1986; Aberman et al., 1998; Peciña et al., 2003; Kelley, 2004; Cagniard et al., 2006a,b; Phillips et al., 2007; Salamone, 2009, 2011). Estos datos acumulativos han llevado a muchos investigadores a concluir que la dopamina aumenta la recompensa en sí misma o el incentivo asociado con los estímulos relacionados con la recompensa. Alternativamente, la sensibilidad a los costos asociados con la obtención de la recompensa puede disminuir al aumentar la dopamina (Phillips et al., 2007; Salamone, 2011). Lo que a menudo se deduce de estos estudios, incluso si sus autores se oponen rotundamente a tales interpretaciones (por ejemplo, Salamone), es que la dopamina modula la relación entre la recompensa y el comportamiento de tal manera que la dopamina aumenta el grado en que la recompensa influye en la elección conductual. Por ejemplo, Salamone sostiene que la dopamina no modula la recompensa en absoluto; muestra que la dopamina facilita esfuerzo. Por lo tanto, la búsqueda de recompensa de los animales se ve menos obstaculizada por el costo de respuesta. Muchos han interpretado esto como un aumento del impacto de la recompensa en la elección del comportamiento, no cambiando la recompensa en sí, sino alterando un factor —el costo de respuesta— que normalmente limita la búsqueda de la recompensa.

Para examinar cómo el aumento de la dopamina altera la adaptación a un entorno seminaturalista, preguntamos si el aumento observado repetidamente en la motivación de recompensa daría lugar a una flexibilidad conductual disminuida (Beeler et al., 2010). Para probar esto, utilizamos un paradigma de jaula en el hogar donde los ratones vivían en jaulas en casa equipadas con operante y toda su comida se obtuvo presionando la palanca, 24 / 7. No se empleó restricción alimenticia y se permitió a los ratones autorregular por completo su consumo. Dos palancas produjeron alimentos donde una siempre fue "barata" y requirió un bajo número de prensas para un pellet (FR20), mientras que la otra siempre fue "cara" y requirió un mayor número de prensas que aumentaron a medida que avanzaba el experimento (FR40 – FR200) . Sin embargo, qué palanca fue la que cambió aleatoriamente cada 20 – 40 min. Por lo tanto, para obtener el mayor retorno por el esfuerzo gastado, los ratones tuvieron que monitorear la retroalimentación de la recompensa en curso y periódicamente cambiar las palancas para obtener los pellets de menor costo. Probamos ratones de tipo salvaje C57BL / 6 (control) y transportador de dopamina (DATkd) que tienen un aumento de dopamina extracelular y un aumento de la actividad de cocción de dopamina tónica (Zhuang et al., 2001; Cagniard et al., 2006b).

Encontramos que los ratones con dopamina elevada (DATkd) presionaron significativamente más en la palanca de alto costo que los ratones de tipo salvaje, lo que concuerda con la literatura anterior que muestra que la dopamina aumenta el esfuerzo hacia la recompensa. Sin embargo, en este caso, el mayor esfuerzo no aumentó la recompensa, simplemente la cantidad de esfuerzo gastado hacia esa recompensa. El análisis detallado de los datos muestra que el DATkd no era insensible ni desconocía los cambios entre las palancas, ya que su comportamiento de cambio de posición era esencialmente idéntico. La diferencia surgió durante los períodos estables entre los interruptores de palanca en los que los ratones DATkd distribuyeron su esfuerzo por igual a ambas palancas, mientras que los ratones de tipo salvaje presionaron preferentemente la palanca barata. Para comprender mejor la estrategia subyacente al comportamiento DATkd, ajustamos los datos a un modelo de aprendizaje de diferencia temporal (TD) (Sutton y Barto, 1998). En estos modelos, hay dos parámetros clave: una velocidad de aprendizaje que controla la velocidad a la que se incorpora la nueva información de recompensa (y se desvanece de) el valor de presionar la palanca y una "temperatura inversa" que controla el grado en que ese valor sesgos de elección de comportamiento. Este último parámetro a menudo se denomina parámetro de exploración-explotación, ya que un mayor sesgo da como resultado la explotación del aprendizaje, mientras que un sesgo reducido permite una mayor exploración (Sutton y Barto, 1998; Daw et al., 2006). Encontramos que no hubo diferencias entre los genotipos con respecto a la velocidad de aprendizaje, lo que concuerda con la falta de diferencias de aprendizaje observadas alrededor de los interruptores, pero que el DATkd mostró una temperatura inversa reducida. Es decir, hubo una reducido Acoplamiento entre la historia de recompensa y sus elecciones de comportamiento. A primera vista esto parece paradójico. Aunque los ratones DATkd trabajaron más duro para obtener una recompensa, de acuerdo con décadas de literatura, esto no parece surgir como consecuencia de la recompensa que ejerce un mayor control sobre su comportamiento. Por el contrario, disminuyó el acoplamiento entre la recompensa y la elección de comportamiento. En lugar de recompensar tener un mayor efecto de sesgo en su comportamiento, tuvo less. El aumento de la dopamina, en estas condiciones, dio como resultado una disminución en lugar de una mayor explotación. Curiosamente, Salamone et al. (Salamone et al., 2001) han demostrado que las ratas con agotamiento de dopamina en el núcleo accumbens son más depende de la recompensa reciente para superar el costo de respuesta, lo que sugiere lo contrario a la reducción de dopamina, un aumentado Acoplamiento entre historia de recompensa y elección.

Dopamina elevada: modulación del esfuerzo sin mayor consumo

Otra idea implícita en la perspectiva de la recompensa de la dopamina es que la dopamina, al aumentar el grado en que la conducta de los prejuicios de la recompensa, regula el grado en que un animal buscará la recompensa; eso es eso la dopamina media "querer": más dopamina, más ganas, más persecución (Robinson y Berridge, 1993; Leyton et al., 2002; Volkow et al., 2002; Tindell et al., 2005; Berridge et al., 2010). Este efecto de la dopamina es fundamental para muchas teorías de la adicción (Robinson y Berridge, 2001; Koob y Volkow, 2010) y, más recientemente, las teorías de la dopamina y la obesidad (Volkow y Wise, 2005; Finlayson y otros, 2007; Zheng et al., 2009; Berridge et al., 2010; Volkow et al., 2010; Avena y Bocarsly, 2011; Berthoud et al., 2011). En otro estudio reciente de homecage (Beeler et al., 2012a), preguntamos si, bajo diferentes condiciones ambientales, este aumento de "falta" podría ser adaptable. Para probar esto, nuevamente alojamos ratones en jaulas equipadas con palancas operantes donde ganaron toda su comida presionando la palanca, de nuevo sin restricción explícita de alimentos. En este paradigma, solo una palanca produjo alimentos y la demanda de trabajo para esa palanca aumentó cada día de 3 a lo largo de los experimentos, comenzando en FR5 y terminando en FR250. Esto produce una curva de demanda que muestra el grado en que los ratones ajustan su consumo diario al costo actual de los pellets. Suponiendo que la dopamina aumenta el valor de la recompensa y / o disminuye la sensibilidad al costo, esperaríamos que los ratones DATkd con dopamina elevada obtendrían mejores resultados en este paradigma y continuaran presionando más a costos más altos que los ratones de tipo salvaje. Aunque el DATkd mostró un leve aumento de la presión a costos más altos, en general mostraron el mismo ajuste a los costos crecientes que los ratones de tipo salvaje, sin que se observen diferencias en los cambios de peso corporal o la supervivencia dentro del experimento. Además, cuando los datos se ajustaban a un modelo de elasticidad de demanda (Hursh y Silberberg, 2008), no hubo diferencia entre los genotipos en elasticidad. Entonces, ¿a dónde fue el efecto de la dopamina en el esfuerzo y la recompensa?

El análisis de los datos de las comidas individuales (es decir, el número, la duración y el tamaño de las comidas) indica un gran efecto de genotipo en el que los ratones DATkd comieron mayores but fewer las comidas Es decir, aunque la dopamina no cambió significativamente su consumo general, sí cambió el patrón de sus comidas, la forma en que distribuyeron temporalmente su esfuerzo y consumo. Estos datos sugieren que los costos en aumento indujeron una condición de escasez que involucró mecanismos de conservación homeostáticos tanto en el tipo salvaje como en el DATkd. Para evitar esta condición artificial de escasez, realizamos un estudio de proporción progresiva de jaulas en el hogar en el que los costos en aumento ocurren dentro de cada comida o brote de prensado a medida que aumenta el costo de cada pellet subsiguiente en 2. Después de un cese mínimo de 30 de todas las pulsaciones, la relación se restablece. De esta manera, los ratones podrían cambiar su esfuerzo hacia comidas más grandes y más costosas, o comidas más pequeñas, más baratas y más frecuentes sin sacrificar el consumo general. En este estudio, no observamos cambios significativos en el peso corporal entre los grupos y ninguna diferencia significativa en el consumo general. Sin embargo, los ratones DATkd, nuevamente, comieron comidas más abundantes y exhibieron un punto de ruptura más alto dentro de episodios individuales, lo que concuerda con la literatura previa que muestra que la dopamina elevada aumenta el punto de ruptura en el paradigma de relación progresiva. Sin embargo, como se mencionó anteriormente, este mayor esfuerzo fue compensado por comidas menos frecuentes, de manera que el consumo general no fue diferente. De estos estudios, extraemos dos conclusiones importantes. Primero, los efectos de la dopamina en la búsqueda de alimentos, al menos en este paradigma, parecen permanecer bajo control homeostático. En segundo lugar, la dopamina no parece alterar el "deseo" o la búsqueda general de alimentos en un sentido global, sino que parece modular el esfuerzo realizado dentro de los episodios locales temporales de la búsqueda de objetivos. En resumen, la dopamina parece haber afectado la forma en que la energía y el esfuerzo son distribuidos En lugar de aumentar la motivación apetitiva. per se.

Aquí observamos que el aumento de dopamina no hace que la demanda sea más inelástica; es decir, total Los ratones hiperdopaminérgicos adaptan su consumo a los costos de respuesta de manera similar a los de tipo salvaje. En la superficie, esto parece contradictorio con muchos estudios que sugieren que estimular o impedir la transmisión de dopamina puede mejorar o disminuir la respuesta basada en el esfuerzo, respectivamente (por ejemplo, Aberman y Salamone, 1999; Bardgett et al., 2009; Salamone et al., 2009b), presumiblemente influyendo en la elasticidad en respuesta a los costos. Sin embargo, observamos el mismo fenómeno observado en esos estudios: la dopamina facilita un mayor esfuerzo durante una combate de búsqueda de alimentos, evidenciado aquí por comidas más grandes y puntos de ruptura más altos. Sin embargo, también observamos lo que los estudios basados ​​en sesiones no pueden, ya que estas diferencias en el esfuerzo, de las cuales podemos inferir cambios en la elasticidad, no están necesariamente acompañadas por cambios en el consumo y la demanda en general. Esas comidas más grandes se compensan con menos comidas, lo que da como resultado una elasticidad general similar en respuesta a la escalada de los costos. El hecho de que la dopamina elevada no produzca inelasticidad en estos estudios no significa que la dopamina nunca module la elasticidad, solo que la relación entre dopamina, esfuerzo y demanda puede ser más compleja de lo que se apreciaba anteriormente.

Dopamina elevada: no mejora el valor hedónico ni cambia la elección de comportamiento

Otra idea implícita en la hipótesis de la dopamina y la recompensa es que la dopamina aumenta la búsqueda de preferido comidas (Salamone et al., 1991; Cousins ​​et al., 1993; Salamone, 1994; Lowe y Levine, 2005; Zheng et al., 2009; Berridge et al., 2010; Kenny, 2010; Volkow et al., 2010), donde "preferido" se define típicamente como apetitoso, alimentos hedonicamente gratificantes: cosas que saben bien. Desde una perspectiva de incentivo-saliencia, la dopamina aumenta el mayor incentivo asociado con los alimentos preferidos. Argumentando en contra de esto, Salamone et al. (Salamone et al., 1991; Salamone, 1994) han demostrado que en condiciones de alimentación libre, la preferencia no se ve alterada por los cambios en la función de la dopamina; es decir, la dopamina no aumenta el incentivo ni altera las preferencias alimentarias cuando no existe un requisito de trabajo (o es bajo). En sus estudios, sin embargo, al obtener un alimento preferido. is asociado con un costo de respuesta, la dopamina aumenta el esfuerzo que realizará un animal, alterando así la elección de comportamiento a favor de una mayor búsqueda de un alimento preferido (Salamone, 1994; Salamone et al., 1994), que a menudo se toma para sugerir que el aumento de la dopamina aumentaría la búsqueda de alimentos preferidos en un entorno de alimentación naturalista al reducir la sensibilidad a los costos asociados.

En una reciente serie de estudios (Beeler et al., 2012b), examinamos la contribución relativa del valor nutricional y hedónico, o el sabor, al consumo, las preferencias y el refuerzo, y preguntamos cómo la dopamina elevada puede alterarlos. Para probar el valor del sabor solo, utilizamos edulcorantes sin calorías (tanto sucralosa como sacarina). Para probar el valor nutricional solo, utilizamos ratones knock-out trpm5 que carecen del receptor de sabor dulce y no tienen sabor dulce (Damak et al., 2006; de Araujo et al., 2008), lo que nos permite evaluar el impacto de la nutrición solo. En ambos casos, utilizamos ratones con y sin caída en el transportador de dopamina para probar los efectos de la dopamina elevada. La literatura sugiere que los alimentos más hedonicamente gratificantes se verían más afectados por el aumento de la dopamina. A partir de esto, podríamos predecir que la dopamina elevada afectaría de manera preferencial a la recompensa hedónica sobre la nutricional. Encontramos, primero, que si bien tanto el valor hedónico como el valor nutricional inducían un aumento en el consumo y la preferencia, el valor hedónico disociado del valor nutricional era un refuerzo deficiente. Es decir, los ratones consumirían soluciones dulces sin calorías y las preferirían al agua, pero el sabor dulce en ausencia de valor calórico carecía de la capacidad de inducir el acondicionamiento en la prueba de acondicionamiento de dos botellas. Además, en una prueba de relación progresiva, la sacarosa indujo una mayor respuesta en todas las sesiones. En contraste, los edulcorantes sin calorías indujeron mucho menos respuestas que en realidad disminuyeron en las sesiones, asemejándose a lo que se conoce como “mímica de extinción” (Wise et al., 1978). Berridge y Robinson (Robinson y Berridge, 1993) han descrito de manera famosa una disociación entre "querer" y "gustar" en la adicción donde los adictos desarrollan "querer" por las drogas sin "gustar"; Es decir, el incentivo que impulsa la búsqueda compulsiva de drogas es independiente de sus consecuencias hedónicas. Estos datos sugieren una disociación complementaria de "gustar" sin "querer", donde se puede experimentar una respuesta hedónica positiva sin desarrollar incentivos asociativos que impulsen la búsqueda compulsiva de esa experiencia en el futuro (Beeler et al., 2012b).

Contrariamente a lo esperado, la dopamina elevada no cambió significativamente la motivación para el sabor dulce y hedónico solo, pero aumentó el esfuerzo para el sabor combinado / nutrición, así como la nutrición sola. Estudios previos sobre la liberación de dopamina han demostrado que la dopamina se libera en respuesta al sabor solo (p. Ej., El uso de la canulación intraoral para estimular el sabor sin publicar efectos en la ingestión) (Mark et al., 1991; Hajnal et al., 2004; Norgren et al., 2006; de Araujo et al., 2008; Wheeler et al., 2011). Entonces, ¿por qué observamos un refuerzo reducido del sabor dulce en ausencia de nutrición? Llevamos a cabo un estudio de voltamperometría en el que las ratas fueron expuestas previamente a los gránulos de sacarosa y sacarina, cada uno con un sabor de identificación, para brindarles la oportunidad de discriminar y conocer el valor nutricional relativo de cada uno (Beeler et al., 2012b). Luego medimos la liberación de dopamina evocada en respuesta a sacarosa o sacarina. Las ratas recuperaron y consumieron ambos tipos de pellets por igual; sin embargo, cuando medimos la liberación de dopamina evocada, la respuesta a la sacarina se atenuó mucho en comparación con la sacarosa. En un estudio de seguimiento, se observó la misma atenuación de la dopamina evocada en respuesta a las señales que predicen la sacarosa o la sacarina (McCutcheon y otros, 2012). La respuesta atenuada de la dopamina al sabor sin calorías solo es consistente con la respuesta reducida y el aparente mimetismo de extinción observado en los estudios de comportamiento con los ratones. En resumen, estos estudios muestran que el aumento de la dopamina, aunque aumenta el esfuerzo y altera la distribución del gasto de energía (es decir, los patrones de las comidas), no alteró el consumo o la preferencia y no aumentó el "deseo" de alimentos valorados hedónicamente en ausencia de nutrición .

En la tarea de elección concurrente convencional (Salamone, 1994) un animal puede elegir entre presionar la palanca para un alimento preferido o comer un chow estándar disponible libremente durante las sesiones de una hora. Salamone y sus colegas han demostrado que la dopamina aumenta la proporción de alimentos preferidos a la comida estándar consumida; es decir, la dopamina cambia las opciones de comportamiento para favorecer la opción más costosa pero preferida. Muchos deducen de este trabajo que la dopamina aumentará la búsqueda de alimentos preferidos. Probamos esta inferencia llevando a cabo una elección progresiva de homecage con experimentos de elección concurrente en los que los ratones podían presionar para obtener un alimento preferido (PR2), ya sea endulzantes sin calorías o sacarosa, o comer chow libremente disponible. En este paradigma seminaturalista, el aumento de la dopamina, como se informó en los estudios de demanda y de tasa progresiva de homecage anteriores, modificó la distribución del esfuerzo hacia un mayor gasto de energía (es decir, episodios más prolongados de prensado, mayor punto de ruptura, pero menos episodios generales). Sin embargo, a pesar de un mayor esfuerzo, la dopamina elevada no alteró su elección de comportamiento, como se refleja en la proporción de alimento preferido a comida estándar. Salamone ha argumentado que un mayor esfuerzo hacia un alimento preferido observado en el paradigma de elección concurrente refleja alteraciones en la sensibilidad al costo de respuesta y no preferencia alterada (Salamone et al., 2007). Estos datos confirman y extienden este argumento al falsear la inferencia de que el mayor esfuerzo observado en el paradigma de elección concurrente aumentará la búsqueda de recompensas. En un entorno seminaturalista, observamos el mismo esfuerzo mejorado hacia un alimento preferido observado por Salamone, pero esto no cambia el consumo, la preferencia o la elección de comportamiento, sino que refleja diferentes estrategias de gasto energético.

Integración de la recompensa y la gestión de la energía del comportamiento

Estos hallazgos son difíciles de explicar únicamente en términos de las teorías actuales sobre la dopamina y la recompensa. (1) En lugar de aumentar el impacto de la recompensa en el comportamiento, observamos un acoplamiento reducido entre el historial de recompensa y la elección, lo que sugiere que la dopamina induce una mayor exploración; es decir, less sesgo de elección por recompensa. (2) En lugar de superar los mecanismos homeostáticos y promover el consumo excesivo, la dopamina parece funcionar dentro de los límites de la regulación homeostática, alterando la distribución del esfuerzo en la búsqueda de alimentos sin cambiar el consumo global; es decir, la dopamina induce mayor vigor pero no mayor "deseo". (3) En lugar de cambiar el esfuerzo, el consumo y la elección de comportamiento a los alimentos más preferidos, la dopamina nuevamente aumenta el vigor sin alterar el consumo, la preferencia o la elección; es decir, la aparente disminución de la sensibilidad a los costos no cambia las metas apetitivas. Los estudios descritos apuntan a un tema común: que la dopamina modula la energía del comportamiento gasto. La modulación de la dopamina del esfuerzo y el gasto ha sido vista como un efecto no específico, "actividad generalizada", y / o como una reasignación del esfuerzo que supera los costos de respuesta asociados con la consecución de objetivos (Salamone et al., 2007). En el resto del artículo, intentaremos integrar los aspectos de modulación de la recompensa y la actividad de la dopamina. Para ello, desarrollaremos una perspectiva alternativa: los efectos de la dopamina en la recompensa surgen secundarios y al servicio de la regulación del gasto energético del comportamiento, ubicando el sistema de recompensa dentro de un contexto más amplio de conciliación del gasto energético con los recursos disponibles.

Dopamina: un sistema de gestión de la energía del comportamiento

La energía y su uso es el resultado final de la adaptación. Todas las necesidades y funciones del organismo, desde la termorregulación hasta la reproducción y la obtención de energía en sí, requieren energía. Mantener un suministro adecuado podría considerarse como una directiva primaria evolutiva. Se ha prestado mucha atención a los sistemas que regulan la búsqueda, consumo y almacenamiento de energía, pero mucho menos atención a los sistemas que controlan su gasto. Sin embargo, además de ser un “socio igualitario” en la determinación del balance energético (es decir, consumo-gasto = balance neto), lograr una distribución óptima de la energía en las diferentes actividades es fundamental para la adaptación. Es decir, lo que hace un animal con su energía disponible es posiblemente tan importante como adquirir energía. Sin embargo, la mejor forma de dirigir el gasto energético depende de las condiciones ambientales. En un entorno rico en energía, la exploración, el ejercicio y el gasto energético se adaptan. En un entorno de escasez de energía, la explotación de la experiencia previa y la conservación de la energía, es decir, sacar el máximo partido a la proverbial inversión energética de uno, es esencial. Desde este punto de vista, la gestión eficaz de la energía implica decidir (1) cuánta energía tengo que gastar y (2) con qué cuidado, o selectivamente, debo implementarla. Caracterizamos estas dos preguntas como dos ejes de la gestión energética: gastar frente a conservar y explorar frente a explotar, respectivamente (Figura 1).

En la hipótesis actual, asociamos estos dos ejes del gasto energético con dos funciones de la dopamina bien documentadas. Primero, vinculamos el papel de la dopamina en la regulación de la actividad generalizada a los ejes gastar-conservar. En segundo lugar, sugerimos que el papel de la dopamina en la recompensa no es modular el incentivo de recompensa y la búsqueda del apetito. per se, pero para usar información de recompensa para regular el de la energía a diferentes actividades, mediando los ejes de exploración-explotación; es decir, ¿cuán selectivamente se debe desplegar la energía? Enmarcaremos este segundo aspecto de la dopamina dentro de los modelos de aprendizaje de dopamina y recompensa donde la dopamina media en el aprendizaje de ambos (1). ¡Hola! recompensa: es decir, asignando valor a los estímulos que dirigen el gasto de energía y (2) el grado en que la información de recompensa influye en la elección de comportamiento, interpretando el segundo eje, explorar-explotar, como ahorro energético: ¿con qué cuidado necesito explotar mis recursos disponibles?

Al enfatizar el manejo del gasto de energía en lugar de recompensar la modulación como una función primaria de la dopamina, muchas de las observaciones difíciles de conciliar pueden cohesionarse en una metáfora organizadora central para entender el papel de la dopamina en el comportamiento. En las siguientes secciones, detallamos brevemente los elementos centrales de esta hipótesis en el contexto de las ideas actuales y la literatura sobre la dopamina.

Cabe señalar que el sistema de dopamina es complejo y multifacético. Aparte de las concentraciones de dopamina extracelular y las tasas de activación de las células de dopamina tónicas y fásicas, la "función de la dopamina" puede incluir la modulación de la liberación en sus objetivos, la modulación de la síntesis, el empaquetamiento vesicular y las reservas fácilmente liberables, los cambios en la expresión y función del receptor y las alteraciones en el transportador de dopamina. y la recaptación. Como una simplificación necesaria para los propósitos de la exposición, hablaremos de la función dopamina "alta" y "baja", una práctica no infrecuente en la literatura. Las complejidades que esto oculta representan mecanismos potenciales mediante los cuales el sistema de dopamina puede ejercer una regulación más matizada, flexible y sofisticada de su (s) función (es). En figura 1, son estas complejidades las que nos permiten considerar la dopamina no como una línea simple de alta a baja (como se muestra en el medio), sino como una función más compleja que potencialmente podría extenderse a lo largo del espacio bidimensional representado. La comprensión de estas complejidades, sin embargo, depende de un marco interpretativo alrededor del cual organizar información más detallada. Aquí nos centramos en articular una esquelético marco alternativo y no intentes asimilar todo lo que se sabe sobre la dopamina ni detallar todos los mecanismos potencialmente implicados en la señalización de la dopamina, un desafío insuperable para un solo artículo.

Dopamina: la mediación entre los mundos interno y externo

El sistema de la dopamina se interpone entre dos mundos de estímulos: el externo y el interno. Por un lado, la dopamina modula la respuesta de un organismo a los estímulos ambientales. En la perspectiva del aprendizaje por refuerzo de la dopamina y la recompensa (Montague et al., 1996; Schultz et al., 1997), la dopamina critica de manera crítica el aprendizaje sobre el valor de los estímulos (estado) y qué respuestas (acciones) son óptimas (Reynolds et al., 2001; Schultz, 2002; McClure et al., 2003; Daw y Doya, 2006; Día y Carelli, 2007; Day et al., 2010; Flagel et al., 2010; Gan et al., 2010; Day et al., 2011). La perspectiva de incentivo-importancia sostiene que la dopamina escala el valor de incentivo asociado con los estímulos ambientales, alterando el grado en que los estímulos influyen en la elección conductual (Phillips et al., 2003; Berridge, 2004; Roitman et al., 2004; Cagniard et al., 2006b; Day et al., 2006; Cheer et al., 2007). En ambos casos, aunque mecánicamente muy diferente, la dopamina está modulando la respuesta del organismo a los estímulos ambientales, el mundo exterior.

Trabajos más recientes han demostrado complejas interacciones entre la dopamina y los sistemas homeostáticos que monitorean y señalan información sobre el medio orgánico interno (Davis et al., 2010a; de Araujo et al., 2010; Figlewicz y Sipols, 2010; Opland et al., 2010; Vucetic y Reyes, 2010). Las neuronas de dopamina del cerebro medio expresan receptores para numerosas señales circulantes asociadas con mecanismos homeostáticos, como leptina, grelina, orexina e insulina (para una revisión extensa, Figlewicz y Sipols, 2010). Además de la detección directa de señales homeostáticas, los núcleos de dopamina reciben proyecciones de varios sustratos asociados con mecanismos de control homeostático, incluidas proyecciones hipotalámicas (Opland et al., 2010). Se cree que estas entradas modulan los procesos de recompensa. Por ejemplo, con frecuencia se propone que la leptina circulante disminuye la actividad de la dopamina, lo que a su vez disminuye el valor de recompensa de los alimentos, lo que reduce el comportamiento apetitivo (Morton et al., 2009; Davis et al., 2010a; Figlewicz y Sipols, 2010; Opland et al., 2010; Vucetic y Reyes, 2010). El papel exacto de estos insumos homeostáticos sigue siendo controvertido. El punto clave aquí es que el sistema de dopamina recibe información sustancial sobre el medio interno y el estado homeostático del organismo, lo que le permite explotar el conocimiento de los organismos de su entorno de acuerdo con las necesidades y demandas internas; es decir, modular el comportamiento para optimizar la relación entre estos dos mundos, el interno y el externo, el organismo y el mundo. Por supuesto, en cierto sentido, todo el cerebro ha evolucionado para mediar entre los mundos interno y externo, pero las proyecciones amplias y difusas del sistema de dopamina, junto con las diversas entradas que convergen sobre él y su papel aparente en la modulación de una amplia gama de Los comportamientos y procesos, desde la motivación hasta la ejecución motora, además de estar altamente conservados entre las especies, sugieren que, de hecho, puede haber evolucionado para desempeñar un papel fundamental y crítico en la adaptación.

Dopamina: Poner el deseo en un presupuesto

Pocos argumentarían con la idea de que la dopamina integra información interna y externa para adaptar el comportamiento a las condiciones ambientales y satisfacer de manera óptima las necesidades de los organismos. La pregunta difícil es cómo ¿La dopamina logra esto? Es decir, ¿cuál es la primaria? Efector ¿Mecanismo por el cual la dopamina adapta el comportamiento? La opinión predominante, casi hegemónica, es que la dopamina modula los procesos de recompensa, independientemente de si promueve el aprendizaje sobre la recompensa, la expresión de incentivo o una combinación de ambos, y en consecuencia moldea la motivación: los objetivos y actividades que persigue un organismo y el vigor con el que estos son perseguidos Críticamente, el locus de modulación es apetitivo: cuanta recompensa induce su persecución.

Aunque mucho menos discutido, la dopamina también modula los niveles de actividad. De acuerdo con esta modulación de la actividad, Salamone y sus colegas han argumentado durante mucho tiempo que la dopamina puede modular ambos esfuerzos hacia una meta (Salamone et al., 1997, 2005, 2009a) así como los niveles de actividad generalizados (Cousins ​​et al., 1993; Correa et al., 2002), observaciones centrales a la hipótesis actual.

Argumentaremos que la dopamina regula el gasto de energía para conciliar el comportamiento con los recursos energéticos; es decir, la dopamina no modula el deseo, lo pone en un presupuesto de energía. Desde este punto de vista, la disponibilidad de energía, no la recompensa, es el factor principal que influye en la regulación dopaminérgica del comportamiento. En las siguientes secciones, desarrollaremos esta hipótesis de manejo de la energía de la dopamina, en la que se discuten los primeros mecanismos efectores mediante los cuales la dopamina regula el gasto de energía, seguida de una discusión de los mecanismos mediante los cuales el sistema de la dopamina regula la distribución de energía utilizando la información de recompensa. Después de elaborar la hipótesis, nos centraremos específicamente en una explicación alternativa del papel de la dopamina en la obesidad.

Eje I: Conservar-Gastar

En las siguientes secciones, detallaremos el papel de la dopamina en la modulación del gasto energético a lo largo de un proceso continuo de conservación y gasto. En la vista desarrollada, la regulación del gasto energético, tanto la actividad generalizada como el esfuerzo hacia objetivos particulares, es fundamentalmente independiente de la recompensa y, en cambio, depende de los recursos energéticos disponibles. La recompensa, argumentaremos, desempeña un papel distinto en la determinación del distribución o asignación de ese gasto energético, representado por el eje de exploración-explotación y discutido en la sección "Eje II: Exploración-explotación".

Dopamina y actividad generalizada: ¿gastar o ahorrar?

La dopamina elevada se ha asociado con una mayor actividad durante décadas. Los medicamentos que aumentan la liberación de dopamina, como los inhibidores de la recaptación de anfetamina, cocaína o dopamina, aumentan la actividad generalizada en humanos y roedores (Kelly, 1975; Mogenson et al., 1980; Beninger, 1983; Ahlenius et al., 1987; Carlsson, 1993; Xu et al., 1994; Sedelis et al., 2000; Correa et al., 2002; David et al., 2005; Viggiano, 2008; Charntikov et al., 2011). La administración de agonistas o antagonistas de D1 aumenta y disminuye la actividad, respectivamente. Los fármacos que actúan contra D2 actúan de forma post-sináptica en neuronas espinosas medias en la vía inhibitoria indirecta; sin embargo, también actúan de forma pre-sináptica en los terminales de dopamina y glutamato y como autorreceptores en los cuerpos de las células de dopamina. Como consecuencia, las dosis bajas de quinpirol, un agonista de D2, deprimirán la actividad, presumiblemente disminuyendo la liberación de dopamina a través de la activación del autorreceptor, mientras que las dosis altas de quinpirol aumentarán la actividad, presumiblemente a través de la activación de los receptores postsinápticos D2 que disminuyen la actividad en la vía inhibitoria indirecta (Lomanowska et al., 2004). En los roedores, algunas drogas adictivas de abuso que son depresores del SNC (p. Ej., Morfina) aumentan la actividad, un efecto que se cree surge de un aumento en la liberación de dopamina (Koek et al., 2012). Las drogas que bloquean la recaptación de dopamina aumentan la actividad (Billes y Cowley, 2008; Young et al., 2010) y la expresión de DAT se correlaciona con la actividad locomotora. Los ratones con expresión reducida del transportador de dopamina, que dan como resultado un aumento de la dopamina tónica, son hiperactivos (Cagniard et al., 2006a).

Aunque no hay duda de que la dopamina modula la actividad generalizada, el mecanismo por el cual lo hace es poco conocido. De hecho, no existe un marco general para conceptualizar qué es, exactamente, "actividad generalizada" o activación en primer lugar (Quinkert et al., 2011). En los roedores, la actividad generalizada se mide normalmente utilizando el campo abierto, las ruedas de carrera o los monitores de actividad de la casa de campo. El grado en que cada uno refleja un nivel de actividad general se debate (Dishman, 2008; Viggiano, 2008; Hesse et al., 2010; Garland et al., 2011). El campo abierto, por ejemplo, puede verse como una medida de la actividad general, el comportamiento exploratorio o la "emotividad". La rueda en movimiento, porque la carrera es altamente reforzada en roedores (Wagner, 2005; Brené y otros, 2007; Greenwood et al., 2011), puede confundirse con los procesos de recompensa. No obstante, el aumento de la dopamina aumenta la actividad en las tres medidas y, a la inversa, la disminución de la dopamina disminuye la actividad en las tres medidas (Ahlenius et al., 1987; Zhuang et al., 2001; Correa et al., 2002; Leng et al., 2004; Beeler et al., 2006, 2009; Dishman, 2008; Kitanaka et al., 2012).

En lugar de ver la "actividad generalizada" como algo distinto del comportamiento orientado a la recompensa y al objetivo, una perspectiva alternativa sería que la dopamina señala la disponibilidad de energía e induce el gasto de energía, ya sea que se dirija hacia una actividad reforzada y gratificante, como la marcha de la rueda (o presionando la palanca), hacia la exploración, como en el campo abierto o simplemente moviéndose haciendo más cosas parecidas a las del ratón día a día en la jaula de la casa. Como lo atestiguan durante décadas los usuarios de psicoestimulantes: la dopamina es energizante. Por lo tanto, el efecto de la dopamina en la actividad generalizada representa un efecto fundamental en la regulación del gasto de energía al regular o disminuir la cantidad de energía que se gasta en la actividad del comportamiento, independientemente de cómo se dirija esa actividad: independiente de la recompensa.

Dopamina y esfuerzo: ¿Cuánto puedo pagar?

La literatura está repleta de evidencia de que el aumento de la dopamina aumenta el esfuerzo en la búsqueda de objetivos, ilustrado canónicamente por el aumento del rendimiento en paradigmas de relación progresiva en los que después de cada recompensa obtenida, el costo de cada recompensa posterior aumenta (Hodos, 1961). Históricamente, el esfuerzo que realiza un sujeto en una prueba de relación progresiva se ha interpretado como una medida de la eficacia del reforzador: es decir, lo difícil que trabajo es una medida de cuán valiosa o motivadora es la recompensa (Madden et al., 2007a,b). Esto es análogo a evaluar el valor de algo de acuerdo con el precio que alguien está dispuesto a pagar.

Sin embargo, el punto de interrupción mide implícitamente una determinación de costo-beneficio (Salamone et al., 2009a). Aunque la dopamina contribuye a esta determinación en curso, su papel sigue sin estar claro (Salamone et al., 1997; Roesch et al., 2007; Day et al., 2010, 2011; Ostlund et al., 2010). Por un lado, como se argumenta en la teoría de la importancia del incentivo, la dopamina puede mejorar las propiedades de incentivo de los estímulos asociados con la recompensa, aumentando esencialmente la percepción se benefician (Berridge, 2007; Gan et al., 2010). Por otro lado, Salamone y sus colegas argumentan que la dopamina reduce la sensibilidad a los costos, reduciendo así la costo componente (Salamone, 2011, ver también Phillips et al., 2007). En ambos casos, el resultado es un aumento en la búsqueda de recompensas que surgen de una determinación de costo-beneficio alterada, observada como un punto de ruptura elevado. En el paradigma de relación progresiva convencional, es difícil discernir estas dos posibilidades, ya que el resultado del comportamiento se vería igual: mayor esfuerzo y respuesta. Sin embargo, los estudios de jaulas en el hogar que se han revisado anteriormente pueden distinguir entre estas dos alternativas. Si el aumento de la dopamina aumentara la sensibilidad a la recompensa, lo que provocara una mayor "falta de apetito" y un aumento de la motivación apetitiva, entonces esperaríamos ver un mayor consumo y una mayor preferencia por alimentos más gratificantes. No observamos ninguno. En cambio, observamos opciones similares de consumo, preferencia y comportamiento, pero un cambio en las estrategias de alimentación hacia un mayor gasto de energía. Sin embargo, sería incorrecto decir que los ratones DATkd son insensible a costos ajustan su consumo y esfuerzo en respuesta a la escalada de costos al igual que los ratones de tipo salvaje. Además, en el paradigma de cambio de palanca barato-caro, si las palancas hacen No interruptor, los ratones DATkd prefieren la palanca barata idénticamente al tipo salvaje. Más bien, el aumento de la dopamina parece cambiar la estrategia de forrajeo hacia un mayor gasto de energía.

Al determinar la compensación óptima entre costo y beneficio, ambos factores son contingentes a la situación. Por un lado, el beneficio depende de la necesidad. Un pellet de alimentos será mucho más valioso y motivador para un ratón hambriento que uno saciado. El papel que juega el estado motivacional en determinar la recompensa y el refuerzo tiene una larga historia en psicología y neurociencia (Berridge, 2004) y representa un área activa de investigación (Dayan y Balleine, 2002; Balleine, 2005; Fontanini y Katz, 2009; Haase et al., 2009). Sin embargo, mucho menos apreciado es que la evaluación del costo también puede ser contingente. Específicamente, el costo asociado con cualquier gasto depende de los recursos disponibles. El costo de un perro caliente de $ 12.00 en el aeropuerto no es evaluado de la misma manera por un CEO millonario y un estudiante graduado pobre. Con roedores, pueden aplicarse contingencias de recursos similares. Por ejemplo, los costos de demora pueden ser más significativos si solo se dispone de una cantidad limitada de tiempo (por ejemplo, en sesiones operantes de una hora) para obtener la recompensa. De manera similar, el costo asociado con las prensas de palanca puede depender de la disponibilidad general de energía para un mouse. Entonces, si la dopamina reduce la sensibilidad al costo, hay dos interpretaciones. En el primero, la sensibilidad al costo disminuye en relación con el beneficio; es decir, cuando se comparan el costo y la recompensa, la dopamina disminuye el factor del costo para favorecer la recompensa (funcionalmente equivalente a aumentar el valor del incentivo). En el segundo, la dopamina modula la sensibilidad al costo. en relación con los recursos disponibles. Si hay abundante energía disponible, se descuentan los costos de esfuerzo.

Por tanto, sostenemos que la regulación del esfuerzo por la dopamina es independiente del valor de la recompensa; es decir, los efectos de la dopamina sobre el esfuerzo reflejan una modulación directa del gasto energético en relación con los recursos energéticos disponibles en lugar de una consecuencia indirecta de modular un equilibrio entre costo y recompensa. Como la dopamina aumenta el gasto de energía en general, como se discutió anteriormente, también aumenta el gasto de energía (o el vigor de la búsqueda de objetivos) en actividades específicas, nuevamente, argumentamos, independiente del valor de recompensa: Si tienes energía, úsala.

Eje II: Explorar-explotar

En las siguientes secciones argumentamos que la recompensa cumple una función central en el manejo de la energía mediado por la dopamina: controlar la del gasto energético, que representamos con el eje de exploración-explotación (Figura 1). En esta vista, los valores de recompensa aprendidos determinan la utilidad relativa de diferentes actividades; Sin embargo, lo que se captura de manera crucial en este eje es el la licenciatura a lo que estos valores (y el contraste entre ellos) en realidad sesgan y dan forma a las elecciones de comportamiento. Integramos en este eje el aprendizaje por refuerzo y las perspectivas de incentivo-relevancia argumentando que la dopamina fásica media el aprendizaje y la actualización de los valores de recompensa, como se cree, mientras tónico La dopamina, como sugieren los puntos de vista de incentivos, escala el impacto de estos valores en la elección de comportamiento, la expresión de valores aprendidos. Reconceptualizamos esta escala de incentivos formalmente como una función dentro del aprendizaje de refuerzo que regula el grado en que el aprendizaje de recompensa previa influye en la elección; Es decir, cuánto se explota el aprendizaje establecido. Asignamos esta última función a la dopamina tónica y la interpretamos como reguladora. ahorro; Es decir, regular la frugalidad del gasto energético.

Dopamina y selección de objetivos: tomar decisiones inteligentes en el gasto de energía

La frugalidad de los gastos propios depende de los recursos disponibles. Una persona rica no necesita discutir sobre miles de dólares mientras que una persona pobre necesita contar centavos. De manera similar, los animales que viven en entornos energéticos de abundancia no necesitan preocuparse por la conservación de energía, mientras que los que viven en condiciones de escasez deben gastar energía con prudencia. Por lo tanto, la gestión de la energía implica no solo determinar la magnitud global del gasto energético, como se discutió anteriormente, sino también su asignación a actividades específicas.

Partimos de la premisa de que cuando la energía está disponible, el gasto energético es ventajosamente adaptativo, por dos razones principales. Primero, se ha demostrado que la actividad física en innumerables estudios contribuye significativamente a la salud y la longevidad (Holloszy et al., 1985; Samorajski et al., 1985; Paffenbarger et al., 1986; Holloszy, 1988; Helmrich et al., 1991; Greendale et al., 1995; Booth et al., 2000; Alevizos et al., 2005; LaMonte et al., 2005; Warburton et al., 2006; Gaesser, 2007; Huffman et al., 2008; Hawley y Holloszy, 2009; Mercken et al., 2012). En condiciones de escasez, los animales tienen que trabajar duro para encontrar comida; sin embargo, en condiciones de abundancia no lo hacen. Un sistema que aumentara el gasto de energía en respuesta a condiciones de abundancia mantendría los niveles de actividad y la salud, al menos evitando que un animal se convierta en un bocado gordo y lento para la cena de un depredador. Además, si hay energía disponible, entonces se puede obtener una ventaja informativa de la exploración que permite a un animal aprender más completamente sobre su entorno, información que podría explotarse en el futuro (Behrens et al., 2007). Por tanto, cuando se dispone de energía, es lógico inducir el gasto y la exploración conductual. Por el contrario, cuando la energía es escasa, el animal necesita conservar su energía y aprovechar al máximo su conocimiento del medio ambiente. En la hipótesis que se está desarrollando aquí, el papel de la dopamina en los procesos de recompensa surge como un mecanismo para la asignación de energía hacia actividades y estímulos específicos.

Para asignar energía de manera óptima, se requieren dos funciones principales. Primero, el organismo tiene que determinar el valor de los estímulos y las acciones en primer lugar. En segundo lugar, el organismo debe determinar en qué medida deben tomarse en cuenta esos valores al tomar decisiones de comportamiento: ¿cuán frugales o "conscientes de los valores" deberían ser los gastos? Las dos visiones generales de la dopamina y la recompensa, el aprendizaje por refuerzo y las hipótesis de incentivo-saliencia, proporcionan estas dos funciones. En las siguientes secciones, examinamos ambas funciones y su contribución al eje de exploración-explotación (Figura 1) emitidos en términos de modelos de aprendizaje TD.

Dopamina y aprendizaje de refuerzo: contabilidad de valor

Como se señaló en la introducción, el término "recompensa" puede ser ambiguo. Aquí adoptamos una perspectiva de la información y definimos la recompensa como información de resultados con valencia positiva. La pregunta principal que debe abordarse es qué papel desempeña la dopamina en la vinculación del historial de recompensas con las elecciones futuras. Las perspectivas de aprendizaje de refuerzo sostienen que la dopamina modula la plasticidad corticostriatal en respuesta a la recompensa, es decir, la información de resultados positivos, por lo tanto, media el aprendizaje ¡Hola! Estimulos y acciones que son valiosos. Los puntos de vista motivacionales, específicamente la importancia de los incentivos, sugieren que la dopamina modula el expresión de los valores aprendidos previamente (incentivo). La hipótesis actual abarca ambos dentro de un marco de aprendizaje de TD.

Los modelos de diferencia temporal son una clase de algoritmos de aprendizaje de refuerzo que se han aplicado con éxito para comprender cómo los sustratos neuronales, como la dopamina y los ganglios basales, median el aprendizaje de refuerzo observado conductualmente. Dentro de estos modelos, a los estímulos y las acciones se les asigna un "valor" que incorpora todas las recompensas esperadas en el futuro asociadas con esos estímulos o acciones. A medida que el tiempo avanza y el animal avanza incrementalmente hacia adelante en el tiempo, avanzando a través de estados sucesivos (es decir, configuraciones de estímulos, acciones, recompensas), en cada paso adelante la predicción previa (t - 1) se compara con lo que realmente se recibió en el momento t más las recompensas esperadas restantes en el futuro, es decir, el valor estimado en t. Si hay una discrepancia, llamada error de predicción, el valor anterior en t - 1 se ajusta para que cuando se encuentre ese estado nuevamente, será más preciso. Cuando el animal avanza en el tiempo para t + 1, ocurrirá el mismo proceso, esta vez ajustando el valor predicho de t comparándolo con la recompensa real en t + 1 más el valor futuro esperado de t + 1, y así sucesivamente. El nombre TD surge debido a que una sucesión completa de estados, cada uno con su propio valor de predicción de la recompensa futura "restante", se ajusta paso a paso. Es esta colección de valores asociados con diferentes estados, estímulos y acciones, lo que permite una predicción precisa de la recompensa futura. En resumen, es un algoritmo que facilita el aprendizaje de prueba y error donde el animal está siempre, por así decirlo, in medias resy una estimación precisa del valor de estímulos y acciones particulares se acumula gradualmente con el tiempo a través de la experiencia.

Los modelos de diferencia temporal tienen dos funciones clave. Primero, aprenden. Como se describió anteriormente, al usar una regla de actualización basada en errores de predicción, ajustan valores anteriores asociados con estímulos y acciones. En segundo lugar, toman decisiones. Es decir, una vez que tiene un conjunto de valores, existe una regla sobre cómo se usan esos valores al seleccionar una acción. Estas dos funciones están asociadas con dos parámetros, comúnmente conocidos como alfa, la tasa de aprendizaje y beta, la "temperatura", respectivamente. La velocidad de aprendizaje determina hasta qué punto la nueva información altera los valores establecidos, tanto la ponderación de la nueva información como la de "ventana de olvido". El parámetro de temperatura determina el grado en que la información del valor actual (es decir, el historial de recompensas) influye en la selección de acciones, con frecuencia referido como el parámetro "explorar-explotar".

La evidencia sustancial apoya el papel de la dopamina en la mediación del aprendizaje por refuerzo y la plasticidad corticostiatal, que no se revisará aquí (Montague et al., 1996; Schultz et al., 1997; Reynolds y Wickens, 2002; Schultz, 2002, 2010; Cañon y Palmiter, 2003; Sabio, 2004; Berridge, 2007; Goto et al., 2007; Redish et al., 2007; Robbins y Roberts, 2007; Salamone, 2007; Schultz, 2007; Dayan y Niv, 2008; Kheirbek et al., 2008, 2009; Redgrave et al., 2008; Kurth-Nelson y Redish, 2009; Lovinger, 2010; Lüscher y Malenka, 2011). Esta función de aprendizaje se ha asociado principalmente con la actividad fásica de dopamina que opera en una escala de tiempo de milisegundos y no se cree que represente la recompensa directamente. En su lugar, basándose en el aprendizaje de TD como se describió anteriormente, se cree que la dopamina fásica codifica los errores de predicción. Al señalar una recompensa inesperada o el fracaso de la recompensa esperada (Schultz et al., 1997; Schultz, 2007; Flagel et al., 2010; Brown et al., 2011; Day et al., 2011), la dopamina fásica actualiza los valores asociados con los estímulos y las acciones al alterar los pesos sinápticos a través de sus efectos sobre la plasticidad corticostriatal. Dentro de la hipótesis actual, aceptamos y vemos esta función de la dopamina fásica en la actualización de valor como, en cierto sentido, una función contable: la dopamina no establece, crea o escala el valor de manera arbitraria, sino que proporciona funcionalmente una señal de enseñanza para modificar el aprendizaje para reflejar con precisión El valor asociado a los estímulos y acciones. En pocas palabras, esta función de la dopamina está tratando de "obtener el valor correcto": una característica fundamental de cualquier presupuesto exitoso es obtener los números correctos. Es decir, las funciones altamente detalladas y mecanicistas de la dopamina en el aprendizaje por refuerzo permiten que un animal aprenda sobre su entorno en orden Destinar y utilizar mejor su energía disponible.

Dopamina y atención de incentivo: asignación del presupuesto de energía

La visión de incentivo-saliencia de la dopamina, en contraste, sostiene que la dopamina escala la impacto positivo de estímulos asociados a la recompensa en la elección de comportamiento (Cagniard et al., 2006b; Berridge, 2007). Es decir, la dopamina modula el grado en que el valor de incentivo asociado con el estímulo influye en el comportamiento. En general, se considera que el aumento de la dopamina aumenta los incentivos y aumenta la conducta apetitiva; es decir, inducir un mayor “deseo”. Esta visión es consistente con las décadas de literatura que muestran que los resultados de dopamina aumentados aumentan la búsqueda de objetivos y el esfuerzo, como se mencionó anteriormente. En esencia, esto podría ser conceptualizado como un aumento explotación Aprendizaje de recompensa: el valor de recompensa ejerce un mayor sesgo en la elección de comportamiento. Sin embargo, si el aumento de la dopamina produce un aumento de la explotación, lógicamente se podría esperar que la disminución de la dopamina provoque una mayor exploración; es decir, el comportamiento será less sesgado por la información de recompensa. Sin embargo, por lo que sabemos, ningún dato ha demostrado un aumento en la exploración como consecuencia de la disminución de la dopamina. En cambio, la disminución de la dopamina se ha asociado sistemáticamente con una disminución de la actividad y el comportamiento exploratorio. En el estudio de flexibilidad de comportamiento en jaulas en el hogar descrito anteriormente, encontramos que la dopamina elevada disminuyó el acoplamiento entre el historial de recompensa y la elección, favoreciendo exploración, no explotación, consistente con décadas de estudios en campo abierto que muestran una mayor actividad exploratoria como consecuencia del aumento de dopamina (por ejemplo, Zhuang et al., 2001). De acuerdo con la hipótesis actual, el trabajo computacional reciente de Humphries y colegas (Humphries et al., 2012) demuestran que la dopamina tónica puede modular el intercambio entre exploración y explotación. En su modelo, los efectos de la dopamina en esta compensación son complejos y dependen de la concentración, pero indican que la alta dopamina puede inducir un comportamiento exploratorio.

Proponemos que la visión de incentivo-saliencia de la dopamina, donde la dopamina escala el grado en que la recompensa influye en la elección del comportamiento, capta un mecanismo de efecto crítico en el manejo dopaminérgico del gasto energético. Al modular el equilibrio entre la exploración y la explotación, la dopamina regula la frugalidad del gasto energético. Sin embargo, en contraste con las teorías actuales sobre la importancia de los incentivos, argumentamos que la dopamina actúa aproximadamente en la dirección opuesta a lo que se interpreta ampliamente: la dopamina favorece exploración, Es decir, disminuido sesgo de la elección de comportamiento por valor de recompensa, aunque como el trabajo de Humphries et al. (Humphries et al., 2012) demuestra, la operación precisa de esta función de la dopamina es probable que sea compleja. El mayor esfuerzo en la búsqueda de recompensa observado por la función mejorada de la dopamina, en esta visión, surge no como consecuencia de un valor de recompensa mejorado sino como el resultado de una señal dopaminérgica a gastar Energía y ser menos frugal en la búsqueda de objetivos.

Aunque, a través de su papel en el aprendizaje por refuerzo, la dopamina (fásica) contribuye al aprendizaje sobre el valor, el rango de los ejes verticales en la Figura 1 no representa valor per se, de menor a mayor valor, pero el grado en que los valores establecidos parcialidad o elección conductual directa, que va desde un continuo que va desde la elección (explotar) que tiene una gran influencia hasta la influencia mínima (explorar). Esto podría interpretarse como un eje de frugalidad donde una mayor explotación maximiza la recompensa por la energía gastada, mientras que una explotación reducida facilita la exploración y un mayor gasto energético.

Cómo y en qué medida los valores aprendidos dirigen las elecciones de comportamiento depende claramente de muchos factores, más obviamente el estado motivacional del organismo, la “prominencia” en la “prominencia de incentivos”, teniendo en cuenta el entorno interno del organismo. los externo El entorno también debe tenerse en cuenta, específicamente la disponibilidad de recompensa, particularmente la energía. Como se mencionó anteriormente, la riqueza del ambiente determina qué tan frugal debe ser un animal con su gasto de energía y cuánto necesita para aprovechar al máximo el aprendizaje previo. Niv et al. (2007) han sugerido que la dopamina tónica codifica la recompensa promedio a lo largo del tiempo, una formalización que vincula la abundancia relativa o la escasez de recompensa en un entorno al vigor conductual. En el modelo propuesto por Niv, una mayor recompensa promedio induce mayor vigor de comportamiento para reducir los costos de oportunidad; es decir, cuanto más rico es el ambiente, más se pierde con la inactividad, que se describe de manera colorida como "el costo de la pereza". Al concentrarnos específicamente en la disponibilidad de energía, compartimos esta opinión de que la dopamina tónica señala la abundancia o escasez de energía en el ambiente a través del tiempo. Sin embargo, en la vista actual, en lugar de ver el aumento del vigor asociado con la dopamina como inducir una mayor explotación para reducir los costos de oportunidad, sugerimos que el aumento de la dopamina refleja la abundancia de energía e induce un mayor gasto energético, pero less explotación; es decir, menos comportamiento frugal de la energía, favoreciendo la exploración (pero no la inactividad).

Finalmente, se cree ampliamente que los valores aprendidos pueden ser parte de un sistema dirigido por metas o hábito (Daw et al., 2005; Balleine y otros, 2007), asociado frecuentemente con el estriado dorsomedial y dorsolateral, respectivamente (Yin y Knowlton, 2006; Balleine y O'Doherty, 2010). En los modelos de TD, este último se convierte en un sistema de "caché" o "sin modelo" donde el valor de los estímulos y las acciones son inescrutables; es decir, cómo esos valores se derivaron no está disponible para su examen. En contraste, el comportamiento dirigido hacia el objetivo está asociado con sistemas "basados ​​en modelos" donde un "árbol" de estados y su valor asociado se representan explícitamente de tal manera que el animal puede buscar deliberadamente el árbol para determinar cómo se deriva el valor en cualquier hoja y evaluar Esos valores contra los estados motivacionales actuales. En contraste, se cree que el hábito, o sistema de caché, es insensible al estado motivacional, aunque es importante, no insensible al nuevo aprendizaje (Balleine y O'Doherty, 2010). Precisamente porque el valor almacenado en caché no puede ser "examinado" con respecto a los objetivos actuales, el comportamiento habitual basado en valores almacenados en caché se emitirá en respuesta a la presentación de estímulos, incluso en ausencia de motivación, hasta que el valor almacenado en caché que impulsa ese comportamiento se actualice. En los modelos de TD, el parámetro de temperatura ajusta el grado en que los valores influyen en el comportamiento sin tener en cuenta la fuente de esos valores, es decir, si forman parte de un sistema de caché, sin modelo o basado en modelos. Entonces, surge la pregunta de si la regulación de la dopamina de la exploración-explotación, sugerida aquí, se aplica por igual al hábito y al sistema dirigido a objetivos, una pregunta que no podemos responder. En la medida en que la reducción de la dopamina puede inducir la explotación, el ahorro y la conservación, aumentar el control que el aprendizaje previo tiene sobre el comportamiento, los entornos pobres en recompensa / energía y la hipodopaminergia pueden, al aumentar la influencia del aprendizaje establecido y los valores sobre el comportamiento, aumentar el control ejercido por el hábito. sistemas, aunque esto claramente requiere más investigación.

Gasto de dopamina y energía cambiante: revisando las vías GO y NOGO

Un objetivo principal de la dopamina, ampliamente asociado con el papel de la dopamina en la recompensa y el control motor, es el cuerpo estriado (Albin et al., 1989, 1995; Alexander et al., 1990; Visón, xnumx; Everitt y Robbins, 2005; Cagniard et al., 2006b; Balleine y otros, 2007; Nicola, 2007; DeLong y Wichmann, 2009; Sabio, 2009; Haber y Knutson, 2010; Humphries y Prescott, 2010; Sesack y Grace, 2010). El estriado es el principal punto de entrada para las entradas corticales (Bolam et al., 2000) que se procesan a través de los ganglios basales y finalmente regresan al córtex, que comprende los bucles de corticostriación reentrantes conocidos (Alexander et al., 1990; Alexander y Crutcher, 1990; Alexander, 1994; Middleton y Strick, 2000; Haber, 2003; Lehéricy et al., 2005). El procesamiento corticostriatal se produce a través de dos vías paralelas (excluyendo la vía hiperdirecta), la directa e indirecta que facilita e inhibe el rendimiento corticostriatal (Albin et al., 1995; Visón, xnumx), respectivamente, a veces denominadas las vías GO y NOGO (Cohen y Frank, 2009). La ruta de GO predominantemente expresa D1 mientras que la NOGO expresa D2 (Surmeier et al., 2007) de manera que un aumento en la actividad de la dopamina potencia la actividad en la vía facilitadora GO y disminuye la actividad en la vía inhibidora NOGO. Por el contrario, la reducción de la dopamina da como resultado una menor actividad de GO y un aumento de la actividad de NOGO, una idea fundamental para los modelos clásicos de enlentecimiento motor en la enfermedad de Parkinson (Albin et al., 1989; Visón, xnumx). La explicación funcional clásica para esta arquitectura de doble vía es la "selección enfocada", la idea de que la vía GO aísla y facilita una acción motora seleccionada mientras que la vía NOGO inhibe las acciones de la competencia y el ruido extraño, lo que permite una ejecución limpia de acciones (Visón, xnumx).

Esta misma arquitectura, sin embargo, puede interpretarse como un mecanismo efector para regular el gasto de energía. Al cambiar el equilibrio entre las vías GO y NOGO, la dopamina regula tanto el rendimiento total del sistema corticostriatal como la modulación de su selectividad (Beeler, 2011). Específicamente, el aumento de la dopamina favorece la vía GO y disminuye la vía NOGO. Esto da como resultado un mayor rendimiento corticostriatal general y una mayor exploración, ya que las acciones potenciales representadas en la entrada corticostriatal a la vía GO enfrentan menos oposición en la ruta inhibitoria de NOGO, lo que reduce las restricciones en la selección de acciones. En contraste, cuando la dopamina disminuye, hay una mayor actividad inhibitoria, NOGO, lo que da como resultado un menor rendimiento corticostriatal y una mayor explotación, ya que las acciones seleccionadas a través de la ruta GO deben ser lo suficientemente fuertes como para superar la influencia inhibitoria de la ruta NOGO (para una perspectiva de aprendizaje en esto, ver Frank et al., 2009). Esto proporciona una base para entender cómo la dopamina elevada puede incrementar actividad en general, así como disminuir La selectividad de esa actividad, es decir, aumentar el gasto energético y la exploración. En contraste, la reducción de la dopamina disminuiría la actividad general pero aumentaría la selectividad, lo que resultaría en una disminución del gasto energético y un aumento explotación (Figura 2). Una discusión más detallada de la función (es) de la dopamina en la modulación del rendimiento corticostriatal se puede encontrar en otra parte (Beeler, 2011). Esta arquitectura de doble vía, entonces, proporciona una base potencial para modular el gasto de energía a lo largo de los dos ejes descritos: la regulación general, la actividad generalizada (conservar-gastar) por una parte y, por otra parte, la regulación del grado en que el aprendizaje previo sobre recompensas Se explota, los ejes de exploración-explotación.

La dopamina y sus diversos objetivos: ¿orquestación o evolución Bric-a-Brac?

En la sección anterior, nos centramos en las acciones de dopamina en el cuerpo estriado, ampliamente interpretadas como un sustrato primario para el aprendizaje de refuerzo e implicadas tanto en la motivación como en el control motor. Sin embargo, la dopamina se proyecta ampliamente en el cerebro, con proyecciones importantes, por ejemplo, hacia la corteza prefrontal. Además, aparte de las vías nigrostriatal y mesoaccumbens ampliamente estudiadas, que se proyectan al estriado dorsal y ventral y se asocian con el control motor y el hábito, y la motivación, respectivamente, hay núcleos de dopamina mucho menos estudiados, incluidos los asociados con el hipotálamo, todos los cuales puede (o no) contribuir a la gestión de la energía en formas potencialmente diferentes. El desarrollo de una hipótesis de gestión de la dopamina y la energía exige preguntar cómo la modulación de la dopamina en diferentes objetivos puede contribuir a la gestión coordinada de la energía. En este punto, no podemos especular razonablemente sobre esta cuestión.

Sin embargo, reflexionar sobre esta pregunta provoca la pregunta de si realmente existe alguna "función" predominante de la dopamina. ¿O la dopamina ha adquirido varias funciones no relacionadas, de modo que la noción de encontrar "la" función de la dopamina representa un recado de tontos: quizás las funciones de la dopamina que observamos hoy evolucionaron como un mosaico, baratijas evolutivas, una colección oportunista de adaptaciones fortuitas? . De la literatura, uno tiene la sensación de que muchos creen que hay is una gran función general de la dopamina: con mayor frecuencia, el procesamiento de "recompensa", de una forma u otra. No parece irrazonable pensar que a medida que la función de un neurotransmisor se elabora y se transforma con la evolución, esas elaboraciones surgen como variaciones en un tema, una mejora adicional de alguna función que ya ha conferido aptitud adaptativa. Incluso si tal noción finalmente resulta falsa, buscar un "hilo común" entre funciones aparentemente diversas y no relacionadas puede proporcionar una visión más profunda de cómo estas funciones aparentemente dispares interactúan para contribuir a la adaptación del comportamiento. La "mediación de la recompensa", tan amplia y ambigua como es, ha servido como denominador común en gran parte de la literatura y ha dado excelentes resultados. Aquí sugerimos una alternativa, función general, gestión de la energía.

Volviendo a la pregunta de cómo la acción de la dopamina en diferentes sustratos neuronales podría contribuir a la gestión de la energía, solo podemos reflejar la pregunta desde la perspectiva de nuestra hipótesis. El manejo de la energía constituye un proceso biológico fundamental, al igual que la reproducción, el crecimiento y la respuesta al estrés, y requiere coordinado actividad en múltiples sustratos en respuesta a condiciones externas, de una manera que la recompensa, un evento en el mundo externo, quizás no lo haga. Esta orquestación coordinada de múltiples sustratos hacia un único objetivo o propósito es característica de las hormonas, como las hormonas reproductivas o del estrés. Dadas las proyecciones y acciones difusas de la dopamina en múltiples objetivos, es tentador considerar la idea de que la dopamina puede haber desarrollado una función similar a una hormona para coordinar múltiples sustratos neuronales y orquestar el comportamiento adaptado de manera óptima al entorno energético predominante en el que se encuentra el organismo. Aunque es cierto que es amplio y especulativo (pero vea Ugrumov et al., 2012), es interesante preguntar, entonces, cómo la modulación de la dopamina en el cuerpo estriado dorsal versus ventral, o en la corteza prefrontal versus el hipotálamo, podría representar la coordinación de diversos sustratos neurales con funciones dispares hacia un solo propósito, adaptando el comportamiento a la energía Entorno en el que el organismo debe trabajar su supervivencia.

Dopamina y obesidad: una perspectiva alternativa

En los últimos años ha habido un mayor enfoque en el papel de la dopamina en la obesidad con varios artículos de alto perfil que comparan comer en exceso con una adicción a la comida (Volkow y Wise, 2005; Trinko et al., 2007; Avena et al., 2008; Corwin y Grigson, 2009; Dagher, 2009; Davis y Carter, 2009; Ifland et al., 2009; Pelchat, 2009; Johnson y Kenny, 2010; Volkow et al., 2010). Estas teorías se centran en el papel de la dopamina en la mediación de los procesos de recompensa, lo que sugiere que en las culturas occidentales modernas en las que se encuentran fácilmente disponibles alimentos sabrosos, estos alimentos sabrosos actúan de manera similar a las drogas de abuso e inducen un mayor "deseo" que conduce a una pérdida de control. consumo excesivo, a pesar de, como un adicto, las intenciones individuales para frenar la ingesta calórica (Berridge et al., 2010; Berthoud et al., 2011). Hay dos tomas opuestas en esto (Davis et al., 2007; Davis y Carter, 2009). En el primero, aumentado La función dopaminérgica que surge de la intensificación del refuerzo asociado con alimentos sabrosos conduce a una mayor motivación que anula el control homeostático normal (Finlayson y otros, 2007; Zheng et al., 2009; Avena y Bocarsly, 2011). En esencia, perdemos el control ante una comida realmente sabrosa, un efecto que se cree está mediado por la sobreactivación persistente de la dopamina. En contraste, se ha propuesto una hipótesis de “deficiencia de recompensa” en la que una déficit En la función de la dopamina, la señal de recompensa disminuye lo que genera un consumo excesivo a medida que la persona o el animal intenta "llenar el vacío de recompensa" (Wang et al., 2004; Geiger et al., 2009; Kenny, 2010).

Dentro de la hipótesis actual, afirmamos que el aumento de dopamina facilita un mayor gasto de energía y exploración, es decir, less sesgo de la elección de comportamiento por recompensa, favoreciendo un menor almacenamiento de energía y proporcionando protección contra la obesidad, consistente con los efectos conocidos de los psicoestimulantes para inducir la pérdida de peso (Vanina et al., 2002; Leddy et al., 2004). En contraste, la disminución de la dopamina induce a la conservación y explotación de la energía, es decir, a un mayor sesgo de comportamiento por recompensa. En este caso, se favorece el consumo de energía y el almacenamiento, lo que resulta en comer en exceso y ganar peso. En particular, en contraste con los psicoestimulantes, los antipsicóticos que antagonizan la dopamina (principalmente D2) se han asociado sistemáticamente con el aumento de peso durante décadas (Allison y Casey, 2001; Vanina et al., 2002), aunque los mecanismos exactos siguen siendo inciertos.

Leptina, insulina y dopamina: conciliación de recursos y gastos

Las observaciones de la función reducida de la dopamina en la obesidad, particularmente la expresión reducida de los receptores D2, han generado la hipótesis de deficiencia de recompensa (Blum et al., 2000, 2011) en el que el consumo excesivo se debe a un intento de compensar la señalización de recompensa reducida. En la hipótesis propuesta aquí, reinterpretaríamos estos datos. Cuando se reduce la función de la dopamina, esto favorece la conservación de la energía y la explotación de la información de recompensa: es decir, "consumir y mover lo menos posible", una receta obvia para la obesidad.

Disociación motivacional: necesidad sin “querer”.

Décadas de trabajo elegante han demostrado sin lugar a dudas que las hormonas circulantes que indican el suministro de energía, en particular la insulina y la leptina, contribuyen a la regulación del consumo y el peso corporal a través de acciones en el sistema nervioso central [ver Figlewicz y Sipols, 2010 para una excelente revisión]. Consistente con su papel en la mediación del equilibrio de energía homeostática, la leptina y la insulina actúan sobre múltiples objetivos en el hipotálamo involucrado en la regulación de la alimentación, incluyendo NPY, POMC, α-MSH y AgRP (Figlewicz y Sipols, 2010). Estas observaciones son consistentes con las teorías de reducción de la unidad de motivación donde el déficit o el excedente de energía promueve o inhibe el consumo, respectivamente.

El dramático aumento de la obesidad en los últimos años (Ford y Mokdad, 2008), sin embargo, plantea la cuestión de por qué estos mecanismos homeostáticos fallan aparentemente. En general, se cree que los sistemas de dopamina del cerebro medio que median la motivación de incentivo (la motivación que surge del valor de recompensa asociado con los estímulos (incluidos los alimentos) en lugar del estado de necesidad) media esta falla homeostática al promover la llamada alimentación no homeostática o hedónica (Saper et al., 2002; Zheng y Berthoud, 2007; Lutter y Nestler, 2009; Zheng et al., 2009; Berthoud et al., 2011). Una considerable evidencia sugiere que tanto la leptina como la insulina pueden modular la función de la dopamina del cerebro medio (Krügel et al., 2003; Fulton et al., 2006; Hommel et al., 2006; Roseberry et al., 2007; Leinninger et al., 2009) y alterar la búsqueda y el consumo de alimentos (Sipols et al., 2000; Figlewicz et al., 2001, 2004, 2008, 2006; Hommel et al., 2006; Morton et al., 2009; Davis et al., 2010b).

En la vista prevaleciente, una gran cantidad de datos parece sugerir que tanto la insulina como la leptina disminuyen la función de la dopamina, disminuyendo, a su vez, la búsqueda y el consumo de alimentos por incentivos. En esencia, la leptina y la insulina, al indicar la energía adecuada, representan una señal de saciedad funcional que disminuye la recompensa asociada con los alimentos (Morton et al., 2009; Davis et al., 2010b; Figlewicz y Sipols, 2010; Opland et al., 2010; Vucetic y Reyes, 2010). Por el contrario, cuando la energía es baja, la leptina y la insulina disminuyen, desinhibiendo la dopamina y promoviendo la búsqueda de alimentos por incentivos / recompensas. Esta idea general es coherente con los datos que demuestran que el aumento de la leptina y la insulina reduce el comportamiento impulsado por la recompensa (Carr et al., 2000; Fulton et al., 2000; Sipols et al., 2000; Figlewicz et al., 2004, 2006, 2007; Hommel et al., 2006; Farooqi et al., 2007; Rosenbaum et al., 2008; Morton et al., 2009) y, a la inversa, esa restricción de alimentos, asociada con la disminución de leptina / insulina (Havel, 2000), aumenta el comportamiento impulsado por la recompensa (Carroll y Meisch, 1980; Carr, 2007, 2011; Davis et al., 2010a). En resumen, al regular hacia arriba y hacia abajo la función de la dopamina, la leptina y la insulina modulan el incentivo asociado con los alimentos y, posiblemente, recompensan la sensibilidad en general (Morton et al., 2006; Davis et al., 2010a). Aunque este relato de la leptina y la dopamina es intuitivo, la historia puede ser aún más compleja (Palmiter, 2007).

En el contexto de la obesidad, la relación entre la leptina / insulina, la dopamina y el comportamiento de recompensa es paradójica y no se ajusta a la idea que acabamos de describir. Primero, en lugar del aumento esperado en la señalización de leptina / insulina acorde con el aumento de la ingesta calórica y la adiposidad, la obesidad se ha asociado con una sensibilidad reducida a la leptina / insulina (Arase et al., 1988; Lin y otros, 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Enriori et al., 2007; Davis et al., 2010a; Figlewicz y Sipols, 2010; Koek et al., 2012). Segundo, aunque podemos esperar que esta reducción observada en la sensibilidad a la leptina / insulina resulte en un aumento de la función de la dopamina, análogo a la reducción de las señales de leptina / insulina en la restricción de alimentos, la mayoría de los estudios informan disminuido La función de la dopamina en la obesidad (Di Chiara et al., 1998; Wang et al., 2001a; Davis et al., 2008; Geiger et al., 2008, 2009; Li et al., 2009; Vucetic y Reyes, 2010). Finalmente, uno podría esperar que la función dopaminérgica reducida resulte en una disminución del consumo, como sugiere la evidencia citada anteriormente. En cambio, coexisten la reducción de la dopamina y la hiperfagia. En la obesidad, entonces, la cadena leptina / insulina -> dopamina -> recompensa se invierte en cada paso.

Las dos primeras inversiones resaltan una distinción crítica entre balance energético positivo agudo y crónico. Se cree que la reducción de la sensibilidad a la leptina / insulina surge como consecuencia de crónico balance energético positivo, que conduce a la obesidad y trastornos metabólicos, y que representa una adaptación patológica. La reducción paradójica de la función de la dopamina asociada con la obesidad a pesar de la menor sensibilidad a la leptina / insulina es probablemente una adaptación (patológica), como se propone con frecuencia en teorías que comparan la obesidad con la adicción (Volkow y Wise, 2005; Trinko et al., 2007; Avena et al., 2009; Lutter y Nestler, 2009; Avena y Bocarsly, 2011). Esto complica gravemente la investigación porque significa que para cada observación de una relación entre la ingesta de energía, la leptina / insulina y la dopamina tenemos que preguntar "¿esta observación refleja la función normal o la adaptación patológica?" Esta situación aumenta el riesgo de hacer inferencias inapropiadas de la normalidad. funciona a partir de afecciones patológicas y viceversa, un problema tratado a continuación (sección sobre obesidad inducida por jaula).

La tercera inversión, que la disminución de la función de la dopamina asociada con la obesidad promueve en lugar de inhibir el consumo, contradice superficialmente la noción completa de que la dopamina aumenta el valor de incentivo. Sin embargo, esto puede reflejar la complejidad de los sustratos neuronales que controlan el consumo. En particular, pueden coexistir incentivos reducidos y la hiperfagia. Davis et al. (Davis et al., 2010b) proporcionaron recientemente datos que sugieren que la leptina modula la dopamina a través de dos mecanismos: la señalización directa a través de los receptores de leptina en las células de dopamina del mesencéfalo e indirectamente a través de la neurona que expresa leptina en el hipotálamo lateral para modular la actividad de las células de dopamina. Sugieren que las acciones de la leptina sobre la LH regulan la motivación homeostática mientras que sus acciones sobre la dopamina del mesencéfalo regulan la respuesta con esfuerzo. Aunque estos dos mecanismos normalmente funcionan en conjunto, pueden disociarse de manera que el consumo y la voluntad de trabajar por la comida no estén correlacionados (p. Ej., Greenwood et al., 1974; Salamone et al., 1991; Baldo et al., 2002; Davis et al., 2010b; Rasmussen et al., 2010). Si la alimentación no homeostática es un esfuerzo para obtener alimentos, "querer", en ausencia de necesidad (Berridge et al., 2010), la adaptación patológica de leptina / insulina / dopamina a la obesidad puede reflejar lo contrario: una necesidad percibida de consumir alimentos sin gastar esfuerzo, sin necesidad de "querer".

La dopamina y la homeostasis energética: una perspectiva centrada en el gasto

Este trabajo descrito anteriormente se centra casi exclusivamente en el consumo, el lado de la ingesta del balance energético. La leptina, aunque investigada de forma menos sistemática, también desempeña un papel en la regulación del gasto energético (Pelleymounter et al., 1995; Williams et al., 2001; Elmquist et al., 2005; Ludwig et al., 2005; van de Wall y otros, 2008; Leinninger et al., 2011; Ribeiro et al., 2011). Sin embargo, a pesar del conocido papel de la dopamina en la regulación de la actividad, se sabe poco sobre cómo las interacciones entre la leptina, la insulina y la dopamina modulan la actividad y el gasto energético. Desde la perspectiva del gasto energético, cabría esperar que la leptina / insulina, que indica la disponibilidad de energía, aumentaría el gasto energético y aumentaría la actividad (Ribeiro et al., 2011) - "Si lo tienes, úsalo", lo cual es inconsistente con las observaciones de que la leptina disminuye la función de la dopamina. Sin embargo, trabajos recientes (Leinninger et al., 2009; Opland et al., 2010) sugiere que la relación entre la leptina y la dopamina puede no ser simple y unidireccional. Leinninger y sus colegas sugieren que la leptina actúa sobre la LH Aumenta función de la dopamina (Leinninger et al., 2009) mientras que la activación de los receptores de leptina en las células de dopamina disminuye la función de la dopamina (Hommel et al., 2006; Figlewicz y Benoit, 2009). Leshan et al. (2010) sugiere que las células de dopamina que expresan los receptores de leptina representan una subpoblación pequeña (~ 10%) que se proyecta casi exclusivamente al núcleo central de la amígdala. Cuando la leptina aumenta de un excedente de energía, entonces, su efecto principal sobre la dopamina, a través de la LH, puede ser: incrementar La función de la dopamina y mejorar la actividad y el gasto de energía, según lo observado por Ribeiro y colegas (Ribeiro et al., 2011): la energía está disponible, úsala. Las células de dopamina y la proyección que expresan directamente los receptores de leptina pueden jugar un papel diferente en el apetito learning- asociado al CeN (Holanda y Gallagher, 1993; Parkinson et al., 2000; Connor et al., 2001; Baxter y Murray, 2002; Lee et al., 2005; Paton et al., 2006; El-Amamy y Holanda, 2007) —Una idea intrigante más allá del alcance de la discusión actual. En la hipótesis propuesta aquí, este aumento mediado por leptina en la dopamina no aumenta la recompensa, sino que cambia la regulación de la actividad hacia un mayor gasto y una mayor exploración. Una mayor exploración da como resultado una aparente reducción en la sensibilidad / incentivo de recompensa a medida que el comportamiento es menos parcial Por recompensa, aunque importante, sigue motivado.

La visión centrada en la recompensa de la dopamina coloca la regulación hacia arriba o hacia abajo de la motivación de recompensa e incentivo como la principal contribución de la dopamina a la homeostasis energética y la obesidad. La hipótesis actual centra el papel de la dopamina en el gasto energético y sugiere que la energía disponible normalmente aumenta la dopamina, lo que resulta en una mayor actividad y exploración, donde el impacto de la recompensa en la elección del comportamiento en realidad disminuye. Por el contrario, la baja energía disminuiría la dopamina, lo que resultaría en conservación de energía y explotación de la información de recompensa, es decir, creciente El impacto de la recompensa en el comportamiento. Este último es consistente con las observaciones que se citan a menudo para respaldar la hipótesis de "deficiencia de recompensa", pero aquí interpretamos estos datos como un reflejo de un "exceso de aprovechamiento de recompensa". Esta hipótesis sugiere que la ingesta alta de calorías debería aumentar la dopamina y, a través de una mayor actividad, ser protectora. contra la obesidad. Este supuesto mecanismo, sin embargo, no parece tener más éxito que los mecanismos homeostáticos para prevenir la obesidad en nuestro entorno actual. ¿Por qué?

Reducción del gasto energético: la obesidad inducida por cubículos y jaulas

Esta hipótesis predeciría que un suministro rápido de energía, como suele ser el caso en las sociedades occidentales modernas, aumentaría la dopamina y facilitaría el gasto energético, proporcionando Protección contra la obesidad. Críticamente, este efecto está supeditado a la oportunidad gastar energía. La obesidad inducida por la dieta (DIO, por sus siglas en inglés) en roedores alimentados con dietas altas en grasas y calorías es un modelo frecuente de obesidad inducida por el medio ambiente. Aunque ampliamente interpretado como un modelo de ambientes obesogénicos, los roedores en tales dietas no se vuelven universalmente obesos, mostrando grados de resistencia que varían entre las cepas (Brownlow y otros, 1996; Funkat et al., 2004; Novak et al., 2010) y entre individuos, la base para la reproducción selectiva de roedores susceptibles y resistentes a la obesidad (Levin, 2010). Evaluar el papel de los efectos mediados por la dopamina en el gasto de energía en DIO es difícil ya que la pregunta no se ha investigado directamente.

Aunque se ha demostrado que el funcionamiento de la rueda protege contra el DIO en varios modelos de obesidad (Zachwieja et al., 1997; Levin y Dunn-Meynell, 2004; Bi, xnumx; Moran y Bi, 2006b; Patterson et al., 2008, 2009; Meek et al., 2010; Novak et al., 2010), la medida en que dicha actividad voluntaria protectora está modulada por la dopamina no se ha examinado directamente en estos estudios. Las ratas OLEF propensas a la obesidad muestran una disminución considerable de la obesidad cuando se les proporciona ruedas (Bi, xnumx). Curiosamente, el patrón de alimentación de estas ratas, en comparación con los controles, es análogo a lo que observamos con los ratones DAT: consumen comidas más grandes pero menos abundantes, aunque a diferencia del DAT, su consumo neto es elevado (Moran y Bi, 2006a, p.1214, Figura 2). Las ratas OLETF más jóvenes y no diabéticas muestran un aumento de dopamina extracelular, consistente con el fenotipo de patrón de comida DAT (Anderzhanova et al., 2007). Sin embargo, a edades más avanzadas de pre-diabéticos y diabéticos, muestran una disminución dramática en la dopamina (Anderzhanova et al., 2007). Una interpretación de estos datos es que los niveles elevados de dopamina en estas ratas los predisponen a una mayor ingesta de energía y gastos, pero en ausencia de oportunidades voluntarias de ejercicio, el aumento del gasto energético se bloquea, lo que resulta en un desequilibrio energético, obesidad y trastorno metabólico.

Algunos estudios han demostrado que las dietas ricas en grasas / calorías disminuyen la función de la dopamina, incluida la reducción de TH, la reducción de la liberación de dopamina estimulada y la reducción de la expresión del receptor D2 (Geiger et al., 2008, 2009). Sin embargo, no está claro si la reducción observada en la función de la dopamina surge como consecuencia directa de la mayor disponibilidad de energía o secundaria a otra fisiopatología. Específicamente, las dietas ricas en grasas / calorías se han asociado con insensibilidad a la leptina y / o insulina (Arase et al., 1988; Lin y otros, 2001; Wang et al., 2001b; Myers, 2004; Figlewicz et al., 2006; Davis et al., 2010a; Figlewicz y Sipols, 2010). Esto dificulta la interpretación de las alteraciones en la función de la dopamina en respuesta a la DIO. Por ejemplo, aunque se ha informado una función reducida de D2 con DIO, estas observaciones generalmente ocurren después de muchas semanas de dieta alta en grasas, lo que introduce la posibilidad de que estos cambios surjan como consecuencia del aumento crónico de leptina e insulina y la subsiguiente insensibilidad a la leptina / insulina. Desafortunadamente, esta posibilidad rara vez se aborda y los niveles de insulina / leptina generalmente no se informan. Sin embargo, en un estudio que examinó la expresión de D2 y DAT después de 20 días de dieta HF y reportó niveles de insulina / leptina, los autores observaron una disminución en DAT y una incrementar en D2 (Sur y Huang, 2007; Ver también Huang et al., 2005), ambos consistentes con una mayor actividad. En un estudio más reciente, estos mismos autores observan un aumento en la función del sistema de dopamina cuando las ratas cambian de comida a dieta de alta energía (South et al., 2012). Estos datos sugieren que la inicial La respuesta a la alta disponibilidad de grasa y calorías es aumentar incrementar dopamina y incrementar Expresión del receptor D2 disinhibitorio, que induce mayor actividad. Para responder a la pregunta de cómo el sistema de dopamina responde a la abundancia de calorías disponibles, es crítico desambiguar inicial desde crónico responda y evalúe el grado en que están presentes las adaptaciones patológicas, como la insensibilidad a la leptina.

¿En qué medida los cambios observados en el sistema de dopamina bajo DIO no surgen de la dieta alta en calorías sino de la falta de oportunidades de ejercicio? Es decir, en las observaciones de la disminución de la función de la dopamina asociada con la DIO, podemos preguntar no solo en qué medida esto refleja una adaptación patológica, sino también en qué medida la falta de oportunidades para el gasto energético voluntario contribuir a esta patología? La evidencia sugiere que el funcionamiento de la rueda puede alterar las características funcionales del sistema de dopamina (MacRae et al., 1987; Sabol et al., 1990; Hattori y otros, 1993, 1994; Wilson y Marsden, 1995; Liste et al., 1997; Meeusen et al., 1997; Foley y Fleshner, 2008; Greenwood et al., 2011), incluido el aumento de la dopamina extracelular, el aumento de la rotación, el ARNm de TH elevado y los cambios en la expresión de D2. En un estudio reciente que diferenció entre D2 postsináptico y autorreceptores, se encontró que los autorreceptores estaban regulados a la baja y los D2 postsinápticos regulados hacia arriba (Foley y Fleshner, 2008). Además, la actividad voluntaria puede mitigar las adaptaciones patológicas en la leptina y la señalización de la insulina que pueden, indirectamente, proteger la función de la dopamina (Krawczewski Carhuatanta et al., 2011). Por lo tanto, el ejercicio voluntario puede mejorar la disminución de la función de la dopamina observada en DIO, aunque esto no se ha examinado sistemáticamente.

En la hipótesis propuesta aquí, el aumento de la disponibilidad de energía, a través de la regulación al alza de la actividad conductual mediada por la dopamina, resultaría en un aumento de la exploración y el gasto de energía, permitiendo al animal aprovechar un suministro energético abundante y protegerse contra la obesidad. En la medida en que el paradigma DIO no ofrece una oportunidad para la exploración y el gasto energético al confinar roedores en jaulas pequeñas con poca o ninguna novedad, estímulo o oportunidades de ejercicio, puede reflejar las consecuencias de frustrando Gasto energético en condiciones de abundancia energética. Muchos han sugerido que los estilos de vida sedentarios característicos de las culturas occidentales modernas pueden contribuir a la obesidad tanto o más que la dieta (Powell y Blair, 1994; Booth et al., 2000; Hill et al., 2003; Chakravarthy y Booth, 2004; Levin y Dunn-Meynell, 2004; Warburton et al., 2006; Stand y Lees, 2007; Elder y Roberts, 2007; Hawley y Holloszy, 2009; Chaput et al., 2011), lo que hace a DIO altamente relevante para comprender la obesidad en las sociedades modernas. Sin embargo, no está claro si la obesidad inducida se debe a un aumento del consumo calórico o a la falta de oportunidades significativas para gastar energía (en jaula o “cubículo”, obesidad inducida). Igualmente, aunque se propuso ampliamente que la dopamina contribuye a DIO modulando la recompensa y la motivación apetitiva, su contribución potencial a través de la modulación del gasto de energía permanece en gran medida sin investigar y, en el paradigma de DIO convencional, oculta.

Direcciones futuras: reformulando las estrategias de investigación

La hipótesis de la recompensa de la dopamina ha dominado la investigación y el pensamiento sobre la dopamina; Los experimentos se diseñan típicamente dentro de ese marco conceptual. Como consecuencia, la información necesaria para evaluar la hipótesis propuesta es más frecuente que no falta. Con frecuencia, los niveles de actividad son simplemente ignorados. Esto abarca desde una investigación amplia y general en la que existe un profundo sesgo hacia el estudio del comportamiento y el consumo apetitosos, con solo una literatura reciente sobre los mecanismos que controlan el gasto voluntario de energía para experimentos específicos, como muchos estudios DIO en los que la actividad no se mide ni se toma en cuenta. cuenta en absoluto [por ejemplo, Geiger et al., 2008, 2009]. Este sesgo hacia las teorías de la recompensa también se refleja en la literatura en la que se han trazado extensamente vías elaboradas y sofisticadas que controlan la ingestión y / o la recompensa, mientras que casi no existe un mapeo comparable de los mecanismos y vías que regulan la actividad voluntaria (pero Garland et al., 2011). La integración de medidas de actividad sistemáticas y acordadas debe integrarse rutinariamente en los estudios de la función de la dopamina.

Segundo, la adaptación depende del ambiente. Actualmente, la gran mayoría de los estudios en animales investigan de manera efectiva una economía de energía: la escasez periódica y temporal de alimentos derivada de la restricción de alimentos empleada para motivar a los animales. No solo esto no refleja el distancia de las condiciones a las que un animal debe adaptarse, pero no refleja la condición primaria que se cree que subyace al aumento de la obesidad, que es un entorno de abundancia, no de escasez. Un enfoque de jaula doméstica seminaturalista, como lo ilustra nuestro trabajo y otros (Hursh et al., 1988; Chaney y Rowland, 2008) es esencial para obtener una imagen "completa" de la función de la dopamina. En tales paradigmas de jaulas domésticas, las contingencias ambientales pueden controlarse a lo largo de diferentes dimensiones durante un período sostenido sin la necesidad de déficits energéticos inducidos artificialmente (es decir, restricción de alimentos) o la introducción de horizontes temporales artificiales (la sesión de una hora); es decir, el comportamiento autorregulado del animal en respuesta a su entorno se puede investigar más a fondo.

En tercer lugar, prácticamente todo el trabajo se centra en el impacto de la dopamina alterada en el comportamiento con un pequeño examen de cómo las interacciones de comportamiento con el medio ambiente y los resultados posteriores alteran el sistema de dopamina en sí. Estos tipos de estudios son ciertamente desafiantes, como lo demuestra la literatura sobre cómo el estrés altera la función de la dopamina. No obstante, parecen ser críticos para comprender completamente la función adaptativa de la dopamina. ¿Un ambiente sostenido de abundancia o escasez regula o aumenta o disminuye la función de la dopamina? Aunque la pregunta puede ser crítica, no hay una respuesta clara o convincente hasta la fecha y rara vez se hace la pregunta.

Conclusiones: una visión más amplia

Aquí desarrollamos una hipótesis amplia de la función de la dopamina que sugiere que las innumerables funciones aparentes de la dopamina se pueden entender colectivamente como mecanismos por los cuales el gasto de energía se adapta a la economía energética en la que se encuentra el animal: un sustrato para reconciliar la búsqueda de recompensa con recursos Primero elaboramos esta hipótesis en términos teóricos intentando integrar diferentes puntos de vista de la función de la dopamina en un marco más amplio de gestión de la energía. Luego aplicamos este marco para reinterpretar ideas y datos en el creciente campo de la dopamina y la obesidad. Proponemos la hipótesis novedosa de que la dopamina, al favorecer el gasto de energía, normalmente protegería contra la obesidad, pero que los estilos de vida sedentarios de la sociedad moderna impiden este proceso de protección e inducen adaptaciones patológicas que contribuyen más que a la protección contra la obesidad. Aunque más allá del alcance de la discusión actual, creemos que el marco esbozado aquí a grandes rasgos se puede aplicar fructíferamente a otras áreas de investigación en dopamina, incluido el trastorno por déficit de atención con hiperactividad y la adicción, lo que podría generar ideas novedosas e hipótesis comprobables.

La recompensa, la vinculación de eventos externos y estímulos a las necesidades internas, representa claramente una función crítica desde un punto de vista evolutivo y adaptativo. Sin embargo, la recompensa y el valor son fundamentalmente relativos. ¿Cuál es el criterio por el cual se modula la recompensa? Aquí sugerimos que el sistema de dopamina, en su raíz, surgió para abordar una función aún más fundamental que la recompensa: utilizar de manera óptima los recursos energéticos, el corazón de la supervivencia adaptativa y, literalmente, una cuestión de vida o muerte.

Declaracion de conflicto de interes

Los autores declaran que la investigación se llevó a cabo en ausencia de cualquier relación comercial o financiera que pudiera interpretarse como un posible conflicto de intereses.

AGRADECIMIENTOS

Este trabajo fue apoyado por NIDA R01DA25875 (Jeff A. Beeler), F31DA026802 (Cristianne RM Frazier), R01GM100768 (Xiaoxi Zhuang) y R56DK088515 (Xiaoxi Zhuang). Nos gustaría agradecer a los revisores por sus comentarios rigurosos y perspicaces que mejoraron sustancialmente el manuscrito final.

Referencias

Editado por:

John J. Foxe, Albert Einstein Facultad de Medicina, EE.UU.

Revisado por:

Thomas A. Stalnaker, Universidad de Maryland, Facultad de Medicina de Baltimore, EE. UU.
John D. SalamoneUniversidad de Connecticut, EE.UU.