Dopamina en el control motivacional: gratificante, aversiva y alerta (2010)

Ver otros artículos en PMC que citar El artículo publicado.

Las neuronas de dopamina del cerebro medio son bien conocidas por sus fuertes respuestas a las recompensas y su papel crítico en la motivación positiva. Sin embargo, se ha vuelto cada vez más claro que las neuronas de dopamina también transmiten señales relacionadas con experiencias sobresalientes pero no gratificantes, como eventos aversivos y de alerta. Aquí revisamos los avances recientes en la comprensión de las funciones de recompensa y no recompensa de la dopamina. Basados ​​en estos datos, proponemos que las neuronas de dopamina vienen en múltiples tipos que están conectadas con distintas redes cerebrales y tienen roles distintos en el control motivacional. Algunas neuronas de dopamina codifican el valor motivacional, apoyando las redes cerebrales para la búsqueda, evaluación y valorización del aprendizaje. Otros codifican la prominencia motivacional, apoyando las redes cerebrales para la orientación, la cognición y la motivación general. Ambos tipos de neuronas de dopamina son aumentadas por una señal de alerta involucrada en la detección rápida de señales sensoriales potencialmente importantes. Nuestra hipótesis es que estas vías dopaminérgicas de valor, prominencia y alerta cooperan para respaldar el comportamiento adaptativo.

La dopamina en la motivación de las acciones de búsqueda de recompensa.

Desde hace tiempo se sabe que la dopamina es importante para el refuerzo y la motivación de las acciones. Las drogas que interfieren con la transmisión de DA interfieren con el aprendizaje de refuerzo, mientras que las manipulaciones que mejoran la transmisión de DA, como la estimulación cerebral y las drogas adictivas, a menudo actúan como refuerzos (Sabio, 2004). La transmisión DA es crucial para crear un estado de motivación para buscar recompensas (Berridge y Robinson, 1998; Salamone et al., 2007) y por el establecimiento de memorias de asociaciones cue-recompensa (Dalley et al., 2005). La liberación de DA no es necesaria para todas las formas de aprendizaje por recompensa y puede que no siempre sea "gustada" en el sentido de causar placer, pero es fundamental para que los objetivos se vuelvan "deseados" en el sentido de motivar acciones para lograrlos (Berridge y Robinson, 1998; Palmiter, 2008).

Una hipótesis sobre cómo la dopamina apoya el aprendizaje por refuerzo es que ajusta la fuerza de las conexiones sinápticas entre las neuronas. La versión más directa de esta hipótesis es que la dopamina controla la plasticidad sináptica de acuerdo con una regla modificada de Hebbian que se puede afirmar aproximadamente como "las neuronas que se unen se conectan entre sí, siempre y cuando reciban una explosión de dopamina". En otras palabras, si la celda A activa la celda B, y la celda B causa una acción de comportamiento que resulta en una recompensa, entonces se liberará dopamina y se reforzará la conexión A → B (Montague et al., 1996; Schultz, 1998). Este mecanismo permitiría a un organismo aprender la elección óptima de acciones para obtener recompensas, dada la experiencia suficiente de prueba y error. De acuerdo con esta hipótesis, la dopamina tiene una potente influencia sobre la plasticidad sináptica en numerosas regiones del cerebro (Surmeier et al., 2010; Goto et al., 2010; Molina-Luna et al., 2009; Marowsky et al., 2005; Lisman y Grace, 2005). En algunos casos, la dopamina permite la plasticidad sináptica en el sentido de la regla de Hebbian descrita anteriormente, de una manera que se correlaciona con el comportamiento de búsqueda de recompensa (Reynolds et al., 2001). Además de sus efectos sobre la plasticidad sináptica a largo plazo, la dopamina también puede ejercer un control inmediato sobre los circuitos neuronales mediante la modulación de la actividad de espinas neurales y las conexiones sinápticas entre las neuronas (Surmeier et al., 2007; Robbins y Arnsten, 2009), en algunos casos, hacerlo de manera que promueva acciones inmediatas de búsqueda de recompensa (Frank, 2005).

Señales de recompensa de la neurona dopamina

Con el fin de motivar acciones que conducen a recompensas, la dopamina debe liberarse durante las experiencias gratificantes. De hecho, la mayoría de las neuronas DA están fuertemente activadas por recompensas primarias inesperadas, como los alimentos y el agua, que a menudo producen "explosiones" de actividad fásicas (Schultz, 1998) (excitaciones fásicas incluyendo múltiples picos (Grace y Bunney, 1983)). Sin embargo, los estudios pioneros de Wolfram Schultz mostraron que estas respuestas de las neuronas DA no son provocadas por el consumo de recompensa. per se. En cambio, se asemejan a un 'error de predicción de recompensa', informando la diferencia entre la recompensa que se recibe y la recompensa que se predijo que ocurrirá (Schultz et al., 1997) (Figura 1A). Por lo tanto, si una recompensa es más grande de lo previsto, las neuronas DA están fuertemente excitadas (error de predicción positiva, Figura 1E, rojo); Si una recompensa es más pequeña de lo que se predice o no se produce en el momento designado, las neuronas DA se inhiben fásicamente (error de predicción negativo, Figura 1E, azul); y si una recompensa se indica de antemano para que su tamaño sea totalmente predecible, las neuronas DA tienen poca o ninguna respuesta (error de predicción cero, Figura 1C, negro). El mismo principio se aplica a las respuestas del DA a las señales sensoriales que brindan nueva información sobre futuras recompensas. Las neuronas DA se excitan cuando una señal indica un aumento en el valor de recompensa futura (Figura 1C, rojo), inhibido cuando una señal indica una disminución en el valor de recompensa futura (Figura 1C, azul), y generalmente tienen poca respuesta a las señales que no transmiten información de recompensa nueva (Figura 1E, negro). Estas respuestas de DA se asemejan a un tipo específico de error de predicción de recompensa denominado error de diferencia temporal o "error de TD", que se ha propuesto para actuar como una señal de refuerzo para aprender el valor de las acciones y los estados ambientales (Houk et al., 1995; Montague et al., 1996; Schultz et al., 1997). Los modelos computacionales que usan una señal de refuerzo similar a la TD pueden explicar muchos aspectos del aprendizaje de refuerzo en humanos, animales y las neuronas DA en sí mismas (Sutton y Barto, 1981; Waelti et al., 2001; Montague y Berns, 2002; Dayan y Niv, 2008).

 

Figura 1 y XNUMX

Codificación de la dopamina de los errores de predicción de la recompensa y la preferencia por la información predictiva

Una impresionante variedad de experimentos han demostrado que las señales de DA representan predicciones de recompensa de una manera que se asemeja mucho a las preferencias de comportamiento, incluida la preferencia por grandes recompensas sobre las pequeñas (Tobler et al., 2005) recompensas probables sobre las improbables (Fiorillo et al., 2003; Satoh et al., 2003; Morris y otros, 2004) y recompensas inmediatas sobre los retrasados ​​(Roesch et al., 2007; Fiorillo et al., 2008; Kobayashi y Schultz, 2008). Incluso hay evidencia de que las neuronas DA en humanos codifican el valor de recompensa del dinero (Zaghloul et al., 2009). Además, las señales de DA emergen durante el aprendizaje con un curso de tiempo similar a las medidas de comportamiento de la predicción de recompensa (Hollerman y Schultz, 1998; Satoh et al., 2003; Takikawa y otros, 2004; Day et al., 2007) y se correlacionan con medidas subjetivas de preferencia de recompensa (Morris y otros, 2006). Estos hallazgos han establecido a las neuronas DA como uno de los ejemplos mejor comprendidos y más replicados de codificación de recompensa en el cerebro. Como resultado, estudios recientes han sometido a las neuronas DA a un escrutinio intenso para descubrir cómo generan predicciones de recompensa y cómo actúan sus señales en las estructuras posteriores para controlar el comportamiento.

Señales de recompensa de la neurona dopamina

Los avances recientes en la comprensión de las señales de recompensa de DA provienen de considerar tres preguntas amplias: ¿Cómo aprenden las neuronas de DA las predicciones de recompensa? ¿Qué tan exactas son sus predicciones? ¿Y qué es lo que tratan como gratificante?

¿Cómo aprenden las neuronas DA las predicciones de recompensa? Las teorías clásicas sugieren que las predicciones de recompensa se aprenden a través de un proceso de refuerzo gradual que requiere pares repetidos de estímulo-recompensa (Rescorla y Wagner, 1972; Montague et al., 1996). Cada vez que el estímulo A va seguido de una recompensa inesperada, el valor estimado de A aumenta. Sin embargo, datos recientes muestran que las neuronas DA van más allá del simple aprendizaje de estímulo-recompensa y hacen predicciones basadas en creencias sofisticadas sobre la estructura del mundo. Las neuronas DA pueden predecir las recompensas correctamente incluso en entornos no convencionales donde las recompensas combinadas con un estímulo causan una disminuir en el valor de ese estímulo (Satoh et al., 2003; Nakahara et al., 2004; Bromberg-Martin y otros, 2010c) o provocar un cambio en el valor de un estímulo completamente diferente (Bromberg-Martin et al., 2010b). Las neuronas DA también pueden adaptar sus señales de recompensa en función de estadísticas de orden superior de la distribución de recompensa, como la escala de las señales de error de predicción en función de su varianza esperada (Tobler et al., 2005) y "recuperando espontáneamente" sus respuestas a señales de recompensa extinguidas (Pan et al., 2008). Todos estos fenómenos forman un paralelo notable a los efectos similares observados en la adaptación sensorial y motora (Braun et al., 2010; Fairhall et al., 2001; Shadmehr et al., 2010), sugiriendo que pueden reflejar un mecanismo neuronal general para el aprendizaje predictivo.

¿Qué tan exactas son las predicciones de recompensa de DA? Estudios recientes han demostrado que las neuronas DA ajustan fielmente sus señales de recompensa para tener en cuenta tres fuentes de incertidumbre de predicción. En primer lugar, los seres humanos y los animales sufren de un ruido de sincronización interno que les impide hacer predicciones confiables sobre los intervalos de tiempo de recompensa de señal larga (Gallistel y Gibbon, 2000). Por lo tanto, si los retrasos de la recompensa de la señal son cortos (1 – 2 segundos) las predicciones de tiempo son precisas y la entrega de la recompensa desencadena poca respuesta de DA, pero para demoras más largas de la señal de recompensa las predicciones de tiempo se vuelven menos confiables y las recompensas evocan ráfagas claras de DA (Kobayashi y Schultz, 2008; Fiorillo et al., 2008). Segundo, muchas señales en la vida cotidiana son imprecisas, especificando una amplia distribución de los tiempos de entrega de recompensas. Las neuronas DA vuelven a reflejar esta forma de incertidumbre en el tiempo: se inhiben progresivamente durante los retrasos de recompensa variable, como si la señalización de errores de predicción de recompensa cada vez más negativa en cada momento en que la recompensa no aparezca (Fiorillo et al., 2008; Bromberg-Martin y otros, 2010a; Nomoto et al., 2010). Finalmente, muchas señales son perceptualmente complejas y requieren una inspección detallada para llegar a una conclusión firme sobre su valor de recompensa. En tales situaciones, las señales de recompensa de DA se producen en latencias largas y de manera gradual, pareciendo reflejar el flujo gradual de información perceptiva a medida que se decodifica el valor del estímulo (Nomoto et al., 2010).

¿Qué eventos tratan las neuronas DA como gratificantes? Las teorías convencionales del aprendizaje de recompensa sugieren que las neuronas DA asignan valor en función de la cantidad esperada de la recompensa primaria futura (Montague et al., 1996). Sin embargo, incluso cuando la tasa de recompensa primaria se mantiene constante, los humanos y los animales a menudo expresan una preferencia adicional por la previsibilidad: entornos de búsqueda en los que el tamaño, la probabilidad y el tiempo de cada recompensa se pueden conocer de antemano (Daly, xnumx; Masticar y Ho, 1994; Ahlbrecht y Weber, 1996). Un estudio reciente en monos encontró que las neuronas DA señalan esta preferencia (Bromberg-Martin y Hikosaka, 2009). Los monos expresaron una fuerte preferencia por ver señales visuales informativas que les permitirían predecir el tamaño de una recompensa futura, en lugar de señales no informativas que no proporcionaron información nueva. En paralelo, las neuronas DA se entusiasmaron con la oportunidad de ver las señales informativas de una manera que estaba correlacionada con la preferencia de comportamiento del animal (Figura 1B, D). Esto sugiere que las neuronas DA no solo motivan acciones para obtener recompensas, sino que también motivan acciones para hacer predicciones precisas acerca de esas recompensas, a fin de garantizar que las recompensas puedan anticiparse y prepararse adecuadamente de antemano.

En conjunto, estos hallazgos muestran que las señales de error de la predicción de la recompensa de DA son sensibles a factores sofisticados que informan las predicciones de recompensa humana y animal, incluida la adaptación a las estadísticas de recompensa de alto orden, la incertidumbre de la recompensa y las preferencias de información predictiva.

Efectos de las señales de recompensa de dopamina fásica en estructuras aguas abajo

Las respuestas de recompensa DA ocurren en ráfagas fásicas síncronas (Joshua et al., 2009b), un patrón de respuesta que da forma a la liberación de DA en las estructuras de destino (Gonon, 1988; Zhang et al., 2009; Tsai et al., 2009). Durante mucho tiempo se ha teorizado que estos estallidos fásicos influyen en el aprendizaje y la motivación de una manera distinta a la actividad tónica de DA (Grace, 1991; Grace et al., 2007; Schultz, 2007; Lapish et al., 2007). La tecnología desarrollada recientemente ha hecho posible confirmar esta hipótesis mediante el control de la actividad de las neuronas DA con una precisión espacial y temporal fina. La estimulación optogenética de las neuronas VTA DA induce una fuerte preferencia de lugar condicionada que solo se produce cuando la estimulación se aplica en un patrón de explosión (Tsai et al., 2009). A la inversa, el knockout genético de los receptores NMDA de las neuronas DA, que afecta la explosión y deja intacta la actividad tónica, causa un deterioro selectivo en formas específicas de aprendizaje por recompensa (Zweifel et al., 2009; Parker et al., 2010) (aunque tenga en cuenta que este nocaut también perjudica la plasticidad sináptica de las neuronas DA (Zweifel et al., 2008)). Las ráfagas de DA pueden mejorar el aprendizaje de recompensa al reconfigurar los circuitos neuronales locales. En particular, las ráfagas de DA predictivas de recompensa se envían a regiones específicas del núcleo accumbens, y estas regiones tienen niveles especialmente altos de actividad neuronal predictiva de recompensa (Cheer et al., 2007; Owesson-White y otros, 2009).

En comparación con las explosiones fásicas, se sabe menos acerca de la importancia de las pausas fásicas en la actividad de los picos para los errores de predicción de recompensa negativa. Estas pausas causan cambios más pequeños en la tasa de picos, están menos moduladas por la expectativa de recompensa (Bayer y Glimcher, 2005; Joshua et al., 2009a; Nomoto et al., 2010), y puede tener efectos menores en el aprendizaje (Rutledge et al., 2009). Sin embargo, ciertos tipos de aprendizaje de error de predicción negativa requieren el VTA (Takahashi et al., 2009), lo que sugiere que las pausas fásicas aún pueden ser decodificadas por estructuras posteriores.

Dado que las ráfagas y las pausas causan patrones muy diferentes de liberación de DA, es probable que influyan en las estructuras posteriores mediante mecanismos distintos. Hay evidencia reciente de esta hipótesis en un objetivo principal de las neuronas DA, el estriado dorsal. Las neuronas de proyección del cuerpo estriado dorsal vienen en dos tipos que expresan diferentes receptores DA. Un tipo expresa los receptores D1 y los proyecta a la "vía directa" de los ganglios basales para facilitar los movimientos del cuerpo; el segundo tipo expresa receptores D2 y se proyecta a la 'vía indirecta' para suprimir los movimientos corporales (Figura 2 y XNUMX) (Albin et al., 1989; Gerfen et al., 1990; Kravitz et al., 2010; Hikida et al., 2010). Sobre la base de las propiedades de estas vías y receptores, se ha teorizado que las ráfagas DA producen condiciones de alta DA, activan los receptores D1 y hacen que la vía directa seleccione movimientos de alto valor (Figura 2A), mientras que las pausas DA producen condiciones de baja DA, inhiben los receptores D2 y hacen que la ruta indirecta suprima los movimientos de bajo valor (Figura 2B) (Frank, 2005; Hikosaka, 2007). De acuerdo con esta hipótesis, la alta activación del receptor de DA promueve la potenciación de las sinapsis corticoestiatales en la vía directa (Shen et al., 2008) y aprendiendo de resultados positivos (Frank et al., 2004; Voon et al., 2010), mientras que el bloqueo del receptor D1 estriatal altera selectivamente los movimientos hacia objetivos recompensados ​​(Nakamura y Hikosaka, 2006). De manera análoga, la baja activación del receptor de DA promueve la potenciación de las sinapsis cortico-estriatales en la vía indirecta (Shen et al., 2008) y aprendiendo de resultados negativos (Frank et al., 2004; Voon et al., 2010), mientras que el bloqueo del receptor D2 estriado suprime de forma selectiva los movimientos hacia objetivos no recompensados ​​(Nakamura y Hikosaka, 2006). Esta división de las funciones de los receptores D1 y D2 en el control motivacional explica muchos de los efectos de los genes relacionados con DA en el comportamiento humano (Ullsperger, 2010; Frank y Fossella, 2010) y puede extenderse más allá del cuerpo estriado dorsal, ya que hay evidencia de una división del trabajo similar en el cuerpo estriado ventral (Grace et al., 2007; Lobo et al., 2010).

 

Figura 2 y XNUMX

Control de la dopamina de la motivación positiva y negativa en el cuerpo estriado dorsal.

Mientras que el esquema anterior pinta una imagen simple del control de comportamiento fásico de DA a través de sus efectos en el cuerpo estriado, el cuadro completo es mucho más complejo. DA influye en el comportamiento relacionado con la recompensa al actuar en muchas regiones del cerebro, incluida la corteza prefrontal (Hitchcott y otros, 2007), corteza rinal (Liu et al., 2004), hipocampoPackard y Blanco, 1991; Grecksch y Matties, 1981) y la amígdalaPhillips et al., 2010). Es probable que los efectos de la DA difieran ampliamente entre estas regiones debido a las variaciones en la densidad de la inervación de la DA, los transportadores de la DA, las enzimas metabólicas, los autorreceptores, los receptores y el acoplamiento del receptor a las vías de señalización intracelular (Neve et al., 2004; Bentivoglio y Morelli, 2005; Frank y Fossella, 2010). Además, al menos en el VTA, las neuronas DA pueden tener diferentes propiedades celulares dependiendo de sus objetivos de proyección (Lammel et al., 2008; Margolis et al., 2008), y algunos tienen la notable capacidad de transmitir glutamato y dopamina (Descarries et al., 2008; Chuhma et al., 2009; Hnasko et al., 2010; Tecuapetla et al., 2010; Stuber et al., 2010; Birgner et al., 2010). Por lo tanto, el alcance total del control de las neuronas DA sobre el procesamiento neural apenas comienza a revelarse.

Diversas respuestas de dopamina a eventos aversivos.

La respuesta de una neurona a los eventos aversivos proporciona una prueba crucial de sus funciones en el control motivacional (Schultz, 1998; Berridge y Robinson, 1998; Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003). En muchos aspectos, tratamos los eventos gratificantes y aversivos de maneras opuestas, reflejando su opuesto. valor motivacional. Buscamos recompensas y les asignamos un valor positivo, mientras que evitamos los eventos aversivos y les asignamos un valor negativo. En otros aspectos, tratamos los eventos gratificantes y aversivos de maneras similares, reflejando sus aspectos similares. saliencia motivacional [FOOTNOTE1]. Tanto los eventos gratificantes como los aversivos activan la orientación de la atención, el procesamiento cognitivo y el aumento de la motivación general.

¿Cuál de estas funciones soportan las neuronas DA? Desde hace tiempo se sabe que las experiencias estresantes y aversivas causan grandes cambios en las concentraciones de DA en las estructuras cerebrales posteriores, y que las reacciones de comportamiento a estas experiencias se ven alteradas drásticamente por los agonistas, antagonistas y lesiones de DA (Salamone, 1994; Di Chiara, 2002; Pezze y Feldon, 2004; Young et al., 2005). Sin embargo, estos estudios han producido una sorprendente diversidad de resultados (Levita et al., 2002; Di Chiara, 2002; Young et al., 2005). Muchos estudios son consistentes con las neuronas DA que codifican la prominencia motivacional. Informan que los eventos aversivos aumentan los niveles de DA y que la aversión del comportamiento es compatible con altos niveles de transmisión de DA (Salamone, 1994; Joseph et al., 2003; Ventura et al., 2007; Barr et al., 2009; Fadok et al., 2009) incluidas las ráfagas fásicas de DA (Zweifel et al., 2009). Pero otros estudios son más consistentes con las neuronas DA que codifican el valor motivacional. Informan que los eventos aversivos reducen los niveles de DA y que la aversión del comportamiento es compatible con niveles bajos de transmisión de DA (Mark et al., 1991; Shippenberg et al., 1991; Liu et al., 2008; Roitman et al., 2008). En muchos casos, estos resultados mixtos se han encontrado en estudios únicos, lo que indica que las experiencias aversivas causan diferentes patrones de liberación de DA en diferentes estructuras cerebrales (Thierry et al., 1976; Besson y Louilot, 1995; Ventura et al., 2001; Jeanblanc et al., 2002; Bassareo et al., 2002; Pascucci et al., 2007), y que los medicamentos relacionados con la DA pueden producir una mezcla de efectos neuronales y de comportamiento similares a los causados ​​por experiencias tanto gratificantes como aversivas (Ettenberg, 2004; Wheeler et al., 2008).

Esta diversidad de patrones y funciones de liberación de DA es difícil de reconciliar con la idea de que las neuronas DA transmiten una señal de motivación uniforme a todas las estructuras cerebrales. Sin embargo, estas diversas respuestas podrían explicarse si las neuronas DA son diversas, compuestas por múltiples poblaciones neuronales que admiten diferentes aspectos del procesamiento aversivo. Esta visión está respaldada por estudios de registro neuronal en animales anestesiados. Estos estudios han demostrado que los estímulos nocivos provocan excitación en algunas neuronas DA, pero inhibición en otras neuronas DA (Chiodo et al., 1980; Maeda y Mogenson, 1982; Schultz y Romo, 1987; Mantz et al., 1989; Gao et al., 1990; Coizet et al., 2006). Es importante destacar que tanto las respuestas excitadoras como las inhibitorias ocurren en las neuronas que se confirma que son dopaminérgicas mediante el etiquetado yuxtacelular (Brischoux et al., 2009) (Figura 3 y XNUMX). Una diversidad similar de respuestas aversivas ocurre durante el comportamiento activo. Diferentes grupos de neuronas DA son excitados o inhibidos de forma fásica por eventos aversivos que incluyen estimulación nociva de la piel (Kiyatkin, 1988a; Kiyatkin, 1988b), señales sensoriales que predicen choques aversivos (Guarraci y Kapp, 1999), airpuffs aversivos (Matsumoto y Hikosaka, 2009b), y las señales sensoriales predicen aversiones aéreas aversivas (Matsumoto y Hikosaka, 2009b; Joshua et al., 2009a). Además, cuando dos neuronas DA se registran simultáneamente, sus respuestas aversivas generalmente tienen poca correlación de prueba a prueba entre sí (Joshua et al., 2009b), sugiriendo que las respuestas aversivas no están coordinadas en toda la población de DA como un todo.

 

Figura 3 y XNUMX

Diversas respuestas de neuronas dopaminérgicas a eventos aversivos.

Para comprender las funciones de estas diversas respuestas aversivas, necesitamos saber cómo se combinan con las respuestas de recompensa para generar una señal motivacional significativa. Un estudio reciente investigó este tema y reveló que las neuronas DA se dividen en múltiples poblaciones con distintas señales motivacionales (Matsumoto y Hikosaka, 2009b). Una población está emocionada por los eventos de recompensa e inhibida por los eventos aversivos, como si la codificación valor motivacional (Figura 4A). Una segunda población está emocionada por los eventos gratificantes y aversivos de maneras similares, como si la codificación saliencia motivacional (Figura 4B). En ambas de estas poblaciones, muchas neuronas son sensibles a las predicciones de recompensa y aversión: responden cuando los eventos de recompensa son más gratificantes de lo previsto y cuando los eventos de aversión son más adversos que lo predicho (Matsumoto y Hikosaka, 2009b). Esto muestra que sus respuestas aversivas son realmente causadas por predicciones sobre eventos aversivos, descartando la posibilidad de que puedan ser causadas por factores inespecíficos como la información sensorial en bruto o las asociaciones generalizadas con recompensas (Schultz, 2010). Estas dos poblaciones difieren, sin embargo, en la naturaleza detallada de su código predictivo. Las neuronas DA de codificación de valores motivacionales codifican una señal de error de predicción precisa, que incluye una fuerte inhibición por omisión de recompensas y una leve excitación por omisión de eventos aversivos (Figura 4A, derecho). En contraste, la prominencia motivacional que codifica las neuronas DA responde cuando están presentes eventos sobresalientes pero no cuando están ausentes (Figura 4B, derecha), consistente con las nociones teóricas de excitación (Lang y Davis, 2006) [FOOTNOTE2]. Se ha observado evidencia de estas dos poblaciones de neuronas DA incluso cuando la actividad neuronal se ha examinado de manera promediada. Por lo tanto, los estudios dirigidos a diferentes partes del sistema DA encontraron señales DA fásicas que codifican eventos aversivos con inhibición (Roitman et al., 2008), similar a la codificación del valor motivacional, o con excitación (Joshua et al., 2008; Anstrom et al., 2009), similar a la codificación de la prominencia motivacional.

 

Figura 4 y XNUMX

Distintas poblaciones de neuronas dopaminérgicas que codifican valor motivacional y prominencia

Estos hallazgos recientes pueden parecer contradecir un informe inicial de que las neuronas DA responden de manera preferencial para recompensar las señales en lugar de las señales aversivas (Mirenowicz y Schultz, 1996). Sin embargo, cuando se examina de cerca, incluso ese estudio es totalmente consistente con el valor de DA y la codificación de prominencia. En ese estudio, las señales de recompensa condujeron a resultados de recompensa con alta probabilidad (> 90%), mientras que las señales aversivas llevaron a resultados aversivos con baja probabilidad (<10%). Por lo tanto, las neuronas DA codificadoras de valor y prominencia tendrían poca respuesta a las señales aversivas, codificando con precisión su bajo nivel de aversión.

Rol funcional del valor motivacional y señales de prominencia.

En conjunto, los hallazgos anteriores indican que las neuronas DA se dividen en múltiples poblaciones adecuadas para distintos roles en el control motivacional. El valor motivacional que codifica las neuronas DA encaja bien con las teorías actuales de las neuronas de dopamina y el procesamiento de recompensas (Schultz et al., 1997; Berridge y Robinson, 1998; Sabio, 2004). Estas neuronas codifican una señal de error de predicción completa y codifican eventos de recompensa y aversión en direcciones opuestas. Por lo tanto, estas neuronas proporcionan una señal instructiva apropiada para la búsqueda, evaluación y aprendizaje valioso (Figura 5 y XNUMX). Si un estímulo provoca la excitación de las neuronas DA que codifican el valor, deberíamos acercarnos a él, asignarle un valor alto y aprender acciones para buscarlo de nuevo en el futuro. Si un estímulo provoca la inhibición de la codificación de las neuronas DA, deberíamos evitarlo, asignarle un valor bajo y aprender acciones para evitarlo de nuevo en el futuro.

 

Figura 5 y XNUMX

Funciones hipotéticas de valor motivacional, prominencia y señales de alerta.

En contraste, la prominencia motivacional que codifica las neuronas DA encaja bien con las teorías de las neuronas de dopamina y el procesamiento de eventos salientes (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Kapur, 2003). Estas neuronas se excitan con los eventos de recompensa y aversión y tienen respuestas más débiles a los eventos neutrales, proporcionando una señal instructiva adecuada para que los circuitos neuronales aprendan a detectar, predecir y responder a situaciones de gran importancia. Aquí consideraremos tres sistemas cerebrales de este tipo (Figura 5 y XNUMX). Primero, los circuitos neuronales para la orientación visual y atencional se calibran para descubrir información sobre todo tipo de eventos, tanto gratificantes como aversivos. Por ejemplo, tanto las señales de recompensa como las señales aversivas atraen las reacciones de orientación más eficazmente que las señales neutrales (Lang y Davis, 2006; Matsumoto y Hikosaka, 2009b; Austin y Duka, 2010). En segundo lugar, tanto las situaciones gratificantes como las aversivas involucran los sistemas neuronales para el control cognitivo y la selección de acciones: necesitamos involucrar la memoria de trabajo para mantener la información en mente, la resolución de conflictos para decidir un curso de acción y la memoria a largo plazo para recordar el resultado resultanteBradley et al., 1992; Botvinick y otros, 2001; Savine et al., 2010). Tercero, tanto las situaciones gratificantes como las aversivas requieren un aumento en la motivación general para energizar las acciones y garantizar que se ejecuten correctamente. De hecho, las neuronas DA son críticas para motivar el esfuerzo para alcanzar objetivos de alto valor y para traducir el conocimiento de las demandas de las tareas en un rendimiento motor confiable (Berridge y Robinson, 1998; Mazzoni et al., 2007; Niv et al., 2007; Salamone et al., 2007).

Excitación de la dopamina alertando señales sensoriales.

Además de sus señales que codifican valor de motivación y prominencia, la mayoría de las neuronas DA también tienen respuestas de estallido a varios tipos de eventos sensoriales que no están directamente asociados con experiencias gratificantes o aversivas. Estas respuestas se han teorizado para depender de una serie de factores neuronales y psicológicos, entre los que se incluyen la información sensorial directa, la sorpresa, la novedad, la excitación, la atención, la prominencia, la generalización y el seudo condicionamiento (Schultz, 1998; Redgrave et al., 1999; Horvitz, 2000; Lisman y Grace, 2005; Redgrave y Gurney, 2006; Joshua et al., 2009a; Schultz, 2010).

Aquí intentaremos sintetizar estas ideas y explicar estas respuestas de DA en términos de una única señal subyacente, una señal de alerta (Figura 5 y XNUMX). El término 'alerta' fue utilizado por Schultz (Schultz, 1998) como término general para eventos que llaman la atención. Aquí lo usaremos en un sentido más específico. Por evento de alerta, nos referimos a una señal sensorial inesperada que capta la atención basada en una evaluación rápida de su importancia potencial, utilizando características simples como su ubicación, tamaño y modalidad sensorial. Tales eventos de alerta a menudo provocan reacciones de comportamiento inmediatas para investigarlos y determinar su significado preciso. Por lo tanto, las señales de alerta de DA normalmente ocurren en latencias cortas, se basan en las características aproximadas de un estímulo y se correlacionan mejor con reacciones inmediatas como las reacciones de orientación (Schultz y Romo, 1990; Joshua et al., 2009a; Schultz, 2010). Esto contrasta con otras señales de motivación en las neuronas DA que suelen ocurrir en latencias más largas, tienen en cuenta la identidad precisa del estímulo y se correlacionan mejor con acciones de comportamiento consideradas, como las decisiones de acercarse o evitar (Schultz y Romo, 1990; Joshua et al., 2009a; Schultz, 2010).

Las respuestas de alerta de DA pueden ser activadas por eventos sensoriales sorprendentes, tales como destellos de luz inesperados y clics auditivos, que evocan excitaciones de ráfagas prominentes en 60 – 90% de neuronas DA en todo el SNc y VTA (Strecker y Jacobs, 1985; Horvitz et al., 1997; Horvitz, 2000) (Figura 6A). Estas respuestas de alerta parecen reflejar el grado en que el estímulo es sorprendente y capta la atención; se reducen si se produce un estímulo en momentos predecibles, si se presta atención en otro lugar o durante el sueño (Schultz, 1998; Takikawa y otros, 2004; Strecker y Jacobs, 1985; Steinfels et al., 1983). Por ejemplo, un chasquido inesperado evoca un estallido de DA prominente cuando un gato está en un estado pasivo de vigilia tranquila, pero no tiene ningún efecto cuando el gato se dedica a actividades que requieren atención, como cazar una rata, alimentar, acicalar, acariciarse. por el experimentador, y así sucesivamente (Strecker y Jacobs, 1985) (Figura 6A). De manera similar, las respuestas de la ráfaga de DA son provocadas por eventos sensoriales que son físicamente débiles pero que son alertas debido a su novedad (Ljungberg et al., 1992; Schultz, 1998). Estas respuestas se habitúan a medida que el nuevo estímulo se vuelve familiar, en paralelo con la costumbre de las reacciones orientadoras (Figura 6B). De acuerdo con estos hallazgos, los eventos sorprendentes y novedosos evocan la liberación de DA en estructuras posteriores (Lisman y Grace, 2005) y activa los circuitos cerebrales relacionados con DA de una manera que moldea el procesamiento de recompensa (Zink et al., 2003; Davidson et al., 2004; Duzel et al., 2010).

 

Figura 6 y XNUMX

Las neuronas de la dopamina responden a eventos de alerta.

Las respuestas de alerta de DA también son activadas por señales sensoriales inesperadas que tienen el potencial de proporcionar nueva información sobre eventos sobresalientes motivacionales. Como se esperaba para una señal de alerta de latencia corta, estas respuestas son más bien no selectivas: son provocadas por cualquier estímulo que simplemente se asemeja una señal de motivación sobresaliente, incluso si la semejanza es muy leve (un fenómeno llamado generalización) (Schultz, 1998). Como resultado, las neuronas DA a menudo responden a un estímulo con una mezcla de dos señales: una señal de alerta rápida que codifica el hecho de que el estímulo es la posibilidad importante, y una segunda señal que codifica su real significado gratificante o aversivo (Schultz y Romo, 1990; Waelti et al., 2001; Tobler et al., 2003; Day et al., 2007; Kobayashi y Schultz, 2008; Fiorillo et al., 2008; Nomoto et al., 2010) (ver (Kakade y Dayan, 2002; Joshua et al., 2009a; Schultz, 2010) para la revisión). Se puede ver un ejemplo en un conjunto de sobresaliente motivacional que codifica las neuronas DA que se muestra en Figura 6C (Bromberg-Martin y otros, 2010a). Estas neuronas estaban excitadas por la recompensa y las señales aversivas, pero también estaban excitadas por una señal neutral. La señal neutral nunca había sido emparejada con resultados motivacionales, pero tenía un parecido físico (muy leve) con la recompensa y señales aversivas.

Estas respuestas de alerta parecen estar estrechamente ligadas a la capacidad de una señal sensorial para desencadenar reacciones de orientación para examinarlo más a fondo y descubrir su significado. Esto se puede ver en tres propiedades notables. Primero, las respuestas de alerta solo se producen para las señales sensoriales que tienen que ser examinadas para determinar su significado, no para eventos intrínsecamente gratificantes o aversivos, como la entrega de jugo o bombas de aire (Schultz, 2010). En segundo lugar, las respuestas de alerta solo se producen cuando una señal es potencialmente importante y tiene la capacidad de desencadenar reacciones de orientación, no cuando la señal es irrelevante para la tarea en cuestión y no puede desencadenar reacciones de orientación (Schultz y Romo, 1990). En tercer lugar, las respuestas de alerta se mejoran en situaciones en las que las señales desencadenan un cambio brusco de atención, cuando aparecen en un momento inesperado o lejos del centro de la mirada (Bromberg-Martin y otros, 2010a). Así, cuando las señales motivacionales se presentan con un tiempo impredecible, desencadenan reacciones de orientación inmediata y una respuesta de alerta DA generalizada: la excitación de todas las señales, incluidas las señales neutrales (Figura 6C, negro). Pero si su tiempo es predecible, por ejemplo, avisando a los sujetos con una "señal de inicio de prueba" presentada un segundo antes de que aparezcan las señales, las señales ya no evocan una respuesta de alerta (Figura 6D, gris). En cambio, la respuesta de alerta se desplaza a la clave de inicio de la prueba: el primer evento de la prueba que tiene un tiempo impredecible y evoca reacciones de orientación (Figura 6D, negro).

¿Cuál es el mecanismo subyacente que genera señales de alerta de neuronas DA? Una hipótesis es que las respuestas de alerta son simplemente señales de error de predicción de recompensa convencionales que se producen en latencias cortas, que codifican el valor de recompensa esperado de un estímulo antes de que se haya discriminado completamente (Kakade y Dayan, 2002). Sin embargo, pruebas más recientes sugieren que las señales de alerta pueden generarse mediante un mecanismo distinto de las señales de recompensa de DA convencionales (Satoh et al., 2003; Bayer y Glimcher, 2005; Bromberg-Martin y otros, 2010a; Bromberg-Martin y otros, 2010c; Nomoto et al., 2010). Lo más sorprendente es que la respuesta de alerta a la señal de inicio de prueba no se limita a tareas gratificantes; puede tener la misma fuerza durante una tarea aversiva en la que no se entregan recompensas (Figura 6C, D, abajo, "tarea aversiva"). Esto ocurre a pesar de que las señales de recompensa de DA convencionales en las mismas neuronas indican correctamente que la tarea de recompensa tiene un valor esperado mucho más alto que la tarea aversiva (Bromberg-Martin y otros, 2010a). Estas señales de alerta no son puramente una forma de codificación de valor o puramente una forma de codificación de saliencia, porque se producen en la mayoría de las neuronas DA tanto de valor motivacional como de saliencia (Bromberg-Martin y otros, 2010a). Una segunda disociación puede verse en la forma en que las neuronas DA predicen recompensas futuras basadas en la memoria de resultados de recompensas pasadas (Satoh et al., 2003; Bayer y Glimcher, 2005). Mientras que las señales de recompensa DA convencionales están controladas por una traza de memoria a largo plazo optimizada para una predicción de recompensa precisa, las respuestas de alerta a la señal de inicio de prueba están controladas por una traza de memoria separada que se ve en las reacciones de orientación inmediata (Bromberg-Martin y otros, 2010c). Se puede ver una tercera disociación en la forma en que estas señales se distribuyen a través de la población de neuronas DA. Mientras que las señales de recompensa DA convencionales son más fuertes en el SNc ventromedial, las respuestas de alerta a la señal de inicio de prueba (y a otras señales de tiempo inesperado) se transmiten a través de la SNc (Nomoto et al., 2010).

En contraste con estas disociaciones de las señales de recompensa convencionales, las señales de alerta DA se correlacionan con la velocidad de orientación y las respuestas de aproximación al evento de alerta (Satoh et al., 2003; Bromberg-Martin y otros, 2010a; Bromberg-Martin y otros, 2010c). Esto sugiere que las señales de alerta son generadas por un proceso neuronal que motiva reacciones rápidas para investigar eventos potencialmente importantes. En la actualidad, desafortunadamente, se sabe relativamente poco acerca de los eventos que este proceso considera "importantes". Por ejemplo, ¿son las respuestas de alerta igual de sensibles a los eventos gratificantes y aversivos? Se sabe que las respuestas de alerta se producen para estímulos que se asemejan a señales de recompensa o que se asemejan tanto a señales de recompensa como aversivas (por ejemplo, compartiendo la misma modalidad sensorial). Pero aún no se sabe si se producen respuestas de alerta para estímulos que solo se parecen a señales aversivas.

Papel funcional de las señales de alerta de dopamina.

Como hemos visto, es probable que las señales de alerta se generen mediante un mecanismo distinto del valor de motivación y las señales de prominencia. Sin embargo, las señales de alerta se envían tanto a valores motivacionales como a la prominencia que codifican las neuronas DA y, por lo tanto, es probable que regulen el procesamiento cerebral y el comportamiento de manera similar a las señales de valor y prominencia (Figura 5 y XNUMX).

Las señales de alerta enviadas a la prominencia de la motivación que codifican las neuronas DA apoyarían la orientación de la atención al estímulo de alerta, la participación de los recursos cognitivos para descubrir su significado y decidir sobre un plan de acción, y aumentar los niveles de motivación para implementar este plan de manera eficiente (Figura 5 y XNUMX). Estos efectos podrían ocurrir a través de efectos inmediatos en el procesamiento neural o reforzando acciones que condujeron a la detección del evento de alerta. Este rol funcional encaja bien con la correlación entre las respuestas de alerta de DA y las reacciones de comportamiento rápidas al estímulo de alerta, y con las teorías de que las respuestas de las neuronas de DA de corta latencia participan en la orientación de la atención, la excitación, el mejoramiento del procesamiento cognitivo y las reacciones de comportamiento inmediatas (Redgrave et al., 1999; Horvitz, 2000; Joseph et al., 2003; Lisman y Grace, 2005; Redgrave y Gurney, 2006; Joshua et al., 2009a).

La presencia de señales de alerta en el valor motivacional que codifica las neuronas DA es más difícil de explicar. Estas neuronas transmiten señales de valor motivacional que son ideales para buscar, evaluar resultados y valorar el aprendizaje; sin embargo, también pueden entusiasmarse al alertar eventos tales como sonidos de chasquidos inesperados y el inicio de pruebas aversivas. Según nuestra vía hipotética (Figura 5 y XNUMX), esto causaría que los eventos de alerta reciban un valor positivo y sean buscados de una manera similar a las recompensas. Aunque sorprende a primera vista, hay razones para sospechar que los eventos de alerta pueden tratarse como objetivos positivos. Las señales de alerta brindan la primera advertencia de que un evento potencialmente importante está por ocurrir y, por lo tanto, brindan la primera oportunidad de tomar medidas para controlar ese evento. Si hay señales de alerta disponibles, se pueden detectar, predecir y preparar con anticipación eventos sobresalientes motivacionales; Si no hay señales de alerta, los eventos motivadores sobresalientes siempre ocurren como una sorpresa inesperada. De hecho, los seres humanos y los animales a menudo expresan una preferencia por los entornos en los que se pueden observar y predecir con antelación eventos sensoriales gratificantes, aversivos e incluso motivadores neutrales (Badia et al., 1979; Herry et al., 2007; Daly, xnumx; Masticar y Ho, 1994) y muchas neuronas DA señalan la preferencia de comportamiento para ver la información predictiva de recompensa (Bromberg-Martin y Hikosaka, 2009). Las señales de alerta DA pueden respaldar estas preferencias asignando un valor positivo a los entornos donde se pueden anticipar de antemano señales sensoriales potencialmente importantes.

Ubicaciones anatómicas de valor y prominencia de las neuronas codificantes.

Un estudio reciente trazó un mapa de las ubicaciones de las señales de recompensa y aversión de DA en el cerebro medio lateral, incluida la SNc y la parte más lateral del VTA (Matsumoto y Hikosaka, 2009b). El valor motivacional y las señales de prominencia de la motivación se distribuyeron en esta región en un gradiente anatómico. Las señales de valor motivacional se encontraron más comúnmente en las neuronas en el SNc ventromedial y la VTA lateral, mientras que las señales de prominencia motivacional se encontraron más comúnmente en las neuronas en el SNc dorsolateral (Figura 7B). Esto es consistente con los informes de que la codificación del valor de recompensa de DA es más fuerte en el SNc ventromedial (Nomoto et al., 2010) mientras que las excitaciones aversivas tienden a ser más fuertes lateralmente (Mirenowicz y Schultz, 1996). Otros estudios han explorado el mesencéfalo más medial. Estos estudios encontraron una mezcla de respuestas aversivas excitatorias e inhibitorias sin diferencias significativas en sus ubicaciones, aunque con una tendencia a que las excitaciones aversivas se ubicaran de manera más ventral (Guarraci y Kapp, 1999; Brischoux et al., 2009) (Figura 7C).

Destinos de señales de valor motivacional.

De acuerdo con nuestra hipótesis, el valor motivacional que codifica las neuronas DA debe proyectarse a regiones cerebrales involucradas en acciones de aproximación y evitación, evaluación de resultados y aprendizaje valioso (Figura 5 y XNUMX). De hecho, el SNc y VTA ventromedial se proyectan a la corteza prefrontal ventromedial (Williams y Goldman-Rakic, 1998) incluyendo la corteza orbitofrontal (OFC) (Porrino y Goldman-Rakic, 1982) (Figura 7A). La OFC se ha implicado sistemáticamente en la codificación de valores en estudios de imágenes funcionales (Anderson et al., 2003; Small et al., 2003; Jensen et al., 2007; Litt et al., 2010) y grabaciones de una sola neurona (Morrison y Salzman, 2009; Roesch y Olson, 2004). Se piensa que la OFC evalúa las opciones de elección (Padoa-Schioppa, 2007; Kable y Glimcher, 2009), codificar las expectativas de resultados (Schoenbaum et al., 2009), y actualizar estas expectativas durante el aprendizaje (Walton y otros, 2010). Además, la OFC participa en el aprendizaje de errores de predicción de recompensa negativa (Takahashi et al., 2009) que son más fuertes en neuronas DA de codificación de valor (Figura 4 y XNUMX).

Además, las porciones mediales del cerebro medio dopaminérgico se proyectan al estriado ventral, incluida la cáscara del núcleo accumbens (cáscara NAc) (Haber et al., 2000) (Figura 7A). Un estudio reciente demostró que el shell NAc recibe señales DA fásicas que codifican el valor motivacional de los resultados del gusto (Roitman et al., 2008). Es probable que estas señales causen un aprendizaje valioso porque la infusión directa de medicamentos DA en la cubierta de NAc está reforzando fuertemente (Ikemoto, 2010) mientras que los tratamientos que reducen la entrada de DA al shell pueden inducir aversiones (Liu et al., 2008). Una advertencia es que los estudios de la liberación de DAc shell en NAc en escalas de tiempo largas (minutos) han producido resultados mixtos, algunos consistentes con la codificación de valores y otros con la codificación de saliencia (por ejemplo,Bassareo et al., 2002; Ventura et al., 2007)). Esto sugiere que las señales de valor pueden estar restringidas a ubicaciones específicas dentro del shell NAc. En particular, las diferentes regiones de la concha NAc están especializadas para controlar el comportamiento apetitivo y aversivo (Reynolds y Berridge, 2002), que ambos requieren la entrada de las neuronas DA (Faure et al., 2008).

Finalmente, las neuronas DA en toda la extensión de la SNc envían grandes proyecciones al estriado dorsal (Haber et al., 2000), sugiriendo que el cuerpo estriado dorsal puede recibir tanto valor motivacional como señales de DA de codificación de prominencia (Figura 7A). La codificación de valores motivacionales de las neuronas DA proporcionaría una señal instructiva ideal para los circuitos estriatales involucrados en el aprendizaje de valores, como el aprendizaje de hábitos de estímulo-respuesta (Faure et al., 2005; Yin y Knowlton, 2006; Balleine y O'Doherty, 2010). Cuando estas neuronas DA explotan, se involucran en el camino directo para aprender a obtener resultados de recompensa; cuando se detienen, se involucran en el camino indirecto para aprender a evitar resultados aversivos (Figura 2 y XNUMX). De hecho, hay evidencia reciente de que las vías del estriado siguen exactamente esta división del trabajo para recompensa y procesamiento aversivo (Hikida et al., 2010). Todavía se desconoce, sin embargo, cómo las neuronas en estas vías responden a eventos gratificantes y aversivos durante el comportamiento. Al menos en el cuerpo estriado dorsal en su conjunto, un subconjunto de neuronas responde a ciertos eventos gratificantes y aversivos de maneras distintas (Ravel et al., 2003; Yamada et al., 2004, 2007; Joshua et al., 2008).

Destinos de señales de atención motivacional.

De acuerdo con nuestra hipótesis, la prominencia motivacional que codifica las neuronas DA debería proyectar a las regiones del cerebro involucradas en la orientación, el procesamiento cognitivo y la motivación general (Figura 5 y XNUMX). De hecho, las neuronas DA en el cerebro medio dorsolateral envían proyecciones a la corteza frontal dorsal y lateral (Williams y Goldman-Rakic, 1998) (Figura 7A), una región que ha sido implicada en funciones cognitivas tales como búsqueda atencional, memoria de trabajo, control cognitivo y toma de decisiones entre resultados motivacionales (Williams y Castner, 2006; Lee y Seo, 2007; Sabio, 2008; Kable y Glimcher, 2009; Wallis y Kennerley, 2010). Las funciones cognitivas prefrontales dorsolaterales están estrechamente reguladas por los niveles de DA (Robbins y Arnsten, 2009) y están teorizados para depender de la activación de la neurona DA fásica (Cohen et al., 2002; Lapish et al., 2007). En particular, un subconjunto de neuronas prefrontales laterales responde tanto a señales visuales gratificantes como aversivas, y la gran mayoría responde en la misma dirección que se asemeja a la codificación de la atención motivacional (Kobayashi et al., 2006). Además, la actividad de estas neuronas se correlaciona con el éxito del comportamiento en la realización de tareas de memoria de trabajo (Kobayashi et al., 2006). Aunque esta vía dorsolateral DA → dorsolateral de la corteza frontal parece ser específica para los primates (Williams y Goldman-Rakic, 1998), puede existir una vía funcionalmente similar en otras especies. En particular, muchas de las funciones cognitivas de la corteza prefrontal dorsolateral del primate son realizadas por la corteza prefrontal medial de roedor (Uylings et al., 2003), y hay evidencia de que esta región recibe señales de saliencia motivacional de la DA y controla el comportamiento relacionado con la saliencia (Mantz et al., 1989; Di Chiara, 2002; Joseph et al., 2003; Ventura et al., 2007; Ventura et al., 2008).

Dada la evidencia de que el VTA contiene neuronas de valorización y codificación de valor y que las señales de codificación de valor se envían al shell NAc, las señales de prominencia pueden enviarse al núcleo NAc (Figura 7A). De hecho, el núcleo de NAc (pero no el shell) es crucial para permitir la motivación para superar los costos de respuesta, como el esfuerzo físico; para la realización de tareas de cambio de conjunto que requieren flexibilidad cognitiva; y para habilitar señales de recompensa para causar una mejora de la motivación general (Ghods-Sharifi y Floresco, 2010; Floresco et al., 2006; Hall et al., 2001; Cardenal, xnumx). Consistente con la codificación de la importancia motivacional, el núcleo de NAc recibe ráfagas fásicas de DA durante las dos experiencias gratificantes (Day et al., 2007) y experiencias aversivas (Anstrom et al., 2009).

Finalmente, como se discutió anteriormente, algunas neuronas DA de codificación de saliencia pueden proyectarse al estriado dorsal (Figura 7A). Mientras que algunas regiones del cuerpo estriado dorsal están involucradas en funciones relacionadas con el aprendizaje de valores de acción, el cuerpo estriado dorsal también está involucrado en funciones que deberían comprometerse para todos los eventos destacados, como la orientación, la atención, la memoria de trabajo y la motivación general (Hikosaka y otros, 2000; Klingberg, 2010; Palmiter, 2008). De hecho, un subconjunto de neuronas del estriado dorsal responde más fuertemente a los eventos gratificantes y aversivos que a los eventos neutrales (Ravel et al., 1999; Blazquez et al., 2002; Yamada et al., 2004, 2007), aunque su papel causal en el comportamiento motivado aún no se conoce.

Fuentes de señales de valor motivacional.

Una serie reciente de estudios sugiere que las neuronas DA reciben señales de valor motivacional de un núcleo pequeño en el epitálamo, la habénula lateral (LHb) (Hikosaka, 2010) (Figura 8 y XNUMX). La LHb ejerce un control negativo potente sobre las neuronas DA: la estimulación de LHb inhibe las neuronas DA en latencias cortas (Christoph et al., 1986) y puede regular el aprendizaje de manera opuesta a la estimulación VTA (Shumake et al., 2010). Consistente con una señal de control negativa, muchas neuronas LHb tienen respuestas fásicas invertidas a las neuronas DA: las neuronas LHb son inhibido por errores de predicción de recompensa positiva y excitado por errores de predicción de recompensa negativa (Matsumoto y Hikosaka, 2007, 2009a; Bromberg-Martin y otros, 2010a; Bromberg-Martin y otros, 2010c). En varios casos, estas señales se producen en latencias más cortas en la LHb, en consonancia con la transmisión LHb → DA (Matsumoto y Hikosaka, 2007; Bromberg-Martin y otros, 2010a).

 

Figura 8 y XNUMX

Fuentes hipotéticas de valor motivacional, prominencia y señales de alerta.

La LHb es capaz de controlar las neuronas DA en todo el cerebro medio, pero varias líneas de evidencia sugieren que ejerce un control preferencial sobre el valor motivacional que codifica las neuronas DA. En primer lugar, las neuronas LHb codifican el valor motivacional de una manera que refleja estrechamente las neuronas DA de codificación de valores: codifican los errores de predicción de recompensa positiva y negativa y responden en direcciones opuestas a los eventos de recompensa y aversión (Matsumoto y Hikosaka, 2009a; Bromberg-Martin y otros, 2010a). En segundo lugar, la estimulación de LHb tiene sus efectos más potentes en las neuronas DA cuyas propiedades son consistentes con la codificación de valores, incluida la inhibición por señales sin recompensa y la ubicación anatómica en la SNc ventromedial (Matsumoto y Hikosaka, 2007, 2009b). En tercer lugar, las lesiones en la LHb alteran las respuestas inhibitorias de las neuronas DA a los eventos aversivos, lo que sugiere un papel causal para la LHb en la generación de señales de valor de DA (Gao et al., 1990).

La LHb es parte de una vía neural más extensa por la cual las neuronas DA pueden ser controladas por los ganglios basales (Figura 8 y XNUMX). La LHb recibe señales que se asemejan a los errores de predicción de recompensa a través de una proyección de una población de neuronas ubicadas alrededor del borde del globo pálido (GPb) (Hong y Hikosaka, 2008). Una vez que estas señales alcancen la LHb, es probable que se envíen a las neuronas DA a través de una ruta disináptica en la que la LHb estimula a las neuronas GABA del cerebro medio que a su vez inhiben las neuronas DA (Ji y Shepard, 2007; Omelchenko y otros, 2009; Brinschwitz et al., 2010). Esto podría ocurrir a través de proyecciones de LHb a interneuronas en el VTA y a un núcleo GABA-ergic adyacente llamado el núcleo tegmental rostromedial (RMTg) (Jhou et al., 2009b) (también llamada la 'cola caudal de VTA' (Kaufling y otros, 2009)). En particular, las neuronas RMTg tienen propiedades de respuesta similares a las de las neuronas LHb, codifican el valor motivacional y tienen una fuerte proyección inhibitoria en el cerebro medio dopaminérgico (Jhou et al., 2009a). Por lo tanto, la vía completa de los ganglios basales para enviar señales de valores motivacionales a las neuronas DA puede ser GPb → LHb → RMTg → DA (Hikosaka, 2010).

Una pregunta importante para futuras investigaciones es si las señales de valor motivacional se canalizan únicamente a través de la LHb o si son transportadas por múltiples vías de entrada. En particular, las inhibiciones de la DA por choques de aversión son controlados por la actividad en el núcleo parabrachal mesopontino (PBN) (Coizet et al., 2010) (Figura 8 y XNUMX). Este núcleo contiene neuronas que reciben información directa de la médula espinal que codifica sensaciones nocivas y podrían inhibir las neuronas DA a través de proyecciones excitatorias a la RMTg (Coizet et al., 2010; Gauriau y Bernard, 2002). Esto sugiere que la LHb envía señales de valor motivacional de las neuronas DA tanto para señales de recompensa como aversivas y resultados, mientras que la PBN proporciona un componente de la señal de valor específicamente relacionada con los resultados aversivos.

Fuentes de señales de atención motivacional.

Se sabe menos sobre la fuente de las señales de atención motivacional en las neuronas DA. Un candidato intrigante es el núcleo central de la amígdala (CeA), que se ha implicado sistemáticamente en la orientación, la atención y las respuestas motivacionales generales tanto durante los eventos gratificantes como aversivos (Holanda y Gallagher, 1999; Baxter y Murray, 2002; Merali et al., 2003; Balleine y Killcross, 2006) (Figura 8 y XNUMX). El CeA y otros núcleos de la amígdala contienen muchas neuronas cuyas señales son consistentes con la prominencia motivacional: señalan eventos gratificantes y aversivos en la misma dirección, se potencian cuando ocurren eventos inesperadamente y se correlacionan con medidas conductuales de excitación (Nishijo et al., 1988; Belova et al., 2007; Shabel y Janak, 2009). Estas señales pueden enviarse a las neuronas DA porque el CeA tiene proyecciones descendentes al tronco cerebral que llevan información gratificante y aversiva (Lee et al., 2005; Pascoe y Kapp, 1985) y el CeA es necesario para el lanzamiento de DA durante eventos relacionados con la recompensa (Phillips et al., 2003a). Además, el CeA participa con las neuronas DA en vías coherentes con nuestras redes anatómicas y funcionales propuestas para la atención motivacional. Es necesario un camino que incluya el ceA, la SNc y el estriado dorsal para la orientación aprendida de las señales de los alimentos (Han et al., 1997; Lee et al., 2005; El-Amamy y Holanda, 2007). Consistente con nuestra división de saliencia frente a las señales de valor, esta vía es necesaria para aprender a orientarse a las señales de los alimentos pero no para aprender a enfocar los resultados de los alimentos (Han et al., 1997). Un segundo camino, incluido el núcleo CeA, SNc, VTA y NAc, es necesario para que las señales de recompensa provoquen un aumento en la motivación general para realizar acciones de búsqueda de recompensa (Hall et al., 2001; Corbit y Balleine, 2005; El-Amamy y Holanda, 2007).

Además del CeA, las neuronas DA podrían recibir señales de prominencia de motivación de otras fuentes, como las neuronas que codifican la saliencia en el cerebro anterior (Lin y Nicolelis, 2008; Richardson y DeLong, 1991) y las neuronas en la PBN (Coizet et al., 2010), aunque estas vías quedan por investigar.

Fuentes de señales de alerta.

Hay varios buenos candidatos para proporcionar neuronas DA con señales de alerta. Quizás el candidato más atractivo es el colículo superior (SC), un núcleo del cerebro medio que recibe información sensorial de latencia corta de múltiples modalidades sensoriales y controles que orientan las reacciones y la atención (Redgrave y Gurney, 2006) (Figura 8 y XNUMX). El SC tiene una proyección directa al SNc y VTA (May et al., 2009; Comoli et al., 2003). En animales anestesiados, el SC es un conducto vital para que las señales visuales de latencia corta alcancen las neuronas DA y desencadenen la liberación de DA en estructuras posteriores (Comoli et al., 2003; Dommett et al., 2005). La ruta SC-DA es más adecuada para transmitir señales de alerta en lugar de señales de recompensa y aversión, ya que las neuronas SC tienen poca respuesta para recompensar la entrega y tienen solo una leve influencia sobre las respuestas aversivas de DA (Coizet et al., 2006). Esto sugiere una secuencia de eventos en los que las neuronas SC (1) detectan un estímulo, (2) lo seleccionan como potencialmente importante, (3) desencadenan una reacción de orientación para examinar el estímulo y (4) activan simultáneamente una respuesta de alerta DA que causa una explosión de DA en estructuras aguas abajo (Redgrave y Gurney, 2006).

Un segundo candidato para enviar señales de alerta a las neuronas DA es el LHb (Figura 8 y XNUMX). En particular, el inicio inesperado de una clave de inicio de prueba inhibe a muchas neuronas LHb de manera inversa a la señal de alerta de la neurona DA, y esta respuesta se produce a una latencia más corta en la LHb consistente con una dirección de transmisión LHb → DA (Bromberg-Martin y otros, 2010a; Bromberg-Martin y otros, 2010c). También hemos observado de forma anecdótica que las neuronas LHb son comúnmente inhibidas por imágenes visuales y sonidos inesperados de manera inversa a las excitaciones de DA (MM, ESB-M, y OH, observaciones no publicadas), aunque esto espera una investigación más sistemática.

Finalmente, un tercer candidato para enviar señales de alerta a las neuronas DA es el núcleo tegmental pedunculopontino (PPTg), que se proyecta tanto en el SNc como en el VTA y está involucrado en el procesamiento motivacional (Winn, 2006) (Figura 8 y XNUMX). El PPTg es importante para habilitar los estallidos de neuronas VTA DA (Grace et al., 2007) incluidas las respuestas de ráfaga para recompensar las señales (Pan y Hyland, 2005). Consistentes con una señal de alerta, las neuronas PPTg tienen respuestas de latencia corta a múltiples modalidades sensoriales y están activas durante las reacciones de orientación (Winn, 2006). Hay evidencia de que las respuestas sensoriales de PPTg están influenciadas por el valor de recompensa y por los requisitos para la acción inmediata (Dormont et al., 1998; Okada et al., 2009) (pero mira (Pan y Hyland, 2005)). Algunas neuronas PPTg también responden a resultados gratificantes o aversivos (Dormont et al., 1998; Kobayashi et al., 2002; Ivlieva y Timofeeva, 2003b, a). Será importante probar si las señales que el PPTg envía a las neuronas DA están relacionadas específicamente con la alerta o si contienen otras señales motivacionales, como el valor y la prominencia.

Este trabajo fue apoyado por el programa de investigación intramural en el Instituto Nacional del Ojo. También agradecemos a Amy Arnsten por las valiosas discusiones.

Descargo de responsabilidad del editor: Este es un archivo PDF de un manuscrito sin editar que ha sido aceptado para publicación. Como servicio a nuestros clientes, proporcionamos esta primera versión del manuscrito. El manuscrito se someterá a revisión, composición y revisión de la prueba resultante antes de que se publique en su forma final. Tenga en cuenta que durante el proceso de producción se pueden descubrir errores que podrían afectar el contenido, y todas las exenciones de responsabilidad legales que se aplican a la revista pertenecen.

^FOOTNOTE1By saliencia motivacional nos referimos a una cantidad alta tanto para eventos gratificantes como aversivos y baja para eventos motivacionales neutrales (no gratificantes y no aversivos). Esto es similar a la definición dada por (Berridge y Robinson, 1998). Tenga en cuenta que la prominencia de la motivación es distinta de otras nociones de prominencia utilizadas en la neurociencia, como la prominencia de incentivo (que se aplica solo a los eventos deseables;Berridge y Robinson, 1998)) y la atención perceptiva (que se aplica a eventos motivacionales neutrales, como objetos en movimiento y luces de colores;Bisley y Goldberg, 2010)).]

^FOOTNOTE2Tenga en cuenta que la prominencia motivacional que codifica las señales de las neuronas DA son distintas de las nociones clásicas de "asociabilidad" y "cambio en asociatividad" que se han propuesto para regular la tasa de aprendizaje de refuerzo (por ejemplo,Pearce y Hall, 1980)). Tales teorías establecen que los animales aprenden (y ajustan las tasas de aprendizaje) de los errores de predicción positivos y negativos. Aunque estas neuronas DA pueden contribuir al aprendizaje de los errores de predicción positivos, durante los cuales pueden tener una respuesta fuerte (por ejemplo, a la entrega de recompensa inesperada), pueden no contribuir al aprendizaje de los errores de predicción negativos, durante los cuales pueden tener poca o ninguna respuesta ( por ejemplo, a la omisión inesperada de recompensa) (Fig. 4B).

1. Ahlbrecht M, Weber M. La resolución de la incertidumbre: un estudio experimental. Revista de economía institucional y teórica. 1996; 152: 593 – 607.
2. Albin RL, joven AB, Penney JB. La anatomía funcional de los trastornos de los ganglios basales. Tendencias en las neurociencias. 1989; 12: 366 – 375. ElPubMed]
3. Anderson AK, Christoff K, Stappen I, Panitz D, Ghahremani DG, Glover G, Gabrieli JD, Sobel N. Representaciones neurales disociadas de intensidad y valencia en el olfato humano. Nat Neurosci. 2003; 6: 196 – 202. ElPubMed]
4. Anstrom KK, Miczek KA, Budygin EA. Aumento de la señalización de la dopamina fásica en la vía mesolímbica durante la derrota social en ratas. Neurociencia 2009; 161: 3 – 12. ElPubMed]
5. Aragona BJ, Día JJ, Roitman MF, Cleaveland NA, Wightman RM, Carelli RM. Especificidad regional en el desarrollo en tiempo real de los patrones de transmisión fásica de dopamina durante la adquisición de una asociación de cue-cocaína en ratas. La revista europea de neurociencia. 2009; 30: 1889 – 1899. ElArtículo gratuito de PMC] [PubMed]
6. Austin AJ, Duka T. Mecanismos de atención para resultados apetitosos y aversivos en el condicionamiento pavloviano. Investigación del comportamiento del cerebro. 2010; 213: 19 – 26. ElPubMed]
7. Badia P, Harsh J, Abbott B. Elección entre condiciones de choque predecibles e imprevisibles: datos y teoría. Boletín psicológico. 1979; 86: 1107 – 1131.
8. Balleine BW, Killcross S. Procesamiento paralelo de incentivos: una vista integrada de la función de la amígdala. Tendencias en las neurociencias. 2006; 29: 272 – 279. ElPubMed]
9. Balleine BW, O'Doherty JP. Homologías humanas y roedores en el control de la acción: determinantes corticoestriatales de la acción habitual y dirigida a objetivos. Neuropsicofarmacología. 2010; 35: 48–69. [Artículo gratuito de PMC] [PubMed]
10. Barr GA, Moriceau S, Shionoya K, Muzny K, Gao P, Wang S, Sullivan RM. Las transiciones en el aprendizaje infantil están moduladas por la dopamina en la amígdala. Nat Neurosci. 2009; 12: 1364 – 1366. ElArtículo gratuito de PMC] [PubMed]
11. Bassareo V, De Luca MA, Di Chiara G. Expresión diferencial de las propiedades del estímulo motivacional por la dopamina en la capa de Nucleus Accumbens versus Core y la corteza prefrontal. J Neurosci. 2002; 22: 4709 – 4719. ElPubMed]
12. Bassareo V, Di Chiara G. Capacidad de respuesta diferencial de la transmisión de dopamina a los estímulos alimentarios en los compartimientos de la concha / núcleo del núcleo accumbens. Neurociencia 1999; 89: 637 – 641. ElPubMed]
13. Baxter MG, Murray EA. La amígdala y la recompensa. Nat Rev Neurosci. 2002; 3: 563 – 573. ElPubMed]
14. Bayer HM, Glimcher PW. Las neuronas de dopamina del cerebro medio codifican una señal de error de predicción de recompensa cuantitativa. Neurona. 2005; 47: 129 – 141. ElArtículo gratuito de PMC] [PubMed]
15. Belova MA, Paton JJ, Morrison SE, Salzman CD. La expectativa modula las respuestas neuronales a estímulos agradables y aversivos en la amígdala de primates. Neurona. 2007; 55: 970 – 984. ElArtículo gratuito de PMC] [PubMed]
16. Bentivoglio M, Morelli M. La organización y los circuitos de las neuronas dopaminérgicas mesencefálicas y la distribución de los receptores de dopamina en el cerebro. Manual de Neuroanatomía Química. 2005: 1 – 107.
17. Berridge KC, Robinson TE. ¿Cuál es el papel de la dopamina en la recompensa: impacto hedónico, aprendizaje de recompensa o prominencia de incentivo? Investigación del cerebro. 1998; 28: 309 – 369. ElPubMed]
18. Besson C, Louilot A. Afectación asimétrica de las neuronas dopaminérgicas mesolímbicas en la percepción afectiva. Neurociencia 1995; 68: 963 – 968. ElPubMed]
19. Birgner C, Nordenankar K, Lundblad M, Mendez JA, Smith C, le Greves M, Galter D, Olson L, Fredriksson A, Trudeau LE, et al. Se requiere VGLUT2 en las neuronas de dopamina para la activación conductual inducida por psicoestimulantes. Actas de la Academia Nacional de Ciencias de los Estados Unidos de América. 2010; 107: 389 – 394. ElArtículo gratuito de PMC] [PubMed]
20. Bisley JW, Goldberg ME. Atención, intención y prioridad en el lóbulo parietal. Revisión anual de la neurociencia. 2010; 33: 1 – 21. ElArtículo gratuito de PMC] [PubMed]
21. Bjorklund A, Dunnett SB. Sistemas de neuronas dopaminérgicas en el cerebro: una actualización. Tendencias en las neurociencias. 2007; 30: 194 – 202. ElPubMed]
22. Blazquez PM, Fujii N, Kojima J, Graybiel AM. Una representación en red de probabilidad de respuesta en el cuerpo estriado. Neurona. 2002; 33: 973 – 982. ElPubMed]
23. Botvinick MM, Braver TS, Barch DM, Carter CS, Cohen JD. Vigilancia de conflictos y control cognitivo. Psychol Rev. 2001; 108: 624 – 652. ElPubMed]
24. Bradley MM, Greenwald MK, Petry MC, Lang PJ. Recordando imágenes: placer y excitación en la memoria. J Exp Psychol Aprender Mem Cogn. 1992; 18: 379 – 390. ElPubMed]
25. Braun DA, Mehring C, Wolpert DM. Estructura del aprendizaje en acción. Investigación del comportamiento del cerebro. 2010; 206: 157 – 165. ElArtículo gratuito de PMC] [PubMed]
26. Brinschwitz K, Dittgen A, Madai VI, Lommel R, Geisler S, Veh RW. Los axones glutamatérgicos de la habénula lateral terminan principalmente en las neuronas GABAérgicas del mesencéfalo ventral. Neurociencia 2010; 168: 463 – 476. ElPubMed]
27. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Excitación fásica de neuronas de dopamina en VTA ventral por estímulos nocivos. Actas de la Academia Nacional de Ciencias de los Estados Unidos de América. 2009; 106: 4894 – 4899. ElArtículo gratuito de PMC] [PubMed]
28. Bromberg-Martin ES, Hikosaka O. Las neuronas de dopamina del cerebro medio indican una preferencia por información anticipada sobre las próximas recompensas. Neurona. 2009; 63: 119 – 126. ElArtículo gratuito de PMC] [PubMed]
29. Bromberg-Martin ES, Matsumoto M, Hikosaka O. Actividad tónica y fásica anticipatoria distintiva en las neuronas laterales de la habénula y la dopamina. Neurona. 2010a; 67: 144 – 155. ElArtículo gratuito de PMC] [PubMed]
30. Bromberg-Martin ES, Matsumoto M, Hong S, Hikosaka O. Una vía pallidus-habenula-dopamina señala valores de estímulo inferidos. J. Neurofisiol. 2010b; 104: 1068 – 1076. ElArtículo gratuito de PMC] [PubMed]
31. Bromberg-Martin ES, Matsumoto M, Nakahara H, Hikosaka O. Múltiples escalas de tiempo de memoria en las neuronas laterales de la habénula y la dopamina. Neurona. 2010c; 67: 499 – 510. ElArtículo gratuito de PMC] [PubMed]
32. Brown MTC, Henny P, Bolam JP, Magill PJ. Actividad de neuronas dopaminérgicas neuroquímicamente heterogéneas en la sustancia negra durante cambios espontáneos e impulsados ​​en el estado cerebral. J Neurosci. 2009; 29: 2915 – 2925. ElPubMed]
33. Cardenal RN. Sistemas neuronales implicados en el refuerzo tardío y probabilístico. Redes neuronales. 2006; 19: 1277 – 1301. ElPubMed]
34. Alegría JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM. La liberación coordinada de dopamina accumbal y la actividad neuronal impulsan el comportamiento dirigido hacia el objetivo. Neurona. 2007; 54: 237 – 244. ElPubMed]
35. Cheramy A, Kemel ML, Gauchy C, Desce JM, Galli T, Barbeito L, Glowinski J. El papel de los aminoácidos excitadores en la regulación presináptica directa e indirecta de la liberación de dopamina de los terminales nerviosos de las neuronas de dopamina nigrostriatal. Aminoácidos. 1991; 1: 351 – 363. ElPubMed]
36. Masticar SH, Ho JL. Esperanza: un estudio empírico de la actitud hacia el momento de la resolución de la incertidumbre. Diario de Riesgo e Incertidumbre. 1994; 8: 267 – 288.
37. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Los estímulos sensoriales alteran la tasa de descarga de las neuronas de dopamina (DA): evidencia de dos tipos funcionales de células DA en la sustancia negra. Brain Res. 1980; 189: 544 – 549. ElPubMed]
38. Christoph GR, Leonzio RJ, Wilcox KS. La estimulación de la habénula lateral inhibe las neuronas que contienen dopamina en la sustancia negra y en el área tegmental ventral de la rata. J Neurosci. 1986; 6: 613 – 619. ElPubMed]
39. Chuhma N, Choi WY, Mingote S, cotransmisión de glutamato de la neurona dopamina Rayport S.: modulación dependiente de la frecuencia en la proyección mesoventromedial. Neurociencia 2009; 164: 1068 – 1083. ElArtículo gratuito de PMC] [PubMed]
40. Cohen JD, Braver TS, Brown JW. Perspectivas computacionales sobre la función de la dopamina en la corteza prefrontal. Opinión actual en neurobiología. 2002; 12: 223 – 229. ElPubMed]
41. Coizet V, Dommett EJ, Klop EM, Redgrave P, Overton PG. El núcleo parabrachial es un enlace crítico en la transmisión de información nociceptiva de latencia corta a neuronas dopaminérgicas del cerebro medio. Neurociencia 2010; 168: 263 – 272. ElArtículo gratuito de PMC] [PubMed]
42. Coizet V, Dommett EJ, Redgrave P, Overton PG. Las respuestas nociceptivas de las neuronas dopaminérgicas del cerebro medio son moduladas por el colículo superior en la rata. Neurociencia 2006; 139: 1479 – 1493. ElPubMed]
43. Comoli E, Coizet V, Boyes J, Bolam JP, Canteras NS, Quirk RH, Overton PG, Redgrave P. Una proyección directa desde el colículo superior a la sustancia negra para detectar eventos visuales destacados. Nat Neurosci. 2003; 6: 974 – 980. ElPubMed]
44. Corbit LH, Balleine BW. Doble disociación de las lesiones basolaterales y de la amígdala central en las formas generales y específicas de resultado de transferencia pavloviana-instrumental. J Neurosci. 2005; 25: 962 – 970. ElPubMed]
45. Dalley JW, Laane K, Theobald DE, Armstrong HC, Corlett PR, Chudasama Y, Robbins TW. Modulación temporal limitada de la memoria pavloviana apetitiva por los receptores D1 y NMDA en el núcleo accumbens. Actas de la Academia Nacional de Ciencias de los Estados Unidos de América. 2005; 102: 6189 – 6194. ElArtículo gratuito de PMC] [PubMed]
46. Daly HB. La preferencia por la imprevisibilidad se revierte cuando la no recompensa impredecible es aversiva: los procedimientos, los datos y las teorías de la adquisición de la respuesta de observación apetitiva. En: Gormezano I, Wasserman EA, editores. Aprendizaje y memoria: los substratos de comportamiento y biológicos. Asociados LE; 1992. pp. 81 – 104.
47. Davidson MC, Horvitz JC, Tottenham N, Fossella JA, Watts R, Ulug AM, Casey BJ. Caudado diferencial y activación cingulada después de estímulos inesperados no recompensados. Neuroimagen. 2004; 23: 1039 – 1045. ElPubMed]
48. Día JJ, Roitman MF, Wightman RM, Carelli RM. El aprendizaje asociativo media cambios dinámicos en la señalización de dopamina en el núcleo accumbens. Nat Neurosci. 2007; 10: 1020 – 1028. ElPubMed]
49. Dayan P, Niv Y. Aprendizaje de refuerzo: lo bueno, lo malo y lo feo. Opinión actual en neurobiología. 2008; 18: 185 – 196. ElPubMed]
50. Descarries L, Berube-Carriere N, Riad M, Bo GD, Méndez JA, Trudeau LE. Glutamato en las neuronas de dopamina: transmisión sináptica versus difusa. Revisiones de investigación del cerebro. 2008; 58: 290 – 302. ElPubMed]
51. Di Chiara G. Nucleus accumbens cáscara y núcleo dopamina: papel diferencial en el comportamiento y la adicción. Investigación del comportamiento del cerebro. 2002; 137: 75 – 114. ElPubMed]
52. Dommett E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N, Mayhew JE, Overton PG, Redgrave P. ¿Cómo los estímulos visuales activan las neuronas dopaminérgicas en latencia corta. Ciencia. 2005; 307: 1476 – 1479. ElPubMed]
53. Dormont JF, Conde H, Farin D. El papel del núcleo tegmental pedunculopontino en relación con el rendimiento motor condicionado en el gato. I. Actividad de unidad única dependiente del contexto y relacionada con el refuerzo. Investigación experimental del cerebro. Experimentelle Hirnforschung. 1998; 121: 401 – 410. ElPubMed]
54. Duzel E, Bunzeck N, Guitart-Masip M, la motivación de anticipación y exploración relacionada con Duzel S. Novelty por la dopamina (NOMAD): implicaciones para un envejecimiento saludable. Revisiones de neurociencia y bio comportamiento. 2010; 34: 660 – 669. ElPubMed]
55. El-Amamy H, Holland PC. Efectos disociables de la desconexión del núcleo central de la amígdala del área tegmental ventral o la sustancia negra sobre la orientación aprendida y la motivación de incentivo. La revista europea de neurociencia. 2007; 25: 1557 – 1567. ElArtículo gratuito de PMC] [PubMed]
56. Ettenberg A. Propiedades del proceso opuesto de la cocaína autoadministrada. Revisiones de neurociencia y bio comportamiento. 2004; 27: 721 – 728. ElPubMed]
57. Fadok JP, Dickerson TM, Palmiter RD. La dopamina es necesaria para el condicionamiento del miedo dependiente de la señal. J Neurosci. 2009; 29: 11089 – 11097. ElArtículo gratuito de PMC] [PubMed]
58. Fairhall AL, Lewen GD, Bialek W, de Ruyter Van Steveninck RR. Eficiencia y ambigüedad en un código neuronal adaptativo. Naturaleza. 2001; 412: 787 – 792. ElPubMed]
59. Faure A, Haberland U, Conde F, El Massioui N. La lesión al sistema de dopamina nigrostriatal interrumpe la formación de hábitos de estímulo-respuesta. J Neurosci. 2005; 25: 2771 – 2780. ElPubMed]
60. Faure A, Reynolds SM, Richard JM, Berridge KC. La dopamina mesolímbica en el deseo y el miedo: posibilita que la motivación sea generada por interrupciones localizadas del glutamato en el núcleo accumbens. J Neurosci. 2008; 28: 7184 – 7192. ElArtículo gratuito de PMC] [PubMed]
61. Fiorillo CD, Newsome WT, Schultz W. La precisión temporal de la predicción de recompensa en las neuronas de dopamina. Nat Neurosci. 2008; 11: 966 – 973. ElPubMed]
62. Fiorillo CD, Tobler PN, Schultz W. Codificación discreta de la probabilidad de recompensa e incertidumbre por las neuronas de dopamina. Ciencia. 2003; 299: 1898 – 1902. ElPubMed]
63. Floresco SB, Ghods-Sharifi S, Vexelman C, Magyar O. Roles disociables para el núcleo accumbens núcleo y la cáscara en la regulación de cambio de conjunto. J Neurosci. 2006; 26: 2449 – 2457. ElPubMed]
64. Ford CP, Gantz SC, Phillips PE, Williams JT. Control de dopamina extracelular en terminales de dendritas y axones. J Neurosci. 2010; 30: 6975 – 6983. ElArtículo gratuito de PMC] [PubMed]
65. Frank MJ. Modulación dinámica de la dopamina en los ganglios basales: una descripción neurocomputacional de los déficits cognitivos en el parkinsonismo medicado y no medicado. Revista de neurociencia cognitiva. 2005; 17: 51 – 72. ElPubMed]
66. Frank MJ, Fossella JA. Neurogenética y farmacología del aprendizaje, la motivación y la cognición. Neuropsicofarmacología. 2010 [Artículo gratuito de PMC] [PubMed]
67. Frank MJ, Seeberger LC, O'Reilly RC. Por zanahoria o por palo: refuerzo cognitivo que se aprende en el parkinsonismo. Ciencia. 2004; 306: 1940 – 1943. ElPubMed]
68. Gallistel CR, Gibbon J. Tiempo, tasa y condicionamiento. Psychol Rev. 2000; 107: 289 – 344. ElPubMed]
69. Gao DM, Jeaugey L, Pollak P, Benabid AL. Respuestas nociceptivas dependientes de la intensidad de presuntas neuronas dopaminérgicas de la sustancia negra, pars compacta en la rata y su modificación por entradas laterales de habénula. Brain Res. 1990; 529: 315 – 319. ElPubMed]
70. Gauriau C, Bernard JF. Vías del dolor y circuitos parabriales en la rata. Fisiología experimental. 2002; 87: 251 – 258. ElPubMed]
71. Geisler S, Zahm DS. Aferentes del área tegmental ventral en el sustrato anatómico de rata para funciones integradoras. La revista de neurología comparativa. 2005; 490: 270 – 294. ElPubMed]
72. Gerfen CR, Engber TM, Mahan LC, Susel Z, Chase TN, Monsma FJ, Jr., Sibley DR. Expresión génica regulada por el receptor de dopamina D1 y D2 de las neuronas estriatonigral y striatopallidal. Ciencia. 1990; 250: 1429 – 1432. ElPubMed]
73. Ghods-Sharifi S, Floresco SB. Efectos diferenciales en el descuento de esfuerzo inducido por inactivaciones del núcleo o la cubierta del núcleo accumbens. Neurociencia conductual. 2010; 124: 179 – 191. ElPubMed]
74. Gonon FG. Relación no lineal entre el flujo de impulsos y la dopamina liberada por las neuronas dopaminérgicas del cerebro medio de la rata según lo estudiado por electroquímica in vivo Neurociencia 1988; 24: 19 – 28. ElPubMed]
75. Goto Y, Yang CR, Otani S. Plasticidad sináptica funcional y disfuncional en la corteza prefrontal: roles en los trastornos psiquiátricos. Psiquiatría biológica. 2010; 67: 199 – 207. ElPubMed]
76. Gracia AA. La liberación de dopamina fásica versus tónica y la modulación de la capacidad de respuesta del sistema de dopamina: una hipótesis para la etiología de la esquizofrenia. Neurociencia 1991; 41: 1 – 24. ElPubMed]
77. Grace AA, Bunney BS. Electrofisiología intracelular y extracelular de neuronas dopaminérgicas nigrales – 1. Identificación y caracterización. Neurociencia. 1983; 10: 301–315. [PubMed]
78. Grace AA, Floresco SB, Goto Y, Lodge DJ. Regulación de la activación de las neuronas dopaminérgicas y control de las conductas dirigidas a los objetivos. Tendencias en las neurociencias. 2007; 30: 220 – 227. ElPubMed]
79. Grecksch G, Matties H. El papel de los mecanismos dopaminérgicos en el hipocampo de rata para la consolidación en una discriminación de brillo. Psicofarmacología (Berl) 1981; 75: 165 – 168. ElPubMed]
80. Guarraci FA, Kapp BS. Una caracterización electrofisiológica de las neuronas dopaminérgicas del área tegmental ventral durante el condicionamiento de miedo pavloviano diferencial en el conejo despierto. Investigación del comportamiento del cerebro. 1999; 99: 169 – 179. ElPubMed]
81. Haber SN, Fudge JL, McFarland NR. Las vías estriatonigrostriatales en los primates forman una espiral ascendente desde la cáscara hasta el estriado dorsolateral. J Neurosci. 2000; 20: 2369 – 2382. ElPubMed]
82. Hall J, Parkinson JA, Connor TM, Dickinson A, Everitt BJ. La participación del núcleo central de la amígdala y el núcleo accumbens media en las influencias de Pavlov media en el comportamiento instrumental. La revista europea de neurociencia. 2001; 13: 1984 – 1992. ElPubMed]
83. Han JS, McMahan RW, Holland P, Gallagher M. El papel de una vía amígdalo-nigrostriatal en el aprendizaje asociativo. J Neurosci. 1997; 17: 3913 – 3919. ElPubMed]
84. Harris GC, Aston-Jones G. La excitación y la recompensa: una dicotomía en la función orexina. Tendencias en las neurociencias. 2006; 29: 571 – 577. ElPubMed]
85. Herry C, Bach DR, Esposito F, Di Salle F, Perrig WJ, Scheffler K, Luthi A, Seifritz E. Procesamiento de la imprevisibilidad temporal en la amígdala humana y animal. J Neurosci. 2007; 27: 5958 – 5966. ElPubMed]
86. Hikida T, Kimura K, Wada N, Funabiki K, Nakanishi S. Distintos roles de transmisión sináptica en vías estriadas directas e indirectas para recompensar y aversión. Neurona. 2010; 66: 896 – 907. ElPubMed]
87. Hikosaka O. Mecanismos de los ganglios basales del movimiento ocular orientado a la recompensa. Anales de la Academia de Ciencias de Nueva York. 2007; 1104: 229 – 249. ElPubMed]
88. Hikosaka O. La habenula: de la evasión del estrés a la toma de decisiones basada en el valor. Nat Rev Neurosci. 2010; 11: 503 – 513. ElArtículo gratuito de PMC] [PubMed]
89. Hikosaka O, Takikawa Y, Kawagoe R. El papel de los ganglios basales en el control de los movimientos de ojos sacádicos intencionados. Revisiones fisiológicas. 2000; 80: 953 – 978. ElPubMed]
90. Hitchcott PK, Quinn JJ, Taylor JR. Modulación bidireccional de acciones dirigidas a un objetivo por la dopamina cortical prefrontal. Cereb Cortex. 2007; 17: 2820 – 2827. ElPubMed]
91. Hnasko TS, Chuhma N, Zhang H, Goh GY, Sulzer D, Palmiter RD, Rayport S, Edwards RH. El transporte de glutamato vesicular promueve el almacenamiento de dopamina y la liberación de glutamato in vivo. Neurona. 2010; 65: 643 – 656. ElArtículo gratuito de PMC] [PubMed]
92. Holland PC, Gallagher M. Amygdala circuitería en los procesos de atención y representación. Tendencias en las ciencias cognitivas. 1999; 3: 65 – 73. ElPubMed]
93. Las neuronas de Hollerman JR y Schultz W. Dopamine informan un error en la predicción temporal de la recompensa durante el aprendizaje. Nat Neurosci. 1998; 1: 304 – 309. ElPubMed]
94. Holroyd CB, Coles MG. La base neuronal del procesamiento del error humano: aprendizaje por refuerzo, dopamina y la negatividad relacionada con el error. Psychol Rev. 2002; 109: 679 – 709. ElPubMed]
95. Hong S, Hikosaka O. El globo pálido envía señales relacionadas con la recompensa a la habenula lateral. Neurona. 2008; 60: 720 – 729. ElArtículo gratuito de PMC] [PubMed]
96. Horvitz JC. Respuestas de dopamina mesolimbocortical y nigrostriatal a eventos salientes sin recompensa. Neurociencia 2000; 96: 651 – 656. ElPubMed]
97. Horvitz JC, Stewart T, Jacobs BL. La actividad de estallido de las neuronas de dopamina tegmental ventral es provocada por estímulos sensoriales en el gato despierto. Brain Res. 1997; 759: 251 – 258. ElPubMed]
98. Houk JC, Adams JL, Barto AG. Un modelo de cómo los ganglios basales generan y usan señales neuronales que predicen el refuerzo. En: Houk JC, Davis JL, Beiser DG, editores. Modelos de procesamiento de la información en la ganglio basal. Cambridge, MA: MIT Press; 1995. pp. 249 – 274.
99. Circuito de recompensa cerebral Ikemoto S. más allá del sistema de dopamina mesolímbica: una teoría neurobiológica. Revisiones de neurociencia y bio comportamiento. 2010 [Artículo gratuito de PMC] [PubMed]
100. Ito R, Dalley JW, Howes SR, Robbins TW, Everitt BJ. Disociación en la liberación de dopamina condicionada en el núcleo de Núcleo Accumbens y la cáscara en respuesta a las señales de cocaína y durante el comportamiento de búsqueda de cocaína en ratas. J Neurosci. 2000; 20: 7489 – 7495. ElPubMed]
101. Ivlieva NY, Timofeeva NO. Actividad neuronal en el núcleo pedunculopontino durante un reflejo condicionado operante relacionado con los alimentos. Neurociencia y fisiología del comportamiento. 2003a; 33: 919 – 928. ElPubMed]
102. Ivlieva NY, Timofeeva NO. Actividad neuronal en el núcleo pedunculopontino durante un reflejo condicionado operante. Neurociencia y fisiología del comportamiento. 2003b; 33: 499 – 506. ElPubMed]
103. Jalabert M, Aston-Jones G, Herzog E, Manzoni O, Georges F. Papel del núcleo del lecho de la estría terminal en el control de las neuronas de dopamina del área tegmental ventral. Avances en neuropsicofarmacología y psiquiatría biológica. 2009; 33: 1336–1346. [Artículo gratuito de PMC] [PubMed]
104. Jeanblanc J, Hoeltzel A, Louilot A. Disociación en la participación de neuronas dopaminérgicas que inervan las subregiones núcleo y concha del núcleo accumbens en la inhibición latente y la percepción afectiva. Neurociencia 2002; 111: 315 – 323. ElPubMed]
105. Jensen J, Smith AJ, Willeit M, Crawley AP, Mikulis DJ, Vitcu I, Kapur S. Código de regiones del cerebro separadas para la saliencia frente a la valencia durante la predicción de recompensas en humanos. Mapeo del cerebro humano. 2007; 28: 294 – 302. ElPubMed]
106. Jhou TC, Fields HL, Baxter MG, Saper CB, Holland PC. El núcleo tegmental rostromedial (RMTg), un aferente GABAérgico a las neuronas de la dopamina del cerebro medio, codifica estímulos aversivos e inhibe las respuestas motoras. Neurona. 2009a; 61: 786 – 800. ElArtículo gratuito de PMC] [PubMed]
107. Jhou TC, Geisler S, Marinelli M, Degarmo BA, Zahm DS. El núcleo tegmental rostromedial mesopontino: Una estructura dirigida por la habenula lateral que se proyecta al área tegmental ventral de Tsai y la sustancia negra compacta. La revista de neurología comparativa. 2009b; 513: 566 – 596. ElArtículo gratuito de PMC] [PubMed]
108. Ji H, Shepard PD. La estimulación de la habénula lateral inhibe las neuronas de dopamina del cerebro medio de la rata a través de un mecanismo mediado por el receptor GABA (A). J Neurosci. 2007; 27: 6923 – 6930. ElPubMed]
109. Jin X, Costa RM. Las señales de inicio / parada emergen en circuitos nigrostriatales durante el aprendizaje de secuencia. Naturaleza. 2010; 466: 457 – 462. ElArtículo gratuito de PMC] [PubMed]
110. Johansen JP, Fields HL. La activación glutamatérgica de la corteza cingulada anterior produce una señal de enseñanza aversiva. Nat Neurosci. 2004; 7: 398 – 403. ElPubMed]
111. Joseph MH, Datla K, Young AM. La interpretación de la medición de la dopamina del núcleo accumbens mediante diálisis in vivo: ¿la patada, el deseo o la cognición? Revisiones de neurociencia y bio comportamiento. 2003; 27: 527 – 541. ElPubMed]
112. Joshua M, Adler A, Bergman H. La dinámica de la dopamina en el control del comportamiento motor. Opinión actual en neurobiología. 2009a; 19: 615 – 620. ElPubMed]
113. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Las neuronas dopaminérgicas del cerebro medio y las interneuronas colinérgicas estriatales codifican la diferencia entre la recompensa y los eventos aversivos en diferentes épocas de ensayos probabilísticos de condicionamiento clásico. J Neurosci. 2008; 28: 11673 – 11684. ElPubMed]
114. Joshua M, Adler A, Prut Y, Vaadia E, Wickens JR, Bergman H. La sincronización de las neuronas dopaminérgicas del cerebro medio se ve reforzada por eventos gratificantes. Neurona. 2009b; 62: 695 – 704. ElPubMed]
115. Kable JW, Glimcher PW. La neurobiología de la decisión: consenso y controversia. Neurona. 2009; 63: 733 – 745. ElArtículo gratuito de PMC] [PubMed]
116. Kakade S, Dayan P. Dopamina: generalización y bonificaciones. Redes neuronales. 2002; 15: 549 – 559. ElPubMed]
117. Kapur S. La psicosis como un estado de prominencia aberrante: un marco que vincula la biología, la fenomenología y la farmacología en la esquizofrenia. La revista estadounidense de psiquiatría. 2003; 160: 13 – 23. ElPubMed]
118. Kaufling J, P de Veinante, Pawlowski SA, Freund-Mercier MJ, Barrot M. Aferentes a la cola GABAérgica del área ventral tegmental en la rata. La revista de neurología comparativa. 2009; 513: 597 – 621. ElPubMed]
119. Kennerley SW, Wallis JD. Evaluación de elecciones por neuronas individuales en el lóbulo frontal: valor de resultado codificado en variables de decisión múltiple. La revista europea de neurociencia. 2009; 29: 2061 – 2073. ElArtículo gratuito de PMC] [PubMed]
120. Kim H, Sul JH, Huh N, Lee D, Jung MW. Papel del estriado en la actualización de valores de acciones elegidas. J Neurosci. 2009; 29: 14701 – 14712. ElPubMed]
121. Kiyatkin EA. Propiedades funcionales de las presuntas neuronas del área tegmental que contienen dopamina y otras ventrales en ratas conscientes. Int J Neurosci. 1988a; 42: 21 – 43. ElPubMed]
122. Kiyatkin EA. Modificación inducida por la morfina de las propiedades funcionales de las neuronas del área tegmental ventral en ratas conscientes. Intern J Neuroscience. 1988b; 41: 57 – 70. ElPubMed]
123. Klingberg T. Formación y plasticidad de la memoria de trabajo. Tendencias en las ciencias cognitivas. 2010; 14: 317 – 324. ElPubMed]
124. Kobayashi S, Nomoto K, Watanabe M, Hikosaka O, Schultz W, Sakagami M. Influencias de resultados gratificantes y aversivos sobre la actividad en la corteza prefrontal lateral de macaco. Neurona. 2006; 51: 861 – 870. ElPubMed]
125. Kobayashi S, Schultz W. Influencia de los retrasos en la recompensa en las respuestas de las neuronas de dopamina. J Neurosci. 2008; 28: 7837 – 7846. ElArtículo gratuito de PMC] [PubMed]
126. Kobayashi Y, Inoue Y, Yamamoto M, Isa T, Aizawa H. Contribución de las neuronas del núcleo tegmental pedunculopontino al desempeño de tareas de sacada guiadas visualmente en monos. J. Neurofisiol. 2002; 88: 715 – 731. ElPubMed]
127. Koyama T, Tanaka YZ, Mikami A. Las neuronas nociceptivas del cingulado anterior del macaco se activan durante la anticipación del dolor. Neuroreport. 1998; 9: 2663 – 2667. ElPubMed]
128. Kravitz AV, Freeze BS, Parker PR, Kay K, Thwin MT, Deisseroth K, Kreitzer AC. Regulación de los comportamientos motores parkinsonianos mediante el control optogenético de los circuitos de los ganglios basales. Naturaleza. 2010 [Artículo gratuito de PMC] [PubMed]
129. Lammel S, Hetzel A, Hackel O, Jones I, Liss B, Roeper J. Propiedades únicas de las neuronas mesoprefrontal dentro de un sistema de dopamina mesocorticolímbica dual. Neurona. 2008; 57: 760 – 773. ElPubMed]
130. Lang PJ, Davis M. La emoción, la motivación y el cerebro: cimientos reflejos en la investigación animal y humana. Avances en la investigación del cerebro. 2006; 156: 3 – 29. ElPubMed]
131. Lapish CC, Kroener S, Durstewitz D, Lavin A, Seamans JK. La capacidad del sistema de dopamina mesocortical para operar en distintos modos temporales. Psicofarmacología (Berl) 2007; 191: 609 – 625. ElPubMed]
132. Lee D, Seo H. Mecanismos de aprendizaje por refuerzo y toma de decisiones en la corteza prefrontal dorsolateral de primates. Anales de la Academia de Ciencias de Nueva York. 2007; 1104: 108 – 122. ElPubMed]
133. Lee HJ, Groshek F, Petrovich GD, Cantalini JP, Gallagher M, Holland PC. Rol del circuito amígdalo-nigral en el condicionamiento de un estímulo visual combinado con la comida. J Neurosci. 2005; 25: 3881 – 3888. ElArtículo gratuito de PMC] [PubMed]
134. Levita L, Dalley JW, Robbins TW. Núcleo accumbens dopamina y miedo aprendido revisado: una revisión y algunos nuevos hallazgos. Investigación del comportamiento del cerebro. 2002; 137: 115 – 127. ElPubMed]
135. Lin SC, Nicolelis MA. Ensamble neuronal que estalla en el cerebro frontal basal codifica la saliencia independientemente de la valencia. Neurona. 2008; 59: 138 – 149. ElArtículo gratuito de PMC] [PubMed]
136. Lisman JE, Gracia AA. El bucle hipocampo-VTA: controla la entrada de información en la memoria a largo plazo. Neurona. 2005; 46: 703 – 713. ElPubMed]
137. Litt A, H Plassmann, Shiv B, Rangel A. Desvinculación de las señales de valoración y saliente durante la toma de decisiones. Cereb Cortex. 2010 en prensa. [PubMed]
138. Liu Z, Richmond BJ, Murray EA, Saunders RC, Steenrod S, Stubblefield BK, Montague DM, Ginns EI. La orientación al ADN de la proteína del receptor D2 de la corteza rinal bloquea de manera reversible el aprendizaje de señales que predicen la recompensa. Actas de la Academia Nacional de Ciencias de los Estados Unidos de América. 2004; 101: 12336 – 12341. ElArtículo gratuito de PMC] [PubMed]
139. Liu ZH, Shin R, Ikemoto S. Doble función de las neuronas de dopamina A10 mediales en la codificación afectiva. Neuropsicofarmacología. 2008; 33: 3010 – 3020. ElArtículo gratuito de PMC] [PubMed]
140. Ljungberg T, Apicella P, Schultz W. Respuestas de neuronas de dopamina de mono durante el aprendizaje de las reacciones de comportamiento. J. Neurofisiol. 1992; 67: 145 – 163. ElPubMed]
141. Lobo MK, Covington HE, 3rd, Chaudhury D, Friedman AK, Sun H, Damez-Werno D, Dietz DM, Zaman S, Koo JW, Kennedy PJ, et al. La pérdida de señalización de BDNF específica del tipo de célula imita el control optogenético de la recompensa de cocaína. Ciencia. 2010; 330: 385 – 390. ElArtículo gratuito de PMC] [PubMed]
142. Maeda H, Mogenson GJ. Efectos de la estimulación periférica sobre la actividad de las neuronas en el área ventral tegmental, la sustancia nigra y la formación reticular del cerebro medio de ratas. Boletín de investigación del cerebro. 1982; 8: 7 – 14. ElPubMed]
143. Mantz J, Thierry AM, Glowinski J. Efecto del pinzamiento nocivo de la cola en la tasa de descarga de las neuronas de dopamina mesocórticas y mesolímbicas: activación selectiva del sistema mesocortical. Brain Res. 1989; 476: 377 – 381. ElPubMed]
144. Margolis EB, Lock H, Hjelmstad GO, Fields HL. El área ventral tegmental revisada: ¿hay un marcador electrofisiológico para las neuronas dopaminérgicas? La revista de fisiología. 2006; 577: 907 – 924. ElArtículo gratuito de PMC] [PubMed]
145. Margolis EB, Mitchell JM, Ishikawa J, Hjelmstad GO, Fields HL. Neuronas del cerebro medio de dopamina: el objetivo de proyección determina la duración del potencial de acción y la inhibición del receptor de dopamina D (2). J Neurosci. 2008; 28: 8908 – 8913. ElPubMed]
146. Mark GP, Blander DS, Hoebel BG. Un estímulo condicionado disminuye la dopamina extracelular en el núcleo accumbens después del desarrollo de una aversión del gusto aprendida. Brain Res. 1991; 551: 308 – 310. ElPubMed]
147. Marowsky A, Yanagawa Y, Obata K, Vogt KE. Una subclase especializada de interneuronas media la facilitación dopaminérgica de la función de la amígdala. Neurona. 2005; 48: 1025 – 1037. ElPubMed]
148. Matsumoto M, Hikosaka O. Habenula lateral como fuente de señales de recompensa negativas en las neuronas de dopamina. Naturaleza. 2007; 447: 1111 – 1115. ElPubMed]
149. Matsumoto M, Hikosaka O. Representación del valor motivacional negativo en la habenula lateral del primate. Nat Neurosci. 2009a; 12: 77 – 84. ElArtículo gratuito de PMC] [PubMed]
150. Matsumoto M, Hikosaka O. Dos tipos de neuronas dopaminérgicas transmiten claramente señales motivacionales positivas y negativas. Naturaleza. 2009b; 459: 837 – 841. ElArtículo gratuito de PMC] [PubMed]
151. Matsumoto M, Matsumoto K, Abe H, Tanaka K. Actividad de las células prefrontales mediales señalización de errores de predicción de valores de acción. Nat Neurosci. 2007; 10: 647 – 656. ElPubMed]
152. Mayo PJ, McHaffie JG, Stanford TR, Jiang H, Costello MG, Coizet V, Hayes LM, Haber SN, Redgrave P. Tectonigral proyecciones en el primate: una vía para la entrada sensorial pre-atenta a las neuronas dopaminérgicas del cerebro medio. La revista europea de neurociencia. 2009; 29: 575 – 587. ElArtículo gratuito de PMC] [PubMed]
153. Mazzoni P, Hristova A, Krakauer JW. ¿Por qué no nos movemos más rápido? Enfermedad de Parkinson, vigor del movimiento y motivación implícita. J Neurosci. 2007; 27: 7105–7116. [PubMed]
154. Merali Z, Michaud D, McIntosh J, Kent P, Anisman H. Participación diferencial de los sistemas de CRH amigdaloides en la prominencia y valencia de los estímulos. Avances en neuropsicofarmacología y psiquiatría biológica. 2003; 27: 1201–1212. [PubMed]
155. Mirenowicz J, Schultz W. Activación preferencial de las neuronas de dopamina del cerebro medio por estímulos apetitivos en lugar de aversivos. Naturaleza. 1996; 379: 449 – 451. ElPubMed]
156. Molina-Luna K, Pekanovic A, Rohrich S, Hertler B, Schubring-Giese M, Rioult-Pedotti MS, Luft AR. La dopamina en la corteza motora es necesaria para el aprendizaje de habilidades y la plasticidad sináptica. Más uno. 2009; 4: e7082. ElArtículo gratuito de PMC] [PubMed]
157. Montague PR, Berns GS. La economía neural y los sustratos biológicos de valoración. Neurona. 2002; 36: 265 – 284. ElPubMed]
158. Montague PR, Dayan P, Sejnowski TJ. Un marco para los sistemas de dopamina mesencefálicos basados ​​en el aprendizaje predictivo de Hebbian. J Neurosci. 1996; 16: 1936 – 1947. ElPubMed]
159. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Coincidentes pero distintos mensajes de la dopamina del cerebro medio y las neuronas tónicamente activas estriatales. Neurona. 2004; 43: 133 – 143. ElPubMed]
160. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Las neuronas de dopamina del cerebro medio codifican decisiones para acciones futuras. Nat Neurosci. 2006; 9: 1057 – 1063. ElPubMed]
161. Morrison SE, Salzman CD. La convergencia de información sobre estímulos gratificantes y aversivos en neuronas individuales. J Neurosci. 2009; 29: 11471 – 11483. ElArtículo gratuito de PMC] [PubMed]
162. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Las neuronas de dopamina pueden representar un error de predicción dependiente del contexto. Neurona. 2004; 41: 269 – 280. ElPubMed]
163. Nakamura K, Hikosaka O. El papel de la dopamina en el núcleo caudado de los primates en la modulación de la recompensa de las sacadas. J Neurosci. 2006; 26: 5360 – 5369. ElPubMed]
164. Neve KA, Seamans JK, señalización del receptor Trantham-Davidson H. Dopamine. Revista de investigación de receptores y transducción de señales. 2004; 24: 165 – 205. ElPubMed]
165. Nishijo H, Ono T, Nishino H. Respuestas de neuronas individuales en la amígdala del mono alerta durante la estimulación sensorial compleja con significado afectivo. J Neurosci. 1988; 8: 3570 – 3583. ElPubMed]
166. Niv Y, Daw ND, Joel D, dayan P. Tonic dopamina: costos de oportunidad y control del vigor de respuesta. Psicofarmacología. 2007; 191: 507 – 520. ElPubMed]
167. Nomoto K, Schultz W, Watanabe T, Sakagami M. Respuestas de dopamina prolongadas temporalmente a estímulos perceptivamente exigentes de recompensa y recompensa. J Neurosci. 2010; 30: 10692 – 10702. ElArtículo gratuito de PMC] [PubMed]
168. Okada K, Toyama K, Inoue Y, Isa T, Kobayashi Y. Diferentes neuronas tegmentales pedunculopontinas indican la predicción de la tarea y las recompensas reales de la tarea. J Neurosci. 2009; 29: 4858 – 4870. ElPubMed]
169. Omelchenko N, Bell R, Sesack SR. Proyecciones de la habenula lateral a las neuronas dopamina y GABA en el área tegmental ventral de la rata. La revista europea de neurociencia. 2009; 30: 1239 – 1250. ElArtículo gratuito de PMC] [PubMed]
170. Owesson-White CA, Ariansen J, Stuber GD, Cleaveland NA, Cheer JF, Wightman RM, Carelli RM. La codificación neuronal del comportamiento de búsqueda de cocaína coincide con la liberación fásica de dopamina en el núcleo y la cáscara de los accumbens. La revista europea de neurociencia. 2009; 30: 1117 – 1127. ElArtículo gratuito de PMC] [PubMed]
171. Oyama K, Hernadi I, Iijima T, Tsutsui K. Código de error de predicción de recompensa en neuronas del estriado dorsal. J Neurosci. 2010; 30: 11447 – 11457. ElPubMed]
172. Packard MG, White NM. Disociación de los sistemas de memoria del hipocampo y del núcleo caudado mediante la inyección intracerebral post-entrenamiento de agonistas de la dopamina. Neurociencia conductual. 1991; 105: 295 – 306. ElPubMed]
173. Padoa-Schioppa C. Corteza orbitofrontal y el cálculo del valor económico. Anales de la Academia de Ciencias de Nueva York. 2007; 1121: 232 – 253. ElPubMed]
174. Palmiter RD. La señalización de la dopamina en el cuerpo estriado dorsal es esencial para comportamientos motivados: lecciones de ratones deficientes en dopamina. Anales de la Academia de Ciencias de Nueva York. 2008; 1129: 35 – 46. ElArtículo gratuito de PMC] [PubMed]
175. Pan WX, Hyland BI. El núcleo tegmental pedunculopontino controla las respuestas condicionadas de las neuronas de la dopamina del cerebro medio en ratas que se comportan. J Neurosci. 2005; 25: 4725 – 4732. ElPubMed]
176. Pan WX, Schmidt R, Wickens JR, Hyland BI. Mecanismo tripartito de extinción sugerido por la actividad de la neurona dopamina y el modelo de diferencia temporal. J Neurosci. 2008; 28: 9619 – 9631. ElPubMed]
177. Parker JG, Zweifel LS, Clark JJ, Evans SB, Phillips PE, Palmiter RD. La ausencia de receptores de NMDA en las neuronas de dopamina atenúa la liberación de dopamina, pero el enfoque no condicionado durante el acondicionamiento de Pavlov. Actas de la Academia Nacional de Ciencias de los Estados Unidos de América. 2010 [Artículo gratuito de PMC] [PubMed]
178. Pascoe JP, Kapp BS. Características electrofisiológicas de las neuronas del núcleo central amígdaloide durante el condicionamiento del miedo pavloviano en el conejo. Investigación del comportamiento del cerebro. 1985; 16: 117 – 133. ElPubMed]
179. Pascucci T, Ventura R, Latagliata EC, Cabib S, Puglisi-Allegra S. La corteza prefrontal medial determina la respuesta de la dopamina al estrés a través de las influencias opuestas de la noradrenalina y la dopamina. Cereb Cortex. 2007; 17: 2796 – 2804. ElPubMed]
180. Pearce JM, Hall G. Un modelo para el aprendizaje pavloviano: variaciones en la efectividad de los estímulos condicionados pero no de los no condicionados. Psychol Rev. 1980; 87: 532 – 552. ElPubMed]
181. Pezze MA, Feldon J. Mesolímbico dopaminérgicos en el condicionamiento del miedo. Avances en neurobiología. 2004; 74: 301 – 320. ElPubMed]
182. Phillips AG, Ahn S, Howland JG. Control de amígdalar del sistema de dopamina mesocorticolímbica: vías paralelas al comportamiento motivado. Revisiones de neurociencia y bio comportamiento. 2003a; 27: 543 – 554. ElPubMed]
183. Phillips GD, Salussolia E, Hitchcott PK. El papel de la proyección de dopamina mesoamygdaloid en el aprendizaje emocional. Psicofarmacología. 2010 [PubMed]
184. Phillips PE, Stuber GD, Heien ML, Wightman RM, Carelli RM. La liberación de dopamina subsiguiente promueve la búsqueda de cocaína. Naturaleza. 2003b; 422: 614 – 618. ElPubMed]
185. Porrino LJ, Goldman-Rakic ​​PS. Inervación del tronco encefálico de la corteza prefrontal y cingulada anterior en el mono rhesus revelada por el transporte retrógrado de HRP. La revista de neurología comparativa. 1982; 205: 63 – 76. ElPubMed]
186. Puryear CB, Kim MJ, Mizumori SJ. Codificación conjuntiva de movimiento y recompensa por las neuronas del área tegmental ventral en el roedor que navega libremente. Neurociencia conductual. 2010; 124: 234 – 247. ElArtículo gratuito de PMC] [PubMed]
187. Ravel S, Legallet E, Apicella P. Las neuronas tónicamente activas en el estriado del mono no responden preferentemente a los estímulos apetitivos. Investigación experimental del cerebro. Experimentelle Hirnforschung. 1999; 128: 531 – 534. ElPubMed]
188. Ravel S, Legallet E, Apicella P. Las respuestas de las neuronas tónicamente activas en el estriado del mono discriminan entre estímulos motivacionales opuestos. J Neurosci. 2003; 23: 8489 – 8497. ElPubMed]
189. Ravel S, Richmond BJ. Respuestas neuronales de dopamina en monos que realizan programas de recompensas visualmente indicados. La revista europea de neurociencia. 2006; 24: 277 – 290. ElPubMed]
190. Redgrave P, Gurney K. La señal de dopamina de corta latencia: ¿un papel en el descubrimiento de acciones novedosas? Nat Rev Neurosci. 2006; 7: 967 – 975. ElPubMed]
191. Redgrave P, Prescott TJ, Gurney K. ¿Es la respuesta de dopamina de latencia corta demasiado corta para indicar un error de recompensa? Tendencias en las neurociencias. 1999; 12: 146 – 151. ElPubMed]
192. Rescorla RA, Wagner AR. Una teoría del condicionamiento pavloviano: variaciones en la efectividad del refuerzo y el no reforzamiento. En: Black AH, Prokasy WF, editores. Condicionamiento clásico II: investigación actual y teoría. Nueva York, Nueva York: Appleton Century Crofts; 1972. pp. 64 – 99.
193. Reynolds JNJ, Hyland BI, Wickens JR. Un mecanismo celular de aprendizaje relacionado con la recompensa. Naturaleza. 2001; 413: 67 – 70. ElPubMed]
194. Reynolds SM, Berridge KC. Motivación positiva y negativa en la cáscara del núcleo accumbens: gradientes rostrocaudales bivalentes para la alimentación provocada por GABA, reacciones de "agrado" / "disgusto" del gusto, preferencia / evitación de lugar y miedo. J Neurosci. 2002; 22: 7308–7320. [PubMed]
195. Richardson RT, DeLong MR. Estudios electrofisiológicos de las funciones del núcleo basal en primates. Avances en medicina experimental y biología. 1991; 295: 233 – 252. ElPubMed]
196. Robbins TW, Arnsten AF. La neuropsicofarmacología de la función fronto-ejecutiva: modulación monoaminérgica. Revisión anual de la neurociencia. 2009; 32: 267 – 287. ElArtículo gratuito de PMC] [PubMed]
197. Robinson DL, Hermans A, Seipel AT, Wightman RM. Monitorización rápida de la comunicación química en el cerebro. Revisiones químicas. 2008; 108: 2554 – 2584. ElArtículo gratuito de PMC] [PubMed]
198. Roesch MR, Calu DJ, Schoenbaum G. Las neuronas de dopamina codifican la mejor opción en ratas que deciden entre recompensas con retraso o tamaño diferentes. Nat Neurosci. 2007; 10: 1615 – 1624. ElArtículo gratuito de PMC] [PubMed]
199. Roesch MR, Olson CR. Actividad neuronal relacionada con la recompensa del valor y la motivación en la corteza frontal de los primates. Ciencia. 2004; 304: 307 – 310. ElPubMed]
200. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Las respuestas químicas en tiempo real en el núcleo accumbens diferencian los estímulos gratificantes y aversivos. Nat Neurosci. 2008; 11: 1376 – 1377. ElArtículo gratuito de PMC] [PubMed]
201. Rutledge RB, Lazzaro SC, Lau B, Myers CE, Gluck MA, Glimcher PW. Los fármacos dopaminérgicos modulan las tasas de aprendizaje y la perseverancia en los pacientes de Parkinson en una tarea de búsqueda dinámica. J Neurosci. 2009; 29: 15104–15114. [Artículo gratuito de PMC] [PubMed]
202. Salamone JD. La participación del núcleo accumbens dopamina en la motivación apetitiva y aversiva. Investigación del comportamiento del cerebro. 1994; 61: 117 – 133. ElPubMed]
203. Salamone JD, Correa M, Farrar A, Mingote SM. Funciones relacionadas con el esfuerzo del núcleo accumbens dopamina y circuitos asociados del cerebro anterior. Psicofarmacología (Berl) 2007; 191: 461 – 482. ElPubMed]
204. Satoh T, Nakai S, Sato T, Kimura M. Codificación correlacionada de la motivación y el resultado de la decisión de las neuronas de dopamina. J Neurosci. 2003; 23: 9913 – 9923. ElPubMed]
205. Savine AC, Beck SM, Edwards BG, Chiew KS, Braver TS. Mejora del control cognitivo por aproximación y estados motivacionales de evitación. Cognición y emoción. 2010; 24: 338–356. [Artículo gratuito de PMC] [PubMed]
206. Schoenbaum G, Roesch MR, Stalnaker TA, Takahashi YK. Una nueva perspectiva sobre el papel de la corteza orbitofrontal en el comportamiento adaptativo. Nat Rev Neurosci. 2009; 10: 885 – 892. ElArtículo gratuito de PMC] [PubMed]
207. Schultz W. Respuestas de las neuronas de dopamina del cerebro medio al estímulo del comportamiento en el mono. J. Neurofisiol. 1986; 56: 1439 – 1461. ElPubMed]
208. Schultz W. Señal de recompensa predictiva de las neuronas dopaminérgicas. J. Neurofisiol. 1998; 80: 1 – 27. ElPubMed]
209. Schultz W. Múltiples funciones de dopamina en diferentes cursos de tiempo. Revisión anual de la neurociencia. 2007; 30: 259 – 288. ElPubMed]
210. Schultz W. La dopamina señala el valor y el riesgo de la recompensa: datos básicos y recientes. Behav Brain Funct. 2010; 6: 24. ElArtículo gratuito de PMC] [PubMed]
211. Schultz W, Dayan P, Montague PR. Un sustrato neural de la predicción y la recompensa. Ciencia. 1997; 275: 1593 – 1599. ElPubMed]
212. Schultz W, Romo R. Respuestas de las neuronas de dopamina nigrostriatal a la estimulación somatosensorial de alta intensidad en el mono anestesiado. J. Neurofisiol. 1987; 57: 201 – 217. ElPubMed]
213. Schultz W, Romo R. Neuronas de dopamina del mesencéfalo del mono: contingencias de respuestas a estímulos que provocan reacciones de comportamiento inmediatas. J. Neurofisiol. 1990; 63: 607 – 624. ElPubMed]
214. Seo H, Lee D. Filtrado temporal de las señales de recompensa en la corteza cingulada anterior dorsal durante un juego de estrategia mixta. J Neurosci. 2007; 27: 8366 – 8377. ElArtículo gratuito de PMC] [PubMed]
215. Shabel SJ, Janak PH. Similitud sustancial en la actividad neuronal de la amígdala durante la excitación condicional condicionada y aversiva emocional. Actas de la Academia Nacional de Ciencias de los Estados Unidos de América. 2009; 106: 15031 – 15036. ElArtículo gratuito de PMC] [PubMed]
216. Shadmehr R, Smith MA, Krakauer JW. Corrección de errores, predicción sensorial y adaptación en el control motor. Revisión anual de la neurociencia. 2010 [PubMed]
217. Shen W, Flajolet M, Greengard P, Surmeier DJ. Control dopaminérgico dicotómico de la plasticidad sináptica del estriado. Ciencia. 2008; 321: 848 – 851. ElArtículo gratuito de PMC] [PubMed]
218. Shimo Y, Wichmann T. La actividad neuronal en el núcleo subtalámico modula la liberación de dopamina en el estriado del mono. La revista europea de neurociencia. 2009; 29: 104 – 113. ElArtículo gratuito de PMC] [PubMed]
219. Shippenberg TS, Bals-Kubik R, Huber A, Herz A. Sustratos neuroanatómicos que median los efectos aversivos de los antagonistas del receptor de dopamina D-1. Psicofarmacología (Berl) 1991; 103: 209 – 214. ElPubMed]
220. Shumake J, Ilango A, Scheich H, Wetzel W, Ohl FW. Neuromodulación diferencial de la adquisición y recuperación del aprendizaje de evitación por la habenula lateral y el área tegmental ventral. J Neurosci. 2010; 30: 5876 – 5883. ElPubMed]
221. DM pequeño, Gregory MD, Mak YE, Gitelman D, Mesulam MM, Parrish T. Disociación de la representación neuronal de la intensidad y la valoración afectiva en la ráfaga humana. Neurona. 2003; 39: 701 – 711. ElPubMed]
222. Stefani MR, Moghaddam B. El aprendizaje de reglas y la contingencia de recompensa están asociados con patrones disociables de activación de dopamina en la corteza prefrontal de rata, el núcleo accumbens y el estriado dorsal. J Neurosci. 2006; 26: 8810 – 8818. ElArtículo gratuito de PMC] [PubMed]
223. Steinfels GF, Heym J, Strecker RE, Jacobs BL. Respuesta de las neuronas dopaminérgicas en gatos a estímulos auditivos presentados a lo largo del ciclo de vigilia del sueño. Brain Res. 1983; 277: 150 – 154. ElPubMed]
224. Strecker RE, Jacobs BL. Actividad de la unidad dopaminérgica de Substantia nigra en gatos portadores: efecto de la excitación en la descarga espontánea y la actividad sensorial evocada. Brain Res. 1985; 361: 339 – 350. ElPubMed]
225. Stuber GD, Hnasko TS, Britt JP, Edwards RH, Bonci A. Terminales dopaminérgicos en el núcleo accumbens, pero no glutamato corisease del cuerpo estriado dorsal. Diario de la neurociencia. 2010; 30: 8229 – 8233. ElArtículo gratuito de PMC] [PubMed]
226. Stuber GD, Wightman RM, Carelli RM. La extinción de la autoadministración de cocaína revela señales dopaminérgicas funcional y temporalmente distintas en el núcleo accumbens. Neurona. 2005; 46: 661 – 669. ElPubMed]
227. Sul JH, Kim H, Huh N, Lee D, Jung MW. Distintos roles del roedor orbitofrontal y la corteza prefrontal medial en la toma de decisiones. Neurona. 2010; 66: 449 – 460. ElArtículo gratuito de PMC] [PubMed]
228. Surmeier DJ, Ding J, Día M, Wang Z, Shen W. D1 y D2 modulación del receptor de dopamina de la señalización glutamatérgica del estriado en neuronas espinosas del medio estriado. Tendencias en las neurociencias. 2007; 30: 228 – 235. ElPubMed]
229. Surmeier DJ, Shen W, Día M, Gertler T, Chan S, Tian X, Plotkin JL. El papel de la dopamina en la modulación de la estructura y función de los circuitos estriatales. Avances en la investigación del cerebro. 2010; 183C: 148 – 167. ElPubMed]
230. Sutton RS, Barto AG. Hacia una teoría moderna de redes adaptativas: expectativa y predicción. Psychol Rev. 1981; 88: 135 – 170. ElPubMed]
231. Takahashi YK, Roesch MR, Stalnaker TA, Haney RZ, Calu DJ, Taylor AR, Burke KA, Schoenbaum G. La corteza orbitofrontal y el área ventral tegmental son necesarias para aprender de resultados inesperados. Neurona. 2009; 62: 269 – 280. ElArtículo gratuito de PMC] [PubMed]
232. Takikawa Y, Kawagoe R, Hikosaka O. Un posible papel de las neuronas de dopamina del cerebro medio en la adaptación de las sacadas a corto y largo plazo al mapa posición-recompensa. J. Neurofisiol. 2004; 92: 2520 – 2529. ElPubMed]
233. Tecuapetla F, Patel JC, Xenias H, Inglés D, Tadros I, Shah F, Berlín J, Deisseroth K, Rice ME, Tepper JM, Koos T. Glutamatergic señalización por las neuronas de dopamina mesolímbicas en el núcleo accumbens. J Neurosci. 2010; 30: 7105 – 7110. ElArtículo gratuito de PMC] [PubMed]
234. Thierry AM, Tassin JP, Blanc G, Glowinski J. Activación selectiva del sistema mesocortical DA por estrés. Naturaleza. 1976; 263: 242 – 244. ElPubMed]
235. Tobler PN, Dickinson A, Schultz W. Codificación de la omisión de recompensa predicha por las neuronas de dopamina en un paradigma de inhibición condicionada. J Neurosci. 2003; 23: 10402 – 10410. ElPubMed]
236. Tobler PN, Fiorillo CD, Schultz W. Codificación adaptativa del valor de recompensa por las neuronas de dopamina. Ciencia. 2005; 307: 1642 – 1645. ElPubMed]
237. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Phasic Firing en las neuronas dopaminérgicas es suficiente para el acondicionamiento del comportamiento. Ciencia. 2009 [PubMed]
238. Ullsperger M. Estudios de asociación genética del monitoreo del rendimiento y el aprendizaje de la retroalimentación: el papel de la dopamina y la serotonina. Revisiones de neurociencia y bio comportamiento. 2010; 34: 649 – 659. ElPubMed]
239. Ungless MA. La dopamina: la cuestión saliente. Tendencias en las neurociencias. 2004; 27: 702 – 706. ElPubMed]
240. Uylings HB, Groenewegen HJ, Kolb B. ¿Tienen las ratas una corteza prefrontal? Investigación del comportamiento del cerebro. 2003; 146: 3 – 17. ElPubMed]
241. Ventura R, Cabib S, Puglisi-Allegra S. Respuesta de dopamina mesocorticolímbica opuesta al genotipo opuesto al estrés. Neurociencia 2001; 104: 627 – 631. ElPubMed]
242. Ventura R, Latagliata EC, Morrone C, La Mela I, Puglisi-Allegra S. La norepinefrina prefrontal determina la atribución de "alta" relevancia motivacional. Más uno. 2008; 3: e3044. [Artículo gratuito de PMC] [PubMed]
243. Ventura R, Morrone C, Puglisi-Allegra S. El sistema de catecolamina prefrontal / accumbal determina la atribución de atención motivacional a los estímulos relacionados tanto con la recompensa como con la aversión. Actas de la Academia Nacional de Ciencias de los Estados Unidos de América. 2007; 104: 5181 – 5186. ElArtículo gratuito de PMC] [PubMed]
244. Vogt BA. Interacciones dolorosas y emocionales en subregiones de la circunvolución cingulada. Nat Rev Neurosci. 2005; 6: 533 – 544. ElArtículo gratuito de PMC] [PubMed]
245. Voon V, Pessiglione M, Brezing C, Gallea C, Fernandez HH, Dolan RJ, Hallett M. Mecanismos subyacentes a la recompensa mediada por dopamina en las conductas compulsivas. Neurona. 2010; 65: 135 – 142. ElArtículo gratuito de PMC] [PubMed]
246. Waelti P, Dickinson A, Schultz W. Las respuestas a la dopamina cumplen con los supuestos básicos de la teoría del aprendizaje formal. Naturaleza. 2001; 412: 43 – 48. ElPubMed]
247. Wallis JD, Kennerley SW. Señales de recompensa heterogéneas en la corteza prefrontal. Opinión actual en neurobiología. 2010; 20: 191 – 198. ElArtículo gratuito de PMC] [PubMed]
248. Walton ME, Behrens TE, Buckley MJ, Rudebeck PH, Rushworth MF. Los sistemas de aprendizaje separables en el cerebro de macaco y el papel de la corteza orbitofrontal en el aprendizaje contingente. Neurona. 2010; 65: 927 – 939. ElArtículo gratuito de PMC] [PubMed]
249. Wheeler RA, Twining RC, Jones JL, Slater JM, Grigson PS, Carelli RM. Los índices conductuales y electrofisiológicos de afecto negativo predicen la autoadministración de la cocaína. Neurona. 2008; 57: 774 – 785. ElPubMed]
250. Wightman RM, Heien MLAV, Wassum KM, Sombers LA, Aragona BJ, Khan AS, Ariansen JL, Cheer JF, Phillips PE, Carelli RM. La liberación de dopamina es heterogénea dentro de los microambientes del núcleo accumbens de rata. La revista europea de neurociencia. 2007; 26: 2046 – 2054. ElPubMed]
251. Williams GV, Castner SA. Debajo de la curva: problemas críticos para dilucidar la función del receptor D1 en la memoria de trabajo. Neurociencia 2006; 139: 263 – 276. ElPubMed]
252. Williams SM, Goldman-Rakic ​​PS. Origen generalizado del sistema de dopamina mesofrontal de primates. Cereb Cortex. 1998; 8: 321 – 345. ElPubMed]
253. Winn P. ¿Cuál es la mejor manera de considerar la estructura y función del núcleo tegmental pedunculopontino: evidencia de estudios en animales? Revista de las Ciencias Neurológicas. 2006; 248: 234 – 250. ElPubMed]
254. RA sabio. Dopamina, aprendizaje y motivación. Nat Rev Neurosci. 2004; 5: 483 – 494. ElPubMed]
255. RA sabio. Sustratos Forebrain de recompensa y motivación. La revista de neurología comparativa. 2005; 493: 115 – 121. ElArtículo gratuito de PMC] [PubMed]
256. SP sabio. Campos frontales delanteros: filogenia y función fundamental. Tendencias en las neurociencias. 2008; 31: 599 – 608. ElArtículo gratuito de PMC] [PubMed]
257. Yamada H, Matsumoto N, Kimura M. Las neuronas tónicamente activas en el núcleo caudado de los primates y el putamen codifican diferencialmente los resultados motivacionales motivados de la acción. J Neurosci. 2004; 24: 3500 – 3510. ElPubMed]
258. Yamada H, Matsumoto N, Kimura M. Codificación basada en la historia y en la actualidad de los próximos resultados de comportamiento en el cuerpo estriado. J. Neurofisiol. 2007; 98: 3557 – 3567. ElPubMed]
259. Yin HH, Knowlton BJ. El papel de los ganglios basales en la formación del hábito. Nat Rev Neurosci. 2006; 7: 464 – 476. ElPubMed]
260. Joven AM, Moran PM, Joseph MH. El papel de la dopamina en el condicionamiento y la inhibición latente: ¿qué, cuándo, dónde y cómo? Revisiones de neurociencia y bio comportamiento. 2005; 29: 963 – 976. ElPubMed]
261. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Las neuronas de la sustancia humana nigra codifican recompensas financieras inesperadas. Ciencia. 2009; 323: 1496 – 1499. ElArtículo gratuito de PMC] [PubMed]
262. Zahniser NR, Sorkin A. Regulación rápida del transportador de dopamina: ¿papel en la adicción a los estimulantes? Neurofarmacología. 2004; 47 Suppl 1: 80 – 91. ElPubMed]
263. Zhang L, Doyon WM, Clark JJ, Phillips PE, Dani JA. Controles de transmisión tónica y fásica de dopamina en el estriado dorsal y ventral. Farmacología molecular. 2009; 76: 396 – 404. ElArtículo gratuito de PMC] [PubMed]
264. Zink CF, Pagnoni G, Martin ME, Dhamala M, Berns GS. Respuesta del cuerpo estriado humano a estímulos salientes no recompensados. Diario de la neurociencia. 2003; 23: 8092 – 8097. ElPubMed]
265. Zweifel LS, Argilli E, Bonci A, Palmiter RD. Papel de los receptores de NMDA en las neuronas de dopamina para la plasticidad y las conductas adictivas. Neurona. 2008; 59: 486 – 496. ElArtículo gratuito de PMC] [PubMed]
266. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, et al. La interrupción de los disparos en ráfaga dependientes de NMDAR por las neuronas de dopamina proporciona una evaluación selectiva del comportamiento dependiente de la dopamina fásica. Actas de la Academia Nacional de Ciencias de los Estados Unidos de América. 2009; 106: 7281 – 7288. ElArtículo gratuito de PMC] [PubMed]