Señal de recompensa predictiva de las neuronas dopaminérgicas (1998)

Funciones de recompensas.

Ciertos objetos y eventos en el medio ambiente tienen una importancia motivacional particular por sus efectos sobre el bienestar, la supervivencia y la reproducción. De acuerdo con las reacciones de comportamiento provocadas, el valor motivacional de los objetos ambientales puede ser apetitivo (gratificante) o aversivo (castigo). (Tenga en cuenta que "appetitive" se usa como sinónimo de "recompensar" pero no para "preparatorio".) Los objetos apetitosos tienen tres funciones básicas separables. En su primera función, premia el enfoque provocado y el comportamiento consumatorio. Esto se debe a que los objetos se etiquetan con valor apetitivo a través de mecanismos innatos o, en la mayoría de los casos, de aprendizaje. En su segunda función, las recompensas aumentan la frecuencia e intensidad del comportamiento que conduce a tales objetos (aprendizaje), y mantienen el comportamiento aprendido al prevenir la extinción. Las recompensas sirven como refuerzos positivos del comportamiento en los procedimientos de condicionamiento clásico e instrumental. En general, el aprendizaje de incentivos, los estímulos ambientales adquieren un valor apetitivo después de asociaciones de estímulo-recompensa condicionadas clásicamente e inducen un comportamiento de acercamiento (Bindra 1968). En el condicionamiento instrumental, las recompensas "refuerzan" las conductas al fortalecer las asociaciones entre los estímulos y las respuestas de conducta (Ley de Efecto: Thorndike 1911). Esta es la esencia de "volver por más" y está relacionada con la noción común de recompensas que se obtienen por haber hecho algo bien. En una forma instrumental de aprendizaje de incentivos, las recompensas son "incentivos" y sirven como objetivos de comportamiento después de las asociaciones entre respuestas de comportamiento y resultados (Dickinson y Balleine 1994). En su tercera función, las recompensas inducen sentimientos subjetivos de placer (hedonia) y estados emocionales positivos. Los estímulos aversivos funcionan en direcciones opuestas. Inducen respuestas de abstinencia y actúan como reforzadores negativos al aumentar y mantener el comportamiento de evitación en presentaciones repetidas, reduciendo así el impacto de eventos dañinos. Además, inducen estados emocionales internos de ira, miedo y pánico.

Funciones de las predicciones.

Las predicciones proporcionan información anticipada sobre futuros estímulos, eventos o estados del sistema. Proporcionan la ventaja básica de ganar tiempo para las reacciones de comportamiento. Algunas formas de predicción atribuyen los valores motivacionales a los estímulos ambientales mediante la asociación con resultados particulares, identificando así objetos de importancia vital y discriminándolos de objetos menos valiosos. Otras formas codifican los parámetros físicos de los objetos predichos, como la posición espacial, la velocidad y el peso. Las predicciones permiten que un organismo evalúe eventos futuros antes de que realmente ocurran, permiten la selección y preparación de reacciones de comportamiento, y aumentan la probabilidad de acercarse o evitar objetos etiquetados con valores motivacionales. Por ejemplo, los movimientos repetidos de objetos en la misma secuencia permiten predecir las próximas posiciones y ya preparar el siguiente movimiento mientras se persigue el objeto presente. Esto reduce el tiempo de reacción entre objetivos individuales, acelera el rendimiento general y da como resultado un resultado anterior. Los movimientos oculares predictivos mejoran el rendimiento del comportamiento mediante un enfoque avanzado (1978 Flores y Plumas).

A un nivel más avanzado, la información avanzada proporcionada por las predicciones permite tomar decisiones entre alternativas para alcanzar estados particulares del sistema, acercarse a los objetivos que ocurren con poca frecuencia o evitar efectos adversos irreparables. Las aplicaciones industriales utilizan el control interno del modelo para predecir y reaccionar a los estados del sistema antes de que realmente ocurran (Garcia et al. 1989). Por ejemplo, la técnica de "vuelo por cable" en la aviación moderna calcula los próximos estados predecibles de los aviones. Las decisiones para las maniobras de vuelo toman en cuenta esta información y ayudan a evitar una tensión excesiva en los componentes mecánicos del avión, lo que reduce el peso y aumenta el rango de operación.

El uso de información predictiva depende de la naturaleza de los eventos futuros representados o estados del sistema. Las representaciones simples se relacionan directamente con la posición de los próximos objetivos y la reacción del comportamiento resultante, lo que reduce el tiempo de reacción de manera bastante automática. Las formas más altas de predicciones se basan en representaciones que permiten la inferencia lógica, a las que se puede acceder y tratar con diversos grados de intencionalidad y elección. A menudo se procesan conscientemente en los seres humanos. Antes de que ocurran los eventos o estados del sistema predichos y se lleven a cabo reacciones de comportamiento, tales predicciones permiten evaluar mentalmente varias estrategias integrando el conocimiento de diferentes fuentes, diseñando varias formas de reacción y comparando las ganancias y pérdidas de cada reacción posible.

Condicionamiento conductual

El aprendizaje apetitivo asociativo involucra la pareja repetida y contingente entre un estímulo arbitrario y una recompensa primaria (Fig. 1). Esto resulta en un comportamiento de acercamiento cada vez más frecuente inducido por el estímulo ahora "condicionado", que se asemeja en parte al comportamiento de acercamiento provocado por la recompensa primaria y también está influenciado por la naturaleza del estímulo condicionado. Parece que el estímulo condicionado sirve como predictor de recompensa y, a menudo sobre la base de un impulso apropiado, establece un estado motivacional interno que conduce a la reacción conductual. La similitud de las reacciones de aproximación sugiere que algunos de los componentes generales y preparatorios de la respuesta conductual se transfieren de la recompensa primaria al estímulo condicionado y predecible de recompensa más temprano. Por lo tanto, el estímulo condicionado actúa en parte como un sustituto motivacional del estímulo primario, probablemente a través del aprendizaje pavloviano (Dickinson 1980).

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 1. 

Procesamiento de estímulos apetitivos durante el aprendizaje. Un estímulo arbitrario se asocia con un alimento primario o recompensa líquida a través de pares repetidos y contingentes. Este estímulo condicionado que predice la recompensa induce un estado motivacional interno al evocar una expectativa de la recompensa, a menudo sobre la base de un impulso de hambre o sed correspondiente, y provoca la reacción de comportamiento. Este esquema replica nociones básicas de la teoría de la motivación de incentivos desarrollada por Bindra (1968) y Bolles (1972). Se aplica al condicionamiento clásico, donde la recompensa se entrega automáticamente después del estímulo condicionado, y al condicionamiento instrumental (operante), donde la entrega de la recompensa requiere una reacción del sujeto al estímulo condicionado. Este esquema se aplica también al condicionamiento aversivo que no se elabora más por razones de brevedad.

Muchas de las llamadas recompensas de alimentos y líquidos "no condicionadas" probablemente se aprenden a través de la experiencia, como lo pueden confirmar todos los visitantes a países extranjeros. La recompensa primaria entonces podría consistir en el sabor experimentado cuando el objeto activa los receptores gustativos, pero eso también puede aprenderse. El efecto de recompensa final de los objetos de nutrientes probablemente consiste en sus influencias específicas sobre variables biológicas básicas, como las concentraciones de electrolitos, glucosa o aminoácidos en plasma y cerebro. Estas variables están definidas por las necesidades vegetativas del organismo y surgen a través de la evolución. Los animales evitan los nutrientes que no logran influir en importantes variables vegetativas, por ejemplo, los alimentos que carecen de aminoácidos esenciales como la histidina (Rogers y Harper 1970), treonina (Hrupka et al. 1997; Wang et al. 1996), o metionina (Delaney y Gelperin 1986). Unas cuantas recompensas primarias pueden ser determinadas por instintos innatos y apoyan el comportamiento y la ingestión iniciales en la vida temprana, mientras que la mayoría de las recompensas se aprenderían durante la experiencia de vida posterior del sujeto. La apariencia física de las recompensas podría utilizarse para predecir los efectos vegetativos mucho más lentos. Esto aceleraría dramáticamente la detección de recompensas y constituiría una ventaja importante para la supervivencia. El aprendizaje de recompensas también permite a los sujetos usar una variedad mucho más grande de nutrientes como recompensas efectivas y, por lo tanto, aumentan sus posibilidades de supervivencia en zonas de escasos recursos.

Activación por estímulos primarios del apetito.

Alrededor del 75% de neuronas de dopamina muestran activaciones fásicas cuando los animales tocan un pequeño bocado de alimento oculto durante los movimientos de exploración en ausencia de otros estímulos fásicos, sin ser activados por el movimiento en sí (Romo y Schultz 1990). Las neuronas de dopamina restantes no responden a ninguno de los estímulos ambientales probados. Las neuronas de dopamina también son activadas por una gota de líquido administrado en la boca fuera de cualquier tarea conductual o al aprender paradigmas tan diferentes como las tareas de tiempo de reacción visual o auditiva, respuesta o alternancia espacial retardada y discriminación visual, a menudo en el mismo animal (Fig. . 2 parte superior) (Hollerman y Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz y Schultz 1994; Schultz et al. 1993). Las respuestas de recompensa ocurren independientemente de un contexto de aprendizaje. Por lo tanto, las neuronas de dopamina no parecen discriminar entre diferentes objetos de alimentos y recompensas de líquidos. Sin embargo, sus respuestas distinguen las recompensas de los objetos no recompensados ​​(Romo y Schultz 1990). Solo el 14% de las neuronas de dopamina muestran las activaciones fásicas cuando se presentan estímulos aversivos primarios, como una bocanada de aire en la mano o solución salina hipertónica en la boca, y la mayoría de las neuronas activadas responden también a recompensas (Mirenowicz y Schultz 1996). Aunque no son desagradables, estos estímulos son aversivos porque interrumpen el comportamiento e inducen reacciones de evitación activa. Sin embargo, las neuronas de dopamina no son totalmente insensibles a los estímulos aversivos, como lo demuestran las depresiones lentas o las activaciones ocasionales lentas después del dolor, los estímulos de pellizco en monos anestesiados (Schultz y Romo 1987) y por el aumento de la liberación de dopamina estriatal después de una descarga eléctrica y una pizca de la cola en ratas despiertas (Abercrombie et al. 1989; Doherty y Gratton 1992; Louilot et al. 1986; Young et al. 1993). Esto sugiere que las respuestas fásicas de las neuronas de dopamina informan preferentemente de estímulos ambientales con valor apetitivo primario, mientras que los eventos adversos pueden señalarse con un curso de tiempo considerablemente más lento.

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 2. 

Las neuronas de la dopamina reportan recompensas de acuerdo con un error en la predicción de la recompensa. Top: se produce una caída de líquido aunque no se prevé una recompensa en este momento. La ocurrencia de la recompensa constituye un error positivo en la predicción de la recompensa. La neurona de la dopamina se activa por la aparición imprevista del líquido. Segundo Nombre: el estímulo condicionado predice una recompensa, y la recompensa se produce de acuerdo con la predicción, por lo tanto, no hay error en la predicción de la recompensa. La neurona de la dopamina no se activa por la recompensa prevista (Correcto). También muestra una activación después del estímulo que predice la recompensa, que ocurre independientemente de un error en la predicción de la recompensa posterior. (izquierda). Fondo: el estímulo condicionado predice una recompensa, pero la recompensa no se produce debido a la falta de reacción del animal. La actividad de la neurona dopaminérgica se deprime exactamente en el momento en que se habría producido la recompensa. Tenga en cuenta la depresión que ocurre> 1 s después del estímulo condicionado sin ningún estímulo intermedio, revelando un proceso interno de expectativa de recompensa. La actividad neuronal en los 3 gráficos sigue la ecuación: respuesta de dopamina (Recompensa) = recompensa ocurrida - recompensa predicha. CS, estímulo condicionado; R, recompensa principal. Reimpreso de Schultz et al. (1997) con permiso de la Asociación Americana para el Avance de la Ciencia.

Imprevisibilidad de la recompensa

Una característica importante de las respuestas de dopamina es su dependencia de la imprevisibilidad de los eventos. Las activaciones que siguen a las recompensas no se producen cuando las recompensas de alimentos y líquidos están precedidas por estímulos fásicos que han sido condicionados para predecir tales recompensas (la Fig. 2, medio) (Ljungberg et al. 1992; Mirenowicz y Schultz 1994; Romo y Schultz 1990). Una diferencia crucial entre el aprendizaje y el comportamiento totalmente adquirido es el grado de impredecibilidad de la recompensa. Las neuronas de dopamina se activan mediante recompensas durante la fase de aprendizaje, pero dejan de responder después de la adquisición completa de las tareas de tiempo de reacción visual y auditivaLjungberg et al. 1992; Mirenowicz y Schultz 1994), tareas de respuesta demorada espacial (Schultz et al. 1993), y discriminaciones visuales simultáneas (Hollerman y Schultz 1996). La pérdida de respuesta no se debe a una insensibilidad general en desarrollo a las recompensas, ya que las activaciones posteriores a las recompensas otorgadas fuera de las tareas no disminuyen durante varios meses de experimentación (Mirenowicz y Schultz 1994). La importancia de la imprevisibilidad incluye el momento de la recompensa, como lo demuestran las activaciones transitorias que siguen a las recompensas que se entregan repentinamente antes o después de lo previsto (Hollerman y Schultz 1996). En conjunto, la aparición de la recompensa, incluido su tiempo, debe ser impredecible para activar las neuronas de dopamina.

Depresión por omisión de la recompensa prevista.

Las neuronas de la dopamina están deprimidas exactamente en el momento de la aparición habitual de la recompensa cuando no se produce una recompensa completamente predicha, incluso en ausencia de un estímulo inmediatamente anterior (Fig. 2, fondo). Esto se observa cuando los animales no obtienen una recompensa debido a un comportamiento erróneo, cuando el experimentador detiene el flujo de líquido a pesar del comportamiento correcto, o cuando una válvula se abre de forma audible sin suministrar líquido (Hollerman y Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). Cuando la entrega de la recompensa se retrasa para 0.5 o 1.0 s, se produce una depresión de la actividad neuronal en el momento regular de la recompensa, y una activación sigue a la recompensa en el nuevo momento (Hollerman y Schultz 1996). Ambas respuestas ocurren solo durante unas pocas repeticiones hasta que el nuevo momento de entrega de recompensa se predice nuevamente. Por el contrario, entregar la recompensa antes de lo habitual resulta en una activación en el nuevo momento de la recompensa, pero no logra inducir una depresión en el momento habitual. Esto sugiere que la entrega de recompensas inusualmente temprana cancela la predicción de recompensa por el tiempo habitual. Así, las neuronas de dopamina monitorean tanto la ocurrencia como el tiempo de recompensa. En ausencia de estímulos inmediatamente anteriores a la recompensa omitida, las depresiones no constituyen una respuesta neuronal simple sino que reflejan un proceso de expectativa basado en un reloj interno que rastrea el tiempo preciso de la recompensa predicha.

Activación por estímulos condicionados, predictores de recompensa.

Acerca de 55-70 El% de las neuronas de dopamina se activan mediante estímulos visuales y auditivos condicionados en las diversas tareas condicionadas de forma clásica o instrumental descritas anteriormente (Fig. 2, medio y fondo) (Hollerman y Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz y Schultz 1994; Schultz 1986; Schultz y Romo 1990; P. Waelti, J. Mirenowicz y W. Schultz, datos no publicados). Las primeras respuestas de dopamina a la luz condicionada fueron reportadas por Miller et al. (1981) en ratas tratadas con haloperidol, lo que aumentó la incidencia y la actividad espontánea de las neuronas de dopamina, pero dio lugar a respuestas más sostenidas que en los animales no ingeridos. Aunque las respuestas ocurren cerca de las reacciones de comportamiento (Nishino et al. 1987), no están relacionados con los movimientos de los brazos y los ojos, ya que se producen también ipsolaterales al brazo en movimiento y en las pruebas sin movimientos de los brazos o los ojos (Schultz y Romo 1990). Los estímulos condicionados son algo menos efectivos que las recompensas primarias en términos de magnitud de respuesta y fracciones de neuronas activadas. Las neuronas de dopamina responden solo a la aparición de estímulos condicionados y no a su compensación, incluso si la compensación de estímulo predice la recompensa (Schultz y Romo 1990). Las neuronas de dopamina no distinguen entre las modalidades visuales y auditivas de los estímulos del apetito condicionados. Sin embargo, discriminan entre estímulos apetitosos y neutros o aversivos, siempre que sean físicamente lo suficientemente diferentes (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz y W. Schultz, datos no publicados). Solo el 11% de las neuronas de dopamina, la mayoría con respuestas apetitivas, muestran las activaciones fásicas típicas también en respuesta a estímulos visuales o auditivos aversivos condicionados en tareas de evitación activa en las que los animales liberan una clave para evitar una bocanada de aire o una gota de solución salina hipertónica (Mirenowicz y Schultz 1996), aunque tal evitación puede verse como "gratificante". Estas pocas activaciones no son lo suficientemente fuertes como para inducir una respuesta promedio de la población. Por lo tanto, las respuestas fásicas de las neuronas de dopamina informan de manera preferente los estímulos ambientales con un valor motivacional apetitivo, pero sin discriminar entre diferentes modalidades sensoriales.

Transferencia de activación

Durante el curso del aprendizaje, las neuronas de la dopamina se activan gradualmente por estímulos condicionados que predicen la recompensa y pierden progresivamente sus respuestas a los alimentos primarios o recompensas líquidas que se pronostican (Hollerman y Schultz 1996; Ljungberg et al. 1992; Mirenowicz y Schultz 1994) (Figs. 2 y 3). Durante un período de aprendizaje transitorio, tanto las recompensas como los estímulos condicionados provocan activaciones de dopamina. Esta transferencia de la recompensa primaria al estímulo condicionado ocurre instantáneamente en las neuronas de dopamina individuales probadas en dos tareas bien aprendidas que emplean, respectivamente, recompensas imprevistas y predichas (Romo y Schultz 1990).

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 3. 

Transferencia de la respuesta de la dopamina al estímulo predictivo más temprano. Las respuestas a la transferencia de recompensa primaria imprevista a estímulos progresivamente anteriores de predicción de recompensa. Todas las pantallas muestran los histogramas de población obtenidos al promediar los histogramas de tiempo perieventes normalizados de todas las neuronas de dopamina registradas en las situaciones de comportamiento indicadas, independientemente de la presencia o ausencia de una respuesta. Top: fuera de cualquier tarea de comportamiento, no hay respuesta de la población en las neuronas 44 probadas con una luz pequeña (datos de Ljungberg et al. 1992), pero se produce una respuesta promedio en 35 neuronas a una gota de líquido entregada en un pico frente a la boca del animal (Mirenowicz y Schultz 1994). Segundo Nombre: respuesta a un estímulo desencadenante de predicción de recompensa en una tarea de alcance espacial de elección 2, pero ausencia de respuesta a la recompensa entregada durante el desempeño de la tarea establecida en las mismas neuronas 23 (Schultz et al. 1993). Fondo: respuesta a una indicación de instrucción que precede al estímulo de activación de predicción de recompensa por un intervalo fijo de 1 s en una tarea de alcance espacial instruida (neuronas 19) (Schultz et al. 1993). La base de tiempo se divide debido a los intervalos variables entre los estímulos condicionados y la recompensa. Reimpreso de Schultz et al. (1995b) con permiso de MIT Press.

Impredecibilidad de estímulos condicionados.

Las activaciones después de los estímulos condicionados, que predicen la recompensa, no ocurren cuando estos estímulos son precedidos en un intervalo fijo por estímulos condicionados por fases en situaciones de comportamiento completamente establecidas. Así, con los estímulos condicionados en serie, las neuronas de la dopamina se activan por el estímulo más temprano que predice la recompensa, mientras que todos los estímulos y recompensas que siguen en los momentos predecibles después son ineficaces (la Fig. 3) (Schultz et al. 1993). Sólo los estímulos secuenciales espaciados aleatoriamente provocan respuestas individuales. Además, el sobreentrenamiento extenso con el desempeño de tareas altamente estereotipado atenúa las respuestas a los estímulos condicionados, probablemente debido a que los estímulos se predicen por los eventos en el ensayo anterior (Ljungberg et al. 1992). Esto sugiere que la imprevisibilidad del estímulo es un requisito común para todos los estímulos que activan las neuronas de dopamina.

Depresión por omisión de estímulos condicionados predichos.

Datos preliminares de un experimento anterior (Schultz et al. 1993) sugieren que las neuronas de la dopamina también están deprimidas cuando un estímulo precedente predice un estímulo condicionado que predice la recompensa en un momento determinado, pero no se produce debido a un error del animal. Al igual que con las recompensas primarias, las depresiones se producen en el momento de la aparición habitual del estímulo condicionado, sin ser provocadas directamente por un estímulo precedente. Por lo tanto, la depresión inducida por la omisión puede generalizarse a todos los eventos apetitivos.

Activación-depresión con generalización de respuesta.

Las neuronas de la dopamina también responden a estímulos que no predicen recompensas pero se parecen mucho a estímulos que predicen recompensas que ocurren en el mismo contexto. Estas respuestas consisten principalmente en una activación seguida de una depresión inmediata, pero en ocasiones pueden consistir en activación pura o depresión pura. Las activaciones son más pequeñas y menos frecuentes que las que siguen los estímulos que predicen la recompensa, y las depresiones se observan en 30 – 60% de las neuronas. Las neuronas de la dopamina responden a estímulos visuales que no son seguidos por una recompensa, pero se parecen mucho a estímulos que predicen la recompensa, a pesar de la correcta discriminación de comportamiento (Schultz y Romo 1990). La apertura de una caja vacía no activa las neuronas de dopamina, pero se hace efectiva en cada prueba tan pronto como la caja contenga ocasionalmente alimentos (Ljungberg et al. 1992; Schultz 1986; Schultz y Romo 1990) o cuando se abre una caja adyacente, idéntica, que siempre contiene alimentos, en alternancia aleatoria (Schultz y Romo 1990). La caja vacía provoca activaciones más débiles que la caja cebada. Los animales realizan reacciones de orientación ocular indiscriminadas a cada caja, pero solo se acercan a la caja cebada con su mano. Durante el aprendizaje, las neuronas de dopamina continúan respondiendo a estímulos condicionados previamente que pierden su predicción de recompensa cuando cambian las contingencias de recompensa (Schultz et al. 1993) o responder a nuevos estímulos que se parecen a estímulos previamente condicionados (Hollerman y Schultz 1996). Las respuestas se producen incluso ante estímulos aversivos presentados en alternancia aleatoria con estímulos apetitivos condicionados, similares a los físicos, de la misma modalidad sensorial, siendo la respuesta aversiva más débil que la apetitiva (Mirenowicz y Schultz 1996). Las respuestas se generalizan incluso a estímulos apetitivos extinguidos conductualmente. Aparentemente, las respuestas neuronales se generalizan a los estímulos no apetitosos debido a su parecido físico con los estímulos apetitivos.

Respuestas novedosas

Los nuevos estímulos provocan activaciones en las neuronas dopaminérgicas que a menudo van seguidas de depresiones y persisten mientras ocurren reacciones de orientación conductual (p. Ej., Movimientos sacádicos oculares). Las activaciones disminuyen junto con las reacciones de orientación después de varias repeticiones de estímulos, dependiendo del impacto físico de los estímulos. Mientras que los pequeños diodos emisores de luz apenas provocan respuestas novedosas, los destellos de luz y la rápida apertura visual y auditiva de una pequeña caja provocan activaciones que decaen gradualmente hasta la línea de base durante <100 ensayos (Ljungberg et al. 1992). Los clics fuertes o las imágenes grandes inmediatamente delante de un animal provocan fuertes respuestas novedosas que se deterioran pero aún inducen activaciones mensurables con> 1,000 ensayos (Hollerman y Schultz 1996; Horvitz et al. 1997; Steinfels et al. 1983). Figura 4 Muestra esquemáticamente las diferentes magnitudes de respuesta con estímulos novedosos de diferente prominencia física. Las respuestas decaen gradualmente con la exposición repetida, pero pueden persistir en magnitudes reducidas con estímulos muy salientes. Las magnitudes de respuesta aumentan nuevamente cuando los mismos estímulos están condicionados apetitosamente. Por el contrario, las respuestas a estímulos nuevos, incluso grandes, disminuyen rápidamente cuando los estímulos se utilizan para condicionar el comportamiento de evitación activa (Mirenowicz y Schultz 1996). Muy pocas neuronas (<5%) responden durante más de unos pocos intentos a estímulos visibles pero físicamente débiles, como el desmoronamiento del papel o los movimientos bruscos de la mano del experimentador.

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 4. 

Cursos de tiempo de activaciones de las neuronas de dopamina a estímulos nuevos, de alerta y condicionados. Las activaciones después de estímulos nuevos disminuyen con la exposición repetida en ensayos consecutivos. Su magnitud depende de la prominencia física de los estímulos, ya que los estímulos más fuertes inducen activaciones más altas que ocasionalmente superan las de los estímulos condicionados. Los estímulos particularmente salientes continúan activando las neuronas de dopamina con una magnitud limitada incluso después de perder su novedad sin estar emparejados con recompensas primarias. Las activaciones consistentes aparecen nuevamente cuando los estímulos se asocian con recompensas primarias. Este esquema fue aportado por José Contreras-Vidal.

Carácter homogéneo de las respuestas.

Los experimentos realizados hasta ahora han revelado que la mayoría de las neuronas en los grupos de células de dopamina del cerebro medio A8, A9 y A10 muestran activaciones y depresiones muy similares en una situación conductual dada, mientras que las neuronas de dopamina restantes no responden en absoluto. Existe una tendencia a que las fracciones más altas de neuronas respondan en más regiones mediales del mesencéfalo, como el área tegmental ventral y la sustancia negra medial, en comparación con regiones más laterales, que ocasionalmente alcanzan significación estadística (Schultz 1986; Schultz et al. 1993). Las latencias de respuesta (50 a 110 ms) y las duraciones (<200 ms) son similares entre las recompensas primarias, los estímulos condicionados y los estímulos nuevos. Por tanto, la respuesta a la dopamina constituye una señal de población escalar relativamente homogénea. Se clasifica en magnitud por la capacidad de respuesta de las neuronas individuales y por la fracción de neuronas que responden dentro de la población.

Resumen 1: respuestas adaptativas durante los episodios de aprendizaje

Las características de las respuestas de dopamina a los estímulos relacionados con la recompensa se ilustran mejor en los episodios de aprendizaje durante los cuales las recompensas son particularmente importantes para adquirir respuestas de comportamiento. La señal de recompensa de dopamina experimenta cambios sistemáticos durante el progreso del aprendizaje y se produce hasta el estímulo relacionado con la recompensa fásica más temprana, ya sea una recompensa primaria o un estímulo que predice la recompensa (Ljungberg et al. 1992; Mirenowicz y Schultz 1994). Durante el aprendizaje, los estímulos novedosos e intrínsecamente neutros inducen transitoriamente respuestas que se debilitan pronto y desaparecen (Fig. 4). Las recompensas primarias se producen de forma impredecible durante el emparejamiento inicial con tales estímulos y provocan activaciones neuronales. Con el emparejamiento repetido, los estímulos condicionados predicen las recompensas. Las activaciones después de la recompensa disminuyen gradualmente y se transfieren al estímulo condicionado que predice la recompensa. Sin embargo, si una recompensa predicha no se produce debido a un error del animal, las neuronas de dopamina se deprimen en el momento en que se habría producido la recompensa. Durante el aprendizaje repetido de tareas (Schultz et al. 1993) o componentes de tareas (Hollerman y Schultz 1996), los estímulos condicionados más tempranos activan las neuronas de dopamina durante todas las fases de aprendizaje debido a la generalización de estímulos similares aprendidos previamente, mientras que los estímulos condicionados subsiguientes y las recompensas primarias activan las neuronas de dopamina solo de forma transitoria, mientras que son inciertos y se establecen nuevas contingencias.

Resumen 2: estímulos efectivos para las neuronas dopaminérgicas

Las respuestas a la dopamina son provocadas por tres categorías de estímulos. La primera categoría comprende recompensas primarias y estímulos que se han convertido en predictores de recompensa válidos a través de un emparejamiento repetido y contingente con recompensas. Estos estímulos forman una clase común de estímulos explícitos que predicen la recompensa, ya que las recompensas primarias sirven como predictores de los efectos de recompensa vegetativa. Los estímulos efectivos aparentemente tienen un componente de alerta, ya que solo los estímulos con un inicio claro son efectivos. Las neuronas de dopamina muestran activaciones puras siguiendo estímulos explícitos de predicción de recompensa y se deprimen cuando no se produce una recompensa predicha pero omitida (Fig. 5, parte superior).

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 5. 

Visualización esquemática de las respuestas de las neuronas de dopamina a los tipos de estímulos condicionados de 2. Top: la presentación de un estímulo explícito de predicción de recompensa conduce a la activación después del estímulo, no responde a la recompensa predicha, y la depresión cuando no se produce una recompensa predicha. Fondo: la presentación de un estímulo que se parece mucho a un estímulo condicionado que predice la recompensa conduce a la activación seguida de depresión, activación después de la recompensa, y no hay respuesta cuando no se produce la recompensa. La activación después del estímulo probablemente refleja la generalización de la respuesta debido a la similitud física. Este estímulo no predice explícitamente una recompensa, sino que está relacionado con la recompensa a través de su similitud con el estímulo que predice la recompensa. En comparación con los estímulos explícitos de predicción de recompensa, las activaciones son más bajas y, a menudo, están seguidas de depresiones, lo que discrimina entre estímulos condicionados recompensados ​​(CS +) y no recompensados ​​(CS-). Este esquema resume los resultados de experimentos anteriores y actuales (Hollerman y Schultz 1996; Ljungberg et al. 1992; Mirenowicz y Schultz 1996; Schultz y Romo 1990; Schultz et al. 1993; P. Waelti y W. Schultz, resultados no publicados).

La segunda categoría comprende estímulos que provocan respuestas generalizadoras. Estos estímulos no predicen explícitamente las recompensas, pero son efectivos debido a su similitud física con los estímulos que se han convertido en predictores explícitos de recompensa a través del condicionamiento. Estos estímulos inducen activaciones de menor magnitud y enganchan menos neuronas, en comparación con los estímulos explícitos que predicen la recompensa (Fig. 5, fondo). Suelen ser seguidas por depresiones inmediatas. Mientras que la activación inicial puede constituir una respuesta apetitiva generalizada que señala una posible recompensa, la depresión posterior puede reflejar la predicción de no recompensa en un contexto general de predicción de recompensa y cancelar el supuesto erróneo de recompensa. La falta de predicción explícita de recompensa se sugiere aún más por la presencia de activación después de la recompensa primaria y la ausencia de depresión sin recompensa. Junto con las respuestas a los estímulos que predicen la recompensa, parece que las activaciones de la dopamina informan una "etiqueta" apetitiva adherida a los estímulos relacionados con las recompensas.

La tercera categoría comprende estímulos nuevos o particularmente destacados que no están necesariamente relacionados con recompensas específicas. Al provocar reacciones de orientación conductual, estos estímulos alertan y llaman la atención. Sin embargo, también tienen funciones motivadoras y pueden ser gratificantes (Fujita 1987). Los estímulos nuevos son potencialmente apetitosos. Los estímulos nuevos o particularmente salientes inducen activaciones que son seguidas con frecuencia por depresiones, similares a las respuestas a estímulos generalizadores.

Por lo tanto, las respuestas fásicas de las neuronas de dopamina informan eventos con efectos motivadores positivos y potencialmente positivos, como recompensas primarias, estímulos que predicen recompensas, eventos parecidos a recompensas y estímulos de alerta. Sin embargo, no detectan en gran medida eventos con efectos motivadores negativos, como los estímulos aversivos.

Resumen 3: la señal de error de predicción de la recompensa de dopamina

Las respuestas de la dopamina a eventos explícitos relacionados con la recompensa se pueden conceptualizar y comprender mejor en términos de teorías formales de aprendizaje. Las neuronas de dopamina reportan recompensas relativas a su predicción en lugar de señalar las recompensas primarias incondicionalmente (Fig. 2). La respuesta de la dopamina es positiva (activación) cuando se producen recompensas primarias sin ser predicho. La respuesta es nula cuando las recompensas se producen según lo previsto. La respuesta es negativa (depresión) cuando se omiten las recompensas previstas. Por lo tanto, las neuronas de dopamina reportan recompensas primarias de acuerdo con la diferencia entre la ocurrencia y la predicción de recompensa, lo que puede denominarse un error en la predicción de recompensa (Schultz et al. 1995b, 1997) y se formaliza provisionalmente como

Ecuación 1T. Esta sugerencia se puede extender a eventos de apetito condicionados que también son reportados por las neuronas de dopamina en relación con la predicción. Así, las neuronas de la dopamina pueden reportar un error en la predicción de todos los eventos del apetito, y Ec. 1 Se puede afirmar en la forma más general.

Ecuación 2Esta generalización es compatible con la idea de que la mayoría de las recompensas son en realidad estímulos condicionados. Con varios eventos consecutivos y bien establecidos que predicen la recompensa, solo el primer evento es impredecible y provoca la activación de la dopamina.

Origen de la respuesta a la dopamina.

¿Qué aportaciones anatómicas podrían ser responsables de la selectividad y la naturaleza polisensorial de las respuestas de dopamina? ¿Qué actividad de entrada podría llevar a la codificación de los errores de predicción, inducir la transferencia de respuesta adaptativa al primer evento de apetito impredecible y estimar el tiempo de recompensa?

Influencia de la dopamina fásica en las estructuras diana

NATURALEZA GLOBAL DE LA SEÑAL DE DOPAMINA.

Proyecciones divergentes. Hay neuronas de dopamina ∼8,000 en cada sustancia negra de ratas (Oorschot 1996) y 80,000 – 116,000 en monos macacos (German et al. 1988; Percheron et al. 1989). Cada estriado contiene ∼2.8 millones de neuronas en ratas y 31 millones en macacos, lo que resulta en un factor de divergencia nigrostriatal de 300-400. Cada axón de dopamina se ramifica abundantemente en un área terminal limitada en el cuerpo estriado y tiene ∼500,000 varicosidades del cuerpo estriado desde las cuales se libera la dopamina (Andén et al. 1966). Esto da lugar a la entrada de dopamina a casi todas las neuronas del estriado (Groves et al. 1995) y una proyección nigrostriatal moderadamente topográfica (Lynd-Balta y Haber 1994). La inervación de dopamina cortical en monos es más alta en las áreas 4 y 6, aún es considerable en los lóbulos frontal, parietal y temporal, y es más baja en el lóbulo occipital (Berger et al. 1988; Williams y Goldman-Rakic ​​1993). Las sinapsis de dopamina cortical se encuentran predominantemente en las capas I y V – VI, y ponen en contacto una gran proporción de neuronas corticales allí. Junto con la naturaleza de respuesta más bien homogénea, estos datos sugieren que la respuesta de la dopamina avanza como una onda de actividad simultánea y paralela desde el cerebro medio hasta el cuerpo estriado y la corteza frontal (Fig. 7).

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 7. 

La señal global de dopamina avanza hacia el estriado y la corteza. La respuesta de la población relativamente homogénea de la mayoría de las neuronas de dopamina a los estímulos apetitosos y de alerta y su progresión desde la sustancia negra a las estructuras postsinápticas se puede ver esquemáticamente como una ola de actividad sincrónica y paralela que avanza a una velocidad de 1-2 m / s (Schultz y Romo 1987) a lo largo de las proyecciones divergentes desde el cerebro medio hasta el estriado (caudado y putamen) y la corteza. Las respuestas son cualitativamente indistinguibles entre las neuronas de la sustancia negra (SN) y el área tegmental ventral (VTA). La inervación de todas las neuronas en el cuerpo estriado y muchas neuronas en la corteza frontal permitiría que la señal de refuerzo de la dopamina ejerza un efecto bastante global. Ola se ha comprimido para enfatizar la naturaleza paralela.

Liberación de dopamina. Los impulsos de las neuronas de dopamina a intervalos de 20 – 100 ms conducen a una concentración de dopamina mucho mayor en el cuerpo estriado que el mismo número de impulsos a intervalos de 200 ms (Garris y Wightman 1994; Gonon 1988). Esta no linealidad se debe principalmente a la rápida saturación del transportador de recaptación de dopamina, que elimina la dopamina liberada de la región extrasináptica (Chergui et al. 1994). El mismo efecto se observa en el núcleo accumbens (Wightman y Zimmerman 1990) y ocurre incluso con intervalos de impulso más largos debido a los sitios de recaptación más dispersos (Garris et al. 1994b; Marshall et al. 1990; Stamford et al. 1988). La liberación de dopamina después de una ráfaga de impulso de <300 ms es demasiado corta para activar la reducción de liberación mediada por autorreceptores (Chergui et al. 1994) o la degradación enzimática incluso más lenta (Michael et al. 1985). Por lo tanto, una respuesta de dopamina explosiva es particularmente eficaz para liberar dopamina.

Las estimaciones basadas en la voltametría in vivo sugieren que un solo impulso libera d1,000 moléculas de dopamina en las sinapsis en el cuerpo estriado y el núcleo accumbens. Esto conduce a concentraciones de dopamina sinápticas inmediatas de 0.5 – 3.0 μM (Garris et al. 1994a; Kawagoe et al. 1992). A los 40 μs después del inicio de la liberación,> 90% de la dopamina ha abandonado la sinapsis, y parte del resto se elimina más tarde por recaptación sináptica (la mitad del tiempo de inicio de 30 a 37 ms). De 3 a 9 ms después del inicio de la liberación, las concentraciones de dopamina alcanzan un pico de ~ 250 nM cuando todas las várices vecinas liberan dopamina simultáneamente. Las concentraciones son homogéneas dentro de una esfera de 4 μm de diámetro (Gonon 1997), que es la distancia media entre varicosidades (Doucet et al. 1986; Groves et al. 1995). La difusión máxima está restringida a 12 μm por el transportador de recaptación y se alcanza en 75 ms después del inicio de la liberación (tiempo de inicio de la mitad del transportador de 30 a 37 ms). Las concentraciones serían ligeramente más bajas y menos homogéneas en regiones con menos varices o cuando se activan <100% de las neuronas de dopamina, pero son dos o tres veces más altas con ráfagas de impulsos. Por tanto, las activaciones explosivas inducidas por recompensa, levemente sincrónicas, en aproximadamente el 75% de las neuronas de dopamina pueden producir picos de concentración bastante homogéneos del orden de 150 a 400 nM. Los aumentos totales de dopamina extracelular duran 200 ms después de un solo impulso y 500 a 600 ms después de múltiples impulsos de intervalos de 20 a 100 ms aplicados durante 100 a 200 ms (Chergui et al. 1994; Dugast et al. 1994). El transportador de recaptación extrasináptico (Nirenberg et al. 1996) posteriormente lleva las concentraciones de dopamina a su línea de base de 5 – 10 nM (Herrera-Marschitz et al. 1996). Por lo tanto, a diferencia de la neurotransmisión clásica, estrictamente sináptica, la dopamina liberada sinápticamente se difunde rápidamente hacia el área yuxtasináptica inmediata y alcanza picos cortos de concentraciones extracelulares homogéneas por regiones.

Receptores. De los dos tipos principales de receptores de dopamina, los receptores de tipo D1 activadores de adenilato ciclasa constituyen el ∼80% de receptores de dopamina en el cuerpo estriado. De estos 80% están en el estado de baja afinidad de 2 – 4 μM y 20% en el estado de alta afinidad de 9 – 74 nM (Richfield et al. 1989). El 20 restante de receptores de dopamina estriatal pertenece al tipo D2 inhibidor de la adenilasa ciclasa, del cual 10 – 0% está en el estado de baja afinidad y 80 – 90 en el estado de alta afinidad, con afinidades similares a los receptores D1. Por lo tanto, los receptores D1 en general tienen una afinidad ∼100 veces menor que los receptores D2. Los receptores estriatales D1 se encuentran predominantemente en las neuronas que se proyectan hacia el pálido interno y la sustancia negra pars reticulata, mientras que los receptores estriatales D2 se ubican principalmente en las neuronas que se proyectan hacia el pálido externo (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey et al. 1993). Sin embargo, las diferencias en la sensibilidad del receptor pueden no jugar un papel más allá de la transducción de señales, reduciendo así las diferencias en la sensibilidad a la dopamina entre los dos tipos de neuronas de salida del estriado.

La dopamina se libera a 30 – 40% desde synaptic y a 60 – 70% desde varicosidades extrasinápticas (Descarries et al. 1996). La dopamina liberada sinápticamente actúa sobre los receptores postsinápticos de dopamina en cuatro sitios anatómicamente distintos en el cuerpo estriado, es decir, dentro de las sinapsis de dopamina, inmediatamente adyacentes a las sinapsis de dopamina, dentro de las sinapsis de glutamato corticostriatal, y en sitios extrasinápticos alejados de los sitios de liberación (Fig. 8) (Levey et al. 1993; Sesack et al. 1994; Yung et al. 1995). Los receptores D1 se localizan principalmente fuera de las sinapsis de dopamina (Caillé et al. 1996). Las altas concentraciones transitorias de dopamina después de las explosiones de impulsos fásicos activarán los receptores D1 en las inmediaciones de los sitios de liberación activa y activarán e incluso saturarán los receptores D2 en todas partes. Los receptores D2 permanecerían parcialmente activados cuando la concentración de dopamina en el ambiente vuelva a la línea de base después de los incrementos fásicos.

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 8. 

Influencias de la liberación de dopamina en neuronas espinosas medianas típicas en el cuerpo estriado dorsal y ventral. La dopamina liberada por impulsos de las varices sinápticas activa algunos receptores sinápticos (probablemente de tipo D2 en el estado de baja afinidad) y se difunde rápidamente fuera de la sinapsis para alcanzar receptores de tipo D1 de baja afinidad (D1?) Que se encuentran cerca, dentro de las sinapsis corticostriatal , oa una distancia limitada. La dopamina aumentada de forma fásica activa los receptores de tipo D2 de alta afinidad cercanos a la saturación (D2?). Los receptores D2 permanecen parcialmente activados por las concentraciones de dopamina en el ambiente después del aumento fásico. La dopamina liberada por ultrasonido puede diluirse por difusión y activar los receptores D2 de alta afinidad. Cabe señalar que, en desacuerdo con este diagrama esquemático, la mayoría de los receptores D1 y D2 se encuentran en diferentes neuronas. El glutamato liberado de las terminales corticostriatales alcanza los receptores postsinápticos ubicados en las mismas espinas dendríticas que las varicosidades de dopamina. El glutamato también alcanza las varicosidades presinápticas de dopamina donde controla la liberación de dopamina. Las influencias de la dopamina en las neuronas espinosas en la corteza frontal son comparables en muchos aspectos.

Resumen. La respuesta observada, de estallido moderado, de corta duración, casi sincrónica, de la mayoría de las neuronas de dopamina conduce a una liberación óptima y simultánea de dopamina de la mayoría de las varicosidades estriatales estrechamente espaciadas. La respuesta neuronal induce una pequeña bocanada de dopamina que se libera de los sitios extrasinápticos o se difunde rápidamente de las sinapsis al área yuxtasináptica. La dopamina alcanza rápidamente concentraciones regionales homogéneas que probablemente influyan en las dendritas de probablemente todas las neuronas del estriado y muchas de las neuronas corticales. De esta manera, el mensaje de recompensa en 60 – 80% de las neuronas de dopamina se transmite como una señal de refuerzo divergente y bastante global al estriado, el núcleo accumbens y la corteza frontal, asegurando una influencia fásica en el número máximo de sinapsis involucradas en el procesamiento. de estímulos y acciones que conducen a la recompensa (fig. 7). La dopamina liberada por las activaciones neuronales después de las recompensas y los estímulos que predicen la recompensa afectaría los receptores juxtasinápticos D1 en las neuronas del estriado que se proyectan hacia el pálido interno y la sustancia negra pars reticulata y todos los receptores D2 en las neuronas que se proyectan hacia el pálido externo. La reducción de la liberación de dopamina inducida por depresiones con recompensas omitidas y estímulos que predicen la recompensa reduciría la estimulación tónica de los receptores D2 por la dopamina ambiental. Por lo tanto, los errores de predicción de la recompensa positiva influirían en todos los tipos de neuronas de salida del estriado, mientras que el error de predicción negativa podría influir predominantemente en las neuronas que se proyectan hacia el pálido externo.

Posibles mecanismos de cocaína. El bloqueo del transportador de recaptación de dopamina por drogas como la cocaína o la anfetamina aumenta y prolonga los aumentos fásicos en las concentraciones de dopamina (Iglesia et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). La mejora sería particularmente pronunciada cuando los aumentos rápidos en la concentración de dopamina inducidos por el estallido alcancen un pico antes de que la regulación por retroalimentación sea efectiva. Este mecanismo llevaría a una señal de dopamina mejorada masivamente después de las recompensas primarias y los estímulos que predicen la recompensa. También aumentaría la señal de dopamina algo más débil después de que los estímulos se asemejan a recompensas, estímulos novedosos y estímulos particularmente destacados que pueden ser frecuentes en la vida cotidiana. El aumento de la cocaína haría que estos estímulos no recompensados ​​parecieran tan fuertes o incluso más fuertes que las recompensas naturales sin cocaína. Las neuronas postsinápticas podrían malinterpretar esta señal como un evento particularmente importante relacionado con la recompensa y sufrir cambios a largo plazo en la transmisión sináptica.

Teorias de aprendizaje

Algoritmos de refuerzo

APRENDIZAJE DE LA DIFERENCIA TEMPORAL.

En una clase particularmente eficiente de algoritmos de refuerzo (Sutton 1988; Sutton y Barto 1981), los pesos sinápticos se modifican de acuerdo con el error en la predicción de refuerzo calculada en pasos de tiempo consecutivos (t) en cada prueba

rˆ(t)=r(t)+P(t)-P(t-l)

Ecuación 6where r es refuerzo y P Es la predicción del refuerzo. P (t) generalmente se multiplica por un factor de descuento γ con 0 ≤ γ <1 para dar cuenta de la influencia decreciente de recompensas cada vez más remotas. Por razones de simplicidad, γ se establece en 1 aquí. En el caso de un solo estímulo que predice un solo reforzador, la predicción P(t - 1) existe antes de la hora. t de refuerzo pero termina en el momento del refuerzo [P (t) = 0]. Esto conduce a una señal de refuerzo efectiva en el momento (T) de refuerzo

rˆ (t)=r(t)-P(t-l)

Ecuación 6aEl r̂(t) el término indica la diferencia entre el refuerzo real y el previsto. Durante el aprendizaje, el refuerzo se predice de forma incompleta, el término de error es positivo cuando se produce el refuerzo y aumentan los pesos sinápticos. Después de aprender, el refuerzo es completamente predicho por un estímulo precedente [P(t - 1) = r(t)], el término de error es nulo en el comportamiento correcto y los pesos sinápticos permanecen sin cambios. Cuando se omite el refuerzo debido a un rendimiento inadecuado o un cambio en las contingencias, el error es negativo y se reducen las ponderaciones sinápticas. los r̂(t) término es análogo al (λ-V) término de error del modelo de Rescorla-Wagner (Ec. 4 ). Sin embargo, se trata de pasos de tiempo individuales (t) dentro de cada prueba en lugar de predicciones que evolucionan sobre pruebas consecutivas. Estos modelos temporales de refuerzo aprovechan el hecho de que las predicciones adquiridas incluyen el tiempo exacto de refuerzo (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

Los algoritmos de diferencia temporal (TD) también emplean predicciones adquiridas para cambiar los pesos sinápticos. En el caso de un estímulo condicionado e imprevisible que predice un reforzador único, la predicción P (t) comienza a la hora (t) no hay predicción precedente [P(t - 1) = 0], y el refuerzo aún no ha ocurrido [r(t) = 0]. De acuerdo a Ec. 6, el modelo emite una señal de refuerzo efectiva puramente predictiva en el momento (t) de la predicción

rˆ=P(t)

Ecuación 6b En el caso de estímulos predictivos múltiples y consecutivos, nuevamente con refuerzos ausentes en el momento de las predicciones, la señal de refuerzo efectiva en el momento (T) La predicción refleja la diferencia entre la predicción actual. P (t) y la predicción anterior P(t - 1)

rˆ=P(t)-P(t-l)

Ecuación 6cEsto constituye un término de error de refuerzo de orden superior. Al igual que los reforzadores predichos, todos los estímulos predictivos que se pronostican completamente se anulan [P(t - 1) = P(t)], Resultando en r̂ = 0 en los momentos (T) de estos estímulos. Solo el estímulo predictivo más antiguo contribuye a la señal de refuerzo efectivo, ya que este estímulo P (t) No es predicho por otro estímulo [P(t - 1) = 0]. Esto resulta en el mismo r̂ = P (t) en el momento (T) de la primera predicción como en el caso de una sola predicción (Ec. 6b).

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 9. 

Arquitecturas básicas de los modelos de redes neuronales que implementan algoritmos de diferencia temporal en comparación con la conectividad de los ganglios basales. A: en la implementación original la señal de enseñanza efectiva y – ȳ Se calcula en el modelo de neurona. A y enviado a terminales presinápticos de entradas. x a la neurona B, influyendo así x → B Procesando y cambiando pesos sinápticos en el x → B sinapsis Neurona B influye en la salida de comportamiento a través de axón y y al mismo tiempo contribuye a las propiedades adaptativas de las neuronas. A, Es decir, su respuesta a los estímulos que predicen los refuerzos Implementaciones más recientes de esta arquitectura simple utilizan neuronas. A en lugar de neurona B para emitir una salida O del modelo (Montague et al. 1996; Schultz et al. 1997). Reimpreso de Sutton y Barto (1981) con permiso de la Asociación Americana de Psicología. B: reciente implementación separa el componente docente A, llamado el crítico (A la derecha), a partir de un componente de salida compuesto por varias unidades de procesamiento B, llamado el actor (izquierda). La señal de refuerzo efectiva. r̂(t) se calcula restando la diferencia temporal en la predicción del reforzador ponderado γP(t) - P(t - 1) del refuerzo primario r(t) recibido del entorno (γ es el factor de descuento que reduce el valor de refuerzos más distantes). La predicción del reforzador se calcula en una unidad de predicción separada C, que forma parte de la crítica y forma un circuito cerrado con el elemento de enseñanza. A, mientras que el refuerzo primario entra en la crítica a través de una entrada separada r_t. La señal de refuerzo efectiva influye en los pesos sinápticos en los axones entrantes en el actor, que media la salida y en la unidad de predicción adaptativa de la crítica. Reimpreso de Barto (1995) con permiso de MIT Press. C: la conectividad básica de los ganglios basales revela sorprendentes similitudes con la arquitectura actor-crítica. La proyección de dopamina emite la señal de refuerzo al estriado y es comparable con la unidad A en partes A y B, el estriado límbico (o parche de striosoma) toma la posición de la unidad de predicción C en la crítica, y el estriatum sensoriomotor (o matriz) se asemeja a las unidades de actor B. En el modelo original (UNA), La única desviación mayor de la anatomía de los ganglios basales establecida consiste en la influencia de las neuronas. A dirigidas a terminales presinápticas, mientras que las sinapsis de dopamina se localizan en dendritas postsinápticas de neuronas del estriado (Freund et al. 1984). Reimpreso de Smith y Bolam (1990) con permiso de Elsevier Press.

En conjunto, la señal de refuerzo efectiva (Ec. 6 ) está compuesto por el refuerzo primario, que disminuye con las predicciones emergentes (Ec. 6a) y es reemplazado gradualmente por las predicciones adquiridas (Ecs. 6b y 6c). Con estímulos predictivos consecutivos, la señal de refuerzo efectivo se mueve hacia atrás en el tiempo desde el refuerzo primario hasta el estímulo de predicción de refuerzo más antiguo. La transferencia retrógrada da como resultado una asignación más específica de crédito a las sinapsis involucradas, ya que las predicciones se producen más cercanas en el tiempo a los estímulos y las reacciones conductuales a condicionar, en comparación con el refuerzo al final del ensayo (Sutton y Barto 1981).

Las implementaciones de los algoritmos de aprendizaje de refuerzo emplean el error de predicción de dos maneras, para cambiar los pesos sinápticos de la salida de comportamiento y para adquirir las predicciones mismas para calcular de forma continua el error de predicción (la Fig. 9 A) (McLaren 1989; Sutton y Barto 1981). Estas dos funciones se separan en implementaciones recientes, en las que el error de predicción se calcula en el componente crítico adaptativo y cambia los pesos sinápticos en el componente de actor que media la salida del comportamiento (Fig. 9 B) (Barto 1995). Un error positivo aumenta la predicción de refuerzo de la crítica, mientras que un error negativo de refuerzo omitido reduce la predicción. Esto hace que la señal de refuerzo efectiva sea altamente adaptable.

Implementaciones neurobiológicas del aprendizaje de la diferencia temporal.

APLICACIONES PARA PROBLEMAS NEUROBIOLOGICOS.

Aunque se desarrollaron originalmente sobre la base del modelo de condicionamiento clásico de Rescorla-Wagner, los modelos que utilizan algoritmos de TD aprenden una amplia variedad de tareas de comportamiento a través de formas de condicionamiento básicamente instrumentales. Estas tareas abarcan desde el equilibrio de un palo en una rueda de carro (Barto et al. 1983) a jugar backgammon de clase mundial (Tesauro 1994). Los robots que utilizan algoritmos de TD aprenden a moverse sobre el espacio bidimensional y evitar obstáculos, alcanzar y agarrar (Fagg 1993) o inserte una clavija en un agujero (Gullapalli et al. 1994). Uso de la señal de refuerzo TD para influir directamente y seleccionar el comportamiento (Fig. 9 A), Los modelos TD replican el comportamiento de forrajeo de las abejas (Montague et al. 1995) y simular la toma de decisiones humanas (Montague et al. 1996). Los modelos TD con una arquitectura explícita de actor crítico constituyen modelos muy poderosos que aprenden de manera eficiente los movimientos oculares (Friston et al. 1994; Montague et al. 1993), movimientos secuenciales (fig. 10), y orientando reacciones (Contreras-Vidal y Schultz 1996). Un modelo reciente agregó señales de novedad activadora-deprimente para mejorar la señal de enseñanza, utilizó estímulos y rastros de acción en el crítico y el actor, y empleó reglas de ganador para llevar la señal de enseñanza y para seleccionar las neuronas de actor con la activación más grande. Esto reproduce con gran detalle tanto las respuestas de las neuronas de dopamina como el comportamiento de aprendizaje de los animales en las tareas de respuesta tardía (Suri y Schultz 1996). Es particularmente interesante ver que las señales de enseñanza que utilizan errores de predicción dan como resultado un aprendizaje más rápido y más completo en comparación con las señales de refuerzo incondicionales (Fig. 10) (Friston et al. 1994).

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 10. 

Ventaja de las señales de refuerzo predictivo para el aprendizaje. Un modelo de diferencia temporal con una arquitectura de actor crítico y un rastro de elegibilidad en el actor se entrenó en una tarea de elección secuencial paso 2 3 (recuadro superior izquierdo). El aprendizaje avanzó más rápido y alcanzó un mayor rendimiento cuando se usó una señal de refuerzo predictivo como señal de enseñanza (crítico de adaptación, parte superior) en comparación con el uso de una señal de refuerzo incondicional al final del juicio (fondo). Este efecto se hace cada vez más pronunciado con secuencias más largas. El rendimiento comparable con la señal de refuerzo incondicional requeriría un seguimiento de elegibilidad mucho más largo. Los datos se obtuvieron de las simulaciones de 10 (R. Suri y W. Schultz, observaciones no publicadas). Una mejora similar en el aprendizaje con refuerzo predictivo se encontró en un modelo de comportamiento oculomotor (Friston et al. 1994).

Posibles mecanismos de aprendizaje utilizando la señal de dopamina.

La sección anterior ha demostrado que la señal de error de predicción formal emitida por la respuesta de dopamina puede constituir una señal de enseñanza particularmente adecuada para el aprendizaje modelo. Las siguientes secciones describen cómo la respuesta biológica a la dopamina podría usarse potencialmente para el aprendizaje de las estructuras de los ganglios basales y sugieren hipótesis comprobables.

PLASTICIDAD POSTSINAPTICA MEDIADA POR LA SEÑAL DE PREDICCION DE PREMIOS.

El aprendizaje procedería en dos pasos. El primer paso consiste en la adquisición de una respuesta que predice la recompensa de dopamina. En ensayos posteriores, la señal predictiva de dopamina fortalecería específicamente los pesos sinápticos (ω) de las sinapsis corticostriatal de tipo Hebbian que están activas en el momento del estímulo que predice la recompensa, mientras que las sinapsis corticostriatal inactivas no se modifican. Esto resulta en la regla de aprendizaje de tres factores

Δω=ɛ rˆ i o

Ecuación 8where r̂ es la señal de refuerzo de dopamina, i es la actividad de entrada, o es la actividad de salida, y ɛ es la tasa de aprendizaje.

En un modelo simplificado, cuatro entradas corticales (i1 – i4) contactan las espinas dendríticas de tres neuronas estriadas espinosas de tamaño mediano (o1 – o3; Fig. 11). Las entradas corticales convergen en las neuronas del estriado, cada entrada en contacto con una espina diferente. Las mismas espinas se ponen en contacto de forma no selectiva con una entrada de dopamina común R. La activación de la entrada de dopamina R indica que se produjo un estímulo de predicción de recompensa no predecible en el entorno, sin proporcionar más detalles (señal de bondad). Supongamos que la entrada cortical i2 se activa simultáneamente con las neuronas de dopamina y codifica uno de varios parámetros específicos del mismo estímulo que predice la recompensa, como su modalidad sensorial, lado del cuerpo, color, textura y posición, o un parámetro específico de un movimiento Desencadenado por el estímulo. Un conjunto de parámetros de este evento se codificaría mediante un conjunto de entradas corticales i2. Las entradas corticales i1, i3 e i4 no relacionadas con los estímulos actuales y los movimientos están inactivos. La respuesta de la dopamina conduce a una liberación no selectiva de dopamina en todas las varices, pero fortalecería selectivamente solo las sinapsis corticostriatal activas i2 – o1 e i2 – o2, siempre que las entradas corticales sean lo suficientemente fuertes para activar las neuronas estriadas o1 y o2.

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 11. 

Influencias diferenciales de una señal global de refuerzo de dopamina en la actividad corticostriatal selectiva. Las espinas dendríticas de las neuronas del estriado espinoso de tamaño mediano 3 o1, o2 y o3 se contactan mediante las entradas corticales de 4 i1, i2, i3 y i4, y por varices axónicas de las personas de la misma categoría. ). Cada neurona estriatal recibe inputs10,000 cortical y 1,000 dopamina. En espinas dendríticas simples, diferentes entradas corticales convergen con la entrada de dopamina. En la versión 1 del modelo, la señal de dopamina mejora simultáneamente la transmisión corticostriatal activa en relación con la transmisión no activa. Por ejemplo, la entrada de dopamina R está activa al mismo tiempo que la entrada cortical i2, mientras que i1, i3, i4 están inactivos. Esto conduce a una modificación de la transmisión i2 → o1 e i2 → o2, pero deja i1 → o1, i3 → o2, i3 → o3, y i4 → o3 sin modificaciones. En una versión del modelo que emplea plasticidad, los pesos sinápticos de las sinapsis corticostriatales son modificados a largo plazo por la señal de dopamina de acuerdo con la misma regla. Esto puede ocurrir cuando las respuestas de la dopamina a un estímulo condicionado actúan sobre las sinapsis corticostriatales que también son activadas por este estímulo. En otra versión que emplea plasticidad, las respuestas de la dopamina a una recompensa primaria pueden actuar hacia atrás en el tiempo en las sinapsis corticostriatales que antes estaban activas. Estas sinapsis serían elegibles para ser modificadas por una traza neuronal postsináptica hipotética dejada de esa actividad. Al comparar la estructura de los ganglios basales con el modelo reciente de TD de la Fig. 9 B, La entrada de dopamina R replica la crítica con una neurona. A, el estriado con neuronas o1 – o3 replica al actor con neuronas B, entradas corticales i1 – i4 replica la entrada del actor, y la proyección divergente de las neuronas de dopamina R en múltiples espinas de múltiples neuronas del estriado o1 – o3 replica la influencia global de la crítica sobre el actor. Una comparación similar fue hecha por Houk et al. (1995). Este dibujo está basado en datos anatómicos por Freund et al. (1984), Smith y Bolam (1990), Flaherty y Graybiel (1993)y Smith et al. (1994).

Este mecanismo de aprendizaje emplea la respuesta de dopamina adquirida en el momento del estímulo que predice la recompensa como una señal de enseñanza para inducir cambios sinápticos de larga duración (Fig. 12 A). El aprendizaje del estímulo predictivo o del movimiento desencadenado se basa en la adquisición demostrada de la respuesta de la dopamina al estímulo que predice la recompensa, junto con la plasticidad dependiente de la dopamina en el estriado. Alternativamente, pueden ocurrir cambios en la plasticidad en estructuras corticales o subcorticales aguas abajo del estriado después de un aumento a corto plazo mediado por la dopamina de la transmisión sináptica en el estriado. Los efectos retroactivos de la recompensa sobre los estímulos y movimientos que preceden a la recompensa están mediados por la transferencia de la respuesta al estímulo más antiguo que predice la recompensa. La respuesta de la dopamina a la recompensa primaria predicha u omitida no se usa para los cambios de plasticidad en el cuerpo estriado, ya que no ocurre simultáneamente con los eventos a condicionar, aunque podría estar involucrada en el cálculo de la respuesta de la dopamina al estímulo que predice la recompensa en analogía La arquitectura y el mecanismo de los modelos TD.

• Descargar figura
• Abrir en una nueva pestaña
• Descargar powerpoint

Higo. 12. 

Influencias de la señal de refuerzo de dopamina en los posibles mecanismos de aprendizaje en el estriado. A: la respuesta de recompensa de dopamina predictiva a un estímulo condicionado (CS) tiene un efecto de aumento directo o de plasticidad en la neurotransmisión del estriado relacionada con ese estímulo. B: la respuesta de la dopamina a la recompensa primaria tiene un efecto de plasticidad retrógrada en la neurotransmisión del estriado relacionada con el estímulo condicionado anterior. Este mecanismo está mediado por un rastro de elegibilidad que dura más que la actividad estriatal. Las flechas sólidas indican los efectos directos de la señal de dopamina en la neurotransmisión del estriado (A) o el rastro de elegibilidad (SEGUNDO), pequeña flecha en B indica un efecto indirecto sobre la neurotransmisión del cuerpo estriado a través del registro de elegibilidad.

Estimulación eléctrica de las neuronas de dopamina como estímulo no condicionado.

La estimulación eléctrica de regiones cerebrales circunscritas sirve de manera confiable como refuerzo para adquirir y mantener el comportamiento de aproximación (Olds y Milner 1954). Algunos sitios de autoestimulación muy efectivos coinciden con los cuerpos de las células de dopamina y los haces de axones en el cerebro medio (Corbett y Wise 1980), núcleo accumbens (Phillips et al. 1975), cuerpo estriado (Phillips et al. 1976), y la corteza prefrontal (Mora y Myers 1977; Phillips et al. 1979), pero también se encuentran en estructuras no relacionadas con los sistemas de dopamina (Blanco y Milner 1992). La autoestimulación eléctrica implica la activación de las neuronas de dopamina (Fibiger y Phillips 1986; Wise and Rompré 1989) y se reduce por las lesiones inducidas por 6-hidroxidopamina de los axones de dopamina (Fibiger et al. 1987; Phillips y Fibiger 1978), inhibición de la síntesis de dopamina (Edmonds y Gallistel 1977), inactivación por despolarización de las neuronas de dopamina (Rompré y Wise 1989), y los antagonistas de los receptores de dopamina administrados sistémicamente (Furiezos y Wise 1976) o en el núcleo accumbens (Mogenson et al. 1979). La autoestimulación se facilita con aumentos inducidos por la cocaína o la anfetamina en la dopamina extracelular (Colle y Wise 1980; Stein 1964; Wauquier 1976). La autoestimulación aumenta directamente la utilización de dopamina en el núcleo accumbens, el estriado y la corteza frontal (Fibiger et al. 1987; Mora y Myers 1977).

Resulta intrigante imaginar que los impulsos y la liberación de dopamina evocados eléctricamente pueden servir como estímulos no condicionados en el aprendizaje asociativo, similar a la estimulación de las neuronas de la octopamina en las abejas que aprenden el reflejo de probóscide (Martillo 1993). Sin embargo, la autoestimulación relacionada con la dopamina difiere en al menos tres aspectos importantes de la activación natural de las neuronas de la dopamina. En lugar de solo activar las neuronas de dopamina, las recompensas naturales generalmente activan varios sistemas neuronales en paralelo y permiten la codificación distribuida de diferentes componentes de recompensa (ver texto adicional). Segundo, la estimulación eléctrica se aplica como refuerzo incondicional sin reflejar un error en la predicción de la recompensa. Tercero, la estimulación eléctrica solo se entrega como una recompensa después de una reacción de comportamiento, en lugar de en el momento de un estímulo que predice la recompensa. Sería interesante aplicar la autoestimulación eléctrica exactamente de la misma manera que las neuronas de dopamina emiten su señal.

Déficits de aprendizaje con neurotransmisión de dopamina alterada

Muchos estudios investigaron el comportamiento de animales con neurotransmisión de dopamina alterada después de la aplicación local o sistémica de antagonistas de los receptores de dopamina o la destrucción de los axones de dopamina en el cerebro medio ventral, el núcleo accumbens o el estriado. Además de observar los déficits locomotores y cognitivos que recuerdan el parkinsonismo, estos estudios revelaron deficiencias en el procesamiento de la información de recompensa. Los primeros estudios abogaron por déficits en la percepción subjetiva y hedónica de las recompensas (Sabio xnumx; Wise et al. 1978). La experimentación adicional reveló un uso deficiente de las recompensas primarias y estímulos del apetito condicionados para el enfoque y el comportamiento consumatorio (Beninger et al. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Sabio y Colle 1984; Sabio y Rompre 1989). Muchos estudios describieron deficiencias en los procesos motivacionales y de atención que subyacen al aprendizaje apetitivo (Beninger 1983, 1989; Beninger y Hahn 1983; Fibiger y Phillips 1986; LeMoal y Simon 1991; Robbins y Everitt 1992, 1996; Blanco y Milner 1992; Sabio xnumx). La mayoría de los déficits de aprendizaje se asocian con una alteración de la neurotransmisión de dopamina en el núcleo accumbens, mientras que las deficiencias del estriado dorsal conducen a déficits sensoriomotores (Amalric y Koob 1987; Robbins y Everitt 1992; Blanco 1989). Sin embargo, el aprendizaje de las tareas instrumentales en general y de las propiedades de estímulo discriminativas en particular parecen estar a menudo a salvo, y no se resuelve completamente si algunos de los déficits de aprendizaje aparentes pueden ser confundidos por déficits de rendimiento motor (Salamone 1992).

La degeneración de las neuronas de dopamina en la enfermedad de Parkinson también conduce a una serie de déficits de aprendizaje declarativos y procedimentales, incluido el aprendizaje asociativo (Linden et al. 1990; Sprengelmeyer et al. 1995). Los déficits están presentes en el aprendizaje de prueba y error con refuerzo inmediato (Vriezen y Moscovitch 1990) y al asociar estímulos explícitos con diferentes resultados (Knowlton et al. 1996), incluso en las primeras etapas de la enfermedad de Parkinson sin atrofia cortical (Canavan et al. 1989). Los pacientes parkinsonianos también muestran una percepción del tiempo deterioradaPastor et al. 1992). Todos estos déficits se producen en presencia del tratamiento con L-Dopa, que restaura los niveles tónicos de dopamina del estriado sin restablecer las señales fásicas de dopamina.

Estos estudios sugieren que la neurotransmisión de la dopamina juega un papel importante en el procesamiento de las recompensas por el comportamiento de aproximación y en las formas de aprendizaje que implican asociaciones entre estímulos y recompensas, mientras que podría cuestionarse la participación en formas más instrumentales de aprendizaje. No está claro si estos déficits reflejan una inactivación conductual más general debido a la reducción tónica de la estimulación del receptor de dopamina en lugar de la ausencia de una señal de recompensa de dopamina fásica. Para resolver esta pregunta, así como para aclarar más específicamente el papel de la dopamina en diferentes formas de aprendizaje, sería útil estudiar el aprendizaje en aquellas situaciones en las que realmente ocurre la respuesta fásica de dopamina a los estímulos apetitivos.

Formas de aprendizaje posiblemente mediadas por la señal de dopamina.

Las características de las respuestas de dopamina y la influencia potencial de la dopamina en las neuronas del estriado pueden ayudar a delinear algunas de las formas de aprendizaje en las que podrían estar involucradas las neuronas de la dopamina. Las respuestas preferenciales a los eventos apetitivos en lugar de aversivos favorecerían una participación en el aprendizaje del comportamiento de aproximación y la mediación de efectos de refuerzo positivos, en lugar de la retirada y el castigo. Las respuestas a recompensas primarias fuera de las tareas y contextos de aprendizaje permitirían que las neuronas de dopamina desempeñen un papel en un espectro relativamente amplio de aprendizaje que involucra recompensas primarias, tanto en condicionamiento clásico como instrumental. Las respuestas a los estímulos de predicción de recompensa reflejan asociaciones de estímulo-recompensa y serían compatibles con una participación en la expectativa de recompensa subyacente en el aprendizaje de incentivos general (Bindra 1968). Por el contrario, las respuestas de dopamina no codifican explícitamente las recompensas como objetivos, ya que solo informan errores en la predicción de recompensas. También parecen ser insensibles a los estados motivacionales, por lo que desfavorecen un papel específico en el aprendizaje de incentivos dependientes del estado de actos dirigidos a objetivos (Dickinson y Balleine 1994). La falta de relaciones claras con los movimientos de brazos y ojos desfavorecería un papel en la mediación directa de las respuestas de comportamiento que siguen a los estímulos de incentivo. Sin embargo, las comparaciones entre descargas de neuronas individuales y el aprendizaje de organismos completos son intrínsecamente difíciles. A nivel sináptico, la dopamina liberada fásicamente alcanza muchas dendritas en probablemente todas las neuronas del estriado y, por lo tanto, podría ejercer un efecto de plasticidad en la gran variedad de componentes conductuales que afectan al estriado, lo que puede incluir el aprendizaje de los movimientos.

Las condiciones específicas en las que las señales de dopamina fásicas podrían desempeñar un papel en el aprendizaje están determinadas por los tipos de estímulos que inducen efectivamente una respuesta de dopamina. En el laboratorio de animales, las respuestas de dopamina requieren la aparición fásica de estímulos apetitosos, nuevos o particularmente salientes, que incluyen recompensas de nutrientes primarios y estímulos que predicen la recompensa, mientras que los estímulos aversivos no desempeñan un papel importante. Las respuestas a la dopamina pueden ocurrir en todas las situaciones de comportamiento controladas por resultados fásicos y explícitos, aunque los estímulos condicionados de orden superior y los refuerzos secundarios aún no se probaron. Las respuestas de dopamina fásicas probablemente no desempeñarán un papel en las formas de aprendizaje no mediadas por los resultados que ocurren de forma fásica, y la respuesta predictiva no podría contribuir al aprendizaje en situaciones en las que no se producen estímulos predictivos fásicos, como los cambios de contexto relativamente lentos. . Esto lleva a la interesante pregunta de si el ahorro de algunas formas de aprendizaje por lesiones de dopamina o neurolépticos podría reflejar simplemente la ausencia de respuestas de dopamina fásicas en primer lugar porque no se usaron los estímulos efectivos que las provocaron.

La participación de las señales de dopamina en el aprendizaje puede ilustrarse con un ejemplo teórico. Imagine las respuestas de dopamina durante la adquisición de una tarea de tiempo de reacción en serie cuando una reacción correcta de repente conduce a una recompensa de nutrientes. La respuesta de recompensa posteriormente se transfiere a estímulos de predicción de recompensa progresivamente anteriores. Los tiempos de reacción mejoran aún más con la práctica prolongada a medida que las posiciones espaciales de los objetivos se vuelven cada vez más predecibles. Aunque las neuronas de la dopamina continúan respondiendo a los estímulos que predicen la recompensa, la mejora conductual adicional podría deberse principalmente a la adquisición del procesamiento predictivo de posiciones espaciales por otros sistemas neuronales. Por lo tanto, las respuestas a la dopamina se producirían durante la parte inicial, incentivadora del aprendizaje, en la que los sujetos se acercan a los objetos y obtienen recompensas explícitas primarias y posiblemente condicionadas. Estarían menos involucrados en situaciones en las que el progreso del aprendizaje va más allá de la inducción del comportamiento de acercamiento. Esto no restringiría el papel de la dopamina a los pasos de aprendizaje iniciales, ya que muchas situaciones requieren aprender inicialmente de los ejemplos y solo más tarde involucrar el aprendizaje por resultados explícitos.

Error de predicción

La señal de error de predicción de las neuronas de dopamina sería un excelente indicador del valor apetitivo de los eventos ambientales en relación con la predicción, pero no discrimina entre los alimentos, los líquidos y los estímulos que predicen la recompensa y entre las modalidades visual, auditiva y somatosensorial. Esta señal puede constituir un mensaje de alerta de recompensa por el cual las neuronas postsinápticas están informadas sobre la sorprendente aparición u omisión de un evento gratificante o potencialmente gratificante sin indicar su identidad. Tiene todas las características formales de una poderosa señal de refuerzo para el aprendizaje. Sin embargo, la información sobre la naturaleza específica de las recompensas es crucial para determinar cuál de los objetos debe abordarse y de qué manera. Por ejemplo, un animal hambriento debe acercarse principalmente a los alimentos pero no a los líquidos. Para discriminar las recompensas relevantes de las irrelevantes, la señal de dopamina debe complementarse con información adicional. Recientes experimentos de diálisis in vivo mostraron una mayor liberación de dopamina inducida por alimentos en ratas hambrientas que en saciadas (Wilson et al. 1995). Esta dependencia del impulso de la liberación de dopamina puede no implicar respuestas impulsivas, ya que no hemos podido encontrar una clara dependencia del impulso con las respuestas de la dopamina al comparar entre períodos tempranos y tardíos de sesiones experimentales individuales durante las cuales los animales se saturaron de líquido (JL Contreras-Vidal y W. Schultz, datos no publicados).

Recompensas específicas

La información relacionada con las recompensas de líquidos y alimentos también se procesa en estructuras cerebrales distintas de las neuronas dopaminérgicas, como el estriado dorsal y ventral, el núcleo subtalámico, la amígdala, la corteza prefrontal dorsolateral, la corteza orbitofrontal y la corteza cingulada anterior. Sin embargo, estas estructuras no parecen emitir una señal de error de predicción de recompensa global similar a las neuronas de dopamina. En primates, estas estructuras procesan recompensas como 1) respuestas transitorias después de la entrega de la recompensa (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki y Watanabe 1979; Nishijo et al. 1988; Tremblay y Schultz 1995; Watanabe 1989), 2) respuestas transitorias a las señales de predicción de recompensa (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay y Schultz 1995; Williams et al. 1993), 3) activaciones sostenidas durante la expectativa de recompensas inmediatamente próximas (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay y Schultz 1995), o 4) modulaciones de las activaciones relacionadas con el comportamiento por recompensa predicha (Hollerman et al. 1994; Watanabe 1990, 1996). Muchas de estas neuronas se diferencian bien entre diferentes recompensas de alimentos y entre diferentes recompensas de líquidos. Por lo tanto, procesan la naturaleza específica del evento gratificante y pueden servir a la percepción de las recompensas. Algunas de las respuestas de recompensa dependen de la impredecibilidad de la recompensa y se reducen o están ausentes cuando la recompensa es predicha por un estímulo condicionado (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay y W. Schultz, datos no publicados). Pueden procesar predicciones para recompensas específicas, aunque no está claro si señalan errores de predicción ya que sus respuestas a las recompensas omitidas son desconocidas.

Mantener el desempeño establecido.

Tres mecanismos neuronales parecen ser importantes para mantener el rendimiento del comportamiento establecido, a saber, la detección de recompensas omitidas, la detección de estímulos que predicen la recompensa y la detección de recompensas predichas. Las neuronas de la dopamina se deprimen cuando se omiten las recompensas previstas. Esta señal podría reducir la eficacia sináptica relacionada con respuestas de comportamiento erróneas y evitar su repetición. La respuesta de la dopamina a los estímulos que predicen la recompensa se mantiene durante el comportamiento establecido y, por lo tanto, continúa sirviendo como información avanzada. Aunque las neuronas de dopamina no detectan las recompensas totalmente predichas, son procesadas por los sistemas corticales y subcorticales no antaminérgicos mencionados anteriormente. Esto sería importante para evitar la extinción del comportamiento aprendido.

Tomados en conjunto, parece que el procesamiento de recompensas específicas por aprender y mantener el comportamiento de aproximación se beneficiaría enormemente de una cooperación entre las neuronas de dopamina que indica la ocurrencia imprevista u omisión de la recompensa y las neuronas en las otras estructuras simultáneamente, lo que indica la naturaleza específica de la recompensa.

Neuronas de noradrenalina

Casi toda la población de neuronas de noradrenalina en locus coeruleus en ratas, gatos y monos muestra respuestas de activación-depresoras bifásicas bastante homogéneas a estímulos visuales, auditivos y somatosensoriales que provocan reacciones de orientación (Aston-Jones y Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Particularmente efectivos son los eventos infrecuentes a los que los animales prestan atención, como los estímulos visuales en una tarea de discriminación extraña (Aston-Jones et al. 1994). Las neuronas de noradrenalina discriminan muy bien entre despertar o motivar y eventos neutrales. Adquieren rápidamente respuestas a nuevos estímulos objetivo durante la reversión y pierden respuestas a objetivos anteriores antes de que se complete la reversión de comportamiento (Aston-Jones et al. 1997). Se producen respuestas al líquido libre fuera de cualquier tarea y se transfieren a los estímulos objetivo que predicen la recompensa dentro de una tarea, así como a los estímulos aversivos primarios y condicionados (Aston-Jones et al. 1994; Foote et al. 1980; Rasmussen y Jacobs 1986; Sara y segal xnumx). Las respuestas son a menudo transitorias y parecen reflejar cambios en la ocurrencia o el significado del estímulo. Las activaciones pueden ocurrir solo por algunos ensayos con presentaciones repetidas de objetos de alimentos (Vankov et al. 1995) o con estímulos auditivos condicionados asociados con recompensa líquida, soplo de aire aversivo o descarga eléctrica en el pie (Rasmussen y Jacobs 1986; Sara y segal xnumx). Durante el condicionamiento, se producen respuestas a las primeras presentaciones de estímulos novedosos y reaparecen de forma transitoria cada vez que las contingencias de refuerzo cambian durante la adquisición, reversión y extinción (Sara y segal xnumx).

En conjunto, las respuestas de las neuronas de noradrenalina se asemejan a las respuestas de las neuronas de dopamina en varios aspectos, activadas por recompensas primarias, estímulos que predicen la recompensa y estímulos novedosos, y transfieren la respuesta de los eventos de apetito primarios a condicionales. Sin embargo, las neuronas de noradrenalina difieren de las neuronas de dopamina al responder a una variedad mucho mayor de estímulos estimulantes, al responder bien a los estímulos aversivos primarios y condicionados, al discriminar bien contra los estímulos neutros, al seguir rápidamente los cambios de comportamiento y al mostrar respuestas decrecientes con estímulos repetidos. presentación que puede requerir ensayos 100 para respuestas apetitivas sólidas (Aston-Jones et al. 1994). Las respuestas de noradrenalina están fuertemente relacionadas con las propiedades de estimulación o captación de atención de los estímulos que provocan reacciones de orientación, mientras que se centran mucho menos en las propiedades de estímulo apetitivas como la mayoría de las neuronas de dopamina. Probablemente son más motivados por los elementos de apetito que atraen la atención que por los motivadores.

Neuronas de serotonina

La actividad en los diferentes núcleos de rafe facilita la salida motora al establecer el tono muscular y la actividad motora estereotipada (Jacobs y Fornal 1993). Las neuronas rafe dorsales en gatos muestran respuestas fásicas, no titilantes a estímulos visuales y auditivos sin ningún significado conductual particular (Heym et al. 1982; LeMoal y Olds 1979). Estas respuestas se asemejan a las respuestas de las neuronas de dopamina a estímulos nuevos y particularmente destacados. Otras comparaciones requerirían una experimentación más detallada.

Núcleo basal de Meynert

Las neuronas del prosencéfalo basal de los primates se activan de forma fásica mediante una gran variedad de eventos conductuales que incluyen estímulos condicionados que predicen la recompensa y recompensas primarias. Muchas activaciones dependen de la memoria y de las asociaciones con refuerzo en las tareas de discriminación y respuesta tardía. Las activaciones reflejan la familiaridad de los estímulos (Wilson y Rollos 1990a), cobran más importancia con los estímulos y movimientos que ocurren más cerca del momento de la recompensa (Richardson y DeLong 1990), diferenciar bien entre estímulos visuales sobre la base de asociaciones apetitivas y aversivas (Wilson y Rollos 1990b), y cambiar en unos pocos intentos durante la reversión (Wilson y Rolls 1990c). Las neuronas también son activadas por estímulos aversivos, estímulos visuales y auditivos predichos y movimientos. Responden con frecuencia a recompensas totalmente previstas en tareas de comportamiento bien establecidas (Mitchell et al. 1987; Richardson y DeLong 1986, 1990), aunque las respuestas a recompensas imprevistas son más abundantes en algunos estudios (Richardson y DeLong 1990) pero no en otros (Wilson y Rollos 1990a–c). En comparación con las neuronas de dopamina, son activadas por un espectro mucho mayor de estímulos y eventos, incluidos los eventos aversivos, y no muestran una respuesta de la población bastante homogénea a las recompensas no predichas y su transferencia a estímulos que predicen la recompensa.

Fibras de escalada cerebelosa

Probablemente se postuló que la primera señal de enseñanza impulsada por error en el cerebro implicaba la proyección de fibras trepadoras de la oliva inferior a las neuronas de Purkinje en la corteza cerebelosa (Marr 1969), y muchos estudios de aprendizaje cerebelar se basan en este concepto (Houk et al. 1996; Ito 1989; Kawato y Gomi 1992; Llinas y galés xnumx). La escalada de las entradas de fibra a las neuronas de Purkinje cambia transitoriamente su actividad cuando se modifican las cargas de movimientos o ganancias entre movimientos y retroalimentación visual y los monos se adaptan a la nueva situación (Gilbert y Thach 1977; Ojakangas y Ebner 1992). La mayoría de estos cambios consisten en un aumento de la actividad en lugar de las respuestas de activación versus depresión observadas con errores en direcciones opuestas en las neuronas de dopamina. Si la activación de la fibra trepadora sirviera como señal de enseñanza, la activación conjunta de la fibra trepadora y la fibra paralela debería conducir a cambios en la entrada de fibra paralela a las neuronas de Purkinje. Esto ocurre de hecho como una depresión a largo plazo de la entrada de fibra paralela, principalmente en preparaciones in vitro (Ito 1989). Sin embargo, los cambios de fibra paralelos comparables son más difíciles de encontrar en situaciones de aprendizaje conductual (Ojakangas y Ebner 1992), dejando abiertas las consecuencias de las posibles señales de enseñanza de la fibra trepadora en este momento.

Un segundo argumento para el papel de las fibras trepadoras en el aprendizaje implica el condicionamiento clásico aversivo. Una fracción de las fibras trepadoras se activa por soplos de aire aversivo a la córnea. Estas respuestas se pierden después del acondicionamiento del párpado de Pavlov con un estímulo auditivo (Sears y Steinmetz 1991), sugiriendo una relación con la imprevisibilidad de los eventos aversivos primarios. Después del acondicionamiento, las neuronas en el núcleo interpelo cerebeloso responden al estímulo condicionado (Berthier y Moore 1990; McCormick y Thompson 1984). Las lesiones de este núcleo o las inyecciones de la bicuculina antagonista de GABA en la oliva inferior previenen la pérdida de las respuestas del soplo de aire de la oliva inferior después del acondicionamiento, lo que sugiere que la inhibición monosináptica o polisináptica de Interpositus a la oliva inferior suprime las respuestas después del acondicionamiento (Thompson y Gluck 1991). Esto podría permitir que las neuronas de olivo inferiores se depriman en ausencia de estímulos aversivos predichos y, por lo tanto, informen un error negativo en la predicción de eventos aversivos similares a las neuronas de dopamina.

Por lo tanto, las fibras trepadoras pueden reportar errores en el rendimiento motor y errores en la predicción de eventos aversivos, aunque esto no siempre implica cambios bidireccionales como ocurre con las neuronas de dopamina. Las fibras trepadoras no parecen adquirir respuestas a estímulos aversivos condicionados, pero tales respuestas se encuentran en el núcleo interpositus. El cálculo de los errores de predicción aversiva puede implicar entradas inhibitorias descendentes a las neuronas de olivo inferiores, en analogía a las proyecciones del cuerpo estriado a las neuronas de dopamina. Por lo tanto, los circuitos cerebelosos procesan señales de error, aunque de manera diferente a las neuronas de dopamina y los modelos de TD, y podrían implementar reglas de aprendizaje de errores como la regla de Rescorla-Wagner (Thompson y Gluck 1991) o la regla de Widrow-Hoff formalmente equivalente (Kawato y Gomi 1992).