Publicado en forma final editada como:
Neurosci Biobehav Rev. 2011 Abr; 35 (5): 1219 – 1236.
Publicado en línea 2010 Dec 24. doi 10.1016 / j.neubiorev.2010.12.012
PMCID: PMC3395003
NIHMSID: NIHMS261816
Xun Liu,1,2 Jacqueline Hairston,2 Madeleine schrier,2 y Jin fan2,3,4
La versión editada final del editor de este artículo está disponible en Neurosci Biobehav Rev
Ver otros artículos en PMC que citar El artículo publicado.
Resumen
Para comprender mejor los circuitos de recompensa en el cerebro humano, realizamos la estimación de la probabilidad de activación (ALE) y los metanálisis paramétricos basados en voxel (PVM) en estudios de neuroimagen de 142 que examinaron la activación cerebral en tareas relacionadas con la recompensa en adultos sanos. Observamos varias áreas centrales del cerebro que participaron en la toma de decisiones relacionadas con la recompensa, incluidos el núcleo accumbens (NAcc), el caudado, el putamen, el tálamo, la corteza orbitofrontal (OFC), la ínsula anterior anterior, la anterior (ACC) y la posterior (PCC). , así como las regiones de control cognitivo en el lóbulo parietal inferior y la corteza prefrontal (PFC). El NAcc fue comúnmente activado por recompensas tanto positivas como negativas en varias etapas del procesamiento de la recompensa (por ejemplo, anticipación, resultado y evaluación). Además, la OFC medial y la PCC respondieron preferentemente a las recompensas positivas, mientras que la ACC, la ínsula anterior bilateral y la PFC lateral respondieron selectivamente a las recompensas negativas. La anticipación de la recompensa activó el ACC, la ínsula anterior bilateral y el tallo cerebral, mientras que el resultado de la recompensa activó de manera más significativa la NAcc, la OFC medial y la amígdala. Por lo tanto, las teorías neurobiológicas de la toma de decisiones relacionadas con la recompensa deben distribuir representaciones interrelacionadas e interrelacionadas de la valoración de la recompensa y la evaluación de la valencia.
1. Introducción
Las personas enfrentan innumerables oportunidades de toma de decisiones relacionadas con la recompensa todos los días. Nuestro bienestar físico, mental y socioeconómico depende fundamentalmente de las consecuencias de las decisiones que tomamos. Por lo tanto, es crucial entender lo que subyace en el funcionamiento normal de la toma de decisiones relacionada con la recompensa. Estudiar el funcionamiento normal de la toma de decisiones relacionada con la recompensa también nos ayuda a comprender mejor los diversos trastornos del comportamiento y mentales que surgen cuando se interrumpe dicha función, como la depresión (Drevets, 2001), abuso de sustancias (Bechara, 2005; Garavan y Stout, 2005; Volkow et al., 2003), y trastornos de la alimentación (Kringelbach et al.de 2003; Volkow y Wise, 2005).
La investigación de neuroimagen funcional en recompensa se ha convertido en un campo en rápido crecimiento. Hemos observado una gran oleada de investigación de neuroimagen en este dominio, con docenas de artículos relevantes que aparecen en la base de datos PubMed cada mes. Por un lado, esto es emocionante porque los resultados crecientes son fundamentales para formalizar los mecanismos neuronales y de comportamiento de la toma de decisiones relacionada con la recompensa (Fellows, 2004; Trepel et al.de 2005). Por otro lado, la heterogeneidad de los resultados en combinación con los patrones opuestos ocasionales dificulta la obtención de una imagen clara de los circuitos de recompensa en el cerebro humano. La mezcla de resultados se debe en parte a los diversos paradigmas experimentales desarrollados por varios grupos de investigación que apuntaron a abordar diferentes aspectos de la toma de decisiones relacionadas con la recompensa, como la distinción entre anticipación de recompensa y resultado (Breiter et al.de 2001; Knutson et al., 2001b; McClure et al.de 2003; Rogers et al.de 2004), valoración de recompensas positivas y negativas (Liu et al., 2007; Nieuwenhuis et al., 2005; O'Doherty et al., 2003a; O'Doherty et al., 2001; Ullsperger y von Cramon, 2003), y evaluación de riesgo (Bach et al., 2009; d'Acremont y Bossaerts, 2008; Hsu et al., 2009; Huettel, 2006).
Por lo tanto, es crucial agrupar los estudios existentes y examinar las redes de recompensa básicas en el cerebro humano, desde enfoques basados en datos y en teoría para probar la concordancia y distinción de los diferentes aspectos de la toma de decisiones relacionadas con la recompensa. Para lograr este objetivo, empleamos y comparamos dos métodos de metanálisis basados en coordenadas (CBMA) (Salimi-Khorshidi et al.de 2009), estimación de probabilidad de activación (ALE) (Laird et al., 2005; Turkeltaub et al., 2002) y el metanálisis paramétrico basado en voxel (PVM) (Costafreda et al.de 2009), a fin de revelar la concordancia en un gran número de estudios de neuroimagen sobre la toma de decisiones relacionadas con la recompensa. Anticipamos que el estriado ventral y la corteza orbitofrontal (OFC), dos áreas principales de proyección dopaminérgica que se han asociado con el procesamiento de la recompensa, se activarán de manera constante.
Además, desde una perspectiva basada en la teoría, nuestro objetivo fue aclarar si existen distinciones en las redes cerebrales que sean responsables del procesamiento de la información de recompensa positiva y negativa, y que estén involucradas de manera preferente en diferentes etapas del procesamiento de recompensas, como la anticipación de la recompensa, el resultado Seguimiento y evaluación de decisiones. La toma de decisiones implica la codificación y representación de las opciones alternativas y la comparación de los valores o utilidades asociadas con estas opciones. A lo largo de estos procesos, la toma de decisiones generalmente está asociada con una valencia positiva o negativa, ya sea por los resultados o por las respuestas emocionales hacia las decisiones tomadas. La valencia de recompensa positiva se refiere a los estados subjetivos positivos que experimentamos (p. Ej., Felicidad o satisfacción) cuando el resultado es positivo (p. Ej., Ganar una lotería) o mejor de lo que anticipamos (p. Ej., Perder menos valor del proyectado). La valencia de recompensa negativa se refiere a los sentimientos negativos por los que pasamos (p. Ej., Frustración o arrepentimiento) cuando el resultado es negativo (p. Ej., Perdiendo una apuesta) o peor de lo que esperamos (p. Ej., El valor de las acciones aumenta más de lo previsto). Aunque estudios anteriores han intentado distinguir las redes de recompensa que son sensibles al procesamiento de información positiva o negativa (Kringelbach, 2005; Liu et al.de 2007), así como aquellos que están involucrados en la anticipación de recompensa o el resultado (Knutson et al.de 2003; Ramnani et al.de 2004), los resultados empíricos han sido mixtos. El objetivo fue extraer patrones consistentes mediante la combinación de una gran cantidad de estudios que examinaron estas distinciones.
2. Métodos
2.1 Búsqueda y organización de literatura.
Identificación del estudio 2.1.1
Dos investigadores independientes realizaron una búsqueda exhaustiva de la literatura para los estudios de resonancia magnética funcional que examinan la toma de decisiones basada en recompensas en humanos. Los términos utilizados para buscar en el servicio de indexación de citas en línea PUBMED (hasta junio 2009) fueron "fMRI", "recompensa" y "decisión" (por el primer investigador), "recompensa tarea de toma de decisiones", "fMRI" y "humano" ”(Por el segundo investigador). Estos resultados de búsqueda iniciales se combinaron para obtener un total de artículos de 182. Se identificaron otros artículos de 90 a partir de una base de datos de referencia de un tercer investigador acumulado hasta junio de 2009 utilizando “recompensa” y “MRI” como criterios de filtrado. También buscamos en la base de datos de BrainMap utilizando Sleuth, con "recompensa de tarea" y "fMRI" como términos de búsqueda, y encontramos artículos de 59. Todos estos artículos se agruparon en una base de datos y se eliminaron las entradas redundantes. Luego aplicamos varios criterios de exclusión para eliminar más los artículos que no son directamente relevantes para el estudio actual. Estos criterios son: 1) estudios empíricos no de primera mano (por ejemplo, artículos de revisión); 2) estudios que no informaron resultados en el espacio de coordenadas estereotácticas estándar (ya sea Talairach o el Instituto Neurológico de Montreal, MNI); 3) estudia el uso de tareas no relacionadas con la recompensa o la toma de decisiones basada en valores; 4) estudios de análisis cerebrales estructurales (p. Ej., Morfometría basada en voxel o imágenes de tensor de difusión); 5) estudios basados puramente en el análisis de la región de interés (ROI) (por ejemplo, mediante el uso de máscaras o coordenadas anatómicas de otros estudios); 6) estudios de poblaciones especiales cuyas funciones cerebrales pueden desviarse de las de adultos sanos normales (por ejemplo, niños, adultos mayores o individuos dependientes de sustancias), aunque se incluyeron las coordenadas informadas en estos estudios para el grupo de adultos sanos solo. Se aceptó la variabilidad entre los métodos con los cuales los sujetos recibieron instrucciones para informar decisiones durante las tareas (es decir, verbal, pulsación de botón no verbal). Esto dio lugar a artículos 142 en la base de datos final (enumerados en el Apéndice).
Durante la etapa de extracción de datos, los estudios se agruparon según diferentes esquemas de normalización espacial según las transformaciones de coordenadas implementadas en la caja de herramientas de GingerALE (http://brainmap.org, Research Imaging Center del Centro de Ciencias de la Salud de la Universidad de Texas, San Antonio, Texas): usando FSL para reportar coordenadas MNI, usando SPM para reportar coordenadas MNI, usando otros programas para reportar coordenadas MNI, usando métodos Brett para convertir coordenadas MNI en Talairach Espacio, utilizando una plantilla nativa talairach. Las listas de coordenadas que estaban en el espacio de Talairach se convirtieron en el espacio MNI de acuerdo con sus esquemas de normalización originales. Para la lista de Brett-Talairach, convertimos las coordenadas de nuevo en el espacio MNI usando la transformación inversa de Brett (es decir, tal2mni) (Bordo et al.de 2002). Para la lista nativa de Talairach, utilizamos la transformación Talairach-MNI de BrainMap (es decir, tal2icbm_other). Se creó una lista maestra de todos los estudios combinando todas las coordenadas en el espacio MNI en preparación para los metanálisis ALE en GingerALE.
Categorización del experimento 2.1.2
Para probar las hipótesis con respecto a las vías de recompensa comunes y distintas que son reclutadas por diferentes aspectos de la toma de decisiones relacionadas con la recompensa, categorizamos las coordenadas de acuerdo con dos tipos de clasificación: la valencia de la recompensa y las etapas de decisión. Adoptamos el término de "experimentos" utilizado por la base de datos de BrainMap para referirnos a regresores individuales o contrastes típicamente reportados en los estudios de fMRI. Para la valencia de la recompensa, organizamos los experimentos en recompensas positivas y negativas. Para las etapas de decisión, separamos los experimentos en anticipación de recompensa, resultado y evaluación. Las coordenadas en la lista maestra que encajan en estas categorías se colocaron en sub-listas; se omitieron aquellos que eran difíciles de interpretar o no estaban claramente definidos. A continuación enumeramos algunos ejemplos que se pusieron en cada una de estas categorías.
Los siguientes contrastes se clasificaron como procesamiento de recompensas positivas: aquellos en los que los sujetos ganaron dinero o puntos (Elliott et al.de 2000) (recompensa durante la ejecución del éxito); Evitó perder dinero o puntos (Kim et al.de 2006) (comparación directa entre la evitación de un resultado adverso y el recibo de recompensa); ganó el mayor de dos sumas de dinero o puntos (Knutson et al.2001a) (anticipación de recompensa grande contra pequeña); perdió la menor de dos sumas de dinero o puntos (En serio et al.de 2005) (no ganar $ 0.50> no ganar $ 4); recibió palabras o gráficos de aliento en la pantalla (Zalla et al.de 2000) (aumento para "ganar"); Recibió dulce sabor en sus bocas (O'Doherty et al.de 2002) (glucosa> sabor neutro); evaluó positivamente la elecciónLiu et al.de 2007) (correcto> incorrecto), o recibió cualquier otro tipo de recompensa positiva como resultado de la finalización exitosa de la tarea.
Los experimentos clasificados para recompensas negativas incluyeron aquellos en los que los sujetos perdieron dinero o puntos (Elliott et al., 2000) (penalización durante la ejecución de la falla); no ganó dinero ni puntos (En serio et al.de 2005) (insatisfacción de no ganar); ganó la menor de dos sumas de dinero o puntos (Knutson et al.2001a) ($ 1 vs. recompensa de $ 50); perdido el mayor de dos sumas de dinero o puntos (Knutson et al.2001a) (anticipación grande contra castigo pequeño); evaluó negativamente la elección (Liu et al.de 2007) (incorrecto> correcto); o recibió cualquier otra recompensa negativa, como la administración de un sabor amargo en la boca (O'Doherty et al.de 2002) (sal> sabor neutro) o palabras o imágenes desalentadoras (Zalla et al.de 2000) (aumentar para "perder" y disminuir para "ganar").
La anticipación de la recompensa se definió como el período de tiempo en el que el sujeto estaba considerando posibles opciones antes de tomar una decisión. Por ejemplo, hacer una apuesta y esperar ganar dinero en esa apuesta se clasificaría como anticipación (Cohen y Ranganath, 2005(Decisión de alto riesgo vs. bajo riesgo). El resultado / entrega de la recompensa se clasificó como el período en el que el sujeto recibió comentarios sobre la opción elegida, como una pantalla con las palabras "ganar x $" o "perder x $" (Bjork et al.de 2004) (Ganancia vs. resultado sin ganancia). Cuando la retroalimentación influyó en la decisión y el comportamiento del sujeto en una prueba posterior o se usó como una señal de aprendizaje, el contraste se clasificó como evaluación de recompensa. Por ejemplo, una decisión de riesgo que se recompensa en el ensayo inicial puede llevar a un sujeto a tomar otro riesgo, quizás mayor, en el próximo juicio (Cohen y Ranganath, 2005) (recompensas de bajo riesgo seguidas de decisiones de alto riesgo frente a decisiones de bajo riesgo). La aversión a la pérdida, la tendencia de las personas a preferir fuertemente evitar las pérdidas a adquirir ganancias, es otro ejemplo de evaluación (tom et al.de 2007) (relación entre lambda y aversión a la pérdida neuronal).
Estimación de la probabilidad de activación de 2.2 (ALE)
El algoritmo de ALE se basa en (Eickhoff et al.de 2009). ALE modela los focos de activación como distribuciones gaussianas 3D centradas en las coordenadas informadas, y luego calcula la superposición de estas distribuciones en diferentes experimentos (ALE trata cada contraste en un estudio como un experimento separado). La incertidumbre espacial asociada con los focos de activación se estima con respecto al número de sujetos en cada estudio (es decir, una muestra más grande produce patrones de activación y localización más confiables; por lo tanto, las coordenadas se convolucionan con un núcleo gaussiano más estricto). La convergencia de los patrones de activación a través de experimentos se calcula tomando la unión de los mapas de activación modelados anteriormente. Una distribución nula que representa las puntuaciones ALE generadas por superposición espacial aleatoria entre estudios se estima mediante el procedimiento de permutación. Finalmente, el mapa ALE calculado a partir de las coordenadas de activación reales se compara con las puntuaciones ALE de la distribución nula, produciendo un mapa estadístico que representa los valores p de las puntuaciones ALE. Los valores de p no paramétricos se transforman luego en puntuaciones z y se establecen un umbral a un p <0.05 corregido a nivel de grupo.
Se realizaron seis análisis de ALE diferentes utilizando GingerALE 2.0 (Eickhoff et al.de 2009), uno para el análisis principal de todos los estudios y uno para cada una de las cinco sublistas que caracterizan la activación cerebral mediante recompensas positivas o negativas, así como la anticipación, el resultado y la evaluación. Se realizaron dos análisis de ALE de resta utilizando GingerALE 1.2 (Turkeltaub et al.de 2002), uno para el contraste entre las recompensas positivas y negativas, y el otro para el contraste entre la anticipación y el resultado.
2.2.1 Análisis principal de todos los estudios.
Todos los estudios de 142 se incluyeron en el análisis principal, que consistió en focos de 5214 de los experimentos de 655 (contrastes). Utilizamos el algoritmo implementado en GingerALE 2.0, que modela el ALE en función de la incertidumbre espacial de cada enfoque mediante una estimación de la variabilidad entre los sujetos y entre los experimentos. La estimación se vio limitada por una máscara de materia gris y se estimó el agrupamiento con los experimentos como un factor de efectos aleatorios, en lugar de utilizar un análisis de efectos fijos en los focos (Eickhoff et al.de 2009). El mapa ALE resultante se estableció como umbral utilizando el método de tasa de descubrimiento falso (FDR) con p <0.05 y un tamaño mínimo de grupo de 60 voxels de 2 × 2 × 2 mm (para un total de 480 mm3) para protegerse contra falsos positivos de comparaciones múltiples.
2.2.2 Análisis individuales de sub-listas.
También se realizaron otros cinco análisis ALE basados en las sub-listas que categorizan diferentes experimentos en recompensas positivas y negativas, así como en la anticipación de recompensas, la entrega de recompensas (resultado) y la evaluación de la elección. Para el análisis de la recompensa positiva, se incluyeron los focos 2167 de los experimentos 283. El análisis de recompensa negativa consistió en focos 935 de experimentos 140. Los números de focos incluidos en los análisis para la evaluación de la anticipación, el resultado y la elección fueron los focos 1553 (experimentos 185), 1977 (253) y 520 (97), respectivamente. Aplicamos el mismo análisis y los enfoques de umbral que hicimos para el análisis principal anterior.
Análisis de resta 2.2.3
También estábamos interesados en contrastar las áreas del cerebro que fueron activadas de manera selectiva o preferencial por recompensas positivas versus negativas, y por anticipación de recompensas versus entrega de recompensas. Se utilizó GingerALE 1.2 para realizar estos dos análisis. Los mapas de ALE se suavizaron con un núcleo con un FWHM de 10 mm. Se ejecutó una prueba de permutación de focos distribuidos aleatoriamente con 10000 simulaciones para determinar la significancia estadística de los mapas ALE. Para corregir las comparaciones múltiples, los mapas ALE resultantes se establecieron como umbral utilizando el método FDR con p <0.05 y un tamaño de agrupación mínimo de 60 vóxeles.
Metanálisis basado en voxel paramétrico de 2.3 (PVM)
También analizamos las mismas listas de coordenadas utilizando otro enfoque de metanálisis, PVM. En contraste con el análisis de ALE, que trata diferentes contrastes dentro de un estudio como experimentos distintos, el análisis de PVM agrupa los picos de todos los diferentes contrastes dentro de un estudio y crea un mapa de coordenadas único para el estudio específico (Costafreda et al.de 2009). Por lo tanto, el factor de efectos aleatorios en el análisis de PVM es el estudios, en comparacion a lo individual experimentos / contrastes en el análisis de ALE. Esto reduce aún más el sesgo de estimación causado por estudios con múltiples contrastes que informan patrones de activación similares. De manera similar al enfoque ALE, llevamos a cabo seis análisis PVM diferentes utilizando los algoritmos implementados en el software estadístico R (http://www.R-project.org) de un estudio previo (Costafreda et al.de 2009), uno para el análisis principal de todos los estudios, y uno para cada una de las cinco sublistas que caracterizan la activación cerebral por diferentes aspectos del procesamiento de recompensas. Se realizaron dos análisis de PVM adicionales utilizando el mismo código base para comparar las recompensas positivas y negativas, así como entre la anticipación de la recompensa y el resultado.
2.3.1 Análisis principal de todos los estudios.
Las coordenadas MNI (5214) de los mismos 142 estudios utilizados en el análisis ALE se transformaron en una tabla de texto, con cada estudio identificado por una etiqueta de identificación de estudio única. Los cálculos en el mapa de picos se restringieron dentro de una máscara en el espacio MNI. El mapa de picos se suavizó primero con un núcleo uniforme (ρ = 10 mm) para generar el mapa de resumen, que representa el número de estudios que informan picos de activación superpuestos dentro de una vecindad de un radio de 10 mm. A continuación, se realizó un análisis de PVM de efectos aleatorios para estimar la significación estadística asociada con cada vóxel en el mapa de resumen. El número de estudios en el mapa resumen se convirtió en la proporción de estudios que informaron una activación concordante. Usamos el mismo umbral que se usó en el análisis ALE para identificar grupos significativos para el mapa de proporciones (usando el método FDR con p <0.05 y un tamaño de grupo mínimo de 60 voxels).
2.3.2 Análisis individuales de sub-listas.
Se realizaron otros cinco análisis de PVM en las sub-listas para obtener recompensas positivas y negativas, así como para la anticipación, el resultado y la evaluación de la recompensa. El análisis de recompensa positiva incluyó focos 2167 de los estudios 111, mientras que el análisis de recompensa negativa incluyó focos 935 de los estudios 67. Los números de estudios incluidos en los análisis para la evaluación de la anticipación, el resultado y la elección fueron los focos 1553 (estudios 65), 1977 (86) y 520 (39), respectivamente. Aplicamos el mismo análisis y los enfoques de umbral que hicimos para el análisis principal anterior.
Análisis de comparación de 2.3.3
También realizamos dos análisis PVM para comparar los patrones de activación entre recompensas positivas y negativas, así como entre la anticipación de recompensas y el resultado. Primero se suavizaron dos mapas de picos (por ejemplo, uno para positivo y otro para negativo) con un núcleo uniforme (ρ = 10 mm) para generar los mapas de resumen, cada uno representando el número de estudios con pico de activación superpuesto dentro de un vecindario de 10 mm radio. Estos dos mapas de resumen se introdujeron en una prueba de Fisher para estimar la razón de probabilidades y el valor de p de significación estadística para cada vóxel contribuyente dentro de la máscara de espacio MNI. Dado que la prueba de Fisher no se desarrolló específicamente para el análisis de datos de resonancia magnética funcional y es empíricamente menos sensible que los otros métodos, aplicamos un umbral relativamente indulgente para el análisis PVM de comparación directa, utilizando p <0.01 sin corregir y un tamaño de agrupación mínimo de 60 vóxeles (Xiong et al.de 1995), para corregir el error de tipo I de comparación múltiple.
3. Resultados
Resultados de 3.1 ALE
El análisis completo de los estudios con 142 mostró una activación significativa de un grupo grande que abarcaba el núcleo accumbens bilateral (NAcc), el pálido, la ínsula anterior, la OFC lateral / medial, la corteza cingulada anterior (ACC), el área motora suplementaria (SMA), la lateral corteza prefrontal (PFC), amígdala derecha, hipocampo izquierdo, tálamo y tronco encefálico (Figura 1A). Otros grupos más pequeños incluyeron el giro frontal medio derecho y el giro frontal medio inferior / derecho, el lóbulo parietal inferior / superior bilateral y la corteza cingulada posterior (PCP) (Tabla 1).
Las recompensas positivas activaron un subconjunto de las redes mencionadas anteriormente, que incluyen el palido bilateral, la ínsula anterior, el tálamo, el tronco encefálico, la OFC medial, la ACC, la SMA, la PCC y otras áreas frontales y parietales (Figura 1B y Tabla 2, ver también Materiales suplementarios - Figura S1A). Las recompensas negativas mostraron activación en el NAcc bilateral, el caudado, el pálido, la ínsula anterior, la amígdala, el tálamo, el tronco encefálico, el ACC rostral, la PFC dorsomedial, la CCE lateral y el giro frontal derecho e inferior derecho (Figura 1B y Tabla 2, ver también Materiales suplementarios - Figura S1B). Al contrastar la activación con recompensas positivas versus negativas, encontramos que las recompensas positivas activaron significativamente las siguientes regiones en gran medida: NAcc bilateral, ínsula anterior, OFC medial, hipocampo, putamen izquierdo y tálamo (Figura 1D y Tabla 4). Ninguno mostró más activación por recompensas negativas que positivas.
Las diferentes etapas de procesamiento de la recompensa compartieron patrones de activación cerebral similares en las redes centrales mencionadas anteriormente, que incluyen la NAcc bilateral, la ínsula anterior, el tálamo, la OFC medial, la ACC y el PFC dorsomedial (Figura 1C y Tabla 3, ver también Materiales suplementarios - Figuras S1C – E). La anticipación de la recompensa, en comparación con el resultado de la recompensa, reveló una mayor activación en la ínsula anterior bilateral, ACC, SMA, lóbulo parietal inferior izquierdo y giro frontal medio (Figura 1E y Tabla 5). El resultado de la activación preferencial incluyó NAcc bilateral, caudado, tálamo y OFC medial / lateral (Tabla 5).
Resultados de 3.2 PVM
El análisis principal de los estudios con 142 mostró una activación significativa en la NAcc bilateral, la ínsula anterior, la OFC lateral / medial, la ACC, la PCC, el lóbulo parietal inferior y el giro frontal medio (Figura 2A y Tabla 6).
Las recompensas positivas activaron el NAcc bilateral, el pálido, el putamen, el tálamo, la OFC medial, la corteza cingulada pregenual, SMA y PCC (Figura 2B y Tabla 7, ver también Materiales suplementarios - Figura S2A). La activación por recompensas negativas se encontró en el NAcc bilateral y la ínsula anterior, el pálido, el ACC, la SMA y el giro frontal medio / inferior (Figura 2B y Tabla 7, ver también Materiales suplementarios - Figura S2B). El contraste directo entre recompensas positivas y negativas reveló una activación preferencial por recompensas positivas en NAcc, pallidum, OFC medial y PCC, y una mayor activación por recompensas negativas en ACC y en el giro frontal medio / inferior (Figura 2D y Tabla 9).
Diferentes etapas de procesamiento de la recompensa activaron de manera similar el NAcc y el ACC, mientras que reclutaron de manera diferente otras áreas del cerebro, como la OFC medial, la ínsula anterior y la amígdala (Figura 2C y Tabla 8, ver también Materiales suplementarios - Figura S2C – E). La anticipación de la recompensa, en comparación con el resultado de la recompensa, reveló una activación significativa en la ínsula anterior bilateral, el tálamo, el giro precentral y el lóbulo parietal inferior (Figura 2E y Tabla 10). Ninguna área del cerebro mostró mayor activación por el resultado de la recompensa en comparación con la anticipación.
3.3 Comparación de resultados de ALE y PVM
El estudio actual también mostró que aunque los métodos ALE y PVM trataron los datos basados en coordenadas de manera diferente y adoptaron distintos algoritmos de estimación, los resultados para una lista única de coordenadas de estos dos enfoques de metanálisis fueron muy similares y comparables (Figuras 1A – C y 2A – C, Tabla 11, ver también Figuras S1 y S2 en los Materiales Complementarios). El algoritmo ALE mejorado implementado en GingerALE 2.0, por diseño, trata los experimentos (o los contrastes) como el factor de efectos aleatorios, que reduce significativamente el sesgo causado por los experimentos que informan más loci en comparación con aquellos con menos loci. Sin embargo, diferentes estudios incluyen diferentes experimentos / contrastes. Por lo tanto, los resultados de GingerALE 2.0 todavía pueden verse afectados por el sesgo que pesa más en los estudios que informan más contrastes, lo que posiblemente sobrestima la concordancia entre estudios. Sin embargo, por elección, los usuarios pueden combinar coordenadas de diferentes contrastes para que GingerALE 2.0 pueda tratar cada estudio como un solo experimento. Esto es lo que implementa PVM, agrupando las coordenadas de todos los contrastes dentro de un estudio en un solo mapa de activación, por lo tanto, ponderando todos los estudios por igual para estimar la superposición de activación entre los estudios.
En contraste, la comparación de dos listas de coordenadas difería significativamente entre los enfoques ALE y PVM (Tabla 11), como resultado de sus diferencias en la sensibilidad a la convergencia dentro del estudio y entre estudios. Dado que no se ha implementado el algoritmo ALE mejorado para el análisis de ALE sustractivo, usamos una versión anterior, GingerALE 1.2, que trata las coordenadas como el factor de efectos aleatorios y los experimentos como la variable de efectos fijos. Por lo tanto, las diferencias tanto en el número de coordenadas como en los experimentos en dos listas pueden afectar los resultados de la resta. El análisis de ALE sustractivo se inclinó hacia la lista con más experimentos contra el otro con menos (Figura 1D / E). Los estudios de recompensa positiva (focos 2167 de experimentos 283) predominaron claramente sobre los estudios negativos (focos 935 de experimentos 140). La diferencia entre la anticipación de recompensa (focos 1553 de los experimentos 185) y el resultado (focos 1977 de los experimentos 253) fue menor, pero también podría haber causado el sesgo hacia la fase de resultados. Por otro lado, el uso de la prueba de Fisher para estimar el odds ratio y asignar voxels en una de las dos listas por PVM parece ser menos sensible para detectar la diferencia de activación entre las dos listas (Figura 2D / E).
4. Discusión
Estamos constantemente tomando decisiones en nuestra vida cotidiana. Algunas decisiones no implican valores aparentes positivos o negativos de los resultados, mientras que otras tienen impactos significativos en la valencia de los resultados y nuestras respuestas emocionales hacia las decisiones que tomamos. Podemos sentirnos felices y satisfechos cuando el resultado es positivo o se cumple nuestra expectativa, o sentirnos frustrados cuando el resultado es negativo o inferior a lo que anticipamos. Además, muchas decisiones deben tomarse sin conocimiento previo de sus consecuencias. Por lo tanto, debemos poder hacer predicciones sobre la recompensa futura y evaluar el valor de la recompensa y el riesgo potencial de obtenerla o ser penalizado. Esto requiere que evaluemos la elección que hacemos en función de la presencia de errores de predicción y que utilicemos estas señales para guiar nuestro aprendizaje y comportamientos futuros. Muchos estudios de neuroimagen han examinado la toma de decisiones relacionadas con la recompensa. Sin embargo, dados los procesos psicológicos complejos y heterogéneos involucrados en la toma de decisiones basada en el valor, no es una tarea trivial examinar las redes neuronales que sirven para la representación y el procesamiento de la información relacionada con la recompensa. Hemos observado un rápido crecimiento en el número de estudios empíricos en el campo de la neuroeconomía, pero hasta ahora ha sido difícil ver cómo estos estudios han convergido para delinear claramente los circuitos de recompensa en el cerebro humano. En el estudio de metaanálisis actual, hemos mostrado concordancia en un gran número de estudios y hemos revelado los patrones comunes y distintos de activación cerebral por diferentes aspectos del procesamiento de recompensas. De forma controlada por los datos, agrupamos todas las coordenadas de diferentes contrastes / experimentos de estudios 142, y observamos una red de recompensa central, que consiste en NAcc, OFC lateral, ACC, ínsula anterior, PFC dorsomedial, así como Las zonas frontoparietales laterales. Un estudio reciente de metaanálisis que se centró en la evaluación de riesgos en la toma de decisiones informó un circuito de recompensa similar (Mohr et al., 2010). Además, desde una perspectiva basada en la teoría, comparamos las redes neuronales que estaban involucradas en la valencia positiva y negativa en las etapas de anticipación y resultado del procesamiento de la recompensa, y dilucidamos distintos sustratos neurales que servían para la evaluación relacionada con la valencia, así como su participación preferencial en la anticipación y Salir.
Áreas de recompensa de 4.1 Core: NAcc y OFC
La NAcc y la OFC han sido concebidas durante mucho tiempo como los principales actores en el procesamiento de recompensas porque son las principales áreas de proyección de dos vías dopaminérgicas distintas, la mesolímbica y la mesocortical, respectivamente. Sin embargo, sigue sin conocerse cómo las neuronas de la dopamina modulan de manera distintiva la actividad en estas áreas límbicas y corticales. Estudios anteriores han tratado de diferenciar los roles de estas dos estructuras en términos de etapas temporales, asociando el NAcc con la anticipación de la recompensa y relacionando la OFC medial con la recepción de la recompensa (Knutson et al., 2001b; Knutson et al.de 2003; Ramnani et al.de 2004). Los resultados de otros estudios cuestionaron tal distinción (Breiter et al., 2001; Delgado et al., 2005; Rogers et al., 2004). Muchos estudios también implicaron que la NAcc fue responsable de detectar el error de predicción, una señal crucial en el aprendizaje de incentivos y la asociación de recompensas (McClure et al., 2003; O'Doherty et al., 2003b; Pagnoni et al., 2002). Los estudios también encontraron que el NAcc mostró una respuesta bifásica, de manera que la actividad en el NAcc disminuiría y caería por debajo de la línea de base en respuesta a errores de predicción negativos (Knutson et al., 2001b; McClure et al.de 2003; O'Doherty et al., 2003b). Aunque la OFC generalmente muestra patrones de actividad similares a los de la NAcc, estudios previos de neuroimagen en humanos han sugerido que la OFC sirve para convertir una variedad de estímulos en una moneda común en términos de sus valores de recompensa (Arana et al., 2003; Cox et al., 2005; Elliott et al., 2010; FitzGerald et al., 2009; Gottfried et al., 2003; Kringelbach et al., 2003; O'Doherty et al., 2001; Plassmann et al., 2007). Estos hallazgos son paralelos a los obtenidos en el registro de células individuales y en estudios de lesiones en animales (Schoenbaum y Roesch, 2005; Schoenbaum et al., 2009; Schoenbaum et al., 2003; Schultz et al., 2000; Tremblay y Schultz, 1999, 2000; Wallis, 2007).
Nuestros análisis generales mostraron que la NAcc y la OFC respondieron al procesamiento general de recompensas (Figura 1A y Figura 2A). La activación en el NAcc se superpuso en gran medida en diferentes etapas, mientras que el OFC medial estaba más sintonizado para recompensar el recibo (Figura 1C / E y Figura 2C). Estos hallazgos destacaron que la NAcc puede ser responsable de rastrear señales de recompensa tanto positivas como negativas y de usarlas para modular el aprendizaje de la asociación de recompensa, mientras que la OFC principalmente supervisa y evalúa los resultados de recompensa. Se necesita más investigación para diferenciar mejor los roles de la NAcc y la OFC en la toma de decisiones relacionadas con la recompensa (Frank y claus, xnumx; Liebre et al.de 2008).
4.2 Evaluación relacionada con Valence
Además de convertir varias opciones de recompensa en moneda común y representar sus valores de recompensa, distintas regiones del cerebro en el circuito de recompensa pueden codificar por separado las valencias positivas y negativas de la recompensa. Las comparaciones directas a través de la valencia de la recompensa revelaron que tanto la NAcc como la OFC medial fueron más activas en respuesta a las recompensas positivas frente a las negativas (Figura 1B / D y Figura 2B / D). En contraste, la corteza insular anterior estuvo involucrada en el procesamiento de la información de recompensa negativa (Figura 1B y Figura 2B). Estos resultados confirmaron la distinción medial-lateral para recompensas positivas versus negativas (Kringelbach, 2005; Kringelbach y Rollos, 2004), y fueron consistentes con lo que observamos en nuestro estudio anterior en una tarea de recompensa (Liu et al.de 2007). Las subregiones del CAC respondieron de manera única a las recompensas positivas y negativas. Los ACC pregenuales y rostrales, cercanos a la OFC medial, se activaron mediante recompensas positivas mientras que el ACC caudal respondió a recompensas negativas (Figura 1B y Figura 2B). Los metanálisis de ALE y PVM también revelaron que el PCC se activó de manera constante mediante recompensas positivas (Figura 1B y Figura 2B).
Curiosamente, las redes separadas que codifican valencias positivas y negativas son similares a la distinción entre dos redes no correlacionadas, la red en modo predeterminado y la red relacionada con tareas (Fox et al., 2005; Raichle et al., 2001; Raichle y Snyder, 2007). Los metanálisis recientes encontraron que la red de modo predeterminado incluía principalmente las regiones prefrontales mediales (incluida la OFC medial) y la corteza posterior medial (incluidas la PCC y precuneus), y la red relacionada con la tarea incluye la ACC, la ínsula y el frontoparietal lateral regiones (Laird et al., 2009; Toro et al., 2008). La activación en la OFC medial y la PCC mediante recompensas positivas reflejó la red de modo predeterminado que se observa comúnmente durante el estado de reposo, mientras que la activación en la CAC, la ínsula, la corteza prefrontal lateral con recompensas negativas son paralelas a la red relacionada con la tarea. Se encontró que esta organización funcional intrínseca del cerebro influye en la recompensa y en la toma de decisiones arriesgada y explica las diferencias individuales en los rasgos de toma de riesgo (Cox et al., 2010).
Anticipación 4.3 versus resultado
La ínsula anterior bilateral, ACC / SMA, lóbulo parietal inferior y tallo cerebral mostraron una activación más consistente en anticipación en comparación con la fase de resultado (Figura 1C / E y Figura 2C / E). La ínsula anterior y el CAC han sido implicados previamente en la interocepción, la emoción y la empatía (Craig, 2002, 2009; Gu et al., 2010; Phan et al., 2002), y evaluación de riesgos e incertidumbres (Critchley et al., 2001; Kuhnen y Knutson, 2005; Paulus et al., 2003), prestando su papel en anticipación. La ínsula anterior estuvo involucrada de manera consistente en el procesamiento del riesgo, especialmente en la anticipación de la pérdida, como lo reveló un metaanálisis reciente (Mohr et al., 2010). Al igual que el papel de la OFC, el lóbulo parietal se ha asociado con la valoración de diferentes opciones (Sugrue et al.de 2005), representación numérica (Cohen Kadosh et al.de 2005; Hubbard et al.de 2005), e integración de información (Oro y Shadlen, 2007; Yang y Shadlen, 2007). Por lo tanto, es crucial que el lóbulo parietal se involucre en la etapa de anticipación del procesamiento de recompensas a fin de planificar y prepararse para una acción informada (Andersen y Cui, 2009; Lau et al., 2004a; Lau et al., 2004b).
Por otro lado, el estriado ventral, la OFC medial y la amígdala mostraron una activación preferencial durante el resultado de la recompensa en comparación con la etapa de anticipación (Figura 1C / E y Figura 2C). Estos patrones fueron consistentes con lo que nosotros y otros investigadores encontramos previamente (Breiter et al., 2001; Delgado et al., 2005; Liu et al., 2007; Rogers et al., 2004), oponiéndose a la disociación funcional entre el cuerpo estriado ventral y la OFC medial en términos de sus respectivos roles en la anticipación de la recompensa y el resultado de la recompensa (Knutson y otros, 2001a; Knutson y otros, 2001b; Knutson y otros, 2003).
4.4 Una ilustración esquemática del procesamiento de recompensas
Sobre la base de los hallazgos de redes comunes y distintas involucradas en diversos aspectos de la toma de decisiones sobre recompensas, hemos desarrollado una ilustración esquemática para resumir las representaciones distribuidas de la valoración y la valencia en el procesamiento de recompensas (Figura 3 y XNUMX). Tentativamente, agrupamos diferentes regiones cerebrales según sus roles en diferentes procesos, aunque cada región puede cumplir múltiples funciones e interactuar con otras áreas del cerebro de una manera mucho más compleja. Cuando se enfrentan a opciones alternativas, cada una de las cuales tiene características distintivas como la magnitud y la probabilidad, estas propiedades deben convertirse en información comparable basada en valores, una "moneda común". No solo comparamos los valores de estas opciones alternativas, sino que también comparamos los valores reales y proyectados, así como los valores ficticios asociados con la opción no elegida (por ejemplo, la señal de error de predicción). El estriado ventral y la OFC medial se han implicado en esta representación basada en valores. También se ha encontrado que el lóbulo parietal inferior está involucrado en la representación y comparación de la información numérica. Además, la toma de decisiones basada en valores inevitablemente resulta en la evaluación de las elecciones, en base a la valencia de los resultados y las respuestas emocionales asociadas. Mientras que el cuerpo estriado ventral y la COS medial también participan en la detección de la valencia de la recompensa positiva, la COS lateral, la ínsula anterior, el CAC y la amígdala están implicados principalmente en el procesamiento de la valencia de la recompensa negativa, muy probablemente vinculados a sus roles evaluativos en respuestas emocionales negativas. Debido al efecto negativo generalmente asociado con el riesgo, la ínsula anterior y el ACC también participan en la anticipación de la recompensa de las decisiones arriesgadas, especialmente para las respuestas adversas a la incertidumbre en anticipación de la pérdida. Finalmente, las regiones frontoparietales sirven para integrar y actuar sobre estas señales con el fin de producir decisiones óptimas (p. Ej., Cambio de pérdida de permanencia).
Advertencias 4.5
Un par de advertencias metodológicas deben tenerse en cuenta. El primero se relaciona con el sesgo en el informe de los resultados en diferentes estudios. Algunos estudios se basan exclusivamente en el retorno de la inversión, que se excluyeron del estudio actual. Aún así, otros destacaron o pusieron más énfasis en un prior regiones informando más coordenadas o contrastes relacionados con esas regiones. Podrían sesgar los resultados hacia la confirmación de los "puntos de acceso". En segundo lugar, queremos advertir sobre la distinción conceptual de los diferentes aspectos del procesamiento de recompensas. Clasificamos diversos contrastes en diferentes categorías de interés teórico. Sin embargo, con decisiones de la vida real o en muchas tareas experimentales, estos aspectos no necesariamente tienen divisiones claras. Por ejemplo, la evaluación de la elección anterior y el resultado de la recompensa se pueden mezclar con la anticipación de la próxima recompensa y la toma de decisiones. No hay un límite claro en las diferentes etapas del procesamiento de recompensas, lo que deja nuestra clasificación actual abierta para discusión. No obstante, este enfoque basado en hipótesis es muy necesario (Caspers et al., 2010; Mohr et al., 2010; Richlan et al., 2009), que complementa la naturaleza basada en datos del metanálisis. Muchos factores relacionados con la toma de decisiones de recompensa, como la evaluación del riesgo y los tipos de recompensa (p. Ej., Primaria vs. secundaria, monetaria vs. social), requieren un metanálisis adicional.
Reseña de la investigación
- Realizamos dos conjuntos de metanálisis basados en coordenadas en los estudios de recompensa con RMN de 142.
- El circuito de recompensa del núcleo incluía el núcleo accumbens, la ínsula, las regiones orbitofrontal, cingulada y frontoparietal.
- El núcleo accumbens se activó mediante recompensas tanto positivas como negativas a través de varias etapas de procesamiento de recompensas.
- Otras regiones mostraron respuestas preferenciales hacia recompensas positivas o negativas, o durante la anticipación o el resultado.
Material suplementario
01
02
03
AGRADECIMIENTOS
Este estudio está respaldado por el Proyecto de los Cien Talentos de la Academia de Ciencias de China, el Premio al Joven Investigador NARSAD (XL) y el NIH Grant R21MH083164 (JF). Los autores desean agradecer al equipo de desarrollo de BrainMap y Sergi G. Costafreda por proporcionar excelentes herramientas para este estudio.
Apéndice
Lista de artículos incluidos en los metaanálisis del presente estudio.
Notas a pie de página
Contribuciones de los autores: XL diseñó y supervisó todo el estudio. JH y MS hicieron contribuciones iguales a este estudio, realizando búsquedas de literatura, extracción de datos y organización. JF participó en la discusión y preparación de manuscritos.
Descargo de responsabilidad del editor: Este es un archivo PDF de un manuscrito sin editar que ha sido aceptado para publicación. Como servicio a nuestros clientes, proporcionamos esta primera versión del manuscrito. El manuscrito se someterá a revisión, composición y revisión de la prueba resultante antes de que se publique en su forma final. Tenga en cuenta que durante el proceso de producción se pueden descubrir errores que podrían afectar el contenido, y todas las exenciones de responsabilidad legales que se aplican a la revista pertenecen.
Referencias
;