Estudo Completo: Mudanças na Novidade Contextual Recompensam as Representações no Striatum
Marc Guitart-Masip,*,1,2 Nico Bunzeck,*,1 Klaas E Stephan,2,3 Raymond J Dolan,2 e Emrah Düzel1,4
A versão final editada do editor deste artigo está disponível gratuitamente em J Neurosci
Veja outros artigos no PMC que citar o artigo publicado.
Sumário
A representação da recompensa no corpo estriado ventral é impulsionada pela novidade perceptiva, embora o mecanismo desse efeito permaneça elusivo. Estudos em animais indicam um loop funcional (Lisman e Grace, 2005) que inclui o hipocampo, estriado ventral e mesencéfalo como importantes na regulação da atribuição de saliência no contexto de novos estímulos. De acordo com este modelo, as respostas de recompensa no estriato ventral ou mesencéfalo devem ser reforçadas no contexto da novidade, mesmo que a recompensa e a novidade constituam eventos independentes e independentes. Usando ressonância magnética funcional, mostramos que estudos com pistas preditivas de recompensa e resultados subsequentes provocam respostas mais altas no corpo estriado, se precedidas por uma nova imagem não relacionada, indicando que a representação de recompensa é aprimorada no contexto da novidade. Notavelmente, esse efeito foi observado somente quando a ocorrência de recompensa e, portanto, a saliência relacionada à recompensa, foi baixa. Esses achados suportam uma visão de que a novidade contextual aumenta as respostas neurais subjacentes à representação de recompensa no corpo estriado e concorda com os efeitos do processamento de novidades, conforme previsto pelo modelo de Lisman e Grace (2005).
Introdução
Os gânglios da base, juntamente com seus aferentes dopaminérgicos, fornecem um mecanismo para aprender sobre o valor da recompensa de diferentes opções comportamentais (Berridge e Robinson, 2003; Frank et al., 2004; Pessiglione et al., 2006). De acordo com essa visão, estudos de fMRI mostram que recompensar e recompensar as dicas preditivas induzem a atividade cerebral no corpo estriado (por exemplo,Delgado et al., 2000; Knutson et al., 2000; O'Doherty e outros, 2003; O'Doherty e outros, 2004) e mesencéfalo (Aron et al., 2004; Wittmann et al., 2005). No entanto, o sistema dopaminérgico mesencéfalo também responde a novos estímulos não recompensadores em macacos (Ljungberg et al., 1992) e humanos (Bunzeck e Duzel, 2006; Wittmann et al., 2007). De uma perspectiva computacional, tem sido sugerido que a própria novidade pode atuar como um sinal motivacional que estimula a representação da recompensa e conduz a exploração de uma opção nova e desconhecida de escolha (Kakade e Dayan, 2002).
Embora o processamento de novidade e recompensa compartilhe mecanismos neurais comuns, o substrato neural que suporta uma interação entre novidade e recompensa permanece pouco compreendido. Pesquisas em animais revelam que sinais de novidades do hipocampo regulam a capacidade dos neurônios dopaminérgicos de mostrar atividade de disparo contínuo. Dado que o disparo em rajada é o principal padrão de resposta dopaminérgica que codifica recompensas e possivelmente outros eventos salientes, há boas razões para suspeitar que os sinais de novidade do hipocampo têm o potencial de regular o processamento de recompensa e a atribuição de saliência (Lisman e Grace, 2005). Sinais de novidade hipocampal são transmitidos para VTA através do subículo, estriado ventral e pálidio ventral, onde causam a desinibição de neurônios dopaminérgicos silenciosos para induzir um modo de atividade tônica (Lisman e Grace, 2005; Grace e Bunney, 1983). É importante ressaltar que apenas neurônios dopaminérgicos tonicamente ativos, mas não silenciosos, são transferidos para o modo de disparo contínuo e mostram respostas fásicas (Floresco e outros, 2003). Dessa forma, os sinais de novidades do hipocampo têm o potencial de impulsionar sinais de dopamina em fases e facilitar a codificação de novas informações na memória de longo prazo.
Embora pesquisas recentes tenham mostrado que a novidade do estímulo aumenta um erro de previsão de recompensa estriatório (Wittmann et al., 2008), este achado não aborda uma hipótese fisiológica de que a novidade contextual exerce um efeito de melhoria sobre os sinais de recompensa subseqüentes (Lisman e Grace, 2005). Testar isso requer uma manipulação independente do nível de novidade e recompensar tal que a novidade (e a familiaridade) funcionem como contextos temporalmente estendidos que precedem as recompensas. Nós investigamos a expressão da modulação estriatal de processamento de recompensa no contexto da novidade, apresentando um novo estímulo precedendo a apresentação de pistas que predizem recompensas. Além disso, manipulamos os dois fatores (novidade e recompensa) de forma independente; isso nos permitiu distinguir suas representações neurais correspondentes. Apresentamos aos sujeitos uma das três imagens fractais diferentes que geraram a entrega da recompensa com uma dada probabilidade (sem recompensa (p = 0), baixa (p = 0.4) e alta probabilidade de recompensa (p = 0.8)). Desta forma, nosso design também nos permitiu investigar se as influências de novidades contextuais nas respostas de recompensa foram afetadas pela probabilidade de ocorrência de recompensa. Um efeito dependente de probabilidade da novidade no processamento de recompensa forneceria um forte suporte para a previsão de que a novidade e o processamento de recompensa interagem funcionalmente. Em contraste, um efeito da novidade sobre a atividade cerebral relacionada à recompensa, que é independente da probabilidade e da magnitude da recompensa, indicaria que a novidade e a recompensa compartilham regiões do cérebro e produzem atividade neural aditiva sem uma interação funcional.
Material e Métodos
Assuntos
16 adultos participaram do experimento (9 feminino e 7 masculino; faixa etária 19-32 anos; média 23.8, SD = 3.84 anos). Todos os sujeitos eram saudáveis, destros e tinham acuidade normal ou corrigida para normal. Nenhum dos participantes relatou uma história de distúrbios neurológicos, psiquiátricos ou médicos ou quaisquer problemas médicos atuais. Todos os experimentos foram realizados com o consentimento informado por escrito de cada sujeito e de acordo com a autorização de ética local (University College London, UK).
Projeto experimental e tarefa
A tarefa foi dividida em fases 3. Na fase 1, os participantes foram familiarizados com um conjunto de imagens 10 (5 indoor, 5 outdoor). Cada imagem apresentou tempos 10 para 1000ms com um intervalo inter-estímulo (ISI) de 1750 ± 500ms. Os sujeitos indicaram o status de interior / exterior usando o dedo indicador e o dedo médio direitos. Na fase 2, as imagens fractais 3 foram emparelhadas, sob diferentes probabilidades (0, 0.4 e 0.8), com uma recompensa monetária de 10 pence numa sessão de condicionamento. Cada imagem fractal foi apresentada vezes 40. Em cada tentativa, uma das imagens fractais 3 foi apresentada na tela para 750ms e os sujeitos indicaram a detecção da apresentação do estímulo com um botão pressionado. O resultado probabilístico (10 ou 0 pence) foi apresentado como um número na tela 750ms mais tarde para outro 750ms e os sujeitos indicaram se ganhavam algum dinheiro ou não usando seu índice e dedo médio. O intervalo entre ensaios (ITI) foi de 1750 ± 500ms. Finalmente, em uma fase de teste (fase 3), o efeito da novidade contextual nas respostas relacionadas à recompensa foi determinado em quatro sessões de onze minutos (Figura 1). Aqui, uma imagem foi apresentada para 1000ms e os sujeitos indicaram o status de interior / exterior usando seus dedos direito e médio. As respostas poderiam ser feitas enquanto a imagem da cena e a imagem fractal subsequente fossem exibidas na tela (1750 ms no total). A imagem era do conjunto familiarizado de imagens da fase 1 (referidas como "imagens familiares") ou de outro conjunto de imagens que nunca haviam sido apresentadas (referidas como "imagens novas"). No total 240 novas imagens foram apresentadas a cada sujeito. Posteriormente, uma das imagens fractais 3 da fase 2 (referida como sugestão de previsão de recompensa) foi apresentada para 750ms (aqui, os indivíduos foram instruídos a não responder). Como na segunda fase, o resultado probabilístico (10 ou 0 pence) foi apresentado 750ms mais tarde para outros 750ms e os sujeitos indicaram se ganhavam ou não dinheiro usando seu índice e dedo médio. As respostas podem ser feitas enquanto o resultado é exibido na tela e durante o intervalo intertrial subseqüente (2500 ± 500 ms no total). O ITI foi 1750 ± 500ms. Durante cada sessão, cada imagem fractal foi apresentada vezes 20 após uma nova imagem e 20 vezes seguindo uma imagem familiar, resultando em ensaios 120 por sessão. A ordem de apresentação dos seis tipos de estudo foi totalmente randomizada. Todas as três fases experimentais foram realizadas dentro do scanner de ressonância magnética, mas os dados BOLD foram adquiridos apenas durante a fase de teste (fase 3). Os indivíduos foram instruídos a responder o mais rápido e corretamente possível e que receberiam seus ganhos até £ 20. Os participantes foram informados de que o pence 10 seria subtraído para cada resposta incorreta - esses testes foram excluídos da análise. O total de ganhos foi exibido na tela apenas no final do bloco 4th.
Todas as imagens foram em escala de cinza e normalizadas para um valor médio de cinza de 127 e um desvio padrão de 75. Nenhuma das cenas mostrava seres humanos ou partes do corpo humano (incluindo rostos) em primeiro plano. Os estímulos foram projetados no centro de uma tela e os sujeitos os observaram através de um sistema de espelhos montado na bobina da cabeça do scanner de ressonância magnética funcional.
aquisição de dados de ressonância magnética
A fMRI foi realizada em um scanner de ressonância magnética 3-Tesla Siemens Allegra (Siemens, Erlangen, Alemanha) com ecocardiogramas planares (EPI). Na sessão funcional foram obtidas imagens ponderadas 48 T2 * por volume (cobrindo toda a cabeça) com contraste dependente do nível de oxigenação (BOLD) (matriz: 64 × 64; 48 fatias axiais oblíquas por volume angulado a −30 ° no ântero-posterior) eixo; resolução espacial: 3 × 3 × 3 mm; TR = 2880 ms; TE = 30 ms). O protocolo de aquisição de fMRI foi otimizado para reduzir as perdas de sensibilidade BOLD induzidas por suscetibilidade em regiões lobares frontais e temporais inferiores (Weiskopf e outros, 2006). Para cada assunto, os dados funcionais foram adquiridos em quatro sessões de varredura contendo volumes 224 por sessão. Seis volumes adicionais no início de cada série foram adquiridos para permitir a magnetização em estado estacionário e foram posteriormente descartados. Imagens anatômicas do cérebro de cada sujeito foram coletadas usando multi-eco 3D FLASH para mapeamento de densidade de prótons (PD), T1 e transferência de magnetização (MT) em 1mm3 resolução (Weiskopf e Helms, 2008) e por recuperação de inversão ponderada T1 prepararam sequências EPI (IR-EPI) (resolução espacial: 1 × 1 × 1 mm). Além disso, os mapas de campo individuais foram gravados usando uma sequência FLASH de duplo eco (tamanho da matriz = 64 × 64; 64 fatias; resolução espacial = 3 × 3 × 3 mm; gap = 1 mm; TE curto = 10 ms; TE longo = 12.46 ms TR = 1020 ms) para correção de distorção das imagens adquiridas do EPI (Weiskopf e outros, 2006). Usando a 'caixa de ferramentas FieldMap' (Hutton et al., 2002) mapas de campo foram estimados a partir da diferença de fase entre as imagens adquiridas no TE curto e longo.
análise de dados por ressonância magnética
O pré-processamento incluiu o realinhamento, desamarração usando fieldmaps individuais, normalização espacial para o espaço do Montreal Neurology Institute (MNI) e finalmente suavização com um kernel Gaussian de 4mm. Os dados da série temporal da fMRI foram filtrados com alta frequência (cutoff = 128 s) e clareados utilizando um modelo AR (1). Para cada sujeito, um modelo estatístico foi calculado aplicando uma função de resposta hemodinâmica canônica (HRF) combinada com tempo e derivados de dispersão (Friston e outros, 1998).
Nosso planejamento fatorial 2 × 3 incluiu condições de interesse 6 que foram modeladas como regressores separados: imagem familiar com probabilidade de recompensa 0, imagem familiar com probabilidade de recompensa 0.4, imagem familiar com probabilidade de recompensa 0.8, imagem de romance com recompensa -probabilidade 0, romance-imagem com probabilidade de recompensa 0.4, romance-imagem com probabilidade de recompensa 0.8. A proximidade temporal das pistas preditivas de recompensa (isto é, imagem fractal) e o próprio resultado da recompensa apresentam problemas para a separação dos sinais BOLD decorrentes desses dois eventos. Portanto, nós modelamos cada tentativa como um evento composto, usando um mini-boxcar que incluía a apresentação tanto da sugestão quanto do resultado. Essa limitação técnica não foi problemática para nossa análise fatorial que se concentrou na interação entre o processamento de novidades e recompensas e as co-ocorrências de efeitos de recompensa e novidade. Testes de erro foram modelados como um regressor sem interesse. Para capturar artefatos relacionados ao movimento residual, seis covariáveis foram incluídas (as três traduções do corpo rígido e três rotações resultantes do realinhamento) como regressores sem interesse. Efeitos de condição regionalmente específicos foram testados empregando contrastes lineares para cada sujeito e cada condição (análise de primeiro nível). As imagens de contraste resultantes foram inseridas em uma análise de efeitos aleatórios de segundo nível. Aqui, os efeitos hemodinâmicos de cada condição foram avaliados usando uma análise de variância 2 × 3 (ANOVA) com os fatores 'novidade' (romance, familiar) e probabilidade de recompensa (0, 0.4, 0.8).
Focamos nossa análise em 3 regiões de interesse anatomicamente definidas (corpo estriado, mesencéfalo e hipocampo) onde as interações entre novidade e processamento de recompensa foram levantadas com base em estudos anteriores (Lisman e Grace, 2005; Wittmann et al., 2005; Bunzeck e Duzel, 2006). Para completar, também relatamos resultados cerebrais completos no material suplementar. As regiões de interesse do estriado e do hipocampo (ROI) foram definidas com base na caixa de ferramentas Pick Atlas (Maldjian et al., 2003; Maldjian et al., 2004). Enquanto o ROI estriado incluía a cabeça do corpo caudado, caudado e do putâmen, o ROI do hipocampo excluía a amígdala e o córtex da retina circundante. Finalmente, o SN / VTA ROI foi definido manualmente, usando o software MRIcro e a média da imagem MT para o grupo. Em imagens MT, o SN / VTA pode ser distinguido das estruturas vizinhas como uma faixa brilhante (Bunzeck e Duzel, 2006). Deve-se notar que, em primatas, os neurônios dopaminérgicos responsivos à recompensa são distribuídos pelo complexo SN / VTA e, portanto, é apropriado considerar a ativação de todo o complexo SN / VTA em vez de focar nos subcompartimentos (Duzel e outros, 2009). Para este propósito, uma resolução de 3mm3, como usado no presente experimento, permite amostrar voxels 20-25 do complexo SN / VTA, que tem um volume de 350 para 400 mm3.
Consistentes
Comportamentalmente, os sujeitos mostraram alta precisão no desempenho da tarefa durante a tarefa de discriminação interna / externa (taxa média de acertos 97.1%, SD = 2.8% para imagens familiares; taxa média de acertos 96.8%, SD = 2.1% para novas fotos;15= 0.38, ns), bem como para a discriminação de vitória / não vitória no tempo de resultado (taxa média de acerto 97.8%, SD = 2.3% para eventos vencedores; taxa de acerto média 97.7%, SD = 2.2% para eventos sem vitória); t15= 0.03, ns). Os indivíduos discriminavam o status interno e externo mais rapidamente, em comparação com imagens novas (tempo médio de reação (RT) RT = 628.2 ms, SD = 77.3ms para imagens familiares; RT médio = 673.8 ms, SD = 111 ms para novas fotos;15= 4.43, P = 0.0005). Não houve diferença de RT para a discriminação de vitória / não vitória no tempo de resultado (RT médio = 542ms, SD = 82.2 ms para tentativas de vitória; RT médio = 551 ms, SD = 69 ms para nenhum teste de vitória; t15= 0.82, ns). Da mesma forma, durante o condicionamento não houve diferenças de RT para as diferentes imagens fractais 3 (0.8-probabilidade: RT = 370.1 ms, SD = 79 ms; 0.4-probabilidade: RT = 354.4, SD = 73.8ms; 0-probabilidade: RT = 372.2ms, SD = 79.3ms; F (1,12) = 0.045, ns). A última análise de RT excluiu três sujeitos devido a problemas técnicos durante a aquisição de dados.
Na análise dos dados de RMf, uma 2 × 3 ANOVA com fatores 'novidade' (romance, familiar) e probabilidade de recompensa (p = 0, p = 0.4, p = 0.8) mostrou um efeito principal de novidade bilateralmente no hipocampo (Figura 2A) e estriado direito, corrigido por FDR para o volume de pesquisa das ROIs. Um efeito principal simples de recompensa ('p = 0.8> p = 0') foi observado dentro do complexo SN / VTA esquerdo (Figura 2B) e no corpo estriado bilateral (Figura 2C). Vejo tabela 1 para todas as regiões do cérebro ativadas.
Não observamos uma interação de probabilidade de recompensa × novidade quando corrigimos vários testes em todo o volume de pesquisa de nosso ROI. No entanto, ao realizar uma análise post hoc (teste t) dos três voxels de pico mostrando um efeito principal de recompensa no estriado, encontramos efeitos (ortogonais) da novidade e sua interação com a recompensa: um voxel também mostrou um efeito principal de novidade e uma interação novidade × recompensa, enquanto outro voxel também mostrou um efeito principal de novidade.
Como mostrado em figura 2C (meio), no primeiro voxel ([8 10 0]; efeito principal da recompensa F (2,30) = 8.12, P = 0.002; efeito principal da novidade F (1,15) = 7.03, P = 0.02; novidade × interação de recompensa F (2,30) = 3.29, P = 0.05) este efeito foi impulsionado por maiores respostas BOLD para tentativas com probabilidade de recompensa 0.4 e precedido por uma nova imagem (teste t post-hoc: t (15) = 3.48 , P = 0.003). No segundo voxel (2C à direita) ([−10 14 2] efeito principal da recompensa F (2,30) = 13.13, P <0.001; efeito principal da novidade F (1,15) = 9.19, P = 0.008; não interação significativa F (2,30) = 1.85, ns) testes t post-hoc mais uma vez demonstraram que o principal efeito da novidade foi impulsionado por diferenças entre imagens novas e familiares nas duas baixas probabilidades de entrega de recompensa (t (15) = 2.79, P = 0.014; e t (15) = 2.19, P = 0.045, para probabilidade p = 0 e p = 0.4, respectivamente), (ver figura 2C). Em contraste, o terceiro voxel (2C deixou [−22 4] principal efeito de recompensa, F (0) = 2,30, P = 9.1) não mostrou um efeito principal de novidade (F (0.001) = 1,15, ns) nem um interação (F (2.33) = 2,30, ns).
No mesencéfalo, o voxel com respostas máximas relacionadas à recompensa ([−8 −14 −8], F (2,30) = 12.19, P <0.001), também mostrou uma tendência para um efeito principal de novidade (F (1,15 , 4.18) = 0.059, P = 2,30) na ausência de uma interação significativa (F (0.048) = XNUMX, ns).
Discussão
Novas imagens de cenas aumentaram as respostas de recompensa estriatais provocadas por eventos de recompensa subsequentes e não relacionados (prevendo dicas abstratas e entrega de recompensas). Como esperado, novas imagens também ativaram o hipocampo. Esses achados fornecem a primeira evidência, para nosso conhecimento, de uma previsão fisiológica de que a ativação do hipocampo relacionada à novidade deve exercer um efeito de melhoria contextual no processamento de recompensa no estriado ventral (Lisman e Grace, 2005; Bunzeck e Duzel, 2006).
Devido às propriedades do sinal BOLD, a proximidade temporal do estímulo preditivo da recompensa e entrega do resultado impediu uma estimativa dos efeitos da novidade sobre esses eventos separadamente. Em vez disso, consideramos a seqüência de resultados-sugestão como um evento composto e descobrimos que o efeito da novidade no processamento de recompensas variava em função da probabilidade de ocorrência da recompensa. Um aumento foi observado somente quando a probabilidade de recompensa prevista era baixa (0 ou 0.4) e estava ausente para alta probabilidade de recompensa (0.8) (Figura 2C). É importante notar que esse padrão de resultados não pode ser explicado por efeitos independentes de novidade e recompensa na mesma região. Os efeitos BOLD causados por duas populações neurais funcionalmente distintas, mas sobrepondo espacialmente, seriam aditivos independentemente da probabilidade de recompensa e, portanto, levariam a um efeito de novidade também na condição de probabilidade 0.8. Portanto, esses efeitos de novidade dependentes da probabilidade no processamento de recompensas argumentam contra a possibilidade de que eles reflitam uma contaminação por respostas BOLD provocadas por novos estímulos. Pelo contrário, os resultados indicam que a novidade contextual aumentou o processamento de recompensas per se, embora apenas na condição de baixa probabilidade.
Como explicado acima, não podemos desambiguar respostas BOLD entre antecipação de recompensa (sugestões) e entrega de recompensa (resultados). A novidade pode ter aumentado seletivamente o processamento de resultados não recompensadores (sem tentativas de vitória). Isso seria consistente com o fato de que não observamos nenhum efeito de novidade significativo em estudos com alta probabilidade de recompensa porque 80% desses ensaios resultaram em entrega de recompensa. Alternativamente, a novidade pode ter influenciado a antecipação de recompensa para pistas que predizem a entrega de recompensa com baixa probabilidade (ou seja, 0 e 0.4). Em ambos os casos, a novidade contextual melhorou a representação cerebral para aqueles eventos que eram objetivamente menos recompensadores. Além disso, é improvável que a falta de modulação inovadora de sinais de recompensa na condição de alta probabilidade seja devida a um efeito teto no processamento de recompensas. Trabalhos anteriores mostraram que as respostas relacionadas à recompensa no corpo estriado humano são escalonadas de forma adaptativa em diferentes contextos, resultando em um sinal que representa se um resultado é favorável ou desfavorável em um ambiente particular (Nieuwenhuis et al 2004). Assim, pode-se esperar que as respostas de recompensa também sejam capazes de acomodar um bônus de novidade sob condições de alta probabilidade de recompensa.
Está bem estabelecido que o cérebro primata aprende sobre o valor de diferentes estímulos emparelhados com recompensa em experimentos de condicionamento clássico, medidos pelo aumento da expectativa do resultado (por exemplo, aumento da lambida). No presente experimento, medimos os tempos de reação durante a fase de condicionamento, mas não encontramos diferenças entre os diferentes níveis de força de sinalização preditiva. Considerando a simplicidade da tarefa e a velocidade com que os sujeitos responderam (<375ms para todas as condições), essa falta de uma resposta diferencial pode ser devido a um efeito teto. Apesar da falta de uma medida comportamental objetiva para o condicionamento, o uso bem-sucedido desse tipo de pista em estudos anteriores (por exemplo O'Doherty e outros, 2003) sugere que os sujeitos ainda formavam uma associação entre as pistas e as diferentes probabilidades de entrega de recompensa.
Em trabalhos anteriores, os sinais de recompensa no estriado foram ligados a uma variedade de propriedades relacionadas à recompensa, tanto em humanos quanto em primatas não humanos, incluindo probabilidade (Preuschoff et al., 2006; Tobler e outros, 2008), magnitude (Knutson et al., 2005), incerteza (Preuschoff et al., 2006) e valor de ação (Samejima et al., 2005). Esta diversidade de variáveis relacionadas à recompensa expressas no estriado se encaixa bem com o seu papel como uma interface limbic / sensoriomotora com um papel crítico na organização de comportamentos direcionados por objetivos (Wickens et al., 2007). Tanto o SN / VTA como o estriado, um dos principais locais de projeção do sistema dopaminérgico mesencefálico, também respondem a recompensas e recompensam pistas preditivas em paradigmas clássicos de condicionamento (por exemplo,Delgado et al., 2000; Knutson et al., 2000; Fiorillo et al., 2003; Knutson et al., 2005; Tobler e outros, 2005; Wittmann et al., 2005; D'Ardenne et al., 2008). De acordo com várias perspectivas computacionais, a transmissão de dopamina originada no SN / VTA ensina o estriado sobre o valor de estímulos condicionados através de um sinal de erro de predição (Schultz et al., 1997).
Embora em estudos de condicionamento clássicos, as representações de recompensa e não-recompensa expressas no corpo estriado nem sempre tenham conseqüências comportamentais óbvias (O'Doherty e outros, 2003; den Ouden et al., 2009), os estudos de RMf mostraram sistematicamente que as alterações na atividade BOLD do estriatário correlacionam-se com erros de previsão relacionados ao valor das opções de escolha, caracterizadas por modelos computacionais ajustados a dados comportamentais (O'Doherty e outros, 2004; Pessiglione et al., 2006). Representações de valor de estado estriado não vinculadas a uma ação podem estar relacionadas a sinais de disponibilidade de recompensas que são traduzidos em respostas preparatórias, por exemplo, efeitos de abordagem ou revigorantes, como visto na transferência instrumental pavloviana (PIT) (Cardinal e outros, 2002; Talmi et al., 2008). Nossos dados sugerem que a novidade modula essas representações de valor de estado aumentando a expectativa de recompensa ou a resposta a resultados não recompensadores. A conseqüência dessa interação entre novidade e recompensa poderia ser a geração de respostas preparatórias incondicionadas. No mundo real, tais respostas levariam a uma abordagem aprimorada quando a novidade é identificada com uma sugestão (Wittmann et al., 2008) ou exploração aleatória do ambiente quando a novidade é detectada, mas não associada a uma pista específica, como observado na literatura animal (Ganchos e Kalivas, 1994). Essa visão também é consistente com modelos computacionais influentes (Kakade e Dayan, 2002).
Uma estrutura crítica que provavelmente está envolvida nas respostas de recompensa contextualmente aprimoradas no estriado é o hipocampo. Como em estudos anteriores (Tulving et al., 1996; Strange et al., 1999; Bunzeck e Duzel, 2006; Wittmann et al., 2007) mostramos que a novidade contextual ativou o hipocampo mais fortemente do que a familiaridade. Dadas as fortes projeções (indiretas) do SN / VTA, sugerimos que essa estrutura seja a fonte provável de um sinal inovador para o sistema dopaminérgico do mesencéfalo (Lisman e Grace, 2005; Bunzeck e Duzel, 2006). O mesencéfalo dopaminérgico também recebe informações de outras áreas cerebrais, como o córtex pré-frontal, que também poderiam ter transmitido novos sinais para ele (Fields et al., 2007). Dadas as evidências até hoje, no entanto, consideramos o hipocampo como o candidato mais provável para conduzir uma desinibição relacionada à novidade dos neurônios dopaminérgicos mesencefálicos que explicaria uma amplificação dos sinais de recompensa do estriado no contexto da novidade. Por outro lado, a moderação dependente da probabilidade do efeito novidade contextual, por sua vez, pode ter se originado no córtex pré-frontal (CPF). Estudos fisiológicos mostram que o aumento do drive de PFC para os neurônios SN / VTA aumenta a modulação dopaminérgica das regiões de PFC apenas, mas não a entrada dopaminérgica no estriado ventral (Margolis e outros, 2006). Através de tal mecanismo, o PFC poderia regular os efeitos contextuais dependentes de probabilidade da novidade na SN / VTA e na representação da recompensa ventral do estriado.
Para concluir, os presentes resultados demonstram que a novidade contextual aumenta o processamento de recompensa no corpo estriado em resposta a pistas e desfechos não relacionados. Esses achados são compatíveis com as previsões de um modelo de via polissináptica (Lisman e Grace, 2005) em que os sinais de novidade hipocampais fornecem um mecanismo para a regulação contextual da atribuição de saliência a eventos não relacionados.
Agradecimentos
Este trabalho foi apoiado por um Subsídio do Projeto Wellcome Trust (para ED e RJD 81259; www.wellcome.ac.uk; O RD é apoiado por um Subsídio do Programa Trust da Wellcome. MG detém uma bolsa Marie Curie (www.mariecurie.org.uk). O KES reconhece o apoio do projeto NEUROCHOICE da SystemsX.chh.
Lista de referência
- Aron AR, Shohamy D, Clark J, Myers C, Gluck MA, Poldrack RA. Sensibilidade do mesencéfalo humano ao feedback cognitivo e incerteza durante o aprendizado de classificação. J Neurophysiol. 2004; 92: 1144 – 1152. [PubMed]
- Berridge KC, Robinson TE. Parsing recompensa. Tendências Neurosci. 2003; 26: 507 – 513. [PubMed]
- Bunzeck N, Duzel E. Codificação absoluta da novidade do estímulo na substância humana nigra / VTA. Neurônio 2006; 51: 369 – 379. [PubMed]
- Cardeal RN, Parkinson JA, Salão J, Everitt BJ. Emoção e motivação: o papel da amígdala, do estriado ventral e do córtex pré-frontal. Neurosci Biobehav Rev. 2002; 26: 321-352. [PubMed]
- D'Ardenne K, McClure SM, Nystrom LE e Cohen JD. Respostas BOLD refletindo sinais dopaminérgicos na área tegmentar ventral humana. Ciência. 2008; 319: 1264 – 1267. [PubMed]
- Delgado MR, Nystrom LE, Fissell C, Noll DC, Fiez JA. Acompanhamento das respostas hemodinâmicas para recompensa e punição no corpo estriado. J Neurophysiol. 2000; 84: 3072 – 3077. [PubMed]
- den Ouden HE, Friston KJ, Daw ND, McIntosh AR, Stephan KE. Um duplo papel para o erro de previsão na aprendizagem associativa. Cereb Cortex. 2009; 19: 1175 – 1185. [Artigo gratuito do PMC] [PubMed]
- Duzel E, N Bunzeck, Guitart-Masip M, B Wittmann, Schott BH, Tobler PN. Imagem funcional do mesencéfalo dopaminérgico humano. Tendências Neurosci. 2009 [PubMed]
- Campos HL, Hjelmstad GO, Margolis EB, Nicola SM. Neurônios da área tegmentar ventral no comportamento apetitivo aprendido e reforço positivo. Annu Rev Neurosci. 2007; 30: 289 – 316. [PubMed]
- Fiorillo CD, Tobler PN, Schultz W. Codificação discreta da probabilidade de recompensa e incerteza pelos neurônios dopaminérgicos. Ciência. 2003; 299: 1898 – 1902. [PubMed]
- Floresco SB, oeste AR, Ash B, Moore H, Graça AA. A modulação aferente do disparo de neurônios dopaminérgicos regula diferencialmente a transmissão de dopamina tônica e fásica. Nat Neurosci. 2003; 6: 968 – 973. [PubMed]
- Frank MJ, Seeberger LC, O'Reilly RC. Por cenoura ou por pau: aprendizado de reforço cognitivo no parkinsonismo. Ciência. 2004; 306: 1940 – 1943. [PubMed]
- Friston KJ, Fletcher P, Josephs O, Holmes A, MD Rugg, Turner R. fMRI relacionados ao evento: caracterizando respostas diferenciais. Neuroimagem. 1998; 7: 30 – 40. [PubMed]
- Grace AA, Bunney BS. Eletrofisiologia intracelular e extracelular de neurônios dopaminérgicos nigral – 1. Identificação e caracterização. Neurociências. 1983; 10: 301–315. [PubMed]
- Ganchos MS, Kalivas PW. Envolvimento da transmissão de dopamina e aminoácidos excitatórios na atividade motora induzida por novidade. J Pharmacol Exp Ther. 1994; 269: 976 – 988. [PubMed]
- Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Correção da distorção da imagem na fMRI: uma avaliação quantitativa. Neuroimagem. 2002; 16: 217 – 240. [PubMed]
- Kakade S, Dayan P. Dopamine: generalização e bônus. Neural Netw. 2002; 15: 549 – 559. [PubMed]
- Knutson B, Westdorp A, Kaiser E, Hommer D. Visualização de FMRI da atividade cerebral durante uma tarefa de atraso de incentivo monetário. Neuroimagem. 2000; 12: 20 – 27. [PubMed]
- Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Representação neural distribuída do valor esperado. J Neurosci. 2005; 25: 4806 – 4812. [PubMed]
- Lisman JE, Grace AA. O loop hipocampo-VTA: controla a entrada de informações na memória de longo prazo. Neurônio 2005; 46: 703 – 713. [PubMed]
- Ljungberg T, Apicella P, Schultz W. Respostas de neurônios de dopamina de macaco durante a aprendizagem de reações comportamentais. J Neurophysiol. 1992; 67: 145 – 163. [PubMed]
- Maldjian JA, Laurienti PJ, Burdette JH. Discrepância do giro pré-central em versões eletrônicas do atlas de Talairach. Neuroimagem. 2004; 21: 450 – 455. [PubMed]
- JJ de Maldjian, Laurienti PJ, RA de Kraft, Burdette JH. Um método automatizado para interrogação neuroanatômica e cytoarchitectonic baseada em atlas de conjuntos de dados fMRI. Neuroimagem. 2003; 19: 1233 – 1239. [PubMed]
- Margolis EB, Lock H, Chefer VI, TS Shippenberg, Hjelmstad GO, Fields HL. Os opioides kappa controlam seletivamente os neurônios dopaminérgicos que se projetam para o córtex pré-frontal. Proc Natl Acad Sci EUA A. 2006; 103: 2938-2942. [Artigo gratuito do PMC] [PubMed]
- O'Doherty J, Dayan P, J Schultz, Deichmann R, Friston K, Dolan RJ. Papéis dissociáveis do estriado ventral e dorsal no condicionamento instrumental. Ciência. 2004; 304: 452 – 454. [PubMed]
- O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Modelos de diferença temporal e aprendizado relacionado à recompensa no cérebro humano. Neurônio 2003; 38: 329 – 337. [PubMed]
- Pessiglione M, Seymour B, G Flandin, Dolan RJ, Frith CD. Erros de previsão dependentes de dopamina sustentam o comportamento de busca de recompensa em humanos. Natureza. 2006; 442: 1042 – 1045. [Artigo gratuito do PMC] [PubMed]
- Preuschoff K, Bossaerts P, Quartz SR. Diferenciação neural da recompensa e risco esperados em estruturas subcorticais humanas. Neurônio 2006; 51: 381 – 390. [PubMed]
- Samejima K, Y Ueda, Doya K, Kimura M. Representação de valores de recompensa específicos da ação no estriado. Ciência. 2005; 310: 1337 – 1340. [PubMed]
- Schultz W, Dayan P, Montague PR. Um substrato neural de predição e recompensa. Ciência. 1997; 275: 1593 – 1599. [PubMed]
- BA Estranho, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Segregando as funções do hipocampo humano. Proc Natl Acad Sci EUA A. 1999; 96: 4034-4039. [Artigo gratuito do PMC] [PubMed]
- Talmi D, B Seymour, Dayan P, Dolan RJ. Transferência pavloviano-instrumental humana. J Neurosci. 2008; 28: 360 – 368. [Artigo gratuito do PMC] [PubMed]
- Tobler PN, Fiorillo CD, Schultz W. Codificação adaptativa do valor de recompensa pelos neurônios dopaminérgicos. Ciência. 2005; 307: 1642 – 1645. [PubMed]
- Tobler PN, Christopoulos GI, O'Doherty JP, Dolan RJ, Schultz W. Distorções neuronais da probabilidade de recompensa sem escolha. J Neurosci. 2008; 28: 11703 – 11711. [Artigo gratuito do PMC] [PubMed]
- Tulving E, Markowitsch HJ, Craik FE, Habib R, Houle S. Actividades de novidade e familiaridade em estudos PET de codificação e recuperação de memória. Cereb Cortex. 1996; 6: 71 – 79. [PubMed]
- Weiskopf N, Helms G. Mapeamento multi-parâmetro do cérebro humano a uma resolução de 1mm em menos de 20 minutos; ISMRM 16; Toronto Canadá. 2008.
- Weiskopf N, Hutton C, Josephs O, Deichmann R. Parâmetros ótimos de EPI para redução de perdas de sensibilidade BOLD induzidas por suscetibilidade: uma análise de todo o cérebro em 3 T e 1.5 T. Neuroimage. 2006; 33: 493 – 504. [PubMed]
- Wickens JR, Horvitz JC, Costa RM, Mecanismos Dopaminérgicos de Killcross S. em ações e hábitos. J Neurosci. 2007; 27: 8181 – 8183. [PubMed]
- Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. A antecipação da novidade recruta o sistema de recompensa e o hipocampo enquanto promove a recordação. Neuroimagem. 2007; 38: 194 – 202. [Artigo gratuito do PMC] [PubMed]
- Wittmann BC, Daw ND, Seymour B, Dolan RJ. A atividade do estriano está na base da escolha baseada em novidades em humanos. Neurônio 2008; 58: 967 – 973. [Artigo gratuito do PMC] [PubMed]
- Wittmann BC, Schott BH, S de Guder, Frey JU, Heinze HJ, Duzel E. A ativação de FMRI relacionada à recompensa do mesencéfalo dopaminérgico está associada à formação aumentada de memória de longo prazo dependente do hipocampo. Neurônio 2005; 45: 459 – 467. [PubMed]

