Sensibilidade do núcleo accumbens às violações na expectativa de recompensa (2007)

Neuroimagem. 2007 Jan 1; 34 (1): 455-61. Epub 2006 Oct 17.

Spicer J, Galvan A, Hare TA, Voss H, Glover G, Casey B.

fonte

Instituto Sackler de Psicobiologia do Desenvolvimento, Faculdade de Medicina Weill Cornell da Universidade de Cornell, 1300 York Avenue, Box 140, Nova York, NY 10021, EUA.

Sumário

Este estudo examinou se as regiões frontostriatais ventrais codificam diferencialmente os resultados de recompensa esperados e inesperados. Nós manipulamos parametricamente a probabilidade de recompensa e examinamos a resposta neural para recompensar e não-recompensada para cada condição de probabilidade no estriado ventral e no córtex orbitofrontal (OFC). Por testes posteriores do experimento, os sujeitos mostraram respostas comportamentais mais lentas para a condição com a menor probabilidade de recompensa, em relação à condição com a maior probabilidade de recompensa. No nível neural, tanto o nucleus accumbens (NAcc) quanto o OFC mostraram maior ativação para recompensados ​​em relação aos ensaios não recompensados, mas os accumbens pareceram ser mais sensíveis a violações nos resultados de recompensa esperados. Esses dados sugerem papéis distintos para o circuito frontostriatal na previsão de recompensas e na resposta a violações nas expectativas.

 

Introdução

Formar previsões precisas e detectar violações nas expectativas sobre os próximos eventos gratificantes é um componente essencial do comportamento direcionado a objetivos. Estudos de imagem de primatas não humanos e humanos sugerem que as regiões frontostriatal ricas em dopamina estão envolvidas na formação de previsões sobre resultados futuros de recompensas e na otimização do comportamento de acordo. Os mecanismos neurais do erro de predição relacionado à recompensa - uma representação da discrepância entre a recompensa real e esperada (Schultz et al, 1997) - foram estudados em primatas não humanos em termos de recompensas esperadas e inesperadas e / ou omissões de recompensa (Hollerman et al, 1998, Leon e Shadlen, 1999; Tremblay e Schultz, 1999). O presente estudo utilizou uma tarefa simples de correspondência de atraso de amostragem espacial, semelhante a uma usada anteriormente com primatas não humanos (Fiorillo et al, 2003), que manipulou a probabilidade do resultado da recompensa, para examinar as respostas neurais às recompensas esperadas e inesperadas.

Evidências convergentes implicam que o sistema de dopamina é crítico para a previsão e o processamento de recompensas (Olds e Milner, 1954; Montague et al, 2004, Schultz, 2002 para revisão). Estudos com primatas não humanos mostraram que os neurônios da dopamina respondem a recompensas primárias inesperadas e, eventualmente, aos estímulos que predizem essas recompensas (Mirencowicz & Schultz, 1994, Tobler e outros, 2005). Neurônios dopaminérgicos na área tegmental ventral (VTA) do macaco dispararão em resposta a uma recompensa primária que é imprevisível (ou prevista com uma probabilidade baixa) mais do que a uma recompensa que é totalmente prevista (Fiorillo et al, 2003;Tobler e outros, 2005). Inversamente, a atividade dos mesmos neurônios é suprimida quando uma recompensa esperada não é entregue em relação a uma omissão esperada de recompensa (Fiorillo et al, 2003; Tobler e outros, 2005). Assim, os neurônios da dopamina codificam o erro de predição representando a discrepância entre o resultado real e o previsto (Schultz et al, 1997; Tobler e outros, 2005), tal que a apresentação inesperada da recompensa resulta em aumento da atividade e omissões inesperadas da recompensa resultam em diminuição da atividade.

Alterações na queima de dopamina em resposta a mudanças no resultado da recompensa são acompanhadas por alterações no comportamento. Estudos com primatas não humanos descobriram que um macaco aumentará sua lambida antecipatória como uma função da probabilidade com a qual um estímulo condicionado está associado a estímulos incondicionados subseqüentes (entrega de suco). Como tal, os estímulos que representam uma alta probabilidade de entrega subseqüente de suco provocam lamber mais antecipadamente (Fiorillo et al., 2003).

Conexões anatômicas recíprocas existem entre regiões associadas ao comportamento direcionado por objetivos (por exemplo, córtex pré-frontal) e aquelas associadas a comportamentos apetitivos mais automáticos (por exemplo, estriado ventral) em que as previsões podem ser computadas (Shultz et al., 1997; Haber et al., 2003). Essas regiões são fortemente inervadas com dopamina através de projeções de neurônios dopaminérgicos mesencefálicos e essas conexões podem formar um circuito neuroanatômico funcional que apóia a otimização do comportamento, favorecendo ações que resultam em maiores ganhos.

Recentemente, estudos de ressonância magnética funcional humana (fMRI) implicaram duas regiões deste circuito, o nucleus accumbens e o córtex orbitofrontal, na representação do erro de predição. Por exemplo, seqüências imprevisíveis de suco e fornecimento de água mostraram provocar aumento de atividade no NAcc em relação ao parto previsível (Berns et al, 2001). Erro de previsão baseado em temporal (McClure et al, 2003) e estímulo (O'Doherty e outros, 2003 O'Doherty e outros, 2004) violações também ativam o striatum ventral.

O papel do OFC na previsão de recompensa tem sido menos claro. Enquanto alguns estudos relataram sensibilidade do OFC sob condições de erro de predição (Berns et al., 2001; O'Doherty e outros, 2003; Ramnini et al., 2004; Dreher et al., 2005) outros não (McClure et al., 2003; O'Doherty e outros, 2004; Delgado et al., 2005). Estudos com menor ênfase no erro de predição mostram maior ativação de OFC a favoráveis ​​em relação a desfechos desfavoráveis ​​(O'Doherty e outros, 2001; Elliott et al, 2003; Galvan et al, 2005) em estudos de valor de recompensa (Gottfried e outros, 2003) e valência (Cox et al, 2005; O'Doherty, 2000 O'Doherty, 2003 O'Doherty, 2004). Recentemente, Kringelbach e Rolls (2004) integrou a literatura de neuroimagem e neuropsicológica para explicar as funções variadas do córtex orbitofrontal. Eles sugerem uma distinção medial-lateral e uma distinção ântero-posterior. O córtex orbitofrontal medial e lateral monitoram o valor da recompensa e a avaliação dos punidores, respectivamente O'Doherty e outros, 2001 ; Rolls et al, 2003). Acredita-se que o córtex anterior orbitofrontal esteja mais envolvido na representação de reforçadores abstratos (O'Doherty e outros, 2001) sobre os mais simples relacionados ao sabor (por De Araujo et al, 2003) e dor (por exemplo Craig et al, 2000).

Estas regiões frontostriatais ventrais têm recentemente (Knutson et al, 2005) foi associado à representação do valor esperado (o produto da probabilidade esperada e da magnitude do resultado) durante antecipação do resultado da recompensa. Dado o design elegante, mas complexo, que incluía sinais 18 representando numerosas combinações de magnitude, probabilidade e / ou valência, uma falta de poder estatístico impediu os autores de examinar a ativação cerebral relacionada ao incentivo. resultados. No presente estudo, usamos três pistas distintas, cada uma delas associada a recompensas 33%, 66% ou 100% para os testes corretos. A ênfase deste estudo foi em resultado de recompensa em vez de recompensar a antecipação, a fim de examinar a sensibilidade no nível neural a violações nas expectativas de recompensa, em vez de antecipar a recompensa antes do resultado. Esta análise é crítica para entender a previsibilidade das recompensas por causa das mudanças na queima da dopamina que ocorrem no resultado da recompensa quando ocorrem violações das expectativas previstas (Fiorillo et al, 2003). A a priori as previsões sobre a accumbens e a resposta OFC à recompensa monetária esperada e inesperada foram baseadas em trabalhos anteriores de imagiologia implicando estas regiões no processamento de recompensas (Knutson et al, 2001; 2005; O'Doherty e outros, 2001; Galvan et al, 2005). Usamos uma simples correspondência espacial atrasada para amostrar um paradigma semelhante ao usado por Fiorillo et al (2003) em estudos eletrofisiológicos de neurônios dopaminérgicos em primatas não humanos. Nossa hipótese é que a atividade no estriado ventral, em particular o NAcc, aumentaria quando uma recompensa inesperada fosse entregue e diminuiria quando uma recompensa esperada não fosse entregue. Esperava-se que o comportamento fosse paralelo a essas mudanças, com tempos médios de reação mais rápidos, para sinalizar a previsão da recompensa mais frequentemente, mas tempos de reação mais lentos para a sugestão de prever recompensas com menor frequência. Além disso, levantamos a hipótese de que o OFC seria sensível para recompensar o resultado (recompensa ou não), mas que os accumbens seriam mais sensíveis às mudanças nas previsões de recompensas. Essas hipóteses basearam-se em relatos de estudos de imagem anteriores (Galvan e outros 2005, no prelo) e trabalho de primatas não-humanos demonstrando maior envolvimento do estriado em parâmetros de probabilidade de recompensa, em relação à atividade bloqueada por recompensa do OFC (Schultz, et al, 2000) e na quantia fixa, em vez de variável, de recompensa nas condições de probabilidade.

Ir para:

O Propósito

Participantes

Doze adultos saudáveis ​​destros (7 fêmea), com idades entre 19 e 27 (idade média de 24 anos), foram incluídos no experimento com fMRI. Os indivíduos não tinham histórico de doenças neurológicas ou psiquiátricas e todos os indivíduos foram autorizados a participar do estudo aprovado pelo Institutional Review Board antes da participação.

Tarefa Experimental

Os participantes foram testados usando uma versão modificada de uma tarefa de dupla escolha de resposta retardada descrita anteriormente (Galvan et al, 2005) em um estudo de fMRI relacionado ao evento (Figura 1). Nesta tarefa, três pistas foram associadas a uma probabilidade distinta (33%, 66% e 100%) de obter uma quantia fixa de recompensa. Os sujeitos foram instruídos a pressionar o dedo indicador ou médio para indicar o lado em que a sugestão apareceu quando solicitado, e responder o mais rápido possível sem cometer erros. Uma das três imagens de desenhos animados pirata foi apresentada em ordem aleatória no lado esquerdo ou direito de uma fixação centralizada para 1000 ms (ver Figura 1). Após um atraso de 2000 ms, os sujeitos foram apresentados com um prompt de resposta de dois baús de tesouro em ambos os lados da fixação (2000 ms) e instruídos a pressionar um botão com o dedo indicador direito se o pirata estivesse no lado esquerdo da fixação o dedo médio direito se o pirata estivesse do lado direito da fixação. Após outro atraso de 2000 ms, ou feedback de recompensa (moedas de desenho animado) ou um baú de tesouro vazio foi apresentado no centro da tela (1000 ms) com base na probabilidade de recompensa desse tipo de teste. Houve um 12 segundo intervalo intertrial (ITI) antes do início da próxima tentativa.

Figura 1  

Projeto de Tarefas

Havia três condições de probabilidade de recompensa: uma probabilidade de recompensa 33%, 66% e 100%. Na condição 33%, os indivíduos foram recompensados ​​em 33% dos ensaios e nenhuma recompensa (uma arca do tesouro vazia) ocorreu nos outros 66% dos ensaios nessa condição. Na condição 66%, os indivíduos foram recompensados ​​em 66% dos ensaios e não houve recompensa para os outros 33% dos ensaios. Na condição 100%, os participantes foram recompensados ​​por todos os testes corretos.

Os sujeitos estavam garantidos $ 50 para participação no estudo e foram informados que poderiam ganhar até $ 25 a mais, dependendo do desempenho (conforme indexado pelo tempo de reação e precisão) na tarefa. Estímulos foram apresentados com o sistema de imagem funcional integrado (IFIS) (PST, Pittsburgh) usando um monitor de vídeo LCD no orifício do scanner de RM e um dispositivo de coleta de resposta de fibra óptica.

O experimento consistiu em cinco execuções de testes 18 (6 cada um dos 33%, 66% e 100% de probabilidade de tipos de testes de recompensa), que duraram 6 min e 8 s cada. Cada corrida teve testes 6 de cada probabilidade de recompensa apresentada em ordem aleatória. No final de cada corrida, os participantes foram atualizados sobre quanto ganharam durante essa corrida. Antes de iniciar o experimento, os sujeitos receberam instruções detalhadas que incluíam a familiarização com os estímulos empregados e realizaram uma corrida prática para garantir a compreensão da tarefa. Eles foram informados de que existia uma relação entre as pistas e os resultados monetários, mas a natureza exata desse relacionamento não foi revelada.

Aquisição de imagem

A imagem foi realizada usando um scanner 3T General Electric MRI usando uma bobina de cabeça de quadratura. Varreduras funcionais foram adquiridas usando uma sequência espiral de entrada e saída (Glover & Thomason, 2004). Os parâmetros incluíram TR = 2000, TE = 30, 64 X 64 matriz, 29 cortes coronais de 5 mm, resolução no plano de 3.125 X 3.125 mm, giro 90 °) para 184 repetições, incluindo quatro aquisições descartadas no início de cada corrida. Varreduras anatômicas ponderadas em plano de T1 foram coletadas (TR = 500, TE = min, 256 X 256, FOV = 200 mm, espessura de corte de 5 mm) nos mesmos locais que as imagens funcionais, além de um conjunto de dados 3-D de imagens SPGR de alta resolução (TR = 25, TE = 5, espessura de corte de 1.5 mm, 124 cortes).

Análise de imagem

O pacote de software Brainvoyager QX (Brain Innovations, Maastricht, Holanda) foi usado para realizar uma análise de efeitos aleatórios dos dados de imagem. Antes da análise, os seguintes procedimentos de pré-processamento foram executados nas imagens brutas: correção de movimento 3D para detectar e corrigir pequenos movimentos de cabeça por alinhamento espacial de todos os volumes para o primeiro volume por transformação de corpo rígido, correção de tempo de varredura de fatia (usando interpolação sinc) remoção de tendência linear, filtragem temporal de alta passagem para remover desvios não lineares de 3 ou menos ciclos por curso de tempo e suavização de dados espaciais usando um kernel Gaussiano com 4mm FWHM. Os movimentos estimados de rotação e translação nunca excederam 2mm para os assuntos incluídos nesta análise.

Os dados funcionais foram co-registrados no volume anatômico pelo alinhamento dos pontos correspondentes e ajustes manuais para obter ajuste ideal por inspeção visual e foram então transformados em espaço de Talairach. Durante a transformação de Talairach, os voxels funcionais foram interpolados para uma resolução de 1 mm3 para fins de alinhamento, mas os limiares estatísticos foram baseados no tamanho de voxel de aquisição original. O núcleo accumbens e o córtex frontal orbital foram definidos por um GLM de todo o cérebro com recompensa como o principal preditor (ver abaixo) e depois localizado por coordenadas de Talairach em conjunto com referência ao atlas cerebral de Duvernoy (Talairach & Tournoux, 1988; Duvernoy, 1991).

Análises estatísticas dos dados de imagem foram realizadas em todo o cérebro usando um modelo linear geral (GLM) composto de execuções funcionais 60 (5 executa X XUMUM) z-normalizado. O principal preditor foi a recompensa (recompensa versus não-recompensa) em todas as probabilidades de recompensa no resultado da recompensa. O preditor foi obtido por convolução de uma resposta ideal de boxcar (assumindo um valor 12 para o volume de apresentação da tarefa e um volume de 1 para os pontos de tempo restantes) com um modelo linear de resposta hemodinâmica (Boynton et al, 1996) e usado para construir a matriz de design de cada curso de tempo no experimento. Apenas testes corretos foram incluídos e preditores separados foram criados para tentativas de erro. Análises de contraste post hoc nas regiões de interesse foram então realizadas com base em testes t sobre os pesos beta dos preditores. Simulações Monte Carlo foram executadas usando o programa AlphaSim dentro do AFNI (Cox, 1996) para determinar os limiares apropriados para atingir um nível alfa corrigido de p <0.05 com base em volumes de pesquisa de aproximadamente 25,400 mm3 e 450 mm3 para o córtex orbital frontal e o nucleus accumbens, respectivamente. As alterações percentuais no sinal de MR em relação à linha de base (intervalo imediatamente anterior ao teste de 20 segundos) no núcleo accumbens e córtex orbital frontal foram calculadas usando a média relacionada ao evento sobre voxels significativamente ativos obtidos a partir das análises de contraste.

O GLM de todo o cérebro foi baseado em ensaios de recompensa 50 por sujeito (n = 12) para um total de ensaios 600 e 30 ensaios não recompensados ​​por indivíduo (n = 12) para um total de ensaios 360 não recompensados ​​ao longo de toda a experiência. Contrastes subsequentes nas condições de probabilidade de recompensa consistiram em diferentes números de recompensa e nenhum teste de recompensa. Para a condição de probabilidade de recompensa 100%, houve testes de recompensa 6 por corrida (5) por indivíduo (12) para um total de testes de recompensa 360 e nenhum teste de não recompensa. Para a condição de probabilidade de recompensa 66%, houve testes de recompensa 4 por corrida (5) por indivíduo (12) para um total de testes de recompensa 240 e ensaios 120 nonreward. Para a condição de probabilidade de recompensa 33%, houve testes de recompensa 2 por corrida (5) por sujeito (12) para um total de testes de recompensa 120 e ensaios 240 nonreward.

Ir para:

Consistentes

Dados Comportamentais

Os efeitos da probabilidade de recompensa e do tempo na tarefa foram testados com análise de variância de medidas repetidas (ANOVA) para as variáveis ​​dependentes do tempo médio de reação (RT - 3%, 33%, 66%) x 100 (executa 5-1) ) e precisão média.

Não houve efeitos principais ou interações de probabilidade de recompensa (F [2,22] =. 12, p <.85) tempo na tarefa (F [4,44] = 2.02, p <.14) ou probabilidade de recompensa X tempo na tarefa (F [8, 88] = 1.02, p <41) para precisão média. Isso era esperado, pois a precisão dos participantes atingiu os níveis próximos ao teto para todas as probabilidades do experimento (condição de 33% = 97.2%; condição de 66% = 97.5%; condição de 100% = 97.7%).

Houve uma interação significativa entre a probabilidade de recompensa e o tempo na tarefa (F [8,88] = 3.5, p <01) no RT médio, mas nenhum efeito principal do tempo na tarefa (F [4,44] = 611 , p <0.59) ou probabilidade de recompensa (F [2,22] = 2.84, p <0.08). Os testes t post-hoc da interação significativa mostraram que houve uma diferença significativa entre as condições de probabilidade de recompensa de 33% e 100% durante as últimas tentativas do experimento (execução 5) (t (11) = 3.712, p <003), com RT médio mais rápido para a condição de probabilidade de recompensa de 100% (média = 498.30, dp = 206.23) em relação à condição de 33% (média = 583.74, dp = 270.23).

A diferença no tempo médio de reação entre as condições 100% e 33% aumentou em duas vezes, do início para o final (veja Figura 2a). Para mostrar ainda mais o aprendizado, introduzimos uma reversão, trocando as probabilidades de recompensa pelas condições 33% e 100% no final do experimento. Uma ANOVA 2 (probabilidade) X 2 (reversa e não inversa) para ensaios posteriores mostrou uma interação significativa (F (1,11) = 18.97, p = 0.001), com uma diminuição na RT para a condição que era a probabilidade% 33 em a não inversão (média = 583.74, sd = 270.24) e 100% na inversão (média = 519.89, sd = 180.46) (Figura 2b).

Figura 2  

Resultados comportamentais (RT)

Resultados da imagem

Um GLM para testes corretos usando probabilidade de recompensa como o preditor primário foi modelado no ponto em que o sujeito recebeu feedback de recompensa ou não (ou seja, resultado). Esta análise identificou as regiões do NAcc (x = 9, y = 6, z = −1 e x = −9, y = 9, z = −1) e OFC (x = 28, y = 39, z = - 6) (ver Figura 3a, b) Testes t post-hoc entre os pesos beta dos ensaios recompensados ​​e não recompensados ​​mostraram maior ativação em ambas as regiões para recompensar (NAcc: t (11) = 3.48, p <0.01; OFC x = 28, y = 39, z = −6, t (11) = 3.30, p <0.02)1.

Figura 3  

Maior ativação para resultados recompensados ​​versus não recompensados ​​no a) núcleo accumbens (x = 9, y = 6, z = −1; x = −9, y = 9, z = −1) eb) córtex frontal orbital (x = 28, y = 39, z = −6).

Havia dois resultados possíveis (recompensa ou nenhuma recompensa) para os dois esquemas de recompensa intermitente (33% e 66% de probabilidade) e apenas um resultado para o programa de recompensa contínua (100% de probabilidade de recompensa), que foi usado como uma condição de comparação. Considerando que houve um efeito principal de recompensa (recompensas versus tentativas sem recompensa) no OFC descrito acima, a atividade de OFC não variou em função da probabilidade de recompensa no estudo atual [F (2,10) = 0.84, p = 0.46) . Em contraste, o NAcc mostrou mudanças distintas na atividade para o resultado como uma função da manipulação da probabilidade de recompensa [F (2,10) = 9.32, p <0.005]. Especificamente, a atividade NAcc aumentou para resultados de recompensa, quando a recompensa era inesperada (condição de probabilidade de recompensa de 33%) em relação ao esperado (condição de linha de base de 100%) [t (11) = 2.54, p <03 ver Figura 4a] Em segundo lugar, houve diminuição da atividade NAcc para nenhuma recompensa, quando uma recompensa era esperada e não recebida (condição de probabilidade de recompensa de 66%) em relação à recompensa que não era esperada ou recebida (condição de probabilidade de recompensa de 33%; t (59) = 2.08, p <.04; veja Figura 4b). Observe que não houve diferenças significativas na ativação entre as condições de probabilidade de recompensa 33% e 66% [t (11) = 510, p = .62] ou entre as condições de probabilidade recompensadas 66% e 100% [t (11) = 1.20, p = .26] em resultados recompensados. O sinal MR em função do resultado da recompensa e da probabilidade é mostrado Figura 4.

Figura 4  

O sinal percentual de MR muda em função do resultado da recompensa e da probabilidade no núcleo accumbens a a) resultados recompensados ​​e b) não recompensados.
Ir para:

Discussão

Este estudo examinou os efeitos das violações nos resultados esperados da recompensa no comportamento e na atividade neural no acumbens e no córtex frontal orbital (OFC), mostrado previamente envolvido na antecipação dos resultados da recompensa (McClure e outros 2004; Knutson et al, 2005). Mostramos que tanto o nucleus accumbens quanto o OFC foram recrutados durante os ensaios recompensados ​​em relação aos ensaios não recompensados, mas apenas o nucleus accumbens mostrou sensibilidade a violações no resultado de recompensa previsto neste estudo. Maior sensibilidade dos accumbens em recompensar o valor (por exemplo, magnitude) em relação ao OFC foi demonstrada em trabalhos anteriores (Galvan e outros 2005), e juntos estes resultados sugerem que esta região pode estar envolvida no cálculo da magnitude e probabilidade de recompensa. A falta de sensibilidade na OFC a essas manipulações pode refletir uma representação mais absoluta de recompensa ou ambiguidade no resultado (Hsu et al., 2005). Alternativamente, como o sinal de RM foi mais variável nessa região, esses efeitos podem ter sido enfraquecidos no presente estudo.

Em estudos eletrofisiológicos em animais, os neurônios dopaminérgicos no mesencéfalo (que se projetam para o nucleus accumbens) mostraram ter pouca ou nenhuma resposta aos resultados de recompensa previstos (probabilidade = 1.0), mas mostram disparo fásico quando a recompensa é entregue com menos de 100 % de probabilidade, mesmo após treinamento extensivo (Fiorillo et al, 2003). No presente estudo, mostramos uma maior atividade de accumbens para recompensar quando a recompensa foi inesperada (condição 33%) em relação a quando era esperada (condição 100%) consistente com esses achados. Além disso, estudos eletrofisiológicos de neurônios dopaminérgicos em animais Fiorillo et al, 2003) mostraram que, para ensaios em que a recompensa foi prevista, mas não ocorreu, a atividade neuronal diminuiu. O presente estudo mostrou um padrão semelhante no accumbens, com uma diminuição da atividade nesta região nos ensaios não recompensados ​​para a condição de probabilidade de recompensa 66% em relação à condição 33%.2

Neurônios dopaminérgicos foram implicados na aprendizagem de duas maneiras. Primeiro, eles codificam contingências entre estímulos (ou respostas) e resultados através de sinais de erros de previsão que detectam violações nas expectativas (Schultz et al, 1997; Mirencowicz e Schultz, 1998; Fiorillo et al, 2003). Assim, o erro de predição parece fornecer um sinal de ensino que corresponde aos princípios de aprendizagem inicialmente descritos por Rescorla e Wagner (1972). Em segundo lugar, servem para alterar as respostas comportamentais (Schultz et al, 1997; McClure et al, 2004) de tal forma que as ações são tendenciosas em direção aos sinais que são mais preditivos. No presente estudo, mostramos que, por testes posteriores do experimento, o desempenho mais ideal é para a condição com a maior probabilidade de recompensa (100% de probabilidade de recompensa) e menos ideal para a menor probabilidade (33% de probabilidade de recompensa). Esse achado comportamental é consistente com o trabalho de probabilidade anterior, mostrando o desempenho menos ótimo com a menor probabilidade de resultado de recompensa, sugerindo que as contingências de recompensa foram aprendidas ao longo do tempo (Delgado et al, 2005). Para mostrar ainda mais o aprendizado, introduzimos uma reversão, trocando as probabilidades de recompensa pelas condições 33% e 100% no final do experimento. Essa manipulação resultou na atenuação das diferenças entre essas condições, corroborando ainda mais os efeitos de aprendizagem.

Um dos principais objetivos dos estudos relacionados à recompensa é determinar como as recompensas influenciam e influenciam o comportamento (por exemplo, Robbins e Everitt, 1996; Schultz, 2004) além de caracterizar o processamento neural subjacente. Inúmeros fatores contribuem para a rapidez e robustez das recompensas no comportamento de influência, incluindo os cronogramas de reforço (Skinner, 1958), valor da recompensa (Galvan et al, 2005) e recompensa a previsibilidade (Fiorillo et al, 2003; Delgado et al, 2005). O valor esperado, que é o produto da magnitude e probabilidade de uma recompensa (Pascal, ca 1600s), influencia as escolhas comportamentais (von Frisch, 1967; Montague et al, 1995; Montague e Berns, 2002). Usando uma tarefa muito semelhante, na qual apenas o resultado (magnitude em vez de probabilidade) diferia do estudo atual, mostramos que o núcleo accumbens era sensível a valores discretos de recompensa (Galvan et al, 2005). Considerado em conjunto com as evidências apresentadas aqui e em outros lugares (Tobler e outros, 2005), sugerimos que o corpo estriado ventral provavelmente contribui para o cálculo do valor de recompensa esperado, dada sua sensibilidade tanto à probabilidade como à magnitude da recompensa.

O papel do córtex frontal orbital na predição de recompensa é consistente com as subdivisões funcionais desta região por Kringelbach e Rolls (2004). Eles sugerem que mais porções anterior e medial de OFC são sensíveis a manipulações de recompensa abstratas. A ativação de OFC neste estudo foi observada nesta localização geral. Estudos eletrofisiológicos implicam o OFC na codificação do valor subjetivo de um estímulo de recompensa (para revisão, O'Doherty, 2004). Por exemplo, os neurônios OFC disparam para um sabor particular quando um animal está com fome, mas diminuem sua taxa de disparo quando o animal está saciado e o valor de recompensa do alimento diminui (Critchley e Rolinhos, 1996). Como tal, outros sugeriram que o OFC é mais sensível a recompensas relativas (Tremblay e Schultz, 1999) e preferência de recompensa (Schultz et al, 2000). Estudos de neuroimagem mostraram um padrão análogo em humanos com uma variedade de estímulos, incluindo o sabor (O'Doherty e outros, 2001; Kringelbach et al, 2003), olfacção (Anderson et al, 2003; Rolls et al, 2003), e dinheiro (Elliott et al, 2003; Galvan et al, 2005), com cada ativação variando na localização da atividade de anterior para posterior e de OFC medial para lateral. O OFC foi implicado na antecipação da recompensa (O'Doherty e outros 2002), mas apenas na medida em que o valor preditivo da resposta está ligado ao valor da recompensa associada, e não na probabilidade de ocorrer essa recompensa (O'Doherty, 2004 ). No presente estudo, não observamos sensibilidade a violações na previsão de recompensas no OFC. Knutson e colegas (2005) relataram correlações entre estimativas de probabilidade e ativação cerebral em antecipação de recompensa no córtex pré-frontal mesial (Knutson e outros 2005), mas não especificamente no córtex frontal orbital. Em contraste, Ramnani et al (2004 ) relataram sensibilidade de OFC ao erro de predição positivo no córtex frontal medial orbital usando uma tarefa de visualização passiva e Dreher et al. (2005) relataram a previsão do erro de OFC em uma tarefa que manipulou tanto a probabilidade quanto a magnitude das dicas preditivas, mas essas contingências foram aprendidas antes da varredura. Portanto, ainda é possível afirmar que OFC pode calcular as recompensas previstas, mas talvez esses cálculos sejam mais brutos (isto é, somados em uma série de probabilidades) ou mais lentos para formar em relação aos cálculos precisos que parecem ocorrer no NAcc. Alternativamente, esta região pode ser mais sensível na detecção de estímulos de valor incerto e / ou ambíguo, como proposto por Hsu et al (2005), do que na detecção de violações na previsão de recompensas. Hsu et al (2005) mostram que o nível de ambiguidade nas escolhas (escolhas incertas feitas por falta de informação) se correlaciona positivamente com a ativação no OFC. Finalmente, a maior variabilidade do sinal de RM nessa região pode ter diminuído nossa capacidade de detectar esses efeitos também.

A questão fundamental do presente estudo foi como o accumbens e o OFC codificam diferencialmente os resultados da recompensa em relação aos resultados imprevisíveis (isto é, violações nas expectativas). Nós parametricamente manipulamos a probabilidade de recompensa e examinamos a resposta neural para recompensar e não-recompensar tentativas para cada condição de recompensa de probabilidade. Nossos dados são consistentes com estudos anteriores de imagens humanas e eletrofisiológicos não humanos (Fiorillo et al, 2003; Schultz, 2002) e sugerem que os accumbens e OFC são sensíveis ao resultado da recompensa (recompensa ou não). No entanto, a atividade nessas regiões, especialmente o accumbens, parece ser modulada por previsões sobre a probabilidade de resultados de recompensa que são formados com a aprendizagem ao longo do tempo. Esse padrão dinâmico de ativação pode representar modificações na atividade da dopamina dentro ou projetando-se para essas regiões à medida que a informação sobre a recompensa prevista é aprendida e atualizada.

Ir para:

Notas de rodapé

1O NAcc [t (11) = 3.2, p <0.04] ​​e OFC [t (11) = 3.5, p <0.02] mostrou aumento da atividade em antecipação da recompensa para a condição de recompensa intermitente, mas não contínua

2A omissà £ o do resultado de recompensa na condiçà £ o 33% resultou em um ligeiro aumento na atividade NAcc ao invà © s de uma diminuÃda, similar à aquela observada por Knutson et al., 2001. Uma possível interpretação deste resultado é que os sujeitos foram intrinsecamente motivados ou recompensados ​​se previssem que nenhuma recompensa viria para esse julgamento, e nenhum o faria. Alternativamente, uma vez que o resultado da recompensa para esses ensaios foi o menor número em todo o experimento, a atividade pode refletir o aprendizado contínuo para essa condição.

Isenção de responsabilidade do editor: Este é um arquivo PDF de um manuscrito não editado que foi aceito para publicação. Como um serviço aos nossos clientes, estamos fornecendo esta versão inicial do manuscrito. O manuscrito será submetido a edição de texto, formatação e revisão da prova resultante antes de ser publicado em sua forma final citável. Observe que, durante o processo de produção, podem ser descobertos erros que podem afetar o conteúdo, e todas as isenções legais que se aplicam ao periódico pertencem a ele.

Ir para:

Referências

  • Anderson A, Christoff K, Stappen I, D Panitz, Ghahremani D, Glover G., Gabrieli JD, Sobel N. Representações neurais dissociadas de intensidade e valência no olfato humano. Nature Neuroscience. 2003;6: 196 – 202.
  • Berns GS, McClure SM, G Pagnoni, Montague PR. A previsibilidade modula a resposta do cérebro humano para recompensar. Journal of Neuroscience. 2001;21: 2793 – 2798. [PubMed]
  • GM de Boynton, Engel SA, GH de Glover, DJ de Heeger. Análise de sistemas lineares de ressonância magnética funcional em humanos V1. Journal of Neuroscience. 1996;16: 4207 – 4221. [PubMed]
  • Cox RW. AFNI: Software para análise e visualização de neuroimagens de ressonância magnética funcional. Computações em Pesquisa Biomédica. 1996;29: 162 – 173.
  • Cox SM, Andrade A e Johnsrude IS. Aprender a gostar: Um papel para o córtex orbitofrontal humano na recompensa condicionada. Journal of Neuroscience. 2005;25: 2733 – 2740. [PubMed]
  • Craig AD, Chen K, Bandy D., Reiman EM. Ativação termossensorial do córtex insular. Nature Neuroscience. 2000;3: 184 – 190.
  • Critchley HD, Rolls ET. A fome e a saciedade modificam as respostas dos neurônios olfativos e visuais no córtex orbitofrontal primata. Jornal de Neurofisiologia. 1996;75: 1673 – 1686. [PubMed]
  • De Araujo IET, Kringelbach ML, Rolls ET, McGlone F. Respostas corticais humanas à água na boca e os efeitos da sede. Jornal de Neurofisiologia. 2003;90: 1865 – 1876. [PubMed]
  • Delgado MR, M Miller, Inati S, Phelps EA. Um estudo de fMRI de aprendizagem de probabilidade relacionada à recompensa. Neuroimagem. 2005;24: 862 – 873. [PubMed]
  • Dreher JC, Kohn P, Berman KF. Codificação neural de propriedades estatísticas distintas da informação de recompensa em humanos. Córtex cerebral. 2005 Epub ahead of print.
  • Elliott R, Newman JL, Longe OA, Deakin JFW. Padrões de resposta diferencial no estriado e no córtex orbitofrontal para recompensa financeira em humanos: um estudo paramétrico de ressonância magnética funcional. Journal of Neuroscience. 2003;23: 303 – 307. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Codificação discreta da probabilidade de recompensa e incerteza pelos neurônios dopaminérgicos. Ciência. 2003;299: 1898 – 1902. [PubMed]
  • Galvan A, Hare TA, Davidson M, Spicer J, Glover G, Casey BJ. O papel do circuito frontostriatal ventral na aprendizagem baseada em recompensa em humanos. The Journal of Neuroscience. 2005;25: 8650 – 8656. [PubMed]
  • Galvan A, Hare TA, Parra C, Penn J, H Voss, Glover G, Casey BJ. O desenvolvimento precoce do accumbens em relação ao córtex orbitofrontal pode estar na base de comportamentos de risco em adolescentes. The Journal of Neuroscience. 2006;26: 6885 – 6892. [PubMed]
  • Gottfried JA, O'Doherty J, Dolan RJ. Codificando o valor preditivo de recompensa na amígdala humana e no córtex orbitofrontal. Ciência. 2003;301: 1104 – 1107. [PubMed]
  • Haber SN. Os gânglios basais dos primatas: redes paralelas e integradoras. Jornal de Neuroanatomia Química. 2003;26: 317 – 330. [PubMed]
  • Hollerman J, Schultz W. Neurônios de dopamina relatam um erro na predição temporal de recompensa durante o aprendizado. Nature Neuroscience. 1998;1: 304 – 309.
  • Hsu M, M Bhatt, Adolphs R, Tranel D, Camerer CF. Sistemas neurais que respondem a graus de incerteza na tomada de decisão humana. Ciência. 2005;310: 1680 – 1683. [PubMed]
  • Knutson B, Adams CM, Fong GW, Hommer D. Antecipação do aumento da recompensa monetária seletivamente recruta o núcleo accumbens. Journal of Neuroscience. 2001;21: 1 – 5.
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Representação neural distribuída do valor esperado. The Journal of Neuroscience. 2005;25: 4806 – 4812. [PubMed]
  • Kringelbach ML, O'Doherty J, Rolls ET, Andrews C. A ativação do córtex orbitofrontal humano a um estímulo alimentar líquido está correlacionada com sua agradabilidade subjetiva. Córtex cerebral. 2003;13: 1064 – 1071. [PubMed]
  • Kringelbach ML, Rolls ET. Neuroanatomia funcional do córtex orbitofrontal humano: evidências de neuroimagem e neuropsicologia. Progresso na neurobiologia. 2004;72: 341 – 372. [PubMed]
  • Leon MI, Shadlen MN. Efeito da magnitude da recompensa esperada na resposta dos neurônios no córtex pré-frontal dorsolateral do macaco. Neurônio. 1999;24: 415 – 425. [PubMed]
  • McClure SM, Berns GS, Montague PR. Erros de previsão temporal em uma tarefa de aprendizagem passiva ativam o corpo estriado humano. Neurônio. 2003;38: 339 – 346. [PubMed]
  • McClure SM, Laibson DI, Loewenstein G. Cohen JD. Sistemas neurais separados valorizam recompensas monetárias imediatas e atrasadas. Ciência. 2004;306: 503 – 507. [PubMed]
  • Mirenowicz J, Schultz W. Importância da imprevisibilidade para respostas de recompensa em neurônios de dopamina primatas. Jornal de Neurofisiologia. 1994;72: 1024 – 1027. [PubMed]
  • Montague PR, Berns GS. Economia neural e os substratos biológicos da avaliação. Neurônio. 2002;36: 265 – 284. [PubMed]
  • Montague PR, Hyman SE, Cohen JD. Papéis computacionais para dopamina no controle comportamental. Natureza. 2004;431: 379 – 387.
  • O'Doherty JP. Representações de recompensa e aprendizagem relacionada a recompensa no cérebro humano: insights de neuroimagem. Opinião atual em Neurobiologia. 2004;14: 769 – 776. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Modelos de diferenças temporais e aprendizagem relacionada à recompensa no cérebro humano. Neurônio. 2003;38: 329 – 337. [PubMed]
  • O'Doherty JP, Deichmann R, Critchley HD, Dolan RJ. Respostas neurais durante a antecipação de uma recompensa de sabor primária. Neurônio. 2002;33: 815 – 826. [PubMed]
  • O'Doherty J, Kringelbach M, Rolls ET, Hornak J, Andrews C. Representações abstratas de recompensa e punição no córtex orbitofrontal humano. Nature Neuroscience. 2001;4: 95 – 102.
  • O'Doherty J, Rolls ET, Francis S, Bowtell R, McGlone F, Kobal G, Renner B, Ahne G. Sensory-specific saciety-related olfactory activation of the human orbitofrontal cortex. Neuroreport. 2000;11: 893 – 897. [PubMed]
  • Olds J, Milner P. Reforço positivo produzido por estimulação elétrica da área septal e outras regiões do cérebro de ratos. Jornal de Fisiologia Comparada e Psicologia. 1954;47: 419 – 427.
  • Ramnani N, Elliott R. Athwal B, Passingham R. Erro de previsão para recompensa monetária gratuita no córtex pré-frontal humano. NeuroImage. 2004;23: 777 – 786. [PubMed]
  • Rescorla R, Wagner A. Em: Condicionamento Clássico 2: Pesquisa e Teoria Atual. Preto A, Prokasy W, editores. Appleton Century-Crofts; Nova Iorque: 1972. pp. 64 – 69.
  • Robbins TW, Everitt BJ. Mecanismos neurocomportamentais de recompensa e motivação. Opiniões atuais em Neurobiologia. 1996;6: 228 – 235.
  • Rolos E, Kringelbach M, DeAraujo I. Diferentes representações de odores agradáveis ​​e desagradáveis ​​no cérebro humano. Revista Européia de Neurociência. 2003;18: 695 – 703. [PubMed]
  • Schultz W, Dayan P, Montague PR. Um substrato neural de predição e recompensa. Ciência. 1997;275: 1593 – 1599. [PubMed]
  • Schultz W, Tremblay L, Hollerman JR. Recompensar o processamento no córtex orbitofrontal de primatas e nos gânglios da base. Cereb Cortex. 2000;10: 272 – 284. [PubMed]
  • Schultz W. Obtendo formal com dopamina e recompensa. Neurônio. 2002;36: 241 – 263. [PubMed]
  • Schultz W. Neural codificação de termos básicos de recompensa da teoria da aprendizagem animal, teoria dos jogos, microeconomia e ecologia comportamental. Opinião atual em Neurobiologia. 2004;14: 139 – 147. [PubMed]
  • Skinner BF. Diagramação de horários de reforço. Jornal de Análise Experimental de Comportamento. 1958;1: 103 – 107.
  • Sutton RS, Barto AG. Aprendizagem por Reforço: Uma Introdução. MIT Press; Cambridge, MA: 1998.
  • Schultz W, Tremblay L., Hollerman J. Recompensa processamento no córtex orbitofrontal de primatas e gânglios da base. Córtex cerebral. 2000;10: 272 – 284. [PubMed]
  • Talairach J, Tournoux P. Atlas estereotáxico co-planar do cérebro humano. Thieme; Nova Iorque: 1988.
  • Tobler PN, Fiorillo CD, Schultz W. Codificação adaptativa do valor de recompensa pelos neurônios dopaminérgicos. Ciência. 2005;307: 1642 – 1645. [PubMed]
  • Tremblay L, Schultz W. Preferência de recompensa relativa no córtex orbitofrontal de primatas. Natureza. 1999;398: 704 – 708. [PubMed]
  • von Frisch K. A Linguagem da Dança e Orientação das Abelhas. Harvard University Press; Cambridge, Massachusetts: 1967.