COMENTÁRIOS: Incerteza significa novidade. Este estudo complexo confirma que a novidade aumenta a dopamina. Também explica que quanto mais incerta a recompensa, mais forte é o aprendizado. A pornografia na Internet é diferente da pornografia do passado por causa da novidade infinita - o que significa jatos infinitos de dopamina. O vício em seu núcleo é aprendizado e memória. Mudar para um novo gênero de pornografia ativa a dopamina e o aprendizado - devido à incerteza do que você está prestes a experimentar. A incerteza também ocorre quando os usuários de pornografia navegam em busca de pornografia. Você não sabe o que está prestes a ver e isso aumenta a dopamina.
Novidade, incerteza e busca de todos ativam a dopamina
Estudo Completo: Incerteza da Dopamina e Aprendizagem de TD
Funções Comportamentais e Cerebrais 2005, 1:6doi:10.1186/1744-9081-1-6
Yael Niv1,2, Michael O Duff2 e Peter Dayan2
1 Centro Interdisciplinar de Computação Neural, Universidade Hebraica, Jerusalém, Israel
Unidade de Neurociência Computacional 2 Gatsby, University College London, Londres, Reino Unido
A versão eletrônica deste artigo é a completa e pode ser encontrada online em: http://www.behavioralandbrainfunctions.com/content/1/1/6
© 2005 Niv et al; licenciado BioMed Central Ltd.
Sumário
Evidências substanciais sugerem que as atividades fásicas dos neurônios dopaminérgicos no mesencéfalo dos primatas representam um erro de diferença temporal (TD) nas previsões de recompensa futura, com aumentos acima e abaixo da linha de base, conseqüentemente, erros de predição positivos e negativos, respectivamente. No entanto, as células dopaminérgicas têm uma atividade basal muito baixa, o que implica que a representação desses dois tipos de erros é assimétrica. Nós exploramos as implicações dessa assimetria aparentemente inócua para a interpretação dos padrões de disparo dopaminérgico em experimentos com recompensas probabilísticas que trazem erros de predição persistentes. Em particular, mostramos que, ao calcular a média dos erros de previsão não-estacionários ao longo dos ensaios, uma ramificação na atividade dos neurônios dopaminérgicos deve ser aparente, cuja magnitude é dependente da taxa de aprendizado. Esse fenômeno exato foi observado em um experimento recente, embora seja interpretado lá em termos antipodais como uma codificação de incerteza dentro do julgamento.
Introdução
Existe um corpo impressionantemente grande de dados fisiológicos, imagiológicos e psicofarmacológicos relativos à atividade fásica de células dopaminérgicas (DA) nos mesencéfalos de macacos, ratos e humanos em tarefas de condicionamento clássico e instrumental envolvendo previsões de recompensas futuras [1-5]. Estes dados foram tomados para sugerir [6,7] que a atividade dos neurônios de DA representa os erros da diferença temporal (TD) nas predições da recompensa futura [8,9]. Esta teoria da dopamina TD fornece uma base computacional precisa para a compreensão de uma série de dados comportamentais e neurais. Além disso, sugere que o DA fornece um sinal que é teoricamente apropriado para controlar a aprendizagem de ambas as previsões e ações de otimização de recompensa.
Algumas das evidências mais convincentes em favor da teoria do DT provêm de estudos que investigam a ativação fásica de células dopaminérgicas em resposta a estímulos arbitrários (como padrões fractais em um monitor) que preveem a disponibilidade imediata de recompensas (como gotas de suco). . Em muitas variantes, elas mostraram que, com o treinamento, os sinais de DA fásicos são transferidos do tempo da recompensa inicialmente imprevisível, para o momento da primeira dica, prevendo uma recompensa. Este é exatamente o resultado esperado para um erro de previsão baseado na diferença temporal (por exemplo, [1,2,10-13]). A descoberta básica [7] é que quando uma recompensa é inesperada (o que é inevitável nos testes iniciais), as células de dopamina respondem fortemente a ela. Quando uma recompensa é prevista, no entanto, as células respondem ao preditor e não à recompensa esperada.
Se uma recompensa prevista é inesperadamente omitida, então as células são inibidas de forma fasica no tempo normal da recompensa, uma inibição que revela o tempo preciso da previsão de recompensa [10], e cujas métricas temporais estão atualmente sob os holofotes forenses [14]. A mudança na atividade do momento da recompensa para o momento do preditor assemelha-se à mudança da reação comportamental apetitiva do animal desde o momento da recompensa (o estímulo não condicionado) para o do estímulo condicionado em experimentos de condicionamento clássicos [7,10] .
Em um estudo recente muito interessante, Fiorillo et al. [15] examinou o caso de reforço parcial, no qual há erro de predição persistente e inelutável em cada tentativa. Uma interpretação direta da hipótese do erro de predição TD sugeriria que neste caso (a) a atividade da dopamina no momento dos estímulos preditivos seria escalonada com a probabilidade de recompensa, e (b) em média sobre os ensaios, a resposta dopaminérgica após o estímulo e todo o caminho até o momento da recompensa, deve ser zero. Embora a primeira hipótese tenha sido confirmada nos experimentos, a segunda não foi confirmada. As respostas médias entre os testes mostraram um claro aumento da atividade durante o atraso entre o início do estímulo e a recompensa que parecia inconsistente com a conta do TD. Fiorillo et al. Hipotetizou-se que esta atividade representa a incerteza na entrega de recompensa, ao invés de um erro de previsão.
Neste artigo, visitamos a questão do erro de previsão persistente. Nós mostramos que uma assimetria crucial na codificação de erros de predição positivos e negativos leva a esperar que a aceleração entre o sinal médio de dopamina, e também conta bem para duas outras características do sinal DA - atividade persistente aparente no momento da recompensa (potencial), e desaparecimento (ou pelo menos enfraquecimento) do sinal de rampa, mas não o sinal no momento da recompensa, em face do traço, em vez de retardar o condicionamento. Ambos os fenómenos foram também observados nos experimentos de condicionamento instrumental relacionados de Morris et al. [16] Finalmente, interpretamos o sinal de rampa como a melhor evidência disponível no momento para a natureza do mecanismo de aprendizagem pelo qual ocorre o deslocamento da atividade da dopamina para o tempo dos estímulos preditivos.
Incerteza na ocorrência de recompensa: Rampa DA
Fiorillo et al. [15] associaram a apresentação de cinco estímulos visuais diferentes para macacos com a entrega tardia e probabilística (pr = 0, 0.25, 0.5, 0.75, 1) de recompensas de suco. Eles usaram um paradigma de condicionamento de retardo, no qual o estímulo persiste por um intervalo fixo de 2s, com recompensa sendo entregue quando o estímulo desaparece. Após o treinamento, o comportamento de lamber antecipação dos macacos indicou que eles estavam cientes das diferentes probabilidades de recompensa associadas a cada estímulo.
A figura 1a mostra histogramas populacionais de atividade de células DA gravadas extracelularmente, para cada pr. A teoria de TD prevê que a ativação fásica das células DA no momento dos estímulos visuais deve corresponder à recompensa média esperada e, portanto, deve aumentar com pr. A figura 1a mostra exatamente isso - na verdade, em toda a população, o aumento é bastante linear. Morris et al. [16] relatam um resultado semelhante em uma tarefa de condicionamento instrumental (traço) que também envolve reforço probabilístico.
Figura 1. Erros de previsão média em uma tarefa de recompensa probabilística
(a) Resposta DA em tentativas com diferentes probabilidades de recompensa. Os histogramas de tempo de peri-estímulo da população (PSTHs) mostram a atividade de pico somada de vários neurônios DA ao longo de muitos ensaios, para cada pr, agrupados em ensaios recompensados e não recompensados em probabilidades intermediárias. (b) Erro de previsão TD com escalonamento assimétrico. Na tarefa simulada, em cada tentativa, um dos cinco estímulos foi escolhido aleatoriamente e apresentado no tempo t = 5. O estímulo foi desligado em t = 25, momento em que foi dada uma recompensa com uma probabilidade de pr especificada pelo estímulo. Usamos uma representação de linha de retardo tocada dos estímulos (ver texto), com cada estímulo representado por um conjunto diferente de unidades ('neurônios'). O erro TD foi δ (t) = r (t) + w (t - 1) • x (t) - w (t - 1) • x (t - 1), com r (t) a recompensa no momento t e x (t) ew (t) os vetores de estado e peso para a unidade. Uma regra de aprendizagem TD online padrão foi usada com uma taxa de aprendizagem fixa α, w (t) = w (t - 1) + αδ (t) x (t - 1), então cada peso representava um valor de recompensa futuro esperado. Semelhante a Fiorillo et al., Descrevemos o erro de predição δ (t) calculado ao longo de muitas tentativas, depois que a tarefa foi aprendida. A assimetria representacional surge como valores negativos de δ (t) foram escalados por d = 1/6 antes da soma do PSTH simulado, embora o aprendizado prossiga de acordo com erros fora de escala. Finalmente, para contabilizar as pequenas respostas positivas no momento do estímulo para pr = 0 e no momento da recompensa (prevista) para pr = 1 visto em (a), presumimos uma pequena (8%) chance de que a estímulo preditivo foi identificado incorretamente. (c) resposta DA em pr = 0.5 tentativas, separadas em tentativas premiadas (esquerda) e não recompensadas (direita). (d) Modelo TD de (c). (a, c) Reimpresso com permissão de [15] © 2003 AAAS. A permissão do AAAS é necessária para todos os outros usos.
Por outro lado, no momento da entrega potencial de recompensa, a teoria do DT prediz que, em média, não deveria haver atividade, pois, em média, não há erro de previsão naquele momento. Evidentemente, no desenho de reforço probabilístico (pelo menos para o pr 0, 1) existe de facto um erro de previsão no momento da entrega ou não entrega de recompensa em cada tentativa. Nos ensaios em que uma recompensa é entregue, o erro de previsão deve ser positivo (como a recompensa obtida é maior do que a recompensa média esperada). Por outro lado, nos ensaios sem recompensa, deve ser negativo (ver Figura 1c). Crucialmente, sob TD, a média dessas diferenças, ponderadas por suas probabilidades de ocorrer, deve ser zero. Se não for zero, esse erro de previsão deve agir como um sinal de plasticidade, alterando as previsões até que não haja erro de previsão. Em desacordo com essa expectativa, os dados da Figura 1a, que são calculados sobre os ensaios recompensados e não recompensados, mostram que há, de fato, atividade média positiva neste momento. Isso também é evidente nos dados de Morris et al. [16] (veja a figura 3c). As respostas DA positivas não mostram sinais de desaparecer, mesmo com treinamento substancial (ao longo dos meses).
Pior que isso para o modelo TD e, de fato, o foco de Fiorillo et al. [15], é a aparente aceleração da atividade do DA em relação ao tempo esperado da recompensa. Como a magnitude da rampa é maior para pr = 0.5, Fiorillo et al. sugeriu que ele relata a incerteza na entrega de recompensa, em vez de um erro de previsão, e especulou que esse sinal poderia explicar as propriedades aparentemente apetitosas da incerteza (como visto no jogo).
Tanto a atividade de rampa como a atividade no tempo esperado de recompensa representam desafios críticos para a teoria do DT. O aprendizado de TD opera organizando a atividade de DA ao mesmo tempo em uma tentativa a ser prevista por pistas disponíveis anteriormente naquele teste. Assim, não está claro como qualquer atividade aparentemente previsível, seja no momento da recompensa ou na rampa anterior, pode persistir sem ser prevista pelo início do estímulo visual. Afinal, a atividade pr-dependente em resposta ao estímulo confirma seu status como um preditor válido. Além disso, um aspecto fundamental do TD [17] é que ele prevê a escolha de ações usando o valor de um estado como uma indicação das recompensas futuras disponíveis nesse estado e, portanto, sua atratividade como alvo de ação. Nessa perspectiva, como a atividade de aceleração não é explicitamente prevista pela sugestão anterior, ela não pode influenciar ações iniciais, como a decisão de apostar. Por exemplo, considere uma competição entre duas ações: uma levando a um estado com uma recompensa determinista e, portanto, sem rampa, e a outra levando a um estado seguido por uma recompensa probabilística com a mesma média e uma rampa. Como a rampa não afeta a atividade no momento do estímulo condicionado, ela não pode ser usada para avaliar ou favorecer a segunda ação (jogo) sobre a primeira, apesar da incerteza extra.
Sugerimos a hipótese alternativa de que ambos os padrões de disparo anômalos resultam diretamente das restrições implicadas pela baixa taxa de atividade de linha de base dos neurônios DA (2-4 Hz) na codificação do erro de predição assinado. Como observado por Fiorillo et al. [15], erros de previsão positivos são representados por taxas de disparo de ~ 270% acima da linha de base, enquanto erros negativos são representados por uma diminuição de apenas ~ 55% abaixo da linha de base (consulte também [14,18]). Essa assimetria é uma consequência direta da codificação de uma quantidade assinada por disparo que tem uma linha de base baixa, embora, obviamente, só possa ser positiva. As taxas de disparo acima da linha de base podem codificar erros de previsão positivos usando um grande intervalo dinâmico, no entanto, as taxas de disparo da linha de base só podem descer até zero, impondo uma restrição à codificação de erros de previsão negativos.
Consequentemente, deve-se ter cuidado ao interpretar as somas (ou médias) dos histogramas de tempo de peri-estímulo (PSTHs) de atividade em diferentes tentativas, como foi feito na Figura 1a. Os sinais de erro positivo e negativo codificados assimetricamente no momento do recebimento ou não recebimento da recompensa, de fato, não devem somar zero, mesmo que representem erros de predição TD corretos. Quando somados, o disparo baixo que representa os erros negativos nas tentativas não recompensadas não irá "cancelar" os erros positivos de codificação de disparo rápido nas tentativas premiadas e, em geral, a média mostrará uma resposta positiva. No cérebro, é claro, como as respostas não são calculadas em média sobre os testes (com ou sem recompensa), mas sobre os neurônios em um teste, isso não precisa representar um problema.
Isso explica a atividade positiva persistente (em média) no momento da entrega ou não entrega da recompensa. Mas e a rampa anterior a esse tempo? Pelo menos em certas representações neurais do tempo entre o estímulo e a recompensa, quando os ensaios são calculados, essa mesma assimetria faz com que o TD resulte exatamente em uma aceleração da atividade em direção ao tempo da recompensa. O mecanismo de aprendizado TD tem o efeito de propagar, experimentalmente, erros de previsão que surgem de uma só vez em um teste (como no momento da recompensa) em relação a potenciais preditores (como o CS) que surgem em épocas anteriores dentro de cada tentativa. Sob a representação assimétrica de erros de predição positivos e negativos que acabamos de discutir, a média desses erros de propagação ao longo de vários testes (como na Figura 1a) levará a médias positivas para épocas dentro de uma tentativa antes de uma recompensa. A forma precisa da resultante rampa de atividade depende da maneira como os estímulos são representados ao longo do tempo, bem como da velocidade de aprendizado, como será discutido abaixo.
A Figura 2 ilustra essa visão da proveniência da atividade de rampa. Aqui, uma representação de linha de retardo tocada do tempo desde que o estímulo é usado. Para isso, cada unidade ('neurônio') torna-se ativa (ou seja, assume o valor 1) em um certo atraso após o estímulo ter sido apresentado, de forma que cada intervalo de tempo após o início do estímulo seja consistentemente representado pelo disparo de uma unidade. A aprendizagem é baseada no erro TD (relatado dopaminergicamente), formalizado como δ (t) = r (t) + V (t) - V (t - 1), com V (t) a entrada ponderada da unidade ativa em tempo t e r (t) a recompensa obtida no tempo t. Atualizar os pesos das unidades de acordo com a regra de atualização TD padrão com uma taxa de aprendizagem fixa, permite que V (t) represente, em média, as recompensas futuras esperadas (ver legenda da Figura 1). Como cada etapa de tempo subsequente é representada separadamente, erros de predição de TD podem surgir a qualquer momento dentro da tentativa. A Figura 2a mostra esses erros em seis tentativas simuladas consecutivas nas quais pr = 0.5. Em cada tentativa, um novo erro positivo ou negativo surge no momento da recompensa, conseqüente ao recebimento ou não da recompensa, e passo a passo os erros das tentativas anteriores se propagam até o momento do estímulo, através a atualização constante dos pesos (por exemplo, o erro destacado em vermelho). Ao calcular a média (ou, como em PSTHs, somar) sobre as tentativas, esses erros se cancelam em média, resultando em um histograma plano geral no intervalo após o início do estímulo e levando até o momento da recompensa (linha preta na Figura 2b, somados aos 10 testes mostrados em azul fino). No entanto, quando somados após o escalonamento assimétrico dos erros negativos por um fator de d = 1/6 (que simula a codificação assimétrica de erros de predição positivos e negativos por neurônios DA), segue-se uma rampa positiva de atividade, conforme ilustrado pela linha preta na Figura 2c. Observe que esse reescalonamento é apenas uma questão representacional, resultante das restrições de codificação de um valor negativo sobre uma baixa taxa de disparo de linha de base, e não deve afetar o aprendizado dos pesos, de modo a não aprender valores errados (ver discussão). No entanto, como os PSTHs são somas diretas de picos neuronais, essa questão representacional está relacionada ao histograma resultante.
Figura 2. A retropropagação de erros de previsão explica a atividade de rampa.
(a) O erro de previsão de TD em cada uma das seis tentativas consecutivas (de cima para baixo) da simulação na Figura 1b, com pr = 0.5. Destacado em vermelho está o erro no momento da recompensa no primeiro dos testes, e a sua retro-propagação gradual em relação ao tempo do estímulo nos testes subseqüentes. Letras maiúsculas indicam o resultado de cada tentativa específica (R = recompensado; N = não recompensado). A sequência de recompensas que precedem essas tentativas é dada no canto superior direito. (b) O erro de TD destes seis ensaios, e mais quatro deles seguidos, sobrepostos. As linhas vermelha e verde ilustram o envelope dos erros nesses testes. A soma destes ensaios não resulta em atividade acima da linha de base, em média (linha preta), pois erros positivos e negativos ocorrem aleatoriamente em 50% do tempo e, assim, se cancelam mutuamente. (c) No entanto, quando os erros de previsão são assimetricamente representados acima e abaixo da taxa de disparo da linha de base (aqui os erros negativos foram dimensionados assimetricamente por d = 1 / 6 para simular a codificação assimétrica de erros de previsão pelos neurônios DA), uma aceleração média da atividade surge quando se calcula a média das tentativas, como é ilustrado pela linha preta. Todos os parâmetros de simulação são os mesmos da Figura 1b, d.
As Figuras 1b, d mostram a rampa decorrente dessa combinação de codificação assimétrica e média entre ensaios, para comparação com os dados experimentais. A figura 1b mostra o PSTH computado a partir de nossos dados simulados pela média do sinal δ (t) representado assimetricamente em ensaios 50 para cada tipo de estímulo. A Figura 1d mostra os resultados para o caso pr = 0.5, dividido em testes recompensados e não recompensados para comparação com a Figura 1c. Os resultados simulados se assemelham aos dados experimentais de perto, na medida em que replicam a resposta positiva líquida às recompensas incertas, bem como o efeito de aceleração, que é mais alto no caso pr = 0.5.
É simples derivar a resposta média no momento da recompensa (t = N) no teste T, ou seja, o erro TD médio δT(N) , a partir da regra de aprendizagem TD com a representação simplificada do tempo da linha de atraso tocada e uma taxa de aprendizagem fixa α. O valor no penúltimo passo de tempo em um teste, como uma função do número do teste (com valores iniciais tomados como zero), é
onde r (t) é a recompensa no final da tentativa t. O sinal de erro no último passo de tempo da tentativa T é simplesmente a diferença entre a recompensa obtida r (T) e o valor prevendo essa recompensa VT - 1 (N - 1). Este erro é positivo com probabilidade pr e negativo com probabilidade (1 - pr). Escalando os erros negativos por um fator de d ∈ (0, 1], obtemos assim
Para codificação simétrica de erros positivos e negativos (d = 1), a resposta média é 0. Para codificação assimétrica (0
Um importante caso de teste para nossa interpretação surge em uma variante da tarefa de Fiorillo et al. [15], bem como na tarefa instrumental análoga de Morris et al. [16], ambos envolvendo condicionamento de traços. Em contraste com o condicionamento de retardo (Figura 3a) no qual a recompensa coincide com o deslocamento do estímulo preditivo, aqui há uma lacuna substancial entre o deslocamento do estímulo preditivo e a entrega da recompensa (Figura 3b). Claramente, neste caso, a incerteza sobre a recompensa só poderia ficar maior, devido ao ruído na cronometragem do intervalo entre o estímulo e a recompensa [19], portanto, sob a conta da incerteza, deveria haver rampas comparáveis ou até maiores. No entanto, os resultados experimentais mostram que a atividade de rampa é menor, ou mesmo desprezível (Figura 3c; d). Observe, porém, que a magnitude da atividade média experimental no tempo esperado de recompensa é mantida, apontando para uma dissociação entre a altura da rampa e a quantidade de atividade positiva no tempo esperado de recompensa.
Figura 3. Condicionamento de traços com recompensas probabilísticas.
(a) Uma ilustração de um ensaio da tarefa de condicionamento de retardo de Fiorillo et al. [15]. Uma tentativa consiste em um estímulo visual de 2 segundos, cujo deslocamento coincide com a entrega da recompensa do suco, se tal recompensa for programada de acordo com a probabilidade associada à dica visual. Em testes não recompensados, o estímulo terminou sem recompensa. Em ambos os casos, um intervalo entre tentativas de 9 segundos em média separa as tentativas. (b) Uma ilustração de um ensaio da tarefa de condicionamento de traços de Morris et al. [16]. A diferença crucial é que agora há um atraso temporal substancial entre o deslocamento do estímulo e o início da recompensa (o período de "traço"), e nenhum estímulo externo indica o tempo esperado de recompensa. Isso confere incerteza adicional, pois o tempo preciso da recompensa prevista deve ser resolvido internamente, especialmente em tentativas não recompensadas. Nesta tarefa, como em [15], um dos vários estímulos visuais (não mostrado) foi apresentado em cada tentativa, e cada estímulo foi associado a uma probabilidade de recompensa. Aqui, também, o macaco foi solicitado a realizar uma resposta instrumental (pressionando a tecla correspondente ao lado em que o estímulo foi apresentado), cuja falha encerrou a tentativa sem recompensa. Os ensaios foram separados por intervalos variáveis entre os ensaios. (c, d) Taxa de disparo DA (suavizada) em relação à linha de base, em torno do tempo esperado da recompensa, em tentativas premiadas (c) e em tentativas não recompensadas (d). (c, d) Reimpresso de [16] © 2004 com permissão da Elsevier. Os traços implicam em uma resposta geral positiva no momento esperado da recompensa, mas com uma rampa muito pequena ou sem rampa precedente. Resultados semelhantes foram obtidos em uma tarefa de condicionamento clássica brevemente descrita em [15], que empregou um procedimento de condicionamento de traço, confirmando que o período de traçado, e não a natureza instrumental da tarefa descrita em (b), foi a diferença crucial de (a) .
O modelo TD de DA explica prontamente esses dados intrigantes. Conforme mostrado na Figura 4, a forma da rampa, embora não a altura de seu pico, é afetada pela taxa de aprendizado. O tamanho dos erros de previsão de propagação reversa é determinado, em parte, pela taxa de aprendizado, pois esses erros surgem como parte do aprendizado on-line de novas previsões. De fato, há uma atualização contínua de predições de modo que, após um teste recompensado, há uma expectativa maior de recompensa (e, assim, a próxima recompensa gera um menor erro de previsão) e inversamente após um teste não recompensado [ver 18] 2a). Essa atualização das previsões está diretamente relacionada à taxa de aprendizado - quanto maior a taxa de aprendizado, maior a atualização das previsões de acordo com o erro de previsão atual e maior a fração do erro de previsão que é propagado de volta. Dessa forma, com taxas de aprendizado mais altas, a diferença nas expectativas após um teste recompensado versus um não recompensado será maior, e assim os erros de previsão quando a próxima recompensa estiver ou não disponível serão maiores - daí a rampa maior e mais gradual.
Figura 4. Dependência da rampa na taxa de aprendizagem.
A forma da rampa, mas não a altura do pico, depende da taxa de aprendizado. O gráfico mostra a atividade simulada para o caso de pr = 0.5 perto do tempo da recompensa esperada, para diferentes taxas de aprendizado, calculadas sobre os ensaios recompensados e não recompensados. De acordo com o aprendizado de TD com persistentes erros de previsão codificados assimetricamente, a média de superatividade em testes recompensados e não recompensados resulta em uma aceleração até o momento da recompensa. A altura do pico da rampa é determinada pela proporção de tentativas recompensadas e não recompensadas, no entanto, a largura da rampa é determinada pela taxa de retro-propagação desses sinais de erro desde o tempo da recompensa (esperada) até a tempo do estímulo preditivo. Uma taxa de aprendizado mais alta resulta em uma fração maior do erro propagando de volta e, portanto, uma rampa mais alta. Com taxas de aprendizado mais baixas, a rampa se torna insignificante, embora a atividade positiva (em média) no momento da recompensa ainda seja mantida. Observe que, embora a taxa de aprendizado usada nas simulações descritas na Figura 1b, d tenha sido 0.8, isso não deve ser considerado como a taxa de aprendizado sináptica literal do substrato neural, dada nossa representação esquemática do estímulo. Em uma representação mais realista em que uma população de neurônios está ativa a cada intervalo de tempo, uma taxa de aprendizado muito menor produziria resultados semelhantes.
De fato, comparado ao retardamento do condicionamento, o condicionamento de traços é notoriamente lento, sugerindo que a taxa de aprendizado é baixa e, portanto, que deve haver uma rampa mais baixa, de acordo com os resultados experimentais. Um exame direto da taxa de aprendizagem nos dados de Morris et al. [16], cuja tarefa exigia treinamento excessivo, já que não era apenas um traço de condicionamento, mas também envolvia uma ação instrumental, confirmou que, na verdade, era muito baixo (Genela Morris - comunicação pessoal, 2004).
Discussão
A codificação diferencial de valores positivos e negativos pelos neurônios DA é evidente em todos os estudos do sinal de DA fásica, e pode ser considerada como uma conseqüência inevitável da baixa atividade basal desses neurônios. De fato, este último inspirou diretamente sugestões de que um neurotransmissor adversário, supostamente a serotonina, estaria envolvido na representação e, portanto, no aprendizado dos erros negativos de predição [20], de modo que eles também tivessem o quarto completo. Aqui, no entanto, nos limitamos a considerar os efeitos da assimetria na análise da média da atividade da dopamina, e mostramos que a aceleração da atividade de DA, bem como uma resposta positiva média no momento da recompensa, resulta diretamente de a codificação assimétrica de erros de previsão.
Além de uma visão mais clara do sinal de erro, a conseqüência mais importante da nova interpretação é que as rampas podem ser vistas como uma assinatura de um fenômeno TD que tem sido até então extremamente ilusório. Esta é a propagação retrógrada progressiva do sinal de erro representado pela atividade DA, do tempo de recompensa ao tempo do preditor (Figura 2a). A maioria dos estudos anteriores de atividade dopaminérgica usaram pr = 1, tornando esta retropropagação, na melhor das hipóteses, um fenômeno transitório aparente apenas no início do treinamento (quando, tipicamente, as gravações ainda não começaram) e potencialmente difíceis de discernir em lentidão disparando neurônios DA. Além disso, como mencionado, a propagação reversa depende da maneira como o tempo entre o estímulo preditivo e a recompensa é representado - ela está presente para uma representação de linha de atraso derivada como em [6], mas não para representações que abrangem toda a atraso, como em [21]. Observe que a forma da rampa também depende do uso de traços de elegibilidade e da chamada regra de aprendizado TD (λ) (simulação não mostrada), que fornece um mecanismo adicional para o tempo de ponte entre os eventos durante o aprendizado. Infelizmente, como as formas das rampas nos dados são bastante variáveis (figura 1) e ruidosas, elas não podem fornecer fortes restrições ao mecanismo preciso de TD usado pelo cérebro.
Estudos mais recentes envolvendo erros de predição persistentes também mostram atividade sugestiva de retropropagação, notadamente a Figura 4 de [13]. Neste estudo, os erros de predição resultaram de mudanças periódicas na tarefa, e os registros de DA foram feitos a partir do início do treinamento, assim, a atividade similar à retropropagação é diretamente aparente, embora essa atividade não tenha sido quantificada.
Esperamos que as rampas persistam durante o treinamento somente se a taxa de aprendizado não diminuir a zero à medida que o aprendizado progride. A teoria de Pearce & Hall [22] do controle da aprendizagem pela incerteza sugere exatamente essa persistência da aprendizagem - e há evidências de esquemas de reforço parcial de que a taxa de aprendizagem pode ser maior quando há mais incerteza associada à recompensa. Na verdade, de um ponto de vista estatístico "racional", o aprendizado deve persistir quando há incerteza substancial sobre a relação entre preditores e resultados, como pode surgir da possibilidade sempre presente de uma mudança nas relações preditivas. Esta forma de incerteza persistente, juntamente com a incerteza devido à ignorância inicial em relação à tarefa, foram usadas para formalizar a teoria de Pearce & Hall sobre a forma como a incerteza conduz a aprendizagem [23]. Assim, nossa afirmação de que a incerteza não pode ser diretamente representada pelas rampas, certamente não deve ser tomada como significando que sua representação e manipulação não são importantes. Ao contrário, sugerimos que a incerteza influencia a inferência cortical e a aprendizagem por meio de outros sistemas neuromoduladores [24], e que também pode determinar aspectos da seleção de ações [25].
Várias outras características da assimetria devem ser anotadas. O mais crítico é o efeito da assimetria no aprendizado dependente de DA [26], se a atividade de DA abaixo da linha de base for responsável por si mesma por diminuir as previsões que são muito altas. A fim de assegurar que as predições aprendidas permaneçam corretas, teríamos que assumir que a representação assimétrica não afeta a aprendizagem, ou seja, que um mecanismo como o escalonamento diferente para potenciação e depressão das forças sinápticas compensa o sinal de erro assimétrico. Claro, isso seria discutido se um neurotransmissor adversário estiver envolvido no aprendizado de erros negativos de previsão. Esta questão é complicada pela sugestão da Bayer [14] de que as taxas de disparo do DA são realmente similares para todos os erros de previsão abaixo de alguns limiares negativos, talvez devido ao efeito mínimo da baixa taxa de disparos. Essa codificação com perdas não afeta o quadro qualitativo dos efeitos da média entre os testes no surgimento de rampas, mas reforça a necessidade de um sinal adversário para o aprendizado necessariamente simétrico.
Finalmente, o teste mais direto de nossa interpretação seria uma comparação da média intra e inter-ensaio do sinal DA. Seria importante fazer isso de uma maneira temporalmente sofisticada, para evitar problemas de cálculo da média de sinais não estacionários. A fim de superar o ruído no disparo neural e determinar se de fato houve uma rampa gradual dentro de um ensaio, ou, como poderíamos predizer - erros de predição positivos e negativos intermitentes, seria necessário calcular a média de muitos neurônios registrados simultaneamente dentro um ensaio e, além disso, neurônios associados a taxas de aprendizagem semelhantes. Alternativamente, traços de neurônio único podem ser regredidos contra a resposta de retropropagação prevista por seus testes anteriores e aprendizagem TD. Uma comparação da quantidade de variabilidade explicada por tal modelo, em comparação com aquela de uma regressão contra uma rampa monotônica de atividade, poderia apontar para o modelo mais adequado. Uma previsão menos direta, mas mais testável, é que a forma da rampa deve depender da taxa de aprendizado. As taxas de aprendizagem podem ser avaliadas a partir da resposta às recompensas probabilísticas, independente da forma da rampa (Nakahara et al. [18] mostraram de tal forma que em sua tarefa de condicionamento de traço de reforço parcial, a taxa de aprendizagem foi de 0.3), e potencialmente manipulado variando a quantidade de treinamento ou a frequência com que as contingências de tarefas são alteradas e reaprendidas. Na verdade, quantificar a existência e a forma de uma rampa na atividade de DA registrada de Nakahara et al. Poderia lançar luz sobre a proposta atual.
Interesses concorrentes
O (s) autor (es) declaram que não têm interesses conflitantes.
Contribuições dos autores
YN, MD e PD conceberam e executaram conjuntamente este estudo e ajudaram a redigir o manuscrito. Todos os autores leram e aprovaram o manuscrito final.
Agradecimentos
Somos muito gratos a H. Bergman, C. Fiorillo, N. Daw, D. Joel, P. Tobler, P. Shizgal e W. Schultz pelas discussões e comentários, em alguns casos, apesar da interpretação variada dos dados. Somos particularmente gratos a Genela Morris por analisar seus próprios dados publicados e não publicados em relação à aceleração. Este trabalho foi financiado pela Rede Temática da CE (YN), pela Gatsby Charitable Foundation e pelo projeto BIBA da UE.
Referências
1. Ljungberg T, Apicella P, Schultz W: Respostas de neurônios dopaminérgicos de macacos durante o aprendizado de reações comportamentais.
Jornal Neurophysiol 1992, 67: 145-163.
Retornar ao texto
2. Schultz W: Sinal de recompensa preditivo dos neurônios dopaminérgicos. [http://jn.physiology.org/cgi/content/full/80/1/1] webcite
Jornal de Neurofisiologia 1998, 80: 1-27. Resumo PubMed
Retornar ao texto
3. O'Doherty J, Dayan P, Friston K, Critchley H, Dolan R: Modelos de diferença temporal e aprendizagem relacionada à recompensa no cérebro humano.
Neuron 2003, 38: 329-337. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
4. Seymour B, O'Doherty J, Dayan P, Koltzenburg M, Jones A, Dolan R, Friston K, Frackowiak R: Modelos de diferença temporal descrevem aprendizagem de ordem superior em humanos.
Natureza 2004, 429: 664-667. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
5. Montague PR, Hyman SE, Cohan JD: Funções computacionais da dopamina no controle comportamental.
Natureza 2004, 431: 760-767. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
6. Montague PR, Dayan P, Sejnowski TJ: Uma estrutura para sistemas de dopamina mesencefálica baseada na aprendizagem Hebbiana preditiva.
O Jornal de Neurociência 1996, 16: 1936-1947. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
7. Schultz W, Dayan P, Montague PR: Um substrato neural de previsão e recompensa.
Ciência 1997, 275: 1593-1599. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
8. Sutton RS: Aprendendo a prever pelo método da diferença temporal.
Aprendizado de Máquina 1988, 3: 9-44.
Retornar ao texto
9. Sutton RS, Barto AG: [http://www.cs.ualberta.ca/~sutton/book/ebook/the-book.html] site
Aprendizagem por reforço: uma introdução. MIT Press; 1998.
Retornar ao texto
10. Hollerman J, Schultz W: Neurônios dopaminérgicos relatam um erro na previsão temporal de recompensa durante o aprendizado.
Natureza Neurociência 1998, 1: 304-309. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
11. Schultz W, Apicella P, Ljungberg T: Respostas de neurônios dopaminérgicos de macacos a estímulos de recompensa e condicionados durante etapas sucessivas de aprendizagem de uma tarefa de resposta retardada.
O Jornal de Neurociência 1993, 13: 900-913. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
12. Tobler P, Dickinson A, Schultz W: Codificação da omissão de recompensa prevista por neurônios dopaminérgicos em um paradigma de inibição condicionada.
Jornal de Neurociência 2003, 23 (32): 10402-10410. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
13. Takikawa Y, Kawagoe R, Hikosaka O: Um possível papel dos neurônios dopaminérgicos do mesencéfalo na adaptação de curto e longo prazo de sacadas ao mapeamento de posição-recompensa.
Jornal de Neurofisiologia 2004, 92: 2520-2529. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
14. Bayer H: Um papel para a substância negra na aprendizagem e no controle motor.
Tese de doutorado, New York University 2004.
Retornar ao texto
15. Fiorillo C, Tobler P, Schultz W: Codificação discreta de probabilidade e incerteza de recompensa por neurônios dopaminérgicos.
Ciência 2003, 299 (5614): 1898-1902. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
16. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H: Mensagens coincidentes, mas distintas, de dopamina do mesencéfalo e neurônios tonicamente ativos do estriado.
Neuron 2004, 43: 133-143. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
17. Barto A, Sutton R, Watkins C: Aprendizagem e tomada de decisão sequencial. Em Aprendizagem e Neurociência Computacional: Fundamentos de Redes Adaptativas. Editado por Gabriel M, Moore J. Cambridge, MA: MIT Press; 1990:539-602.
Retornar ao texto
18. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O: Neurônios dopaminérgicos podem representar erro de previsão dependente do contexto.
Neuron 2004, 41: 269-280. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
19. Gallistel CR, Gibbon J: Tempo, taxa e condicionamento.
Revisão Psicológica 2000, 107: 289-344. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
20. Daw ND, Kakade S, Dayan P: Interações opostas entre serotonina e dopamina.
Redes Neurais 2002, 15 (4 – 6): 603-616. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
21. Suri RE, Schultz W: Um modelo de rede neural com sinal de reforço semelhante à dopamina que aprende uma tarefa de resposta espacial retardada.
Neurociência 1999, 91: 871-890. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
22. Pearce JM, Hall G: Um modelo para aprendizagem pavloviana: Variações na eficácia de estímulos condicionados, mas não de estímulos não condicionados.
Revisão Psicológica 1980, 87: 532-552. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
23. Dayan P, Kakade S, Montague PR: Aprendizagem e atenção seletiva.
Natureza Neurociência 2000, 3: 1218-1223. PubMed Resumo | Texto Completo do Publicador
Retornar ao texto
24. Dayan P, Yu A: Incerteza esperada e inesperada: Ach e NE no neocórtex. [http://books.nips.ce/papers/files/nips15/NS08.pdf] webcite
Em Avanços nos Sistemas de Processamento de Informações Neurais Editado por Dietterich T, Becker S, Ghahramani Z. Cambridge, MA: MIT Press; 2002, 14: 189-196.
Retornar ao texto
25. Daw N, Niv Y, Dayan P: Ações, Políticas, Valores e os Gânglios Basais. Em Recent Breakthroughs in Basal Ganglia Research. Editado por Bezard E. Nova York, EUA: Nova Science Publishers, Inc; no prelo.
Retornar ao texto
26. Wickens J, Kötter R: Modelos celulares de reforço. Em Modelos de Processamento de Informação nos Gânglios da Base. Editado por Houk JC, Davis JL, Beiser DG. MIT Press; 1995:187-214.
Retornar ao texto