COMENTÁRIOS: Outro estudo demonstrando que a novidade é sua própria recompensa. Um dos aspectos viciantes da pornografia na Internet é a infinita novidade e variedade, a capacidade de clicar rapidamente de uma cena para outra e a busca pela imagem / vídeo certo. Todos estes aumentam a dopamina. É isso que diferencia o porn na Internet de revistas ou DVDs alugados.
Neural Netw. 2008 dezembro; 21 (10): 1493 – 1499.
Publicado on-line 2008 setembro 25. doi: 10.1016 / j.neunet.2008.09.004
Patryk A. Laurent, da Universidade de Pittsburgh;
Endereçar toda a correspondência para: Patryk Laurent, Universidade de Pittsburgh, 623 LRDC, St. 3939 O'Hara, Pittsburgh, PA 15260 EUA, E-mail: [email protected], Escritório: (412) 624-3191, Fax: (412) 624-9149
Sumário
Tentativas recentes de mapear modelos de aprendizagem baseados em recompensa, como o Reinforcement Learning [17], para o cérebro baseiam-se na observação de que os aumentos e diminuições das fases dos neurônios liberadores de dopamina sinalizam diferenças entre a recompensa prevista e a recebida [16,5]. No entanto, esse erro de previsão de recompensa é apenas um dos vários sinais comunicados por essa atividade fásica; outro envolve um aumento do pico dopaminérgico, refletindo o aparecimento de estímulos de não-recompensa salientes mas imprevisíveis [4,6,13], especialmente quando um organismo subsequentemente orienta-se para o estímulo [16]. Para explicar esses achados, Kakade e Dayan [7] e outros postularam que novos estímulos inesperados são intrinsecamente gratificantes. A simulação relatada neste artigo demonstra que essa suposição não é necessária porque o efeito que se pretende captar emerge dos mecanismos de aprendizagem de previsão de recompensa do Aprendizado por Reforço. Assim, os princípios da Aprendizagem por Reforço podem ser usados para compreender não apenas a atividade relacionada à recompensa dos neurônios dopaminérgicos dos gânglios da base, mas também algumas de suas atividades aparentemente não relacionadas à recompensa.
A Aprendizagem por Reforço (RL) está se tornando cada vez mais importante no desenvolvimento de modelos computacionais de aprendizado baseado em recompensa no cérebro. RL é uma classe de algoritmos computacionais que especifica como um “agente” artificial (por exemplo, um robô real ou simulado) pode aprender a selecionar ações para maximizar a recompensa total esperada [17]. Nesses algoritmos, um agente baseia suas ações em valores que aprende a associar a vários estados (por exemplo, as dicas perceptivas associadas a um estímulo). Esses valores podem ser gradualmente aprendidos através da aprendizagem de diferença temporal, que ajusta os valores de estado com base na diferença entre a previsão de recompensa existente do agente para o estado e a recompensa real que é subsequentemente obtida do ambiente. Essa diferença computada, denominada erro de predição de recompensa, mostrou correlacionar-se muito bem com a atividade fásica dos neurônios liberadores de dopamina que se projetam da substância negra em primatas não humanos [16]. Além disso, em humanos, o corpo estriado, que é um alvo importante da dopamina, exibe um sinal BOLD de fMRI que parece refletir o erro de predição de recompensa durante tarefas de aprendizado de recompensa [10,12,18]. Esse achado de fMRI complementa os dados fisiológicos, pois supõe-se que o negrito estriado reflita, pelo menos em parte, a atividade sináptica aferente [9] e que os neurônios dopaminérgicos se projetam pesadamente para o corpo estriado.
Embora as respostas fisiológicas acima mencionadas pareçam estar relacionadas aos cálculos de recompensa-predição de RL, há também um aumento na atividade fásica dopaminérgica em resposta a despertar e / ou novos estímulos que aparentemente não estão relacionados para recompensar [4,6,14,3]. Um fenômeno similar foi recentemente observado em humanos usando fMRI [2]. Existem várias razões pelas quais essa "novidade" ou "saliência" não está relacionada ao erro de previsão de recompensa: (1) aparece muito cedo, antes que a identidade do estímulo tenha sido avaliada, de modo que uma previsão precisa de recompensa não pode ser gerado; (2) corresponde a um aumento na atividade neural (ou seja, é positivo) tanto para estímulos aversivos quanto apetitivos; e (3) habitua [13]. De fato, essas respostas de saliência / novidade dos neurônios liberadores de dopamina são mais confiáveis quando os estímulos são imprevisíveis e resultam em um comportamento de orientação e / ou abordagem [16] independentemente do resultado final, destacando o fato de que eles são qualitativamente diferentes da recompensa aprendida predição. O desafio, portanto, tem sido explicar este aparente paradoxo (isto é, como a novidade afeta o erro de predição de recompensa) dentro do arcabouço teórico de RL.
Kakade e Dayan [7] tentaram fazer exatamente isso; em seu artigo, eles postulam duas maneiras pelas quais as respostas inovadoras poderiam ser incorporadas nos modelos de função dopaminérgica da RL - ambas envolviam a inclusão de novas suposições teóricas. A primeira suposição, referida como bônus de novidade, envolve a introdução de uma recompensa adicional quando novos estímulos estão presentes, acima e além da recompensa usual recebida pelo agente. Essa recompensa adicional entra no cálculo para que o aprendizado seja baseado na diferença entre a previsão de recompensa existente do agente e a soma tanto da recompensa usual do ambiente quanto do bônus da novidade. Assim, a novidade torna-se parte da recompensa que o agente está tentando maximizar. A segunda suposição, denominada bônus de moldagem, pode ser implementada aumentando artificialmente os valores de estados associados a novos estímulos. Como a regra de aprendizagem de diferença temporal usada na RL é baseada na diferença na previsão de recompensa entre estados sucessivos, a adição de um bônus de forma constante aos estados preocupados com os novos estímulos não tem efeito sobre o comportamento final do agente. No entanto, uma resposta inovadora ainda emerge quando o agente entra na parte do espaço de estado que foi “moldado” (isto é, que está associado à novidade).
Embora a adição de cada uma dessas suposições seja suficiente para explicar muitos efeitos observados da novidade, as suposições também interferem na progressão da aprendizagem. Como Kakade e Dayan [7] apontam, os bônus de novidade podem distorcer a função de valor (isto é, os valores associados a cada estado pelo agente) e afetar o que é finalmente aprendido porque são implementados como uma recompensa adicional que está intrinsecamente associada a estados. O problema é que o agente aprende a prever os componentes primários e novidade da recompensa. Embora Kakade e Dayan apontem que os bônus de modelagem não causam esse tipo de problema porque eles são incorporados nas previsões de recompensas dos estados anteriores, sua adição ainda é problemática porque a modelagem de bônus introduz vieses na maneira como um agente irá explorar seu espaço de estado. Assim, embora essas suposições adicionais possam explicar como a novidade afeta o erro de previsão de recompensa na RL, elas são problemáticas. Além disso, as explicações vêm com o custo de reduzir a parcimônia do trabalho de modelagem que tenta usar o RL para entender o comportamento de organismos biológicos reais.
A simulação relatada abaixo foi realizada para testar a hipótese de que um agente RL simples, sem quaisquer suposições adicionais, desenvolveria uma resposta de erro de previsão de recompensa semelhante às respostas de dopamina não relacionadas à recompensa que são observadas em organismos biológicos . Um agente de RL recebeu a tarefa de interagir com dois tipos de objetos - um positivo e outro negativo - que apareceram em locais aleatórios em seu ambiente. Para maximizar sua recompensa, o agente teve que aprender a se aproximar e “consumir” o objeto positivo e evitar (ou seja, não “consumir”) o objeto negativo. Houve três previsões principais para a simulação.
A primeira previsão era simplesmente que, para maximizar sua recompensa, o agente de fato aprenderia a se aproximar e "consumir" os objetos positivos e recompensadores, ao mesmo tempo em que aprenderia a evitar os objetos negativos e punitivos. A segunda previsão era um pouco menos óbvia: o agente exibia uma resposta orientadora (isto é, aprendia a mudar sua orientação) para objetos negativos e positivos. Essa previsão foi feita porque, embora o agente pudesse "detectar" a aparência de um objeto e sua localização, a identidade positiva ou negativa do objeto (isto é, a sugestão de que o agente acabaria aprendendo a se associar ao valor de recompensa do objeto) não poderia ser determinado pelo agente até que o agente tivesse realmente orientado para o objeto. Finalmente, a terceira (e mais importante) previsão foi relacionada à resposta fásica dopaminérgica simulada no modelo; essa previsão era de que, quando o objeto aparecesse, o agente exibia um erro de previsão de recompensa que era computacionalmente análogo à resposta de dopamina fásica observada em organismos biológicos, sendo positivo para objetos positivos e negativos. Essa resposta também foi prevista para variar em função da distância entre o agente e o estímulo, que no contexto da simulação era uma medida substituta do estímulo “intensidade” ou saliência. Como será demonstrado abaixo, estas previsões foram confirmadas pelos resultados da simulação, demonstrando que as respostas aparentemente não relacionadas à recompensa da dopamina podem, em princípio, emergir dos princípios básicos da RL. As implicações teóricas desses resultados para usar o RL para entender a atividade não relacionada à recompensa em organismos biológicos serão discutidas na seção final deste artigo.
Forma
Como já mencionado, os algoritmos de RL especificam como um agente pode usar recompensas numéricas momento a momento para aprender quais ações ele deve tomar para maximizar a quantia total de recompensa que recebe. Na maioria das formulações, esse aprendizado é obtido usando erros de previsão de recompensa (ou seja, a diferença entre a previsão atual de recompensa de um agente e a recompensa real obtida) para atualizar as previsões de recompensa do agente. À medida que as previsões de recompensa são aprendidas, as previsões também podem ser usadas por um agente para selecionar sua próxima ação. A política usual (definida na Equação 2) é para o agente selecionar a ação que é prevista para resultar na maior recompensa. A recompensa real que é fornecida ao agente a qualquer momento é a soma da recompensa imediata mais uma parte do valor do estado em que o agente entra quando a ação é concluída. Assim, se o agente eventualmente tiver recompensas positivas depois de ter estado em um estado particular, o agente selecionará ações no futuro que provavelmente resultarão nesses estados recompensados; inversamente, se o agente experimenta recompensas negativas (isto é, punição), evitará ações no futuro que levem àqueles estados “punidos”.
O algoritmo específico que determina as previsões de recompensa que são aprendidas para os vários estados (isto é, a função de valor V) é chamado de Iteração de Valor [Nota de Rodapé 1] e pode ser formalmente descrito como:
Para todos os estados possíveis,
(Equação 1)
onde s corresponde ao estado atual, V (s) é a previsão atual de recompensa para o estado que foi aprendido pelo agente, maxaction∈M {} é um operador para o valor máximo da quantidade entre colchetes sobre o conjunto de todas as ações M disponível para o agente, V (s ′) é a previsão de recompensa atual do agente para o próximo estado s ′, α é alguma taxa de aprendizado (entre 0 e 1) e γ é um fator de desconto que reflete como as futuras recompensas serão ponderadas em relação às recompensas imediatas. A função de valor inicial foi definida para que V (s) fosse 0 para todos os estados s.
A função de valor V (s) foi implementada como uma tabela de consulta, que é formalmente equivalente à suposição de memória perfeita. Embora os aproximadores de função, como redes neurais, tenham sido usados com algum sucesso para representar funções de valor [1], uma tabela de consulta foi usada para garantir que os resultados não dependessem dos tipos de mecanismos de generalização fornecidos por vários aproximadores de função. O agente foi treinado para o 1,500 aprendendo iterações sobre seu espaço de estado. Devido à imprevisibilidade da identidade dos objetos, um parâmetro de atualização de função de valor de menos de um (α = 0.01) foi usado durante o aprendizado para permitir a média de resultados diferentes. Finalmente, o fator de desconto foi definido como γ = 0.99 para encorajar o agente a buscar recompensa mais cedo do que atrasar seu comportamento de abordagem até o final do teste (embora a alteração de um valor padrão de 1 não tenha efeito nos resultados aqui relatados). Para determinar independentemente se as iterações de aprendizado do 1,500 eram suficientes para o aprendizado ser concluído, a quantidade média de mudança no aprendido foi monitorada e foi verificado que convergiu antes desse número de iterações.
Após o treinamento, o algoritmo específico que rege o comportamento do agente (ou seja, a política de ações que toma de cada estado determinado) é:
(Equação 2)
onde π (s) é a ação que o agente selecionará do estado s, e o lado direito da equação retorna a ação (por exemplo, mudança de orientação, movimento ou nenhuma ação) que maximiza a soma da recompensa e do valor descontado do estado resultante s ′.
Na simulação relatada abaixo, todos os estados que foram visitados pelo agente foram codificados como vetores dimensionais 7 que representavam informações sobre o estado “físico” externo do agente e seu estado interno de “conhecimento”. A informação física incluía a posição atual do agente no espaço e sua orientação. A informação de conhecimento incluía a posição do objeto (se estava presente) e a identidade daquele objeto (se tivesse sido determinado pelo agente). Os tipos específicos de informações representados pelo agente são mostrados na Tabela 1.
tabela 1
As dimensões usadas nas simulações de RL e os valores possíveis dessas dimensões.
Houve um total de estados 21,120 na simulação [Nota de rodapé 2]. No entanto, os estados em que havia um objeto negativo positivo e não identificado não identificado são, da perspectiva do agente, idênticos, portanto, há apenas estados distintos 16,280. Assim, durante cada iteração de aprendizado, era necessário visitar alguns desses estados “idênticos” duas vezes para permitir que metade do tempo eles pudessem ser seguidos com a descoberta de um objeto positivo, e metade do tempo eles poderiam ser seguido com a descoberta de um objeto negativo [Nota de rodapé 3].
No início de cada teste de teste simulado, o agente era colocado no centro de uma pista linear 11 × 1 simulada com cinco espaços para o "leste" (ou seja, à direita) do agente e cinco espaços para o "oeste ”(Isto é, à esquerda) do agente. Como a Tabela 1 mostra, o vetor de estado do agente incluiu um elemento indicando sua localização atual na trilha (isto é, um inteiro de 0 para 10), assim como um elemento (isto é, um caractere “n”, “s”, “ e ”, ou“ w ”) representando sua orientação atual (ou seja, norte, sul, leste ou oeste, respectivamente). A orientação inicial do agente sempre foi definida como "norte" e nenhum outro objeto estava presente no ambiente (ou seja, o valor de "OBJECT" no vetor de estado do agente foi definido como igual a "0").
Durante cada etapa da simulação, o agente pode executar uma das seguintes ações: (1) não faz nada e permanece na localização e orientação atuais; (2) orientar para o norte, sul, leste ou oeste; ou (3) mova um espaço no ambiente (leste ou oeste). O resultado de cada ação ocorreu no subseqüente tempo simulado. Todas as mudanças na localização e / ou orientação do agente no espaço ocorreram através da seleção de ações pelo agente. No entanto, durante cada etapa de tempo da simulação, mesmo quando uma ação “não fazer nada” foi selecionada, o tempo foi incrementado pelo 1 até o final do teste (ou seja, o intervalo de tempo 20).
O ambiente do agente foi configurado de forma que na metade do tempo, um objeto apareceu em um local aleatório (mas não no mesmo local que o agente) após dez etapas de tempo; 50% dos objetos foram positivos (representados por um “+”; consulte a Tabela 1) e 50% dos objetos foram negativos (representados por um “-”). O atraso antes de o objeto aparecer foi introduzido para permitir a observação de qualquer comportamento que o agente possa ter exibido antes do aparecimento do objeto. Se o agente não foi orientado para o objeto quando apareceu, então o elemento que representa a identidade "OBJECT" no vetor de estado do agente foi alterado de "0" para "?" Para refletir o fato de que a identidade do objeto que estava agora presente era atualmente desconhecido. No entanto, se o agente foi orientado para o objeto, então, no próximo passo temporal, o elemento "OBJECT" foi definido como igual à identidade do objeto, de modo que "0" tornou-se "+" ou "-" para positivo e objetos negativos, respectivamente.
Se o agente foi movido para o local de um objeto, durante a próxima etapa, o objeto desapareceu. Se o objeto tivesse sido positivo, o sinalizador "CONSUMIDO" do agente foi definido como igual a true e o agente foi recompensado (recompensa = + 10); no entanto, se o objeto foi negativo, o sinalizador "SHOCKED" foi definido como true e o agente foi punido (reward = −10). (Observe que os sinalizadores foram definidos dessa maneira, independentemente de o agente ter ou não identificado o objeto; por exemplo, o agente poderia consumir um objeto sem orientá-lo.) No próximo passo, o “CHOQUE” ou O sinalizador "CONSUMIDO" foi apagado. O agente também recebeu uma pequena penalidade (reforço = −1) para cada movimento ou ação de orientação, e não recebeu recompensa ou punição (reforço = 0) se não realizou nenhuma ação.
Ambos os comportamentos evidentes (ie, orientação e movimento) e uma medida do erro de predição de recompensa foram quantificados para o agente. O comportamento evidente (isto é, a lista de ações selecionadas pelo agente) foi usado como uma indicação de que a tarefa havia sido aprendida. A medida do erro de predição de recompensa foi usada para testar a hipótese sobre o surgimento do sinal fásico dopaminérgico sem recompensa. O erro de predição de recompensa, δ, foi medido no instante t da aparição de um objeto pela subtração da predição de recompensa no intervalo de tempo anterior, isto é, V (s) no intervalo de tempo t −1, da previsão de recompensa quando o objeto apareceu, isto é, V (s) no tempo t, produzindo a quantidade δ = V (st) - V (st - 1).
Consistentes
Comportamento simulado
O comportamento evidente dos agentes foi primeiro quantificado. Os resultados dessa análise mostraram que, após o treinamento, o agente se aproximou e obteve reforço positivo de todos os objetos positivos e nunca abordou nenhum dos objetos negativos. Juntos, esses resultados fornecem confirmação comportamental de que os agentes aprenderam a executar a tarefa corretamente. Esta conclusão é reforçada pela observação adicional de que, durante as tentativas, quando nenhum objeto apareceu, o agente permaneceu imóvel. Conforme previsto, o agente orientou-se para objetos positivos e negativos.
Erro simulado de previsão de prêmios
A hipótese central deste artigo é que o aparecimento de um estímulo imprevisível gerará consistentemente um erro positivo de previsão de recompensa, mesmo que esse objeto seja um objeto “negativo” que é sempre punitivo. Em apoio a essa hipótese, o agente exibiu um erro positivo de previsão de recompensa sempre que um objeto (não identificado) aparecia, mas não quando nada aparecia. Também consistente com a hipótese central é o fato de que a magnitude da resposta fásica do agente (δ, medida conforme descrito na seção Método) foi sensível à “intensidade” simulada do estímulo, definido usando a distância entre o agente e o objeto (ver Figura 1). Uma análise de regressão indicou que a magnitude de δ estava inversamente relacionada à distância do objeto, de modo que objetos mais próximos causaram uma resposta mais forte (r = −0.999, p <0.001; β = 0.82). Essa correlação negativa foi causada pela pequena penalidade (reforço = −1) que foi imposta a cada movimento que o agente era obrigado a fazer a fim de mover-se para o objeto positivo, consumi-lo e, assim, obter recompensa.
Figura 1
Esta figura mostra o erro de previsão de recompensa (isto é, δ) quando o objeto apareceu em função da localização do objeto em relação à localização do agente. As respostas são idênticas para objetos positivos e negativos. Quando nenhum objeto (mais ...)
Dado que objetos positivos e negativos apareceram nessa simulação com igual probabilidade (p = .25), surge a pergunta: Por que o erro de predição de recompensa do agente era positivo no momento da aparência do objeto? Raciocinando ao longo das linhas de Kakade e Dayan [7], pode-se prever que o sinal deve refletir a média de todas as recompensas aprendidas de tais situações e, portanto, ser igual a zero. A chave para entender esse resultado é notar que não apenas a RL torna menos provável o agente escolher ações que resultam em reforçamento negativo, como também torna menos provável que um agente entre em estados que eventualmente levam a um reforço negativo. Isso resulta em uma forma de aprendizagem de “ordem mais alta”, descrita na Figura 2 e descrita a seguir.
Figura 2
Ilustração que mostra como um agente RL desenvolve erro de previsão de recompensa positivo quando é treinado com estímulos de recompensa e punição em seu ambiente e é capaz de escolher se irá abordá-los e consumi-los. (A) A situação antes da aprendizagem: (mais ...)
No início do aprendizado (veja a Figura 2A), o agente orienta os objetos “+” e “-”, aproxima-os e é recompensado e punido ao consumir cada tipo de objeto. Se os valores do estado aprendido do agente não pudessem influenciar as ações do agente (consulte a Figura 2B), o agente continuaria a abordar e consumir os objetos. A aparência da sugestão seria então predizer uma recompensa média de 0 e haveria um aumento súbito no erro de previsão de recompensa. No entanto, o agente nesta simulação usa valores de estado aprendido para influenciar suas ações (veja a Figura 2C), e embora o agente ainda tenha que se orientar para o objeto desconhecido para determinar sua identidade, ele não consumirá mais um objeto negativo se aproximou ele (como se fosse treinado com um algoritmo de exploração aleatória como amostragem de trajetória [Nota de rodapé 1]). Além disso, como a aprendizagem de diferença temporal permite que a previsão de recompensa negativa se “propague” de volta aos estados precedentes, e porque há um pequeno custo para se mover no espaço, o agente aprende a evitar a abordagem completa do objeto negativo. Assim, após essa informação ter sido aprendida, o valor do estado quando o objeto aparece pela primeira vez (indicado como “V” no primeiro círculo em cada sequência) não é baseado na média dos valores de estado de resultado positivo e negativo, mas é em vez disso, com base na média de resultados positivos e “neutros” que são alcançados quando o agente aprende a evitar os objetos negativos. É por isso que a média de todas as recompensas realmente obtidas pelo agente treinado foi maior que zero e explica por que a previsão de recompensa do agente (e, portanto, o erro de previsão de recompensa quando o objeto aparece repentinamente) era um positivo líquido. Isso é ilustrado na Figura 3. Na verdade, desde que o agente possa aprender a mudar seu comportamento e evitar o objeto negativo, o valor do objeto negativo é, em última instância, irrelevante para o comportamento final do agente e a magnitude da resposta de novidade / saliência.
Figura 3
(A) Demonstra as mudanças na previsão de recompensa que teriam ocorrido se RL não resultasse em aprendizagem de ordem superior (ou seja, se o agente não pudesse tomar medidas para evitar o resultado negativo), de modo que o agente fosse forçado a consumir todos os objetos (mais ...)
Os resultados da simulação dependem criticamente de três suposições. Primeiro, os estímulos tinham que ser “salientes”, pois a magnitude do reforço previsto pela sugestão inicial era suficientemente grande (por exemplo, + 10) em relação aos custos de orientação e aproximação (por exemplo, −1). Se a magnitude tivesse sido relativamente pequena, o agente não teria aprendido a se orientar, nem teria gerado a resposta positiva de erro de previsão de recompensa. Em segundo lugar, um atraso antes de reconhecer os estímulos também era necessário. (Atraso é um substituto para a “novidade” sob o raciocínio de que um estímulo familiar seria rapidamente reconhecido.) Sem demora, o agente teria simplesmente gerado o erro apropriado de previsão de recompensa positiva ou negativa apropriado para o objeto percebido real. Finalmente, o comportamento do agente tinha que ser determinado pelos valores que ele havia aprendido. Se o agente não pudesse controlar seu próprio comportamento (ou seja, se aproximar dos estímulos), então sua previsão de recompensa quando um objeto aparecesse teria igualado a 0, a média dos resultados positivos e negativos equiprováveis.
Discussão geral
A simulação relatada neste artigo demonstrou que um erro positivo de previsão de recompensa ocorre quando um estímulo imprevisível, recompensando ou punindo, aparece, mas não pode ser identificado imediatamente. Além disso, a simulação indicou que o tamanho do erro de previsão de recompensa aumenta com a proximidade do estímulo ao agente, o que no contexto da simulação é uma medida substituta da intensidade do estímulo e está, portanto, relacionado à saliência. No quadro teórico da RL, predições de recompensa são normalmente entendidas como refletindo o valor aprendido de estímulos reconhecidos, ou dos estados físicos e / ou cognitivos de um agente [15]. No entanto, o erro de previsão de recompensa relatado aqui tem uma interpretação qualitativamente diferente porque é gerado antes que o agente reconheça o objeto. Juntos, esses resultados apóiam a hipótese de que os princípios de RL são suficientes para produzir uma resposta aparentemente não relacionada à recompensa, mas relacionada às propriedades da novidade e da saliência. Esta conclusão tem várias ramificações importantes para nossa compreensão geral de RL e para nossa interpretação de RL como uma explicação da aprendizagem de recompensa em organismos biológicos reais.
Primeiro, a previsão de recompensa que é gerada por um agente de RL quando um estímulo não identificado aparece não é necessariamente uma média estrita das recompensas obtidas como sugerido por Kakade e Dayan [7], mas pode de fato ser maior em magnitude do que a média particular. Kakade e Dayan previam que a previsão média de recompensas deveria ser igual a zero porque, porque os testes eram recompensados e punidos com igual frequência. Esse resultado surpreendente surgiu porque o agente aprendeu de maneira “política”; isto é, o agente aprendeu não apenas sobre resultados negativos, mas também sobre sua capacidade de evitar esses resultados. Essa capacidade do sistema de recompensas de fazer com que um agente evite resultados negativos deve ser cuidadosamente considerada ao traduzir nossa compreensão de RL para organismos reais. Este facto é potencialmente ainda mais importante, dada a aparente assimetria na capacidade da resposta fásica dopaminérgica de representar um erro de previsão de recompensa positivo melhor do que o erro de previsão de recompensa negativo [11]. Pode ser suficiente indicar que uma sequência particular de eventos leva a um resultado negativo, mas que, para os propósitos de seleção de ação, a magnitude desse resultado não é importante.
Uma segunda ramificação da simulação atual é que a resposta da novidade pode emergir de uma interação entre sistemas de processamento perceptual e sistemas de previsão de recompensa. Especificamente, a resposta da novidade pode ser devida a uma forma de similaridade entre novos objetos e objetos que ainda não foram submetidos a processamento perceptual completo [Nota de rodapé 4]. Nesta simulação, a novidade foi implementada introduzindo um atraso antes que a identidade do objeto (e consequentemente, sua natureza recompensadora ou punitiva) se tornasse aparente para o agente. Isso foi feito sob a suposição de que objetos novos demoram mais para serem identificados, mas essa suposição também resultou em objetos positivos e negativos sendo percebidos de forma similar quando apareceram pela primeira vez (ou seja, ambos foram codificados como "?"). Em contraste, Kakade e Dayan [7] sugerem que as respostas de novidade e as respostas de "generalização" são essencialmente diferentes, apesar de se manifestarem de forma semelhante nos dados de neurofisiologia.
Uma terceira ramificação dos resultados da simulação atual é que eles mostram que as suposições adicionais de novidade e os bônus de modelagem que foram propostos por Kakade e Dayan [7] não são necessárias. Em vez disso, respostas semelhantes a novidades podem emergir de limitações realistas do processamento perceptivo e do conhecimento de ser capaz de evitar resultados negativos. Isso é uma sorte porque, como apontado por Kakade e Dayan, os bônus de novidade distorcem a função de valor que é aprendida por um agente, e a modelagem de bônus afeta a maneira pela qual os agentes exploram seus espaços de estado. A inclusão de qualquer uma dessas suposições reduz a parcimônia de modelos baseados na teoria RL. Curiosamente, os resultados apresentados aqui também ajudam a explicar por que a resposta da novidade biológica pode não ser prejudicial à aprendizagem baseada em recompensa em organismos reais: a resposta da novidade é, de fato, já predita pela RL. Ou seja, a resposta da novidade reflete comportamentos e premiações que são inerentes a um agente que já aprendeu algo sobre seu ambiente.
Uma interpretação alternativa (mas não mutuamente exclusiva) dos resultados da simulação atual é que há, de fato, uma recompensa abstrata (talvez cognitiva) que os agentes obtêm orientando e identificando objetos. Em estudos de atividade dopaminérgica, respostas fásicas positivas podem ocorrer a estímulos imprevistos que são conhecidos por prever uma recompensa. Essa simulação, no entanto, demonstra como esses tipos de respostas também podem ocorrer em resposta a uma sugestão que poderia, no final das contas, prever recompensa ou punição. O único benefício consistente que é previsto pela sugestão é o ganho na informação obtida quando o agente determina a identidade do objeto. Assim, se há uma “previsão de recompensa” aprendida e válida quando o objeto não identificado aparece, é aquela que é satisfeita depois que o agente obtém o conhecimento sobre se deve abordar ou evitar o estímulo. O valor dessas informações não se baseia na média dos resultados obtidos, mas baseia-se no conhecimento dos resultados efetivos - que o agente pode consumir a recompensa positiva ou evitar a recompensa negativa (ver Figura 2).
Finalmente, é importante notar que as oportunidades de tomar ações específicas (por exemplo, orientar) podem assumir propriedades compensadoras através de alguma generalização ou mecanismo de aprendizado não incluídos nesta simulação. Por exemplo, o próprio ato de orientar e determinar “o que está lá fora” pode se tornar gratificante para um organismo baseado na associação entre essa ação e o erro de previsão de recompensa emergente sempre demonstrado acima, quando novos estímulos aparecem. Uma ideia semelhante foi recentemente avançada por Redgrave e Gurney [13], que supõem que um propósito importante da resposta fásica de dopamina é reforçar as ações que ocorrem antes de eventos salientes imprevisíveis. Os resultados aqui não são incompatíveis com essa hipótese, entretanto deve ser notado que a hipótese de Redgrave e Gurney não é testada diretamente nesta simulação porque nenhuma ação (isto é, exploração) foi requerida do agente para que o evento saliente (o aparecimento de o objeto) para ocorrer. Entretanto, o sinal fásico simulado coincidiu com o tempo da resposta de orientação, sugerindo que os dois podem estar fortemente relacionados.
Em conclusão, este artigo demonstrou que os princípios de RL podem ser usados para explicar um tipo de atividade aparente sem recompensa dos neurônios dopaminérgicos. Esse resultado surgiu do fato de que a regra de aprendizagem de diferença temporal (como a usada por Kakade e Dayan [7]) foi incorporada em uma simulação na qual o agente poderia selecionar ações que tivessem um efeito sobre o resultado final. Na simulação, o agente aprendeu que o resultado da orientação para um objeto que aparecia de repente poderia ser sempre recompensador ou neutro, porque o resultado negativo poderia ser evitado. Portanto, quando o agente teve a oportunidade de orientar, seu erro de previsão de recompensa foi sempre positivo, computacionalmente análogo às respostas de novidade e saliência observadas em organismos biológicos.
Agradecimentos
O trabalho descrito neste artigo foi suportado pelo NIH R01 HD053639 e pelo NSF Training Grant DGE-9987588. Gostaria de agradecer a Erik Reichle, Tessa Warren e um revisor anônimo por comentários úteis sobre uma versão anterior deste artigo.
1 Outro algoritmo de Aprimoramento de Reforço, chamado Amostragem de Trajetória [17], é freqüentemente usado em vez de Iteração de Valor quando o espaço de estado se torna tão grande que não pode ser totalmente iterado ou armazenado facilmente na memória de um computador. Em vez de iterar sobre cada estado no espaço de estados e aplicar a equação de atualização da função de valor com base nas ações que parecem levar à maior recompensa, a Amostragem de Trajetória funciona seguindo caminhos através do espaço de estados. Similarmente à Iteração de Valor, as ações que levam à maior recompensa são geralmente selecionadas de cada estado, mas ocasionalmente uma ação exploratória aleatória é escolhida com alguma probabilidade pequena. Assim, o algoritmo é: A partir de alguns estados iniciais, selecione uma ação que leve à recompensa mais [por exemplo, recompensa + γV (s ′)] com probabilidade ε, ou selecione uma ação exploratória aleatória com probabilidade 1 - ε. Aplique V (s) → V (s) + α [recompensa + γV (s ′) - V (s)] durante ações não exploratórias do estado s.
Além de superar as limitações técnicas de tempo computacional e memória, a amostragem de trajetória pode ser atraente porque pode refletir melhor a maneira pela qual os organismos biológicos reais aprendem: explorando caminhos em um espaço de estado. Na tarefa descrita neste trabalho, a Amostragem por Trajetória produz resultados que são qualitativamente idênticos àqueles obtidos com a Iteração de Valor. No entanto, para concisão, esses resultados não são relatados aqui em detalhes. A Iteração de Valor foi selecionada para a simulação neste artigo por duas razões principais. Em primeiro lugar, como a Amostragem de Trajetória envolve estocasticidade na seleção de trajetórias, a grande quantidade de ramificações devidas a muitas possíveis seqüências de ações nessa tarefa pode resultar em agentes que não têm experiência com alguns estados, a menos que o parâmetro exploração-exploração (isto é, ε-greediness [17]) é cuidadosamente selecionado. Essa falta de experiência com determinados estados pode ser prejudicial ao desempenho de um agente quando uma estrutura de memória de tabela de consulta é usada devido à falta de generalização de valor para estados semelhantes (mas possivelmente não visitados). Assim, preferiu-se aproveitar a exploração exaustiva do espaço de estados que é garantida com a Iteração de Valor. Em segundo lugar, o uso da Iteração de Valor evitou a necessidade de especificar esse parâmetro adicional de exploração e exploração, simplificando assim a simulação. Observe que a amostragem de trajetória pode se aproximar da Iteração de valor, já que o número de trajetórias se aproxima do infinito [17].
2O número de estados 21,120 pode ser calculado da seguinte forma: 11 possíveis localizações de agente × 4 possíveis orientações de agente × (10 time-steps antes que um objeto possa aparecer + 10 time-steps em que nenhum objeto apareceu + 10 time-steps em que o agente tinha sido reforçado positivamente + time-steps 10 onde o objeto foi reforçado negativamente + 11 possíveis localizações de objetos * (10 time-steps com um objeto identificado positivo + 10 time-steps com um objeto identificado negativo + 10 time-steps com um objeto positivo não identificado + 10 time-steps com um objeto negativo não identificado))].
3A existência desses estados “ocultos” deve ser considerada durante o treinamento porque a Iteração de Valor só parece “um passo à frente” de cada estado no espaço de estados. O fato de os estados com objetos negativos e positivos não identificados serem efetivamente idênticos impediria o aprendizado e a média dos valores nos dois estados subseqüentes nos quais o objeto positivo ou negativo é identificado. Uma abordagem de Amostragem de Trajetória, por outro lado, mantém a informação de estado oculto (isto é, a identidade do estímulo não identificado) ao longo do julgamento e, portanto, com essa variante de RL, os estados ocultos não são uma preocupação.
4One objeção potencial ao presente trabalho é que a resposta de orientação parece ser ligada ao cérebro de mamíferos, por exemplo, em projeções do colículo superior [3,14]. Na presente simulação, os agentes não foram programados para orientar os objetos, mas aprenderam um comportamento de orientação que permitia a seleção final de uma ação (por exemplo, abordagem ou evitação) que maximizava a recompensa. Da mesma forma que as respostas com fio, esses comportamentos de orientação ocorreram muito rapidamente, antes que os objetos fossem identificados e eram direcionados para todos os objetos. O objetivo deste trabalho não era fazer a alegação de que todas essas respostas são aprendidas, mas sim que elas podem coexistir dentro da estrutura de RL. No entanto, seria interessante investigar se mecanismos relacionados à recompensa poderiam estar envolvidos no estabelecimento de conectividade em áreas do tronco encefálico para gerar essa resposta fásica de dopamina.
Este é um arquivo PDF de um manuscrito não editado que foi aceito para publicação. Como um serviço aos nossos clientes, estamos fornecendo esta versão inicial do manuscrito. O manuscrito será submetido a edição de texto, formatação e revisão da prova resultante antes de ser publicado em sua forma final citável. Observe que, durante o processo de produção, podem ser descobertos erros que podem afetar o conteúdo, e todas as isenções legais que se aplicam ao periódico pertencem a ele.
Referências
1. Baird LC. Algoritmos Residuais: Aprendizado por Reforço com Aproximação Funcional. Em: Priedetis A, Russell S, editores. Machine Learning: Procedimentos da Décima Segunda Conferência Internacional; 9 – 12 July.1995.
2. Bunzeck N, Düzel E. Codificação absoluta da novidade do estímulo na substância humana nigra / VTA. Neurônio 2006; 51 (3): 369 – 379. [PubMed]
3. Dommett E, Coizet V, CD de Blaha, Martindale J, Lefebvre V, Walton N, Mayew JEW, Overton PG, Redgrave P. Como os estímulos visuais ativam os neurônios dopaminérgicos em curta latência. Ciência. 2005; 307 (5714): 1476 – 1479. [PubMed]
4. Doya K. Metalearning e neuromodulação. Redes neurais. 2002 Jun – Jul; 15 (4 – 6): 495 – 506. [PubMed]
5. Gillies A, Arbuthnott G. Modelos computacionais dos gânglios da base. Distúrbios do Movimento. 2000; 15 (5): 762 – 770. [PubMed]
6. Horvitz JC. Respostas mesolimbocorticais e nigrostriatais de dopamina a eventos salientes de não recompensa. Neurociência. 2000; 96 (4): 651 – 656. [PubMed]
7. Kakade S, Dayan P. Dopamine: generalização e bônus. Redes neurais. 2002; 15 (4 – 6): 549 – 559. [PubMed]
8. Knutson B, Cooper JC. A atração do desconhecido. Neurônio 2006; 51 (3): 280 – 282. [PubMed]
9. Logothetis NK, Pauls J, Augath M, Trinath T, Oeltermann A. Investigação neurofisiológica da base do sinal de fMRI. Natureza. 2001; 412 (6843): 150 – 157. [PubMed]
10. McClure SM, Berns GS, Montague PR. Erros de previsão temporal em uma tarefa de aprendizagem passiva ativam o corpo estriado humano. Neurônio 2003; 38 (2): 339 – 346. [PubMed]
11. Niv Y, Duff MO, Dayan P. Dopamina, incerteza e aprendizado de TD. Funções comportamentais e cerebrais. 2005 pode 4; 1: 6. [Artigo gratuito do PMC] [PubMed]
12. O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Modelos de diferença temporal e aprendizado relacionado à recompensa no cérebro humano. Neurônio 2003; 38 (2): 329 – 337. [PubMed]
13. Redgrave P, Gurney K. O sinal de dopamina de latência curta: um papel na descoberta de novas ações? Nature Reviews Neurociência. 2006 Dec; 7 (12): 967 – 975.
14. Redgrave P, Prescott TJ, Gurney K. A resposta de dopamina de latência curta é muito curta para sinalizar um erro de recompensa? Tendências em neurociências. 1999 Abr; 22 (4): 146 – 151. [PubMed]
15. Reichle ED, Laurent PA. Usando o aprendizado de reforço para entender o surgimento do comportamento de movimento ocular “inteligente” durante a leitura. Revisão Psicológica. 2006; 113 (2): 390 – 408. [PubMed]
16. Schultz W. Sinal de recompensa preditivo dos neurônios dopaminérgicos. Jornal de Neurofisiologia. 1998; 80 (1): 1 – 27. [PubMed]
17. Sutton RS, Barto AG. Aprendizagem por Reforço: Uma Introdução. MIT Press; Cambridge: 1998.
18. Tanaka SC, K Doya, Okada G., Ueda K, Okamoto Y, Yamawaki S. Previsão de recompensas imediatas e futuras diferencialmente recruta loops de gânglios cortico-basais. Natureza neurociência. 2004; 7 (8): 887 – 893.