O custo da obtenção de recompensas aprimora o sinal de erro de previsão de recompensa dos neurônios da dopamina no mesencéfalo (2019)

Sabe-se que os neurônios da dopamina do mesencéfalo codificam erros de previsão de recompensa (EPR) usados ​​para atualizar as previsões de valor. Aqui, examinamos se os sinais de EPR codificados pelos neurônios da dopamina no mesencéfalo são modulados pelo custo pago para obter recompensas, registrando os neurônios da dopamina nos macacos que se comportam acordados durante a execução de uma tarefa de sacada. As respostas dos neurônios dopaminérgicos às pistas que preveem recompensa e à entrega de recompensas aumentaram após o desempenho de uma ação dispendiosa em comparação com uma ação menos dispendiosa, sugerindo que os RPEs são aprimorados após o desempenho de uma ação dispendiosa. No nível comportamental, as associações de estímulo-recompensa são aprendidas mais rapidamente após a execução de uma ação dispendiosa em comparação com uma ação menos dispendiosa. Assim, as informações sobre o custo da ação são processadas no sistema de recompensa da dopamina de uma maneira que amplifica o seguinte sinal RPE da dopamina, que por sua vez promove um aprendizado mais rápido em situações de alto custo.

Humanos e animais preferem uma recompensa recebida depois de fazer muito esforço para obtê-la em comparação com a mesma recompensa após um esforço menor^1,2,3. Várias explicações foram postas para esse efeito, como justificação de esforço^4,5 e o efeito de contraste⁶, em que maior valor é atribuído a um resultado obtido após o esforço pago. No entanto, ainda não está claro se e como o processamento de informações sobre recompensas no cérebro é modulado pelo esforço despendido para obter uma recompensa.

Focamos especificamente no sistema de dopamina no mesencéfalo, dado o papel desse sistema na promoção da adaptação comportamental às recompensas^7,8,9. Sabe-se que os neurônios da dopamina representam sinais de erro de previsão de recompensa (EPR) que podem facilitar o aprendizado das previsões de recompensa pelos gânglios da base^{10,11,12,13,14,15,16,17}. A força do EPR depende da quantidade, qualidade e valor subjetivo ou utilidade da recompensa^{7,18,19,20,21}. Além disso, a atividade dopaminérgica é modulada por custos e / ou esforço^22,23. Nesta base, postulamos que o sinal de EPR dopaminérgico seria modulado diretamente pelo custo pago para obter uma recompensa. Além disso, como o sinal do EPR está causalmente envolvido na mediação da aprendizagem de associações estímulo-recompensa^24,25,26, levantamos a hipótese de que o custo pago para obter a recompensa aumentaria diretamente a velocidade de aprendizado das associações estímulo-recompensa.

Para testar nossas hipóteses, medimos o comportamento e a atividade dopaminérgica em dois macacos japoneses enquanto eles realizavam uma tarefa de esforço baseado em sacada. Os macacos reagem mais rapidamente a uma sugestão de previsão de recompensa que é apresentada após uma ação de alto custo (HC) em comparação com aquela após uma ação de baixo custo (LC). A atividade dos neurônios dopaminérgicos para os sinais preditores de recompensa é aumentada pelo custo pago. Além disso, a velocidade de aprendizado da associação estímulo-recompensa também é aprimorada pelo custo pago. Portanto, sugerimos que o custo pago para obter recompensas aumenta o sinal de EPR nos neurônios da dopamina e, assim, aprimora as associações estímulo-recompensa.

Tarefa de sacada de alto-baixo custo (HLC)

Para examinar o efeito do custo pago no comportamento e na atividade dos neurônios da dopamina, os macacos realizaram uma tarefa de sacada com duas condições de custo (Fig. 1a, consulte Métodos). Nos ensaios com HC, os macacos fizeram uma sacada rapidamente para o alvo e o encararam sem piscar por um período mais longo (fig. 1b; linhas verdes). Em contraste, em testes de LC, os macacos olharam em volta livremente antes de fixar por um período mais curto (Fig. 1blinhas roxas). Como manter uma fixação longa é difícil para os macacos, eles cometeram mais erros durante os atrasos nos testes de HC (Fig. 1c) Para controlar uma conseqüente diferença na probabilidade de recompensa entre os ensaios de HC e LC, inserimos abortos forçados em uma parte dos ensaios de LC para igualar as taxas de sucesso e as probabilidades de recompensa entre os tipos de ensaio (Fig. 1d).

O custo pago aumenta o valor das dicas de previsão de recompensa

Para obter evidências implícitas de uma diferença na avaliação subjetiva de pistas do macaco, testamos o tempo de reação dos macacos (TRs). Em particular, previmos que, se os macacos atribuírem um valor subjetivo mais alto a uma opção do que a outra, eles deverão mostrar RTs mais rápidos para a opção mais valorizada²⁷. Quando os TRs foram comparados entre os sinais de custo, ambos os macacos mostraram TRs mais rápidos para o LC em comparação com o sinal de HC (Fig. 1e), demonstrando uma preferência implícita pela condição de LC. Quando TRs foram comparados entre sugestões de recompensa, ambos os macacos mostraram TRs mais rápidos para recompensar (R +) do que pistas sem recompensa (R-) (Fig. 1f), indicando que preferiam pistas R + a pistas R. Além disso, ambos os macacos apresentaram RTs mais rápidos para o R_HC+ sugestão em comparação com o R_LC+ sugestão e para o R_HC- sugestão em comparação com o R_LC- sugestão (Fig. 1f), indicando que eles valorizavam mais os sinais preditores de recompensa no HC, em comparação com a condição de LC.

Além disso, incluímos ensaios de escolha na tarefa de sacada do HLC para testar as preferências manifestas dos macacos entre as pistas (Fig. 1a) Os macacos escolheram preferencialmente a sugestão de LC ao escolher entre sugestões de custo (Fig. Suplementar. 1b) O Monkey S escolheu preferencialmente o R_HC+ sugestão ao executar a tarefa de escolha entre R_HC+ e R_LC+ sugestão, mas sem preferência entre R_HC- e R_LC- sugestões (Fig. Complementar 1c, d) Em contraste, o macaco P não mostrou preferência evidente entre R_HC+ e R_LC+ sugestões, mas preferiu o R_HC- sugestão ao escolher entre R_HC- e R_LC- sugestões (Fig. Complementar 1c, d).

Resultados eletrofisiológicos na tarefa de sacada do HLC

Registramos a atividade unitária única de neurônios localizados na substância negra pars compacta (SNc) e na área tegmental ventral (ATV) durante a tarefa de sacada do HLC. Identificamos os neurônios da dopamina 70 entre os dois macacos (Fig. 2a; Neurônios 18 e 52 do macaco P e S, respectivamente). O exame histológico confirmou que os neurônios estavam localizados dentro ou ao redor do SNc / VTA (Fig. Suplementar). 2b).

Na Fig. 2, mostramos a atividade de um neurônio representativo da dopamina. Esse neurônio mostrou ativação modesta para o sinal de LC e ativação ou supressão fásica da recompensa (R_HC+ e R_LC+) ou nenhuma sugestão de recompensa (R_HC- e R_LC-), respectivamente (Fig. 2Fig. Complementar 3) O neurônio também mostrou ativação fásica à recompensa imprevisível, bem como supressão fásica em resposta a um estímulo aversivo, um sopro imprevisível (Fig. 2painel direito). Além disso, o neurônio mostrou supressão modesta à sugestão inicial, mas não respondeu à recompensa. Toda a população de neurônios da dopamina que registramos apresentou respostas semelhantes à sugestão inicial e à entrega de recompensa (fig. 4a, b) Na tarefa de sacada do HLC, um custo de esforço foi pago antes da obtenção da recompensa. Como o custo previsto reduziu a atividade dos neurônios dopaminérgicos^22,23, as respostas dos neurônios da dopamina seriam suprimidas no momento da apresentação da sugestão de início¹⁶.

Os neurônios da dopamina codificam informações sobre recompensa e custo

Os neurônios responderam fasicamente à sugestão de LC, mas com menos robustez à sugestão de HC (Fig. 3a, b) As respostas evocadas às sugestões de condição de custo exibiram uma resposta menor à sugestão HC do que a sugestão LC (teste bipolar de Wilcoxon, P <3.2 × 10^-4, n = 70). Quantificamos o efeito do custo previsto nas respostas neuronais usando uma análise de características de operação do receptor (ROC). A distribuição da área sob a curva ROC (auROC) foi significativamente <0.5 (Fig. 3c; teste de Wilcoxon bicaudal; P = 5.4 × 10^-4, n = 70), indicando que as respostas da sugestão de HC foram menores do que para a sugestão de LC. O custo previsto foi anteriormente considerado para reduzir a atividade dos neurônios dopaminérgicos, consistente com nossos resultados^22,23. Além disso, a população de neurônios da dopamina exibiu ativação significativa para o sinal de LC, enquanto não mostrou supressão significativa para sinais de HC (Fig. Suplementar). 4c, d) Esses resultados sugerem que os neurônios da dopamina codificam e integram informações sobre recompensa e custo no momento da apresentação da sugestão de custo.

Dois subtipos distintos de neurônios da dopamina foram descritos anteriormente: neurônios de valor motivacional e saliência^28,29. Encontramos evidências em nossa população de neurônios dopaminérgicos de padrões de resposta consistentes com os dois subtipos. Os neurônios do tipo valor mostraram supressão fásica aos estímulos aversivos de sopro de ar (Fig. 3d, e) Por outro lado, os neurônios da saliência mostraram uma ativação fásica aos estímulos aversivos (Fig. 3g, h) A longa fixação no estudo do HC também é desagradável e aversiva; portanto, é possível que os dois subtipos de neurônios dopaminérgicos mostrem padrões de resposta diferentes aos sinais da condição de custo. Se os neurônios dopaminérgicos representam estímulos aversivos e custam de maneira semelhante, os neurônios de valor devem mostrar atividade diminuída no sinal de HC devido à sua aversão. Por outro lado, os neurônios da saliência devem aumentar a atividade do sinal HC, porque também aumentam para estímulos desagradáveis. No entanto, as respostas evocadas de ambos os tipos de neurônios foram menores em relação ao sinal de HC em comparação com o sinal de LC (teste bipolar de Wilcoxon; P = 0.021, n = 41 e P = 0.0044, n = 29 para o valor e os tipos de saliência, respectivamente), e a análise ROC mostrou respostas menores para o HC em comparação com o cue LC em ambos os subtipos (Fig. 3f, i; teste de Wilcoxon bicaudal; P = 0.030, n = 41 e P = 0.0058, n = 29 para o valor e os tipos de saliência, respectivamente). Assim, o custo previsto reduziu a atividade em ambos os subtipos de neurônios da dopamina. Esses resultados indicam que as informações de custo são processadas pelos neurônios da dopamina de uma forma qualitativamente diferente dos estímulos aversivos.

Na tarefa sacada HLC, inserimos um aborto forçado em uma parte das tentativas LC para equalizar as taxas de sucesso e a probabilidade de recompensa entre os tipos de tentativa. Essa manipulação aumentou a incerteza de obtenção de recompensa ou o risco de nenhuma recompensa na condição LC. Portanto, a atividade mais elevada dos neurônios de dopamina e a valorização aumentada dos macacos para o LC em relação à sugestão de HC podem ser devido à diferença no risco ou incerteza entre as condições de custo. No entanto, não encontramos nenhuma relação entre o número de abortos forçados e a diferença nos RTs (Fig. Suplementar 5a, b), e encontramos uma correlação positiva entre o número de abortos forçados e o auROC (fig. complementar 5c) Também comparamos as respostas da dopamina aos sinais de custo após abortos vs. após testes corretos, mas não encontramos diferença nas duas condições de custo (Fig. 5d) Esses resultados indicam que o número de abortos forçados na condição de LC não explica o aumento na avaliação ou a ativação dopaminérgica aprimorada na sugestão de LC.

Respostas aumentadas da dopamina para recompensar a sugestão pelo custo pago

Os neurônios dopaminérgicos registrados mostraram ativação e supressão fásicas para recompensar e nenhuma indicação de previsão de recompensa, respectivamente (Fig. 2) Em seguida, avaliamos se essas respostas foram moduladas pelo custo incorrido anteriormente. Um exemplo de neurônio representativo e neurônios de média populacional exibindo maior ativação para o R_HC+ sugestão do que o R_LC+ cue são mostrados na Figura 4a eb, respectivamente. (teste de classificação sinalizada de Wilcoxon bicaudal; P = 7.4 × 10^-5, n = 70). A distribuição de auROCs foi> 0.5, indicando que a resposta ao R_HC+ sugestão era maior que para o R_LC+ sugestão (Fig. 4c; teste de Wilcoxon bicaudal; P = 1.4 × 10^-4, n = 70). Esses resultados indicam que a resposta à sugestão de previsão de recompensa na condição HC é significativamente maior do que na condição LC. Portanto, nossos achados sugerem que o sinal RPE positivo representado pelos neurônios dopaminérgicos é aumentado pelo custo incorrido anteriormente.

Os neurônios da dopamina também mostraram supressão fásica nas pistas R (Fig. 4d, e) No entanto, as respostas dos neurônios da dopamina às pistas R não mostraram uma diferença significativa em função do custo incorrido (teste bipolar de Wilcoxon; P = 0.25, n = 70), e a análise ROC não revelou nenhuma evidência de viés na distribuição da resposta (Fig. 4f; Teste de posto assinado de Wilcoxon, P = 0.35; n = 70). Assim, o custo pago não foi refletido no sinal RPE negativo eliciado pelas pistas de previsão de não recompensa. Isso pode ser causado por um efeito de chão: a atividade espontânea do neurônio dopaminérgico é baixa (cerca de 5 Hz); e, consequentemente, pode não haver uma faixa dinâmica suficiente para codificar adequadamente qualquer diferença no custo gasto para a resposta RPE negativa (Fig. 4d, e).

Também examinamos o efeito do custo pago nas dicas de recompensa para os neurônios da dopamina do tipo valor e saliência separadamente, mas ambos os tipos de neurônios da dopamina apresentaram padrão de resposta semelhante (Fig. 6a – h) Portanto, o custo pago manifesta um efeito semelhante na resposta às sugestões de recompensa nos neurônios dopamina do tipo valor e saliência.

As durações reais de fixação dos macacos não foram constantes, mas variaram de acordo com o teste (Fig. 1b) Portanto, era possível que as respostas da dopamina às indicações de recompensa fossem moduladas pelas durações reais da fixação, julgamento por julgamento. No entanto, não foi possível encontrar correlação significativa entre eles para cada condição de custo e recompensa (fig. Complementar). 7de Anúncios). Além disso, os RTs para a sugestão de recompensa também foram modulados pelas condições de custo e recompensa (Fig. 1f) Uma possibilidade é que as respostas dos neurônios da dopamina possam ser explicadas pelos TRs às sugestões de recompensa, tentativa por tentativa. No entanto, não foi possível encontrar correlação significativa entre os TRs e as respostas normalizadas da dopamina aos sinais de recompensa (Fig. 7Eh). Esses resultados sugerem que as respostas à dopamina são independentes dos TRs e das durações de fixação em cada estudo, ainda que moduladas pela quantidade de custo necessário e pela recompensa esperada que são fixados para cada tipo de estudo.

Além disso, também é possível que os abortos forçados na condição de LC tenham gerado tanto as preferências dos macacos quanto a ativação aprimorada dos neurônios da dopamina na sugestão de recompensa na condição de HC. Nesse caso, o número de abortos forçados deve estar relacionado à preferência e ao grau de ativação aprimorada. No entanto, o número de abortos forçados não teve efeitos sobre a preferência dos macacos ou a ativação dos neurônios da dopamina nos sinais de recompensa (Fig. Complementar). 8) Portanto, RTs mais rápidos e respostas DA mais altas ao R_HC+ sugestão do que o R_LCA sugestão + não se deve aos abortos forçados inseridos na condição LC.

Custo incorrido aumenta as respostas à dopamina para recompensar a entrega

A resposta dos neurônios da dopamina às pistas de R + deve originar-se da resposta à própria recompensa, porque os neurônios da dopamina alteram sua resposta às pistas de previsão de recompensa em relação à associação estímulo-recompensa^8,30. Portanto, esperávamos que os neurônios da dopamina mostrassem um aprimoramento da resposta dependente do custo pago para recompensar a entrega. Para medir a atividade dos neurônios da dopamina para a entrega de recompensa, os macacos realizaram a tarefa incerta do HLC com duas novas dicas de recompensa (Fig. 5a) Como as recompensas foram entregues em apenas metade das apresentações de sugestões de recompensa, elas não previram de maneira confiável nem diferencial a entrega de recompensas. Isso foi feito para maximizar a capacidade de resposta dos neurônios da dopamina ao recebimento de uma recompensa (imprevisível), de modo a aumentar nossa sensibilidade para detectar uma modulação na capacidade de resposta dos neurônios em função do custo gasto.

Quando os TRs foram comparados entre os sinais de custo, o macaco P mostrou um TR mais rápido para o sinal LC do que o sinal HC (Fig. 5b) Não houve diferença nos TRs para os sinais de recompensa entre a condição de HC e LC em ambos os macacos (Fig. 5c).

Na tarefa incerta do HLC, os neurônios da dopamina mostraram ativação modesta para o sinal de LC, mas não responderam aos sinais de recompensa porque não eram preditivos de recompensa (Fig. 6a) Em toda a população, as respostas evocadas foram menores para o HC que a sugestão de LC (Fig. 6b; teste de Wilcoxon bicaudal; P = 2.7 × 10^-3, n = 19), e as análises ROC mostraram respostas menores à sugestão de HC (Fig. 6c; teste de Wilcoxon bicaudal; P = 5.5 × 10^-3, n = 19). A resposta neuronal à entrega de recompensa na condição de HC foi maior do que a LC (Fig. 6d; teste de Wilcoxon bicaudal; P = 0.036, n = 19). A distribuição de auROCs foi> 0.5, indicando uma maior resposta de entrega de recompensa no HC em relação aos ensaios de LC (Fig. 6e; teste de Wilcoxon bicaudal; P = 0.049, n = 19). Esses resultados indicam que a resposta de entrega de recompensa é aprimorada no ensaio HC e que o custo pago aumenta o sinal RPE positivo na entrega de recompensa.

Além disso, comparamos as respostas à dopamina após a ausência de recompensa. Os auROCs não mostraram uma distribuição tendenciosa, indicando que o custo pago não teve efeito sobre os RPEs negativos no momento do resultado (Fig. Complementar. 9a) Os neurônios da dopamina não mostraram diferença entre as respostas ao R_HC e R_LC dicas (Fig. complementar 9b).

Custo incorrido aumenta a velocidade de aprendizado

Dado que os RPEs para entrega de recompensa são aumentados pelo custo pago, sob a hipótese de que os RPEs estão diretamente envolvidos na mediação da aprendizagem de estímulo-recompensa, esperamos que os RPEs aprimorados sejam refletidos no comportamento de aprendizagem por meio de uma velocidade de aprendizagem aprimorada²⁴. Para testar o efeito do custo pago no aprendizado, os macacos realizaram a tarefa de exploração HLC (Fig. 7a; consulte Métodos). Nesta tarefa, duas sugestões de recompensa (R + e R−) foram apresentadas simultaneamente e os macacos tiveram que escolher uma. Equalizamos as taxas de sucesso e recompensamos a probabilidade entre os tipos de estudo (pares t teste; t₄₈ = 0.15, P = 0.89, n = 49 para o macaco P; t₈₅ = 1.2, P = 0.25, n = 86 para o macaco S). Quando os RTs foram comparados para as sugestões de custo, ambos os macacos mostraram RTs mais rápidos para a sugestão de LC do que a sugestão de HC (Fig. 7b; bicaudal emparelhado t teste; t₄₈ = 12.9, P ≈ 0, n = 49 para o macaco P; t₈₅ = 3.4, P = 9.4 × 10^-4, n = 86 para o macaco S). Ao comparar RTs com as sugestões de recompensa, o macaco S mostrou RTs mais rápidos na condição HC do que LC (Fig. 7c; bicaudal emparelhado t teste; t₄₈ = 1.3, P = 0.19, n = 49 para o macaco P; t₈₅ = 2.8, P = 6.8 × 10^-3, n = 86 para o macaco S). Ao comparar RTs durante a primeira e última metade da sessão de aprendizagem separadamente, os RTs para a sugestão LC foram mais rápidos do que para a sugestão HC durante a primeira (Fig. Suplementar 10a) e segunda metade da sessão (fig. complementar 10c) Pelo contrário, os TRs do macaco S para a sugestão de recompensa na condição HC foram mais rápidos do que na condição LC durante apenas a segunda metade da sessão (fig. 10d), mas não a primeira metade (fig. 10b).

Na tarefa de exploração do HLC, pistas de recompensa foram geradas aleatoriamente em cada sessão de aprendizado. Portanto, os macacos tiveram que aprender a relação entre dicas de recompensa e recompensas em cada sessão. À medida que os ensaios progrediram em uma sessão, os macacos escolheram sugestões de R + com mais frequência em cada condição de custo (Fig. 8a) Para quantificar a velocidade de aprendizado, ajustamos uma função exponencial cumulativa aos dados, incorporando dois parâmetros livres, a e b, indicando a inclinação da curva e do platô, respectivamente (Fig. 11a, b) A razão de log entre os parâmetros de inclinação (log a_HC/a_LC) foi significativamente maior que zero, indicando um parâmetro de inclinação maior no HC do que nos ensaios de LC (Fig. 8b; bicaudal t teste; t₄₈ = 2.1, P = 0.042, média = 0.58, n = 49 para o macaco P; t₈₅ = 2.5, P = 0.013, média = 0.19, n = 86 para o macaco S). A relação de log entre os parâmetros de platô (log b_HC/b_LC), não foi diferente de zero, indicando que não há diferença entre as condições de custo (Fig. 8c; bicaudal t teste; t₄₈ = 0.76, P = 0.45, média = −0.0024, n = 49 para o macaco P; t₈₅ = 0.56, P = 0.58, média = 0.010, n = 86 para o macaco S). Esses resultados indicam que a velocidade de aprendizagem é mais rápida nos ensaios HC. Em seguida, modelamos curvas de aprendizado usando um modelo de aprendizado por reforço (RL) (consulte Métodos). Este modelo inclui parâmetros de taxa de aprendizagem (α_HC e α_LC) e taxas de exploração (β_HC e β_LC) para ambas as condições de custo (Fig. complementar 11c, d) Ao ajustar-se ao comportamento, descobrimos que a razão de log entre os parâmetros da taxa de aprendizado (log α_HC/α_LC) foi maior que zero, indicando um parâmetro de taxa de aprendizado significativamente maior no HC do que nos ensaios com LC (Fig. 8d; bicaudal t teste; t₄₈ = 2.3, P = 0.026, média = 0.50, n = 49 para o macaco P; t₈₅ = 2.2, P = 0.034, média = 0.25, n = 86 para o macaco S) enquanto o parâmetro β não mostrou diferença (fig. 8e; bicaudal t teste; t₄₈ = 0.77, P = 0.44, média = 0.0097, n = 49 para o macaco P; t₈₅ = 0.64, P = 0.52, média = 0.038, n = 86 para o macaco S). Aqui, estimamos os parâmetros da taxa de aprendizagem para cada condição de custo (α_HC e α_LC) separadamente para explicar velocidades mais rápidas de aprendizado na condição HC. No entanto, se as taxas de aprendizado forem idênticas entre as condições de custo, a proporção entre os parâmetros estimados da taxa de aprendizado (α_HC/α_LC) pode ser considerado como um valor de amplificação para RPEs na condição HC. Portanto, esses resultados sugerem que uma amplificação de RPEs pode explicar velocidades de aprendizado mais rápidas na condição HC.

Também tentamos explicar o processo de aprendizado com modelos alternativos de RL, que levam em consideração a possibilidade de os macacos conhecerem a anticorrelação entre estímulos e recompensa em cada tentativa. Nesses modelos, o valor da opção não escolhida é atualizado ao lado do escolhido (Fig. Complementar 12) Mesmo ao aplicar esses modelos alternativos aos dados, o parâmetro da taxa de aprendizado foi significativamente maior no HC em comparação com a condição de LC (Fig. Suplementar). 12b, f) enquanto o parâmetro β não mostrou diferença (Fig. 12d, h). Assim, nossa descoberta sobre uma amplificação do sinal RPE na condição HC é robusta à forma do modelo RL ajustado aos dados.

Investigamos o efeito do custo pago sobre o valor dos sinais preditores de recompensa e sobre as respostas fásicas dos neurônios da dopamina no mesencéfalo. Os macacos mostraram maior valorização das indicações de previsão de recompensa após o desempenho de uma ação que teve um custo maior. Os neurônios da dopamina mostraram respostas aumentadas tanto para a sugestão de previsão de recompensa quanto para a entrega de recompensa, depois que um custo maior foi incorrido. Além disso, os macacos mostraram velocidades de aprendizado mais rápidas quando um custo mais alto foi necessário para obter recompensa.

Vários estudos demonstraram que um custo pago aprimora as preferências por uma sugestão de previsão de recompensa^1,2,3. No presente estudo, os macacos apresentaram TRs mais rápidos para os sinais preditores de recompensa na condição HC em comparação com aqueles na condição LC, consistente com a possibilidade de que o valor da sugestão de recompensa seja aumentado pelo custo pago²⁷. Uma possibilidade alternativa é que o maior tempo de fixação associado à atenção aprimorada ao alvo da sacada na condição HC, reduza os TRs após uma fixação mais longa no estudo HC. No entanto, não encontramos nenhuma diferença entre TRs e pistas R nos ensaios de HC e LC na tarefa incerta do HLC. Além disso, na primeira metade da sessão de exploração da HLC. RTs para as pistas R não foram significativamente diferentes entre os ensaios de HC e LC. Esses achados indicam, portanto, que uma fixação mais longa não é uma explicação provável para os TRs mais curtos observados nos sinais preditores de recompensa. Além do efeito do custo pago nos RTs da sugestão de recompensa, o custo também afetou as RTs para as dicas que não preveem recompensas, apesar do fato de que nenhuma recompensa foi entregue após as apresentações da sugestão. Um estudo anterior relatou um fenômeno semelhante, no qual indivíduos de macacos apresentaram TRs mais curtos em ensaios não recompensados ​​quando recompensas mais preferidas foram empregadas nos ensaios alternativos em cada bloco³⁰. Uma possível interpretação do efeito nesse estudo é que uma motivação geral mais alta para responder no bloco com recompensas mais preferidas afetou os TRs também à sugestão de não recompensa dentro do bloco. Da mesma forma, no presente estudo, a expectativa de uma recompensa mais valiosa nos ensaios de HC pode ter modulado os TRs para a sugestão de não recompensa nos ensaios de HC de nossa tarefa. Além disso, o efeito do custo pago nos TRs para as dicas de recompensa foi menor que o das dicas sem previsão de recompensa. Isso provavelmente é um artefato do fato de que, porque os macacos fizeram uma sacada mais rapidamente ao R_LC+ sugestão em primeiro lugar, há escopo reduzido para detectar um encurtamento de RTs para o R_HC+ sugestão. Portanto, a diferença nos TRs entre os sinais de R + seria pequena como consequência.

Os macacos também realizaram testes de escolha entre os R_HC e R_LC dicas na tarefa HLC. Entretanto, enquanto o macaco S mostrou preferência pelo R_HC+ sugestão para o R_LC+ sugestão, o macaco P não mostrou essa preferência. Essa discrepância pode ser explicada por uma diferença contextual entre a sacada do HLC e os ensaios de escolha. Nos ensaios de escolha, duas pistas de previsão de recompensa foram apresentadas em vez de uma pista de previsão de recompensa. Além disso, os macacos não obtiveram recompensa após sua escolha, mesmo que tenham escolhido a sugestão de previsão de recompensa; assim, o teste de escolha foi realizado em extinção. O procedimento de extinção foi implementado para garantir que a escolha do macaco fosse conduzida pelo que havia sido aprendido nas tentativas de esforço, em vez de ser confundido com novos aprendizados nas tentativas de escolha. No entanto, esse procedimento pode ter o efeito colateral de que o macaco possa aprender rapidamente a reconhecer o procedimento de extinção no contexto de escolha e que não há razão para escolher os estímulos mais preferidos. No entanto, um dos macacos mostrou, de fato, uma preferência pela sugestão de recompensa na condição de HC.

No momento da apresentação de uma sugestão que previa um requisito subsequente de pagar um custo, a atividade dos neurônios da dopamina era reduzida, consistente com estudos anteriores^22,23. Em nosso estudo, não observamos uma diminuição geral no neurônio dopamina respondendo às indicações de HC e LC em relação à linha de base. Isso sugere que um sinal de EPR negativo não ocorre nesse momento, apesar do custo a seguir. A ausência de EPR negativo reflete presumivelmente a integração de uma previsão de recompensa futura esperada posteriormente no julgamento. Os neurônios da dopamina mostraram ativação significativa no teste de LC e a atividade foi maior em comparação com o teste de HC. Isso sugere que as informações de custo são incorporadas ao sinal de EPR transportado pelos neurônios da dopamina. Assim, os neurônios da dopamina codificam as informações de recompensa e custo e a resposta do EPR reflete a soma de custo e recompensa.

Demonstramos que o sinal de EPR representado pelos neurônios da dopamina é aumentado pelo custo pago no momento da apresentação da sugestão de recompensa (na tarefa de sacada do HLC) e da entrega da recompensa (na tarefa incerta de HLC). A quantidade objetiva de recompensa entregue nos ensaios de HC e LC foi igual; portanto, a modificação dos sinais RPE deve ser causada por um processo não-sensorial. Essa possibilidade é apoiada por vários estudos que indicam um efeito contextual nos sinais de EPR da dopamina consistentes com o processamento do valor subjetivo e / ou utilidade nos neurônios da dopamina^{11,19,20,21,31,32,33,34}. Se o sinal de EPR for maior, isso deverá produzir uma atualização mais rápida do valor da sugestão, que consequentemente impactaria a velocidade de aprendizado das associações estímulo-recompensa. Estudos anteriores mostraram uma modificação da velocidade de aprendizagem por fatores não sensoriais^24,35. De acordo com isso, os macacos exibiram velocidades de aprendizado mais rápidas no HC em relação à condição de LC. Descobrimos que a velocidade aprimorada de aprendizado pelo custo pago pode ser explicada por um modelo de RL com um EPR amplificado. Foi difícil separar os efeitos do EPR amplificado e aumento da taxa de aprendizado em nossos experimentos; no entanto, encontramos um sinal EPR dopaminérgico amplificado na condição HC. Além disso, um estudo prévio de ressonância magnética mostrou que o parâmetro da taxa de aprendizado é representado no córtex cingulado anterior e que a atividade do ATV não está relacionada ao parâmetro da taxa de aprendizado em ambientes voláteis³⁶. Portanto, argumentamos que o sinal de EPR codificado pelos neurônios da dopamina é amplificado pelo custo pago e que o aumento do sinal de EPR aumenta a velocidade de aprendizado.

Quando o sinal RPE foi gerado no momento da apresentação da sugestão de recompensa e da entrega da recompensa, os macacos já haviam pago o custo. Portanto, um mecanismo possível para o sinal RPE aprimorado é que uma recompensa obtida após um HC pode ser mais gratificante. Uma expectativa aumentada de uma recompensa mais valiosa após o HC pode aumentar a motivação para concluir o estudo, reduzindo assim o TR às indicações de recompensa nos estudos do HC.

Outra possível interpretação de nossos resultados é que o alívio causado pelo término da ação onerosa pode funcionar como recompensa para os macacos. Estudos de ressonância magnética funcional (RMf) mostraram que o alívio da dor pode ser uma recompensa para os participantes humanos^37,38; portanto, o custo pode desempenhar um papel semelhante ao estímulo aversivo à dor. Se o alívio do custo é gratificante e se isso se reflete na atividade dopaminérgica, esperamos que os neurônios da dopamina respondam ao final da fixação longa, que é o momento da apresentação da sugestão de recompensa. No entanto, não observamos nenhuma diferença na atividade dopaminérgica no momento das apresentações das sugestões de recompensa, nem qualquer diferença nos TRs para as pistas R entre os ensaios de HC e LC na tarefa incerta do HLC. Portanto, sugerimos que o alívio do custo não fornece uma explicação adequada para o efeito que observamos nos neurônios da dopamina.

Além disso, os neurônios da dopamina mostraram respostas qualitativamente diferentes ao estímulo aversivo em comparação com a sugestão de previsão de custos. Uma explicação possível para isso é que o custo do esforço foi menos saliente do que o sopro de ar ou a recompensa, porque o custo do esforço foi estendido temporalmente por vários segundos enquanto os macacos realizavam a fixação e não pontuavam. Portanto, os neurônios da dopamina podem não ter sido ativados com as dicas de custo menos salientes. Outra possibilidade é que os neurônios da dopamina do tipo saliência respondam a eventos após os quais alguns movimentos foram induzidos. Quando a recompensa ou o sopro de ar foi entregue aos macacos, eles fazem alguns movimentos, como lamber ou piscar os olhos. No entanto, na tarefa de sacada do HLC, os macacos tiveram que manter o olhar no alvo de fixação sem nenhum movimento como o custo. Na verdade, um estudo recente mostrou que a liberação de dopamina no núcleo accumbens após uma sugestão de previsão de recompensa é atenuada, a menos que o movimento seja iniciado corretamente³⁹. Como o custo em nossos experimentos não envolveu o início do movimento, isso pode resultar potencialmente em uma resposta inconsistente dos neurônios da dopamina do tipo saliência. De qualquer forma, podemos concluir que as informações de custo são processadas de maneira diferente das informações aversivas.

Em conclusão, sugerimos que o custo pago aumenta o valor dos sinais preditores de recompensa e que, por sua vez, aumenta o sinal de EPR codificado nos neurônios da dopamina no cérebro. Esse efeito levou a uma previsão comportamental de que a taxa de aprendizado de um animal seria aprimorada para pistas de previsão de recompensa após a experiência de um HC. Isso é realmente o que observamos. Assim, nossas observações sobre a atividade dos neurônios da dopamina nos levaram a hipotetizar a existência de um efeito comportamental, bem como a um mecanismo computacional putativo subjacente a esse efeito, que posteriormente confirmamos. Nossas descobertas, portanto, representam um exemplo de como a triangulação pode acontecer entre medidas de dados neurais, teoria computacional e comportamento: desenvolver uma compreensão mais profunda do processamento neuronal no cérebro pode produzir insights sobre o comportamento e sua base computacional subjacente.

Animais

Utilizamos dois macacos japoneses machos (Macaca fuscata; peso corporal, 6.5 kg = Macaco P; peso corporal, 9.0 kg = Macaco S). Implantamos um post no topo do crânio do macaco para que ele pudesse ser fixado em uma cadeira posteriormente. Uma câmara de gravação também foi implantada para permitir a montagem de um micromanipulador de eletrodo. A câmara de registro foi inclinada 45 ° lateralmente no plano coronal e posicionada nas coordenadas estereotáxicas: 15 mm anterior ao canal externo. Após um período de recuperação, os macacos foram treinados para realizar a tarefa de sacada. Depois de concluir o treinamento, fizemos um buraco no crânio dentro da câmara de gravação para inserção de eletrodos. Todos os protocolos de cuidados com animais foram aprovados pelo Comitê de Experimentação Animal da Universidade de Tamagawa e em conformidade com o Guia do National Institutes of Health para o Cuidado e Uso de Animais de Laboratório.

Tarefa comportamental

Os macacos foram treinados para realizar a tarefa de sacada do HLC (Fig. 1a), Tarefa incerta do HLC (Fig. 5a) e tarefa de exploração HLC (Fig. 7a) Todas as tarefas foram realizadas em uma sala escura. Os macacos estavam sentados em uma cadeira em frente a um 22 pol. Monitor LCD (S2232W, Eizo) com os postes de cabeça implantados fixados na cadeira. A distância entre seus olhos e a tela era de 70 cm. Quando uma dica inicial (círculo branco, 0.3 ° de diâmetro) era apresentada no centro da tela, o macaco era obrigado a manter o olhar na dica. A sugestão de início desapareceu após 750 ms e, em seguida, uma sugestão de custo foi apresentada (estrela e moinho de vento para os testes HC e LC, respectivamente). Os macacos foram obrigados a sacudir para a sugestão de custo durante os 750 ms de apresentação da sugestão. Se eles não obedecessem à deixa, o julgamento era abortado e o mesmo julgamento começava novamente. Durante os ensaios de HC, o alvo de fixação (0.3 ° × 0.3 ° quadrado branco) foi apresentado logo após o desaparecimento da sugestão de custo para 2000 ms (sacada HLC e tarefas incertas de HLC) ou 1500 ms (tarefa de exploração HLC) e os macacos foram necessários para saciar a ele e manter seus olhares sobre ele. Se os macacos movessem seu olhar além de uma janela de fixação de 4 ° × 4 °, a tarefa era abortada. A janela de fixação foi ativada 400 ms após a apresentação do ponto de fixação, pois os macacos precisaram de tempo para se preparar para a sacada e para ajuste de sua fixação. Portanto, os macacos tiveram que se fixar por pelo menos 1600 ms (HLC sacádico e tarefas incertas de HLC) ou 1100 ms (tarefa de exploração de HLC) nos testes de HC. Nos testes de LC, uma tela em branco foi exibida por 1500 ms (HLC saccade e tarefas incertas de HLC) ou 1000 ms (tarefa de exploração de HLC) e, em seguida, o alvo de fixação apareceu por 500 ms. Como a janela de fixação foi ativada 400 ms após a apresentação do ponto de fixação, os macacos foram obrigados a fixar no alvo por pelo menos 100 ms nos testes de LC. Os macacos exibiram mais erros no ensaio HC; portanto, um aborto forçado foi inserido aleatoriamente 100 ms antes da apresentação da sugestão de recompensa (400 ms após a apresentação do alvo de fixação que é o momento do início da janela de fixação) no ensaio de LC para equalizar a taxa de sucesso. Depois de fixar no alvo, uma ou duas dicas de recompensa foram apresentadas e os macacos foram obrigados a sacudir para a sugestão. Se eles conseguissem sacar com sucesso a sugestão de recompensa, um sinal sonoro era emitido 750 ms após a apresentação da sugestão de recompensa. Quando os macacos sacudiram em direção ao sinal R +, 0.3 ml de água foi entregue ao mesmo tempo que o sinal sonoro. Nenhuma recompensa foi entregue quando eles fizeram uma sacada ao taco R.

Na tarefa de sacada do HLC, quatro círculos coloridos foram utilizados como pistas de recompensa (R_HC+: amarelo; R_HC-: verde; R_LC+: rosa; R_LC-: azul; FIG. 1a) Uma sessão experimental consistiu em 80 tentativas sacadas, 20 tentativas imprevisíveis de recompensa, 20 tentativas imprevisíveis de aeração e 5 tentativas de escolha. Os ensaios sacados incluíram 40 ensaios de HC e 40 ensaios de LC, sendo que ambos incluíram 20 ensaios de recompensa e 20 ensaios sem recompensa. Na recompensa imprevisível ou nas tentativas de sopro de ar, 0.3 ml de recompensa de água ou 0.2 MPa de sopro de ar (150 ms para o macaco P; 200 ms para o macaco S) foram administrados ao rosto dos macacos sem serem instruídos. Os ensaios de escolha incluíram um ensaio no qual os macacos fizeram uma escolha entre pistas R + (R_HC+ vs. R_LC+) no estudo HC, entre R-pistas (R_HC- vs. R_LC-) no estudo HC, entre R + (R_HC+ vs. R_LC+) sugestões no ensaio de LC, entre R− (R_HC- vs. R_LC-) sugestões no ensaio de LC e entre as sugestões de custo (Fig. 1) Em ensaios com uma escolha entre sugestões de recompensa, a estrutura da tarefa era idêntica à tarefa de sacada antes da apresentação da sugestão de recompensa. Em seguida, em vez de apresentar uma sugestão de recompensa, duas sugestões de recompensa foram apresentadas nos testes de escolha e nenhuma recompensa foi entregue após a apresentação da sugestão de recompensa, mesmo que os macacos fizessem a escolha entre sugestões de R +.

Para testar a resposta dos neurônios da dopamina para recompensar a entrega, os macacos realizaram a tarefa incerta do HLC (Fig. 5a) Essa tarefa foi semelhante à tarefa de sacada do HLC, exceto pelas sugestões de recompensa. Nesta tarefa, usamos duas dicas de recompensa (em vez das quatro dicas de recompensa usadas na tarefa de sacada do HLC), uma para o teste do HC e a outra para o teste do LC. A recompensa foi entregue na metade dos testes após a apresentação da sugestão de recompensa. Uma sessão experimental consistiu em ensaios de sacada 80, ensaios de recompensa imprevisíveis 20 e ensaios de sopro de ar imprevisíveis 20. Os ensaios de sacada incluíram os ensaios 40 HC e os ensaios 40 LC, os quais incluíram ensaios de recompensa 20 e ensaios sem recompensa 20. Nos ensaios imprevisíveis, uma recompensa ou sopro de ar foi entregue sem qualquer sugestão.

Na tarefa de exploração HLC, duas dicas de recompensa (R_HC+, R_HC- ou R_LC+, R_LC-) foram apresentados simultaneamente e os macacos foram obrigados a sacar a uma das dicas de recompensa (Fig. 7a) Se eles escolhessem o sinal de R +, receberiam uma recompensa pela água. Quatro pistas de recompensa (R_HC +, R_HC-, R_LC +, R_LC-) foram gerados para cada sessão de exploração e os macacos foram obrigados a aprender a associação entre as sugestões e a recompensa, julgamento por julgamento. Uma sessão experimental consistiu em ensaios de 100 HC e ensaios de 100 LC. Descobrimos que, para a tarefa de exploração, se definirmos a duração da fixação como 2000 ms na condição HC, de modo que ela corresponda à duração da condição HC nas outras tarefas, os macacos realizaram a tarefa com uma taxa de sucesso muito baixa, talvez por causa de a dificuldade da tarefa e / ou a conseqüente baixa taxa de recompensa. Portanto, para reduzir as dificuldades da tarefa e aumentar a taxa de sucesso, usamos uma duração de fixação 1500 ms como custo para a tarefa de exploração HLC.

As tarefas foram controladas usando um pacote de software disponível comercialmente (TEMPO, Reflective Computing, St. Louis, MO, EUA). Um programa customizado usando uma interface de programação de aplicativos (OpenGL) foi usado para a apresentação de estímulos visuais. Os estímulos visuais para o custo e as dicas de recompensa foram criados pelos autores.

Gravação e aquisição de dados

A localização da substância negra foi estimada usando imagens de RM. Um eletrodo de tungstênio revestido com epóxi (diâmetro da haste, 0.25 mm, 0.5 – 1.5 MΩ medido a 1000 Hz, FHC) foi inserido na substância negra usando um micromanipulador (MO-972, Narishige, Tóquio, Japão) montado na câmara de gravação com um tubo guia de aço inoxidável. Os sinais de tensão foram amplificados (× 10,000) e filtrados (0.5 – 2 kHz). Os potenciais de ação de um único neurônio foram isolados com um algoritmo de correspondência de modelos (OmniPlex, Plexon, Dallas, TX, EUA). O movimento dos olhos foi monitorado por um sistema de câmera infravermelha a uma taxa de amostragem de 500 Hz (iView X Hi-Speed ​​Primate, SMI, Teltow, Alemanha). O tempo dos potenciais de ação e eventos comportamentais foram registrados com uma resolução de tempo de 1 kHz.

A análise dos dados

Para analisar o comportamento dos macacos, os TRs foram determinados como o intervalo de tempo entre o início do estímulo e o momento em que os macacos iniciaram a sacada. A iniciação da sacada foi determinada calculando o tempo em que a posição do olhar excedeu os desvios padrão 5 da posição média do olhar antes da apresentação da sugestão.

Na tarefa de exploração HLC, o comportamento de escolha dos macacos foi quantificado ajustando uma função exponencial cumulativa. A função (P) descreve a proporção de escolha correta da seguinte maneira: