Publicado online em 14 de maio de 2018. doi: 10.1038/s41593-018-0152-y
Sumário
A dopamina é um modulador crítico de aprendizagem e motivação. Isso apresenta um problema: como as células-alvo podem saber se o aumento da dopamina é um sinal para aprender ou se mover? Muitas vezes presume-se que a motivação envolve mudanças de dopamina lentas (“tônicas”), enquanto flutuações de dopamina rápidas (“fásicas”) transmitem erros de previsão de recompensa para o aprendizado. No entanto, estudos recentes mostraram que a dopamina transmite valor motivacional e promove o movimento, mesmo em escalas de tempo abaixo dos segundos. Aqui eu descrevo um relato alternativo de como a dopamina regula o comportamento contínuo. A liberação de dopamina relacionada à motivação é rápida e localmente esculpida por receptores em terminais de dopamina, independentemente da queima de células dopaminérgicas. Os neurônios-alvo alternam abruptamente entre os modos de aprendizagem e desempenho, com os interneurônios colinérgicos estriatais fornecendo um mecanismo de troca de candidatos. O impacto comportamental da dopamina varia por sub-região, mas em cada caso a dopamina fornece uma estimativa dinâmica de se vale a pena gastar um recurso interno limitado, como energia, atenção ou tempo.
A dopamina é um sinal de aprendizado, motivação ou ambos?
Nossa compreensão da dopamina mudou no passado e está mudando novamente. Uma distinção crucial reside entre os efeitos da dopamina no comportamento presente (desempenho) e os efeitos da dopamina no comportamento futuro (aprendizagem). Ambos são reais e importantes, mas em diferentes momentos um foi considerado prioritário em detrimento do outro.
Quando (na década de 70) tornou-se possível realizar lesões seletivas e completas das vias dopaminérgicas, a consequência comportamental óbvia foi uma redução severa nos movimentos¹ . Isso coincidiu com os efeitos acinéticos da perda de dopamina em humanos, produzidos pela doença de Parkinson avançada, drogas tóxicas ou encefalite² . No entanto, nem em ratos nem em humanos observa-se uma incapacidade fundamental de movimento. Ratos com lesões dopaminérgicas nadam em água fria³ , e pacientes acinéticos podem se levantar e correr se um alarme de incêndio soar (cinesia “paradoxal”). Também não há um déficit básico na apreciação de recompensas: ratos com lesões dopaminérgicas consomem alimentos colocados em suas bocas e demonstram sinais de prazer⁴ . Em vez disso, eles não se esforçam para obter recompensas ativamente. Esses e muitos outros resultados estabeleceram uma ligação fundamental entre dopamina e motivação⁵ . Mesmo a lentidão dos movimentos observada em casos menos graves da doença de Parkinson pode ser considerada um déficit motivacional, refletindo decisões implícitas de que não vale a pena gastar a energia necessária para movimentos mais rápidos 6.
Então (na década de 80) surgiram registros pioneiros de neurônios dopaminérgicos em macacos em comportamento (em áreas do mesencéfalo que projetam para o prosencéfalo: área tegmental ventral, VTA / substância negra pars compacta, SNc). Entre os padrões de disparo observados, havia breves rajadas de atividade em resposta a estímulos que desencadeavam movimentos imediatos. Esse disparo dopaminérgico “fásico” foi inicialmente interpretado como suporte à “ativação comportamental” 7 e ao “excitamento motivacional” 8 – em outras palavras, como estímulo ao comportamento atual do animal.
Uma mudança radical ocorreu na década de 90, com a reinterpretação dos surtos fásicos de dopamina como codificação de erros de previsão de recompensa (EPRs ) 9. Isso se baseou em uma observação fundamental: as células dopaminérgicas respondem a estímulos inesperados associados a recompensas futuras, mas frequentemente param de responder se esses estímulos se tornarem esperados 10. A ideia de EPR teve origem em teorias de aprendizagem anteriores, especialmente no campo da ciência da computação então em desenvolvimento, o aprendizado por reforço 11. O objetivo de um sinal de EPR é atualizar valores (estimativas de recompensas futuras). Esses valores são usados posteriormente para ajudar a tomar decisões que maximizem a recompensa. Como a atividade das células dopaminérgicas se assemelhava aos EPRs, e os EPRs são usados para aprendizagem, tornou-se natural enfatizar o papel da dopamina na aprendizagem. Manipulações optogenéticas posteriores confirmaram a identidade dopaminérgica das células que codificam EPRs 12 , 13 e mostraram que elas de fato modulam a aprendizagem 14 , 15.
A ideia de que a dopamina fornece um sinal de aprendizagem se encaixa perfeitamente com a literatura que demonstra que a dopamina modula a plasticidade sináptica no estriado, o principal alvo da dopamina no prosencéfalo. Por exemplo, a tripla coincidência da estimulação glutamatérgica de uma espinha dendrítica estriatal, a despolarização pós-sináptica e a liberação de dopamina fazem com que a espinha cresça<sup> 16 </sup>. A modulação dopaminérgica dos mecanismos de aprendizagem de longo prazo ajuda a explicar os efeitos comportamentais persistentes de drogas viciantes, que compartilham a propriedade de aumentar a liberação de dopamina estriatal<sup> 17 </sup> . Mesmo a profunda acinesia associada à perda de dopamina pode ser parcialmente explicada por tais mecanismos de aprendizagem <sup>18 </sup> . A falta de dopamina pode ser tratada como um RPE (efeito de predição de recompensa) constantemente negativo, que atualiza progressivamente os valores das ações em direção a zero. Efeitos progressivos semelhantes, do tipo extinção, no comportamento podem ser produzidos por antagonistas da dopamina <sup> 19,20 </sup>.
No entanto, a ideia de que a dopamina está criticamente envolvida na motivação contínua nunca desapareceu – pelo contrário, é amplamente aceita como certa pelos neurocientistas comportamentais. Isso é apropriado, dada a forte evidência de que as funções da dopamina na motivação/movimento/vigor são dissociáveis da aprendizagem 15 , 20–23 . Menos reconhecido é o desafio de conciliar esse papel motivacional com a teoria de que a DA fornece um sinal de aprendizagem RPE.
Motivação “olha para frente”: usa previsões de recompensa futura (valores) para energizar adequadamente o comportamento atual. Por outro lado, o aprendizado “olha para trás” para estados e ações no passado recente e atualiza seus valores. Essas são fases complementares de um ciclo: os valores atualizados podem ser usados na tomada de decisões subseqüentes, se esses estados forem reencontrados, depois novamente atualizados e assim por diante. Mas em que fase do ciclo a dopamina está envolvida - usando valores para tomar decisões (desempenho) ou atualizar valores (aprendizado)?
Em algumas circunstâncias, é fácil imaginar a dopamina desempenhando ambos os papéis simultaneamente. Estímulos inesperados e preditivos de recompensa são os eventos arquetípicos para evocar a ativação e a liberação de dopamina, e tais estímulos normalmente revigoram o comportamento e induzem o aprendizado ( Fig. 1 ). Nessa situação específica, tanto a previsão de recompensa quanto os erros de previsão de recompensa aumentam simultaneamente – mas isso nem sempre acontece. Como apenas um exemplo, pessoas e outros animais são frequentemente motivados a trabalhar por recompensas mesmo quando pouco ou nada de surpreendente ocorre. Eles podem trabalhar cada vez mais à medida que se aproximam da recompensa (o valor aumenta conforme as recompensas se aproximam). A questão é que o aprendizado e a motivação são conceitualmente, computacionalmente e comportamentalmente distintos – e, no entanto, a dopamina parece desempenhar ambos os papéis.
Dopamina: atualizando o passado, revigorando o presente.
Na parte superior , os círculos com setas representam estados e as ações potenciais a partir desses estados. A largura das setas indica os valores aprendidos para a execução de cada ação. À medida que os estados/ações se distanciam no passado, tornam-se progressivamente menos elegíveis para reforço. No meio , ocorre uma explosão de dopamina. O resultado é o fortalecimento das ações disponíveis a partir do estado atual (vermelho) e a plasticidade das representações de valor para ações executadas recentemente (roxo). Na parte inferior , como resultado da plasticidade, na próxima vez que esses estados forem encontrados, seus valores associados terão aumentado (largura das setas). Através da experiência repetida, o aprendizado por reforço pode "esculpir um sulco" no espaço de estados, tornando certas trajetórias cada vez mais prováveis. Além desse papel de aprendizado, o papel revigorante da dopamina no desempenho parece acelerar o fluxo ao longo de trajetórias previamente aprendidas.
Abaixo, eu critico criticamente as idéias atuais sobre como a dopamina é capaz de alcançar tanto as funções de aprendizagem quanto as motivacionais. Eu proponho um modelo atualizado, baseado em três fatos-chave: 1) a liberação de dopamina a partir de terminais não surge simplesmente da queima de células de dopamina, mas também pode ser controlada localmente; 2) A dopamina afeta tanto a plasticidade sináptica quanto a excitabilidade das células-alvo, com consequências distintas para a aprendizagem e o desempenho, respectivamente; 3) efeitos de dopamina na plasticidade podem ser ligados ou desligados por elementos de circuito próximos. Juntos, esses recursos podem permitir que os circuitos cerebrais alternem entre duas mensagens distintas de dopamina, para aprendizado e motivação, respectivamente.
Existem sinais de dopamina “fásicos” e “tônicos” separados, com significados diferentes?
Frequentemente se argumenta que os papéis da dopamina na aprendizagem e na motivação ocorrem em escalas de tempo diferentes <sup>25</sup> . Os neurônios dopaminérgicos disparam continuamente ("tonicamente") com alguns picos por segundo, com breves rajadas ("fásicas") ou pausas ocasionais. As rajadas, especialmente se sincronizadas artificialmente entre os neurônios dopaminérgicos, impulsionam aumentos rápidos correspondentes na dopamina no prosencéfalo<sup> 26</sup> , que são altamente transitórios (duração inferior a um segundo<sup> 27</sup> ). A contribuição separada do disparo tônico dos neurônios dopaminérgicos para as concentrações de dopamina no prosencéfalo é menos clara. Algumas evidências sugerem que essa contribuição é muito pequena <sup>28 </sup> . Ela pode ser suficiente para produzir estimulação quase contínua dos receptores D2 de maior afinidade, permitindo que o sistema perceba breves pausas no disparo dos neurônios dopaminérgicos<sup> 29</sup> e use essas pausas como erros de predição negativos.
A microdiálise tem sido amplamente utilizada para medir diretamente os níveis de dopamina no prosencéfalo, embora com baixa resolução temporal (tipicamente, médias ao longo de vários minutos). Essas medições lentas de dopamina podem ser difíceis de relacionar precisamente ao comportamento. No entanto, a microdiálise da dopamina no núcleo accumbens (NAc; estriado ventral/medial) mostra correlações positivas com a atividade locomotora<sup> 30 </sup> e outros índices de motivação <sup>5</sup> . Isso tem sido amplamente interpretado como indicando que existem mudanças lentas ("tônicas") na concentração de dopamina e que essas mudanças lentas transmitem um sinal motivacional. Mais especificamente, modelos computacionais propuseram que os níveis tônicos de dopamina acompanham a taxa média de recompensa a longo prazo<sup> 31</sup> – uma variável motivacional útil para a alocação de tempo e decisões de busca por alimento. Vale ressaltar que poucos artigos definem claramente os níveis "tônicos" de dopamina – geralmente, eles apenas assumem que a concentração de dopamina muda lentamente ao longo da escala de tempo de vários minutos da microdiálise.
No entanto, essa visão de que “dopamina fásica = RPE/aprendizagem, dopamina tônica = motivação” enfrenta muitos problemas. Primeiro, não há evidências diretas de que a taxa de disparo tônico das células dopaminérgicas varie normalmente em escalas de tempo lentas. As taxas de disparo tônico não mudam com a mudança na motivação 32 , 33. Argumenta-se que os níveis de dopamina tônica mudam devido a uma proporção variável de células dopaminérgicas ativas 34 , 35. Mas, em muitos estudos com animais não drogados e sem lesões, nunca foi relatado que as células dopaminérgicas alternassem entre estados silenciosos e ativos.
Além disso, o fato de a microdiálise medir os níveis de dopamina lentamente não significa que os níveis de dopamina realmente mudem lentamente. Recentemente, examinamos a dopamina no núcleo accumbens (NAc) de ratos em uma tarefa de recompensa probabilística, usando tanto microdiálise quanto voltametria cíclica de varredura rápida. Confirmamos que a dopamina mesolímbica, medida por microdiálise, correlaciona-se com a taxa de recompensa (recompensas/min). No entanto, mesmo com uma resolução temporal aprimorada na microdiálise (1 min), a dopamina flutuou tão rápido quanto a amostramos: não observamos evidências de um sinal de dopamina inerentemente lento.
Usando a resolução temporal mais precisa ainda de voltametria, observamos uma estreita relação entre as flutuações de sub-segundo dopamina e a motivação. Como os ratos realizavam a sequência de ações necessárias para obter recompensas, a dopamina subia cada vez mais alto, atingindo um pico assim que obtinham a recompensa (e diminuindo rapidamente à medida que a consumiam). Mostramos que a dopamina se correlacionava fortemente com o valor instantâneo do estado - definido como a recompensa futura esperada, descontada pelo tempo esperado para recebê-la. Estas rápidas dinâmicas de dopamina também podem explicar os resultados da microdiálise, sem invocar sinais separados de dopamina em diferentes escalas de tempo. À medida que os animais experimentam mais recompensas, eles aumentam suas expectativas de recompensas futuras em cada etapa da sequência de testes. Em vez de um sinal de taxa de recompensa média que evolui lentamente, a correlação entre dopamina e taxa de recompensa é melhor explicada como uma média, ao longo do tempo prolongado de coleta de amostras de microdiálise, desses valores de estado que evoluem rapidamente.
Essa interpretação do valor da liberação de dopamina mesolímbica é consistente com os resultados de voltametria de outros grupos de pesquisa, que repetidamente constataram que a liberação de dopamina aumenta com a proximidade da recompensa 36–38 ( Fig. 2 ) . Esse sinal motivacional não é inerentemente “lento”, mas pode ser observado em uma gama contínua de escalas de tempo. Embora os aumentos de dopamina possam durar vários segundos quando um comportamento de aproximação também dura vários segundos 38 , isso reflete o curso temporal do comportamento, e não a dinâmica intrínseca da dopamina. A relação entre a liberação de dopamina mesolímbica e o valor flutuante é visível tão rapidamente quanto a técnica de registro permite, ou seja, em uma escala de tempo de ~100 ms com eletrodos de voltametria aguda 15.
Flutuações rápidas de dopamina sinalizam expectativas de recompensa em evolução dinâmica.
a) A liberação de dopamina mesolímbica aumenta rapidamente à medida que os ratos se aproximam das recompensas antecipadas. d) O valor, definido como estimativas temporalmente descontadas da recompensa futura, aumenta à medida que a recompensa se aproxima. Indícios de que a recompensa é maior, mais próxima ou mais certa do que o esperado anteriormente causam saltos no valor. Esses saltos de um momento para o seguinte são os Efeitos Preditivos de Recompensa (EPR) de diferença temporal. e) A subtração das "linhas de base" pode confundir os sinais de valor e EPR. À esquerda, a dopamina alinhada ao sinal preditivo de recompensa (no tempo zero), com a subtração convencional da linha de base, parece mostrar que a dopamina salta para níveis mais altos quando a recompensa é menos esperada (marrom), assemelhando-se a um sinal de EPR. À direita, uma apresentação alternativa dos mesmos dados, igualando os níveis de dopamina após o sinal, mostraria, em vez disso, que os níveis de dopamina pré-sinal dependem da expectativa de recompensa (valor). Análises adicionais determinaram que a apresentação à direita está mais próxima da realidade (veja detalhes na ref. 15 ). Painel a reproduzido, com permissão, da ref. 38 , Macmillan Publishers Limited…; painel b reproduzido, com permissão, da ref. 37 , Elsevier; painéis ce reproduzidos, com permissão, da ref. 15 , Macmillan Publishers Limited
Flutuações rápidas de dopamina não apenas refletem a motivação, como também impulsionam imediatamente o comportamento motivado. Respostas fásicas maiores das células dopaminérgicas a estímulos predizem tempos de reação mais curtos no mesmo ensaio<sup> 39</sup> . A estimulação optogenética das células dopaminérgicas da VTA torna os ratos mais propensos a iniciar o trabalho em nossa tarefa de recompensa probabilística <sup>15</sup> , como se tivessem uma expectativa maior de recompensa. A estimulação optogenética dos neurônios dopaminérgicos da SNc, ou de seus axônios no estriado dorsal, aumenta a probabilidade de movimento <sup> 40,41 </sup> . De forma crucial, esses efeitos comportamentais são aparentes em algumas centenas de milissegundos após o início da estimulação optogenética. A capacidade de estímulos preditivos de recompensa aumentarem a motivação parece ser mediada pela modulação dopaminérgica muito rápida da excitabilidade dos neurônios espinhosos do NAc<sup> 42</sup> . Como a dopamina muda rapidamente e essas mudanças afetam a motivação rapidamente, as funções motivacionais da dopamina são melhor descritas como rápidas ("fásicas"), e não lentas ("tônicas").
Além disso, invocar escalas de tempo rápidas e lentas separadas não resolve por si só o problema de decodificação enfrentado pelos neurônios com receptores de dopamina. Se a dopamina sinaliza aprendizagem, a modulação da plasticidade sináptica parece uma resposta celular apropriada. Mas os efeitos imediatos no comportamento motivado implicam em efeitos imediatos no spiking - por exemplo, por meio de mudanças rápidas na excitabilidade. A dopamina pode ter esses dois efeitos pós-sinápticos (e mais), então uma determinada concentração de dopamina tem um significado específico? Ou esse significado precisa ser construído - por exemplo, comparando os níveis de dopamina ao longo do tempo ou usando outros sinais coincidentes para determinar qual mecanismo celular deve ser ativado? Essa possibilidade é discutida mais adiante.
A liberação de dopamina transmite as mesmas informações que a queima de células de dopamina?
A relação entre flutuações rápidas de dopamina e valor motivacional parece estranha, visto que a atividade dos neurônios dopaminérgicos se assemelha ao RPE (efeito de percepção de risco). Além disso, alguns estudos relataram sinais de RPE na liberação de dopamina mesolímbica<sup> 43</sup> . É importante notar um desafio na interpretação de alguns tipos de dados neurais. Os sinais de valor e os RPEs estão correlacionados – o que não surpreende, já que o RPE geralmente é definido como a mudança de valor de um momento para o seguinte (RPE de “diferença temporal”). Devido a essa correlação, é crucial usar delineamentos experimentais e análises que distingam as explicações de valor das de RPE. O problema se agrava ao usar uma medida neural que se baseia em mudanças relativas, em vez de absolutas, do sinal. As análises voltamétricas geralmente comparam a dopamina em um determinado ponto de interesse com uma época “basal” anterior em cada ensaio (para remover componentes do sinal que não dependem de dopamina, incluindo a carga do eletrodo em cada varredura de voltagem e a deriva em uma escala de tempo de minutos). Mas subtrair uma linha de base pode fazer com que um sinal de valor se assemelhe a um sinal de RPE. Foi isso que observamos em nossos próprios dados de voltametria ( Fig. 2e ). As mudanças na expectativa de recompensa refletiram-se em mudanças na concentração de dopamina no início de cada ensaio, e essas mudanças passam despercebidas se assumirmos apenas uma linha de base constante ao longo dos ensaios<sup> 15 </sup>. Portanto, as conclusões sobre a liberação de dopamina e a codificação do EPR devem ser vistas com cautela. Esse risco de interpretação de dados aplica-se não apenas à voltametria, mas a qualquer análise que dependa de mudanças relativas – incluindo potencialmente alguns métodos de fMRI e fotometria <sup>44</sup>.
No entanto, ainda precisamos conciliar a liberação de dopamina relacionada ao valor no núcleo accumbens (NAc) com a ausência consistente de potenciais de ação relacionados ao valor por neurônios dopaminérgicos<sup> 13</sup> , mesmo na área tegmental ventral lateral (VTA) que fornece dopamina ao núcleo accumbens<sup> 45</sup> . Um fator potencial é que as células dopaminérgicas são geralmente registradas em animais com a cabeça imobilizada realizando tarefas de condicionamento clássico, enquanto a liberação de dopamina é tipicamente medida em animais sem restrições, movendo-se ativamente em seu ambiente. Propusemos que a dopamina mesolímbica poderia indicar especificamente o valor do "trabalho"<sup> 15</sup> – que reflete uma necessidade de dedicar tempo e esforço para obter a recompensa. De acordo com isso, a dopamina aumenta com sinais que instruem o movimento, mas não com sinais que instruem a imobilidade, mesmo quando indicam recompensa futura semelhante<sup> 46</sup> . Se – como em muitas tarefas de condicionamento clássico – não houver benefício no "trabalho" ativo, então as alterações dopaminérgicas que indicam o valor do trabalho podem ser menos aparentes.
Ainda mais importante pode ser o fato de que a liberação de dopamina pode ser controlada localmente nos próprios terminais, apresentando, assim, padrões espaço-temporais independentes da atividade neuronal. Por exemplo, a amígdala basolateral (BLA) pode influenciar a liberação de dopamina no núcleo accumbens (NAc) mesmo quando a área tegmental ventral (VTA) está inativada<sup> 47</sup> . Por outro lado, a inativação da BLA reduz a liberação de dopamina no NAc e o comportamento motivado correspondente, sem aparentemente afetar a atividade neuronal na VTA<sup> 48 </sup>. Os terminais dopaminérgicos possuem receptores para uma variedade de neurotransmissores, incluindo glutamato, opioides e acetilcolina. Os receptores nicotínicos de acetilcolina permitem que os interneurônios colinérgicos estriatais (CINs) controlem rapidamente a liberação de dopamina <sup>49,50 </sup> . Embora já se tenha observado há muito tempo que o controle local da liberação de dopamina é potencialmente importante <sup> 7,51 </sup> , ele não foi incluído em modelos computacionais da função dopaminérgica. Proponho que a dinâmica de liberação de dopamina relacionada à codificação de valor surge em grande parte por meio do controle local , mesmo que a ativação das células dopaminérgicas forneça importantes sinais semelhantes ao EPR (efeito de proteção radiológica) para o aprendizado.
Como a dopamina pode significar aprendizado e motivação sem confusão?
Em princípio, um sinal de valor é suficiente para transmitir também o RPE, uma vez que os RPEs de diferença temporal são simplesmente mudanças rápidas de valor ( Fig. 2B ). Por exemplo, vias intracelulares distintas em neurônios-alvo podem ser sensíveis de forma diferente à concentração absoluta de dopamina (representando o valor) versus mudanças relativas rápidas na concentração (representando o RPE). Esse esquema parece plausível, dada a complexa modulação da fisiologia dos neurônios espinhosos pela dopamina <sup>52</sup> e sua sensibilidade a padrões temporais de concentração de cálcio<sup> 53</sup> . No entanto, isso também parece um tanto redundante. Se um sinal semelhante ao RPE já existe na atividade de disparo das células dopaminérgicas, deveria ser possível utilizá-lo em vez de derivar novamente o RPE a partir de um sinal de valor.
Para utilizar adequadamente sinais distintos de RPE e de valor, os circuitos receptores de dopamina podem alternar ativamente a forma como interpretam a dopamina. Há evidências intrigantes de que a acetilcolina também pode desempenhar esse papel de alternância. Ao mesmo tempo em que as células dopaminérgicas disparam rajadas de potenciais de ação em resposta a estímulos inesperados, os interneurônios colinérgicos (CINs) apresentam breves pausas (~150 ms) na atividade, que não são proporcionais aos valores de RPE 54. Essas pausas dos CINs podem ser impulsionadas por neurônios GABAérgicos da área tegmental ventral (VTA) 55 , bem como por células relacionadas à “surpresa” no tálamo intralaminar, e foram propostas como um sinal de associabilidade que promove a aprendizagem 56. Morris e Bergman sugeriram 54 que as pausas colinérgicas definem janelas temporais para a plasticidade estriatal, durante as quais a dopamina pode ser usada como um sinal de aprendizagem. A plasticidade dependente de dopamina é continuamente suprimida por mecanismos que incluem receptores muscarínicos m4 em neurônios estriatais da via direta 57 . Modelos de sinalização intracelular sugerem que, durante as pausas do CIN, a ausência de ligação do m4 pode agir sinergicamente com rajadas fásicas de dopamina para aumentar a ativação da PKA 58 , promovendo assim a mudança sináptica.
Assim, as células colinérgicas estriatais estão bem posicionadas para alterar dinamicamente o significado de uma mensagem dopaminérgica multiplexada. Durante as pausas dos interneurônios colinérgicos (CINs), a liberação de um bloqueio muscarínico sobre a plasticidade sináptica permitiria que a dopamina fosse usada para o aprendizado. Em outros momentos, a liberação dos terminais dopaminérgicos seria modulada localmente para afetar o desempenho comportamental em curso. Atualmente, essa sugestão é especulativa e incompleta. Foi proposto que os CINs integrem informações de muitos neurônios espinhosos circundantes para extrair sinais úteis em nível de rede, como a entropia 59 , 60. Mas não está claro se a dinâmica da atividade dos CINs pode ser usada para gerar sinais de valor da dopamina 61 e também para modular os sinais de aprendizado da dopamina.
A dopamina significa a mesma coisa em todo o prosencéfalo?
À medida que a ideia do RPE se consolidava, imaginava-se que a dopamina fosse um sinal global, transmitindo uma mensagem de erro por todo o estriado e alvos corticais frontais. Schultz enfatizou que as células dopaminérgicas de macacos em toda a VTA e SNc têm respostas muito semelhantes 62. Estudos de células dopaminérgicas identificadas também encontraram respostas semelhantes ao RPE bastante homogêneas em roedores, pelo menos para neurônios da VTA lateral em contextos de condicionamento clássico 13. No entanto, as células dopaminérgicas são molecular e fisiologicamente diversas 63–65 e agora existem muitos relatos de que elas exibem diversos padrões de disparo em animais em comportamento. Estes incluem aumentos fásicos no disparo em resposta a eventos aversivos 66 e estímulos desencadeadores 67 que se encaixam mal na explicação padrão do RPE. Muitas células dopaminérgicas mostram uma resposta inicial de curta latência a eventos sensoriais que reflete surpresa ou “alerta” mais do que codificação específica do RPE 68 , 69 . Esse aspecto de alerta é mais proeminente na SNc 69 , onde as células dopaminérgicas projetam-se mais para o estriado dorsal/lateral “sensório-motor” (DLS 45 , 63 ). Subpopulações de células dopaminérgicas da SNc também foram relatadas como aumentando 41 ou diminuindo 70 a atividade em conjunto com movimentos espontâneos, mesmo sem estímulos externos.
Diversos grupos utilizaram fotometria de fibra e o indicador de cálcio GCaMP para examinar a atividade global de subpopulações de neurônios dopaminérgicos 71 , 72. Células dopaminérgicas que projetam para o estriado dorsal/medial (DMS) apresentaram atividade transitoriamente reduzida em resposta a choques breves e inesperados, enquanto aquelas que projetam para o estriado dorsal (DLS) mostraram atividade aumentada 71 – mais consistente com uma resposta de alerta. Respostas dopaminérgicas distintas em diferentes sub-regiões do prosencéfalo também foram observadas utilizando GCaMP para examinar a atividade de axônios e terminais dopaminérgicos 40 , 72 , 73. Utilizando imagens de dois fótons em camundongos com a cabeça imobilizada, Howe e Dombeck 40 relataram atividade dopaminérgica fásica relacionada a movimentos espontâneos. Isso foi observado predominantemente em axônios dopaminérgicos individuais da substância negra compacta (SNc) que terminavam no estriado dorsal, enquanto os axônios dopaminérgicos da área tegmental ventral (VTA) no núcleo accumbens (NAc) responderam mais à administração de recompensa. Outros também encontraram atividade dopaminérgica relacionada à recompensa no NAc, com o DMS mais ligado a ações contralaterais 72 e a cauda posterior do estriado responsiva a estímulos aversivos e novos 74.
Medidas diretas da liberação de dopamina também revelam heterogeneidade entre sub-regiões 30 , 75. Com a microdiálise, descobrimos que a dopamina se correlaciona com o valor especificamente no núcleo accumbens (NAc) e no córtex frontal ventromedial, e não em outras partes mediais do estriado (NAc shell, DMS) ou no córtex frontal. Isso é intrigante, pois parece corresponder bem a dois "pontos críticos" de codificação de valor consistentemente observados em estudos de fMRI em humanos 76 , 77. Em particular, o sinal BOLD do NAc, que tem uma relação estreita com a sinalização da dopamina 78 , aumenta com a antecipação da recompensa (valor) – mais do que com a percepção de recompensa 76.
Se esses padrões espaciais de liberação de dopamina surgem da ativação de subpopulações distintas de células dopaminérgicas, do controle local da liberação de dopamina ou de ambos, eles desafiam a ideia de uma mensagem dopaminérgica global. Pode-se concluir que existem muitas funções diferentes para a dopamina, com (por exemplo) a dopamina no estriado dorsal sinalizando “movimento” e a dopamina no estriado ventral sinalizando “recompensa”<sup> 40 </sup>. No entanto, eu prefiro outra abordagem conceitual. Diferentes sub-regiões estriatais recebem inputs de diferentes regiões corticais e, portanto, processam diferentes tipos de informação. Contudo, cada sub-região estriatal compartilha uma arquitetura de microcircuito comum, incluindo neurônios espinhosos com receptores D1 e D2 distintos<sup> 79</sup> , interneurônios corticoespinais (CINs) e assim por diante. Embora seja comum se referir a várias sub-regiões estriatais (por exemplo, DLS, DMS, núcleo accumbens) como se fossem áreas discretas, não existem limites anatômicos nítidos entre elas (a concha do núcleo accumbens é um pouco mais distinta neuroquimicamente). Em vez disso, existem apenas gradientes suaves na densidade de receptores, proporções de interneurônios etc., que parecem mais ajustes nos parâmetros de um algoritmo computacional compartilhado. Dada essa arquitetura comum, podemos descrever uma função dopaminérgica comum, abstraída das informações específicas processadas por cada sub-região?
Dopamina estriatal e a alocação de recursos limitados.
Proponho que uma variedade de efeitos díspares da dopamina no comportamento em curso possa ser compreendida como modulação das decisões de alocação de recursos . Especificamente, a dopamina fornece estimativas de quão vantajoso é gastar um recurso interno limitado, sendo que o recurso específico difere entre as sub-regiões estriatais. Para o estriado “motor” (~DLS), o recurso é o movimento, que é limitado porque mover-se custa energia e porque muitas ações são incompatíveis entre si <sup>80</sup> . O aumento da dopamina torna mais provável que um animal decida que vale a pena gastar energia para se mover ou se mover mais rápido <sup> 6,40,81 </sup> . Observe que um sinal de dopamina que codifica “ o movimento vale a pena” produzirá correlações entre dopamina e movimento, mesmo sem a dopamina codificar o “movimento” em si.
Para o estriado “cognitivo” (~DMS), os recursos são processos cognitivos, incluindo atenção (que, por definição, tem capacidade limitada 82 ) e memória de trabalho 83. Sem dopamina, estímulos externos relevantes que normalmente provocam movimentos de orientação são negligenciados, como se fossem considerados menos dignos de atenção 3. Além disso, o direcionamento deliberado de processos de controle cognitivo é trabalhoso (custoso 84 ). A dopamina – especialmente no DMS 85 – desempenha um papel fundamental na decisão sobre se vale a pena exercer esse esforço 86 , 87. Isso pode incluir a decisão de empregar estratégias de decisão deliberativas (“baseadas em modelos”) mais exigentes cognitivamente 88.
Para o estriado “motivacional” (~NAc), um recurso limitado fundamental pode ser o tempo do animal. A dopamina mesolímbica não é necessária quando os animais realizam uma ação simples e fixa para obter recompensas rapidamente 89. Mas muitas formas de recompensa só podem ser obtidas por meio de trabalho prolongado: sequências extensas de ações não recompensadas, como na busca por alimento. Optar por se envolver em trabalho significa que outras maneiras benéficas de passar o tempo devem ser deixadas de lado. Altos níveis de dopamina mesolímbica indicam que se envolver em trabalho prolongado e que exige esforço é vantajoso, mas à medida que a dopamina diminui, os animais não se incomodam e podem, em vez disso, simplesmente se preparar para dormir 90.
Dentro de cada circuito córtico-estriatal, a contribuição da dopamina para o comportamento em curso é, portanto, tanto econômica (relacionada à alocação de recursos) quanto motivacional (se vale a pena despender recursos 81 ). Esses circuitos não são totalmente independentes, mas sim possuem uma organização hierárquica e espiralada: porções mais ventrais do estriado influenciam células dopaminérgicas que projetam para porções mais dorsais 5 , 91. Dessa forma, as decisões de se engajar em trabalho também podem ajudar a revigorar movimentos específicos e breves necessários. Mas, no geral, a dopamina fornece sinais “ativacionais” – aumentando a probabilidade de que alguma decisão seja tomada – em vez de sinais “direcionais” que especificam como os recursos devem ser gastos 5.
Qual é o papel computacional da dopamina quando as decisões são tomadas?
Uma maneira de pensar sobre esse papel ativacional é em termos de “limiares” de tomada de decisão. Em certos modelos matemáticos, os processos de decisão aumentam até atingirem um nível limiar, quando o sistema se compromete com uma ação 92. Níveis mais altos de dopamina seriam equivalentes a uma menor distância até o limiar, de modo que as decisões são tomadas mais rapidamente. Essa ideia é simplista, mas faz previsões quantitativas que foram confirmadas. A redução dos limiares para o movimento causaria uma mudança específica na forma da distribuição do tempo de reação, exatamente o que é observado quando a anfetamina é infundida no estriado sensório-motor 20.
Em vez de limiares fixos, os dados comportamentais e neurais podem ser melhor ajustados se os limiares diminuírem ao longo do tempo, como se as decisões se tornassem cada vez mais urgentes. Foi proposto que a saída dos gânglios da base forneça um sinal de urgência que evolui dinamicamente, o qual estimula os mecanismos de seleção no córtex . A urgência também foi maior quando as recompensas futuras estavam mais próximas no tempo, tornando esse conceito semelhante ao papel de codificação de valor e ativação da dopamina.
Será que esse papel ativacional é suficiente para descrever os efeitos moduladores do desempenho da dopamina estriatal? Isso se relaciona à antiga questão de saber se os circuitos dos gânglios da base selecionam diretamente entre ações aprendidas<sup> 80</sup> ou apenas revigoram escolhas feitas em outras áreas <sup> 93,94 </sup> . Há pelo menos duas maneiras pelas quais a dopamina pode parecer ter um efeito mais “direcional”. A primeira é quando a dopamina atua em uma sub-região cerebral que processa informações inerentemente direcionais. Os circuitos dos gânglios da base têm um papel importante, parcialmente lateralizado, na orientação e na aproximação de recompensas potenciais. O núcleo caudado dos primatas (~DMS) está envolvido na condução dos movimentos oculares em direção a campos espaciais contralaterais <sup>95</sup> . Um sinal dopaminérgico de que algo no espaço contralateral vale a pena se orientar pode explicar a correlação observada entre a atividade dopaminérgica no DMS e os movimentos contralaterais <sup>72</sup> , bem como o comportamento rotacional produzido por manipulações de dopamina <sup>96</sup> . Uma segunda influência “direcional” da dopamina torna-se aparente quando lesões dopaminérgicas (bilaterais) direcionam ratos para escolhas de baixo esforço/baixa recompensa, em vez de alternativas de alto esforço/alta recompensa 97 . Isso pode refletir o fato de que algumas decisões são mais seriais do que paralelas, com ratos (e humanos) avaliando as opções uma de cada vez 98 . Nesses contextos de decisão, a dopamina ainda pode desempenhar um papel fundamentalmente ativacional, transmitindo o valor da opção atualmente considerada, que pode então ser aceita ou não 24.
Animais ativos tomam decisões em múltiplos níveis, frequentemente em altas taxas. Além de pensar em decisões individuais, pode ser útil considerar uma trajetória geral através de uma sequência de estados ( Fig. 1 ). Ao facilitar as transições de um estado para o próximo, a dopamina pode acelerar o fluxo ao longo de trajetórias aprendidas <sup>99</sup> . Isso pode estar relacionado à importante influência da dopamina sobre o tempo do comportamento <sup> 44,100 </sup> . Uma fronteira fundamental para trabalhos futuros é obter uma compreensão mais profunda de como esses efeitos da dopamina no comportamento em curso surgem mecanicamente, alterando o processamento de informações em células individuais, microcircuitos e grandes circuitos córtico-basais. Além disso, enfatizei os papéis computacionais comuns da dopamina em uma variedade de alvos estriatais, mas negligenciei em grande parte os alvos corticais, e resta saber se as funções da dopamina em ambas as estruturas podem ser descritas dentro da mesma estrutura.
Em resumo , uma descrição adequada da dopamina explicaria como ela pode sinalizar tanto a aprendizagem quanto a motivação nas mesmas escalas de tempo rápidas, sem confusão. Explicaria por que a liberação de dopamina em alvos-chave varia em conjunto com a expectativa de recompensa, mesmo que a ativação dos neurônios dopaminérgicos não varie. E forneceria uma explicação computacional unificada das ações da dopamina em todo o estriado e em outras regiões, o que explicaria os efeitos comportamentais díspares sobre o movimento, a cognição e a percepção temporal. Algumas ideias específicas apresentadas aqui são especulativas, mas visam estimular discussões, modelagens e novos experimentos incisivos.
Agradecimentos
Agradeço aos muitos colegas que forneceram comentários perspicazes sobre rascunhos de textos anteriores, incluindo Kent Berridge, Peter Dayan, Brian Knutson, Jeff Beeler, Peter Redgrave, John Lisman, Jesse Goldberg e os Árbitros anônimos. Lamento que as limitações de espaço impediram a discussão de muitos estudos anteriores importantes. O apoio essencial foi fornecido pelo Instituto Nacional de Desordens Neurológicas e Derrames, pelo Instituto Nacional de Saúde Mental e pelo Instituto Nacional sobre Abuso de Drogas.

