O que significa dopamina? (2018)

. Manuscrito do autor; disponível no PMC 2019 Feb 1.
Publicado na forma final editada como:

Publicado online em 14 de maio de 2018. doi: 10.1038/s41593-018-0152-y

PMCID: PMC6358212
NIHMSID: NIHMS987662
PMID: 29760524

Sumário

A dopamina é um modulador crítico de aprendizagem e motivação. Isso apresenta um problema: como as células-alvo podem saber se o aumento da dopamina é um sinal para aprender ou se mover? Muitas vezes presume-se que a motivação envolve mudanças de dopamina lentas (“tônicas”), enquanto flutuações de dopamina rápidas (“fásicas”) transmitem erros de previsão de recompensa para o aprendizado. No entanto, estudos recentes mostraram que a dopamina transmite valor motivacional e promove o movimento, mesmo em escalas de tempo abaixo dos segundos. Aqui eu descrevo um relato alternativo de como a dopamina regula o comportamento contínuo. A liberação de dopamina relacionada à motivação é rápida e localmente esculpida por receptores em terminais de dopamina, independentemente da queima de células dopaminérgicas. Os neurônios-alvo alternam abruptamente entre os modos de aprendizagem e desempenho, com os interneurônios colinérgicos estriatais fornecendo um mecanismo de troca de candidatos. O impacto comportamental da dopamina varia por sub-região, mas em cada caso a dopamina fornece uma estimativa dinâmica de se vale a pena gastar um recurso interno limitado, como energia, atenção ou tempo.

A dopamina é um sinal de aprendizado, motivação ou ambos?

Nossa compreensão da dopamina mudou no passado e está mudando novamente. Uma distinção crucial reside entre os efeitos da dopamina no comportamento presente (desempenho) e os efeitos da dopamina no comportamento futuro (aprendizagem). Ambos são reais e importantes, mas em diferentes momentos um foi considerado prioritário em detrimento do outro.

Quando (na década de 70) tornou-se possível realizar lesões seletivas e completas das vias dopaminérgicas, a consequência comportamental óbvia foi uma redução severa nos movimentos¹ Isso coincidiu com os efeitos acinéticos da perda de dopamina em humanos, produzidos pela doença de Parkinson avançada, drogas tóxicas ou encefalite² No entanto, nem em ratos nem em humanos observa-se uma incapacidade fundamental de movimento. Ratos com lesões dopaminérgicas nadam em água fria³ e pacientes acinéticos podem se levantar e correr se um alarme de incêndio soar (cinesia “paradoxal”). Também não há um déficit básico na apreciação de recompensas: ratos com lesões dopaminérgicas consomem alimentos colocados em suas bocas e demonstram sinais de prazer⁴ . vez disso, eles não se esforçam para obter recompensas ativamente. Esses e muitos outros resultados estabeleceram uma ligação fundamental entre dopamina e motivação⁵ Mesmo a lentidão dos movimentos observada em casos menos graves da doença de Parkinson pode ser considerada um déficit motivacional, refletindo decisões implícitas de que não vale a pena gastar a energia necessária para movimentos mais rápidos .

Então (na década de 80) surgiram registros pioneiros de neurônios dopaminérgicos em macacos em comportamento (em áreas do mesencéfalo que projetam para o prosencéfalo: área tegmental ventral, VTA / substância negra pars compacta, SNc). Entre os padrões de disparo observados, havia breves rajadas de atividade em resposta a estímulos que desencadeavam movimentos imediatos. Esse disparo dopaminérgico “fásico” foi inicialmente interpretado como suporte à “ativação comportamental” e ao “excitamento motivacional” – em outras palavras, como estímulo ao comportamento atual do animal.

Uma mudança radical ocorreu na década de 90, com a reinterpretação dos surtos fásicos de dopamina como codificação de erros de previsão de recompensa (EPRs ) Isso se baseou em uma observação fundamental: as células dopaminérgicas respondem a estímulos inesperados associados a recompensas futuras, mas frequentemente param de responder se esses estímulos se tornarem esperados A ideia de EPR teve origem em teorias de aprendizagem anteriores, especialmente no campo da ciência da computação então em desenvolvimento, o aprendizado por reforço O objetivo de um sinal de EPR é atualizar valores (estimativas de recompensas futuras). Esses valores são usados ​​posteriormente para ajudar a tomar decisões que maximizem a recompensa. Como a atividade das células dopaminérgicas se assemelhava aos EPRs, e os EPRs são usados ​​para aprendizagem, tornou-se natural enfatizar o papel da dopamina na aprendizagem. Manipulações optogenéticas posteriores confirmaram a identidade dopaminérgica das células que codificam EPRs , e mostraram que elas de fato modulam a aprendizagem , .

A ideia de que a dopamina fornece um sinal de aprendizagem se encaixa perfeitamente com a literatura que demonstra que a dopamina modula a plasticidade sináptica no estriado, o principal alvo da dopamina no prosencéfalo. Por exemplo, a tripla coincidência da estimulação glutamatérgica de uma espinha dendrítica estriatal, a despolarização pós-sináptica e a liberação de dopamina fazem com que a espinha cresça<sup> </sup>. A modulação dopaminérgica dos mecanismos de aprendizagem de longo prazo ajuda a explicar os efeitos comportamentais persistentes de drogas viciantes, que compartilham a propriedade de aumentar a liberação de dopamina estriatal<sup> </sup> . Mesmo a profunda acinesia associada à perda de dopamina pode ser parcialmente explicada por tais mecanismos de aprendizagem </sup> . A falta de dopamina pode ser tratada como um RPE (efeito de predição de recompensa) constantemente negativo, que atualiza progressivamente os valores das ações em direção a zero. Efeitos progressivos semelhantes, do tipo extinção, no comportamento podem ser produzidos por antagonistas da dopamina 19,20 .

No entanto, a ideia de que a dopamina está criticamente envolvida na motivação contínua nunca desapareceu – pelo contrário, é amplamente aceita como certa pelos neurocientistas comportamentais. Isso é apropriado, dada a forte evidência de que as funções da dopamina na motivação/movimento/vigor são dissociáveis ​​da aprendizagem 15 20–23 reconhecido é o desafio de conciliar esse papel motivacional com a teoria de que a DA fornece um sinal de aprendizagem RPE.

Motivação “olha para frente”: usa previsões de recompensa futura (valores) para energizar adequadamente o comportamento atual. Por outro lado, o aprendizado “olha para trás” para estados e ações no passado recente e atualiza seus valores. Essas são fases complementares de um ciclo: os valores atualizados podem ser usados ​​na tomada de decisões subseqüentes, se esses estados forem reencontrados, depois novamente atualizados e assim por diante. Mas em que fase do ciclo a dopamina está envolvida - usando valores para tomar decisões (desempenho) ou atualizar valores (aprendizado)?

Em algumas circunstâncias, é fácil imaginar a dopamina desempenhando ambos os papéis simultaneamente. Estímulos e preditivos de recompensa são os eventos arquetípicos para evocar a ativação e a liberação de dopamina, e tais estímulos normalmente revigoram o comportamento e induzem o aprendizado ( Fig. 1 ). Nessa situação específica, tanto a previsão de recompensa quanto os erros de previsão de recompensa aumentam simultaneamente – mas isso nem sempre acontece. Como apenas um exemplo, pessoas e outros animais são frequentemente motivados a trabalhar por recompensas mesmo quando pouco ou nada de surpreendente ocorre. Eles podem trabalhar cada vez mais à medida que se aproximam da recompensa (o valor aumenta conforme as recompensas se aproximam). A questão é que o aprendizado e a motivação são conceitualmente, computacionalmente e comportamentalmente distintos – e, no entanto, a dopamina parece desempenhar ambos os papéis.

Um arquivo externo que contém uma figura, ilustração, etc. O nome do objeto é nihms-987662-f0001.jpg

Dopamina: atualizando o passado, revigorando o presente.

Na parte superior , os círculos com setas representam estados e as ações potenciais a partir desses estados. A largura das setas indica os valores aprendidos para a execução de cada ação. À medida que os estados/ações se distanciam no passado, tornam-se progressivamente menos elegíveis para reforço. No meio , ocorre uma explosão de dopamina. O resultado é o fortalecimento das ações disponíveis a partir do estado atual (vermelho) e a plasticidade das representações de valor para ações executadas recentemente (roxo). Na parte inferior , como resultado da plasticidade, na próxima vez que esses estados forem encontrados, seus valores associados terão aumentado (largura das setas). Através da experiência repetida, o aprendizado por reforço pode "esculpir um sulco" no espaço de estados, tornando certas trajetórias cada vez mais prováveis. Além desse papel de aprendizado, o papel revigorante da dopamina no desempenho parece acelerar o fluxo ao longo de trajetórias previamente aprendidas.

Abaixo, eu critico criticamente as idéias atuais sobre como a dopamina é capaz de alcançar tanto as funções de aprendizagem quanto as motivacionais. Eu proponho um modelo atualizado, baseado em três fatos-chave: 1) a liberação de dopamina a partir de terminais não surge simplesmente da queima de células de dopamina, mas também pode ser controlada localmente; 2) A dopamina afeta tanto a plasticidade sináptica quanto a excitabilidade das células-alvo, com consequências distintas para a aprendizagem e o desempenho, respectivamente; 3) efeitos de dopamina na plasticidade podem ser ligados ou desligados por elementos de circuito próximos. Juntos, esses recursos podem permitir que os circuitos cerebrais alternem entre duas mensagens distintas de dopamina, para aprendizado e motivação, respectivamente.

Existem sinais de dopamina “fásicos” e “tônicos” separados, com significados diferentes?

Frequentemente se argumenta que os papéis da dopamina na aprendizagem e na motivação ocorrem em escalas de tempo diferentes . Os neurônios dopaminérgicos disparam continuamente ("tonicamente") com alguns picos por segundo, com breves rajadas ("fásicas") ou pausas ocasionais. As rajadas, especialmente se sincronizadas artificialmente entre os neurônios dopaminérgicos, impulsionam aumentos rápidos correspondentes na dopamina no prosencéfalo<sup> , que são altamente transitórios (duração inferior a um segundo<sup> ). A contribuição separada do disparo tônico dos neurônios dopaminérgicos para as concentrações de dopamina no prosencéfalo é menos clara. Algumas evidências sugerem que essa contribuição é muito pequena </sup> . Ela pode ser suficiente para produzir estimulação quase contínua dos receptores D2 de maior afinidade, permitindo que o sistema perceba breves pausas no disparo dos neurônios dopaminérgicos<sup> e use essas pausas como erros de predição negativos.

A microdiálise tem sido amplamente utilizada para medir diretamente os níveis de dopamina no prosencéfalo, embora com baixa resolução temporal (tipicamente, médias ao longo de vários minutos). Essas medições lentas de dopamina podem ser difíceis de relacionar precisamente ao comportamento. No entanto, a microdiálise da dopamina no núcleo accumbens (NAc; estriado ventral/medial) mostra correlações positivas com a atividade locomotora<sup> </sup> e outros índices de motivação . Isso tem sido amplamente interpretado como indicando que existem mudanças lentas ("tônicas") na concentração de dopamina e que essas mudanças lentas transmitem um sinal motivacional. Mais especificamente, modelos computacionais propuseram que os níveis tônicos de dopamina acompanham a taxa média de recompensa a longo prazo<sup> – uma variável motivacional útil para a alocação de tempo e decisões de busca por alimento. Vale ressaltar que poucos artigos definem claramente os níveis "tônicos" de dopamina – geralmente, eles apenas assumem que a concentração de dopamina muda lentamente ao longo da escala de tempo de vários minutos da microdiálise.

No entanto, essa visão de que “dopamina fásica = RPE/aprendizagem, dopamina tônica = motivação” enfrenta muitos problemas. Primeiro, não há evidências diretas de que a taxa de disparo tônico das células dopaminérgicas varie normalmente em escalas de tempo lentas. As taxas de disparo tônico não mudam com a mudança na motivação , Argumenta-se que os níveis de dopamina tônica mudam devido a uma proporção variável de células dopaminérgicas ativas , Mas, em muitos estudos com animais não drogados e sem lesões, nunca foi relatado que as células dopaminérgicas alternassem entre estados silenciosos e ativos.

Além disso, o fato de a microdiálise medir os níveis de dopamina lentamente não significa que os níveis de dopamina realmente mudem lentamente. Recentemente, examinamos a dopamina no núcleo accumbens (NAc) de em uma tarefa de recompensa probabilística, usando tanto microdiálise quanto voltametria cíclica de varredura rápida. Confirmamos que a dopamina mesolímbica, medida por microdiálise, correlaciona-se com a taxa de recompensa (recompensas/min). No entanto, mesmo com uma resolução temporal aprimorada na microdiálise (1 min), a dopamina flutuou tão rápido quanto a amostramos: não observamos evidências de um sinal de dopamina inerentemente lento.

Usando a resolução temporal mais precisa ainda de voltametria, observamos uma estreita relação entre as flutuações de sub-segundo dopamina e a motivação. Como os ratos realizavam a sequência de ações necessárias para obter recompensas, a dopamina subia cada vez mais alto, atingindo um pico assim que obtinham a recompensa (e diminuindo rapidamente à medida que a consumiam). Mostramos que a dopamina se correlacionava fortemente com o valor instantâneo do estado - definido como a recompensa futura esperada, descontada pelo tempo esperado para recebê-la. Estas rápidas dinâmicas de dopamina também podem explicar os resultados da microdiálise, sem invocar sinais separados de dopamina em diferentes escalas de tempo. À medida que os animais experimentam mais recompensas, eles aumentam suas expectativas de recompensas futuras em cada etapa da sequência de testes. Em vez de um sinal de taxa de recompensa média que evolui lentamente, a correlação entre dopamina e taxa de recompensa é melhor explicada como uma média, ao longo do tempo prolongado de coleta de amostras de microdiálise, desses valores de estado que evoluem rapidamente.

Essa interpretação do valor da liberação de dopamina mesolímbica é consistente com os resultados de voltametria de outros grupos de pesquisa, que repetidamente constataram que a liberação de dopamina aumenta com a proximidade da recompensa ( Fig. 2 . Esse sinal motivacional não é inerentemente “lento”, mas pode ser observado em uma gama contínua de escalas de tempo. Embora os aumentos de dopamina possam durar vários segundos quando um comportamento de aproximação também dura vários segundos , isso reflete o curso temporal do comportamento, e não a dinâmica intrínseca da dopamina. A relação entre a liberação de dopamina mesolímbica e o valor flutuante é visível tão rapidamente quanto a técnica de registro permite, ou seja, em uma escala de tempo de ~100 ms com eletrodos de voltametria aguda .

Um arquivo externo que contém uma figura, ilustração, etc. O nome do objeto é nihms-987662-f0002.jpg

Flutuações rápidas de dopamina sinalizam expectativas de recompensa em evolução dinâmica.

a) A liberação de dopamina mesolímbica aumenta rapidamente à medida que os ratos se aproximam das recompensas antecipadas. d) O valor, definido como estimativas temporalmente descontadas da recompensa futura, aumenta à medida que a recompensa se aproxima. Indícios de que a recompensa é maior, mais próxima ou mais certa do que o esperado anteriormente causam saltos no valor. Esses saltos de um momento para o seguinte são os Efeitos Preditivos de Recompensa (EPR) de diferença temporal. e) A subtração das "linhas de base" pode confundir os sinais de valor e EPR. À esquerda, a dopamina alinhada ao sinal preditivo de recompensa (no tempo zero), com a subtração convencional da linha de base, parece mostrar que a dopamina salta para níveis mais altos quando a recompensa é menos esperada (marrom), assemelhando-se a um sinal de EPR. À direita, uma apresentação alternativa dos mesmos dados, igualando os níveis de dopamina após o sinal, mostraria, em vez disso, que os níveis de dopamina pré-sinal dependem da expectativa de recompensa (valor). Análises adicionais determinaram que a apresentação à direita está mais próxima da realidade (veja detalhes na ref. ). Painel a reproduzido, com permissão, da ref. , Macmillan Publishers Limited…; painel b reproduzido, com permissão, da ref. , Elsevier; painéis ce reproduzidos, com permissão, da ref. , Macmillan Publishers Limited

Flutuações rápidas de dopamina não apenas refletem a motivação, como também impulsionam imediatamente o comportamento motivado. Respostas fásicas maiores das células dopaminérgicas a estímulos predizem tempos de reação mais curtos no mesmo ensaio<sup> . A estimulação optogenética das células dopaminérgicas da VTA torna os ratos mais propensos a iniciar o trabalho em nossa tarefa de recompensa probabilística , como se tivessem uma expectativa maior de recompensa. A estimulação optogenética dos neurônios dopaminérgicos da SNc, ou de seus axônios no estriado dorsal, aumenta a probabilidade de movimento 40,41 . De forma crucial, esses efeitos comportamentais são aparentes em algumas centenas de milissegundos após o início da estimulação optogenética. A capacidade de estímulos preditivos de recompensa aumentarem a motivação parece ser mediada pela modulação dopaminérgica muito rápida da excitabilidade dos neurônios espinhosos do NAc<sup> . Como a dopamina muda rapidamente e essas mudanças afetam a motivação rapidamente, as funções motivacionais da dopamina são melhor descritas como rápidas ("fásicas"), e não lentas ("tônicas").

Além disso, invocar escalas de tempo rápidas e lentas separadas não resolve por si só o problema de decodificação enfrentado pelos neurônios com receptores de dopamina. Se a dopamina sinaliza aprendizagem, a modulação da plasticidade sináptica parece uma resposta celular apropriada. Mas os efeitos imediatos no comportamento motivado implicam em efeitos imediatos no spiking - por exemplo, por meio de mudanças rápidas na excitabilidade. A dopamina pode ter esses dois efeitos pós-sinápticos (e mais), então uma determinada concentração de dopamina tem um significado específico? Ou esse significado precisa ser construído - por exemplo, comparando os níveis de dopamina ao longo do tempo ou usando outros sinais coincidentes para determinar qual mecanismo celular deve ser ativado? Essa possibilidade é discutida mais adiante.

A liberação de dopamina transmite as mesmas informações que a queima de células de dopamina?

A relação entre flutuações rápidas de dopamina e valor motivacional parece estranha, visto que a atividade dos neurônios dopaminérgicos se assemelha ao RPE (efeito de percepção de risco). Além disso, alguns estudos relataram sinais de RPE na liberação de dopamina mesolímbica<sup> . É importante notar um desafio na interpretação de alguns tipos de dados neurais. Os sinais de valor e os RPEs estão correlacionados – o que não surpreende, já que o RPE geralmente é definido como a mudança de valor de um momento para o seguinte (RPE de “diferença temporal”). Devido a essa correlação, é crucial usar delineamentos experimentais e análises que distingam as explicações de valor das de RPE. O problema se agrava ao usar uma medida neural que se baseia em mudanças relativas, em vez de absolutas, do sinal. As análises voltamétricas geralmente comparam a dopamina em um determinado ponto de interesse com uma época “basal” anterior em cada ensaio (para remover componentes do sinal que não dependem de dopamina, incluindo a carga do eletrodo em cada varredura de voltagem e a deriva em uma escala de tempo de minutos). Mas subtrair uma linha de base pode fazer com que um sinal de valor se assemelhe a um sinal de RPE. Foi isso que observamos em nossos próprios dados de voltametria ( Fig. 2e ). As mudanças na expectativa de recompensa refletiram-se em mudanças na concentração de dopamina no início de cada ensaio, e essas mudanças passam despercebidas se assumirmos apenas uma linha de base constante ao longo dos ensaios<sup> </sup>. Portanto, as conclusões sobre a liberação de dopamina e a codificação do EPR devem ser vistas com cautela. Esse risco de interpretação de dados aplica-se não apenas à voltametria, mas a qualquer análise que dependa de mudanças relativas – incluindo potencialmente alguns métodos de fMRI e fotometria .

No entanto, ainda precisamos conciliar a liberação de dopamina relacionada ao valor no núcleo accumbens (NAc) com a ausência consistente de potenciais de ação relacionados ao valor por neurônios dopaminérgicos<sup> , mesmo na área tegmental ventral lateral (VTA) que fornece dopamina ao núcleo accumbens<sup> . Um fator potencial é que as células dopaminérgicas são geralmente registradas em animais com a cabeça imobilizada realizando tarefas de condicionamento clássico, enquanto a liberação de dopamina é tipicamente medida em animais sem restrições, movendo-se ativamente em seu ambiente. Propusemos que a dopamina mesolímbica poderia indicar especificamente o valor do "trabalho"<sup> – que reflete uma necessidade de dedicar tempo e esforço para obter a recompensa. De acordo com isso, a dopamina aumenta com sinais que instruem o movimento, mas não com sinais que instruem a imobilidade, mesmo quando indicam recompensa futura semelhante<sup> . Se – como em muitas tarefas de condicionamento clássico – não houver benefício no "trabalho" ativo, então as alterações dopaminérgicas que indicam o valor do trabalho podem ser menos aparentes.

Ainda mais importante pode ser o fato de que a liberação de dopamina pode ser controlada localmente nos próprios terminais, apresentando, assim, padrões espaço-temporais independentes da atividade neuronal. Por exemplo, a amígdala basolateral (BLA) pode influenciar a liberação de dopamina no núcleo accumbens (NAc) mesmo quando a área tegmental ventral (VTA) está inativada<sup> . Por outro lado, a inativação da BLA reduz a liberação de dopamina no NAc e o comportamento motivado correspondente, sem aparentemente afetar a atividade neuronal na VTA<sup> </sup>. Os terminais dopaminérgicos possuem receptores para uma variedade de neurotransmissores, incluindo glutamato, opioides e acetilcolina. Os receptores nicotínicos de acetilcolina permitem que os interneurônios colinérgicos estriatais (CINs) controlem rapidamente a liberação de dopamina </sup> Embora já se tenha observado há muito tempo que o controle local da liberação de dopamina é potencialmente importante 7,51 , ele não foi incluído em modelos computacionais da função dopaminérgica. Proponho que a dinâmica de liberação de dopamina relacionada à codificação de valor surge em grande parte por meio do controle local , mesmo que a ativação das células dopaminérgicas forneça importantes sinais semelhantes ao EPR (efeito de proteção radiológica) para o aprendizado.

Como a dopamina pode significar aprendizado e motivação sem confusão?

Em princípio, um sinal de valor é suficiente para transmitir também o RPE, uma vez que os RPEs de diferença temporal são simplesmente mudanças rápidas de valor ( Fig. 2B ). Por exemplo, vias intracelulares distintas em neurônios-alvo podem ser sensíveis de forma diferente à concentração absoluta de dopamina (representando o valor) versus mudanças relativas rápidas na concentração (representando o RPE). Esse esquema parece plausível, dada a complexa modulação da fisiologia dos neurônios espinhosos pela dopamina e sua sensibilidade a padrões temporais de concentração de cálcio<sup> . No entanto, isso também parece um tanto redundante. Se um sinal semelhante ao RPE já existe na atividade de disparo das células dopaminérgicas, deveria ser possível utilizá-lo em vez de derivar novamente o RPE a partir de um sinal de valor.

Para utilizar adequadamente sinais distintos de RPE e de valor, os circuitos receptores de dopamina podem alternar ativamente a forma como interpretam a dopamina. Há evidências intrigantes de que a acetilcolina também pode desempenhar esse papel de alternância. Ao mesmo tempo em que as células dopaminérgicas disparam rajadas de potenciais de ação em resposta a estímulos inesperados, os interneurônios colinérgicos (CINs) apresentam breves pausas (~150 ms) na atividade, que não são proporcionais aos valores de RPE Essas pausas dos CINs podem ser impulsionadas por neurônios GABAérgicos da área tegmental ventral (VTA) , bem como por células relacionadas à “surpresa” no tálamo intralaminar, e foram propostas como um sinal de associabilidade que promove a aprendizagem Morris e Bergman sugeriram que as pausas colinérgicas definem janelas temporais para a plasticidade estriatal, durante as quais a dopamina pode ser usada como um sinal de aprendizagem. A plasticidade dependente de dopamina é continuamente suprimida por mecanismos que incluem receptores muscarínicos m4 em neurônios estriatais da via direta . Modelos de sinalização intracelular sugerem que, durante as pausas do CIN, a ausência de ligação do m4 pode agir sinergicamente com rajadas fásicas de dopamina para aumentar a ativação da PKA , promovendo assim a mudança sináptica.

Assim, as células colinérgicas estriatais estão bem posicionadas para alterar dinamicamente o significado de uma mensagem dopaminérgica multiplexada. Durante as pausas dos interneurônios colinérgicos (CINs), a liberação de um bloqueio muscarínico sobre a plasticidade sináptica permitiria que a dopamina fosse usada para o aprendizado. Em outros momentos, a liberação dos terminais dopaminérgicos seria modulada localmente para afetar o desempenho comportamental em curso. Atualmente, essa sugestão é especulativa e incompleta. Foi proposto que os CINs integrem informações de muitos neurônios espinhosos circundantes para extrair sinais úteis em nível de rede, como a entropia , Mas não está claro se a dinâmica da atividade dos CINs pode ser usada para gerar sinais de valor da dopamina e também para modular os sinais de aprendizado da dopamina.

A dopamina significa a mesma coisa em todo o prosencéfalo?

À medida que a ideia do RPE se consolidava, imaginava-se que a dopamina fosse um sinal global, transmitindo uma mensagem de erro por todo o estriado e alvos corticais frontais. Schultz enfatizou que as células dopaminérgicas de macacos em toda a VTA e SNc têm respostas muito semelhantes Estudos de células dopaminérgicas identificadas também encontraram respostas semelhantes ao RPE bastante homogêneas em roedores, pelo menos para neurônios da VTA lateral em contextos de condicionamento clássico agora existem relatos de que elas exibem diversos padrões de disparo em animais em comportamento. Estes incluem aumentos fásicos no disparo em resposta a eventos aversivos e estímulos desencadeadores que se encaixam mal na explicação padrão do RPE. Muitas células dopaminérgicas mostram uma resposta inicial de curta latência a eventos sensoriais que reflete surpresa ou “alerta” mais do que codificação específica do RPE , . Esse aspecto de alerta é mais proeminente na SNc , onde as células dopaminérgicas projetam-se mais para o estriado dorsal/lateral “sensório-motor” (DLS , ). Subpopulações de células dopaminérgicas da SNc também foram relatadas como aumentando ou diminuindo a atividade em conjunto com movimentos espontâneos, mesmo sem estímulos externos.

Diversos grupos utilizaram fotometria de fibra e o indicador de cálcio GCaMP para examinar a atividade global de subpopulações de neurônios dopaminérgicos , Células dopaminérgicas que projetam para o estriado dorsal/medial (DMS) apresentaram atividade transitoriamente reduzida em resposta a choques breves e inesperados, enquanto aquelas que projetam para o estriado dorsal (DLS) mostraram atividade aumentada – mais consistente com uma resposta de alerta. Respostas dopaminérgicas distintas em diferentes sub-regiões do prosencéfalo também foram observadas utilizando GCaMP para examinar a atividade de axônios e terminais dopaminérgicos , , Utilizando imagens de dois fótons em camundongos com a cabeça imobilizada, Howe e Dombeck relataram atividade dopaminérgica fásica relacionada a movimentos espontâneos. Isso foi observado predominantemente em axônios dopaminérgicos individuais da substância negra compacta (SNc) que terminavam no estriado dorsal, enquanto os axônios dopaminérgicos da área tegmental ventral (VTA) no núcleo accumbens (NAc) responderam mais à administração de recompensa. Outros também encontraram atividade dopaminérgica relacionada à recompensa no NAc, com o DMS mais ligado a ações contralaterais e a cauda posterior do estriado responsiva a estímulos aversivos e novos .

Medidas diretas da liberação de dopamina também revelam heterogeneidade entre sub-regiões , Com a microdiálise, descobrimos que a dopamina se correlaciona com o valor especificamente no núcleo accumbens (NAc) e no córtex frontal ventromedial, e não em outras partes mediais do estriado (NAc shell, DMS) ou no córtex frontal. Isso é intrigante, pois parece corresponder bem a dois "pontos críticos" de codificação de valor consistentemente observados em estudos de fMRI em humanos , Em particular, o sinal BOLD do NAc, que tem uma relação estreita com a sinalização da dopamina , aumenta com a antecipação da recompensa (valor) – mais do que com a percepção de recompensa .

Se esses padrões espaciais de liberação de dopamina surgem da ativação de subpopulações distintas de células dopaminérgicas, do controle local da liberação de dopamina ou de ambos, eles desafiam a ideia de uma mensagem dopaminérgica global. Pode-se concluir que existem muitas funções diferentes para a dopamina, com (por exemplo) a dopamina no estriado dorsal sinalizando “movimento” e a dopamina no estriado ventral sinalizando “recompensa”<sup> </sup>. No entanto, eu prefiro outra abordagem conceitual. Diferentes sub-regiões estriatais recebem inputs de diferentes regiões corticais e, portanto, processam diferentes tipos de informação. Contudo, cada sub-região estriatal compartilha uma arquitetura de microcircuito comum, incluindo neurônios espinhosos com receptores D1 e D2 distintos<sup> , interneurônios corticoespinais (CINs) e assim por diante. Embora seja comum se referir a várias sub-regiões estriatais (por exemplo, DLS, DMS, núcleo accumbens) como se fossem áreas discretas, não existem limites anatômicos nítidos entre elas (a concha do núcleo accumbens é um pouco mais distinta neuroquimicamente). Em vez disso, existem apenas gradientes suaves na densidade de receptores, proporções de interneurônios etc., que parecem mais ajustes nos parâmetros de um algoritmo computacional compartilhado. Dada essa arquitetura comum, podemos descrever uma função dopaminérgica comum, abstraída das informações específicas processadas por cada sub-região?

Dopamina estriatal e a alocação de recursos limitados.

Proponho que uma variedade de efeitos díspares da dopamina no comportamento em curso possa ser compreendida como modulação das decisões de alocação de recursos . Especificamente, a dopamina fornece estimativas de quão vantajoso é gastar um recurso interno limitado, sendo que o recurso específico difere entre as sub-regiões estriatais. Para o estriado “motor” (~DLS), o recurso é o movimento, que é limitado porque mover-se custa energia e porque muitas ações são incompatíveis entre si O aumento da dopamina torna mais provável que um animal decida que vale a pena gastar energia para se mover ou se mover mais rápido 6,40,81 . Observe que um sinal de dopamina que codifica “ o movimento vale a pena” produzirá correlações entre dopamina e movimento, mesmo sem a dopamina codificar o “movimento” em si.

Para o estriado “cognitivo” (~DMS), os recursos são processos cognitivos, incluindo atenção (que, por definição, tem capacidade limitada ) e memória de trabalho Sem dopamina, estímulos externos relevantes que normalmente provocam movimentos de orientação são negligenciados, como se fossem considerados menos dignos de atenção Além disso, o direcionamento deliberado de processos de controle cognitivo é trabalhoso (custoso ). A dopamina – especialmente no DMS – desempenha um papel fundamental na decisão sobre se vale a pena exercer esse esforço , Isso pode incluir a decisão de empregar estratégias de decisão deliberativas (“baseadas em modelos”) mais exigentes cognitivamente .

Para o estriado “motivacional” (~NAc), um recurso limitado fundamental pode ser o tempo do animal. A dopamina mesolímbica não é necessária quando os animais realizam uma ação simples e fixa para obter recompensas rapidamente Mas muitas formas de recompensa só podem ser obtidas por meio de trabalho prolongado: sequências extensas de ações não recompensadas, como na busca por alimento. Optar por se envolver em trabalho significa que outras maneiras benéficas de passar o tempo devem ser deixadas de lado. Altos níveis de dopamina mesolímbica indicam que se envolver em trabalho prolongado e que exige esforço é vantajoso, mas à medida que a dopamina diminui, os animais não se incomodam e podem, em vez disso, simplesmente se preparar para dormir .

Dentro de cada circuito córtico-estriatal, a contribuição da dopamina para o comportamento em curso é, portanto, tanto econômica (relacionada à alocação de recursos) quanto motivacional (se vale a pena despender recursos ). Esses circuitos não são totalmente independentes, mas sim possuem uma organização hierárquica e espiralada: porções mais ventrais do estriado influenciam células dopaminérgicas que projetam para porções mais dorsais , Dessa forma, as decisões de se engajar em trabalho também podem ajudar a revigorar movimentos específicos e breves necessários. Mas, no geral, a dopamina fornece sinais “ativacionais” – aumentando a probabilidade de que alguma decisão seja tomada – em vez de sinais “direcionais” que especificam como os recursos devem ser gastos .

Qual é o papel computacional da dopamina quando as decisões são tomadas?

Uma maneira de pensar sobre esse papel ativacional é em termos de “limiares” de tomada de decisão. Em certos modelos matemáticos, os processos de decisão aumentam até atingirem um nível limiar, quando o sistema se compromete com uma ação Níveis mais altos de dopamina seriam equivalentes a uma menor distância até o limiar, de modo que as decisões são tomadas mais rapidamente. Essa ideia é simplista, mas faz previsões quantitativas que foram confirmadas. A redução dos limiares para o movimento causaria uma mudança específica na forma da distribuição do tempo de reação, exatamente o que é observado quando a anfetamina é infundida no estriado sensório-motor .

Em vez de limiares fixos, os dados comportamentais e neurais podem ser melhor ajustados se os limiares diminuírem ao longo do tempo, como se as decisões se tornassem cada vez mais urgentes. Foi proposto que a saída dos gânglios da base forneça um sinal de urgência que evolui dinamicamente, o qual estimula os mecanismos de seleção no córtex A urgência também foi maior quando as recompensas futuras estavam mais próximas no tempo, tornando esse conceito semelhante ao papel de codificação de valor e ativação da dopamina.

Será que esse papel ativacional é suficiente para descrever os efeitos moduladores do desempenho da dopamina estriatal? Isso se relaciona à antiga questão de saber se os circuitos dos gânglios da base selecionam diretamente entre ações aprendidas<sup> ou apenas revigoram escolhas feitas em outras áreas <sup> . Há pelo menos duas maneiras pelas quais a dopamina pode parecer ter um efeito mais “direcional”. A primeira é quando a dopamina atua em uma sub-região cerebral que processa informações inerentemente direcionais. Os circuitos dos gânglios da base têm um papel importante, parcialmente lateralizado, na orientação e na aproximação de recompensas potenciais. O núcleo caudado dos primatas (~DMS) está envolvido na condução dos movimentos oculares em direção a campos espaciais contralaterais . Um sinal dopaminérgico de que algo no espaço contralateral vale a pena se orientar pode explicar a correlação observada entre a atividade dopaminérgica no DMS e os movimentos contralaterais , bem como o comportamento rotacional produzido por manipulações de dopamina . Uma segunda influência “direcional” da dopamina torna-se aparente quando lesões dopaminérgicas (bilaterais) direcionam ratos para escolhas de baixo esforço/baixa recompensa, em vez de alternativas de alto esforço/alta recompensa . Isso pode refletir o fato de que algumas decisões são mais seriais do que paralelas, com ratos (e humanos) avaliando as opções uma de cada vez . Nesses contextos de decisão, a dopamina ainda pode desempenhar um papel fundamentalmente ativacional, transmitindo o valor da opção atualmente considerada, que pode então ser aceita ou não .

Animais ativos tomam decisões em múltiplos níveis, frequentemente em altas taxas. Além de pensar em decisões individuais, pode ser útil considerar uma trajetória geral através de uma sequência de estados ( Fig. 1 ). Ao facilitar as transições de um estado para o próximo, a dopamina pode acelerar o fluxo ao longo de trajetórias aprendidas . Isso pode estar relacionado à importante influência da dopamina sobre o tempo do comportamento 44,100 . Uma fronteira fundamental para trabalhos futuros é obter uma compreensão mais profunda de como esses efeitos da dopamina no comportamento em curso surgem mecanicamente, alterando o processamento de informações em células individuais, microcircuitos e grandes circuitos córtico-basais. Além disso, enfatizei os papéis computacionais comuns da dopamina em uma variedade de alvos estriatais, mas negligenciei em grande parte os alvos corticais, e resta saber se as funções da dopamina em ambas as estruturas podem ser descritas dentro da mesma estrutura.

Em resumo , uma descrição adequada da dopamina explicaria como ela pode sinalizar tanto a aprendizagem quanto a motivação nas mesmas escalas de tempo rápidas, sem confusão. Explicaria por que a liberação de dopamina em alvos-chave varia em conjunto com a expectativa de recompensa, mesmo que a ativação dos neurônios dopaminérgicos não varie. E forneceria uma explicação computacional unificada das ações da dopamina em todo o estriado e em outras regiões, o que explicaria os efeitos comportamentais díspares sobre o movimento, a cognição e a percepção temporal. Algumas ideias específicas apresentadas aqui são especulativas, mas visam estimular discussões, modelagens e novos experimentos incisivos.

Agradecimentos

Agradeço aos muitos colegas que forneceram comentários perspicazes sobre rascunhos de textos anteriores, incluindo Kent Berridge, Peter Dayan, Brian Knutson, Jeff Beeler, Peter Redgrave, John Lisman, Jesse Goldberg e os Árbitros anônimos. Lamento que as limitações de espaço impediram a discussão de muitos estudos anteriores importantes. O apoio essencial foi fornecido pelo Instituto Nacional de Desordens Neurológicas e Derrames, pelo Instituto Nacional de Saúde Mental e pelo Instituto Nacional sobre Abuso de Drogas.

Referências:

1. Ungerstedt U Adipsia e afagia após degeneração induzida pela 6-hidroxidopamina do sistema de dopamina nigro-estriado. Suplemento Scand Acta Physiol 367, 95 – 122 (1971). [PubMed] []
2. Sacos O Despertar Despertar (1973).
3. Marshall JF, Levitan D e Stricker EM Restauração induzida pela ativação de funções sensório-motoras em ratos com lesões cerebrais que destroem a dopamina. J Comp Physiol Psychol 90, 536 – 46 (1976). [PubMed] []
4. Berridge KC, Venier IL e Robinson TE Análise da reatividade do sabor da afagia induzida pela 6-hidroxidopamina: implicações para as hipóteses de excitação e anedonia da função da dopamina. Behaviour Neurosci 103, 36 – 45 (1989). [PubMed] []
5. Salamone J e Correa M As misteriosas funções motivacionais da dopamina mesolímbica. Neurônio 76, 470–485 (2012).doi:10.1016/j.neuron.2012.10.021 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
6. Mazzoni P, Hristova A e Krakauer JW Por que não nos movemos mais rápido? Doença de Parkinson, vigor no movimento e motivação implícita. J Neurosci 27, 7105 – 16 (2007) .doi: 10.1523 / JNEUROSCI.0264-07.2007 [PubMed] [CrossRef] []
7. Schultz W Respostas dos neurônios dopaminérgicos do mesencéfalo ao estímulo comportamental do macaco. Jornal de neurofisiologia 56, 1439 – 1461 (1986). [PubMed] []
8. Schultz W e Romo R Neurônios dopaminérgicos do mesencéfalo do macaco: contingências de respostas a estímulos provocando reações comportamentais imediatas. J Neurophysiol 63, 607 – 24 (1990). [PubMed] []
9. Montague PR, Dayan P e Sejnowski TJ Um quadro para sistemas de dopamina mesencefálicos baseado na aprendizagem preditiva de Hebbian. J Neurosci 16, 1936 – 47 (1996). [PubMed] []
10. Schultz W, Apicella P e Ljungberg T Respostas de neurônios dopaminérgicos macacos para recompensar e condicionar estímulos durante etapas sucessivas de aprendizagem de uma tarefa de resposta retardada. J Neurosci 13, 900 – 13 (1993). [PubMed] []
11. Sutton RS e Barto AG Aprendizagem por reforço: uma introdução. Aprendizagem por reforço: uma introdução (MIT Press: Cambridge, Massachusetts, 1998). []
12. Cohen JY, Haesler S, Vong L, Lowell BB e Uchida N Sinais específicos do tipo neurônio para recompensa e punição na área ventral tegmental. Natureza 482, 85–8 (2012).doi:10.1038/nature10754 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
13. Eshel N, Tian J, Bukwich M e Uchida N Neurônios dopaminérgicos compartilham função de resposta comum para erros de previsão de recompensa. Nat Neurosci 19, 479–86 (2016).doi:10.1038/nn.4239 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
14. Steinberg EE, Keiflin R, Boivin JR, Witten IB, Deisseroth K e Janak PH Uma ligação causal entre erros de previsão, neurônios de dopamina e aprendizagem. Nat Neurosci (2013) .doi: 10.1038 / nn.3413 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
15. Hamid AA, Pettibone JR, Mabrouk OS, Hetrick VL, Schmidt R, Vander Weele CM, Kennedy RT, Aragona BJ e Berke JD Dopamina mesolímbica sinaliza o valor do trabalho. Nat Neurosci 19, 117–26 (2016).doi:10.1038/nn.4173 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
16. Yagishita S, Hayashi-Takagi A, GC de Ellis-Davies, Urakubo H, Ishii S e Kasai H Uma janela de tempo crítico para ações de dopamina sobre a plasticidade estrutural de espinhas dendríticas. Ciência 345, 1616–20 (2014).doi:10.1126/science.1255514 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
17. Berke JD e Hyman SE Vício, dopamina e os mecanismos moleculares da memória. Neurônio 25, 515 – 32 (2000). [PubMed] []
18. Beeler JA, Frank MJ, McDaid J, Alexandre E, Turkson S, Bernandez MS, McGehee DS e Zhuang X Um papel para a aprendizagem mediada pela dopamina na fisiopatologia e no tratamento da doença de Parkinson. Rep. Celular 2, 1747–61 (2012).doi:10.1016/j.celrep.2012.11.014 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
19. RA sábio Dopamina, aprendizagem e motivação. Nat Rev Neurosci 5, 483 – 94 (2004) .doi: 10.1038 / nrn1406 [PubMed] [CrossRef] []
20. Leventhal DK, Stoetzner C, Abraão R, Pettibone J, DeMarco K e Berke JD Efeitos dissociáveis ​​da dopamina na aprendizagem e no desempenho dentro do corpo estriado sensório-motor. Gânglios basais 4, 43–54 (2014).doi:10.1016/j.baga.2013.11.001 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
21. Wyvell CL e Berridge KC A anfetamina intra-accumbens aumenta a saliência de incentivo condicionado da recompensa de sacarose: aumento da recompensa “querer” sem reforço “gostar” ou reforço de resposta. J Neurosci 20, 8122 – 30. (2000) [PubMed] []
22. Cagniard B, Beeler JA, JP Britt, McGehee DS, Marinelli M e Zhuang X Dopamina escala o desempenho na ausência de novos aprendizados. Neurônio 51, 541 – 7 (2006) .doi: 10.1016 / j.neuron.2006.07.026 [PubMed] [CrossRef] []
23. Shiner T, B Seymour, Wunderlich K, Colina C, Bhatia KP, Dayan P e Dolan RJ Dopamina e desempenho em uma tarefa de aprendizado por reforço: evidências da doença de Parkinson. Cérebro 135, 1871 – 1883 (2012). [Artigo gratuito do PMC] [PubMed] []
24. McClure SM, Daw ND e Montague PR Um substrato computacional para saliência de incentivo. Tendências Neurosci 26, 423 – 8 (2003). [PubMed] []
25. Schultz W Múltiplas funções de dopamina em diferentes cursos de tempo. Annu Rev Neurosci 30, 259 – 88 (2007) .doi: 10.1146 / annurev.neuro.28.061604.135722 [PubMed] [CrossRef] []
26. Gonon F, Burie JB, Jaber M, Benoit-Marand M, Dumartin B e Bloch B Geometria e cinética da transmissão dopaminérgica no corpo estriado de ratos e em camundongos sem o transportador de dopamina. Prog Brain Res 125, 291 – 302 (2000). [PubMed] []
27. Aragona BJ, Cleaveland NA, Stuber GD, Dia JJ, Carelli RM e Wightman RM O aumento preferencial da transmissão da dopamina no interior da casca do núcleo accumbens pela cocaína é atribuível a um aumento direto nos eventos de liberação de dopamina em fases. J Neurosci 28, 8821–31 (2008).doi:10.1523/JNEUROSCI.2225-08.2008 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
28. CA de Owesson-Branco, Roitman MF, Sombers LA, Belle AM, Keithley RB, Peele JL, Carelli RM e Wightman RM Fontes que contribuem para a concentração extracelular média de dopamina no nucleus accumbens. J Neurochem 121, 252–62 (2012).doi:10.1111/j.1471-4159.2012.07677.x [Artigo gratuito do PMC] [PubMed] [CrossRef] []
29. Yapo C, Nair AG, Clemente L, Castro LR, Hellgren Kotaleski J e Vincent P Detecção de dopamina fásica por neurônios espinhosos médios D1 e D2 do estriado. J Physiol (2017) .doi: 10.1113 / JP274475 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
30. Freed CR e Yamamoto BK Metabolismo regional da dopamina cerebral: um marcador da velocidade, direção e postura dos animais em movimento. Ciência 229, 62 – 65 (1985). [PubMed] []
31. Niv Y, Daw ND, Joel D e Dayan P Dopamina tônica: custos de oportunidade e controle do vigor de resposta. Psicofarmacologia (Berl) 191, 507–20 (2007).doi:10.1007/s00213-006-0502-4 [PubMed] [CrossRef] []
32. Strecker RE, Steinfels GF e Jacobs BL Atividade da unidade dopaminérgica em gatos que se movimentam livremente: falta de relação com injeções de alimentação, saciedade e glicose. Brain Res. 260, 317 – 21 (1983). [PubMed] []
33. Cohen JY, Amoroso MW e Uchida N Neurônios serotoninérgicos sinalizam recompensa e punição em múltiplos cronogramas. elife 4, (2015) .doi: 10.7554 / eLife.06346 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
34. Floresco SB, oeste AR, Ash B, Moore H e Grace AA Modulação aferente do disparo de neurônios dopaminérgicos regula diferencialmente a transmissão tônica e fásica de dopamina. Nat Neurosci 6, 968 – 73 (2003) .doi: 10.1038 / nn1103 [PubMed] [CrossRef] []
35. Grace AA Desregulação do sistema de dopamina na fisiopatologia da esquizofrenia e depressão. Nature Reviews Neuroscience 17, 524 (2016) .doi: 10.1038 / nrn.2016.57 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
36. Phillips PE, Stuber GD, HE Heien ML, Wightman RM e Carelli RM Liberação de dopamina por subsecond promove busca de cocaína. Natureza 422, 614 – 8 (2003) .doi: 10.1038 / nature01476 [PubMed] [CrossRef] []
37. Wassum KM, Ostlund SB e Maidment NT A sinalização da dopamina mesolímbica fásica precede e prevê o desempenho de uma tarefa de sequência de ação autoiniciada. Biol Psychiatry 71, 846–54 (2012).doi:10.1016/j.biopsych.2011.12.019 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
38. Howe MW, Tierney PL, Sandberg SG, Phillips PE e Graybiel AM Sinalização de dopamina prolongada em striatum sinaliza proximidade e valor de recompensas distantes. Natureza 500, 575–9 (2013).doi:10.1038/nature12475 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
39. Satoh T, Nakai S, Sato T e Kimura M Codificação correlacionada de motivação e resultado de decisão por neurônios dopaminérgicos. J Neurosci 23, 9913 – 23 (2003). [PubMed] []
40. Howe MW e Dombeck DA Sinalização rápida em diferentes axônios dopaminérgicos durante a locomoção e recompensa. Natureza 535, 505–10 (2016).doi:10.1038/nature18942 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
41. Silva JAD, Tecuapetla F, Paixão V e Costa RM Atividade de neurônios dopaminérgicos antes do início da ação bloqueia e revigora movimentos futuros. Natureza 554, 244 (2018) .doi: 10.1038 / nature25457 [PubMed] [CrossRef] []
42. du Hoffmann J e Nicola SM A dopamina revigora a busca de recompensas promovendo a excitação evocada por estímulos no núcleo accumbens. J Neurosci 34, 14349–64 (2014).doi:10.1523/JNEUROSCI.3492-14.2014 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
43. Hart AS, Rutledge RB, Glimcher PW e Phillips PE A liberação de dopamina fásica no núcleo do rato accumbens codifica simetricamente um termo de erro de previsão de recompensa. J Neurosci 34, 698–704 (2014).doi:10.1523/JNEUROSCI.2489-13.2014 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
44. Soares S, Atallah BV e Paton JJ Neurônios dopaminérgicos mesencefálicos controlam o julgamento do tempo. Ciência 354, 1273 – 1277 (2016) .doi: 10.1126 / science.aah5234 [PubMed] [CrossRef] []
45. Ikemoto S Circuitos de recompensa da dopamina: dois sistemas de projeção do mesencéfalo ventral ao complexo de tubérculo núcleo accumbens-olfativo. Res Res do cérebro 56, 27–78 (2007).doi:10.1016/j.brainresrev.2007.05.004 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
46. Syed EC, Grima LL, Magill PJ, Bogacz R, Brown P e Walton ME O início da ação molda a dopamina mesolímbica que codifica as futuras recompensas. Nat Neurosci (2015) .doi: 10.1038 / nn.4187 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
47. Floresco SB, Yang CR, Phillips AG e Blaha CD Estimulação da amígdala basolateral evoca efluxo de dopamina dependente de receptor de glutamato no núcleo accumbens do rato anestesiado. Eur J Neurosci 10, 1241 – 51 (1998). [PubMed] []
48. Jones JL, JJ Day, Aragona BJ, Wheeler RA, RM Wightman e Carelli RM A amígdala basolateral modula a liberação terminal de dopamina no nucleus accumbens e responde condicionada. Biol Psychiatry 67, 737–44 (2010).doi:S0006–3223(09)01327–4 [pii] 10.1016/j.biopsych.2009.11.006 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
49. Cachope R, Mateo Y, Mathur BN, Irving J, Wang HL, Morales M, Lovinger DM e Cheer JF Ativação seletiva de interneurônios colinérgicos aumenta liberação de dopamina fásica no acúmulo: estabelecendo o tom para processamento de recompensa. Rep. Celular 2, 33–41 (2012).doi:10.1016/j.celrep.2012.05.011 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
50. Threlfell S, T Lalic, NJ Platt, Jennings KA, Deisseroth K e Cragg SJ A liberação de dopamina no estriado é desencadeada pela atividade sincronizada em interneurônios colinérgicos. Neurônio 75, 58 – 64 (2012) .doi: 10.1016 / j.neuron.2012.04.038 [PubMed] [CrossRef] []
51. Grace AA Liberação fásica versus tônica da dopamina e modulação da responsividade do sistema da dopamina: uma hipótese para a etiologia da esquizofrenia. Neuroscience 41, 1 – 24 (1991). [PubMed] []
52. Moyer JT, Wolf JA e Finkel LH Efeitos da modulação dopaminérgica sobre as propriedades integradoras do neurônio espinhal do meio estriado ventral. J Neurophysiol 98, 3731 – 48 (2007). [PubMed] []
53. Jędrzejewska-Szmek J, Damodaran S, Dorman DB e Blackwell KT A dinâmica do cálcio prediz a direção da plasticidade sináptica em neurônios de projeção espinhosa do estriado. Eur J Neurosci 45, 1044–1056 (2017).doi:10.1111/ejn.13287 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
54. Morris G, Arkadir D, Nevet A, Va E e Bergman H Mensagens coincidentes, mas distintas, de dopamina mesencéfalo e neurônios tonicamente ativos estriados. Neurônio 43, 133 – 43 (2004). [PubMed] []
55. Brown MT, KR Tan, O'Connor CE, Nikonenko I, Muller D e Lüscher C A área tegmentar ventral projeções GABA pausa interneurônios colinérgicos acumbais para melhorar a aprendizagem associativa. Natureza (2012) .doi: 10.1038 / nature11657 [PubMed] [CrossRef] []
56. Yamanaka K, Hori Y, T Minamimoto, Yamada H, Matsumoto N, K Enomoto, Aosaki T, Graybiel AM e Kimura M Papel dos núcleos parafasciculares centromedianos do tálamo e dos interneurônios colinérgicos no estriado dorsal na aprendizagem associativa de eventos ambientais. J Neural Transm (Viena) (2017).doi:10.1007/s00702-017-1713-z [Artigo gratuito do PMC] [PubMed] [CrossRef] []
57. Shen W, JL de Plotkin, V de Francardo, WK de Ko, Xie Z, Li Q, T de Fieblinger, J de Wess, RR de Neubig, CW de Lindsley, Conn PJ, Greengard P, Bezard E, Cenci MA e Surmeier DJ Sinalização do Receptor Muscarínico M4 Melhora os Déficits de Plasticidade do Striatal em Modelos de Discinesia Induzida por L-DOPA. Neurônio 88, 762–73 (2015).doi:10.1016/j.neuron.2015.10.039 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
58. Nair AG, Gutiérrez-Arenas O, Eriksson O, Vincent P e Hellgren Kotaleski J Detectando Sinais de Recompensa Positiva versus Negativa através de GPCRs acoplados à Adenilil Ciclase em Via Direta e Indireta Neurônios Espinhosos Estriados Médios Estriados. J Neurosci 35, 14017–30 (2015).doi:10.1523/JNEUROSCI.0730-15.2015 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
59. Stocco A Entropia baseada em acetilcolina na seleção de resposta: um modelo de como os interneurônios do corpo estriado modulam a variabilidade de exploração, exploração e resposta na tomada de decisão. Fronteiras na neurociência 6(2012). [Artigo gratuito do PMC] [PubMed] []
60. Franklin NT e Frank MJ Um circuito de feedback colinérgico para regular a incerteza da população estriatal e otimizar a aprendizagem de reforço. eLife 4, (2015) .doi: 10.7554 / eLife.12029 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
61. Nougaret S e Ravel S Modulação de neurônios tonicamente ativos do estriado de macacos por eventos que transportam informações de força e recompensa diferentes. J Neurosci 35, 15214 – 26 (2015) .doi: 10.1523 / JNEUROSCI.0039-15.2015 [PubMed] [CrossRef] []
62. Schultz W Sinal de recompensa preditivo de neurônios dopaminérgicos. J Neurophysiol 80, 1 – 27 (1998). [PubMed] []
63. Lammel S, Hetzel A, Häckel O, Jones I, Liss B e Roeper J Propriedades únicas de neurônios mesoprefrontais dentro de um sistema duplo de dopamina mesocorticolímbica. Neurônio 57, 760 – 73 (2008) .doi: 10.1016 / j.neuron.2008.01.022 [PubMed] [CrossRef] []
64. Poulin JF, Zou J, Drouin Ouellet J, Kim KY, Cicchetti F e Awatramani RB Definição da diversidade de neurônios dopaminérgicos do mesencéfalo por expressão de genes de uma única célula. Rep. Celular 9, 930–43 (2014).doi:10.1016/j.celrep.2014.10.008 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
65. Morales M e Margolis EB Área tegmentar ventral: heterogeneidade celular, conectividade e comportamento. Nat Rev Neurosci 18, 73 – 85 (2017) .doi: 10.1038 / nrn.2016.165 [PubMed] [CrossRef] []
66. Matsumoto M e Hikosaka O Dois tipos de neurônios dopaminérgicos transmitem distintamente sinais motivacionais positivos e negativos. Natureza 459, 837 – 41 (2009) .doi: nature08028 [pii] 10.1038 / nature08028 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
67. Pasquereau B e Turner RS Neurônios de dopamina codificam erros na previsão da ocorrência do gatilho de movimento. Jornal de Neurofisiologia 113, 1110–1123 (2014).doi:10.1152/jn.00401.2014 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
68. Redgrave P, Prescott TJ e Gurney K A resposta de dopamina de latência curta é muito curta para sinalizar um erro de recompensa?? Tendências Neurosci 22, 146 – 51 (1999). [PubMed] []
69. Bromberg-Martin ES, Matsumoto M e Hikosaka O Dopamina no controle motivacional: gratificante, aversivo e alerta. Neurônio 68, 815–34 (2010).doi:10.1016/j.neuron.2010.11.022 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
70. PD Dodson, Dreyer JK, Jennings KA, Syed EC, Wade-Martins R, Cragg SJ, Bolam JP e Magill PJ Representação do movimento espontâneo por neurônios dopaminérgicos é seletiva do tipo celular e interrompida no parkinsonismo. Proc Natl Acad Sci EUA 113, E2180–8 (2016).doi:10.1073/pnas.1515941113 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
71. Lerner TN, Shilyansky C, Davidson TJ, Evans KE, Beier KT, Zalocusky KA, Corvo AK, Malenka RC, Luo L, Tomer R e Deisseroth K Análises do cérebro íntegro revelam informações distintas transportadas por subcircuitos de dopamina SNc. Célula 162, 635–47 (2015).doi:10.1016/j.cell.2015.07.014 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
72. Parker NF, Cameron CM, Taliaferro JP, Lee J, Ji Choi, Davidson TJ, Daw ND e Witten IB Recompensa e codificação de escolha em terminais de neurônios de dopamina mesencéfalo depende do alvo estriado. Nat Neurosci (2016) .doi: 10.1038 / nn.4287 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
73. Kim CK, Yang SJ, Pichamoorthy N, NP Young, Kauvar I, Jennings JH, TN Lerner, Berndt A, Lee SY, Ramakrishnan C, Davidson TJ, M Inoue, Bito H e Deisseroth K Medição rápida e simultânea da dinâmica do circuito em vários locais do cérebro de mamíferos. Nature Methods 13, 325–328 (2016).doi:10.1038/nmeth.3770 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
74. Menegas W, Babayan BM, Uchida N e Watabe-Uchida M Inicialização oposta a novos estímulos na sinalização da dopamina no estriado ventral e posterior em camundongos. elife 6, (2017) .doi: 10.7554 / eLife.21886 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
75. Brown HD, McCutcheon JE, Cone JJ, Ragozzino ME e Roitman MF A recompensa alimentar primária e os estímulos preditivos de recompensa evocam diferentes padrões de sinalização fásica de dopamina em todo o estriado. A Revista Europeia de neurociência 34, 1997–2006 (2011).doi:10.1111/j.1460-9568.2011.07914.x [Artigo gratuito do PMC] [PubMed] [CrossRef] []
76. Knutson B e Greer SM Afeto antecipatório: correlatos neurais e consequências para a escolha. Philos Trans Soc Soc Biol Sci 363, 3771–86 (2008).doi:10.1098/rstb.2008.0155 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
77. Bartra O, McGuire JT e Kable JW O sistema de avaliação: uma meta-análise baseada em coordenadas de experimentos BOLD fMRI examinando correlatos neurais de valor subjetivo. Neuroimage 76, 412–27 (2013).doi:10.1016/j.neuroimage.2013.02.063 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
78. Ferenczi EA, Zalocusky KA, Liston C, Grosenick L, Diretor MR, Amatya D, Katovich K, Mehta H, Patenaude B, Ramakrishnan C, Kalanithi P, Etkin A, B Knutson, Glover GH e Deisseroth K Regulação cortical pré-frontal da dinâmica do circuito em todo o cérebro e comportamento relacionado à recompensa. Ciência 351, aac9698 (2016) .doi: 10.1126 / science.aac9698 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
79. Bertran-Gonzalez J, Bosch C, Maroteaux M, Matamales M., Hervé D, Valjent E e Girault JA Padrões opostos de ativação de sinalização nos neurônios estriatais que expressam o receptor D1 e D2 da dopamina em resposta à cocaína e ao haloperidol. J Neurosci 28, 5671 – 85 (2008) .doi: 10.1523 / JNEUROSCI.1039-08.2008 [PubMed] [CrossRef] []
80. Redgrave P, Prescott TJ e Gurney K Os gânglios da base: uma solução de vertebrados para o problema da seleção? Neuroscience 89, 1009 – 23 (1999). [PubMed] []
81. Beeler JA, Frazier CR e Zhuang X Colocando o desejo em um orçamento: gastos com dopamina e energia, conciliando recompensa e recursos. Neurosci Front Integr 6, 49 (2012) .doi: 10.3389 / fnint.2012.00049 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
82. Anderson BA, Kuwabara H, DF de Wong, EG de Gean, Rahmim A, Jr de Brašić, George N, Frolov B, Courtney SM e Yantis S O papel da dopamina na orientação atencional baseada em valores. Curr Biol 26, 550–5 (2016).doi:10.1016/j.cub.2015.12.062 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
83. Chatham CH, Frank MJ e Badre D Canal de saída corticostriatal durante a seleção da memória de trabalho. Neurônio 81, 930–42 (2014).doi:10.1016/j.neuron.2014.01.002 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
84. Shenhav A, Botvinick MM e Cohen JD O valor esperado do controle: uma teoria integrativa da função do córtex cingulado anterior. Neurônio 79, 217–40 (2013).doi:10.1016/j.neuron.2013.07.007 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
85. Aarts E, Roelofs A, Franke B, Rijpkema M., Fernández G, Helmich RC e Cools R A dopamina estriatal media a interface entre o controle motivacional e cognitivo em humanos: evidências de imagens genéticas. Neuropsychopharmacology 35, 1943–51 (2010).doi:10.1038/npp.2010.68 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
86. Westbrook A e Braver TS A dopamina faz um duplo dever na motivação do esforço cognitivo. Neurônio 89, 695–710 (2016).doi:10.1016/j.neuron.2015.12.029 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
87. Manohar SG, Chong TT, Apps MA, Batla A, M Stamelou, Jarman PR, Bhatia KP e Husain M Recompensa paga o custo da redução de ruído no controle motor e cognitivo. Curr Biol 25, 1707–16 (2015).doi:10.1016/j.cub.2015.05.038 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
88. Wunderlich K, Smittenaar P e Dolan RJ A dopamina melhora o comportamento baseado em modelos e escolha livre de modelos. Neurônio 75, 418–24 (2012).doi:10.1016/j.neuron.2012.03.042 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
89. Nicola SM Hipótese da abordagem flexível: unificação do esforço e hipóteses de resposta ao papel do nucleus accumbens dopamine na ativação do comportamento de busca por recompensa. J Neurosci 30, 16585–600 (2010).doi:10.1523/JNEUROSCI.3958-10.2010 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
90. Eban-Rothschild A, G Rothschild, Giardino WJ, Jones JR e de Lecea L Neurônios dopaminérgicos VTA regulam comportamentos de sono-vigília etologicamente relevantes. Nat Neurosci (2016) .doi: 10.1038 / nn.4377 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
91. Haber SN, Fudge JL e McFarland NR Estrias estriadigroestriais em primatas formam uma espiral ascendente da concha ao estriado dorsolateral. J Neurosci 20, 2369 – 82 (2000). [PubMed] []
92. Reddi BAJ e Carpenter RHS A influência da urgência no tempo de decisão. Neurociência da natureza 3, 827 (2000). [PubMed] []
93. Thura D e Cisek P Os gânglios da base não selecionam metas de alcance, mas controlam a urgência do compromisso. Neurônio (2017) .doi: 10.1016 / j.neuron.2017.07.039 [PubMed] [CrossRef] []
94. Turner RS ​​e Desmurget M Contribuição dos gânglios da base para o controle motor: um tutor vigoroso. Curr Opin Neurobiol 20, 704–16 (2010).doi:10.1016/j.conb.2010.08.022 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
95. Hikosaka O, Nakamura K e Nakahara H Gânglios da base orientam os olhos para recompensar. J Neurophysiol 95, 567 – 84 (2006) .doi: 10.1152 / jn.00458.2005 [PubMed] [CrossRef] []
96. Kelly PH e Moore KE Neurônios dopaminérgicos mesolímbicos no modelo rotacional da função nigrostriatal. Natureza 263, 695 – 6 (1976). [PubMed] []
97. Primos MS, Atherton A, Turner L e Salamone JD Depleção de dopamina no Núcleo accumbens alteram alocação de resposta relativa em tarefa de custo / benefício do labirinto em T. Behav Brain Res 74, 189 – 97. (1996) [PubMed] []
98. AD avermelhado Tentativa vicária e erro. Nat Rev Neurosci 17, 147–59 (2016).doi:10.1038/nrn.2015.30 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
99. Rabinovich MI, Huerta R, Varona P e Afraimovich VS Dinâmica cognitiva transitória, metaestabilidade e tomada de decisão. PLoS Comput Biol 4, e1000072 (2008) .doi: 10.1371 / journal.pcbi.1000072 [Artigo gratuito do PMC] [PubMed] [CrossRef] []
100. Comerciante H, Harrington DL e Meck WH Bases neuronais da percepção e estimativa do tempo. Annu Rev Neurosci 36, 313 – 36 (2013) .doi: 10.1146 / annurev-neuro-062012-170349 [PubMed] [CrossRef] []