O que significa dopamina? (2018)

Sumário

A dopamina é um sinal de aprendizado, motivação ou ambos?

Nosso entendimento da dopamina mudou no passado e está mudando novamente. Uma distinção importante é entre os efeitos da dopamina na atual comportamento (desempenho) e efeitos da dopamina futuro comportamento (aprendizagem). Ambos são reais e importantes, mas em vários momentos um foi a favor e o outro não.

Quando (nas 70s) tornou-se possível realizar lesões seletivas e completas das vias da dopamina, a conseqüência comportamental óbvia foi uma severa redução no movimento¹. Isso se encaixa com os efeitos acinéticos da perda de dopamina em humanos, produzidos pela doença de Parkinson avançada, drogas tóxicas ou encefalite.². No entanto, nem ratos nem casos humanos demonstram uma incapacidade fundamental para se mover. Ratos lesionados com dopamina nadam em água fria³e pacientes acinéticos podem se levantar e correr se um alarme de incêndio soar (cinesia “paradoxal”). Tampouco há um déficit básico na apreciação de recompensas: ratos lesionados com dopamina consomem alimentos colocados em suas bocas e mostram sinais de aproveitá-los.⁴. Em vez disso, eles não escolherão se esforçar para obter recompensas ativamente. Estes e muitos outros resultados estabeleceram uma ligação fundamental entre a dopamina e a motivação⁵. Mesmo a desaceleração do movimento observada em casos menos graves de Doença de Parkinson pode ser considerada um déficit motivacional, refletindo decisões implícitas de que não vale a pena gastar a energia necessária para movimentos mais rápidos.⁶.

Então (nos 80s) vieram gravações pioneiras de neurônios dopaminérgicos em macacos que se comportam (em áreas mesencefálicas que se projetam para o prosencéfalo: área tegmentar ventral, VTA / substantia nigra pars compacta, SNc). Entre os padrões de disparo observados foram breves explosões de atividade para estímulos que provocaram movimentos imediatos. Esta queima de dopamina “fásica” foi inicialmente interpretada como suporte de “ativação comportamental”⁷ e "excitação motivacional"⁸ - em outras palavras, como revigorando o comportamento atual do animal.

Uma mudança radical ocorreu nos 90s, com a reinterpretação de explosões de dopamina fásica como codificação recompense erros de previsão (RPEs⁹). Isto foi baseado em uma observação chave: as células dopaminérgicas respondem a estímulos inesperados associados a recompensas futuras, mas freqüentemente param de responder se esses estímulos se tornam esperados.¹⁰. A ideia de EPR originou-se em teorias de aprendizagem anteriores e, especialmente, no campo da ciência da computação em desenvolvimento, na época, de reforço.¹¹. O ponto de um sinal de RPE é atualizar valores(estimativas de recompensas futuras). Esses valores são usados ​​posteriormente para ajudar a fazer escolhas que maximizem a recompensa. Como a queima de células dopaminérgicas se assemelhava a EPRs e os EPRs são usados ​​para aprendizado, tornou-se natural enfatizar o papel da dopamina na aprendizagem. Manipulações optogenéticas posteriores confirmaram a identidade dopaminérgica de células codificadoras de RPE^12,13 e mostrou que eles realmente modulam a aprendizagem^14,15.

A idéia de que a dopamina fornece um sinal de aprendizado se encaixa perfeitamente com a literatura de que a dopamina modula a plasticidade sináptica no corpo estriado, o principal alvo do prosencéfalo da dopamina. Por exemplo, a tripla coincidência da estimulação do glutamato de uma espinha dendrítica do estriado, despolarização pós-sináptica e liberação de dopamina faz com que a coluna cresça¹⁶. A modulação dopaminérgica de mecanismos de aprendizagem de longo prazo ajuda a explicar os efeitos comportamentais persistentes de drogas aditivas, que compartilham a propriedade de aumentar a liberação de dopamina no estriado¹⁷. Mesmo a profunda acinesia com perda de dopamina pode ser parcialmente explicada por tais mecanismos de aprendizagem¹⁸. A falta de dopamina pode ser tratada como um EPR constantemente negativo, que atualiza progressivamente os valores das ações para zero. Efeitos progressivos semelhantes, semelhantes à extinção, sobre o comportamento podem ser produzidos por antagonistas da dopamina^19,20.

No entanto, a ideia de que a dopamina está criticamente envolvida na motivação contínua nunca desapareceu - pelo contrário, é amplamente aceita como certa pelos neurocientistas comportamentais. Isso é apropriado, dada a forte evidência de que as funções da dopamina na motivação / movimento / fortalecimento são dissociáveis ​​da aprendizagem^15,20-23. Menos amplamente apreciado é o desafio envolvido em conciliar esse papel motivacional com a teoria de que o DA fornece um sinal de aprendizado do EPR.

Motivação “olha para frente”: usa previsões de recompensa futura (valores) para energizar adequadamente o comportamento atual. Por outro lado, o aprendizado “olha para trás” para estados e ações no passado recente e atualiza seus valores. Essas são fases complementares de um ciclo: os valores atualizados podem ser usados ​​na tomada de decisões subseqüentes, se esses estados forem reencontrados, depois novamente atualizados e assim por diante. Mas em que fase do ciclo a dopamina está envolvida - usando valores para tomar decisões (desempenho) ou atualizar valores (aprendizado)?

Em algumas circunstâncias, é fácil imaginar a dopamina desempenhando ambos os papéis simultaneamente.²⁴Sugestões inesperadas, preditivas de recompensa, são os eventos arquetípicos para evocar disparo e liberação de células dopaminérgicas, e tais sinais tipicamente revigoram o comportamento e evocam a aprendizagem (FIG. 1) Nesta situação particular, tanto a previsão de recompensa quanto os erros de previsão de recompensa aumentam simultaneamente - mas nem sempre é o caso. Como apenas um exemplo, as pessoas e outros animais são frequentemente motivados a trabalhar por recompensas, mesmo quando pouco ou nada surpreendente ocorre. Eles podem trabalhar cada vez mais à medida que se aproximam cada vez mais da recompensa (o valor aumenta à medida que as recompensas se aproximam). A questão é que aprendizado e motivação são conceitualmente, computacionalmente e comportamentalmente distintos - e ainda assim a dopamina parece fazer as duas coisas.

Abaixo, eu critico criticamente as idéias atuais sobre como a dopamina é capaz de alcançar tanto as funções de aprendizagem quanto as motivacionais. Eu proponho um modelo atualizado, baseado em três fatos-chave: 1) a liberação de dopamina a partir de terminais não surge simplesmente da queima de células de dopamina, mas também pode ser controlada localmente; 2) A dopamina afeta tanto a plasticidade sináptica quanto a excitabilidade das células-alvo, com consequências distintas para a aprendizagem e o desempenho, respectivamente; 3) efeitos de dopamina na plasticidade podem ser ligados ou desligados por elementos de circuito próximos. Juntos, esses recursos podem permitir que os circuitos cerebrais alternem entre duas mensagens distintas de dopamina, para aprendizado e motivação, respectivamente.

Existem sinais de dopamina “fásicos” e “tônicos” separados, com significados diferentes?

É frequentemente argumentado que os papéis de aprendizagem e motivação da dopamina ocorrem em diferentes escalas de tempo²⁵. As células dopaminérgicas disparam continuamente (“tonicamente”) com alguns picos por segundo, com ocasionais breves (“fásicos”) disparos ou pausas. Bursts, especialmente se artificialmente sincronizados entre as células dopaminérgicas, provocam aumentos rápidos correspondentes na dopamina do cérebro anterior²⁶ que são altamente transitórios (duração de sub-segundo²⁷). A contribuição separada da queima de células tônicas de dopamina para as concentrações de dopamina no cérebro anterior é menos clara. Algumas evidências sugerem que essa contribuição é muito pequena²⁸. Pode ser suficiente para produzir estimulação quase contínua dos receptores D2 de afinidade mais alta, permitindo que o sistema observe breves pausas na queima de células dopaminérgicas²⁹ e use essas pausas como erros negativos de previsão.

A microdiálise tem sido amplamente utilizada para medir diretamente os níveis de dopamina do prosencéfalo, embora com baixa resolução temporal (geralmente com uma média de vários minutos). Essas medições lentas da dopamina podem ser difíceis de relacionar precisamente ao comportamento. Não obstante, a microdiálise da dopamina no nucleus accumbens (NAc; estriado ventral / medial) mostra correlações positivas com a atividade locomotora³⁰ e outros índices de motivação⁵. Isso tem sido amplamente usado para significar que há mudanças lentas (“tônicas”) na concentração de dopamina, e que essas mudanças lentas transmitem um sinal motivacional. Mais especificamente, modelos computacionais têm proposto que os níveis de dopamina tônica rastreiam a taxa de recompensa média a longo prazo³¹ - uma variável motivacional útil para alocação de tempo e decisões de coleta. É importante enfatizar que muito poucos artigos definem claramente os níveis “tônicos” de dopamina - eles geralmente assumem que a concentração de dopamina muda lentamente ao longo da escala de tempo de vários minutos da microdiálise.

No entanto, essa visão “dopamina fásica = EPR / aprendizagem, dopamina tônica = motivação” enfrenta muitos problemas. Primeiro, não há evidência direta de que a queima de células tônicas de dopamina normalmente varie em escalas de tempo lentas. Taxas de disparo tônico não mudam com a mudança de motivação^32,33. Tem sido argumentado que os níveis de dopamina tônica mudam devido a uma proporção variável de células de dopamina ativas^34,35. Mas, em muitos estudos em animais não drogados e não lesionados, nunca foi relatado que as células dopaminérgicas mudam entre estados silenciosos e ativos.

Além disso, o fato de a microdiálise medir os níveis de dopamina lentamente não significa que os níveis de dopamina realmente mudam lentamente. Nós recentemente¹⁵ examinaram a dopamina NAc em ratos em uma tarefa de recompensa probabilística, usando tanto a microdiálise quanto a voltametria cíclica de varredura rápida. Confirmamos que a dopamina mesolímbica, medida por microdiálise, se correlaciona com a taxa de recompensa (recompensas / min). No entanto, mesmo com uma resolução temporal melhorada da microdiálise (1min), a dopamina flutuou tão rápido quanto a amostra: não observamos indícios de um sinal inerentemente lento de dopamina.

Usando a resolução temporal mais precisa ainda de voltametria, observamos uma estreita relação entre as flutuações de sub-segundo dopamina e a motivação. Como os ratos realizavam a sequência de ações necessárias para obter recompensas, a dopamina subia cada vez mais alto, atingindo um pico assim que obtinham a recompensa (e diminuindo rapidamente à medida que a consumiam). Mostramos que a dopamina se correlacionava fortemente com o valor instantâneo do estado - definido como a recompensa futura esperada, descontada pelo tempo esperado para recebê-la. Estas rápidas dinâmicas de dopamina também podem explicar os resultados da microdiálise, sem invocar sinais separados de dopamina em diferentes escalas de tempo. À medida que os animais experimentam mais recompensas, eles aumentam suas expectativas de recompensas futuras em cada etapa da sequência de testes. Em vez de um sinal de taxa de recompensa média que evolui lentamente, a correlação entre dopamina e taxa de recompensa é melhor explicada como uma média, ao longo do tempo prolongado de coleta de amostras de microdiálise, desses valores de estado que evoluem rapidamente.

Esta interpretação de valor da liberação de dopamina mesolímbica é consistente com os resultados de voltametria de outros grupos de pesquisa, que descobriram repetidamente que a liberação de dopamina aumenta com a proximidade crescente da recompensa.^36-38(FIG. 2). Esse sinal motivacional não é inerentemente “lento”, mas pode ser observado em uma escala contínua de escalas de tempo. Embora as rampas de dopamina possam durar vários segundos quando um comportamento de aproximação também dura vários segundos³⁸Isso reflete o curso do tempo do comportamento, em vez da dinâmica intrínseca da dopamina. A relação entre liberação de dopamina mesolímbica e valor flutuante é visível tão rápido quanto a técnica de registro permitir, ou seja, em uma escala de tempo 100ms com eletrodos de voltametria¹⁵.

Flutuações rápidas de dopamina não refletem simplesmente a motivação, elas também conduzem imediatamente um comportamento motivado. Respostas fásicas maiores das células dopaminérgicas para desencadear pistas predizem tempos de reação mais curtos nesse mesmo teste³⁹. Estimulação optogenética de células de dopamina VTA torna ratos mais propensos a começar a trabalhar em nossa tarefa de recompensa probabilística¹⁵, como se tivessem uma maior expectativa de recompensa. Estimulação optogenética dos neurônios da dopamina SNc, ou seus axônios no estriado dorsal, aumenta a probabilidade de movimento^40,41. Criticamente, esses efeitos comportamentais são aparentes dentro de algumas centenas de milissegundos do início da estimulação optogenética. A capacidade de estímulos preditivos de recompensa para aumentar a motivação parece ser mediada pela modulação dopaminérgica muito rápida da excitabilidade dos neurônios espinhosos de NAc.⁴². Como a dopamina está mudando rapidamente, e essas mudanças de dopamina afetam rapidamente a motivação, as funções motivacionais da dopamina são melhor descritas como rápidas (“fásicas”), e não lentas (“tônicas”).

Além disso, invocar escalas de tempo rápidas e lentas separadas não resolve por si só o problema de decodificação enfrentado pelos neurônios com receptores de dopamina. Se a dopamina sinaliza aprendizagem, a modulação da plasticidade sináptica parece uma resposta celular apropriada. Mas os efeitos imediatos no comportamento motivado implicam em efeitos imediatos no spiking - por exemplo, por meio de mudanças rápidas na excitabilidade. A dopamina pode ter esses dois efeitos pós-sinápticos (e mais), então uma determinada concentração de dopamina tem um significado específico? Ou esse significado precisa ser construído - por exemplo, comparando os níveis de dopamina ao longo do tempo ou usando outros sinais coincidentes para determinar qual mecanismo celular deve ser ativado? Essa possibilidade é discutida mais adiante.

A liberação de dopamina transmite as mesmas informações que a queima de células de dopamina?

A relação entre flutuações rápidas de dopamina e valor motivacional parece estranha, dado que a queima de células dopaminérgicas se assemelha ao EPR. Além disso, alguns estudos relataram sinais de PSE na liberação de dopamina mesolímbica⁴³. É importante observar um desafio na interpretação de algumas formas de dados neurais. Os sinais de valor e RPEs estão correlacionados uns com os outros - não surpreendentemente, pois o RPE é geralmente definido como a mudança no valor de um momento para o próximo (RPE de “diferença temporal”). Por causa dessa correlação, é fundamental usar projetos experimentais e análises que distinguem o valor das contas RPE. O problema é agravado quando se usa uma medida neural que depende de mudanças de sinal relativas, em vez de absolutas. As análises de voltametria geralmente comparam a dopamina em algum ponto de interesse com uma época de "linha de base" no início de cada teste (para remover componentes de sinal que não são dependentes de dopamina, incluindo carga de eletrodo em cada varredura de voltagem e deriva ao longo de uma escala de tempo de minutos). Mas subtrair uma linha de base pode fazer um sinal de valor se parecer com um sinal RPE. Isso é o que observamos em nossos próprios dados de voltametria (Fig. 2e). Mudanças na expectativa de recompensa foram refletidas nas mudanças na concentração de dopamina no início de cada tentativa, e essas mudanças são perdidas se apenas assumirmos uma linha de base constante nos testes.¹⁵. As conclusões sobre a liberação de dopamina e codificação RPE, portanto, precisam ser vistas com cautela. Este perigo de interpretação de dados se aplica não apenas à voltametria, mas a qualquer análise que dependa de mudanças relativas - potencialmente incluindo alguns fMRI e fotometria⁴⁴.

No entanto, ainda precisamos reconciliar a liberação de dopamina relacionada ao valor no núcleo de NAc com a ausência consistente de aumento de valor relacionado aos neurônios de dopamina.¹³, mesmo dentro da área lateral de VTA que fornece dopamina ao núcleo NAc⁴⁵. Um fator potencial é que as células dopaminérgicas são geralmente registradas em animais com restrição de cabeça realizando tarefas clássicas de condicionamento, enquanto a liberação de dopamina é tipicamente medida em animais desenfreados que se movimentam ativamente através de seu ambiente. Propusemos que a dopamina mesolímbica poderia indicar especificamente o valor de “trabalho”¹⁵ - que reflete a necessidade de dedicar tempo e esforço para obter a recompensa. Consistente com isso, a dopamina aumenta com os sinais que instruem o movimento, mas não com os sinais que instruem a quietude, mesmo quando indicam recompensa futura semelhante⁴⁶. Se - como em muitas tarefas clássicas de condicionamento - não houver benefício no “trabalho” ativo, então as alterações dopaminérgicas que indicam o valor do trabalho podem ser menos aparentes.

Ainda mais importante pode ser o fato de que a liberação de dopamina pode ser controlada localmente nos próprios terminais e, assim, mostrar padrões espácio-temporais independentes da adição de corpos celulares. Por exemplo, a amígdala basolateral (BLA) pode influenciar a liberação de dopamina NAc mesmo quando a ATV é inativada⁴⁷. Por outro lado, a inativação do BLA reduz a liberação de dopamina NAc e o correspondente comportamento motivado, sem aparentemente afetar a queima de VTA⁴⁸. Terminais de dopamina têm receptores para uma variedade de neurotransmissores, incluindo glutamato, opioides e acetilcolina. Receptores nicotínicos de acetilcolina permitem aos interneurônios colinérgicos do estriado (CINs) controlar rapidamente a liberação de dopamina^49,50. Embora tenha sido notado que o controle local da liberação de dopamina é potencialmente importante^7,51, não foi incluído nos relatos computacionais da função da dopamina. Eu proponho que a dinâmica de liberação de dopamina relacionada à codificação de valor local controle, mesmo quando a queima de células dopaminérgicas fornece importantes sinais semelhantes ao RPE para o aprendizado.

Como a dopamina pode significar aprendizado e motivação sem confusão?

Em princípio, um sinal de valor é suficiente para transmitir também o RPE, uma vez que os EPR de diferença temporal são simplesmente mudanças rápidas de valor (Fig. 2B). Por exemplo, vias intracelulares distintas nos neurônios-alvo podem ser diferentemente sensíveis à concentração absoluta de dopamina (representando valor) versus mudanças relativas rápidas na concentração (representando o RPE). Este esquema parece plausível, dada a complexa modulação da dopamina da fisiologia neuronal espinhosa⁵² e sua sensibilidade a padrões temporais de concentração de cálcio⁵³. No entanto, isso também parece um pouco redundante. Se um sinal semelhante ao RPE já existir no pico de células dopaminérgicas, deve ser possível usá-lo em vez de re-derivar o RPE de um sinal de valor.

Para usar apropriadamente sinais distintos de RPE e valor, os circuitos receptores de dopamina podem ativamente mudar a forma como interpretam a dopamina. Há evidências intrigantes de que a acetilcolina também pode servir a esse papel de comutação. Ao mesmo tempo que as células dopaminérgicas disparam rajadas de picos para sinais inesperados, as NICs são breves (~ 150ms) breaks em queima, que não escalam com RPEs⁵⁴. Estas pausas CIN podem ser conduzidas por neurônios GABAérgicos VTA⁵⁵ bem como células relacionadas com “surpresa” no tálamo intralaminar, e foram propostas para agir como um sinal de associabilidade promovendo a aprendizagem⁵⁶. Morris e Bergman sugeriram⁵⁴ que as pausas colinérgicas definem janelas temporais para a plasticidade do estriado, durante as quais a dopamina pode ser usada como um sinal de aprendizado. A plasticidade dependente de dopamina é continuamente suprimida por mecanismos que incluem receptores muscarínicos m4 em neurônios estriados de vias diretas⁵⁷. Modelos de sinalização intracelular sugerem que, durante as pausas de NIC, a ausência de ligação ao m4 pode atuar sinergicamente com os surtos de dopamina fásica para aumentar a ativação da PKA⁵⁸promovendo assim a mudança sináptica.

As células colinérgicas estriatais estão assim bem posicionadas para mudar dinamicamente o significado de uma mensagem dopaminérgica multiplexada. Durante as pausas de NIC, o alívio de um bloqueio muscarínico sobre a plasticidade sináptica permitiria que a dopamina fosse usada para o aprendizado. Em outros momentos, a liberação dos terminais de dopamina seria esculpida localmente para afetar o desempenho comportamental em andamento. Atualmente, essa sugestão é tanto especulativa quanto incompleta. Foi proposto que os CINs integrem informações de muitos neurônios espinhosos adjacentes para extrair sinais úteis no nível da rede, como a entropia.^59,60. Mas não é de todo claro que a dinâmica da atividade CIN pode ser usada para gerar sinais de valor de dopamina⁶¹, e também para gate sinais de aprendizagem de dopamina.

A dopamina significa a mesma coisa em todo o prosencéfalo?

À medida que a ideia do EPR se consolidou, imaginou-se que a dopamina era um sinal global, transmitindo uma mensagem de erro em todos os alvos corticais estriados e frontais. Schultz enfatizou que as células de dopamina de macaco ao longo de VTA e SNc têm respostas muito semelhantes⁶². Estudos de células dopaminérgicas identificadas também encontraram respostas homogêneas do tipo RPE em roedores, pelo menos para neurônios VTA laterais dentro de contextos condicionantes clássicos.¹³. No entanto, as células dopaminérgicas são molecular e fisiologicamente diversas^63-65 e agora há muitos relatos de que eles mostram diversos padrões de disparo em se comportar de animais. Estes incluem aumentos fásicos no disparo para eventos aversivos⁶⁶ e disparar dicas⁶⁷ que se encaixa mal com a conta RPE padrão. Muitas células dopaminérgicas mostram uma resposta inicial de latência curta a eventos sensoriais que refletem surpresa ou “alerta” mais do que codificação específica de RPE^68,69. Esse aspecto de alerta é mais proeminente no SNc⁶⁹, onde as células dopaminérgicas se projetam mais para o estriato dorsal / lateral “sensorimotor” (DLS^45,63). Subpopulações de células de dopamina SNc também foram relatadas como⁴¹ ou diminuir⁷⁰ disparar em conjunção com movimentos espontâneos, mesmo sem sinais externos.

Vários grupos utilizaram a fotometria de fibra e o indicador de cálcio GCaMP para examinar a atividade em massa de subpopulações de neurônios dopaminérgicos^71,72. Células dopaminérgicas que se projetam para o corpo estriado dorsal / medial (DMS) mostraram atividade transitoriamente deprimida a breves choques inesperados, enquanto aqueles que se projetavam para DLS mostraram atividade aumentada⁷¹- mais consistente com uma resposta de alerta. Respostas dopaminérgicas distintas em diferentes sub-regiões do prosencéfalo também foram observadas usando GCaMP para examinar a atividade dos axônios e terminais da dopamina^40,72,73. Usando imagens de dois fótons em camundongos controlados pela cabeça, Howe e Dombeck⁴⁰ relataram atividade de dopamina fásica relacionada a movimentos espontâneos. Isso foi observado predominantemente em axônios dopaminérgicos individuais da SNc que terminaram em estriado dorsal, enquanto os axônios de dopamina VTA em NAc responderam mais para recompensar a entrega. Outros também encontraram atividade dopaminérgica relacionada à recompensa no NAc, com a DMS, ao contrário, mais ligada a ações contralaterais.⁷² e a cauda posterior do corpo estriado responde a estímulos aversivos e novos⁷⁴.

Medidas diretas de liberação de dopamina também revelam heterogeneidade entre sub-regiões^30,75. Com a microdiálise descobrimos que a dopamina está correlacionada com o valor especificamente no núcleo NAc e no córtex frontal ventro-medial, não em outras partes mediais do estriado (concha de NAc, DMS) ou córtex frontal. Isso é intrigante, já que parece mapear bem dois pontos de codificação de valor consistentemente vistos em estudos de estudos de fMRI em humanos^76,77. Em particular, o sinal NAc BOLD, que tem uma estreita relação com a sinalização da dopamina⁷⁸, aumenta com a antecipação de recompensa (valor) - mais do que com RPE⁷⁶.

Se esses padrões espaciais de liberação de dopamina surgem do disparo de distintas subpopulações de células de dopamina, controle local da liberação de dopamina, ou ambos, eles desafiam a ideia de uma mensagem global de dopamina. Pode-se concluir que existem muitas funções diferentes de dopamina, com (por exemplo) dopamina no estriado dorsal sinalizando “movimento” e dopamina no estriado ventral sinalizando “recompensa”⁴⁰. No entanto, sou a favor de outra abordagem conceitual. Sub-regiões diferentes do corpo estriado obtêm insumos de diferentes regiões corticais e, portanto, processam diferentes tipos de informações. No entanto, cada sub-região do estriado compartilha uma arquitetura de microcircuito comum, incluindo neurônios espinhosos D1-versus D2-receptor separados⁷⁹, CINs e assim por diante. Embora seja comum se referir a várias sub-regiões do corpo estriado (por exemplo, DLS, DMS, núcleo NAc) como se fossem áreas discretas, não há fronteiras anatômicas definidas entre elas (a camada NAc é um pouco mais distintamente neuroquimicamente). Em vez disso, há apenas gradientes suaves na densidade de receptores, proporções de interneurônios, etc., que parecem mais ajustes para os parâmetros de um algoritmo computacional compartilhado. Dada essa arquitetura comum, podemos descrever uma função de dopamina comum, abstraída das informações específicas que estão sendo tratadas por cada sub-região?

Dopamina estriatal e a alocação de recursos limitados.

Proponho que uma variedade de efeitos dopaminérgicos discrepantes no comportamento em curso pode ser entendida como modulação decisões de alocação de recursos. Especificamente, a dopamina fornece estimativas de como vale a pena gastar um recurso interno limitado, com o recurso específico diferindo entre sub-regiões do striatal. Para o estriado “motor” (~ DLS), o recurso é o movimento, que é limitado porque o movimento custa energia e porque muitas ações são incompatíveis entre si.⁸⁰. O aumento da dopamina aumenta a probabilidade de um animal decidir que vale a pena gastar energia para se mover ou se movimentar mais rápido^6,40,81. Note que um sinal de dopamina que codifica “o movimento vale a pena” produzirá correlações entre dopamina e movimento, mesmo sem dopamina que codifica “movimento” per se.

Para estriato “cognitivo” (DMS), os recursos são processos cognitivos, incluindo atenção (que é de capacidade limitada por definição).⁸²) e memória de trabalho⁸³. Sem dopamina, sinais externos salientes que normalmente provocam movimentos de orientação são negligenciados, como se considerados menos dignos de atenção³. Além disso, deliberadamente organizar processos de controle cognitivo é um esforço⁸⁴). Dopamina - especialmente no DMS⁸⁵ - desempenha um papel fundamental em decidir se vale a pena exercer este esforço^86,87. Isso pode incluir a utilização de estratégias de decisão deliberativas (baseadas em modelo) mais exigentes cognitivamente⁸⁸.

Para o striatum “motivacional” (~ NAc), um recurso limitado pode ser o tempo do animal. A dopamina mesolímbica não é necessária quando os animais executam uma ação simples e fixa para obter rapidamente recompensas⁸⁹. Mas muitas formas de recompensa só podem ser obtidas através do trabalho prolongado: sequências prolongadas de ações não recompensadas, como no forrageamento. A escolha de se envolver no trabalho significa que outras formas benéficas de gastar tempo devem ser perdidas. A alta dopamina mesolímbica indica que vale a pena envolver-se em trabalho prolongado e prolongado no tempo, mas, à medida que a dopamina é reduzida, os animais não se incomodam e podem, em vez disso, apenas se preparar para dormir.⁹⁰.

Dentro de cada circuito de circuito cortico-estriado, a contribuição da dopamina para o comportamento em curso é, portanto, tanto econômica (preocupada com a alocação de recursos) quanto motivacional (seja ela que vale a pena gastar recursos⁸¹). Esses circuitos não são totalmente independentes, mas têm uma organização hierárquica em espiral: mais porções ventrais de estriado influenciam as células dopaminérgicas que se projetam para partes mais dorsais.^5,91. Desta forma, as decisões de se envolver no trabalho também podem ajudar a revigorar movimentos específicos e mais breves necessários. Mas, no geral, a dopamina fornece sinais de "ativação" - aumentando a probabilidade de que alguma decisão seja tomada - em vez de sinais "direcionais" especificando como os recursos devem ser gastos⁵.

Qual é o papel computacional da dopamina quando as decisões são tomadas?

Uma maneira de pensar sobre esse papel de ativação é em termos de “limiares” de tomada de decisão. Em certos modelos matemáticos, os processos de decisão aumentam até atingirem um nível de limiar, quando o sistema se torna comprometido com uma ação.⁹². A dopamina mais alta seria equivalente a uma menor distância para o limiar, de forma que as decisões sejam alcançadas mais rapidamente. Essa ideia é simplista, mas faz previsões quantitativas que foram confirmadas. Diminuir os limiares para o movimento causaria uma mudança específica na forma da distribuição do tempo de reação, exatamente o que é visto quando a anfetamina é infundida no corpo estriado sensório-motor²⁰.

Em vez de limiares fixos, os dados comportamentais e neurais podem ser mais adequados se os limiares diminuírem com o tempo, como se as decisões se tornassem cada vez mais urgentes. A produção de gânglios basais tem sido proposta para fornecer um sinal de urgência em evolução dinâmica, que revigora os mecanismos de seleção no córtex⁹³. A urgência também foi maior quando as recompensas futuras estavam mais próximas no tempo, tornando este conceito similar ao código de valor, papel ativador da dopamina.

Esse papel ativador é suficiente para descrever os efeitos moduladores do desempenho da dopamina estriatal? Isso está relacionado à questão de longa data sobre se os circuitos dos gânglios da base selecionam diretamente entre as ações aprendidas⁸⁰ ou meramente revigorar escolhas feitas em outro lugar^93,94. Existem pelo menos duas maneiras pelas quais a dopamina pode parecer ter um efeito mais "direcional". A primeira é quando a dopamina age dentro de uma sub-região do cérebro que processa a informação inerentemente direcional. Os circuitos dos gânglios da base têm um papel importante, parcialmente lateralizado, orientando-se e aproximando-se das recompensas potenciais. O primata caudado (~ DMS) está envolvido na condução de movimentos oculares em direção a campos espaciais contralaterais⁹⁵. Um sinal dopaminérgico em que algo no espaço contralateral vale a pena orientar pode explicar a correlação observada entre a atividade dopaminérgica na DMS e os movimentos contralaterais.⁷², bem como o comportamento rotacional produzido por manipulações de dopamina⁹⁶. Uma segunda influência “direcional” da dopamina é aparente quando as lesões de dopamina (bilaterais) enviesam os ratos em direção a escolhas de baixo esforço / baixa recompensa, ao invés de alternativas de alto esforço / alta recompensa⁹⁷. Isso pode refletir o fato de que algumas decisões são mais seriais do que paralelas, com ratos (e humanos) avaliando opções de uma vez por vez.⁹⁸. Nestes contextos de decisão, a dopamina pode ainda desempenhar um papel fundamentalmente ativador ao transmitir o valor da opção atualmente considerada, que pode então ser aceita ou não²⁴.

Animais ativos tomam decisões em múltiplos níveis, geralmente em altas taxas. Além de pensar sobre decisões individuais, pode ser útil considerar uma trajetória geral por meio de uma sequência de estados (FIG. 1). Ao facilitar as transições de um estado para o outro, a dopamina pode acelerar o fluxo ao longo das trajetórias aprendidas⁹⁹. Isso pode estar relacionado à importante influência da dopamina sobre o tempo do comportamento^44,100. Uma das principais fronteiras para o trabalho futuro é obter uma compreensão mais profunda de como esses efeitos da dopamina no comportamento em andamento surgem mecanicamente, alterando o processamento de informações dentro de células individuais, microcircuitos e loops de gânglios basais corticais de larga escala. Além disso, enfatizei os papéis computacionais comuns da dopamina ao longo de uma série de alvos estriatais, mas negligenciei amplamente os alvos corticais, e ainda não se sabe se as funções da dopamina em ambas as estruturas podem ser descritas dentro da mesma estrutura.

Em sínteseUma descrição adequada da dopamina explicaria como a dopamina pode sinalizar tanto a aprendizagem quanto a motivação nas mesmas escalas de tempo rápidas, sem confusão. Isso explicaria por que a liberação de dopamina em alvos-chave covaria com expectativa de recompensa, embora a demissão de células dopaminérgicas não o faça. E forneceria um relato computacional unificado das ações da dopamina em todo o corpo estriado e em outros lugares, o que explica os efeitos comportamentais díspares sobre movimento, cognição e tempo. Algumas idéias específicas apresentadas aqui são especulativas, mas destinam-se a revigorar discussões, modelagens e novos experimentos incisivos.

Agradecimentos

Referências: