Wolfram Schultz 1
Behav Brain Funct. 2010; 6: 24.
Publicado on-line 2010 April 23. doi: 10.1186 / 1744-9081-6-24.
ESTUDO COMPLETO: Sinais de Dopamina para Valor de Recompensa e Dados Básicos e Recentes de Risco
1Departamento de Fisiologia, Desenvolvimento e Neurociência, Universidade de Cambridge, Downing Street, Cambridge CB2 3DY, Reino Unido
Autor correspondente.
Wolfram Schultz: [email protected]
Sumário
Contexto
Lesões anteriores, auto-estimulação elétrica e estudos de dependência de drogas sugerem que os sistemas de dopamina do mesencéfalo são partes do sistema de recompensa do cérebro. Esta revisão fornece uma visão geral atualizada sobre os sinais básicos dos neurônios dopaminérgicos aos estímulos ambientais.
Métodos
Os experimentos descritos utilizaram métodos padrão comportamentais e neurofisiológicos para registrar a atividade de neurônios dopaminérgicos isolados em macacos acordados durante tarefas comportamentais específicas.
Resultados
Neurônios dopaminérgicos mostram ativações fásicas em estímulos externos. O sinal reflete recompensa, saliência física, risco e punição, em ordem decrescente de frações de neurônios respondedores. O valor esperado da recompensa é uma variável-chave de decisão para escolhas econômicas. Os códigos de resposta à recompensa recompensam o valor, a probabilidade e o produto somado, o valor esperado. Os neurônios codificam o valor de recompensa, uma vez que difere da predição, cumprindo assim o requisito básico para um sinal de ensino de erro de predição bidirecional postulado pela teoria da aprendizagem. Essa resposta é dimensionada em unidades de desvio padrão. Por outro lado, relativamente poucos neurônios dopaminérgicos mostram a ativação fásica após punidores e estímulos aversivos condicionados, sugerindo uma falta de relação entre a resposta da recompensa à atenção geral e a excitação. Grandes proporções de neurônios dopaminérgicos também são ativadas por estímulos intensos, fisicamente salientes. Esta resposta é reforçada quando os estímulos são novos; parece ser distinto do sinal de valor de recompensa. Os neurônios dopaminérgicos também mostram ativações inespecíficas a estímulos não recompensadores, possivelmente devido à generalização por estímulos semelhantes e pseudo-condicionamento por recompensas primárias. Essas ativações são mais curtas do que as respostas de recompensa e geralmente são seguidas por depressão da atividade. Um sinal de dopamina separado e mais lento informa sobre o risco, outra importante variável de decisão. A resposta de erro de previsão ocorre apenas com recompensa; é escalado pelo risco da recompensa prevista.
Conclusões
Estudos neurofisiológicos revelam sinais fásicos de dopamina que transmitem informações relacionadas predominantemente, mas não exclusivamente, para recompensar. Apesar de não ser totalmente homogêneo, o sinal da dopamina é mais restrito e estereotipado do que a atividade neuronal na maioria das outras estruturas cerebrais envolvidas no comportamento direcionado ao objetivo.
Contexto
Os resultados das lesões e estudos psicofarmacológicos sugerem uma ampla gama de funções comportamentais para os sistemas de dopamina do mesencéfalo. A questão chave é: quais dessas muitas funções são ativamente codificadas por um sinal de dopamina fásica compatível com mecanismos neuronais rápidos? Boas sugestões vêm do vício em drogas e da autoestimulação elétrica, sugerindo que a atividade da dopamina tem efeitos geradores recompensadores e de aproximação [1,2].
Podemos definir recompensas como objetos ou eventos que geram conduta e comportamento consumatório, produzem aprendizado de tal comportamento, representam resultados positivos de decisões econômicas e envolvem emoções positivas e sentimentos hedônicos. As recompensas são cruciais para a sobrevivência individual e genética e apoiam processos elementares como beber, comer e reproduzir. Essa definição comportamental atribui função de recompensa também a certas entidades não-sexuais e não-sexuais, incluindo dinheiro, artefatos técnicos, atributos estéticos de estímulo e eventos mentais. As recompensas envolvem agentes em comportamentos tão diversos quanto forrageamento e negociação nos mercados de ações.
Conceitos básicos
As recompensas têm magnitudes específicas e ocorrem com probabilidades específicas. Os agentes visam otimizar escolhas entre opções cujos valores são determinados pelo tipo de objeto de escolha e sua magnitude e probabilidade [3]. Portanto, as recompensas podem ser adequadamente descritas por distribuições de probabilidade dos valores das recompensas. Em um mundo ideal, essas distribuições seguem uma função gaussiana, com recompensas extremas ocorrendo com menos frequência do que resultados intermediários. Os testes experimentais freqüentemente usam distribuições de probabilidade binárias com valores equiprováveis (cada valor de recompensa ocorrendo em p = 0.5). As distribuições de probabilidade gaussiana e binária são totalmente descritas pelo valor matemático esperado (primeiro momento da distribuição de probabilidade) e as dispersões ou desvios dos valores da média, ou seja, a variância (esperada) (segundo momento) ou desvio padrão (esperado) (raiz quadrada de variância). A variância e o desvio padrão são frequentemente considerados como medidas de risco. Na economia comportamental, o termo 'risco' refere-se a uma forma de incerteza na qual a distribuição de probabilidade é conhecida, enquanto 'ambigüidade' indica conhecimento incompleto das probabilidades e é freqüentemente referida simplesmente como 'incerteza'. Risco se refere à chance de ganhar ou perder, ao invés da associação mais estreita e de bom senso com a perda.
As previsões são de importância fundamental para a tomada de decisão informada, fornecendo informações antecipadas sobre as opções de escolha disponíveis, em oposição a suposições que ocorrem quando os resultados são desconhecidos. Como a recompensa pode ser quantificada por distribuições de probabilidade de valor, as previsões de recompensa especificam o valor esperado e a variância (esperada) ou o desvio padrão da distribuição.
A pressão evolucionária favorece o processamento de informações energeticamente eficiente. Uma solução potencial é armazenar previsões sobre eventos futuros em centros cerebrais superiores e calcular nos centros cerebrais inferiores a diferença entre a nova informação ambiental e a previsão armazenada. A discrepância entre o evento real e sua previsão é chamada de erro de predição de evento. Acompanhar a situação ambiental em mudança por centros cerebrais superiores envolveria simplesmente atualizar as previsões com menos informações contendo, e consumindo menos energia, erros de previsão em vez de processar toda a informação periférica toda vez que uma pequena coisa mudou [4]. Desta forma, os centros cerebrais superiores têm acesso à informação completa sobre o mundo externo para percepções, decisões e reações comportamentais a um custo energético muito menor. Essa propriedade fundamental das previsões leva ao fenômeno observável da aprendizagem, conforme definido pelas mudanças no comportamento com base em previsões atualizadas.
A teoria da aprendizagem animal e os modelos de reforço de diferença temporal eficientes postulam que os erros de previsão de resultados são cruciais para o condicionamento pavloviano e operante [5,6]. As visões atuais conceituam o aprendizado pavloviano como qualquer forma de aquisição de predição que leva a reações vegetativas alteradas ou contrações musculares estriadas, desde que o resultado não seja condicionado à reação comportamental. Assim, as previsões de recompensas pavlovianas transmitem informações não apenas sobre o valor da recompensa (valor esperado), mas também sobre o risco (variância) de recompensas futuras, o que constitui uma extensão importante do conceito proposto por Pavlov há cem anos. A importância dos erros de previsão é baseada no efeito de bloqueio de Kamin [7], que demonstra que o aprendizado e a extinção avançam apenas na medida em que um reforçador é melhor ou pior do que o previsto; a aprendizagem diminui progressivamente à medida que a previsão se aproxima assintoticamente do valor do reforçador.
Resposta de dopamina para recompensar a recepção
A maioria dos neurônios dopaminérgicos do mesencéfalo (75-80%) mostra ativações fásicas bastante estereotipadas com latências de <100 ms e durações de <200 ms após recompensas de alimentos e líquidos temporalmente imprevisíveis (Figura (Figura 1A) .1A). Esta resposta de explosão depende da ativação e da plasticidade dos receptores glutamatérgicos NMDA e AMPA localizados nos neurônios da dopamina [8-12]. A explosão é crítica para a aprendizagem comportamental de tarefas apetitivas, como preferência de lugar condicionado e escolhas de labirinto em T para comida ou recompensa de cocaína e para respostas de medo condicionado [9].
Figura 1
Ativações fásicas da atividade de impulso neurofisiológico dos neurônios dopaminérgicos. R: Ativações fásicas após recompensas primárias. B: Ativações fásicas seguindo estímulos condicionados de predição de recompensa. C: Superior: Falta de ativação fásica após o primário (mais ...)
Código de erro de previsão de recompensa
A resposta da dopamina para recompensar a entrega parece codificar um erro de previsão; uma recompensa que é melhor do que o previsto provoca uma ativação (erro positivo de predição), uma recompensa totalmente prevista não obtém resposta e uma recompensa que é pior que o previsto induz uma depressão (erro negativo) [13-24]. Assim, a resposta da dopamina implementa completamente o termo crucial do modelo de aprendizagem Rescorla-Wagner e se assemelha ao sinal de ensino de modelos eficientes de aprendizagem de reforço de diferenças temporais [6,23].
A resposta de erro varia quantitativamente com a diferença entre o valor de recompensa recebido e o valor de recompensa esperado [18-23]. A resposta de erro de previsão é sensível ao tempo da recompensa; uma recompensa atrasada induz uma depressão no seu tempo original e uma ativação no seu novo horário [24,25]. A codificação de erro quantitativo é evidente para ativações que refletem erros de previsão positivos. Por outro lado, a depressão que ocorre com erros negativos de predição mostra naturalmente uma faixa dinâmica mais estreita, já que a atividade neuronal não pode cair abaixo de zero, e a avaliação quantitativa apropriada requer considerar todo o período de depressão [26].
Assim, os neurônios dopaminérgicos respondem apenas à recompensa na medida em que diferem da predição. Como a previsão se origina de uma recompensa previamente experimentada, os neurônios dopaminérgicos são ativados somente quando a recompensa atual é melhor que a recompensa anterior. A mesma recompensa de novo não ativará os neurônios dopaminérgicos. Se a ativação dos neurônios dopaminérgicos tiver um efeito positivo no comportamento, somente o aumento das recompensas fornecerá reforços contínuos via mecanismos dopaminérgicos. Essa pode ser uma das razões pelas quais recompensas constantes e imutáveis parecem perder sua influência estimulante e por que sempre precisamos de mais recompensa.
Testes rigorosos para codificação de erro de previsão de recompensa
A teoria de aprendizagem animal desenvolveu paradigmas formais para testar erros de previsão de recompensa. No teste de bloqueio [7], um estímulo que está emparelhado com uma recompensa totalmente prevista não pode ser aprendido e, portanto, não se torna um preditor de recompensa válido. A ausência de uma recompensa após o estímulo bloqueado não constitui um erro de previsão e não leva a uma resposta nos neurônios dopaminérgicos, mesmo após um extenso pareamento estímulo-recompensa [27]. Por outro lado, a entrega de uma recompensa após um estímulo bloqueado constitui um erro de previsão positivo e, consequentemente, induz uma ativação da dopamina.
O paradigma de inibição condicionada [28] oferece um teste adicional para erros de previsão. Na tarefa empregada em nossos experimentos, um estímulo de teste é apresentado simultaneamente a uma recompensa estabelecida que prevê estímulo, mas nenhuma recompensa é dada após o composto, fazendo com que o estímulo do teste seja um preditor da ausência de recompensa. A omissão de recompensa após tal inibidor condicionado não constitui um erro de predição negativo e, consequentemente, falha em induzir uma depressão nos neurônios dopaminérgicos [29]. Em contraste, a entrega de uma recompensa após o inibidor produz um erro de previsão positivo forte e, consequentemente, uma forte ativação da dopamina.
Os resultados desses dois testes formais confirmam que os neurônios dopaminérgicos mostram codificação bidirecional dos erros de previsão de recompensa.
Codificação de erro de previsão de recompensa adaptável
Em um sentido geral, um estímulo de previsão de recompensa especifica o valor de recompensas futuras, informando sobre a distribuição de probabilidade dos valores de recompensa. Assim, o estímulo indica o valor esperado (primeiro momento) e a variância (esperada) (segundo momento) ou desvio padrão da distribuição.
A resposta de erro de predição do valor de dopamina é sensível tanto ao primeiro como ao segundo momento da distribuição de recompensa prevista aos dois segundos após o estímulo. Em um experimento, diferentes estímulos visuais podem predizer distribuições de probabilidade binárias específicas de magnitudes de recompensas equiprováveis com diferentes valores esperados e variâncias. Como a resposta de erro de predição reflete a diferença entre o valor de recompensa obtido e esperado, a magnitude idêntica da recompensa recebida produz um aumento ou diminuição da atividade de dopamina dependendo se essa recompensa é maior ou menor que sua predição, respectivamente [23]. Esse resultado sugere que a codificação de erro de previsão de valor fornece informações relativas a um valor de referência ou âncora.
A codificação da dopamina do erro de previsão do valor da recompensa se adapta à variância ou desvio padrão da distribuição. Em uma distribuição binária de recompensas equiprováveis, a entrega de recompensa com a maior magnitude dentro de cada distribuição desencadeia a mesma ativação de dopamina com cada distribuição, apesar das diferenças de dobra 10 entre as magnitudes de recompensa obtidas (e os erros de previsão de valor resultantes) [23]. Cálculos numéricos revelam que a resposta da dopamina codifica o erro de predição do valor dividido pelo desvio padrão da distribuição prevista. Isso equivalia a uma normalização ou escalonamento efetivo da resposta de erro de previsão de valor em termos de desvio padrão, indicando quanto o valor de recompensa obtido difere do valor esperado em unidades de desvio padrão. Considerações teóricas sugerem que os sinais de ensino de erro que são escalados pela variância ou pelo desvio padrão, em vez da média, podem mediar a aprendizagem estável que é resistente ao risco previsto de resultados [30].
Resposta de dopamina para recompensar estímulos de previsão
Neurônios dopaminérgicos mostram ativações ('excitações') após recompensa prevendo estímulos visuais, auditivos e somatossensoriais (Figura (Figura 1B) 1B) [31-33]. As respostas ocorrem independentemente das modalidades sensoriais e posições espaciais dos estímulos, e independentemente dos efetores serem movimentos de braço, boca ou olhos.
As ativações aumentam monotonicamente com probabilidade de recompensa [18] e magnitude de recompensa, como volume de líquido [23]. No entanto, as respostas de dopamina não distinguem entre probabilidade de recompensa e magnitude, desde que o valor esperado seja idêntico [23]. Assim, as ativações parecem codificar o valor esperado das distribuições de probabilidade de recompensa previstas. O valor esperado é a explicação mais parcimoniosa, e o ruído nas respostas neuronais impede uma caracterização em termos de utilidade (subjetiva) esperada. Observe que o desconto temporal descrito abaixo revela codificação subjetiva e pode fornecer alguma luz sobre o problema.
A magnitude da resposta aumenta com a diminuição do tempo de reação comportamental, indicando que a resposta à dopamina é sensível à motivação do animal [19]. Nas escolhas entre diferentes valores de recompensa ou atrasos, as respostas da dopamina à apresentação das opções de escolha refletem a recompensa futura escolhida pelo animal [34] ou a maior recompensa possível de duas opções de escolha disponíveis [35].
Durante o curso da aprendizagem, a ativação da dopamina para a recompensa diminui gradualmente ao longo dos sucessivos testes de aprendizado, e uma ativação para o estímulo de previsão de recompensa se desenvolve ao mesmo tempo [36,37]. A aquisição da resposta condicionada é sensível ao bloqueio, indicando que os erros preditivos desempenham um papel na aquisição de respostas de dopamina aos estímulos condicionados [27]. A transferência de resposta para recompensar os estímulos de previsão está em conformidade com as principais características dos sinais de ensino dos modelos eficientes de reforço de diferenças temporais [38]. A mudança de resposta não envolve a retropropagação de erros de predição ao longo do intervalo estímulo-recompensa dos modelos de diferenças temporais anteriores [27,38], mas é reproduzida no modelo de diferença temporal original e nas implementações de diferenças temporais originais e mais recentes [6,37,39].
Codificação subjetiva de valor de recompensa mostrada por desconto temporal
A medida objetiva do valor subjetivo da recompensa por preferências de escolha revela que as recompensas perdem parte de seu valor quando estão atrasadas. De fato, ratos, pombos, macacos e humanos geralmente preferem recompensas menores em recompensas maiores [40-42]. Assim, o valor subjetivo da recompensa parece decair com o aumento dos atrasos de tempo, mesmo que a recompensa física e, portanto, o valor da recompensa objetiva, seja a mesma.
Medidas psicométricas de escolhas comportamentais intertemporais entre recompensas mais cedo e mais tarde ajustam a magnitude da recompensa inicial até a ocorrência de indiferença de escolha, definida como a probabilidade de escolher cada opção com p = 0.5. Assim, uma recompensa inicial mais baixa na indiferença de escolha indica um valor subjetivo mais baixo da recompensa posterior. Em nosso experimento recente em macacos, os valores de indiferença para recompensas atrasadas por 4, 8 e 16 diminuíram monotonicamente em cerca de 25%, 50% e 75%, respectivamente, comparados a uma recompensa após 2 s [43]. A diminuição ajusta uma função de desconto hiperbólica.
As respostas de dopamina para recompensar os estímulos de previsão diminuem monotonicamente através dos atrasos de recompensa de 2 para 16 [25,43], apesar da mesma quantidade física de recompensa ser entregue após cada atraso. Esses dados sugerem que os atrasos temporais afetam as respostas da dopamina para recompensar os estímulos de maneira semelhante, pois afetam o valor subjetivo da recompensa avaliado pelas escolhas intertemporais. Curiosamente, a diminuição da resposta da dopamina com atraso de recompensa é indistinguível da diminuição da resposta com menor magnitude de recompensa. Essa semelhança sugere que os atrasos temporais afetam as respostas da dopamina via mudanças no valor da recompensa. Assim, para os neurônios dopaminérgicos, as recompensas atrasadas aparecem como se fossem menores.
Assim, os neurônios dopaminérgicos parecem codificar o valor subjetivo, e não o físico, objetivo das recompensas atrasadas. Dado que a utilidade é uma medida para o valor subjetivo mais que objetivo da recompensa, a diminuição da resposta com o desconto temporal poderia sugerir que os neurônios da dopamina codificam a recompensa como utilidade (subjetiva) e não como valor (objetivo). Outras experiências podem ajudar a testar a codificação da utilidade mais diretamente.
Resposta da dopamina a estímulos aversivos
Estímulos aversivos como sopros de ar, solução salina hipertônica e choque elétrico induzem respostas de ativação ('excitatórias') em uma pequena proporção de neurônios de dopamina em animais acordados (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), e a maioria dos neurônios dopaminérgicos estão deprimidos em sua atividade ou não são influenciados por eventos aversivos (Figura (Figura 1C1C no topo). Em contraste com as recompensas, os sopros de ar não induzem respostas de erro de predição bidirecional típicas para recompensa a previsão apenas modula as ativações aversivas [45,46].
A estimulação aversiva em animais anestesiados produz respostas de ativação variadas, mas geralmente baixas, na maioria das vezes mais lentas (50% [47]; 18% [48]; 17% [49]; 14% [50]) e frequentemente depressões de atividade. Investigações neurofisiológicas com melhor identificação de neurônios dopaminérgicos confirmaram a baixa incidência geral de ativações dopaminérgicas aversivas em animais anestesiados [51] e localizaram neurônios dopaminérgicos de resposta aversiva na área tegmentar ventromedial do mesencéfalo [52].
Condicionados, estímulos de previsão de sopro de ar em macacos acordados provocam ativações na minoria de neurônios de dopamina e depressões em uma fração maior de neurônios de dopamina (11% [33]; 13% [45]; 37% [46]). As respostas depressoras anulam as poucas ativações em respostas populacionais médias de neurônios dopaminérgicos a estímulos aversivos [33] (veja Figura Figura 1C1C inferior, preto). Em um estudo, o estímulo aversivo condicionado ativou mais neurônios que o próprio sopro de ar (37% vs. 11% [46]), embora um estímulo condicionado seja menos aversivo do que o evento aversivo primário que ele prevê, como um sopro de ar. O maior número de ativações ao estímulo condicionado em comparação com o sopro de ar sugere uma relação inversa entre aversão e ativação (quanto mais aversivo o estímulo menos freqüente a ativação) ou um componente adicional não-aversivo de estímulo responsável por aumentar a proporção de ativação neurônios de 11% a 37%. Embora as ativações de estímulo tenham se correlacionado positivamente com a probabilidade de sopro de ar na população, elas não foram avaliadas em neurônios individuais [46]. Uma correlação de população pode surgir de um número relativamente pequeno de neurônios correlacionados positivamente dentro dessa população, e as ativações de estímulo verdadeiramente aversivas podem estar mais próximas de 11% do que 37%. Em outro estudo, grandes proporções de neurônios dopaminérgicos mostraram ativação fásica para estímulos aversivos condicionados quando estes foram apresentados em alternância aleatória com estímulos de previsão de recompensa da mesma modalidade sensorial (Figura 1C1C fundo, cinza) (65% [33]); eram muito menos freqüentes quando os dois tipos de estímulos condicionados tinham diferentes modalidades sensoriais (Figura 1C1C bottom, black) (11%). O próximo capítulo discutirá os fatores possivelmente subjacentes a essas ativações inexplicáveis a estímulos aversivos e outros não recompensados.
Embora alguns neurônios da dopamina sejam ativados por eventos aversivos, a maior ativação da dopamina está relacionada à recompensa. Dados obtidos com outros métodos levam a conclusões semelhantes. A voltametria de varredura rápida em ratos em comportamento mostra a liberação de dopamina estriada induzida pela recompensa e uma mudança para recompensar os estímulos de predição após o condicionamento [53], sugerindo que as respostas de impulso dos neurônios dopaminérgicos levam à liberação de dopamina correspondente das varicosidades estriatais. O aumento da dopamina dura apenas alguns segundos e, portanto, tem o menor tempo de duração de todos os métodos neuroquímicos, mais próximo da ativação eletrofisiológica. A liberação de dopamina é diferencial para recompensa (sacarose) e não ocorre com a punição (quinino) [54]. Como a voltametria avalia as médias locais da concentração de dopamina, a ausência de liberação mensurável com quinina pode esconder algumas ativações canceladas por depressões na resposta da população de dopamina [33]. Estudos usando microdiálise in vivo muito sensível detectam a liberação de dopamina após estímulos aversivos [55].
Esta resposta pode refletir uma mudança de dopamina induzida pelos poucos neurônios ativados por estímulos aversivos, embora o tempo de medição de microdiálise seja cerca de 300-500 vezes menor que a resposta ao impulso e pode ser suficiente para permitir que as interações pré-sinápticas influenciem a liberação de dopamina [56] . A interrupção do disparo de neurônios dopaminérgicos interrompe várias tarefas de aprendizado apetitivo, mas também condiciona o medo [9]. O resultado poderia sugerir uma função de aprendizado das respostas dopaminérgicas aversivas se o efeito inespecífico e geralmente incapacitante da menor concentração de dopamina for excluído, o que ainda precisa ser mostrado. A estimulação específica de neurônios dopaminérgicos por meio de métodos optogenéticos via canal-rodopsina inserida geneticamente induz condicionamento de preferência por lugar pavloviano em camundongos [57]. Em contraste, um efeito líquido aversivo da estimulação dopaminérgica teria concebido, possivelmente, aprendizado de evitação de lugar. Estes resultados confirmam a noção de uma função reforçadora positiva global dos sistemas dopaminérgicos, derivada de trabalhos anteriores de lesão, auto-estimulação elétrica e vício em drogas [1,2]. No entanto, esses argumentos postulam que nem a recompensa é a única função dos sistemas de dopamina, nem que todas as funções de recompensa envolvem neurônios de dopamina.
Ativações de dopamina fásicas que não codificam a recompensa
Os estímulos podem induzir reações de alerta e atenção quando são fisicamente importantes (saliência física) ou quando estão relacionados a reforçadores (saliência 'motivacional' ou 'afetiva'). As reações comportamentais a estímulos salientes são graduadas pela intensidade física dos estímulos e pelo valor do reforçador, respectivamente. A saliência física não depende de nenhum reforço, e a saliência motivacional não depende da valência dos reforçadores (recompensa e punição).
Respostas a estímulos fisicamente salientes
Estímulos visuais e auditivos fisicamente intensos induzem ativações em neurônios dopaminérgicos (Figura (Figura 1D) .1D). Essas respostas são reforçadas pela novidade do estímulo [58-60], mas persistem em um nível mais baixo por vários meses, desde que os estímulos sejam suficientemente intensos fisicamente. As respostas são classificadas de acordo com o tamanho dos estímulos (Figura 4 em [15]). Saliência física também pode explicar parcialmente as respostas aos punidores primários com intensidade física substancial [45]. Essas respostas podem constituir um tipo separado de resposta à dopamina relacionada à saliência física dos estímulos ambientais indutores de atenção, ou podem estar relacionadas aos atributos motivadores e reforçadores positivos de estímulos intensos e novos.
As ativações para estímulos fisicamente salientes não parecem refletir uma tendência geral dos neurônios dopaminérgicos a serem ativados por qualquer evento gerador de atenção. Em particular, outros eventos que geram grande atenção, como omissão de recompensa, inibidores condicionados e estímulos aversivos, induzem predominantemente depressões e raramente ativações de dopamina genuínas [14,29]. Assim, a ativação da dopamina por estímulos fisicamente salientes pode não constituir uma resposta geral de alerta. A resposta de recompensa provavelmente constituirá uma resposta separada que pode não refletir a atenção gerada pela relevância motivacional da recompensa.
Outras ativações de codificação sem recompensa
Outros estímulos induzem ativações em neurônios dopaminérgicos sem codificação aparente do valor da recompensa. Essas ativações são menores e mais curtas do que as respostas para recompensar os estímulos de previsão e são frequentemente seguidas por depressão quando os estímulos não são recompensados (Figura 1E1E).
Neurônios dopaminérgicos mostram ativações seguindo estímulos de controle que são apresentados em alternância pseudoaleatória com estímulos recompensados [27,29,32]. A incidência de ativações depende do número de estímulos alternativos e recompensados na tarefa comportamental; as ativações são freqüentes quando três dos quatro estímulos da tarefa são recompensados (25% -63% [27]) e se tornam raros quando apenas um dos quatro estímulos da tarefa não é recompensado (1% [29]). Essa dependência argumenta contra uma natureza puramente sensorial da resposta.
Os neurônios dopaminérgicos mostram um componente de ativação inicial bastante estereotipado para os estímulos que predizem recompensas que ocorrem após diferentes atrasos [43]. A ativação inicial varia muito pouco com o atraso de recompensa e, portanto, não parece codificar o valor da recompensa. Por outro lado, o componente de resposta subsequente diminui com o aumento dos atrasos e, portanto, com o valor de recompensa (subjetivo) dos códigos (veja acima).
Neurônios dopaminérgicos mostram ativações freqüentes após estímulos aversivos condicionados apresentados em alternância aleatória com estímulos de previsão de recompensa; as ativações desaparecem amplamente quando diferentes modalidades sensoriais são utilizadas (65% vs. 11% de neurônios [33]), sugerindo codificação de componentes de estímulo não aversivos. Mesmo quando os estímulos aversivos e apetitivos são separados em blocos experimentais diferentes, os neurônios dopaminérgicos são consideravelmente ativados por estímulos aversivos condicionados. No entanto, as ativações mais freqüentes aos estímulos condicionados, em comparação com o sopro de ar primário mais aversivo (37% vs. 11% [46]), sugerem uma relação inversa com a aversividade dos estímulos e possivelmente com componentes de resposta não aversivos.
As razões para essas diferentes ativações de dopamina podem estar na generalização, no pseudocondicionamento ou na saliência do estímulo motivacional. Generalização surge de semelhanças entre estímulos. Isso pode explicar as ativações de dopamina em várias situações, a saber, as ativações de estímulos visuais não recompensados quando estas alternam com recompensa prevendo estímulos visuais (Figura 1E1E à esquerda) e o componente de ativação inicial, pouco graduado para recompensar os estímulos de previsão de atraso A generalização pode desempenhar um papel quando estímulos com diferentes modalidades sensoriais produzem menos ativações de dopamina para estímulos não recompensados do que estímulos com as mesmas modalidades, como visto com estímulos visivos aversivos e auditivos apetitivos (Figura 27,29,32C1C bottom) [1] .
Pseudo-condicionamento pode surgir quando um reforçador primário estabelece um contexto contextual e provoca respostas comportamentais inespecíficas a quaisquer eventos dentro deste contexto [61]. Como os neurônios dopaminérgicos são muito sensíveis à recompensa, um contexto recompensador pode induzir pseudo-condicionamento a estímulos estabelecidos nesse contexto e, portanto, a uma ativação neuronal. Esse mecanismo pode estar subjacente às ativações neuronais de estímulos não recompensadores que ocorrem em um contexto recompensador, como o laboratório no qual um animal recebe recompensas diárias, independentemente de os estímulos serem apresentados em alternância aleatória com estímulos recompensados ou em blocos experimentais separados [46]. Pseudo-condicionamento pode explicar a ativação de estímulos de controle não recompensados [27,29,32], a maioria das ativações após estímulos aversivos [33,45,46] e o componente de ativação inicial, mal graduado, para recompensar os estímulos de previsão de atraso [43]. Assim, o pseudo-condicionamento pode surgir da recompensa primária, em vez de um estímulo condicionado, e afetar as ativações de dopamina para ambos os estímulos condicionados e reforços primários que ocorrem em um contexto recompensador.
Embora os estímulos com substancial saliência física pareçam impulsionar os neurônios dopaminérgicos (15,58-60) (ver acima), os estímulos que induzem ativações de dopamina codificadoras de não-recompensa são geralmente pequenos e não fisicamente muito salientes. A saliência motivacional é, por definição, comum a recompensas e punidores e, por si só, pode explicar as ativações tanto da recompensa quanto da punição em 10-20% dos neurônios dopaminérgicos. Estímulos não reforçadores podem se tornar motivacionalmente salientes através de sua proximidade com recompensa e punição por meio de pseudo-condicionamento. No entanto, as ativações de dopamina parecem ser muito mais sensíveis à recompensa do que a punição. Como a saliência motivacional envolve sensibilidade a ambos os reforçadores, a saliência motivacional adquirida por pseudo-condicionamento pode não explicar bem as ativações de dopamina que codificam a não-recompensa.
Tomadas em conjunto, muitas das activações de dopamina codificadoras de não recompensa podem ser devidas a generalização de estímulos ou, em particular, pseudo-condicionamento. No entanto, parece haver verdadeiras ativações para estímulos de controle não recompensados e para estímulos aversivos primários e condicionados em uma proporção limitada de neurônios de dopamina quando esses fatores são descartados. Experiências adicionais avaliando tais respostas devem usar controles melhores e eliminar completamente todas as associações de recompensa contextual com estímulos no laboratório.
Dada a ocorrência de ativações de codificação sem recompensa, é razoável perguntar como um animal distinguiria estímulos recompensadores de não recompensados com base em uma resposta de dopamina. O componente de resposta muito rápido, inicial, pseudocondicionado e pouco discriminativo pode fornecer um bônus temporal para facilitar reações comportamentais rápidas e padronizadas que ajudam o animal a detectar rapidamente uma recompensa potencial [62]. Por contraste, o componente de resposta imediatamente a seguir detecta a verdadeira natureza do evento através de sua ativação gradual com valor de recompensa [43] e sua freqüente depressão com estímulos não-recompensados e aversivos [27,29,32,33] (Figura (Figura1E) .1E). Além disso, o sistema de dopamina não é a única recompensa de codificação da estrutura cerebral, e outros sistemas neuronais, como o córtex orbitofrontal, o estriado e a amígdala, podem fornecer informações discriminatórias adicionais.
Sinal de risco de recompensa de dopamina
Se um sinal de recompensa reflete o erro médio de previsão de recompensa escalado pelo desvio padrão das distribuições de probabilidade de recompensa, e se considerarmos o desvio padrão como uma medida de risco, pode haver um sinal neuronal direto para o risco? Quando as probabilidades de recompensa variam de 0 a 1 e a magnitude da recompensa permanece constante, o valor médio de recompensa aumenta monotonicamente com probabilidade, enquanto a quantidade de risco segue uma função U invertida com um pico em p = 0.5 (Figura 2,2, inset). 0.5, existe exatamente tanta chance de obter uma recompensa quanto a falta de uma recompensa, enquanto probabilidades maiores e menores do que p = 0.5 tornam os ganhos e perdas mais certos, respectivamente, e, portanto, estão associados a menor risco.
Figura 2
Ativações sustentadas relacionadas ao risco. A resposta ao risco ocorre durante o intervalo estímulo-recompensa (seta) subsequentemente à ativação fásica, valor relacionado ao estímulo (triângulo). A inserção, no canto superior direito, mostra que o risco (ordenada) varia de acordo com (mais ...)
Cerca de um terço dos neurônios dopaminérgicos mostram uma ativação relativamente lenta, moderada e estatisticamente significativa, que aumenta gradualmente durante o intervalo entre a recompensa que prevê o estímulo e a recompensa; esta resposta varia monotonicamente com o risco (Figura (Figura 2) 2) [18]. A ativação ocorre em ensaios individuais e não parece constituir uma resposta de erro de previsão propagando-se de recompensa para o estímulo de previsão de recompensa. A ativação também aumenta monotonicamente com desvio padrão ou variância quando são usadas distribuições binárias de diferentes magnitudes de recompensas iguais a zero. Assim, o desvio padrão ou a variância parecem ser medidas viáveis para o risco codificado pelos neurônios dopaminérgicos. Activações relacionadas com o risco têm latências mais longas (cerca de 1 s), cursos de tempo mais lentos e picos mais baixos em comparação com as respostas de valor de recompensa a estímulos e recompensas.
Devido à sua menor magnitude, o sinal de risco provavelmente induzirá menor liberação de dopamina nas varicosidades de dopamina em comparação com as ativações mais fásicas que codificam o valor de recompensa. A concentração relativamente baixa de dopamina, possivelmente induzida pelo sinal de risco, pode ativar os receptores D2, que estão principalmente em um estado de alta afinidade, mas não nos receptores D1 de baixa afinidade [63]. Em contraste, a maior resposta do valor de recompensa fásica pode levar a mais concentrações de dopamina suficientes para ativar brevemente os receptores D1 em seu estado de afinidade mais baixo. Assim, os dois sinais podem ser diferenciados pelos neurônios pós-sinápticos com base nos diferentes receptores de dopamina ativados. Além disso, o valor da dopamina e os sinais de risco juntos levariam à ativação quase simultânea dos receptores D1 e D2 que, em muitas situações normais e clínicas, é essencial para funções adequadas dependentes da dopamina.
Um sinal de risco de dopamina pode ter várias funções. Primeiro, ele poderia influenciar o escalonamento da resposta de erro de predição imediatamente a seguir por desvio padrão imediatamente após a recompensa [23]. Segundo, poderia aumentar a liberação de dopamina induzida pela resposta de erro de predição imediatamente seguinte. Como o risco induz a atenção, o aprimoramento de um potencial sinal de ensino por risco seria compatível com o papel da atenção na aprendizagem de acordo com as teorias de aprendizagem de associabilidade [64,65]. Terceiro, poderia fornecer uma entrada para as estruturas cerebrais envolvidas na avaliação do risco de recompensa per se. Quarto, ele poderia combinar com um sinal de valor econômico esperado para representar informações consideráveis sobre a utilidade esperada em indivíduos sensíveis ao risco de acordo com a abordagem de média-variância na teoria de decisão financeira [66]. No entanto, a latência de cerca de 1 s é muito longa para que o sinal desempenhe um papel instantâneo nas escolhas sob incerteza.
Interesses concorrentes
O autor declara que ele não tem interesses conflitantes.
Contribuições dos autores
WS escreveu o jornal.
Agradecimentos
Esta revisão foi escrita por ocasião do Simpósio sobre Transtorno do Déficit de Atenção e Hiperatividade (TDAH) em Oslo, Noruega, fevereiro 2010. Nosso trabalho foi apoiado pelo Wellcome Trust, Fundação Nacional de Ciência da Suíça, Human Frontiers Science Programme e outras agências de subsídios e bolsas de estudo.
Referências
1. Wise RA, Rompre PP. Dopamina cerebral e recompensa. Ann Rev Psychol. 1989; 40: 191 – 225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Sistemas neurais de reforço para dependência de drogas: das ações aos hábitos à compulsão. Nat Neurosci. 2005; 8: 1481 – 1489. doi: 10.1038 / nn1579. [PubMed] [referência cruzada]
3. Bernoulli D. Espécime theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Papers Imp. Acad. Sci. São Petersburgo) 1738; 5: 175-192. Traduzido como: Exposição de uma nova teoria sobre a mensuração do risco. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Codificação preditiva no córtex visual: uma interpretação funcional de alguns efeitos de campo receptivo extra-clássico. Nat Neurosci. 1999; 2: 79 – 87. doi: 10.1038 / 4580. [PubMed] [referência cruzada]
5. Rescorla RA, Wagner AR. Em: Condicionamento Clássico II: Pesquisa Atual e Teoria. Preto AH, Prokasy WF, editor. Nova Iorque: Appleton Century Crofts; 1972. Uma teoria do condicionamento pavloviano: Variações na efetividade do reforço e não-reforço; pp. 64 – 99.
6. Sutton RS, Barto AG. Para uma teoria moderna de redes adaptativas: expectativa e previsão. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [referência cruzada]
7. Kamin LJ. In: Questões Fundamentais em Aprendizagem Instrumental. Mackintosh NJ, Honig WK, editor. Halifax: Dalhousie University Press; 1969. Associação seletiva e condicionamento; pp. 42 – 64.
8. Blythe SN, Atherton JF, Bevan MD. A ativação sináptica dos receptores dendríticos AMPA e NMDA gera queima de alta frequência transitória em neurônios de dopamina substantia nigra in vitro. J Neurophysiol. 2007; 97: 2837 – 2850. doi: 10.1152 / jn.01157.2006. [PubMed] [referência cruzada]
9. Zweifel LS, JG Parker, CJ Lobb, A água da chuva, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, CA Paladini, Phillips PEM, Palmiter RD. O rompimento da queima de rajada dependente de NMDAR por neurônios de dopamina fornece uma avaliação seletiva do comportamento dependente de dopamina fásica. Proc Natl Acad Sci. 2009; 106: 7281 – 7288. doi: 10.1073 / pnas.0813415106. [Artigo livre de PMC] [PubMed] [referência cruzada]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Plasticidade dependente do tempo de ruptura da transmissão mediada por receptores NMDA em neurônios dopaminérgicos mesencéfalos. Neurônio 2009; 62: 826 – 838. doi: 10.1016 / j.neuron.2009.05.011. [Artigo livre de PMC] [PubMed] [referência cruzada]
11. Jones S, Bonci A. Plasticidade sináptica e toxicodependência. Curr Opin Pharmacol. 2005; 5: 20 – 25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [referência cruzada]
12. Kauer JA, Malenka RC. Plasticidade sináptica e dependência. Nat Rev Neurosci. 2007; 8: 844 – 858. doi: 10.1038 / nrn2234. [PubMed] [referência cruzada]
13. Ljungberg T, Apicella P, Schultz W. Respostas dos neurônios dopaminérgicos do mesencéfalo do macaco durante o desempenho de alternância atrasada. Cérebro Res. 1991; 586: 337 – 341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz W, Apicella P, Ljungberg T. Respostas de neurônios de dopamina de macaco para recompensar e condicionar estímulos durante etapas sucessivas de aprendizagem de uma tarefa de resposta retardada. J Neurosci. 1993; 13: 900 – 913. [PubMed]
15. Schultz W. Sinal de recompensa preditivo dos neurônios dopaminérgicos. J Neurophysiol. 1998; 80: 1 – 27. [PubMed]
16. Schultz W, Dayan P, Montague RR. Um substrato neural de predição e recompensa. Ciência. 1997; 275: 1593 – 1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [referência cruzada]
17. Hollerman JR, Schultz W. Neurônios de dopamina relatam um erro na predição temporal de recompensa durante o aprendizado. Natureza Neurosci. 1998; 1: 304 – 309. doi: 10.1038 / 1124. [PubMed] [referência cruzada]
18. Fiorillo CD, Tobler PN, Schultz W. Codificação discreta da probabilidade de recompensa e incerteza pelos neurônios dopaminérgicos. Ciência. 2003; 299: 1898 – 1902. doi: 10.1126 / science.1077349. [PubMed] [referência cruzada]
19. Satoh T, Nakai S, Sato T, Kimura M. Codificação correlacionada de motivação e resultado de decisão por neurônios de dopamina. J Neurosci. 2003; 23: 9913 – 9923. [PubMed]
20. Morris G, Arkadir D, Nevet A, E Vaadia, Bergman H. Mensagens coincidentes mas distintas de dopamina mesencéfalo e neurônios tonicamente ativos estriados. Neurônio 2004; 43: 133 – 143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [referência cruzada]
21. Os neurônios Nakahara H, Itoh H, Kawagoe R, Takikawa Y e Hikosaka O. Dopamina podem representar um erro de predição dependente do contexto. Neurônio 2004; 41: 269 – 280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [referência cruzada]
22. Bayer HM, Glimcher PW. Os neurônios dopaminérgicos mesencéfalos codificam um sinal de erro de previsão de recompensa quantitativa. Neurônio 2005; 47: 129 – 141. doi: 10.1016 / j.neuron.2005.05.020. [Artigo livre de PMC] [PubMed] [referência cruzada]
23. Tobler PN, Fiorillo CD, Schultz W. Codificação adaptativa do valor de recompensa pelos neurônios dopaminérgicos. Ciência. 2005; 307: 1642 – 1645. doi: 10.1126 / science.1105370. [PubMed] [referência cruzada]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Os neurônios humanos substantia nigra codificam recompensas financeiras inesperadas. Ciência. 2009; 323: 1496 – 1499. doi: 10.1126 / science.1167342. [Artigo livre de PMC] [PubMed] [referência cruzada]
25. Fiorillo CD, Newsome WT, Schultz W. A precisão temporal da previsão de recompensa em neurônios dopaminérgicos. Nat Neurosci. 2008; 11: 966 – 973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Estatísticas do pico de neurônios dopaminérgicos treinam no primata acordado. J Neurophysiol. 2007; 98: 1428 – 1439. doi: 10.1152 / jn.01140.2006. [PubMed] [referência cruzada]
27. As respostas de Waelti P, Dickinson A, Schultz W. Dopamina cumprem as suposições básicas da teoria da aprendizagem formal. Natureza. 2001; 412: 43 – 48. doi: 10.1038 / 35083500. [PubMed] [referência cruzada]
28. Rescorla RA. Inibição condicionada pavloviana. Psychol Bull. 1969; 72: 77 – 94. doi: 10.1037 / h0027760.
29. Tobler PN, Dickinson A, Schultz W. Codificação da omissão de recompensa prevista pelos neurônios dopaminérgicos em um paradigma de inibição condicionada. J Neurosci. 2003; 23: 10402 – 10410. [PubMed]
30. Preuschoff, Bossaerts P. Adicionando risco de previsão à teoria da aprendizagem de recompensa. Ann NY Acad Sci. 2007; 1104: 135 – 146. doi: 10.1196 / annals.1390.005. [PubMed] [referência cruzada]
31. Romo R, Schultz W. Neurônios dopaminérgicos do mesencéfalo do macaco: Contingências de respostas ao toque ativo durante movimentos auto-iniciados do braço. J Neurophysiol. 1990; 63: 592 – 606. [PubMed]
32. Schultz W, Romo R. Neurônios da dopamina do mesencéfalo do macaco: Contingências de respostas a estímulos provocando reações comportamentais imediatas. J Neurophysiol. 1990; 63: 607 – 624. [PubMed]
33. Mirenowicz J, Schultz W. Ativação preferencial de neurônios dopaminérgicos mesencefálicos por estímulos apetitivos, e não aversivos. Natureza. 1996; 379: 449 – 451. doi: 10.1038 / 379449a0. [PubMed] [referência cruzada]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Os neurônios de dopamina Midbrain codificam as decisões para ação futura. Nat Neurosci. 2006; 9: 1057 – 1063. doi: 10.1038 / nn1743. [PubMed] [referência cruzada]
35. Roesch MR, Calu DJ, Schoenbaum G. Os neurônios dopaminérgicos codificam a melhor opção em ratos que decidem entre recompensas diferentemente retardadas ou dimensionadas. Nat Neurosci. 2007; 10: 1615 – 1624. doi: 10.1038 / nn2013. [Artigo livre de PMC] [PubMed] [referência cruzada]
36. Takikawa Y, Kawagoe R, Hikosaka O. Um possível papel dos neurônios dopaminérgicos mesencefálicos na adaptação de sacadas a curto e longo prazo ao mapeamento de recompensa por posição. J Neurophysiol. 2004; 92: 2520 – 2529. doi: 10.1152 / jn.00238.2004. [PubMed] [referência cruzada]
37. Pan WX, Schmidt R, Jens Wickens, Hyland BI. As células dopaminérgicas respondem aos eventos previstos durante o condicionamento clássico: evidência de traços de elegibilidade na rede de recompensa-aprendizagem. J Neurosci. 2005; 25: 6235 – 6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [referência cruzada]
38. Montague PR, Dayan P, Sejnowski TJ. Uma estrutura para sistemas de dopamina mesencefálica baseada na aprendizagem preditiva de Hebbian. J Neurosci. 1996; 16: 1936 – 1947. [PubMed]
39. Suri R, Schultz W. Uma rede neural com sinal de reforço semelhante à dopamina que aprende uma tarefa de resposta espacial retardada. Neurociência. 1999; 91: 871 – 890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [referência cruzada]
40. Ainslie G. Recompensas vantajosas: uma teoria comportamental da impulsividade e controle de impulsos. Psych Bull. 1975; 82: 463 – 496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Ajustando o atraso ao reforço: comparando a escolha entre pombos e humanos. J Exp Psychol Anim Behav Process. 1988; 14: 105 – 117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [referência cruzada]
42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Determinação das funções de desconto em ratos com um procedimento de ajuste de valor. J Exp Anal Behav. 1997; 67: 353 – 366. doi: 10.1901 / jeab.1997.67-353. [Artigo livre de PMC] [PubMed] [referência cruzada]
43. Kobayashi S, Schultz W. A influência de atraso de recompensa em respostas de neurônios de dopamine. J Neurosci. 2008; 28: 7837 – 7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [referência cruzada]
44. Guarraci FA, Kapp BS. Caracterização eletrofisiológica dos neurônios dopaminérgicos da área tegmentar ventral durante o condicionamento diferencial do medo pavloviano no coelho acordado. Behav Brain Res. 1999; 99: 169 – 179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [referência cruzada]
45. Os neurônios dopaminérgicos de Midbrain e os interneurônios estriatérgicos do estriado codificam a diferença entre os eventos de recompensa e aversão em diferentes épocas de experimentos de condicionamento clássico probabilístico. J Neurosci. 2008; 28: 1673 – 11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. Dois tipos de neurônios dopaminérgicos transmitem distintamente sinais motivacionais positivos e negativos. Natureza. 2009; 459: 837 – 841. doi: 10.1038 / nature08028. [Artigo livre de PMC] [PubMed] [referência cruzada]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Estímulos sensoriais alteram a taxa de descarga de neurônios dopaminérgicos (DA): Evidência de dois tipos funcionais de células DA na substantia nigra. Cérebro Res. 1980; 189: 544 – 549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [referência cruzada]
48. Mantz J, Thierry AM, Glowinski J. Efeito da pinça nociva na taxa de descarga dos neurônios dopaminérgicos mesocorticais e mesolímbicos: ativação seletiva do sistema mesocortical. Cérebro Res. 1989; 476: 377 – 381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [referência cruzada]
49. Schultz W, Romo R. Respostas dos neurônios dopaminérgicos nigrostriatais à estimulação somatossensorial de alta intensidade no macaco anestesiado. J Neurophysiol. 1987; 57: 201 – 217. [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. As respostas nociceptivas dos neurônios dopaminérgicos do mesencéfalo são moduladas pelo colículo superior no rato. Neurociência. 2006; 139: 1479 – 1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [referência cruzada]
51. MTC marrom, Henny P, Bolam JP, Magill PJ. Atividade de neurônios dopaminérgicos neuroquimicamente heterogêneos na substantia nigra durante mudanças espontâneas e dirigidas no estado cerebral. J Neurosci. 2009; 29: 2915 – 2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [referência cruzada]
52. Brischoux F, Chakraborty S, Brierley DI, MA inculpável. Excitação fásica de neurônios dopaminérgicos na ATV ventral por estímulos nocivos. Proc Natl Acad Sci EUA. 2009; 106: 4894 – 4899. doi: 10.1073 / pnas.0811507106. [Artigo livre de PMC] [PubMed] [referência cruzada]
53. Dia JJ, Roitman MF, RM Wightman, Carelli RM. O aprendizado associativo medeia mudanças dinâmicas na sinalização da dopamina no nucleus accumbens. Nat Neurosci. 2007; 10: 1020 – 1028. doi: 10.1038 / nn1923. [PubMed] [referência cruzada]
54. Roitman MF, Wheeler RA, RM Wightman, Carelli RM. Respostas químicas em tempo real no núcleo accumbens diferenciam estímulos recompensadores e aversivos. Nat Neurosci. 2008; 11: 1376 – 1377. doi: 10.1038 / nn.2219. [PubMed] [referência cruzada]
55. Jovem AMJ. Aumento da dopamina extracelular no nucleus accumbens em resposta a estímulos aversivos incondicionados e condicionados: estudos utilizando a microdiálise 1 min em ratos. J Neurosci Meth. 2004; 138: 57 – 63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Schultz W. Múltiplas funções da dopamina em diferentes cursos de tempo. Ann Rev Neurosci. 2007; 30: 259 – 288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [referência cruzada]
57. Tsai HC, F de Zhang, Adamantidis A, Stuber GD, Bonci A, De Lecea L, Deisseroth K. O fogo fásico em neurônios dopaminérgicos é suficiente para o condicionamento comportamental. Ciência. 2009; 324: 1080 – 1084. doi: 10.1126 / science.1168878. [PubMed] [referência cruzada]
58. Strecker RE, Jacobs BL. Atividade da unidade dopaminérgica de Substantia nigra em gatos que se comportam: Efeito do despertar na descarga espontânea e atividade sensorial evocada. Cérebro Res. 1985; 361: 339 – 350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [referência cruzada]
59. Ljungberg T, Apicella P, Schultz W. Respostas de neurônios de dopamina de macaco durante a aprendizagem de reações comportamentais. J Neurophysiol. 1992; 67: 145 – 163. [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. A atividade de explosão dos neurônios de dopamina ventral tegmentar é desencadeada por estímulos sensoriais no gato acordado. Cérebro Res. 1997; 759: 251 – 258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [referência cruzada]
61. Sheafor PJ. Movimentos pseudocondicionados da mandíbula do coelho refletem associações condicionadas a pistas contextuais de fundo. J Exp Psychol: Anim Behav Proc. 1975; 104: 245 – 260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamine: generalização e bônus. Neural Netw. 2002; 15: 549 – 559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [referência cruzada]
63. Richfield EK, Pennney JB, Young AB. Comparações anatômicas e de afinidade entre os receptores dopaminérgicos D1 e D2 no sistema nervoso central de ratos. Neurociência. 1989; 30: 767 – 777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [referência cruzada]
64. Mackintosh NJ. Uma teoria da atenção: Variações na associabilidade de estímulos com reforço. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65. Pearce JM, Hall G. Um modelo para o condicionamento pavloviano: variações na eficácia dos estímulos condicionados, mas não incondicionados. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [referência cruzada]
66. Levy H, Markowitz HM. Aproximando a utilidade esperada por uma função de média e variância. Am Econ Rev. 1979; 69: 308 – 317.