Sinal de recompensa preditivo de neurônios dopaminérgicos (1998)

Funções de recompensas

Certos objetos e eventos no ambiente são de particular significado motivacional por seus efeitos no bem-estar, sobrevivência e reprodução. De acordo com as reações comportamentais elicitadas, o valor motivacional dos objetos ambientais pode ser apetitivo (recompensador) ou aversivo (punir). (Observe que "apetitivo" é usado como sinônimo de "recompensador", mas não como "preparatório"). Objetos apetitosos têm três funções básicas separáveis. Em sua primeira função, as recompensas suscitam a abordagem e o comportamento consumatório. Isso se deve ao fato de os objetos serem rotulados com valor apetitivo por meio de mecanismos inatos ou, na maioria dos casos, de aprendizado. Em sua segunda função, as recompensas aumentam a frequência e a intensidade do comportamento que leva a tais objetos (aprendizado) e mantêm o comportamento aprendido evitando a extinção. As recompensas servem como reforços positivos de comportamento nos procedimentos de condicionamento clássico e instrumental. Em geral, incentivo à aprendizagem, os estímulos ambientais adquirem valor apetitivo seguindo associações de estímulo-recompensa classicamente condicionadas e induzem comportamento de aproximação (Bindra 1968). No condicionamento instrumental, recompensas “reforçam” comportamentos fortalecendo associações entre estímulos e respostas comportamentais (Lei de Efeito: Thorndike 1911). Esta é a essência de "voltar para mais" e está relacionada com a noção comum de recompensas obtidas por ter feito algo bem. Numa forma instrumental de aprendizagem de incentivo, as recompensas são “incentivos” e servem como objetivos de comportamento após associações entre respostas comportamentais e resultados (Dickinson e Balleine 1994). Em sua terceira função, as recompensas induzem sentimentos subjetivos de prazer (hedonia) e estados emocionais positivos. Os estímulos aversivos funcionam em direções opostas. Eles induzem respostas de abstinência e atuam como reforçadores negativos, aumentando e mantendo o comportamento de evitação em apresentações repetidas, reduzindo assim o impacto de eventos prejudiciais. Além disso, induzem estados emocionais internos de raiva, medo e pânico.

Funções de previsões

As previsões fornecem informações antecipadas sobre estímulos futuros, eventos ou estados do sistema. Eles fornecem a vantagem básica de ganhar tempo para reações comportamentais. Algumas formas de predição atribuem valores motivacionais a estímulos ambientais por associação com resultados particulares, identificando, assim, objetos de importância vital e discriminando-os de objetos menos valiosos. Outras formas codificam parâmetros físicos de objetos previstos, como posição espacial, velocidade e peso. As previsões permitem que um organismo avalie eventos futuros antes que eles realmente ocorram, permita a seleção e a preparação de reações comportamentais e aumente a probabilidade de abordar ou evitar objetos rotulados com valores motivacionais. Por exemplo, movimentos repetidos de objetos na mesma sequência permitem prever posições futuras e preparar o próximo movimento enquanto perseguem o objeto presente. Isso reduz o tempo de reação entre alvos individuais, acelera o desempenho geral e resulta em um resultado anterior. Os movimentos oculares preditivos melhoram o desempenho comportamental por meio de focalização antecipada (Flores e Downing 1978).

Em um nível mais avançado, as informações antecipadas fornecidas pelas previsões permitem que se tomem decisões entre alternativas para atingir determinados estados do sistema, abordar objetos objetivos que ocorrem com pouca freqüência ou evitar efeitos adversos irreparáveis. As aplicações industriais usam o Internal Model Control para prever e reagir aos estados do sistema antes que eles realmente ocorram (Garcia et al. 1989). Por exemplo, a técnica “fly-by-wire” na aviação moderna calcula estados futuros de aviões previsíveis. Decisões para manobras de vôo levam em conta essas informações e ajudam a evitar o desgaste excessivo dos componentes mecânicos do avião, reduzindo assim o peso e aumentando a faixa de operação.

O uso de informações preditivas depende da natureza dos eventos futuros ou estados do sistema representados. Representações simples dizem respeito diretamente à posição dos próximos alvos e à reação comportamental resultante, reduzindo assim o tempo de reação de uma maneira bastante automática. Formas mais altas de previsões são baseadas em representações que permitem inferência lógica, que pode ser acessada e tratada com diferentes graus de intencionalidade e escolha. Eles geralmente são processados ​​conscientemente em humanos. Antes que ocorram os eventos previstos ou estados do sistema e sejam realizadas reações comportamentais, tais previsões permitem avaliar mentalmente várias estratégias integrando o conhecimento de diferentes fontes, projetando várias formas de reação e comparando os ganhos e perdas de cada reação possível.

Condicionamento Comportamental

Aprendizagem apetitiva associativa envolve o emparelhamento repetido e contingente entre um estímulo arbitrário e uma recompensa primária (Fig. 1). Isso resulta em um comportamento de aproximação cada vez mais frequente, induzido pelo estímulo agora “condicionado”, que se assemelha, em parte, ao comportamento de abordagem suscitado pela recompensa primária e também é influenciado pela natureza do estímulo condicionado. Parece que o estímulo condicionado serve como um preditor de recompensa e, muitas vezes com base em um impulso apropriado, estabelece um estado motivacional interno que leva à reação comportamental. A similaridade das reações de aproximação sugere que alguns dos componentes gerais e preparatórios da resposta comportamental são transferidos da recompensa primária para o primeiro estímulo condicionado, preditor de recompensa. Assim, o estímulo condicionado age parcialmente como um substituto motivacional para o estímulo primário, provavelmente através da aprendizagem pavloviana (Dickinson 1980).

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 1. 

Processamento de estímulos apetitivos durante a aprendizagem. Um estímulo arbitrário torna-se associado a um alimento primário ou a uma recompensa líquida por meio do emparelhamento repetitivo e contingente. Esse estímulo condicionado, com previsão de recompensa, induz um estado motivacional interno, evocando uma expectativa de recompensa, muitas vezes com base em uma fome ou sede de sede correspondente, e induz a reação comportamental. Este esquema replica as noções básicas de teoria de motivação de incentivo desenvolvidas por Bindra (1968) e Bolles (1972). Aplica-se ao condicionamento clássico, em que a recompensa é automaticamente entregue após o estímulo condicionado e ao condicionamento instrumental (operante), em que a entrega de recompensa requer uma reação do sujeito ao estímulo condicionado. Este esquema aplica-se também ao condicionamento aversivo que não é mais elaborado por razões de brevidade.

Muitas das chamadas recompensas de comida e líquido “incondicionadas” provavelmente são aprendidas através da experiência, como todo visitante de países estrangeiros pode confirmar. A recompensa primária, então, pode consistir no sabor experimentado quando o objeto ativa os receptores gustativos, mas isso de novo pode ser aprendido. O efeito final de recompensa de objetos nutrientes consiste provavelmente em suas influências específicas em variáveis ​​biológicas básicas, tais como concentrações de eletrólitos, glicose ou aminoácidos no plasma e no cérebro. Essas variáveis ​​são definidas pelas necessidades vegetativas do organismo e surgem através da evolução. Os animais evitam nutrientes que não influenciam variáveis ​​vegetativas importantes, por exemplo, alimentos que não possuem aminoácidos essenciais como a histidina (Rogers e Harper 1970), treonina (Hrupka et al. 1997; Wang et al. 1996) ou metionina (Delaney e Gelperin 1986). Algumas recompensas primárias podem ser determinadas por instintos inatos e apoiar o comportamento de abordagem inicial e ingestão no início da vida, enquanto a maioria das recompensas seria aprendida durante a experiência de vida subsequente do sujeito. A aparência física das recompensas poderia então ser usada para prever os efeitos vegetativos mais lentos. Isso aceleraria dramaticamente a detecção de recompensas e constituiria uma grande vantagem para a sobrevivência. O aprendizado de recompensas também permite que os sujeitos usem uma variedade muito maior de nutrientes como recompensas eficazes e, assim, aumentem suas chances de sobrevivência em zonas de recursos escassos.

Ativação por estímulos primitivos de apetite

Cerca de 75% dos neurônios dopaminérgicos mostram ativações fásicas quando os animais tocam um pequeno pedaço de alimento escondido durante movimentos exploratórios na ausência de outros estímulos fásicos, sem serem ativados pelo próprio movimento (Romo e Schultz 1990). Os neurônios restantes da dopamina não respondem a nenhum dos estímulos ambientais testados. Os neurônios dopaminérgicos também são ativados por uma gota de líquido entregue na boca, fora de qualquer tarefa comportamental ou enquanto aprendem diferentes paradigmas como tarefas de tempo de reação visual ou auditivo, resposta ou alternância espacial retardada e discriminação visual, muitas vezes no mesmo animal. . 2 top) (Hollerman e Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz e Schultz 1994; Schultz et al. 1993). As respostas de recompensa ocorrem independentemente de um contexto de aprendizagem. Assim, os neurônios dopaminérgicos não parecem discriminar entre diferentes objetos alimentares e recompensas líquidas. No entanto, suas respostas distinguem recompensas de objetos não recompensados ​​(Romo e Schultz 1990). Apenas 14% dos neurônios dopaminérgicos mostram as ativações fásicas quando estímulos aversivos primários são apresentados, como um sopro de ar para a mão ou solução salina hipertônica para a boca, e a maioria dos neurônios ativados também responde a recompensas (Mirenowicz e Schultz 1996). Apesar de não serem nocivos, esses estímulos são aversivos na medida em que perturbam o comportamento e induzem reações de evitação ativa. No entanto, os neurônios dopaminérgicos não são totalmente insensíveis aos estímulos aversivos, como mostrado por depressões lentas ou ocasionais ativações lentas após estímulos dolorosos em macacos anestesiados (Schultz e Romo 1987) e pelo aumento da liberação de dopamina no estriado após choque elétrico e pitada de cauda em ratos acordados (Abercrombie et al. 1989; Doherty e Gratton 1992; Louilot et al. 1986; Young et al. 1993). Isso sugere que as respostas fásicas dos neurônios dopaminérgicos relatam, preferencialmente, estímulos ambientais com valor apetitivo primário, ao passo que os eventos aversivos podem ser sinalizados com um curso de tempo consideravelmente mais lento.

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 2. 

Neurônios de dopamina relatam recompensas de acordo com um erro na previsão de recompensa. Soutien: a gota do líquido ocorre embora nenhuma recompensa esteja prevista neste momento. Ocorrência de recompensa, portanto, constitui um erro positivo na previsão de recompensa. O neurônio da dopamina é ativado pela ocorrência imprevisível do líquido. Coração: estímulo condicionado prevê uma recompensa, e a recompensa ocorre de acordo com a previsão, portanto, nenhum erro na previsão de recompensa. O neurônio dopaminérgico não é ativado pela recompensa prevista (certo). Ele também mostra uma ativação após o estímulo de previsão de recompensa, que ocorre independentemente de um erro na predição da recompensa posterior (esquerda). Tanga: estímulo condicionado prediz uma recompensa, mas a recompensa deixa de ocorrer devido à falta de reação do animal. A atividade do neurônio dopaminérgico é deprimida exatamente no momento em que a recompensa teria ocorrido. Observe a depressão ocorrendo> 1 s após o estímulo condicionado, sem nenhum estímulo intermediário, revelando um processo interno de expectativa de recompensa. A atividade neuronal nos 3 gráficos segue a equação: resposta à dopamina (recompensa) = recompensa ocorrida - recompensa prevista. CS, estímulo condicionado; R, recompensa principal. Reimpresso de Schultz et al. (1997) com permissão da Associação Americana para o Avanço da Ciência.

Imprevisibilidade da recompensa

Uma característica importante das respostas à dopamina é sua dependência da imprevisibilidade do evento. As ativações após as recompensas não ocorrem quando as recompensas de alimentos e líquidos são precedidas por estímulos fásicos que foram condicionados a prever tais recompensas (Fig. 2, meio) (Ljungberg et al. 1992; Mirenowicz e Schultz 1994; Romo e Schultz 1990). Uma diferença crucial entre o aprendizado e o comportamento totalmente adquirido é o grau de imprevisibilidade da recompensa. Os neurônios dopaminérgicos são ativados por recompensas durante a fase de aprendizado, mas param de responder após a aquisição total das tarefas do tempo de reação visual e auditivo (Ljungberg et al. 1992; Mirenowicz e Schultz 1994), tarefas de resposta espacial retardada (Schultz et al. 1993) e discriminações visuais simultâneas (Hollerman e Schultz 1996). A perda de resposta não é devida a uma insensibilidade generalizada em relação às recompensas, já que as ativações após recompensas entregues fora das tarefas não diminuem durante vários meses de experimentação (Mirenowicz e Schultz 1994). A importância da imprevisibilidade inclui o tempo de recompensa, como demonstrado por ativações transitórias após recompensas que são repentinamente entregues antes ou depois do previsto (Hollerman e Schultz 1996). Tomados em conjunto, a ocorrência de recompensa, incluindo seu tempo, deve ser imprevisível para ativar os neurônios dopaminérgicos.

Depressão por omissão de recompensa prevista

Os neurônios dopaminérgicos são deprimidos exatamente no momento da ocorrência usual de recompensa quando uma recompensa totalmente prevista não ocorre, mesmo na ausência de um estímulo imediatamente anterior (Fig. 2, fundo). Isto é observado quando os animais não obtêm recompensa por causa de um comportamento errôneo, quando o fluxo de líquido é interrompido pelo experimentador apesar do comportamento correto, ou quando uma válvula abre audivelmente sem fornecer líquido (Hollerman e Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). Quando a entrega de recompensa é atrasada para 0.5 ou 1.0 s, ocorre uma depressão da atividade neuronal no tempo regular da recompensa, e uma ativação segue a recompensa no novo horário (Hollerman e Schultz 1996). Ambas as respostas ocorrem apenas durante algumas repetições até que o novo horário de entrega da recompensa seja novamente previsto. Em contrapartida, entregar recompensa mais cedo do que o habitual resulta em uma ativação no novo período de recompensa, mas não induz uma depressão no tempo habitual. Isso sugere que uma entrega de recompensas excepcionalmente antecipada cancela a previsão de recompensa pelo tempo habitual. Assim, os neurônios da dopamina monitoram a ocorrência e o tempo da recompensa. Na ausência de estímulos imediatamente anteriores à recompensa omitida, as depressões não constituem uma resposta neuronal simples, mas refletem um processo de expectativa baseado em um relógio interno que monitora o tempo exato da recompensa prevista.

Ativação por estímulos condicionados e preditivos de recompensa

Sobre o 55-70% dos neurônios dopaminérgicos são ativados por estímulos visuais e auditivos condicionados nas várias tarefas condicionadas clássica ou instrumentalmente descritas anteriormente (Fig. 2, meio e fundo) (Hollerman e Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz e Schultz 1994; Schultz 1986; Schultz e Romo 1990; P. Waelti, J. Mirenowicz e W. Schultz, dados não publicados). As primeiras respostas de dopamina à luz condicionada foram relatadas Miller et al. (1981) em ratos tratados com haloperidol, que aumentaram a incidência e a atividade espontânea dos neurônios dopaminérgicos, mas resultaram em respostas mais sustentadas do que nos animais não-medicamentosos. Embora as respostas ocorram próximas a reações comportamentais (Nishino et al. 1987), não estão relacionados com os movimentos do braço e dos olhos, pois também ocorrem ipsilaterais ao braço móvel e em tentativas sem movimentos de braços ou olhos (Schultz e Romo 1990). Estímulos condicionados são um pouco menos efetivos que recompensas primárias em termos de magnitude de resposta e frações de neurônios ativados. Os neurônios dopaminérgicos respondem apenas ao início dos estímulos condicionados e não ao seu deslocamento, mesmo que o estímulo compensado preveja a recompensa (Schultz e Romo 1990). Os neurônios dopaminérgicos não distinguem entre as modalidades visual e auditiva dos estímulos apetitivos condicionados. No entanto, eles discriminam entre estímulos apetitivos e neutros ou aversivos, desde que sejam fisicamente suficientemente diferentes (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz e W. Schultz, dados não publicados). Apenas 11% de neurônios dopaminérgicos, a maioria com respostas apetitivas, mostra as ativações fásicas típicas também em resposta a estímulos visuais ou auditivos aversivos condicionados em tarefas de evitação ativa, nas quais os animais liberam uma chave para evitar sopro de ar ou uma gota de solução salina hipertônica (Mirenowicz e Schultz 1996), embora tal evitação possa ser vista como “recompensadora”. Essas poucas ativações não são suficientemente fortes para induzir uma resposta média da população. Assim, as respostas fásicas dos neurônios da dopamina preferencialmente relatam estímulos ambientais com valor motivacional apetitivo, mas sem discriminar entre diferentes modalidades sensoriais.

Transferência de Ativação

Durante o curso do aprendizado, os neurônios dopaminérgicos são gradualmente ativados por estímulos condicionados, que preditores de recompensa, e perdem progressivamente suas respostas aos alimentos primários ou recompensas líquidas que se tornam previsíveis (Hollerman e Schultz 1996; Ljungberg et al. 1992; Mirenowicz e Schultz 1994) (Figs. 2 e 3). Durante um período de aprendizado transitório, tanto recompensas quanto estímulos condicionados provocam ativações de dopamina. Essa transferência da recompensa primária para o estímulo condicionado ocorre instantaneamente em neurônios dopaminérgicos individuais testados em duas tarefas bem aprendidas, empregando, respectivamente, recompensas não previstas e previstas (Romo e Schultz 1990).

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 3. 

Transferência da resposta da dopamina ao estímulo preditivo mais adiantado. Respostas à transferência de recompensa primária imprevista para estímulos de previsão de recompensa progressivamente anteriores. Todos os monitores mostram histogramas de população obtidos pela média dos histogramas de tempo perievent normalizados de todos os neurônios de dopamina registrados nas situações comportamentais indicadas, independentemente da presença ou ausência de uma resposta. Soutien: fora de qualquer tarefa comportamental, não há resposta da população em neurônios 44 testados com uma pequena luz (dados de Ljungberg et al. 1992), mas uma resposta média ocorre em 35 neurônios a uma gota de líquido entregue em um bico na frente da boca do animal (Mirenowicz e Schultz 1994). Coração: resposta a um estímulo-gatilho preditivo de recompensa em uma tarefa de alcance espacial com escolha 2, mas ausência de resposta à recompensa entregue durante o desempenho da tarefa estabelecida nos mesmos neurônios 23 (Schultz et al. 1993). Tanga: resposta a uma sugestão de instrução que precede o estímulo desencadeador de predição de recompensa por um intervalo fixo de 1 s numa tarefa de alcance espacial instruída (neurónios 19) (Schultz et al. 1993). A base de tempo é dividida devido a intervalos variáveis ​​entre estímulos condicionados e recompensas. Reimpresso de Schultz et al. (1995b) com permissão do MIT Press.

Imprevisibilidade dos estímulos condicionados

As ativações após estímulos condicionados e preditores de recompensa não ocorrem quando esses próprios estímulos são precedidos em um intervalo fixo por estímulos condicionados por fases em situações comportamentais plenamente estabelecidas. Assim, com estímulos condicionados em série, os neurônios dopaminérgicos são ativados pelo estímulo mais antigo de previsão de recompensa, ao passo que todos os estímulos e recompensas seguidos em momentos previsíveis são ineficazes (Fig. 3) (Schultz et al. 1993). Apenas estímulos seqüenciais espaçados aleatoriamente provocam respostas individuais. Além disso, o extenso overtraining com desempenho de tarefa altamente estereotipado atenua as respostas a estímulos condicionados, provavelmente porque os estímulos são preditos por eventos no julgamento anterior (Ljungberg et al. 1992). Isto sugere que a imprevisibilidade do estímulo é um requisito comum para todos os estímulos que ativam os neurônios dopaminérgicos.

Depressão por omissão de estímulos condicionados previstos

Dados preliminares de um experimento anterior (Schultz et al. 1993) sugerem que os neurônios dopaminérgicos também estão deprimidos quando um estímulo condicionado, preditor de recompensa, é previsto em um tempo fixo por um estímulo precedente, mas não ocorre devido a um erro do animal. Como nas recompensas primárias, as depressões ocorrem no momento da ocorrência usual do estímulo condicionado, sem serem diretamente provocadas por um estímulo anterior. Assim, a depressão induzida por omissão pode ser generalizada para todos os eventos apetitivos.

Ativação-depressão com generalização de resposta

Os neurônios dopaminérgicos também respondem a estímulos que não prevêem recompensas, mas se assemelham a estímulos que predizem a recompensa e ocorrem no mesmo contexto. Essas respostas consistem principalmente de uma ativação seguida por uma depressão imediata, mas podem ocasionalmente consistir em ativação pura ou depressão pura. As ativações são menores e menos freqüentes do que aquelas que seguem estímulos de previsão de recompensa, e as depressões são observadas em 30-60% de neurônios. Os neurônios dopaminérgicos respondem a estímulos visuais que não são acompanhados de recompensa, mas se assemelham a estímulos que predizem a recompensa, apesar da correta discriminação comportamental (Schultz e Romo 1990). A abertura de uma caixa vazia não ativa os neurônios dopaminérgicos, mas se torna efetiva em todos os testes assim que a caixa ocasionalmente contém alimentos (Ljungberg et al. 1992; Schultz 1986; Schultz e Romo 1990) ou quando uma caixa idêntica vizinha contendo sempre alimentos abre em alternância aleatória (Schultz e Romo 1990). A caixa vazia provoca ativações mais fracas do que a caixa iscada. Os animais realizam reações indiscriminadas de orientação ocular em cada caixa, mas só se aproximam da caixa de isca com a mão. Durante o aprendizado, os neurônios dopaminérgicos continuam a responder a estímulos previamente condicionados que perdem sua previsão de recompensa quando as contingências de recompensa mudam (Schultz et al. 1993) ou responder a novos estímulos que se assemelham a estímulos previamente condicionados (Hollerman e Schultz 1996). As respostas ocorrem até mesmo para estímulos aversivos apresentados em alternância aleatória com estímulos apetitivos fisicamente semelhantes, condicionados, da mesma modalidade sensorial, sendo a resposta aversiva mais fraca que a apetitiva (Mirenowicz e Schultz 1996). As respostas generalizam até mesmo para estímulos apetitivos extintos comportamentalmente. Aparentemente, as respostas neuronais generalizam para estímulos não-apetitivos por causa de sua semelhança física com estímulos apetitivos.

Respostas da novidade

Novos estímulos provocam ativações nos neurônios da dopamina que geralmente são seguidas por depressões e persistem enquanto ocorrem reações de orientação comportamental (por exemplo, sacadas oculares). As ativações diminuem junto com as reações de orientação após várias repetições de estímulos, dependendo do impacto físico dos estímulos. Considerando que pequenos diodos emissores de luz dificilmente provocam respostas inovadoras, flashes de luz e a rápida abertura visual e auditiva de uma pequena caixa provocam ativações que decaem gradualmente até a linha de base durante <100 tentativas (Ljungberg et al. 1992) Cliques altos ou imagens grandes imediatamente na frente de um animal provocam fortes respostas inovadoras que decaem, mas ainda induzem ativações mensuráveis ​​com> 1,000 tentativas (Hollerman e Schultz 1996; Horvitz et al. 1997; Steinfels et al. 1983). Figura 4 mostra esquematicamente as diferentes magnitudes de resposta com novos estímulos de diferentes saliências físicas. As respostas decaem gradualmente com exposição repetida, mas podem persistir em magnitudes reduzidas com estímulos muito salientes. As magnitudes de resposta aumentam novamente quando os mesmos estímulos são condicionados de forma apetitiva. Por outro lado, as respostas a estímulos novos, mesmo grandes, diminuem rapidamente quando os estímulos são usados ​​para condicionar o comportamento de evitação ativa (Mirenowicz e Schultz 1996) Muito poucos neurônios (<5%) respondem por mais do que algumas tentativas a estímulos conspícuos, mas fisicamente fracos, como pedaços de papel ou movimentos bruscos das mãos do experimentador.

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 4. 

Tempo de cursos de ativações de neurônios dopaminérgicos a estímulos novos, alertas e condicionados. As ativações após novos estímulos diminuem com a exposição repetida ao longo de ensaios consecutivos. Sua magnitude depende da saliência física dos estímulos, uma vez que estímulos mais fortes induzem ativações mais altas que, ocasionalmente, excedem aquelas após estímulos condicionados. Os estímulos particularmente salientes continuam a ativar os neurônios dopaminérgicos com magnitude limitada, mesmo depois de perder sua novidade, sem se equiparar às recompensas primárias. Ativações consistentes aparecem novamente quando os estímulos se associam às recompensas primárias. Este esquema foi contribuído por Jose Contreras-Vidal.

Caráter homogêneo de respostas

Os experimentos realizados até agora revelaram que a maioria dos neurônios nos grupos de células de dopamina do cérebro intermediário A8, A9 e A10 mostram ativações e depressões muito semelhantes em uma dada situação comportamental, enquanto os neurônios de dopamina remanescentes não respondem de forma alguma. Existe uma tendência para maiores frações de neurônios responderem em regiões mais mediais do mesencéfalo, como a área tegmentar ventral e a substância negra medial, em comparação com regiões mais laterais, que ocasionalmente alcançam significância estatística (Schultz 1986; Schultz et al. 1993) Latências de resposta (50-110 ms) e durações (<200 ms) são semelhantes entre recompensas primárias, estímulos condicionados e novos estímulos. Assim, a resposta à dopamina constitui um sinal de população escalar relativamente homogêneo. É graduado em magnitude pela capacidade de resposta de neurônios individuais e pela fração de neurônios respondentes na população.

Resumo 1: respostas adaptativas durante os episódios de aprendizagem

As características das respostas da dopamina aos estímulos relacionados à recompensa são melhor ilustradas nos episódios de aprendizagem, durante as quais as recompensas são particularmente importantes para a aquisição de respostas comportamentais. O sinal de recompensa da dopamina sofre mudanças sistemáticas durante o progresso da aprendizagem e ocorre no estímulo mais precoce relacionado à recompensa de fases, sendo este uma recompensa primária ou um estímulo de previsão de recompensa (Ljungberg et al. 1992; Mirenowicz e Schultz 1994). Durante a aprendizagem, novos estímulos intrinsecamente neutros induzem transitoriamente respostas que enfraquecem logo e desaparecem (Fig. 4). As recompensas primárias ocorrem imprevisivelmente durante o emparelhamento inicial com tais estímulos e provocam ativações neuronais. Com o emparelhamento repetido, as recompensas são previstas por estímulos condicionados. As ativações após a recompensa diminuem gradualmente e são transferidas para o estímulo condicionado, com previsão de recompensa. Se, no entanto, uma recompensa prevista não ocorrer por causa de um erro do animal, os neurônios dopaminérgicos ficam deprimidos no momento em que a recompensa teria ocorrido. Durante repetidas aprendizagens de tarefas (Schultz et al. 1993) ou componentes da tarefa (Hollerman e Schultz 1996), os primeiros estímulos condicionados ativam os neurônios dopaminérgicos durante todas as fases de aprendizagem devido à generalização a estímulos semelhantes previamente aprendidos, enquanto estímulos condicionados subseqüentes e recompensas primárias ativam os neurônios dopaminérgicos apenas de forma transitória enquanto estão incertos e novas contingências estão sendo estabelecidas.

Resumo 2: estímulos eficazes para neurônios dopaminérgicos

As respostas da dopamina são provocadas por três categorias de estímulos. A primeira categoria compreende recompensas primárias e estímulos que se tornaram preditores de recompensa válidos através de emparelhamento repetido e contingente com recompensas. Esses estímulos formam uma classe comum de estímulos explícitos de previsão de recompensa, já que as recompensas primárias servem como preditores de efeitos de recompensa vegetativa. Estímulos efetivos aparentemente têm um componente de alerta, uma vez que apenas estímulos com um início claro são efetivos. Os neurônios dopaminérgicos mostram ativações puras seguindo estímulos explícitos de previsão de recompensas e ficam deprimidos quando uma recompensa prevista, mas omitida, não ocorre (Fig. 5, top).

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 5. 

Exibição esquemática de respostas de neurônios dopaminérgicos aos tipos 2 de estímulos condicionados. Soutien: a apresentação de um estímulo explícito de previsão de recompensa leva à ativação após o estímulo, não responde à recompensa prevista e à depressão quando uma recompensa prevista não ocorre. Tanga: a apresentação de um estímulo que se assemelha a um estímulo condicionado, preditor de recompensa, leva à ativação seguida de depressão, ativação após a recompensa e ausência de resposta quando não ocorre recompensa. A ativação após o estímulo provavelmente reflete a generalização da resposta por causa da similaridade física. Esse estímulo não prevê explicitamente uma recompensa, mas está relacionado à recompensa por meio de sua semelhança com o estímulo que prevê a recompensa. Em comparação com estímulos explícitos de previsão de recompensa, as ativações são mais baixas e freqüentemente são seguidas por depressões, discriminando, assim, estímulos condicionados recompensados ​​(CS +) e não recompensados ​​(CS-). Este esquema resume os resultados de experimentos anteriores e atuais (Hollerman e Schultz 1996; Ljungberg et al. 1992; Mirenowicz e Schultz 1996; Schultz e Romo 1990; Schultz et al. 1993; P. Waelti e W. Schultz, resultados não publicados).

A segunda categoria compreende estímulos que provocam respostas generalizadoras. Esses estímulos não prevêem explicitamente recompensas, mas são eficazes por causa de sua semelhança física com estímulos que se tornaram preditores explícitos de recompensa por meio do condicionamento. Esses estímulos induzem ativações que são de menor magnitude e envolvem menos neurônios, em comparação com estímulos explícitos de previsão de recompensa (Fig. 5, fundo). Eles são freqüentemente seguidos por depressões imediatas. Enquanto a ativação inicial pode constituir uma resposta apetitiva generalizada que sinaliza uma possível recompensa, a depressão subseqüente pode refletir a previsão de nenhuma recompensa em um contexto geral de previsão de recompensa e cancelar a suposição de recompensa errônea. A falta de previsão explícita de recompensa é sugerida ainda pela presença de ativação após a recompensa primária e a ausência de depressão sem recompensa. Juntamente com as respostas aos estímulos de previsão de recompensa, parece que as ativações de dopamina relatam uma “etiqueta” apetitiva afixada a estímulos que estão relacionados a recompensas.

A terceira categoria compreende novos ou particularmente salientes estímulos que não estão necessariamente relacionados a recompensas específicas. Ao provocar reações de orientação comportamental, esses estímulos estão alertando e comandando a atenção. No entanto, eles também têm funções motivadoras e podem ser recompensadores (Fujita 1987). Novos estímulos são potencialmente apetitivos. Estímulos novos ou particularmente salientes induzem ativações que são frequentemente seguidas por depressões, semelhantes às respostas a estímulos generalizantes.

Assim, as respostas fásicas dos neurônios dopaminérgicos relatam eventos com efeitos motivadores positivos e potencialmente positivos, como recompensas primárias, estímulos de previsão de recompensa, eventos que lembram recompensas e estímulos de alerta. No entanto, eles não detectam, em grande medida, eventos com efeitos motivadores negativos, como estímulos aversivos.

Resumo 3: o sinal de erro de previsão de recompensa de dopamina

As respostas da dopamina a eventos explícitos relacionados à recompensa podem ser melhor conceituadas e compreendidas em termos de teorias formais de aprendizagem. Os neurônios dopaminérgicos relatam recompensas em relação à sua previsão, em vez de sinalizar incondicionalmente as recompensas primárias (Fig. 2). A resposta da dopamina é positiva (ativação) quando as recompensas primárias ocorrem sem serem previstas. A resposta é nula quando as recompensas ocorrem conforme previsto. A resposta é negativa (depressão) quando as recompensas previstas são omitidas. Assim, os neurônios dopaminérgicos relatam recompensas primárias de acordo com a diferença entre a ocorrência e a predição da recompensa, o que pode ser denominado erro na previsão da recompensa (Schultz et al. 1995b, 1997) e é provisoriamente formalizado como

Equação 1Esta sugestão pode ser estendida a eventos apetitivos condicionados que também são relatados pelos neurônios da dopamina em relação à previsão. Assim, os neurônios da dopamina podem relatar um erro na predição de todos os eventos apetitivos, e Eq. 1 pode ser indicado na forma mais geral

Equação 2Essa generalização é compatível com a ideia de que a maioria das recompensas são, na verdade, estímulos condicionados. Com vários eventos consecutivos e bem estabelecidos de previsão de recompensa, apenas o primeiro evento é imprevisível e provoca a ativação da dopamina.

Origem da resposta da dopamina

Quais inputs anatômicos poderiam ser responsáveis ​​pela seletividade e natureza polissensorial das respostas da dopamina? Qual atividade de entrada pode levar à codificação de erros de previsão, induzir a transferência de resposta adaptativa ao primeiro evento apetitivo não previsto e estimar o tempo de recompensa?

Influências da dopamina fásica nas estruturas alvo

NATUREZA GLOBAL DO SINAL DE DOPAMINA.

Projeções divergentes. Existem neurônios dopaminérgicos ∼8,000 em cada substância negra de ratos (Oorschot 1996) e 80,000 – 116,000 em macacos de macaco (German et al. 1988; Percheron et al. 1989). Cada estriato contém ∼2.8 milhões de neurônios em ratos e 31 milhões em macacos, resultando em um fator de divergência nigroestriatal de 300-400. Cada axônio de dopamina se ramifica abundantemente em uma área terminal limitada no corpo estriado e possui varicossidades estriatais ∼500,000 das quais a dopamina é liberada (Andén et al. 1966). Isso resulta em entrada de dopamina para quase todos os neurônios do estriadoGroves et al. 1995) e uma projeção nigrostriatal moderadamente topográfica (Lynd-Balta e Haber 1994). A inervação da dopamina cortical em macacos é mais alta nas áreas 4 e 6, ainda é considerável nos lobos frontal, parietal e temporal, e é mais baixa no lobo occipital (Berger et al. 1988; Williams e Goldman-Rakic ​​1993). As sinapses de dopamina cortical são predominantemente encontradas nas camadas I e V-VI, contatando uma grande proporção de neurônios corticais. Juntamente com a natureza da resposta bastante homogênea, esses dados sugerem que a resposta da dopamina avança como uma onda simultânea e paralela de atividade do mesencéfalo ao estriado e ao córtex frontal (Fig. 7).

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 7. 

Sinal global de dopamina avançando para o estriado e córtex. A resposta populacional relativamente homogênea da maioria dos neurônios dopaminérgicos aos estímulos apetitivos e de alerta e sua progressão da substantia nigra para as estruturas pós-sinápticas pode ser vista esquematicamente como uma onda de atividade síncrona e paralela avançando a uma velocidade de 1-2 m / s (Schultz e Romo 1987) ao longo das projeções divergentes do mesencéfalo para o estriado (caudado e putamen) e córtex. As respostas são qualitativamente indistinguíveis entre os neurônios da substantia nigra (SN) pars compacta e da área tegmentar ventral (VTA). A inervação da dopamina de todos os neurônios no estriado e muitos neurônios no córtex frontal permitiriam que o sinal de reforço da dopamina exercesse um efeito global. Onda foi compactada para enfatizar a natureza paralela.

Liberação de dopamina. Impulsos de neurônios dopaminérgicos em intervalos de 20-100 ms levam a uma concentração de dopamina muito maior no estriado do que o mesmo número de impulsos em intervalos de 200 ms (Garris e Wightman 1994; Gonon 1988). Essa não-linearidade se deve principalmente à rápida saturação do transportador de recaptação de dopamina, que limpa a dopamina liberada da região extra-sináptica (Chergui et al. 1994). O mesmo efeito é observado no nucleus accumbens (Wightman e Zimmerman 1990) e ocorre mesmo com intervalos de impulso mais longos devido a locais de reabsorção mais esparsos (Garris et al. 1994b; Marshall et al. 1990; Stamford et al. 1988) A liberação de dopamina após uma explosão de impulso de <300 ms é muito curta para ativar a redução da liberação mediada por autoreceptor (Chergui et al. 1994) ou a degradação enzimática ainda mais lenta (Michael et al. 1985). Assim, uma resposta explosiva à dopamina é particularmente eficiente para libertar dopamina.

Estimativas baseadas na voltametria in vivo sugerem que um único impulso libera moléculas de d1,000 dopaminérgicas nas sinapses no estriado e no núcleo acumbente. Isto leva a concentrações de dopamina sinápticas imediatas de 0.5-3.0 μM (Garris et al. 1994a; Kawagoe et al. 1992) Aos 40 μs após o início da liberação,> 90% da dopamina deixou a sinapse, parte do resto sendo posteriormente eliminada por recaptação sináptica (tempo de início da metade de 30-37 ms). De 3 a 9 ms após o início da liberação, as concentrações de dopamina atingem um pico de ∼250 nM quando todas as varicosidades vizinhas liberam dopamina simultaneamente. As concentrações são homogêneas dentro de uma esfera de 4 μm diam (Gonon 1997), que é a distância média entre varicosidades (Doucet et al. 1986; Groves et al. 1995) A difusão máxima é restrita a 12 µm pelo transportador de recaptação e é alcançada em 75 ms após o início da liberação (tempo de início da metade do transportador de 30–37 ms). As concentrações seriam ligeiramente mais baixas e menos homogêneas em regiões com menos varicosidades ou quando <100% dos neurônios de dopamina são ativados, mas são duas a três vezes mais altas com surtos de impulso. Assim, as ativações de bursting induzidas por recompensa, levemente síncronas, em -75% dos neurônios de dopamina podem levar a picos de concentração bastante homogêneos na ordem de 150-400 nM. Aumentos totais de dopamina extracelular duram 200 ms após um único impulso e 500-600 ms após vários impulsos de intervalos de 20-100 ms aplicados durante 100-200 ms (Chergui et al. 1994; Dugast et al. 1994). O transportador de recaptação extra-sináptica (Nirenberg et al. 1996) subsequentemente leva as concentrações de dopamina de volta à sua linha de base de 5-10 nM (Herrera-Marschitz et al. 1996). Assim, em contraste com a neurotransmissão estritamente sináptica clássica, a dopamina libertada sinapticamente difunde-se rapidamente na área justapsináctica imediata e atinge picos curtos de concentrações extracelulares regionalmente homogéneas.

Receptores Dos dois principais tipos de receptores de dopamina, os receptores do tipo D1, que ativam a adenil ciclase, constituem ∼80% dos receptores de dopamina no estriado. Destes 80% estão no estado de baixa afinidade de 2 – 4 μM e 20% no estado de alta afinidade de 9 – 74 nM (Richfield et al. 1989). Os restantes 20% dos receptores de dopamina do estriado pertencem ao tipo D2 inibidor da adenilase ciclase do qual 10-0% estão no estado de baixa afinidade e 80-90% no estado de alta afinidade, com afinidades semelhantes aos receptores D1. Assim, os receptores D1 em geral têm uma afinidade ∼100 menor que os receptores D2. Os receptores D1 do estriato estão localizados predominantemente em neurônios que se projetam para pallidum interno e substantia nigra pars reticulata, enquanto os receptores de D2 do estriado estão localizados principalmente em neurônios que se projetam para o pálidum externo (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey et al. 1993). No entanto, as diferenças na sensibilidade do receptor podem não desempenhar um papel além da transdução de sinal, reduzindo assim as diferenças na sensibilidade da dopamina entre os dois tipos de neurônios de saída do estriado.

A dopamina é liberada para 30-40% do sináptico e para 60-70% de varicosidades extra-sinápticas (Descarries et al. 1996). A dopamina liberada sinapticamente atua nos receptores de dopamina pós-sinápticos em quatro locais anatomicamente distintos no corpo estriado, ou seja, dentro de sinapses de dopamina, imediatamente adjacentes a sinapses de dopamina, dentro de sinapses corticostriatais de glutamato e em locais extra-sinápticos distantes dos locais de liberação (Fig. 8) (Levey et al. 1993; Sesack et al. 1994; Yung et al. 1995). Os receptores D1 estão localizados principalmente fora das sinapses de dopamina (Caillé et al. 1996). As altas concentrações transitórias de dopamina após explosões de impulso fásico ativariam os receptores D1 na vizinhança imediata dos locais de liberação ativa e ativariam e até saturariam os receptores D2 em todos os lugares. Os receptores D2 permaneceriam parcialmente ativados quando a concentração de dopamina no ambiente retorna à linha de base após o aumento fásico.

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 8. 

Influências da liberação de dopamina em neurônios típicos espinhosos médios no estriado dorsal e ventral. A dopamina liberada pelos impulsos das varicosidades sinápticas ativa alguns receptores sinápticos (provavelmente do tipo D2 no estado de baixa afinidade) e se difunde rapidamente para fora da sinapse para alcançar receptores do tipo D1 de baixa afinidade (D1) localizados nas proximidades, dentro de sinapses corticostriatais ou a uma distância limitada. A dopamina aumentada de forma f�ica activa os receptores do tipo D2 de afinidade alta pr�imos da satura�o (D2?). Os receptores D2 permanecem parcialmente ativados pelas concentrações de dopamina no ambiente após o lançamento gradualmente aumentado. A dopamina liberada por via extra-sináptica pode ser diluída por difusão e ativar os receptores D2 de alta afinidade. Deve-se notar que, em desacordo com este diagrama esquemático, a maioria dos receptores D1 e D2 estão localizados em neurônios diferentes. O glutamato liberado dos terminais corticostriatais alcança receptores pós-sinápticos localizados nas mesmas espinhas dendríticas que as varicosidades dopaminérgicas. O glutamato também atinge varicosidades pré-sinápticas de dopamina, onde controla a liberação de dopamina. As influências de dopamina em neurônios espinhosos no córtex frontal são comparáveis ​​em muitos aspectos.

Resumo. A resposta observada, de duração moderada e de curta duração, quase síncrona, da maioria dos neurônios dopaminérgicos leva à liberação ótima e simultânea de dopamina da maioria das varicosidades estriadas espaçadas próximas. A resposta neuronal induz um sopro curto de dopamina que é liberado dos locais extrasinápticos ou se difunde rapidamente das sinapses para a área justapsináctica. A dopamina atinge rapidamente concentrações regionalmente homogêneas que provavelmente influenciam os dendritos de provavelmente todos os neurônios do estriado e muitos corticais. Desta forma, a mensagem de recompensa em 60-80% de neurônios dopaminérgicos é difundida como um sinal de reforço divergente e global para o estriado, o núcleo accumbens e o córtex frontal, assegurando uma influência fásica em um número máximo de sinapses envolvidas no processamento. de estímulos e ações que levam à recompensa (Fig. 7). A dopamina liberada por ativações neuronais após recompensas e estímulos de previsão de recompensa afetaria os receptores D1 justapsinápticos nos neurônios do estriado que se projetam para pálido interno e substantia nigra pars reticulata e todos os receptores D2 em neurônios que se projetam para o pálio externo. A redução da liberação de dopamina induzida por depressões com recompensas omitidas e estímulos de previsão de recompensa reduziria a estimulação tônica dos receptores D2 pela dopamina ambiente. Assim, os erros de predição de recompensa positiva influenciariam todos os tipos de neurônios de saída do estriado, enquanto o erro de predição negativo poderia influenciar predominantemente os neurônios que se projetam para o pálio externo.

Potenciais mecanismos de cocaína. O bloqueio do transportador de recaptação de dopamina por drogas como cocaína ou anfetaminas aumenta e prolonga os aumentos fásicos nas concentrações de dopamina (Church et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). O aumento seria particularmente pronunciado quando aumentos rápidos na concentração de dopamina induzidos por rajadas atingem um pico antes que a regulação de feedback se torne efetiva. Este mecanismo levaria a um sinal de dopamina massivamente melhorado após recompensas primárias e estímulos de previsão de recompensa. Também aumentaria o sinal de dopamina, um tanto mais fraco, após os estímulos se assemelharem a recompensas, novos estímulos e estímulos particularmente salientes que poderiam ser freqüentes na vida cotidiana. O aumento da cocaína permitiria que esses estímulos não-recompensadores parecessem tão fortes ou até mais fortes do que as recompensas naturais sem cocaína. Os neurônios pós-sinápticos podem interpretar erroneamente tal sinal como um evento particularmente proeminente relacionado à recompensa e passar por mudanças de longo prazo na transmissão sináptica.

Teorias de Aprendizagem

Algoritmos de reforço

APRENDIZAGEM DE DIFERENÇA TEMPORAL.

Em uma classe particularmente eficiente de algoritmos de reforço (Sutton 1988; Sutton e Barto 1981), os pesos sinápticos são modificados de acordo com o erro na predição do reforço computado ao longo de intervalos de tempo consecutivos (t) em cada tentativa

rˆ(t)=r(t)+P(t)-P(t-l)

Equação 6where r é reforço e P é previsão de reforço. P (t) é geralmente multiplicado por um fator de desconto γ com 0 ≤ γ <1 para contabilizar a influência decrescente de recompensas cada vez mais remotas. Por razões de simplicidade, γ é definido como 1 aqui. No caso de um único estímulo predizer um único reforçador, a predição P(t - 1) existe antes do tempo t de reforço, mas termina no momento do reforço [P (t) = 0]. Isto leva a um sinal de reforço efetivo no momento (T) de reforço

rˆ (t)=r(t)-P(t-l)

Equação 6aO r̂(t) termo indica a diferença entre o reforço real e o previsto. Durante a aprendizagem, o reforço é previsto de forma incompleta, o termo de erro é positivo quando ocorre o reforço e os pesos sinápticos são aumentados. Depois de aprender, o reforço é totalmente previsto por um estímulo anterior [P(t - 1) = r(t)], o termo de erro é nulo no comportamento correto e os pesos sinápticos permanecem inalterados. Quando o reforço é omitido devido a desempenho inadequado ou contingências alteradas, o erro é negativo e os pesos sinápticos são reduzidos. o r̂(t) termo é análogo ao (λ-V) termo de erro do modelo Rescorla-Wagner (Eq. 4 ). No entanto, diz respeito a intervalos de tempo individuais (t) dentro de cada ensaio, em vez de previsões que evoluem ao longo de ensaios consecutivos. Esses modelos temporais de reforço capitalizam o fato de que as previsões adquiridas incluem o tempo exato de reforço (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

Os algoritmos de diferença temporal (TD) também empregam previsões adquiridas para alterar pesos sinápticos. No caso de um estímulo individual, imprevisível e único, prevendo um único reforço, a predição P (t) começa na hora (t) não há previsão anterior [P(t - 1) = 0], e reforço ainda não ocorreu [r(t) = 0]. De acordo com Eq. 6, o modelo emite um sinal de reforço efetivo puramente preditivo no momento (t) da previsão

rˆ=P(t)

Equação 6bNo caso de múltiplos estímulos preditivos consecutivos, novamente com reforço ausente no momento das previsões, o sinal de reforço efetivo no momento (T) da previsão reflete a diferença entre a previsão atual P (t) e a previsão anterior P(t - 1)

rˆ=P(t)-P(t-l)

Equação 6cIsto constitui um termo de erro de reforço de ordem superior. Semelhante aos reforços totalmente previstos, todos os estímulos preditivos que são totalmente previstos são cancelados [P(t - 1) = P(t)], resultando em r̂ = 0 nas horas (T) desses estímulos. Apenas o primeiro estímulo preditivo contribui para o sinal de reforço efetivo, já que este estímulo P (t) não é previsto por outro estímulo [P(t - 1) = 0]. Isso resulta no mesmo r̂ = P (t) no momento (T) da primeira previsão, como no caso de uma única previsão (Eq. 6b).

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 9. 

Arquiteturas básicas de modelos de redes neurais implementando algoritmos de diferença temporal em comparação com a conectividade dos gânglios da base. A: na implementação original o sinal de ensino eficaz y - ȳ é computado no neurônio modelo A e enviado para terminais pré-sinápticos de insumos x para neurônio B, influenciando assim x → B processar e alterar pesos sinápticos no x → B sinapse. Neurônio B influencia a saída comportamental via axônio y e, ao mesmo tempo, contribui para as propriedades adaptativas do neurônio A, nomeadamente a sua resposta a estímulos de previsão de reforço. Implementações mais recentes desta arquitetura simples usam neurônio A ao invés de neurônio B para emitir uma saída O do modelo (Montague et al. 1996; Schultz et al. 1997). Reimpresso de Sutton e Barto (1981) com permissão da American Psychological Association. B: implementação recente separa o componente de ensino A, chamou o crítico (certo), de um componente de saída composto por várias unidades de processamento B, denominado o ator (esquerda). O sinal de reforço efetivo r̂(t) é calculado subtraindo-se a diferença temporal na predição ponderada do reforçador γP(t) - P(t - 1) de reforço primário r(t) recebido do ambiente (γ é o fator de desconto que reduz o valor de reforçadores mais distantes). A previsão do reforçador é calculada em uma unidade de previsão separada C, que é uma parte da crítica e forma um circuito fechado com o elemento de ensino A, enquanto o reforço primário entra na crítica através de um input separado r_t. O sinal de reforço efetivo influencia os pesos sinápticos nos axônios de entrada no ator, que medeiam a saída e na unidade de previsão adaptativa do crítico. Reimpresso de Barto (1995) com permissão do MIT Press. C: conectividade básica dos gânglios basais revela semelhanças impressionantes com a arquitetura ator-crítico. Projeção de dopamina emite o sinal de reforço para o estriado e é comparável com a unidade A em partes A e B, o estriato límbico (ou trecho de estriado) assume a posição da unidade de previsão C na crítica, e o corpo estriado sensório-motor (ou matriz) se assemelha às unidades do ator B. No modelo original (UMA), o único grande desvio da anatomia dos gânglios basais estabelecida consiste na influência do neurônio A sendo direcionados a terminais pré-sinápticos, enquanto que as sinapses de dopamina estão localizadas em dendritos pós-sinápticos de neurônios do estriado (Freund et al. 1984). Reimpresso de Smith e Bolam (1990) com permissão da Elsevier Press.

Tomados juntos, o sinal de reforço efetivo (Eq. 6 ) é composto pelo reforço primário, que diminui com as previsões emergentes (Eq. 6a) e é substituído gradualmente pelas previsões adquiridas (Eqs 6b e 6c). Com estímulos preditivos consecutivos, o sinal de reforço efetivo retrocede no tempo do reforçador primário para o estímulo mais antigo de previsão de reforço. A transferência retrógrada resulta em uma atribuição mais específica de crédito às sinapses envolvidas, pois as previsões ocorrem mais próximas no tempo aos estímulos e reações comportamentais a serem condicionadas, em comparação com o reforço no final do experimento (Sutton e Barto 1981).

As implementações de algoritmos de aprendizado por reforço empregam o erro de previsão de duas maneiras, para alterar os pesos sinápticos para o resultado comportamental e para adquirir as predições para computar continuamente o erro de predição (Fig. 9 A) (McLaren 1989; Sutton e Barto 1981). Essas duas funções são separadas em implementações recentes, nas quais o erro de previsão é computado no componente crítico adaptativo e altera os pesos sinápticos no componente de ator mediando a saída comportamental (Fig. 9 B) (Barto 1995). Um erro positivo aumenta a previsão de reforço do crítico, enquanto um erro negativo de reforço omitido reduz a previsão. Isso torna o sinal de reforço efetivo altamente adaptável.

Implementações neurobiológicas da aprendizagem de diferenças temporais

APLICAÇÕES PARA PROBLEMAS NEUROBIOLÓGICOS.

Embora originalmente desenvolvidos com base no modelo Rescorla-Wagner de condicionamento clássico, os modelos que usam algoritmos de TD aprendem uma ampla variedade de tarefas comportamentais através de formas basicamente instrutivas de condicionamento. Essas tarefas atingem o equilíbrio de um poste em uma roda de carrinho (Barto et al. 1983) jogar gamão de classe mundial (Tesauro 1994). Robôs usando algoritmos de TD aprendem a mover-se sobre o espaço bidimensional e a evitar obstáculos, alcançar e agarrar (Fagg 1993) ou insira um pino num orifício (Gullapalli et al. 1994). Usando o sinal de reforço TD para influenciar diretamente e selecionar o comportamento (Fig. 9 A), Os modelos TD replicam o comportamento de forrageamento das abelhasMontague et al. 1995) e simular a tomada de decisão humana (Montague et al. 1996). Modelos de TD com uma arquitetura explícita de crítico-ator constituem modelos muito poderosos que aprendem com eficiência os movimentos dos olhos (Friston et al. 1994; Montague et al. 1993), movimentos sequenciais (Fig. 10) e reações de orientação (Contreras-Vidal e Schultz 1996). Um modelo recente adicionou sinais de novidade ativadores-deprimentes para melhorar o sinal de ensino, usou estímulos e traços de ação no crítico e ator, e empregou regras vencedoras e todas para melhorar o sinal de ensino e para selecionar neurônios de ator com a maior ativação. Isso reproduziu em grande detalhe tanto as respostas dos neurônios dopaminérgicos quanto o comportamento de aprendizagem dos animais em tarefas de resposta tardia (Suri e Schultz 1996). É particularmente interessante ver que os sinais de ensino usando erros de previsão resultam em aprendizado mais rápido e mais completo em comparação com os sinais de reforço incondicional (Fig. 10) (Friston et al. 1994).

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 10. 

Vantagem de sinais de reforço preditivos para aprendizagem. Um modelo de diferença temporal com arquitetura de ator crítico e rastreio de elegibilidade no ator foi treinado em uma tarefa sequencial de escolha 2 step-3 (parte superior esquerda inserida). Aprendizagem avançou mais rápido e atingiu maior desempenho quando um sinal de reforço preditivo foi utilizado como sinal de ensino (crítico adaptativo, top) em comparação com o uso de um sinal de reforço incondicional no final do ensaio (fundo). Este efeito torna-se progressivamente mais pronunciado com sequências mais longas. O desempenho comparável com o sinal de reforço incondicional exigiria um rastreio de elegibilidade muito mais longo. Os dados foram obtidos a partir de simulações 10 (R. Suri e W. Schultz, observações não publicadas). Uma melhora semelhante na aprendizagem com reforço preditivo foi encontrada em um modelo de comportamento oculomotor (Friston et al. 1994).

Possíveis mecanismos de aprendizagem usando o sinal de dopamina

A seção anterior mostrou que o sinal de erro de predição formal emitido pela resposta de dopamina pode constituir um sinal de ensino particularmente adequado para a aprendizagem de modelos. As seções a seguir descrevem como a resposta biológica da dopamina pode ser potencialmente usada para aprendizagem pelas estruturas dos gânglios da base e sugerir hipóteses testáveis.

PLASTICIDADE POSTSYNAPTIC MEDIATED POR SINAL DE PREVISÃO DE RECOMPENSA.

A aprendizagem prosseguiria em dois passos. O primeiro passo envolve a aquisição de uma resposta de previsão de recompensa de dopamina. Em ensaios subseqüentes, o sinal de dopamina preditivo fortaleceria especificamente os pesos sinápticos (ω) das sinapses corticostriatais do tipo Hebbiano que estão ativos no momento do estímulo preditivo da recompensa, enquanto as sinapses corticoestriatais inativas permanecem inalteradas. Isso resulta na regra de aprendizado de três fatores

Δω=ɛ rˆ i o

Equação 8where r̂ é sinal de reforço de dopamina, i é atividade de entrada, o é a atividade de saída e ɛ é a taxa de aprendizado.

Em um modelo simplificado, quatro entradas corticais (i1-i4) contatam as espinhas dendríticas de três neurônios estriados espinhosos de tamanho médio (o1-o3; Fig. 11). Entradas corticais convergem nos neurônios do estriado, cada entrada em contato com uma coluna diferente. Os mesmos espinhos são contatados de forma não-seletiva por uma entrada de dopamina comum R. A ativação da entrada de dopamina R indica que um estímulo imprevisto de previsão de recompensa ocorreu no ambiente, sem fornecer mais detalhes (sinal de bondade). Suponhamos que a entrada cortical i2 seja ativada simultaneamente com os neurônios dopaminérgicos e codifique um dos vários parâmetros específicos do mesmo estímulo preditor de recompensa, como sua modalidade sensorial, lado do corpo, cor, textura e posição, ou um parâmetro específico de um movimento. desencadeada pelo estímulo. Um conjunto de parâmetros desse evento seria codificado por um conjunto de entradas corticais i2. Entradas corticais i1, i3 e i4 não relacionadas a estímulos e movimentos atuais são inativas. A resposta da dopamina leva à liberação não-seletiva de dopamina em todas as varicosidades, mas fortaleceria seletivamente apenas as sinapses corticoestriatais ativas i2-o1 e i2-o2, desde que as entradas corticais sejam fortes o suficiente para ativar os neurônios do estriado o1 e o2.

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 11. 

Influências diferenciais de um sinal global de reforço de dopamina na atividade corticostriatal seletiva. Espinhos dendríticos de 3 neurônios espinhais espinhais de tamanho médio o1, o2 e o3 são contatados pelas entradas corticais 4 i1, i2, i3 e i4 e por varicosidades axonais de um único neurônio dopaminérgico R (ou de uma população de neurônios de dopamina homogeneamente ativados ). Cada neurônio do corpo estriado recebe entradas ∼10,000 corticais e 1,000 dopaminérgicas. Em espinhas dendríticas únicas, diferentes entradas corticais convergem com a entrada de dopamina. Na versão 1 do modelo, o sinal de dopamina aumenta a transmissão corticostriatal simultaneamente ativa em relação à transmissão não ativa. Por exemplo, a entrada de dopamina R está ativa ao mesmo tempo que a entrada cortical i2, enquanto i1, i3 e i4 estão inativos. Isto leva a uma modificação da transmissão i2 → o1 e i2 → o2, mas deixa as transmissões i1 → o1, i3 → o2, i3 → o3 e i4 → o3 inalteradas. Em uma versão do modelo que emprega plasticidade, os pesos sinápticos das sinapses corticoestriatais são modificados em longo prazo pelo sinal da dopamina de acordo com a mesma regra. Isso pode ocorrer quando as respostas da dopamina a um estímulo condicionado atuam sobre as sinapses corticoestriatais que também são ativadas por esse estímulo. Em outra versão que emprega plasticidade, as respostas da dopamina a uma recompensa primária podem agir de volta no tempo em sinapses corticoestriatais que estavam ativas anteriormente. Essas sinapses seriam elegíveis para modificação por um traço neuronal pós-sináptico hipotético deixado dessa atividade. Ao comparar a estrutura dos gânglios basais com o recente modelo TD da Fig. 9 B, entrada de dopamina R replica o crítico com neurônio A, o estriado com neurônios o1-o3 replica o ator com neurônio B, Entradas corticais i1-i4 replicam a entrada do ator, e a projeção divergente de neurônios dopaminérgicos R em múltiplas espinhas de múltiplos neurônios estriatais o1-o3 replica a influência global da crítica sobre o ator. Uma comparação semelhante foi feita por Houk et al. (1995). Este desenho é baseado em dados anatômicos Freund et al. (1984), Smith e Bolam (1990), Flaherty e Graybiel (1993) e Smith et al. (1994).

Este mecanismo de aprendizagem emprega a resposta de dopamina adquirida no momento do estímulo de previsão de recompensa como um sinal de ensino para induzir mudanças sinápticas de longa duração (Fig. 12 A). A aprendizagem do estímulo preditivo ou do movimento desencadeado baseia-se na aquisição demonstrada da resposta da dopamina ao estímulo de previsão de recompensa, juntamente com a plasticidade dependente de dopamina no corpo estriado. Mudanças de plasticidade alternativamente podem ocorrer em estruturas corticais ou subcorticais a jusante do corpo estriado após o aumento de curto prazo da transmissão sináptica mediada pela dopamina no estriado. Os efeitos retroativos da recompensa nos estímulos e movimentos que precedem a recompensa são mediados pela transferência da resposta ao estímulo mais antigo de previsão de recompensa. A resposta da dopamina à recompensa primária prevista ou omitida não é usada para mudanças de plasticidade no corpo estriado, uma vez que não ocorre simultaneamente com os eventos a serem condicionados, embora possa estar envolvido no cálculo da resposta da dopamina ao estímulo preditor de recompensa em analogia com a arquitetura e o mecanismo dos modelos TD.

• Figura de download
• Abrir em nova guia
• Download do powerpoint

FIG. 12. 

Influências do sinal de reforço da dopamina sobre possíveis mecanismos de aprendizagem no estriado. A: a resposta preditiva da recompensa da dopamina a um estímulo condicionado (EC) tem um efeito direto de realce ou plasticidade na neurotransmissão do estriado relacionada a esse estímulo. B: a resposta da dopamina à recompensa primária tem um efeito de plasticidade retrógrada na neurotransmissão do estriado relacionada ao estímulo condicionado precedente. Esse mecanismo é mediado por um rastreamento de elegibilidade que supera a atividade estriatal. Setas sólidas indicam efeitos diretos do sinal de dopamina na neurotransmissão do estriado (UMA) ou o rastreio de elegibilidade (B) pequena seta em B indica efeito indireto na neurotransmissão do estriado por meio do rastreamento de elegibilidade.

Estimulação elétrica de neurônios dopaminérgicos como estímulo incondicionado

A estimulação elétrica de regiões cerebrais circunscritas serve como reforço para adquirir e manter um comportamento de aproximação (Olds e Milner 1954). Alguns locais de autoestimulação muito eficazes coincidem com os corpos celulares de dopamina e feixes de axónios no mesencéfalo (Corbett e Wise 1980), nucleus accumbens (Phillips et al. 1975), striatum (Phillips et al. 1976) e córtex pré-frontal (Mora e Myers 1977; Phillips et al. 1979), mas também são encontrados em estruturas não relacionadas aos sistemas de dopamina (Branco e Milner 1992). A autoestimulação elétrica envolve a ativação de neurônios dopaminérgicos (Fibiger e Phillips 1986; Wise e Rompré 1989) e é reduzida pelas lesões induzidas por 6-hidroxidopamina dos axônios dopaminérgicos (Fibiger et al. 1987; Phillips e Fibiger 1978), inibição da síntese de dopamina (Edmonds e Gallistel 1977), inativação da despolarização de neurônios dopaminérgicos (Rompré e Wise 1989) e antagonistas do receptor de dopamina administrados sistemicamente (Furiezos e Wise 1976) ou no núcleo accumbens (Mogenson et al. 1979). A auto-estimulação é facilitada com aumentos induzidos pela cocaína ou anfetamina na dopamina extracelular (Colle e Wise 1980; Stein 1964; Wauquier 1976). A autoestimulação aumenta diretamente a utilização da dopamina no núcleo accumbens, no estriado e no córtex frontal (Fibiger et al. 1987; Mora e Myers 1977).

É intrigante imaginar que os impulsos dopaminérgicos evocados eletricamente e a liberação possam servir como estímulo incondicionado na aprendizagem associativa, semelhante à estimulação de neurônios octopamina em abelhas aprendendo o reflexo da probóscide (Martelo 1993). Entretanto, a autoestimulação relacionada à dopamina difere em pelo menos três aspectos importantes da ativação natural dos neurônios dopaminérgicos. Ao invés de apenas ativar os neurônios dopaminérgicos, as recompensas naturais geralmente ativam vários sistemas neuronais em paralelo e permitem a codificação distribuída de diferentes componentes de recompensa (ver texto adicional). Em segundo lugar, a estimulação elétrica é aplicada como reforço incondicional sem refletir um erro na previsão de recompensa. Terceiro, a estimulação elétrica só é oferecida como uma recompensa após uma reação comportamental, e não no momento de um estímulo que preve a recompensa. Seria interessante aplicar a auto-estimulação elétrica exatamente da mesma maneira que os neurônios dopaminérgicos emitem seu sinal.

Déficits de aprendizagem com neurotransmissão de dopamina prejudicada

Muitos estudos investigaram o comportamento de animais com neurotransmissão de dopamina prejudicada após aplicação local ou sistêmica de antagonistas de receptores de dopamina ou destruição de axônios dopaminérgicos no mesencéfalo ventral, no nucleus accumbens ou no estriado. Além de observar déficits cognitivos e locomotores reminiscentes do parkinsonismo, esses estudos revelaram prejuízos no processamento de informações sobre recompensa. Os primeiros estudos defendiam déficits na percepção subjetiva e hedônica das recompensas (Wise 1982; Wise et al. 1978). Experiências posteriores revelaram uso prejudicado de recompensas primárias e estímulos apetitivos condicionados para abordagem e comportamento consumatório (Beninger et al. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Wise e Colle 1984; Sábio e Rompre 1989). Muitos estudos descreveram deficiências em processos motivacionais e de atenção subjacentes à aprendizagem apetitiva (Beninger 1983, 1989; Beninger e Hahn 1983; Fibiger e Phillips 1986; LeMoal e Simon 1991; Robbins e Everitt 1992, 1996; Branco e Milner 1992; Wise 1982). A maioria dos déficits de aprendizagem está associada à neurotransmissão de dopamina prejudicada no nucleus accumbens, enquanto que os comprometimentos do estriado dorsal levam a déficits sensório-motores (Amalric e Koob 1987; Robbins e Everitt 1992; branco 1989). No entanto, a aprendizagem de tarefas instrumentais em geral e de propriedades de estímulos discriminativos em particular parece ser freqüentemente poupada, e não é inteiramente resolvido se alguns dos aparentes déficits de aprendizado podem ser confundidos por déficits no desempenho motor (Salamone 1992).

A degeneração dos neurônios da dopamina na doença de Parkinson também leva a uma série de déficits de aprendizagem declarativos e procedimentais, incluindo aprendizagem associativa (Linden et al. 1990; Sprengelmeyer et al. 1995). Déficits estão presentes na aprendizagem de tentativa e erro com reforço imediato (Vriezen e Moscovitch 1990) e ao associar estímulos explícitos com diferentes desfechos (Knowlton et al. 1996), mesmo nos estágios iniciais da doença de Parkinson sem atrofia cortical (Canavan et al. 1989). Os pacientes parkinsonianos também apresentam percepção de tempo prejudicada (Pastor et al. 1992). Todos esses déficits ocorrem na presença do tratamento com L-Dopa, que restaura os níveis de dopamina tensional estriada sem restabelecer os sinais de dopamina fásica.

Esses estudos sugerem que a neurotransmissão da dopamina desempenha um papel importante no processamento de recompensas por comportamentos de abordagem e em formas de aprendizagem envolvendo associações entre estímulos e recompensas, enquanto um envolvimento em formas mais instrumentais de aprendizagem poderia ser questionado. Não está claro se esses déficits refletem uma inativação comportamental mais geral devido à redução da estimulação do receptor de dopamina tonicamente, em vez da ausência de um sinal de recompensa de dopamina fásica. Para resolver esta questão, bem como, mais especificamente, elucidar o papel da dopamina em diferentes formas de aprendizagem, seria útil estudar a aprendizagem nas situações em que a resposta fásica da dopamina aos estímulos apetitivos realmente ocorre.

Formas de aprendizagem possivelmente mediadas pelo sinal da dopamina

As características das respostas à dopamina e a influência potencial da dopamina nos neurônios do estriado podem ajudar a delinear algumas das formas de aprendizado nas quais os neurônios da dopamina podem estar envolvidos. As respostas preferenciais aos eventos apetitivos, em oposição aos aversivos, favoreceriam um envolvimento na aprendizagem do comportamento de abordagem e mediariam os efeitos positivos de reforço, em vez de retraimento e punição. As respostas às recompensas primárias fora das tarefas e dos contextos de aprendizagem permitiriam que os neurônios da dopamina desempenhassem um papel em um espectro relativamente amplo de aprendizado envolvendo recompensas primárias, tanto no condicionamento clássico quanto no instrumental. As respostas aos estímulos de previsão de recompensa refletem associações de estímulo-recompensa e seriam compatíveis com um envolvimento na expectativa de recompensa subjacente à aprendizagem de incentivo geral (Bindra 1968). Por outro lado, as respostas de dopamina não codificam explicitamente as recompensas como objetos de meta, pois relatam apenas erros na previsão de recompensas. Eles também parecem ser insensíveis aos estados motivacionais, desfavorecendo assim um papel específico na aprendizagem de incentivo dependente do estado de atos direcionados por objetivos (Dickinson e Balleine 1994). A falta de relações claras com os movimentos do braço e dos olhos desfavoreceria um papel na mediação direta das respostas comportamentais que acompanham os estímulos de incentivo. Entretanto, comparações entre descargas de neurônios individuais e aprendizado de organismos inteiros são intrinsecamente difíceis. No nível sináptico, a dopamina de liberação fascial alcança muitos dendritos provavelmente em todos os neurônios do corpo estriado e, portanto, poderia exercer um efeito de plasticidade na grande variedade de componentes comportamentais que envolvem o estriado, o que pode incluir o aprendizado dos movimentos.

As condições específicas em que os sinais dopaminérgicos podem desempenhar um papel na aprendizagem são determinadas pelos tipos de estímulos que efetivamente induzem uma resposta de dopamina. No laboratório de animais, as respostas da dopamina requerem a ocorrência fásica de estímulos apetitivos, novos ou particularmente salientes, incluindo recompensas primárias de nutrientes e estímulos que preveem recompensas, ao passo que os estímulos aversivos não desempenham um papel importante. Respostas dopaminérgicas podem ocorrer em todas as situações comportamentais controladas por resultados fásicos e explícitos, embora estímulos condicionados de maior ordem e reforçadores secundários ainda não tenham sido testados. As respostas f pásicas de dopamina provavelmente não desempenhariam um papel nas formas de aprendizagem não mediadas por resultados de ocorrência fásica, e a resposta preditiva não seria capaz de contribuir para a aprendizagem em situações em que estímulos preditivos fásicos não ocorrem, como mudanças de contexto relativamente lentas . Isso leva à interessante questão de saber se a preservação de algumas formas de aprendizagem por lesões dopaminérgicas ou neurolépticos pode simplesmente refletir a ausência de respostas fásicas de dopamina, em primeiro lugar, porque os estímulos efetivos que os provocam não foram usados.

O envolvimento de sinais de dopamina na aprendizagem pode ser ilustrado por um exemplo teórico. Imagine respostas de dopamina durante a aquisição de uma tarefa de tempo de reação em série quando uma reação correta de repente leva a uma recompensa de nutrientes. A resposta de recompensa subsequentemente é transferida para estímulos de previsão de recompensa progressivamente anteriores. Os tempos de reação melhoram ainda mais com a prática prolongada à medida que as posições espaciais dos alvos se tornam cada vez mais previsíveis. Embora os neurônios dopaminérgicos continuem a responder aos estímulos que predizem a recompensa, a melhora comportamental adicional pode ser devida principalmente à aquisição de processamento preditivo de posições espaciais por outros sistemas neuronais. Assim, as respostas da dopamina ocorreriam durante a parte inicial de incentivo da aprendizagem, na qual os sujeitos chegam a abordar objetos e obter recompensas explícitas primárias e possivelmente condicionadas. Estariam menos envolvidos em situações em que o progresso da aprendizagem ultrapassa a indução do comportamento de abordagem. Isso não restringiria o papel da dopamina aos passos iniciais de aprendizado, já que muitas situações exigem inicialmente aprender com exemplos e, mais tarde, envolver o aprendizado por resultados explícitos.

Erro de previsão

O sinal de erro de predição dos neurônios dopaminérgicos seria um excelente indicador do valor apetitivo dos eventos ambientais em relação à predição, mas não discriminaria entre alimentos, líquidos e estímulos de previsão de recompensa e entre as modalidades visual, auditiva e somatossensorial. Este sinal pode constituir uma mensagem de alerta de recompensa pela qual os neurônios pós-sinápticos são informados sobre a aparência ou omissão surpreendente de um evento recompensador ou potencialmente recompensador sem indicar sua identidade. Tem todas as características formais de um poderoso sinal de reforço para o aprendizado. No entanto, informações sobre a natureza específica das recompensas são cruciais para determinar quais dos objetos devem ser abordados e de que maneira. Por exemplo, um animal faminto deve abordar principalmente alimentos, mas não líquidos. Para discriminar as recompensas relevantes e irrelevantes, o sinal de dopamina precisa ser complementado por informações adicionais. Experimentos recentes de diálise in vivo mostraram maior liberação de dopamina induzida por alimentos em ratos com fome do que em ratos saciados (Wilson et al. 1995). Esta dependência de acionamento da liberação de dopamina pode não envolver respostas impulsivas, pois não conseguimos encontrar clara dependência do drive com respostas de dopamina quando comparamos períodos iniciais e tardios de sessões experimentais individuais durante as quais os animais se tornaram saciados por líquido (JL Contreras-Vidal e W. Schultz, dados não publicados).

Específicos de recompensa

As informações relativas a recompensas líquidas e alimentares também são processadas em estruturas cerebrais diferentes dos neurônios dopaminérgicos, como estriado dorsal e ventral, núcleo subtalâmico, amígdala, córtex pré-frontal dorsolateral, córtex orbitofrontal e córtex cingulado anterior. No entanto, essas estruturas não parecem emitir um sinal de erro de previsão de recompensa global semelhante aos neurônios dopaminérgicos. Em primatas, essas estruturas processam recompensas 1) respostas transitórias após a entrega da recompensa (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki e Watanabe 1979; Nishijo et al. 1988; Tremblay e Schultz 1995; Watanabe 1989), 2) respostas transitórias a dicas de previsão de recompensa (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay e Schultz 1995; Williams et al. 1993), 3) ativações sustentadas durante a expectativa de recompensas imediatas (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay e Schultz 1995), E 4) modulações de ativações relacionadas ao comportamento por recompensa prevista (Hollerman et al. 1994; Watanabe 1990, 1996). Muitos desses neurônios diferenciam-se bem entre diferentes recompensas alimentares e entre diferentes recompensas líquidas. Assim, eles processam a natureza específica do evento recompensador e podem servir à percepção de recompensas. Algumas das respostas de recompensa dependem da imprevisibilidade da recompensa e são reduzidas ou ausentes quando a recompensa é prevista por um estímulo condicionado (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay e W. Schultz, dados não publicados). Eles podem processar previsões de recompensas específicas, embora não esteja claro se elas sinalizam erros de previsão, pois suas respostas a recompensas omitidas são desconhecidas.

Manter o desempenho estabelecido

Três mecanismos neuronais parecem ser importantes para manter o desempenho comportamental estabelecido, a saber, a detecção de recompensas omitidas, a detecção de estímulos de previsão de recompensa e a detecção de recompensas previstas. Os neurônios dopaminérgicos ficam deprimidos quando as recompensas previstas são omitidas. Esse sinal poderia reduzir a eficácia sináptica relacionada a respostas comportamentais errôneas e impedir sua repetição. A resposta da dopamina aos estímulos de previsão de recompensa é mantida durante o comportamento estabelecido e, portanto, continua a servir como informação antecipada. Embora recompensas totalmente previstas não sejam detectadas pelos neurônios da dopamina, elas são processadas pelos sistemas cortical e subcortical não-dopaminérgico mencionados acima. Isso seria importante para evitar a extinção do comportamento aprendido.

Tomados em conjunto, parece que o processamento de recompensas específicas para aprender e manter o comportamento de abordagem beneficiaria fortemente de uma cooperação entre os neurónios de dopamina que sinalizam a ocorrência ou omissão inesperada de recompensa e neurónios nas outras estruturas simultaneamente, indicando a natureza específica da recompensa.

Neurônios noradrenalina

Quase toda a população de neurônios noradrenalina no locus coeruleus em ratos, gatos e macacos mostra respostas homogêneas, bifásicas ativadoras-depressivas aos estímulos visuais, auditivos e somatossensoriais, provocando reações de orientação (Aston-Jones e Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Particularmente eficazes são eventos pouco frequentes aos quais os animais prestam atenção, como os estímulos visuais em uma tarefa de discriminação excêntrica (Aston-Jones et al. 1994). Os neurónios da noradrenalina discriminam muito bem entre eventos excitantes ou motivadores e neutros. Eles rapidamente adquirem respostas a novos estímulos-alvo durante a reversão e perdem respostas às metas anteriores antes que a reversão comportamental seja concluída (Aston-Jones et al. 1997). As respostas ocorrem para libertar líquido fora de qualquer tarefa e transferi-lo para estímulos alvo preditivos de recompensa dentro de uma tarefa, bem como para estímulos aversivos primários e condicionados (Aston-Jones et al. 1994; Foote et al. 1980; Rasmussen e Jacobs 1986; Sara e Segal 1991). As respostas costumam ser transitórias e parecem refletir mudanças na ocorrência ou no significado do estímulo. As ativações podem ocorrer apenas por algumas tentativas com apresentações repetidas de objetos de alimentos (Vankov et al. 1995) ou com estímulos auditivos condicionados associados a recompensa líquida, sopro de ar aversivo ou choque elétrico nos pés (Rasmussen e Jacobs 1986; Sara e Segal 1991). Durante o condicionamento, as respostas ocorrem nas primeiras apresentações de novos estímulos e reaparecem transitoriamente sempre que as contingências de reforçamento mudam durante a aquisição, reversão e extinção (Sara e Segal 1991).

Tomadas em conjunto, as respostas dos neurónios da noradrenalina assemelham-se às respostas dos neurónios da dopamina em vários aspectos, sendo activadas por recompensas primárias, estímulos de previsão de recompensa e novos estímulos e transferindo a resposta de eventos apetitivos primários para condicionados. Entretanto, os neurônios da noradrenalina diferem dos neurônios dopaminérgicos respondendo a uma variedade muito maior de estímulos estimulantes, respondendo bem aos estímulos aversivos primários e condicionados, discriminando bem os estímulos neutros, seguindo rapidamente as reversões comportamentais e mostrando respostas decrescentes com estímulo repetido. apresentação que pode exigir ensaios 100 para respostas apetidas sólidas (Aston-Jones et al. 1994). As respostas à noradrenalina estão fortemente relacionadas às propriedades excitantes ou que chamam a atenção dos estímulos, provocando reações de orientação, ao mesmo tempo que estão muito menos focadas nas propriedades do estímulo apetitivo, como a maioria dos neurônios dopaminérgicos. Eles são provavelmente mais atraídos pela atenção do que componentes motivadores de eventos apetitivos.

Neurônios da serotonina

A atividade nos diferentes núcleos da rafe facilita a produção motora pela determinação do tônus ​​muscular e da atividade motora estereotipada (Jacobs e Fornal 1993). Neurônios dorsais da rafe em gatos mostram respostas fásicas e não-habituantes a estímulos visuais e auditivos sem significado comportamental específico (Heym et al. 1982; LeMoal e Olds 1979). Essas respostas lembram respostas de neurônios dopaminérgicos a estímulos novos e particularmente salientes. Outras comparações exigiriam uma experimentação mais detalhada.

Núcleo Basalis Meynert

Os neurônios do prosencéfalo basal do primata são ativados de forma fásica por uma grande variedade de eventos comportamentais, incluindo estímulos condicionados, preditores de recompensa e recompensas primárias. Muitas ativações dependem de memória e associações com reforço nas tarefas de discriminação e de resposta atrasada. As ativações refletem a familiaridade dos estímulos (Wilson e Rolls 1990a), tornam-se mais importantes com estímulos e movimentos ocorrendo mais próximos do tempo de recompensa (Richardson e DeLong 1990), diferenciam-se bem entre estímulos visuais com base em associações apetivas e aversivas (Wilson e Rolls 1990b) e mudar dentro de algumas tentativas durante a reversão (Wilson e Rolls 1990c). Os neurônios também são ativados por estímulos aversivos, estímulos visuais e auditivos previstos e movimentos. Eles respondem freqüentemente a recompensas totalmente previstas em tarefas comportamentais bem estabelecidas (Mitchell et al. 1987; Richardson e DeLong 1986, 1990), embora as respostas a recompensas imprevisíveis sejam mais abundantes em alguns estudos (Richardson e DeLong 1990) mas não noutros (Wilson e Rolls 1990a-c). Em comparação com os neurônios dopaminérgicos, eles são ativados por um espectro muito maior de estímulos e eventos, incluindo eventos aversivos, e não mostram a resposta bastante homogênea da população a recompensas imprevisíveis e sua transferência para estímulos de previsão de recompensa.

Fibras de escalada cerebelares

Provavelmente, postulou-se que o primeiro sinal de ensino dirigido por erro no cérebro envolvia a projeção de fibras de escalada da oliva inferior aos neurônios de Purkinje no córtex cerebelar (Marr 1969), e muitos estudos de aprendizagem cerebelar são baseados neste conceito (Houk et al. 1996; Ito 1989; Kawato e Gomi 1992; Llinas e Welsh 1993). Subir os insumos de fibra para os neurônios de Purkinje muda momentaneamente sua atividade quando as cargas de movimentos ou ganhos entre os movimentos e o feedback visual são alterados e os macacos se adaptam à nova situação (Gilbert e Thach 1977; Ojakangas e Ebner 1992). A maioria dessas mudanças consiste em atividade aumentada, em vez de respostas de ativação versus depressão observadas com erros em direções opostas em neurônios dopaminérgicos. Se a ativação da fibra de escalada servir como sinal de ensino, a ativação conjunta de fibra paralela de fibra de subida deve levar a alterações na entrada de fibra paralela aos neurônios de Purkinje. Isso ocorre, de fato, como depressão de longo prazo da entrada de fibras paralelas, principalmente em preparações in vitro (Ito 1989). No entanto, mudanças comparáveis ​​de fibras paralelas são mais difíceis de encontrar em situações de aprendizagem comportamental (Ojakangas e Ebner 1992), deixando as conseqüências de potenciais sinais de ensino de fibras em ascensão abertos no momento.

Um segundo argumento para o papel das fibras de escalada na aprendizagem envolve o condicionamento clássico aversivo. Uma fração das fibras de escalada é ativada por sopros aéreos aversivos à córnea. Estas respostas são perdidas após o condicionamento palpebral pavloviano usando um estímulo auditivo (Sears e Steinmetz 1991), sugerindo uma relação com a imprevisibilidade de eventos aversivos primários. Após o condicionamento, os neurônios no núcleo interpositus cerebelar respondem ao estímulo condicionado (Berthier e Moore 1990; McCormick e Thompson 1984). Lesões desse núcleo ou injeções de bicuculina, o antagonista de GABA, na oliva inferior previnem a perda de respostas de esponja de ar de azeitona inferior após o condicionamento, sugerindo que a inibição monossináptica ou polissináptica do interpositus para a oliva inferior suprime as respostas após o condicionamento (Thompson e Gluck 1991). Isso pode permitir que os neurônios da azeitona inferior sejam deprimidos na ausência de estímulos aversivos preditos e, assim, relatar um erro negativo na predição de eventos aversivos semelhantes aos neurônios da dopamina.

Assim, as fibras de escalada podem relatar erros no desempenho motor e erros na predição de eventos aversivos, embora isso nem sempre envolva mudanças bidirecionais como nos neurônios dopaminérgicos. Fibras de escalada não parecem adquirir respostas a estímulos aversivos condicionados, mas tais respostas são encontradas no núcleo interposto. O cálculo de erros de predição aversivos pode envolver entradas inibitórias descendentes para neurônios de oliva inferiores, em analogia a projeções estriatais para neurônios de dopamina. Assim, os circuitos cerebelares processam sinais de erro, embora de forma diferente dos neurônios dopaminérgicos e modelos TD, e podem implementar regras de aprendizagem de erro como a regra Rescorla-Wagner (Thompson e Gluck 1991) ou a regra formalmente equivalente de Widrow-Hoff (Kawato e Gomi 1992).