Aprendizagem guiada por recompensas para além da dopamina no nucleus accumbens: as funções integradoras das redes de gânglios córtico-basais (2008)

Tornou-se comum na literatura recente encontrar um conceito monolítico de 'recompensa' aplicado uniformemente ao comportamento apetitivo, para denotar algo que é bom para o organismo (geralmente da perspectiva do pesquisador) ou usado de forma intercambiável com termos mais antigos, como 'reforço' ou 'incentivo'. Esse estado de coisas é incentivado, se não por si próprio, a conseqüência do foco em um único substrato neural para a "recompensa" que envolve a liberação de dopamina (DA) no núcleo accumbens (Berke e Hyman, 2000; Grace et al., 2007).

A ligação entre a via e a recompensa mesoaccumbens, reconhecida há décadas, foi revigorada por evidências mais recentes de que o sinal DA fásico codifica um erro de previsão de recompensa, que presumivelmente serve como sinal de ensino na aprendizagem associativa.g (Schultz et al., 1997) De acordo com a interpretação mais popular, assim como existe um único sinal de recompensa, também existe um único sinal de aprendizado guiado por recompensa, o que nesse caso significa associação entre um estímulo e uma recompensa (Montague et al., 2004) A questão de como esse tipo de aprendizado controla o comportamento adaptativo tem sido negligenciada; supõe-se simplesmente que o sinal da dopamina seja suficiente para o aprendizado preditivo e as respostas condicionais geradas por ele e para ações direcionadas a objetivos, guiadas por sua associação com recompensa. Consequentemente, o foco da maioria das pesquisas no campo da recompensa e do vício é a sinalização DA e a plasticidade relacionada no caminho dos mesoaccumbens (Berridge e Robinson, 1998; Hyman et al., 2006; Grace et al., 2007).

Essa visão do processo de recompensa, como é cada vez mais reconhecida (Cardinal e outros, 2002; Balleine, 2005; Everitt e Robbins, 2005; Hyman et al., 2006), é inadequado e enganador. É inadequado porque nem a aquisição nem o desempenho de ações direcionadas a objetivos podem ser explicados em termos dos processos associativos que mediam a aprendizagem estímulo-recompensa. Além disso, é enganoso, porque o foco exclusivo na atividade no caminho dos mesoacumbentes, que não é necessário nem suficiente para ações direcionadas a objetivos, desviou a atenção da pergunta mais fundamental sobre exatamente o que são ações direcionadas a objetivos e como elas são implementadas. pelo cérebro. De fato, de acordo com evidências convergentes de uma variedade de abordagens experimentais, o que antes parecia ser um único mecanismo de recompensa pode de fato compreender vários processos com efeitos comportamentais distintos e substratos neurais (Corbit et al., 2001; O'Doherty e outros, 2004; Yin et al., 2004; Delgado et al., 2005; Yin et al., 2005b; Haruno e Kawato, 2006a; Tobler e outros, 2006; Jedynak et al., 2007; Robinson e outros, 2007; Tobler e outros, 2007).

Aqui, tentamos expor alguns dos problemas associados ao atual modelo mesoaccumbens e propor, em seu lugar, um modelo diferente de aprendizado guiado por recompensa. Argumentaremos que o estriado é uma estrutura altamente heterogênea que pode ser dividida em pelo menos quatro domínios funcionais, cada um dos quais atua como um hub em uma rede funcional distinta com outros componentes corticais, talâmicos, pálidos e mesencéfalo. As funções integrativas dessas redes, que vão desde a produção de respostas incondicionais suscitadas pela recompensa até o controle de ações direcionadas a objetivos, podem ser dissociadas e estudadas usando ensaios comportamentais contemporâneos.

Previsão e controle

O caminho dos mesoacumbentes é frequentemente considerado necessário para a aquisição de uma associação entre recompensa e estímulos ambientais que predizem essa recompensa. Por exemplo, em algumas das experiências que examinam a atividade fásica das células DA provocadas por recompensa, os macacos foram treinados para associar um estímulo à entrega de suco (Waelti et al., 2001) e subsequentemente respondem ao estímulo com uma resposta condicional (RC) - lambida antecipatória. A lambida do macaco pode ser direcionada para objetivos, porque acredita que é necessário obter suco. Alternativamente, a lambida pode ser provocada pelo estímulo antecedente ao qual o suco está associado. Qual desses determinantes da lambida dos macacos está controlando o comportamento em qualquer situação particular Não é conhecido a priori, e não pode ser determinado por observação superficial; só pode ser determinado usando testes projetados especificamente para esse fim. Esses testes, que levaram muitas décadas para serem desenvolvidos, formam o núcleo dos principais avanços modernos no estudo da aprendizagem e do comportamento (tabela 1) A partir do uso desses testes, a ser discutido abaixo, sabemos agora que a mesma resposta comportamental - seja abordagem ambulatorial, orientação ou pressão de uma alavanca - pode surgir de múltiplas influências que são experimentalmente dissociáveis.

  

tabela 1

Aprendizagem guiada por recompensa

A insensibilidade à ambiguidade central nos determinantes reais do comportamento é, portanto, o principal problema da atual análise neurocientífica da aprendizagem guiada por recompensa. To Para entender a importância desse problema, é necessário apreciar as diferenças entre o modo como a aprendizagem preditiva (ou pavloviana) e a aprendizagem direcionada a objetivos (ou instrumentais) controlam o comportamento apetitivo. De fato, a julgar pela frequência com que esses dois processos foram confundidos na literatura sobre recompensa, uma breve revisão dessa distinção parece ser um ponto de partida útil para a nossa discussão.

No condicionamento pavloviano apetitoso, a recompensa (isto é, o estímulo incondicional ou US) é combinada com um estímulo (estímulo condicional ou SC), independentemente do comportamento do animal, enquanto que no aprendizado instrumental, a recompensa depende das ações dos animais. A questão crítica em ambas as situações é, no entanto, se a associação estímulo-recompensa ou a ação-recompensa está controlando o comportamento.

Tão simples quanto parece, essa pergunta iludiu os pesquisadores por muitas décadas, em grande parte porque as respostas comportamentais nessas situações podem parecer idênticas.

Assim, as respostas condicionais (RCs) controladas pela associação de estímulo-recompensa pavloviana muitas vezes podem ter um verniz de direcionamento de objetivos sobre elas. Mesmo a salivação, o CR original de Pavlov, poderia ter sido produzido por seus cães como uma tentativa deliberada de facilitar a ingestão. É precisamente por causa dessa ambiguidade que a explicação mais óbvia - a saber, que no condicionamento pavloviano é aprendida a associação estímulo-resultado, enquanto no condicionamento instrumental a associação ação-resultado é aprendida - falhou em obter muito apoio por muitas décadas (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974) No entanto, embora muitos CRs pavlovianos sejam autonômicos ou consumadores, outros CRs, como abordar o comportamento em direção a uma recompensa, não são tão convenientemente caracterizados (Rescorla e Salomão, 1967); de fato, eles podem ser facilmente confundidos com ações instrumentais (Brown e Jenkins, 1968; Williams e Williams, 1969; Schwartz e Gamzu, 1977) Agora sabemos que, apesar de uma semelhança superficial, os CRs pavlovianos e as ações instrumentais direcionadas a objetivos diferem na estrutura representacional que controla o desempenho da resposta (Schwartz e Gamzu, 1977).

O meio mais direto de estabelecer se o desempenho de uma resposta é mediado por uma associação de estímulo-recompensa ou ação-recompensa é examinar a contingência específica que controla o desempenho. O exemplo da salivação é instrutivo aqui. Sheffield (1965) testou se a salivação no condicionamento pavloviano era controlada por sua relação com recompensa ou pela associação estímulo-recompensa. Em seu experimento, os cães receberam pares entre um tom e uma recompensa alimentar (Sheffield, 1965) No entanto, se os cães salivassem durante o tom, a comida não era entregue naquele teste. Esse arranjo manteve uma relação pavloviana entre o tom e a comida, mas aboliu qualquer associação direta entre salivação e entrega de alimentos. Se a salivação era uma ação controlada por sua relação com a comida, os cães deveriam parar de salivar - na verdade, eles nunca deveriam obter salivação ao tom. Sheffield descobriu que era claramente a relação tom-comida pavloviana que controlava a salivação RC. Durante o curso de mais de combinações de alimentos tom-800, os cães adquiriram e mantiveram a salivação ao tom, mesmo que isso resultasse na perda da maior parte dos alimentos que eles poderiam obter se não salivassem. Uma conclusão semelhante foi alcançada por outros em estudos com seres humanos (Pithers, 1985) e outros animais (Brown e Jenkins, 1968; Williams & Williams, 1969; Holland, 1979); em todos os casos, parece que, apesar de sua grande variedade, as respostas pavlovianas não são controladas por sua relação com a recompensa - isto é, pela contingência ação-resultado.

O termo contingência refere-se à relação condicional entre um evento 'A' e outro, 'B', de modo que a ocorrência de B depende de A. Uma relação desse tipo pode ser facilmente degradada pela apresentação de B na ausência de A. a manipulação experimental, denominada degradação de contingência, é comumente realizada apresentando uma recompensa independentemente do estímulo preditivo ou da ação. Embora essa abordagem tenha sido desenvolvida originalmente para estudar o condicionamento pavloviano (Rescorla, 1968), a degradação instrumental da contingência também se tornou uma ferramenta comum (Hammond, 1980) Quando essas contingências são manipuladas diretamente, o conteúdo da aprendizagem é revelado: por exemplo, na autosformação, um RC Pavloviano 'disfarçado' como uma ação instrumental é interrompido por manipulações do Pavloviano e não pela contingência instrumental (Schwartz e Gamzu, 1977).

As ações instrumentais direcionadas a metas são caracterizadas por dois critérios: 1) sensibilidade a mudanças no valor do resultado e 2) sensibilidade a mudanças na contingência entre ação e resultado (Dickinson, 1985; Dickinson e Balleine, 1993) Deve-se enfatizar que a sensibilidade apenas à desvalorização do resultado não é suficiente para caracterizar uma resposta como direcionada a um objetivo, porque algumas respostas pavlovianas também podem ser sensíveis a essa manipulação (Holanda e Rescorla, 1975) No entanto, o desempenho de ações instrumentais direcionadas a objetivos também é sensível a manipulações da contingência ação-resultado, enquanto as respostas pavlovianas são sensíveis a manipulações da contingência estímulo-resultado (Rescorla, 1968; Davis e Bitterman, 1971; Dickinson e Charnock, 1985) Uma exceção importante, no entanto, pode ser encontrada no caso de hábitos (veja abaixo), que são mais semelhantes às respostas pavlovianas em sua relativa insensibilidade a mudanças na contingência instrumental, mas também são impermeáveis ​​à desvalorização do resultado, porque o resultado não faz parte da estrutura representacional que controla o desempenho (cf. Dickinson, 1985 e abaixo para discussão adicional).

Para resumir, portanto, é da maior importância que uma resposta específica seja claramente definida em termos da contingência de controle, e não tanto pelo formulário de resposta como pela tarefa comportamental usada para estabelecê-lo. Sem examinar a contingência de controle em uma dada situação, é provável que o comportamento e os processos neurais encontrados para mediar o comportamento sejam descaracterizados. Por fim, como argumentaremos, são as contingências reais de controle, adquiridas através da aprendizagem e implementadas por sistemas neurais distintos, que controlam o comportamento, embora possam compartilhar o mesmo 'caminho comum final'. Portanto, o desafio central é ir além das aparências para descobrir o comportamento subjacente de controle de contingências (para um resumo, consulte tabela 1) Para afirmar que estruturas neurais específicas mediam capacidades psicológicas específicas, por exemplo, direcionamento de objetivos, o status do comportamento deve ser avaliado com os ensaios comportamentais apropriados. Fazer o contrário é convidar a confusão à medida que os grupos discutem sobre os determinantes neurais apropriados, embora falhem em reconhecer que suas tarefas comportamentais podem estar medindo fenômenos diferentes. O que importa, em última análise, é o que o animal realmente aprende, não o que o pesquisador acredita que o animal aprende e o que o animal realmente aprende só pode ser revelado por ensaios que analisam diretamente o conteúdo do aprendizado.

A distinção pavloviana-instrumental teria sido trivial, se o animal conseguisse aprender a mesma coisa (digamos, uma associação entre estímulo e recompensa), não importando quais sejam os arranjos experimentais. Usando as medidas mais comuns de aprendizado disponíveis hoje para a neurociência, simplesmente não há como saber. Assim, os pesquisadores freqüentemente afirmam estudar o comportamento direcionado a uma meta, sem examinar se o comportamento em questão é de fato direcionado para a meta. Embora se presuma que diferentes tipos de aprendizado resultem do uso de diferentes 'tarefas' ou 'paradigmas', na maioria das vezes os pesquisadores não conseguem fornecer uma justificativa adequada para suas suposições.

Um exemplo clássico dessa questão é o uso de labirintos para estudar o aprendizado. Um problema com experimentos de labirinto e ensaios relacionados, como a preferência condicionada do local, é a dificuldade de dissociar experimentalmente a influência das contingências pavlovianas (estímulo-recompensa) e instrumentais (ação-recompensa) no comportamento (Dickinson, 1994; Yin e Knowlton, 2002) Assim, mover-se através de um labirinto em T para obter comida pode refletir uma estratégia de resposta (vire à esquerda) ou simplesmente uma abordagem condicionada em relação a algum ponto de referência extra-labirinto controlado pela associação de sinalização alimentar (Restle, 1957) Uma maneira de testar se o último desempenha um papel no desempenho é inverter o labirinto; agora os alunos que responderam devem continuar a virar à esquerda, enquanto aqueles que usam dicas extra-labirinto devem virar à direita. Mas aqueles que continuam a virar à esquerda realmente usam uma estratégia de resposta ou estão apenas se aproximando de alguma Intrasugestão -mazona associada à comida? Não é uma questão simples de descobrir, porque os controles usuais para o controle pavloviano do comportamento não podem ser facilmente aplicados em estudos de labirinto. Um deles, o controle bidirecional, estabelece que os animais podem exercer controle sobre uma resposta específica, exigindo a reversão da direção dessa resposta para obter recompensa (Hershberger, 1986; Heyes e Dawson, 1990) Infelizmente, em um labirinto, a reversão da resposta ainda pode não ser suficiente para estabelecer uma ação direcionada a um objetivo, porque a reversão pode ser realizada extinguindo a relação estímulo-recompensa existente e substituindo-a por outra. Por exemplo, um rato que se aproxima de uma sugestão intra-labirinto específica pode aprender, durante a reversão, que não está mais emparelhado com recompensa, mas que algum outro estímulo é, resultando na aquisição de uma abordagem CR para o novo estímulo. Assim, eles aparentemente podem reverter sua resposta sem nunca ter codificado a contingência resposta-recompensa. Como essa possibilidade não pode ser testada na prática, o uso de labirintos, procedimentos de preferência de lugar ou tarefas locomotoras simples para estudar processos de aprendizado direcionados a objetivos é particularmente perigoso e provavelmente resultará na descaracterização dos processos que controlam o comportamento, juntamente com o papel específico de qualquer neurônio. processos considerados envolvidos (Smith-Roe e Kelley, 2000; Hernandez et al., 2002; Atallah et al., 2007).

O núcleo accumbens não é necessário para a aprendizagem instrumental

As inadequações da análise comportamental atual tornam-se particularmente claras no estudo do núcleo accumbens. Muitos estudos sugerem que essa estrutura é crítica para a aquisição de ações direcionadas a objetivos (Hernandez et al., 2002; Goto e Grace, 2005; Hernandez et al., 2005; Pothuizen et al., 2005; Taha e campos, 2006; Atallah et al., 2007; Cheer et al., 2007; Lerchner et al., 2007) Mas essa conclusão foi alcançada com base principalmente em medidas de uma mudança no desempenho, usando tarefas nas quais o comportamento de controle de contingência é ambíguo. Embora a observação de que uma manipulação prejudique a aquisição de alguma resposta comportamental possa indicar um déficit de aprendizado, elas também podem refletir um efeito no início ou na motivação da resposta. Por exemplo, um comprometimento na aquisição da pressão da alavanca geralmente reflete um efeito no desempenho, e não no aprendizado (Smith-Roe e Kelley, 2000) Somente as curvas de aquisição, como representações incompletas de qualquer processo de aprendizado, devem ser interpretadas com cautela (Gallistel et al., 2004) Infelizmente, a distinção entre aprendizado e desempenho, talvez a lição mais antiga no estudo do aprendizado, é frequentemente ignorada hoje.

Uma análise mais detalhada indica que o accumbens não é necessário nem suficiente para o aprendizado instrumental. As lesões da concha accumbens não alteram a sensibilidade do desempenho à desvalorização do resultado (de Borchgrave et al., 2002; Corbit e outros, 2001) ou à degradação instrumental da contingência (Corbit e outros, 2001), considerando que as lesões do núcleo accumbens reduziram a sensibilidade à desvalorização sem prejudicar a sensibilidade dos ratos à degradação seletiva da contingência instrumental (Corbit et al., 2001) Outros estudos que avaliaram o efeito das manipulações accumbens na aquisição de uma nova resposta em estudos de reforço condicionado encontraram consistentemente um efeito no desempenho relacionado à recompensa, particularmente no aprimoramento do desempenho da anfetamina, mas não na aquisição da resposta em si (Parkinson et al., 1999). Da mesma forma, um estudo sistemático de Cardinal e Cheung também não encontrou efeito de lesões do núcleo accumbens na aquisição de uma resposta de pressão da alavanca sob um esquema de reforço contínuo; aquisição prejudicada só foi observada com reforço tardio (Cardeal e Cheung, 2005).

Embora o accumbens não codifique a contingência instrumental (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001), evidências consideráveis ​​sugerem que ele desempenha um papel fundamental na atuação, um papel que agora podemos definir melhor à luz de trabalhos recentes. Como concluído por vários estudos, o acumbens é crítico para certos tipos de condicionamento pavloviano apetitoso e medeia os efeitos excitatórios inespecíficos que as pistas associadas à recompensa podem ter no desempenho instrumental, bem como os vieses específicos dos resultados na seleção de respostas produzidas. por essas pistas. As lesões do núcleo, ou do cingulado anterior, uma importante fonte de entrada cortical para o núcleo, ou uma desconexão entre essas duas estruturas, prejudicam a aquisição do comportamento da abordagem pavloviana (Parkinson et al., 2000) A infusão local de um antagonista do receptor de dopamina do tipo D1 ou um antagonista do receptor de glutamato NMDA imediatamente após o treinamento também prejudicou essa forma de aprendizado sem afetar o desempenho (Dalley et al., 2005) Esses dados concordam com as medidas de in vivo atividade neural. Por exemplo, Carelli e colegas descobriram que os neurônios no núcleo accumbens podem alterar sua atividade sistematicamente durante o aprendizado de uma tarefa de modelagem automática pavloviana (Day et al., 2006; Dia e Carelli, 2007).

Os neurônios na região da concha parecem estar sintonizados com recompensas e estímulos aversivos, mesmo antes de qualquer experiência de aprendizado; eles também são capazes de desenvolver respostas aos SCs que preveem esses resultados (Roitman et al., 2005) Trabalho de Berridge e colegas, além disso, levantou a possibilidade de que certas regiões dentro da concha do núcleo accumbens e no pálido ventral a jusante possam ser caracterizadas como 'pontos quentes hedônicos'. Essas áreas modulam diretamente respostas hedônicas incondicionais a recompensas, como a reatividade do paladar. Por exemplo, agonistas de receptores opióides nessas regiões podem amplificar significativamente a reatividade do paladar ingestiva à sacarose. Essas regiões altamente localizadas, no entanto, estão incorporadas em redes mais amplas que não desempenham um papel no comportamento apetitivo de consumo (Taha e campos, 2005; Pecina et al., 2006; Taha e campos, 2006).

A distinção nos papéis relativos de núcleo e casca parece ser uma entre comportamentos apetitivos preparatórios e consumadores, respectivamente, que podem ser facilmente modificados pela experiência por meio de tipos distintos de condicionamento pavloviano. Respostas preparatórias, como abordagem, estão ligadas a qualidades emocionais gerais do resultado, enquanto que comportamentos comportamentais estão ligados a qualidades sensoriais mais específicas; eles também são diferencialmente suscetíveis a diferentes tipos de SC, por exemplo, respostas preparatórias são mais prontamente condicionadas a um estímulo de longa duração (Konorski, 1967; Dickinson e Dearing, 1979; Balleine, 2001; Dickinson e Balleine, 2002).

De qualquer forma, as evidências que implicam o acúmulo em alguns aspectos do condicionamento pavloviano são esmagadoras. Porém, não é a única estrutura envolvida, e outras redes, como as que envolvem os vários núcleos amigdalóides, também parecem desempenhar um papel central tanto nos componentes preparatórios quanto na consumação da condição pavloviana. (Balleine e Killcross, 2006).

Uma função que pode ser claramente atribuída aos accumbens é a integração das influências pavlovianas no comportamento instrumental. Os RCs pavlovianos, incluindo aqueles que refletem a ativação de estados motivacionais centrais, como desejo e excitação, podem exercer uma forte influência no desempenho de ações instrumentais (Armadilha e Overmier, 1972; Lovibond, 1983; Holanda, 2004) Por exemplo, um CS que prevê independentemente a entrega de alimentos pode aumentar a resposta instrumental para o mesmo alimento. Esse efeito é comumente estudado usando o paradigma de transferência instrumental pavloviano (PIT). No PIT, os animais recebem fases pavlovianas e de treinamento instrumental separadas, nas quais aprendem, independentemente, a associar uma sugestão à comida e a pressionar uma alavanca pela mesma comida. Em testes de sonda, o taco é apresentado com a alavanca disponível e a elevação das taxas de resposta na presença do CS é medida. Duas formas de PIT foram identificadas; um relacionado ao efeito geralmente excitante de sugestões relacionadas a recompensa e um segundo efeito mais seletivo no desempenho da escolha produzido pelo status preditivo de uma sugestão em relação a uma recompensa específica em oposição a outras. O accumbens shell é necessário para esta última forma específica de resultado, mas não é necessário para a primeira forma mais geral nem para a sensibilidade à desvalorização do resultado; por outro lado, as lesões do núcleo accumbens reduzem a sensibilidade à desvalorização do resultado e à forma geral da TIP, mas deixam a TIP intacta e específica do resultado (Corbit et al., 2001, (Balleine e Corbit, 2005).

Um estudo recente forneceu informações adicionais sobre o papel da concha accumbens no PIT específico para resultados (Wiltgen et al., 2007) A expressão controlada da proteína quinase II dependente de cálcio / calmodulina (CaMKII) no estriado não afetou a aprendizagem instrumental ou pavloviana, mas aboliu a TIP específica. Esse déficit no IRPF não era permanente e poderia ser revertido desativando a expressão do transgene com doxiciclina, demonstrando que o déficit estava associado apenas ao desempenho. O aprimoramento artificial do nível de CaMKII no estriado, portanto, bloqueia a transferência específica de resultado da motivação de incentivo do sistema pavloviano para o sistema instrumental. Curiosamente, a ativação do transgene CaMKII também reduz a excitabilidade dos neurônios na concha accumbens, sem afetar a transmissão basal ou a força sináptica.

O estriado dorsal

O estriado dorsal, também conhecido como neostriatum ou caudate-putamen, recebe projeções massivas do chamado neocórtex. Pode ainda ser dividido em uma região associativa, que em roedores é mais medial e contínua com o estriado ventral, e uma região sensório-motora mais lateral (Groenewegen et al., 1990; Joel e Weiner, 1994). Como um todo, o estriado dorsal é inervado pelas células DA da substância negra pars compacta (SNc) e recebe apenas projeções escassas dos neurônios VTA DA (Joel e Weiner, 2000) Trabalhos anteriores sobre o estriado dorsal concentraram-se principalmente em seu papel na aprendizagem de hábitos estímulo-resposta (RS) (Miller, 1981; Branco, 1989) Essa visão é baseada na lei do efeito, segundo a qual uma recompensa atua para fortalecer ou reforçar uma associação de RS entre os estímulos ambientais e a resposta realizada como resultado, cuja tendência a executar essa resposta aumenta na presença daqueles estímulos (Thorndike, 1911; Casco, 1943; Miller, 1981) Assim, acredita-se que a via corticostriatal medeia o aprendizado de SR com DA atuando como o sinal de reforço (Miller, 1981; Reynolds e Wickens, 2002).

Os modelos SR têm a vantagem de conter uma regra parcimoniosa para traduzir o aprendizado em desempenho. Um modelo baseado em expectativas relacionadas à ação, por outro lado, é mais complicado porque a crença "A ação A leva ao resultado O" não precisa necessariamente ser traduzida em ação (Guthrie, 1935; Mackintosh, 1974); informações desse tipo podem ser usadas para executar 'A' e para evitar executar 'A'. Por esse motivo, as teorias tradicionais evitavam a explicação mais óbvia - a de que os animais podem adquirir uma contingência de ação e resultado que orienta o comportamento de escolha. As últimas décadas, no entanto, viram uma revisão substancial da lei do efeito (Adams, 1982; Colwill e Rescorla, 1986; Dickinson, 1994; Dickinson et al., 1996). TOs resultados de muitos estudos demonstraram que as ações instrumentais podem ser realmente direcionadas a objetivos, isto é, sensíveis a mudanças no valor da recompensa, bem como à eficácia causal da ação (ver Dickinson & Balleine, 1994; 2002; Balleine, 2001 para revisões). No entanto, ao longo de um treinamento extensivo sob condições constantes, mesmo as ações recém-adquiridas podem se tornar relativamente automáticas e estimuladas - um processo conhecido como formação de hábitos (Adams e Dickinson, 1981; Adams, 1982; Yin et al., 2004) Os hábitos assim definidos, sendo automaticamente provocados por estímulos antecedentes, não são controlados pela expectativa ou representação do resultado; eles são consequentemente impermeáveis ​​a mudanças no valor do resultado. Nessa perspectiva, a lei do efeito é, portanto, um caso especial que se aplica apenas ao comportamento habitual.

A classificação atual do comportamento instrumental o divide em duas classes. Ta primeira classe compreende ações direcionadas a objetivos controladas pela contingência instrumental; o segundo, comportamento habitual impermeável a mudanças no valor do resultado (tabela 1) Usando ensaios comportamentais como desvalorização do resultado e degradação da contingência instrumental, Yin et al estabeleceram uma dissociação funcional entre as regiões sensório-motora (estriado dorsolateral, DLS) e as regiões associativas (estriado dorsomedial, DMS) do estriado dorsal (Yin e Knowlton, 2004; Yin et al., 2004, 2005a; Yin et al., 2005b; Yin et al., 2006a) As lesões do DLS prejudicaram o desenvolvimento de hábitos, resultando em um modo de controle comportamental mais direcionado a objetivos. As lesões do DMS têm o efeito oposto e resultam em uma mudança do controle direcionado a objetivo para o habitual. Yin et al concluíram, portanto, que o DLS e o DMS podem ser funcionalmente dissociados em termos do tipo de estruturas associativas que suportam: o DLS é crítico para a formação de hábitos, enquanto o DMS é crítico para a aquisição e expressão de ações direcionadas a objetivos. Essa análise prediz que, sob certas condições (por exemplo, treinamento prolongado), o controle das ações pode mudar do sistema dependente do DMS para o sistema dependente do DLS, uma conclusão que concorda amplamente com a considerável literatura sobre primatas, incluindo a neuroimagem humana (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi e outros, 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno e Kawato, 2006a, b; Lohrenz et al., 2007; Tobler e outros, 2007) Deve ser lembrado, é claro, tque a localização física (por exemplo, dorsal ou ventral) por si só não pode ser um guia confiável na comparação do estriado do roedor e do estriado do primata; essas comparações devem ser feitas com cautela, após cuidadosa consideração da conectividade anatômica.

Os efeitos das lesões estriatais dorsais podem ser comparados com os das lesões accumbens (Smith-Roe e Kelley, 2000; Atallah et al., 2007) Como já mencionado, os testes padrão para estabelecer um comportamento como 'direcionado à meta' são a desvalorização do resultado e a degradação da contingência ação-resultado (Dickinson e Balleine, 1993) As lesões do DMS tornam o comportamento insensível a ambas as manipulações (Yin et al., 2005b), enquanto as lesões do núcleo ou da concha accumbens nãoCorbit et al., 2001) Além disso, os testes de sonda desses ensaios comportamentais são tipicamente conduzidos em extinção, sem a apresentação de qualquer recompensa, a fim de avaliar o que o animal aprendeu sem contaminação por novos aprendizados. Assim, eles examinam diretamente a estrutura representacional que controla o comportamento. Como controle experimental adicional, geralmente é útil realizar um teste de desvalorização separado, no qual as recompensas são realmente entregues - o chamado 'teste recompensado'. As lesões do DMS não aboliram a sensibilidade à desvalorização do resultado no teste recompensado, como seria de esperar, uma vez que a entrega de um resultado desvalorizado dependente de uma ação pode suprimir a ação independentemente da codificação da ação-resultado. As lesões da concha Accumbens, por outro lado, não prejudicaram a sensibilidade à desvalorização do resultado no teste de extinção ou no teste recompensado, enquanto as lesões do núcleo Accumbens aboliram a sensibilidade à desvalorização nos dois testes (Corbit et al., 2001) A sensibilidade à degradação de contingência, no entanto, não foi afetada por nenhuma das lesões, demonstrando que, após lesões accumbens, os ratos foram capazes de codificar e recuperar representações de ação-resultado.

O papel da dopamina: mesolímbico versus nigrostriatal

Desde os estudos pioneiros sobre a atividade fásica dos neurônios DA em macacos, uma suposição comum no campo é que todas as células DA se comportam essencialmente da mesma maneira (Schultz, 1998a; Montague et al., 2004) No entanto, os dados disponíveis, bem como a conectividade anatômica, sugerem o contrário. De fato, a análise acima da heterogeneidade funcional no estriado também pode ser estendida às células DA no mesencéfalo.

As células DA podem ser divididas em dois grupos principais: ATV e substância negra pars compacta (SNc). Embora a projeção do A ATV para Accumbens tem sido o centro das atenções no campo da aprendizagem relacionada à recompensa, a via nigrostriatal muito mais massiva foi relativamente negligenciada, com atenção concentrada principalmente em seu papel na doença de Parkinson. Pensamento atual sobre o papel da A DA na aprendizagem foi fortemente influenciada pela proposta de que a atividade fásica das células DA reflete um erro de previsão de recompensar (Ljungberg et al., 1992; Schultz, 1998b). EuNa tarefa de condicionamento pavloviana mais comum usada por Schultz e colegas, esses neurônios disparam em resposta à recompensa (US), mas, com o aprendizado, a atividade evocada pelos EUA é transferida para o CS. Quando os EUA são omitidos após o aprendizado, as células DA mostram uma breve depressão da atividade no momento esperado de sua entrega. (Waelti et al., 2001; Fiorillo et al., 2003; Tobler e outros, 2003) Esses dados formam a base de uma variedade de modelos computacionais (Schultz et al., 1997; Schultz, 1998b; Brown et al., 1999; Montague et al., 2004).

Dados múltiplos níveis de controle nos mecanismos de síntese e liberação, o aumento dos neurônios DA não pode ser equiparado à liberação DA, embora se espere que essas duas medidas sejam altamente correlacionadas. De fato, como mostra um estudo recente de Carelli e colegas, usando voltametria cíclica de varredura rápida, a liberação real de DA no núcleo accumbens parece estar correlacionada com um erro de previsão no condicionamento pavloviano apetitoso (Day et al., 2007) Eles encontraram um sinal DA da fase no núcleo accumbens imediatamente após o recebimento da recompensa de sacarose na forma automática pavloviana. Após um condicionamento pavloviano prolongado, no entanto, esse sinal não foi mais encontrado após a recompensa em si, mas passou para o CS. Essa descoberta apóia a hipótese original de 'erro de previsão'. Também é consistente com trabalhos anteriores que mostram desempenho prejudicado da RC Pavloviana após antagonismo do receptor DA ou depleção de DA no núcleo accumbens (Di Ciano e outros, 2001; Parkinson et al., 2002) Entretanto, uma observação do estudo é nova e de considerável interesse: após condicionamento prolongado com um CS + que prediz recompensa e um CS- que não prediz recompensa, um sinal DA semelhante, embora menor, também foi observado após o CS-, embora também mostrou uma ligeira queda imediatamente (500 ~ 800 milissegundos após o início da sugestão) após o pico inicial (Day et al., 2007, Figura 4). Nesta fase do aprendizado, os animais quase nunca se aproximam do CS-, mas se aproximam consistentemente do CS +. Assim, o sinal DA fásico imediatamente após o preditor pode não desempenhar um papel causal na geração da resposta de abordagem, uma vez que está presente mesmo na ausência da resposta. Ainda não está claro se esse sinal ainda é necessário para o aprendizado da contingência estímulo-recompensa, mas a resposta fásica observada ao CS- certamente não é prevista por nenhum dos modelos atuais.

Curiosamente, o esgotamento local da DA prejudica o desempenho desta tarefa (Parkinson et al., 2002) Enquanto um sinal de DA fásico é observado após o CS-, que não gera CRs, a abolição do DA fásico e tônico pela depleção local prejudica o desempenho dos CRs. Esse padrão sugere que um sinal DA fásico nos accumbens não é necessário para o desempenho do CR Pavloviano, mas pode desempenhar um papel na aprendizagem, enquanto um sinal DA mais tônico e mais lento (presumivelmente abolido em estudos de depleção) é mais importante para o desempenho da resposta da abordagem (Cagniard e outros, 2006; Yin et al., 2006b; Niv et al., 2007) Esta possibilidade ainda precisa ser testada.

Embora não exista evidência direta de um papel causal do sinal DA da fase da aprendizagem, a hipótese do 'erro de previsão' atraiu muita atenção, porque é precisamente o tipo de sinal de ensino usado em modelos proeminentes de aprendizagem, como o modelo Rescorla-Wagner e sua extensão em tempo real, o algoritmo de aprendizado por reforço de diferença temporal (Schultz, 1998b) De acordo com essa interpretação, o aprendizado apetitivo é determinado pela diferença entre a recompensa recebida e a esperada (ou entre duas previsões de recompensa temporalmente sucessivas). Esse sinal de ensino é regulado pelo feedback negativo de todos os preditores da recompensa (Schultz, 1998b). Se nenhuma recompensa segue o preditor, o mecanismo de feedback negativo é desmascarado como uma queda na atividade dos neurônios DA. Assim, a aprendizagem envolve a redução progressiva do erro de previsão.

A elegância do sinal de ensino nesses modelos talvez tenha desviado um pouco da realidade anatômica. No estudo de Day e cols. (2007), o sinal DA no accumbens vem principalmente de células no VTA, mas parece improvável que outras células DA, com conectividade anatômica totalmente diferente, mostrem o mesmo perfil de resposta e forneçam o mesmo sinal. Um gradiente no que as células DA sinalizam é ​​mais provável, pois as células DA projetam-se para diferentes regiões estriatais com funções totalmente diferentes e recebem, por sua vez, sinais de feedback negativo distintos de diferentes regiões estriatais (Joel e Weiner, 2000; Wickens et al., 2007) Os mecanismos de captação e degradação, bem como os receptores pré-sinápticos que regulam a liberação de dopamina, também mostram variações consideráveis ​​no estriado (Cragg et al., 2002; Arroz e Cragg, 2004; Wickens et al., 2007; Arroz e Cragg, 2008).

Propomos, portanto, que a via mesoacumbum desempenhe um papel mais restrito na aprendizagem pavloviana, na aquisição do valor de estados e estímulos, enquanto a via nigrostriatal é mais importante para a aprendizagem instrumental, na aquisição dos valores das ações. TIsso significa que o sinal DA fásico pode codificar diferentes erros de previsão, em vez de um único erro de previsão, como é atualmente assumido. Três linhas de evidência apoiam esse argumento. Primeiro, a depleção genética de DA na via nigrostriatal prejudica a aquisição e o desempenho de ações instrumentais, enquanto a depleção de DA na via mesolímbica não (Sotak et al., 2005; Robinson e outros, 2007) Segundo, as células DA no SNc podem codificar o valor das ações, semelhantes às células na região estriatal de destino (Morris et al., 2006) Terceiro, a lesão seletiva da projeção nigrostriatal ao DLS prejudica a formação de hábitos (Faure et al., 2005).

Trabalhos recentes de Palmiter e colegas mostraram que camundongos deficientes em DA geneticamente modificados estão gravemente comprometidos no aprendizado e no desempenho instrumental, mas seu desempenho pode ser restaurado pela injeção de L-DOPA ou pela transferência de genes virais para a via nigrostriatal (Sotak et al., 2005; Robinson e outros, 2007). Por outro lado, a restauração da DA no estriado ventral não era necessária para restaurar o comportamento instrumental. Embora a maneira como os sinais de DA permitam o aprendizado instrumental continue sendo uma questão em aberto, uma possibilidade óbvia é que ele possa codificar o valor das ações autoiniciadas, ou seja, quanta recompensa é prevista, dada uma determinada ação.

O estriado dorsal, como um todo, contém a expressão mais alta de receptores DA no cérebro e recebe a projeção dopaminérgica mais maciça. A projeção de DA para o DMS pode desempenhar um papel diferente na aprendizagem do que a projeção para o DLS, pois essas duas regiões diferem significativamente no perfil temporal de liberação, captação e degradação de DA (Wickens et al., 2007). Nossa hipótese é de que a projeção de DA para o DMS a partir do SNc medial é fundamental para o aprendizado de ação-resultado, enquanto a projeção de DA para o DLS a partir do SNc lateral é crítica para a formação de hábitos. Se isso for verdade, deve-se esperar que as células DA no SNc codifiquem o erro na previsão de recompensa com base em ações geradas automaticamente - erro de previsão instrumental - em vez daquele baseado no CS. A evidência preliminar em apoio a essa afirmação vem de um estudo recente de Morris et al, que registrou neurônios SNc durante uma tarefa de aprendizado instrumental (Morris et al., 2006) Os macacos foram treinados para mover os braços em resposta a um estímulo discriminativo (S^D) que indicavam o movimento apropriado e a probabilidade de recompensa. OS^D provocou atividade fásica nos neurônios DA correspondendo ao valor da ação com base na probabilidade esperada de recompensa de uma ação específica. O mais interessante é que, embora a resposta da AD ao S^D aumentado com o valor da ação, o inverso era verdadeiro da resposta do DA à recompensa em si, consistente com a ideia de que esses neurônios estavam codificando um erro de previsão associado a esse valor. Não surpreende que o alvo estriatal primário dessas células, o núcleo caudado, seja conhecido por conter neurônios que codificam valores de ação (Samejima et al., 2005) Note-se, no entanto, que este estudo não utilizou tarefas comportamentais que avaliam sem ambiguidade o valor das ações. Uma previsão clara de nosso modelo é que a atividade DA da fase acompanhará o desempenho das ações, mesmo na ausência de um S explícito^D. Por exemplo, prevemos o disparo explosivo de neurônios DA DA no momento de uma ação auto-iniciada que recebe uma recompensa.

Em nossa opinião, enquanto o sinal DA mesoacumbente reflete o valor do CS, o sinal nigrostriatal, talvez daqueles neurônios que se projetam no DMS, reflete o valor da própria ação, ou de qualquer S^D que prediz esse valor. Além disso, tanto a aprendizagem instrumental quanto a pavloviana parecem envolver alguma forma de feedback negativo para controlar o sinal de ensino eficaz. De fato, as projeções diretas do estriado aos neurônios DA do mesencéfalo (Figura 2) há muito que é proposta como a implementação neural desse tipo de feedback negativo (Houk et al., 1995), e a força e a natureza da entrada inibitória podem variar consideravelmente de região para região.

  

Figura 2

As redes de gânglios cortico-basais

Um erro de previsão, de acordo com os modelos atuais, é um sinal de ensino que determina quanto aprendizado ocorre. Enquanto estiver presente, o aprendizado continuará. Por mais óbvia que essa afirmação apareça, um erro de previsão para o valor da ação, embora sintaticamente semelhante ao erro de previsão pavloviano, possui características únicas que não foram examinadas extensivamente. Em modelos tradicionais, como o modelo Rescorla-Wagner, que trata exclusivamente do condicionamento pavloviano (embora com sucesso limitado), a característica principal é o feedback negativo que regula o erro de previsão. Essa saída representa a previsão adquirida, mais especificamente a soma de todos os preditores atuais, capturados pelos estímulos compostos normalmente usados ​​em experimentos de bloqueio (Rescorla, 1988) É essa soma de preditores disponíveis para estabelecer um termo de erro global que é a principal inovação nessa classe de modelo. Para ações instrumentais, no entanto, termos de erro individuais parecem mais prováveis, pois é difícil ver como o feedback negativo apresentaria o valor de várias ações simultaneamente, quando apenas uma ação pode ser executada por vez. Obviamente, existem várias soluções possíveis. Por exemplo, dado um estado específico (implementado experimentalmente por um S distinto^D), os possíveis cursos de ações poderiam de fato ser representados simultaneamente como previsões adquiridas. Mas a principal dificuldade com erros de previsão instrumental tem a ver com a natureza da própria ação. Uma previsão pavloviana segue automaticamente a apresentação do estímulo, que é independente do organismo. Um erro de predição instrumental deve abordar o elemento de controle, porque a própria predição é contingente à ação, e uma ação deliberada é emitida espontaneamente com base na busca dos animais pelas conseqüências da ação e não provocada por estímulos antecedentes. No final, é precisamente uma negligência geral da natureza espontânea das ações direcionadas a objetivos, tanto na neurociência quanto na psicologia, que obscureceu a distinção entre os processos de aprendizagem instrumental pavloviano e instrumental e a natureza dos erros de previsão envolvidos. Resta estabelecer, portanto, que tipo de sinal de feedback negativo, se houver, regula a aquisição de valores de ação (Dayan e Balleine, 2002).

Finalmente, trabalhos recentes também implicaram a projeção nigrostriatal do SNc lateral para o DLS especificamente na formação de hábitos. Faure et al. Lesionaram seletivamente as células DA projetando-se para DLS usando 6-OHDA, e descobriram que essa manipulação tem surpreendentemente pouco efeito na taxa de pressão da alavanca, embora prejudique a formação do hábito, medida pela desvalorização do resultado (Faure et al., 2005) Ou seja, os animais lesionados responderam de maneira direcionada à meta, embora, em um grupo controle, o treinamento tenha gerado comportamento habitual insensível à desvalorização do resultado. A depleção local de DA, portanto, é semelhante às lesões excitotóxicas do DLS, pois ambas as manipulações retardam a formação de hábitos e favorecem a aquisição de ações direcionadas a objetivos (Yin et al., 2004) Um sinal DA fásico crítico para a formação de hábitos já é bem descrito pelo sinal de reforço efetivo nos algoritmos contemporâneos de aprendizado por reforço de diferença temporal inspirados no trabalho de Hull e Spence (Casco, 1943; Spence, 1947, 1960; Sutton e Barto, 1998).

Redes de gânglios cortico-basais

Até o momento, discutimos a heterogeneidade funcional dentro do estriado, mas seria enganoso sugerir que qualquer área estriatal poderia, por exemplo, traduzir a contingência ação-resultado no desempenho de uma ação por si só. Em vez disso, os hemisférios cerebrais são organizados como unidades funcionais iterativas, constituídas por redes de gânglios cortico-basais (Swanson, 2000; Zahm, 2005). TO estriado, sendo a estação de entrada de todos os gânglios da base, serve como um hub único no motivo da rede de gânglios cortico-basais, capaz de integrar as entradas corticais, talâmicas e do mesencéfalo. Como descrito acima, embora seja uma estrutura contínua, diferentes regiões estriatais parecem participar de redes funcionais distintas, por exemplo, o accumbens atua como um hub na rede límbica e o DLS na rede sensório-motora. Devido à propriedade reentrante de tais redes, no entanto, nenhum componente dessa estrutura está a montante ou a jusante em qualquer sentido absoluto; por exemplo, o sistema talamocortical é a fonte de uma entrada importante para o estriado e o alvo das vias estriato-palida e estriato-nigral.

Embora os laços dos gânglios da base reentrantes paralelos sejam reconhecidos há muito tempo (Alexander et al., 1986), enfatizamos papéis funcionais distintos desses circuitos com base em estruturas representacionais definidas operacionalmente e em interações entre circuitos na geração de comportamentos integrativos. Nesta base, pelo menos quatro dessas redes podem ser discernidas: as redes límbicas envolvendo o invólucro e o núcleo dos accumbens, respectivamente, a rede associativa envolvendo o estriado associativo (DMS) e a rede sensório-motora envolvendo o estriado sensório-motor (DLS). Suas funções vão desde a mediação do controle de URs e CRs pavlovianos apetitosos até ações instrumentais (Figura 1).

  

Figura 1

Principais domínios funcionais do estriado. Uma ilustração do estriado de uma seção coronal mostrando metade do cérebro (Paxinos e Franklin, 2003) Observe que esses quatro domínios funcionais são anatomicamente contínuos e correspondem aproximadamente ao que ...

Como já mencionado, o estriado ventral consiste principalmente do núcleo accumbens, que pode ser dividido ainda mais na casca e no núcleo, cada um participando de uma rede funcional distinta. As projeções corticais (glutamatérgicas) para a concha surgem dos córtices orbitais infralímbicos, centrais e laterais, enquanto as projeções para o núcleo surgem de regiões da linha média dorsal do córtex pré-frontal, como os córtices ventral e dorsal pré-límbico e cingulado anterior (Groenewegen et al., 1990; Zahm, 2000, 2005) Dentro dessas redes de funções, as evidências revisadas acima sugerem que o shell está envolvido nos URs para recompensas e na aquisição de CRs consumíveis; o núcleo do comportamento exploratório, particularmente a aquisição e expressão das respostas da abordagem pavloviana. Portanto, pelo menos duas redes principais podem ser discernidas na rede maior de gânglios cortico-basais ventrais ou límbicos, uma para comportamentos consumadores e outra para comportamentos preparatórios e sua modificação pelo condicionamento pavloviano (Figura 1).

Da mesma forma, o estriado dorsal pode ser dividido em pelo menos duas regiões principais, associativas e sensório-motoras, com uma rede funcional distinta associada a cada uma. O estriado associativo (caudado e partes do putâmen anterior em primatas) contém neurônios que disparam em antecipação a recompensas contingentes à resposta e alteram seu disparo de acordo com a magnitude da recompensa esperada (Hikosaka et al., 1989; Hollerman et al., 1998; Kawagoe et al., 1998) Na rede associativa, os córtices da associação pré-frontal e parietal e seu alvo no DMS estão envolvidos na memória transitória, tanto prospectivas, na forma de expectativas de resultados quanto retrospectivas, como um registro de cópias recentes de eferências (Konorski, 1967) O nível sensório-motor, por outro lado, compreende os córtices sensório-motores e seus alvos nos gânglios da base. As saídas deste circuito são direcionadas aos córtices motores e redes motoras do tronco cerebral. A atividade neural no estriado sensório-motor geralmente não é modulada pela expectativa de recompensa, exibindo mais atividade relacionada ao movimento do que os neurônios no estriado associativo (Kanazawa et al., 1993; Kimura et al., 1993; Costa et al., 2004) Por fim, além do gradiente medial-lateral, há uma heterogeneidade funcional significativa ao longo do eixo ântero-posterior do estriado dorsal, embora não haja dados suficientes atualmente disponíveis para permitir uma classificação detalhada (Yin et al., 2005b).

Até agora, os estudos se concentraram apenas nos componentes corticais e estriatais dessas redes. Em geral, as lesões de uma área cortical têm efeitos semelhantes às lesões de seu alvo estriatal (Balleine e Dickinson, 1998; Corbit e Balleine, 2003; Yin et al., 2005b) Mas outros componentes da rede podem preservar funções semelhantes. Por exemplo, descobriu-se que lesões do núcleo mediodorsal do tálamo, um componente da rede associativa, aboliam a sensibilidade à desvalorização dos resultados e à degradação de contingência da mesma maneira que as lesões no DMS e no córtex pré-límbico (Corbit et al., 2003) Assim, embora nosso modelo geral preveja déficits comportamentais semelhantes após danos a cada componente de uma rede, ele também sugere, para qualquer estrutura específica como pallidum ou tálamo, múltiplos domínios funcionais.

Interação entre redes

Na maioria das condições, a aprendizagem pavloviana e instrumental parece ocorrer paralelamente. Fenômenos como o PIT, no entanto, demonstram até que ponto esses processos distintos podem interagir. Tendo delineado sistemas funcionais independentes, o próximo passo é entender como esses sistemas são coordenados para gerar comportamento. Uma proposta atraente, de acordo com o trabalho anatômico recente, é que as redes descritas acima sejam hierarquicamente organizadas, cada uma servindo como intermediário lábil e funcional na hierarquia, permitindo que as informações se propaguem de um nível para o outro. Em particular, as conexões em espiral descobertas recentemente entre o estriado e o mesencéfalo sugerem uma organização anatômica que pode potencialmente implementar interações entre redes (Figura 2) Conforme observado por Haber e colegas, os neurônios estriatais enviam projeções inibitórias diretas para os neurônios DA, a partir dos quais recebem projeções recíprocas de DA, e também projetam para neurônios DA que, por sua vez, projetam uma área estriatal diferente (Haber et al., 2000) Essas projeções permitem a propagação de informações feed-forward em apenas uma direção, das redes límbicas às redes associativas e sensorimotoras. Por exemplo, uma previsão pavloviana (valor adquirido do CS) pode reduzir o sinal de ensino efetivo no nível límbico, enquanto potencialmente coincide com o sinal DA no próximo nível. O cancelamento do sinal de ensino efetivo é normalmente implementado por um sinal de feedback negativo por meio de uma projeção inibitória, por exemplo, a partir dos neurônios de projeção espinhosos médios GABAérgicos do estriado para os neurônios DA. Enquanto isso, conforme sugerido pela organização anatômica (Haber et al., 2000; Haber, 2003), a potencialização do sinal DA para a rede de gânglios cortico-basais vizinhos (o próximo nível na hierarquia) poderia ser implementada por meio de projeções desinibitórias (isto é, neurônios de projeção estriada GABAérgicos para interneurônios GABAérgicos nigrais para neurônios DA). Assim, o valor aprendido da rede límbica pode ser transferido para a rede associativa, permitindo que a adaptação comportamental seja refinada e amplificada a cada iteração (Ashby, 1960) Esse modelo prevê, portanto, o envolvimento progressivo de diferentes redes neurais durante diferentes estágios da aprendizagem, uma sugestão apoiada por uma variedade de dados (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt e Robbins, 2005; Yin e Knowlton, 2005; Belin e Everitt, 2008).

Fenômenos que exigem a interação de processos funcionais distintos, como o PIT, fornecem um campo de teste fértil para modelos desse tipo. De fato, o modelo hierárquico está de acordo com as recentes descobertas experimentais em TIP. De acordo com o modelo, as interações pavlovianas-instrumentais são mediadas por conexões recíprocas entre o estriado e os neurônios DA. O DA parece ser crítico para a transferência geral, que é abolida pelos antagonistas do DA e pela inativação local do VTA (Dickinson et al., 2000; Murschall e Hauber, 2006); considerando que a infusão local de anfetamina, que presumivelmente aumenta os níveis de DA, nos accumbens pode melhorá-la significativamente (Wyvell e Berridge, 2000) Por outro lado, o papel da dopamina estriada ventral na transferência específica é menos claro. Algumas evidências sugerem que ele pode ser poupado após a inativação do ATV (Corbit et al., 2007) mas como Corbit e Janak (2007) relatado recentemente, a transferência específica é abolida pela inativação do DLS, sugerindo que esse aspecto do controle de estímulos sobre a seleção de ações pode envolver a projeção nigrostriatal (Corbit e Janak, 2007) Concordando com a perspectiva hierárquica, Corbit e Janak (2007) também descobriram que, enquanto a inativação do DLS aboliu o efeito excitatório seletivo das pistas palovianas (muito como foi observado após lesões da concha de Accumbens por Corbit e outros, 2001), a inativação do DMS aboliu apenas a seletividade dos resultados da transferência, ao mesmo tempo em que parecia preservar o efeito excitatório geral dessas pistas, uma tendência também observada após lesões do tálamo mediodorsal, que faz parte da rede associativa de gânglios cortico-basais (Ostlund e Balleine, 2008) Com base nesses resultados preliminares, o DMS parece mediar apenas transferências específicas, enquanto o DLS pode ser necessário para os efeitos excitatórios específicos e gerais das sugestões pavlovianas nas ações instrumentais.

Curiosamente, o estriado límbico se projeta extensivamente para células DA que se projetam para o estriado dorsal (Nauta et al., 1978; Nauta, 1989); as projeções dopaminérgicas no estriado e as projeções estriatais de volta ao mesencéfalo são altamente assimétricas (Haber, 2003) O estriado límbico recebe entrada limitada dos neurônios DA, mas envia uma saída extensa para um conjunto muito maior de neurônios DA, e o oposto é verdadeiro no estriado sensório-motor. Assim, as redes límbicas estão em uma posição perfeita para controlar as redes associativas e sensório-motoras. Aqui, a neuroanatomia concorda com os dados comportamentais de que a facilitação pavloviana do comportamento instrumental é muito mais forte que o contrário; de fato, evidências consideráveis ​​sugerem que as ações instrumentais tendem a inibir, ao invés de excitar, os CRs pavlovianos - um achado que ainda aguarda uma explicação neurobiológica (Ellison e Konorski, 1964; Williams, 1965).

Conclusões

O modelo hierárquico discutido aqui, deve-se notar, é muito diferente dos outros que dependem exclusivamente do córtex e das conexões de longo alcance entre as áreas corticais (Fuster, 1995) Ele incorpora os componentes conhecidos e a conectividade do cérebro, em vez de vê-lo como um pot-pourri de módulos corticais que, de alguma maneira não especificada, implementam uma ampla gama de funções cognitivas. Também evita suposições herdadas do 19^th neurologia do século, que o córtex cerebral em geral, e o córtex pré-frontal em particular, de alguma forma formam uma unidade homuncular 'mais alta' que controla todo o cérebro (Miller e Cohen, 2001).

Além disso, várias previsões específicas podem ser derivadas do presente modelo: (i) Deve haver erros de previsão distintos para ações auto-geradas e para estados / estímulos com propriedades que refletem seus diferentes substratos neurais e funções funcionais. (ii) Espera-se também que os componentes pálido e talâmico de cada rede discreta de gânglios cortico-basais sejam necessários para o tipo de controle comportamental proposto para cada rede, e não apenas os componentes corticais e estriados. (iii) Deve haver um envolvimento progressivo de diferentes redes neurais durante diferentes estágios de aprendizagem. (iv) A atividade Accumbens pode controlar diretamente os neurônios DA e, por sua vez, a atividade estriada dorsal. Com base em um relatório de Holanda (2004) sugerindo que o TPI aumenta com o treinamento instrumental, espera-se que esse controle 'límbico' das redes associativas e sensório-motoras se fortaleça com o treinamento prolongado.

Sem dados detalhados, ainda é muito cedo para oferecer uma descrição formal do modelo hierárquico. No entanto, a discussão acima deve deixar claro que as versões atuais da hipótese de recompensa mesoaccumbens se baseiam em suposições problemáticas sobre a natureza do processo de recompensa e o uso de medidas comportamentais inadequadas. Os princípios unificadores, sempre o objetivo da empresa científica, só podem ser baseados na realidade dos dados experimentais, por mais difíceis que sejam. Como a função do cérebro é, em última análise, a geração e o controle do comportamento, análises comportamentais detalhadas serão a chave para a compreensão dos processos neurais, assim como uma descrição completa da imunidade inata e adquirida permite a elucidação do sistema imunológico. Embora pareça um truísmo, dificilmente pode ser enfatizado demais que podemos entender os mecanismos cerebrais na medida em que suas funções são descritas e medidas com precisão. Quando o estudo da função neural se baseia em capacidades psicológicas estabelecidas experimentalmente, por exemplo, a representação de contingências ação-resultado e estímulo-resultado, a organização anatômica conhecida, bem como os mecanismos fisiológicos, são vistos sob uma nova luz, levando à formulação de novas hipóteses e o desenho de novos experimentos. Como passo inicial nessa direção, esperamos que a estrutura discutida aqui sirva como um ponto de partida útil para futuras investigações.

Agradecimentos

Referências