Dinâmica Diferencial de Liberação de Dopamina no Núcleo Accumbens Núcleo e Shell Revelam Sinais Complementares para Predição de Erros e Motivação de Incentivo (2015)

  1. Regina M. Carelli 2

+Mostrar afiliações

Contribuição dos autores: MPS e FC projetaram pesquisa; MPS e FC realizaram pesquisa; MPS e FC analisaram dados; MPS, RMW e RMC escreveram o artigo.

Sumário

A dopamina mesolímbica (DA) é gradualmente liberada durante os comportamentos apetitivos, embora haja divergências substanciais sobre o propósito específico desses sinais de DA. Por exemplo, modelos de erro de predição (PE) sugerem um papel de aprendizagem, enquanto modelos de saliência de incentivo (IS) argumentam que o sinal de DA impregna estímulos com valor e, portanto, estimula o comportamento motivado. No entanto, dentro dos padrões do nucleus accumbens (NAc) de liberação DA pode diferir notavelmente entre sub-regiões e, como tal, é possível que esses padrões contribuam diferencialmente para os aspectos de PE e IS. Para avaliar isso, nós medimos a liberação de DA em sub-regiões do NAc durante uma tarefa comportamental que separou estímulos sequenciais direcionados por meta espacialmente. Os métodos eletroquímicos foram usados ​​para medir a liberação de dopamina do subsecond NAc no núcleo e no casco durante um programa bem aprendido em que ratos foram treinados a pressionar uma alavanca (buscando; SL) para obter acesso a uma segunda alavanca. entrega de alimentos, e novamente durante a extinção. No núcleo, a liberação de DA fásica foi maior após a apresentação inicial do SL, mas mínima para os eventos subsequentes de TL e recompensa. Em contraste, o shell phasic DA mostrou uma liberação robusta em todos os eventos da tarefa. A sinalização diminuiu entre o início e o final das sessões no shell, mas não no núcleo. Durante a extinção, o pico de liberação de DA no núcleo mostrou uma diminuição gradativa para o SL e pausas na liberação durante as recompensas esperadas omitidas, enquanto a liberação de DA na casca diminuiu predominantemente durante o LT. Essas dinâmicas de lançamento sugerem sinais DA paralelos capazes de suportar teorias distintas do comportamento apetitivo.

DECLARAÇÃO DE SIGNIFICADO A sinalização da dopamina no cérebro é importante para uma variedade de funções cognitivas, como a aprendizagem e a motivação. Tipicamente, presume-se que um único sinal de dopamina é suficiente para sustentar essas funções cognitivas, embora teorias concorrentes discordem sobre como a dopamina contribui para comportamentos baseados em recompensas. Aqui, descobrimos que a liberação de dopamina em tempo real dentro do nucleus accumbens (um alvo primário dos neurônios dopaminérgicos mesencefálicos) varia notavelmente entre as sub-regiões do núcleo e da casca. No núcleo, a dinâmica da dopamina é consistente com as teorias baseadas na aprendizagem (como o erro de predição da recompensa) enquanto na concha, a dopamina é consistente com as teorias baseadas na motivação (por exemplo, saliência de incentivo). Estes resultados demonstram que a dopamina desempenha papéis múltiplos e complementares baseados em circuitos discretos que ajudam os animais a otimizar os comportamentos recompensadores.

Introdução

Compreender o papel da sinalização da dopamina (AD) em relação à aprendizagem, comportamento e dependência é uma questão central na neurociência comportamental. Teorias contemporâneas são consistentes com a organização anatômica do sistema mesolímbico DA, em que uma população relativamente pequena de neurônios DAergic na área tegmental ventral (VTA) envia colaterais por todo o cérebro para modular amplamente circuitos de aprendizagem e ação. No entanto, evidências recentes sugerem que a sinalização DA pode ser mais heterogênea do que se considerou anteriormente. Por exemplo, a liberação de DA fásica seguindo as pistas de previsão preditiva de recompensa com o valor esperado de recompensa subjetiva no núcleo nucleus accumbens (NAc), mas não na casca (Day et al., 2010; Sugam et al., 2012). Em contraste, as mudanças motivacionais no processamento hedônico de saborizantes preditivos de drogas estão localizadas em mudanças fásicas na liberação de DA na concha de NAc, mas não no núcleo (Wheeler e outros, 2011). Além disso, nós e outros mostramos que a liberação de DA durante tarefas aprendidas codificava estímulos de maneira diferente entre o núcleo e a casca (Aragona e outros, 2009; Owesson-White e outros, 2009; Badrinarayan et al., 2012; Cacciapaglia et al., 2012). Em vez de um sinal DA global, então, esses achados sugerem que o DA pode ser diferencialmente e discretamente sintonizado em regiões-alvo específicas para suportar a plasticidade dentro de circuitos definidos relacionados à aprendizagem, motivação e ação.

No entanto, as funções precisas desses sinais DA heterogêneos não são bem compreendidas. Um modelo influente postulou que o DA fornece um sinal de ensino para gerar expectativas associativas de resultados futuros e se essas previsões são precisas [erro de previsão (PE)]. Neurônios DA exibem esse tipo de codificação (Schultz et al., 1997; Schultz e Dickinson, 2000; Waelti et al., 2001; Tobler e outros, 2003), embora achados recentes confirmem que, essencialmente, todos os neurônios DA otogeneticamente identificados no VTA mostram sinalização do tipo PE (Cohen et al., 2012). Em contraste, os modelos de saliência de incentivo (IS) sugerem que o DA atua para dotar estímulos com reforços valiosos, criando motivação para esses resultados (Berridge e Robinson, 1998; Robinson e Berridge, 2008; Zhang et al., 2009; Berridge, 2012). Embora semelhantes, os modelos PE e IS fazem previsões fortemente divergentes para a função DA no que diz respeito à sua necessidade de aprendizagem, motivação e dependência de drogas (Redish, 2004; Tindell et al., 2009; Bromberg-Martin et al., 2010; Berridge, 2012).

Em tarefas de condicionamento simples, é difícil saber o que a liberação de DA em fase está codificando (isto é, ela está prevendo recompensa ou saliência de sugestões?). Entretanto, ao isolar os estímulos preditivos e salientes espaço-temporalmente isolados dentro da mesma tarefa, é possível analisar características específicas de aprendizagem e ação para isolar componentes, como predição inicial, comportamentos consumatórios, motivação e até extinção. Para resolver isso, usamos uma tarefa instrumental de programação em cadeia, na qual pressiona uma alavanca [buscando alavanca (SL)] para acessar as prensas em uma segunda alavanca (TL), e as prensas na TL resultam em entrega de alimentos. Além disso, usando voltametria cíclica de varredura rápida (FSCV) para medir padrões de liberação de DA em tempo real no núcleo NAc ou casca em ratos bem treinados, diferenciamos como os recursos seletivos de tarefa da codificação DA diferiram entre sub-regiões NAc. Finalmente, examinamos como esses sinais mudaram dinamicamente quando aspectos de motivação (nível de fome) e predição (extinção) foram alterados. Observamos padrões diferenciais de liberação de DA no core e no shell que foram altamente consistentes com os modelos PE e IS, respectivamente, e geralmente suportam a ideia de múltiplos sinais DA mesolímbicos que podem suportar aspectos complementares, mas distintos, do comportamento direcionado por objetivos.

Materiais e Métodos

Animais

Doze ratos Sprague-Dawley machos pesando 280-330 g foram utilizados como sujeitos. Os ratos foram alojados individualmente com um ciclo de luz / escuridão 12 h e alimentos ligeiros restringidos a um peso de alimentação livre de 90% (10-15g de ração de laboratório Purina por dia, além de ∼2.7g de sacarose consumida durante as sessões diárias ). Restrição alimentar estava em vigor durante o teste comportamental, exceto durante o período de recuperação pós-cirurgia, quando o alimento foi dado ad libitum. Todos os procedimentos foram realizados de acordo com a Universidade da Carolina do Norte no Comitê Institucional de Cuidados e Uso Animal de Chapel Hill.

Treinamento comportamental: horário da cadeia.

As câmaras de teste continham duas alavancas retráteis com uma luz de sinalização acima de cada alavanca e um recipiente de alimento posicionado a uma distância igual entre as alavancas, como descrito anteriormente (Cacciapaglia et al., 2012). Para cada sujeito, uma alavanca (por exemplo, à esquerda) foi designada como TL e a outra alavanca (por exemplo, à direita) como o SL para a duração de todas as sessões de teste. O lado do TL e do SL foi contrabalançado entre os sujeitos.

Os ratos foram primeiro treinados para obter granulados de sacarose (45 mg, Purina) a partir do recipiente do copo de comida. Durante uma única sessão de pré-treinamento, os pellets 50 foram entregues aleatoriamente aproximadamente uma vez a cada 30 s. Os ratos foram então treinados para auto-administrar pellets de sacarose durante sessões diárias únicas. Para dar forma à resposta instrumental, os animais foram primeiro treinados para pressionar o TL. Cada teste durante a modelagem começou com a iluminação de uma sugestão de luz diretamente acima do TL acoplada à extensão do TL na câmara de teste [tirando a alavanca (TLO)]. Cada tomada de alavanca pressione [TLP; a relação fixa 1 (FR1)] dentro de 15 s de extensão resultou na entrega de um único pellet de sacarose (45 mg) no receptáculo, retração do TL e terminação da luz de sinalização. Se os animais não pressionassem o TL dentro de 15 s, a alavanca era retraída, a luz de sinalização apagada e a tentativa contada como uma omissão. Os testes foram separados por um intervalo intertrial variável com uma média de 15 s (intervalo: 5-25 s; dias 1 e 2) e, em seguida, aumentados para uma média de 45 s nos dias 3-4 (intervalo: 30-60 s).

Após o estabelecimento de respostas estáveis ​​sobre o TL (isto é, não mais do que erros de omissão 2 em uma sessão), a programação da cadeia foi introduzida (FIG. 1 A), adaptado de Olmstead et al. (2000). As experimentações durante as sessões de programação da cadeia começaram com a extensão do SL e a iluminação simultânea da luz da sugestão diretamente acima dela (SLO). Cada SLP (FR1) resultou na retração do SL e extinção da sugestão, seguida da apresentação do TLO (extensão da alavanca, luz de sinalização). Como acima, as prensas TL resultaram na retração do LT, na extinção da luz indicadora e na entrega de um pellet de sacarose ao copo de comida. As experimentações foram separadas por um intervalo intertrial de 45 da variável (escala: 30-60 s), e cada sessão consistiu em experimentações de 30. Para o dia 1 do horário da cadeia, não houve atraso entre a retração do LS e a extensão do LT. Nos dias subsequentes, um intervalo variável (VI) de 3-5 s foi introduzido entre a retração da prensa SL e a extensão da LT. Além disso, um VI 1 – 3 s foi introduzido entre a prensa TL e a entrega do reforço de sacarose. Atrasos variáveis ​​foram usados ​​durante o treinamento (ou seja, todas as sessões antes das gravações da FSCV) para eliminar a capacidade dos ratos de predizer o tempo de entrega dos eventos. Os ratos foram treinados para 5 d neste esquema de cadeia ou até que eles mostraram desempenho estável de duas sessões consecutivas sem uma omissão no SL ou TL, após o que eles foram cirurgicamente preparados para gravação voltamétrica.

Treinamento comportamental: extinção.

Após a última sessão de gravação, um subconjunto de animais foi extinto (gravações principais: n = 3; gravações de shell: n = 7). Durante a extinção, SLO apresentações indicaram o início de um novo teste. Os testes foram idênticos aos da sessão de teste, onde as impressoras SL resultaram em apresentações do TLO 4 s mais tarde, mas as pressões no TL não foram reforçadas. As sessões de extinção continuaram até que os ratos pararam de responder no SL para 10 ensaios consecutivos (FIG. 1 B).

Estudos anteriores (Schoenbaum e outros, 2003; Saddoris et al., 2005) mostraram que os correlatos neurais da atividade límbica são altamente sensíveis a mudanças no estado de aprendizagem e motivacional, e, portanto, aqui usamos marcadores de latência de resposta para definir blocos para cada sujeito (FIG. 1 B). O primeiro bloco foi a extinção precoce, em que a latência de resposta para um SLP A resposta foi semelhante à sessão recompensada. Em seguida, o primeiro SLP latência de resposta que era pelo menos 2 SD mais longa do que durante a sessão de cadeia anteriormente recompensada marcou o início da Extinção de Atraso. Finalmente, todos os ensaios que se seguiram à primeira resposta omitida foram no bloco de extinção tardia, e foram agrupados por se o rato omitiu um SLP resposta (tarde sem imprensa) ou voltou a responder (late press). Todos os comportamentos de extinção foram comparados com o esquema de correntes reforçadas imediatamente anterior.

Procedimentos cirúrgicos.

Após o treinamento comportamental, os animais foram cirurgicamente preparados para gravações voltamétricas, conforme descrito anteriormente (Cacciapaglia et al., 2012). Resumidamente, os ratos foram anestesiados com uma injecção intramuscular de cloridrato de cetamina (100 mg / kg, im) e mistura de cloridrato de xilazina (20 mg / kg). Uma cânula guia (Bioanalytical Systems) foi implantada acima do casco NAc (+ 1.7 mm AP, + 0.8 mm ML) ou do núcleo (+ 1.3 mm AP, + 1.3 mm ML) e um eletrodo estimulador bipolar (Plastics One) foi colocado em o VTA (−5.2 mm AP, + 1.0 mm ML e −7.8 DV). Outra cânula guia para o eletrodo de referência Ag / AgCl foi colocada no hemisfério contralateral. Os componentes foram fixados ao crânio com parafusos e cimento cranioplástico.

Gravação voltamétrica.

As técnicas de gravação do FSCV usadas aqui foram descritas em detalhes anteriormente (Cacciapaglia et al., 2012; Sugam et al., 2012). Resumidamente, após a cirurgia, permitiu-se que os ratos recuperassem até ao peso corporal pré-cirurgião (pelo menos 5 d de recuperação). No dia do experimento, um microeletrodo de fibra de carbono foi baixado para dentro do invólucro ou núcleo do NAc com um microdrive construído localmente (Instalação Eletrônica do Departamento de Química da Universidade da Carolina do Norte, Chapel Hill, NC), após colocar um eletrodo de referência Ag / AgCl o hemisfério contralateral. O microeletrodo de fibra de carbono foi mantido no eletrodo de referência 0.4 V versus Ag / AgCl. Periodicamente, um voltamograma cíclico foi adquirido (intervalos 100 ms) aplicando uma forma de onda triangular que levou o potencial a 1.3 V e de volta a −0.4 V. Antes do início de cada sessão de gravação, obtivemos eletricamente evocados eventos de liberação por dirigir o estimulador bipolar. eletrodo no VTA e registrou a liberação DA resultante no NAc. Se uma estimulação não foi bem-sucedida em provocar a liberação de DA, o eletrodo foi baixado para um novo local e o processo foi repetido. Uma vez que a estimulação elétrica evocou com sucesso a liberação DA no NAc, um conjunto de treinamento de liberação evocada foi criado usando uma combinação de frequências estimulantes (entre 10 e 60 Hz) e número de pulsos bifásicos (do 4 para 25) do eletrodo bipolar VTA. Em um subconjunto de gravações, um conjunto de treinamento adicional foi criado após o término da sessão comportamental para garantir a estabilidade do eletrodo durante a sessão. Em um subgrupo de ratos (n = 9), após registrar uma sessão completa de 30 tentativas, o eletrodo foi abaixado mais ∼300 μm até que outro local de liberação fosse encontrado, momento em que outra gravação foi feita para outra sessão de 30 tentativas. A análise dos dados FSCV (Análise HDCV) usou a análise quimiométrica do componente principal para extrair as mudanças na corrente devido à DA usando o conjunto de treinamento estimulado eletricamente de cada sujeito da sessão de gravação relacionada coletada antes do teste, conforme descrito anteriormente (Heien et al., 2005; Keithley et al., 2010). Para cada região (núcleo e casca), um traço de concentração DA médio foi alinhado a cada evento comportamental e comparado com a concentração DA média sobre uma linha de base 5 imediatamente antes do SLO início usando um modelo misto two-way ANOVA (fatores: evento, região) nas médias dos sujeitos.

Para sessões de extinção, rastreamentos de DA também foram alinhados aos eventos comportamentais. No entanto, porque muitos SLO apresentações não foram seguidas por nenhuma imprensa em extinção, duas análises diferentes foram usadas. Para o primeiro, os rastreamentos DA foram alinhados ao SLO e agrupados por fase de extinção (ver FIG. 6), e analisados ​​por meio de medidas repetidas de duas vias, utilizando a fase de extinção e o evento de estímulo como fatores. Para a segunda análise, apenas ensaios em que o rato pressionou o LTP foram utilizados e as concentrações de pico de DA (isto é, máxima liberação de DA dentro de 300 ms após o evento) foram obtidas para ambos os TLP e recompensa, e da mesma forma analisada com uma ANOVA two-way medidas repetidas usando a fase de extinção e estímulo tarefa como fatores. Todos post hoc comparações de pares foram feitas usando HSD de Tukey, corrigido para desigualdade N quando for apropriado. Todas as análises estatísticas foram realizadas usando Prism 4.0 for Windows (software GraphPad) ou Statistica for Windows (StatSoft).

Histologia.

Após cada experiência, os ratos foram profundamente anestesiados com uma mistura de cetamina (100 mg / kg) / xilazina (20 mg / kg) (im). Um eletrodo de tungstênio alojado no mesmo micromanipulador usado durante o experimento foi baixado para o local da gravação experimental e uma pequena lesão eletrolítica foi feita (50 – 500 μA, 5 s) para marcar a posição da ponta do eletrodo. Múltiplas lesões foram feitas quando várias gravações foram feitas. Cada cérebro foi removido, fixado em 4% formaldeído e, em seguida, congelado em −80C antes de ser cortado em seções corais de 40 μm com um criostato. As seções foram montadas em lâminas, visualizadas com microscopia de campo claro e imagens digitais (FIG. 1 C).

Comparação de liberação de DA estimulada e evocada por eventos em core e shell.

Era possível que as diferenças observadas entre a liberação do núcleo e da DA por eventos comportamentais fossem devidas não a diferenças na dinâmica de liberação, mas sim a diferenças na cinética da liberação de DA entre as regiões. Por exemplo, a liberação de DA estriatal e a dinâmica de captação são mais lentas no invólucro do que o núcleo, devido a uma menor densidade do transportador de dopamina no invólucro (Jones et al., 1996; Budygin et al., 2002). Como tal, as diferenças entre core e shell em eventos posteriores (por exemplo, TLO, recompensa) poderia ser explicada pela persistência do DA residual na região sináptica na casca.

Para abordar essa preocupação, comparamos os padrões de liberação e captação de DA elicitados por eventos comportamentais (isto é, SLO) durante a tarefa de programação em cadeia para DA induzida por uma breve explosão de estimulação elétrica de aferentes VTA. Originalmente, a estimulação elétrica (pulsos bifásicos de 2 ms) de fibras VTA foi conduzida em uma ampla gama de frequências de estimulação (10-60 Hz) e números de pulso (4-25 pulsos) para obter um espectro completo de dinâmica de liberação para fins de construção de um conjunto de treinamento quimiométrico. Como tal, um grande número de estímulos elétricos foi substancialmente maior (por exemplo, 2000 nm) do que visto em transientes de ocorrência natural (normalmente 40-150 nm). Em concentrações extremamente grandes de liberação de DA, é possível que o transportador de DA possa ficar saturado, levando a uma cinética de depuração mais lenta do que seria observada na faixa normal. Para abordar isso diretamente, selecionamos apenas “ensaios” de estimulação elétrica em que o pico de liberação de DA foi <200 nm. Da mesma forma, selecionamos apenas ensaios comportamentais onde o pico de liberação de DA alinhado ao SLO era pelo menos 100 nm. Para cada sujeito, todos os estudos elegíveis foram calculados para análise. Usando essa métrica, obtivemos estímulos elétricos 23 e sessões de estímulo 15 no core, e estimulações elétricas 14 e sessões de estímulo 11 na casca.

As comparações de liberação de DA evitada por eletrodos contra evocação foram feitas usando várias métricas. Primeiro, o pico DA foi derivado dos eventos comportamentais no SLO (isto é, maior concentração de DA dentro do SL de 1.5O início), TLO (maior concentração de DA entre 4 e 5.5 s seguindo SLO início) e recompensa (maior concentração de DA entre 6.5-8 s após SLO início) para os eventos de estímulo e nos pontos temporais correspondentes para eventos eletricamente estimulados (ou seja, mesmos momentos, mas após o início da estimulação em vez de SL)O início). Em seguida, a dinâmica de depuração foi examinada usando métricas publicadas anteriormente (Yorgason e outros, 2011). Especificamente, observamos a latência para a meia-vida (metade da concentração de pico de concentração) após o pico, T 20 (o tempo para 20% decair do pico) e T 80 (tempo para 80% decay do pico). Estes valores foram comparados usando uma ANOVA de modelo misto usando região (núcleo, casca), tipo de estimulação (SLO alinhados, estimulados eletricamente) como fatores entre indivíduos e concentração de DA em cada tipo de evento (linha de base, SLOTLOe recompensa) ou medida de decaimento (latências para pico, T 20, meia-vida e T 80, respectivamente) como medidas repetidas. Post hoc as comparações foram feitas usando HSD de Tukey para desigualdade N.

Consistentes

Comportamento de cronograma de cadeia reforçado

Os ratos aprenderam rapidamente a tarefa de agendamento da cadeia. Na sessão final de pré-cirurgia, os ratos, em média, completaram 99.8% dos testes com precisão. Durante essas sessões, os ratos tomaram em média 783 ± 253 ms para pressionar após o SLOe 588 ± 298 ms para pressionar depois de TLO, uma diferença que foi quase significativa, t (17) = 1.77, p = 0.085 No entanto, nos dias de registro pós-cirúrgicos, os ratos quase não fizeram quase nenhuma omissão (99.5%), mas exibiram latências de resposta significativamente mais rápidas para TLP (999 ± 64 ms) do que o SLP (444 ± 39 ms), t (29) = 7.48, p <0.0001. É importante ressaltar que nos dias de gravação, não houve diferenças na latência de resposta para os animais registrados na casca e no núcleo, t (29) = 0.78, p = 0.48. Assim, ratos em ambos os grupos (core e shell) foram igualmente competentes para completar o cronograma da cadeia quando a tarefa foi reforçada.

Liberação diferencial de DA no núcleo e no casco de NAc durante o horário da cadeia reforçada

Em seguida, utilizamos o FSCV para obter registros de DA em tempo real a partir do núcleo NAc (n = 13) ou shell (n = 12) durante o desempenho no horário da cadeia bem aprendida (FIG. 1 C). Nos ratos em que foram efectuadas várias gravações, a ponta do eléctrodo foi baixada pelo menos 300 μm entre as sessões para assegurar que a ponta do eléctrodo de fibra de carbono 100 μm estava inteiramente em tecido fresco para cada gravação. Consistente com ambos PE e IS Nos modelos anteriores, encontramos uma liberação robusta de DAs fásica que começou com o surgimento do SL e da luz cue (SL).O) tanto no núcleo quanto no shell. Exemplos desta sinalização a partir de sessões de gravação representativas (em média em testes 30) são mostrados para o núcleo (FIG. 2 A) e shell (FIG. 2 B), com gráficos de cores de um animal individual. Sinalização DA diferia notavelmente entre sub-regiões. Em todos os ratos, no núcleo (FIG. 2 C – E, traços negros), DA atingiu um pico rapidamente no início da sugestão mais preditiva (SLO início) e, em seguida, rapidamente caiu para a linha de base na época do TLP. Em contraste, na casca (FIG. 2 C – Etraços cinzentos), aumentos rápidos na concentração de DA coincidiram com o SLO apresentação e permaneceu elevado para outros estímulos motivacionalmente salientes com picos discretos em TLO e recompensar a entrega antes de retornar à linha de base no final do estudo.

Figura 1. Painel do 

A , Esquemático do projeto de tarefa. Durante a programação da corrente, uma alavanca (SL) foi estendida para a câmara de teste ao mesmo tempo em que uma luz indicadora foi iluminada acima da alavanca (SLO). SLP extinguiu a luz e retraiu a alavanca. Após um atraso, a outra alavanca na câmara (TL) foi estendida e a luz de sinalização associada foiO). Após pressionar o TL (TLP) ratos receberam reforço alimentar após um atraso (R). B , Comportamento de extinção em animais com registros FSCV no núcleo ou casca. O comportamento e a análise em extinção foram agrupados por bloco com base no comportamento do rato. Testes na tarefa de cadeia imediatamente anterior foram usados ​​para comparar eventos em extinção. A extinção precoce foi todos os ensaios até o primeiro atraso significativo na resposta no SL, enquanto a extinção tardia foi todos os ensaios entre o primeiro SL atrasadoP e a primeira imprensa omitida após o SLO apresentação. Dentro do bloco de extinção tardia, foram feitas distinções entre se o sujeito fez uma prensa ou omitiu uma resposta. C Histologia de colocações de eletrodos dentro do núcleo (círculos pretos) e concha medial (círculos cinzas).

Figura 2. Painel do 

O desempenho do cronograma encadeado produziu diferentes dinâmicas de liberação de DA dentro do NAc. Dinâmica de libertação de dopamina no núcleo ( A ) e shell ( B ) do NAc alinhado ao tempo de extensão do SL na câmara (SLO). Os gráficos de cores mostram, cada um, médias de um assunto representativo no núcleo e no shell, respectivamente. Tempo médio (▴) da extensão TL (TLO) e recompensa (R) e intervalo (± 2 SD) em relação ao SLO são mostrados na parte inferior. C - E , Em todo o assunto, significa liberação de DA em todas as gravações no core (preto) e shell (cinza) em relação a ( C ) SLO, ( D ) SLPe a extensão do TLO 4 s mais tarde e ( E ) TLPe o pellet alimentar de recompensa (R) fornecido 2.5 s após a impressão. A linha tracejada mostra SEM da média de cada região. Linha inferior ( F - H ) mostra o pico médio de liberação DA para cada evento comportamental. *p <0.05 versus linha de base; †p <0.05 núcleo versus casca.

Quantificamos essas observações calculando a média de todas as gravações feitas no núcleo ou no shell, alinhadas a cada um dos eventos comportamentais no planejamento da cadeia (FIG. 2 CH). Nas sessões de gravação da FSCV, o tempo entre o SLP e TLO foi corrigido (4 s) como foi o tempo entre TLP e entrega de recompensa (2.5 s) para permitir um melhor alinhamento dos estímulos de tarefa para análise de DA. Assim, alinhando ao SLO, SLP/ TLOe TLPA recompensa permitia o alinhamento de todos os marcadores comportamentais e permitia a análise da liberação máxima do DA em relação a esses eventos.

Uma ANOVA de dois fatores comparando o pico (concentração máxima de DA dentro de 300 ms após o evento) Concentrações de DA na região (núcleo, casca) e evento (linha de base, SLO, SLPTLOTLPrecompensa) indicou que o shell liberou mais DA geral do que o core, F (1,24) = 13.63, p <0.002. É importante ressaltar que uma interação significativa de região × evento, F (5,120) = 9.88, p <0.0001, revelou que a sinalização DA no núcleo e shell respondeu diferencialmente aos eventos comportamentais (FIG. 2 F – H). Especificamente, o lançamento do core DA aumentou significativamente no SLO, em relação à linha de base (p <0.0001), e permaneceu acima da linha de base no momento do SLP (p <0.0001), embora significativamente abaixo do SLO (p <0.05). No entanto, não houve diferenças no pico de DA no núcleo em comparação com a linha de base para qualquer evento TL (TLO vs linha de base, p = 0.59; TLP vs linha de base, p = 1.0), e nenhuma diferença da linha de base no momento do recebimento da recompensa (p = 1.0).

Em contraste, as concentrações de pico de DA na casca mostraram liberação de DA significativa para todos os eventos. Todos os eventos foram associados com maior liberação de DA do que a linha de base (todas as comparações vs BL, p <0.0002), enquanto nenhum dos eventos foi significativamente diferente um do outro (todos SL em paresO, SLPTLOTLPe recompensar comparações, p > 0.96).

Comparando diretamente core e shell, encontramos diferenças importantes na sinalização DA entre as regiões. Embora não houvesse diferenças na liberação de DA durante a linha de base (p = 1.0) ou os eventos SL (SLO, p = 1.0; SLP, p = 0.22), a concha DA foi significativamente elevada em comparação com o núcleo para ambos os eventos TL (TLO, p <0.01; TLP, p <0.001) e recompensa (p <0.0005; FIG. 3 D – F).

Figura 3. Painel do 

Alterações na sinalização DA entre o início da sessão (início; primeiros testes 5 da programação da cadeia) versus o final da sessão (tardia; últimos testes 5). A , Concentrações médias de DA no núcleo de NAc das médias das primeiras cinco tentativas de cada sujeito (azul claro) e das últimas cinco tentativas (roxo). B No núcleo, a sinalização do pico de DA dentro dos sujeitos permaneceu inalterada entre o início da sessão e o final. C , Concentrações médias de DA no escudo NAc das médias das primeiras cinco tentativas de cada sujeito (vermelho) e das últimas cinco tentativas (laranja). D , Shell DA mostrou uma diminuição significante dentro dos indivíduos tanto no SLP e TLP sugestões e recompensa (**p <0.01), enquanto a diminuição no SLO sugestão foi quase significativa (#p = 0.073). Barras de erro mostram SE da diferença (early vs late).

Alterações específicas da região na liberação do DA entre o início e o final da sessão

Em seguida, comparamos o release DA no core e no shell durante a tarefa de agendamento de cadeia reforçada no início da sessão (primeiros testes 5) versus o final da sessão (últimos testes 5; FIG. 3). Isso foi importante para testar para garantir que o eletrodo permanecesse estável durante a sessão (ou seja, que o eletrodo não perdesse a sensibilidade ao longo do tempo) e também para avaliar se o DA rastreia quaisquer mudanças sutis no estado motivacional (por exemplo, devido a efeitos diminuição da fome após o consumo do alimento) após a apresentação dos diferentes estímulos.

No núcleo (FIG. 3 A), uma ANOVA de dois fatores indicou um efeito principal significativo do evento (BL, SLO, SLPTLOTLP, Rew; F (5,65) = 35.03, p <0.0001), mas nenhum efeito da fase da sessão (precoce vs tardio; F (1,13) = 3.55, p = 0.08), ou interação entre evento × fase de sessão (F (5,65) = 0.82, p = 0.54). Post hoc comparações entre blocos iniciais e tardios indicaram que o pico de liberação de DA em relação aos eventos comportamentais no núcleo permaneceu o mesmo entre o início e o final da sessão (Tukey: todas as comparações entre pares iniciais vs tardias para BL, SLO, SLPTLOTLPe recompensar p > 0.50; FIG. 3 B).

No entanto, a liberação de DA fásica para estímulos de tarefas geralmente diminuiu durante a sessão no projétil (FIG. 3 C,D), com efeitos principais significativos do evento (F (5,55) = 13.52, p <0.0001), fase da sessão (F (1,11) = 6.95, p = 0.02) e uma interação entre evento e sessão (F (5,55) = 3.74, p = 0.006). Como no núcleo, post hoc os testes indicaram nenhuma diferença em BL, mas diminuições significantes na liberação máxima de DA para o SLPTLPe recompensa (Tukey: todos p <0.0005), uma tendência de significância no SLO sugestão (p = 0.060), mas nenhuma diferença no TLO sugestão (p = 0.36). Assim, as mudanças na estrutura (mas não no núcleo) foram limitadas principalmente a ações motivadas e consumo de recompensa com efeitos diferenciais (embora modestos). Essas mudanças durante a sessão na liberação de DA não foram por causa de mudanças generalizadas na sensibilidade do eletrodo, mas, em vez disso, sugerem que as mudanças específicas do estímulo e da concha nos padrões de liberação de DA indicam informações sobre a significância alterada dos estímulos da tarefa em tentativas repetidas. Dado que os animais consumiram pelo menos 25 pellets em média ao final de cada sessão de registro (ou seja, 1144 mg, ou 7.6% do peso do regime de restrição alimentar diária dos ratos), esses achados sugerem que aumentou a ingestão do alimento reduziu com sucesso o estado de fome motivado no animal, que se manifestou em mudanças na casca, mas não no núcleo ao longo da sessão.

Dinâmica DA evocada por sugestão e estimulada eletricamente no núcleo e no invólucro

Uma ressalva para esses achados pode ser que o núcleo e o casco têm diferentes dinâmicas de remoção de DA devido à menor densidade de transportador de DA no reservatório em comparação com o núcleo (Jones et al., 1996; Budygin et al., 2002). Assim, é possível que o shell DA visto em TL e os eventos de recompensa sejam devidos à liberação de DA residual no momento do SLO, mas é incapaz de ser limpo do estouro de synaptic tão eficientemente quanto no núcleo. Para resolver isso, comparamos a liberação de DA estimulada eletricamente na mesma localização de eletrodo que durante os registros de programação em cadeia para ver se a dinâmica eletricamente estimulada correspondia à dinâmica evocada por estímulos no núcleo e na casca (FIG. 4 A). Nós previmos que, se a cinética de depuração mais lenta no invólucro fosse responsável pelas diferenças na sinalização de evento subseqüente (por exemplo, TLO) entre o núcleo e o invólucro, então a estimulação elétrica e a evocação induzida por sugestão em suas respectivas sub-regiões devem seguir padrões quase idênticos de liberação e depuração. Em contraste, desvios significativos das estimulações elétricas sugeririam que a liberação de AD nessa área está rastreando eventos relacionados a tarefas de uma maneira que não pode ser explicada apenas pela dinâmica de depuração sináptica.

Figura 4. Painel do 

Comparação de sinalização DA eletricamente estimulada versus induzida por sugestão no núcleo e no invólucro de NAc. A Concentração média de DA alinhada ao SLO estímulo ou estimulação elétrica do início da fibra de VTA. O momento do início do TLO sugestão e recompensa foi estimada em uma gama de tempos de resposta para os resultados após SLO (tempo médio de resposta indicado por triângulo; largura indica ± 95% intervalo de confiança). B Comparação das concentrações médias DA inicial (BL) ao pico da concentração de DA no 1 s de SLO ou estimulação elétrica (Stim / SLO), e dentro do intervalo de intervalo de confiança 95% para os horários correspondentes ao TLO ou recompensar épocas. C Latência para o pico de concentração após o SLO ou estimulação elétrica (Lat Pico) e subsequente decaimento (depuração) após liberação no núcleo e na casca. T20 e T80 são os tempos nos quais o sinal decaiu 20% e 80% do pico, respectivamente, enquanto a meia-vida é a latência após o pico até a concentração de meio pico do alcance. *p <0.0001, estimulação elétrica / SLO versus linha de base; †p <0.0001, Shell: Cue maior [DA] do que todos os outros tipos de estimulação; ‡ p <0.0001, Shell: sinaliza uma latência maior para diminuir do pico do que todos os outros tipos de estimulação. Barras de erro mostram SE da diferença (sugestão vs elétrico).

No geral, descobrimos que o núcleo e a casca diferiram acentuadamente em sua relação entre a liberação evocada por estímulo e evocada eletricamente (FIG. 4 B). Observando os picos de concentração nos eventos de tarefas, houve diferenças significativas nas concentrações de DA como uma interação de região (núcleo / casca) × tipo de estimulação (elétrica versus sugestão) × evento (BL, SLOTLO, Rew; F (3,174) = 12.31, p <0.0001). No núcleo, as concentrações de pico de DA para traços evocados por sugestão e estimulados eletricamente eram quase idênticas; não houve diferenças estatísticas entre esses tipos de estimulação no início do estudo, SLOTLO, ou recompensar épocas (Tukey: todos p > 0.80). Em contraste, o shell mostrou um padrão diferente de dinâmica entre os padrões de liberação de DA evocados eletricamente e por sugestão. Embora não tenha havido diferença na concentração na linha de base ou SLO (Tukey: ambos p > 0.98), DA foi significativamente maior para o TLO e recompensar as épocas nos ensaios clínicos em comparação com os estímulos elétricos (ambos p <0.0001).

Da mesma forma, a taxa de liberação e subsequente liberação da sinapse mostrou um padrão similar (FIG. 4 C). Observando as taxas de depuração em função do decaimento do pico, houve uma interação significativa entre a região × tipo de estimulação × parâmetro de decaimento (horário de pico, T20meia-vida, T80; F (3,174) = 80.23, p <0.00001). Como acima, a depuração do núcleo e a dinâmica do decaimento não diferiram entre os tipos de estimulação evocada por sugestão e eletricamente evocada. A latência para atingir o pico, T 20, meia-vida e T 80 foram todos estatisticamente semelhantes, independentemente do tipo de estimulação (elétrica vs cue; todos p > 0.95). Em contraste, os níveis de DA na casca mostraram declínio significativamente atrasado para a linha de base após SLO apresentações relativas a ensaios eletricamente estimulados. Enquanto latência para pico e T 20 foram semelhantes entre estímulos evocados por estímulo e evocados eletricamente (p > 0.98), latência para meia-vida (p <0.0001), e T 80 (p <0.0001) foram significativamente atrasados ​​nos ensaios com indicações relativos à estimulação elétrica. Coletivamente, esses resultados demonstram que as diferenças intrínsecas na cinética de depuração na casca e no núcleo são insuficientes para explicar as diferenças na sinalização de DA durante o desempenho comportamental.

Comportamento de extinção

Os ratos exibiram comportamento de extinção durante as sessões quando a recompensa alimentar foi omitida aumentando progressivamente a latência para pressionar as diferentes alavancas ao longo da sessão de extinção. Geramos fases definidas comportamentalmente com base nessas mudanças de latência em relação à latência de imprensa no SL e TL durante a sessão de cadeia reforçada imediatamente anterior. A fase inicial foi definida como as tentativas em que as latências eram as mesmas que durante a sessão reforçada. Quando os ratos pressionaram a alavanca significativamente mais devagar (ou seja,> 2 DP) do que o normal, isso foi denominado a fase de atraso que durou desde a primeira resposta atrasada até que o sujeito omitiu uma resposta. Todos os ensaios após esta primeira omissão foram denominados fase tardia com base no fato de o rato ter pressionado (pressionar tarde) ou omitido uma resposta (não pressionar tarde).

Primeiro, avaliamos o número de tentativas realizadas antes dos ratos exibirem um desvio de latência da fase inicial para a fase de atraso, bem como o número de tentativas para o primeiro estudo omitido (isto é, mudança para a fase tardia) para SL e TL, respectivamente (FIG. 5 A). Os ratos retardaram a resposta no TL significativamente antes de o fazerem para o SL, emparelhado t teste: t (7) = 2.49, p = 0.04, sugerindo que o TL (talvez em virtude de sua relação imediata com a recompensa) foi mais sensível para recompensar a omissão do que o SL. Em contraste, o número de tentativas antes de fazer a primeira omissão era quase idêntico para as alavancas SL e TL (p > 0.9), talvez indicando que as respostas omitidas foram emitidas apenas quando a previsão de recompensa foi atualizada com precisão para zero no início da tentativa. Consistente com isso, raramente encontramos ensaios em que animais realizaram um SLP mas omitiu um TL subseqüenteP resposta (apenas 4 / 140 ensaios de fase tardia total; 2.9%), sugerindo que os ratos executavam quase exclusivamente toda a sequência da cadeia ou não a todos. Como tal, as omissões provavelmente estavam mais ligadas às informações disponíveis no SL do que ao TL.

Figura 5. Painel do 

Comportamento de extinção em animais com registro de FSCV no núcleo ou concha. A O número de tentativas antes dos ratos mostrou um aumento significativo na latência da resposta para mudar da fase inicial para a retardada da extinção (esquerda) e omissão de resposta (direita) para o SL (cinza claro) e TL (cinza escuro). Os ratos mostraram um deslocamento de latência para o LT em significativamente menos tentativas do que o SL, embora o número de tentativas antes de um estudo ter sido omitido fosse o mesmo entre buscar e receber respostas. *p <0.05 SL versus TL. B Latência de resposta para responder no SL (esquerda) e no TL (direita) através das fases de extinção. A latência de resposta aumentou nos blocos e foi significativamente maior nos blocos de atraso e de extinção tardia para as impressoras SL. Prensas no TL foram confiavelmente mais rápidas do que as do SL dentro de cada bloco. *p <0.05 **p <0.01 vs Ext. Inicial

Em seguida, examinamos latências médias para o SLP e TLP em cada fase com base nos critérios acima. Uma ANOVA de medidas repetidas de duas vias comparando a latência de resposta nas diferentes alavancas (SL, TL) durante as diferentes fases da tarefa (cadeia, extinção precoce, extinção retardada, prensa tardia) mostrou um efeito principal significativo da alavanca (F (1,4) = 45.7, p = 0.003), que foi devido a respostas significativamente mais rápidas no TL do que no SL (FIG. 5 B), consistente com o desempenho durante sessões reforçadas típicas, e um efeito principal significativo da fase de extinção (F (3,12) = 14.5, p <0.001). Para o SL, SLP as respostas durante a extinção precoce foram similares àquelas durante a sessão de cadeia reforçada (Tukey: p = 1.0), mas significativamente retardado pelo atraso (p = 0.02 vs early) e late press (p = 0.003 vs early) fases. No entanto, as latências de impressão no SL foram semelhantes entre o atraso e a fase tardia (p = 0.89). Para as prensas TL, os desvios de latência de resposta foram mais sutis, com a fase tardia sendo significativamente mais lenta que a fase inicial (p = 0.04). No entanto, um contraste linear representou a maior proporção de variação no desvio de latência de TL (F (1,4) = 11.08, p = 0.03; 86% da variância do efeito principal), enquanto que, para o SL, um contraste que compara a cadeia e as fases precoce e tardia e tardia representaram a maior proporção da variância do efeito (F (1,4) = 15.42, p = 0.02; 97% da variância do efeito principal).

Extinção: resultado omitido aumenta diferencialmente a sinalização de núcleo e shell DA

A sinalização DA relacionada ao evento no NAc mudou à medida que o rato progrediu através das fases de extinção definidas pelo comportamento. A maneira pela qual a codificação DA foi afetada pela extinção variou de forma surpreendente entre o núcleo e a casca (FIG. 6).

Figura 6. Painel do 

DA liberação no núcleo ( A - C ) e shell ( D - F ) durante a extinção. A Alinhamento ao SLO no núcleo revelou uma diminuição contínua na liberação do núcleo DA para a sugestão sobre os ensaios de extinção iterativa (linhas azuis) em relação às sessões de cadeia recompensadas (linha preta). Lançamento do BvCore DA para respostas operantes e recompensa durante o escalonamento da cadeia reforçada (preto) e extinção antecipada (azul) alinhado ao TLP evento. A barra cinza mostra a faixa de concentrações máxima e mínima de DA durante o período de linha de base. C , Peak DA relativo ao SLPTLPe recompensar no cronograma reforçado e extinção antecipada. D Alinhamento ao SLO na concha (linhas vermelhas) revelaram decréscimos mais discretos na liberação de DA fásica em relação aos ensaios de extinção iterativos em relação às sessões de cadeia recompensadas (linha preta). E , Sinalização DA alinhada ao TLP no shell em extinção antecipada (vermelho) e o esquema de cadeia reforçada (preto). F , Peak DA no shell ficou inalterado no SLP, mas mostrou reduções significativas em TLP e recompensa. *p <0.05 **p <0.01, extinção em cadeia versus extinção precoce; †p <0.05, omissão menor que a linha de base.

Primeiro examinamos a sinalização DA no núcleo durante a extinção. Relativo ao SLO, DA significativamente e linearmente diminuiu ao longo das diferentes fases de extinção em relação à sessão de cadeia recompensada, (interação: fase × sugestão; SLO vs linha de base; F (4,157) = 33.19, p <0.0001; FIG. 6 A. Post hoc comparações entre pares mostraram que o pico de DA para o SLO rapidamente diminuiu entre a cadeia e as fases de extinção precoce (Tukey: p <0.0001), e novamente entre a extinção precoce e a extinção tardia (p <0.0001). No entanto, DA durante a extinção de atraso não foi diferente do bloco de imprensa tardio (p = 0.64) e pico DA não diferiu na fase tardia com base em se o rato fez uma resposta ou não (tarde imprensa vs tarde não imprensa, p = 0.99). Além disso, DA liberação durante o SLO foi significativamente maior que a linha de base na cadeia (p <0.0001), extinção precoce (p <0.0001), e extinção de atraso (p <0.001) fases, mas não nas fases finais de prensagem ou finais de não prensagem (ambas p > 0.5). Essas descobertas de pares apoiaram uma tendência linear negativa significativa (F (1,157) = 94.77, p <0.0001), que foi responsável pela maioria (71%) da variância do efeito.

Em seguida, uma característica dos sinais de PE no cérebro é a presença de erros de previsão negativos no momento de uma recompensa esperada omitida (Schultz et al., 1997). Prevíamos que esses sinais seriam mais fortes no início da extinção quando o sujeito tivesse plena expectativa de que a recompensa seria entregue. No núcleo (FIG. 6 B), uma ANOVA de dois fatores indicou uma interação significativa do evento × fase (cadeia versus extinção precoce; F (3,57) = 3.24, p = 0.029). Especificamente, embora o lançamento de DA pico em relação ao SL anteriorP foi significativamente reduzido na extinção precoce em relação à sessão de cadeia reforçada, (Tukey: p = 0.019), DA release para o TLP não foi afetado (p = 0.41). Criticamente, o core DA mostrou evidência de um erro de predição negativo durante a extinção (FIG. 6 B) tal que a liberação de DA durante o tempo da recompensa esperada mas omitida foi significativamente menor do que durante a sessão reforçada (p = 0.003). De fato, enquanto a liberação do pico de DA para a recompensa não foi diferente da linha de base durante a sessão de Corrente reforçada (p = 0.99), mudou para significativamente menos do que a linha de base durante as omissões de recompensa (p = 0.03). Assim, os sinais DA no núcleo durante a extinção inicial mostraram tanto mudanças dinâmicas na liberação de estímulos e ações SL preditivas, como nenhuma mudança em relação a uma sugestão TL, e um erro negativo de predição para recompensar a omissão.

O shell mostrou um padrão diferente de liberação DA relativo ao SLO sugestão (FIG. 6 D). Aqui, o DA evocado por um ponto médio para o SLO alterado dinamicamente entre fases, (interação: fase × sugestão; F (2,24) = 7.95, p <0.0005), mas ao contrário do núcleo, o shell DA não mudou entre a fase da cadeia e a extinção precoce, (p = 0.74), mas a sinalização DA para o SLO foi significativamente diminuída durante a fase de extinção em atraso em relação à fase da cadeiap = 0.041) e a fase de extinção antecipada (p = 0.02), coincidente com a mudança de comportamento motivacional dos ratos (FIG. 5). A sinalização DA diminuiu significativamente novamente entre a fase de atraso e as fases tardias p = 0.03; tarde sem imprensa, p = 0.004), mas não houve diferença nos níveis de AD entre as fases finais (pressione versus não pressione, p = 0.43). Como no núcleo, DA release durante o SLO foi significativamente acima da linha de base durante a cadeia, extinção precoce e atrasar as fases de extinção (Tukey: todos p <0.001), mas nenhuma das fases tardias foi significativamente diferente da linha de base. Assim, a liberação do DA principal rastreou rápida e continuamente as mudanças na previsão para a sugestão mais preditiva, enquanto os padrões de liberação do DA para a mesma sugestão no shell, em vez disso, rastreavam as mudanças no estado motivacional entre as fases de extinção.

Observando a sinalização de pressionar e recompensar, o release DA do shell diferiu do padrão no núcleo (FIG. 6 E,F). Uma ANOVA de dois fatores examinando DA em testes individuais por tipo de estímulo (BL, SLPTLP, recompensa) e fase de extinção (cadeia, extinção precoce) encontrou uma interação significativa entre estímulo × extinção (F (3,108) = 11.5, p <0.0001; FIG. 6 D). Ao contrário do núcleo, não houve diferença na liberação do pico do shell DA para o SLP cedo em extinção (p = 0.44). Em vez disso, a extinção induziu uma diminuição significativa na liberação de DA para ambos os LTP (p = 0.01) e no momento da omissão de recompensa em relação ao recebimento da recompensa (p <0.0001) em relação ao tempo combinado durante a programação da Cadeia reforçada. Durante a sessão de cadeia recompensada, DA foi significativamente elevado acima da linha de base (p <0.0001), mas durante a omissão de recompensa, DA foi numericamente maior do que, mas não estatisticamente diferente da linha de base (p = 0.07). Assim, ao contrário do núcleo, encontramos evidências limitadas para erros de predição de extinção antecipada e, em vez disso, uma diminuição na liberação de DA em relação à TL (mas não à SL), bem como a eliminação da DA na recompensa vista durante a programação reforçada.

Discussão

Padrões de liberação de DA por fase rastrearam estímulos que diferiram notavelmente entre sub-regiões NAc de uma maneira consistente com as teorias contrastantes da função DA. Em uma tarefa de planejamento de cadeia bem aprendida, o DA no núcleo NAc atingiu um pico seletivo na sugestão mais preditiva e rastreou linearmente as mudanças no valor de predição e os erros durante a extinção. Em contraste, a liberação de DA fásica na concha de NAc rastreou todos os estímulos salientes quando a tarefa foi recompensada, e tanto dentro da sessão quanto durante a extinção exibiram mudanças na sinalização consistentes com mudanças na motivação. Como tal, propomos que esses sinais de DA estejam simultaneamente disponíveis para o animal durante o comportamento, permitindo que tanto a informação preditiva quanto a motivacional guiem o aprendizado e a ação.

Lançamento do Core DA rastreia o erro de previsão

No núcleo, DA aumentou gradualmente no momento da apresentação da sugestão SL e declinou para a linha de base para eventos posteriores totalmente previstos (por exemplo, TL, recompensa), semelhantes aos achados anteriores (Roitman et al., 2004; Cacciapaglia et al., 2012). Esse padrão de atividade é consistente com os modelos de previsão de erro, que afirmam que as sugestões preditivas devem induzir a liberação DA mais alta (ou seja, previsão), enquanto os eventos previstos com precisão devem desencadear liberação mínima de DA (erro de previsão). Assim, como o TL e a recompensa foram previstos com precisão pelo SL, geraram pouco erro na sua entrega e evocaram pouca liberação de DA relacionada ao erro (Schultz et al., 1997; Schultz e Dickinson, 2000).

Nosso laboratório e outros demonstraram que os sinais DA no núcleo são sensíveis a diferenças no valor previsto e são modulados por fatores subjetivos como preferência de risco e atrasos para o reforço (Day et al., 2010; Gan et al., 2010; Sugam et al., 2012; Saddoris et al., 2013, 2015) Por exemplo, em ratos que executam uma tarefa de tomada de decisão arriscada, o DA central escalonado com pistas que previam a opção preferida do rato e caiu rapidamente abaixo da linha de base quando as recompensas esperadas foram omitidas, indicativo de um erro de previsão negativa (Sugam et al., 2012). Da mesma forma, aqui, o núcleo DA rastreou o valor dos resultados previstos e mudou dinamicamente com base no valor da sugestão predito atualizado durante a extinção. De fato, DA release para o SLO não foi diferente da linha de base no momento em que o rato começou a omitir as respostas durante a extinção, independentemente de ter sido ou não uma resposta, sugerindo que a DA sinalizava o valor antecipado de resposta, e não a motivação para pressionar. Além disso, as omissões de recompensa no início da extinção provocaram pausas robustas na liberação de DA, consistentes com a sinalização negativa de erro de predição.

Shell DA rastreia estímulos motivacionalmente salientes

DA liberação no shell rastreados discretamente todos os estímulos salientes (SLOTLO, R). Esses padrões não podem ser explicados pela cinética de recaptação mais lenta e, em vez disso, parecem refletir a codificação em tempo real de eventos contingentes (Pan et al., 2005) e saliência de incentivo adquirida (Berridge e Robinson, 1998; Berridge, 2012; Wassum et al., 2012). Assim, os eventos de liberação do DA codificam as dicas preditivas e as recompensas no shell, mas apenas as dicas preditivas no núcleo (Cacciapaglia et al., 2012).

Encontramos evidências para este componente motivacional da sinalização shell DA. Primeiro, a sinalização DA no shell para os estímulos diminuiu entre o início e o final das sessões, o que não foi visto no núcleo. Uma explicação é que os ratos no final da sessão eram simplesmente mais saciados (por definição, tinham comido mais comida do que no início da sessão) e, como tal, as pistas que prediziam a comida refletiam o estado motivacional diminuído do animal. . Em contraste, as pistas ainda previam com precisão a entrega do pellet de sacarose, de modo que a codificação do tipo PE no núcleo foi relativamente menos afetada por essa mudança motivacional.

Em segundo lugar, durante a extinção, DA liberação no shell para o SLO permaneceu estável enquanto o rato estava realizando a tarefa no mesmo nível motivacional (conforme indicado pela latência e precisão da resposta), mas diminuiu significativamente depois que a motivação dos ratos diminuiu (isto é, latência da resposta) ao longo do curso da extinção. Em contraste, vimos diminuições rápidas na liberação de DA fásica durante os estímulos TL. Os modelos de IS prevêem que as pistas que reduzem a incerteza devem criar maior motivação e destaque de incentivo (Zhang et al., 2009; Smith et al., 2011), que aqui é inclinado para o TL, como é o máximo de previsão de entrega de recompensa iminente. De fato, infusões intra-NAc de anfetamina potencializam seletivamente a codificação de sinais mais proximais à entrega de recompensa em uma tarefa pavloviana encadeada, mas têm menos efeito sobre a primeira sugestão na sequência (Smith et al., 2011). Assim, a codificação DA do LT foi particularmente sensível à perda prevista de distribuição de recompensa em extinção. Surpreendentemente, as omissões de recompensa não resultaram em liberação de DA abaixo da linha de base, sugerindo que o DA de casca era menos provável de codificar um erro de previsão negativo do que o núcleo. Coletivamente, este padrão de sinalização dentro do shell NAc é distintamente diferente do núcleo, e é sugestivo de codificação do tipo IS.

Em apoio, o shell do NAc foi implicado em uma variedade de comportamentos motivacionais. Por exemplo, o apetite ao sal, em que uma solução salgada é normalmente aversiva, pode ser recompensador se o animal for privado de sal. Em ambos os casos, o resultado previsto (sal) é o mesmo, mas a motivação para obter esse resultado difere entre os animais normais e privados de sal (Tindell et al., 2009). A codificação neural NAc para a solução salina é modulada no shell com base no grau de motivação do sal, enquanto os neurônios centrais não conseguiram exibir as diferenças baseadas no estado (Loriaux et al., 2011). Da mesma forma, microinfusões intra-NAc da anfetamina potencializam fortemente o vigor motivacional da pressão da alavanca na presença de uma sugestão durante a transferência pavloviana-para-instrumental (TIP), assim como a experiência crônica de pré-transferência com cocaína (Wyvell e Berridge, 2000; Saddoris et al., 2011; LeBlanc et al., 2013). De fato, a experiência com cocaína auto-administrada que potencializa o comportamento do TIP também aumenta preferencialmente a codificação neural do invólucro NAc em relação ao núcleo (Saddoris et al., 2011).

Esse padrão de IS e PE na casca e no núcleo parece acompanhar tanto as condições apetitivas quanto as aversivas. No condicionamento do medo pavloviano, o DA fásico aumenta na camada NAc para sinais aversivos salientes, enquanto a serra de liberação da DA core diminui e pausa na liberação indicativa da predição do tipo PE de um resultado negativo (Badrinarayan et al., 2012). Assim, mesmo eventos negativos (mas salientes) podem ser considerados com um modelo do tipo IS dentro do shell, enquanto que o release do DA central permanece fortemente acoplado às previsões do valor do resultado.

Complexidade da sinalização PE e IS no condicionamento

Uma ressalva é que, no condicionamento pavloviano, os animais que preferencialmente interagem com sinais preditivos (“rastreadores de sinais”) mostram liberação de DA aprimorada no núcleo NAc em comparação com aqueles que vão imediatamente para a xícara de alimentos (“rastreadores de meta”; Flagel e outros, 2011). Esse aumento no rastreamento de sinais é descrito como suporte ao EI, pois o estímulo se tornou um estímulo saliente capaz de atuar como um "imã" motivacional e está de acordo com descobertas semelhantes no núcleo (Aragona e outros, 2009; Peciña e Berridge, 2013; Wassum et al., 2013; Ostlund et al., 2014). Isto parece estar em desacordo com a nossa atribuição de PE tendenciosa para o núcleo e IS para o shell.

É importante observar que os respectivos papéis do sinal DA no núcleo e no shell são provavelmente complexos. Por exemplo, poucos dos estudos acima investigaram independentemente o papel da casca e do núcleo nessas tarefas, portanto o aumento do DA no núcleo em animais que monitoram sinais pode simplesmente refletir um aumento generalizado nos sinais de incentivo DA na via mesolímbica. Além disso, não estamos defendendo uma divisão absoluta; encontramos alguma liberação DA para o TLO no núcleo, embora DA para o SLO na concha persistiu apesar das mudanças na motivação durante a extinção, sugerindo que as características da IS podem estar presentes no núcleo e PE na casca (embora em níveis mais baixos e / ou menos responsivos à dinâmica da tarefa). Em vez disso, sugerimos que o core e o shell representam uma tendência crítica em relação aos padrões de codificação do tipo PE e IS, o que é consistente com a composição mais graduada da anatomia do estriado (Haber, 2014).

Implicações para o vício

Diferenças baseadas em modelo na sinalização de núcleo e shell da DA têm implicações importantes além da aprendizagem da recompensa natural. Por exemplo, embora as drogas de abuso sejam inicialmente compensadoras, ao longo do tempo, os estímulos associados às drogas podem induzir sentimentos de intenso desejo aversivo, impondo um estado afetivo negativo que impulsiona a busca de drogas (Koob e Le Moal, 1997). A abstinência prolongada das drogas aumenta o impacto dos estímulos associados às drogas por meio de um processo conhecido como incubação da fissura (Grimm et al., 2001; Hollander e Carelli, 2005; Pickens et al., 2011) O resultado previsto (droga) permanece inalterado tanto na condição imediata quanto na abstinência, mas há um aumento profundo na motivação para retomar o uso da droga nos indivíduos abstinentes. Isso sugere uma mudança significativa na saliência de incentivo desses estímulos e prediz que as mudanças relacionadas à abstinência devem ser preferencialmente vistas na casca. Da mesma forma, quando ratos que se auto-administram com drogas são apresentados a pistas preditivas de cocaína que induzem um estado motivacional aversivo, as mudanças na sinalização de DA rastreiam o estado aversivo do animal na casca, mas não no núcleo (Wheeler e outros, 2011). Coletivamente, essas descobertas confirmam que as contribuições do DA para a aprendizagem e motivação são consistentes em recompensas naturais e de drogas.

Notas de rodapé

  • Recebido June 18, 2015.
  • Revisão recebida em julho 8, 2015.
  • Aceito julho 15, 2015.

  • Este trabalho foi apoiado pelos Institutos Nacionais de Doações de Abuso de Drogas DA028156 e DA035322 para MPS e DA017318 e DA034021 para RMC, e DA010900 para RMW Agradecemos à Dra. Elizabeth West pelos comentários em um rascunho anterior deste trabalho.

  • Os autores declaram não haver interesses financeiros concorrentes.

  • A correspondência deve ser dirigida ao Dr. Michael Saddoris, Departamento de Psicologia e Neurociência, Universidade do Colorado Boulder, Muenzinger, UCB 345, Boulder, CO 80309-0345. [email protected]

Referências

  1. ↵
    1. Aragona BJ,
    2. Dia JJ,
    3. Roitman MF,
    4. Cleaveland NA,
    5. Wightman RM,
    6. Carelli RM

    (2009) Especificidade regional no desenvolvimento em tempo real de padrões de transmissão de dopamina fásica durante a aquisição de uma associação cocaína-cocaína em ratos. Eur J Neurosci 30: 1889 – 1899.

  2. ↵
    1. Badrinarayan A,
    2. Wescott SA,
    3. Vander Weele CM,
    4. Saunders BT,
    5. Couturier BE,
    6. Maren S,
    7. Aragona BJ

    (2012) Os estímulos aversivos modulam diferencialmente a dinâmica da transmissão de dopamina em tempo real dentro do núcleo e do núcleo do nucleus accumbens. J Neurosci 32: 15779 – 15790.

  3. ↵
    1. Berridge KC

    (2012) De erro de predição a saliência de incentivo: cálculo mesolimbico de motivação de recompensa. Eur J Neurosci 35: 1124 – 1143.

  4. ↵
    1. Berridge KC,
    2. Robinson TE

    (1998) Qual é o papel da dopamina na recompensa: impacto hedônico, aprendizagem de recompensa ou saliência de incentivo? Res Res do cérebro 28: 309 – 369.

  5. ↵
    1. Bromberg-Martin ES,
    2. Matsumoto M,
    3. Hikosaka O

    (2010) Dopamina no controle motivacional: gratificante, aversivo e alerta. Neurônio 68: 815 – 834.

  6. ↵
    1. Budygin EA,
    2. John CE,
    3. Mateo Y,
    4. Jones SR

    (2002) Falta de efeito da cocaína na depuração de dopamina no núcleo e na casca do núcleo accumbens de camundongos knock-out do transportador de dopamina. J Neurosci 22: RC222.

  7. ↵
    1. Cacciapaglia F,
    2. Saddoris MP,
    3. Wightman RM,
    4. Carelli RM

    (2012) Dinâmica diferencial de liberação de dopamina no núcleo nucleus accumbens e casca rastreiam aspectos distintos do comportamento direcionado a objetivos para a sacarose. Neurofarmacologia 62: 2050 – 2056.

  8. ↵
    1. Cohen JY,
    2. Haesler S,
    3. Vong L,
    4. Lowell BB,
    5. Uchida N

    (2012) Sinais específicos do tipo neurônio para recompensa e punição na área tegmentar ventral. Natureza 482: 85 – 88.

  9. ↵
    1. Dia JJ,
    2. Jones JL,
    3. Wightman RM,
    4. Carelli RM

    (2010) A liberação de dopamina do núcleo fásico accumbens codifica os custos relacionados ao esforço e ao atraso. Biol Psychiatry 68: 306 – 309.

  10. ↵
    1. Flagel SB,
    2. Clark JJ,
    3. Robinson TE,
    4. Mayo L,
    5. Czuj A,
    6. Willuhn I,
    7. Akers CA,
    8. Clinton SM,
    9. Phillips PE,
    10. Akil H

    (2011) Um papel seletivo para a dopamina na aprendizagem do estímulo-recompensa. Natureza 469: 53 – 57.

  11. ↵
    1. Gan JO,
    2. Walton ME,
    3. Phillips PE

    (2010) Custo dissociável e benefício na codificação de recompensas futuras por dopamina mesolímbica. Nat Neurosci 13: 25 – 27.

  12. ↵
    1. Grimm JW,
    2. Espero BT,
    3. RA sábio,
    4. Shaham Y

    Neuroadaptação: incubação do desejo de cocaína após a retirada. Natureza 412: 141 – 142.

  13. ↵
    1. Haber SN

    (2014) O lugar da dopamina no circuito dos gânglios cortico-basais. Neuroscience 282C: 248 – 257.

  14. ↵
    1. Heien ML,
    2. Khan AS,
    3. Ariansen JL,
    4. Torcida JF,
    5. Phillips PE,
    6. Wassum KM,
    7. Wightman RM

    (2005) Medição em tempo real das flutuações de dopamina após cocaína no cérebro de ratos que se comportam. Proc Natl Acad Sci EUA 102: 10023 – 10028.

  15. ↵
    1. Hollander JA,
    2. Carelli RM

    (2005) A abstinência da autoadministração de cocaína aumenta a codificação neural de comportamentos direcionados por objetivos no acumbens. Neuropsychopharmacology 30: 1464 – 1474.

  16. ↵
  • ↵
    1. Keithley RB,
    2. Carelli RM,
    3. Wightman RM

    (2010) Estimativa de classificação e análise multivariada de in vivo dados voltamétricos cíclicos de varredura rápida. Anal Chem 82: 5541 – 5551.

  • ↵
    1. Koob GF,
    2. Le Moal M

    (1997) Abuso de drogas: desregulação homeostática hedônica. Ciência 278: 52 – 58.

  • ↵
    1. LeBlanc KH,
    2. NT, Maidment
    3. Ostlund SB

    (2013) A exposição repetida à cocaína facilita a expressão da motivação de incentivo e induz ao controle habitual em ratos. PloS One 8: e61355.

  • ↵
    1. Loriaux AL,
    2. Roitman JD,
    3. Roitman MF

    (2011) Nucleus accumbens shell, mas não core, acompanha o valor motivacional do sal. J Neurophysiol 106: 1537 – 1544.

  • ↵
    1. Olmstead MC,
    2. Parkinson JA,
    3. Miles FJ,
    4. Everitt BJ,
    5. Dickinson A

    (2000) Procura de cocaína por ratos: regulação, reforço e ativação. Psychopharmacology 152: 123 – 131.

  • ↵
    1. Ostlund SB,
    2. LeBlanc KH,
    3. Kosheleff AR,
    4. Wassum KM,
    5. NT de Maidment

    (2014) A sinalização da dopamina mesolímbica fásica codifica a facilitação da motivação de incentivo produzida pela exposição repetida à cocaína. Neuropsychopharmacology 39: 2441 – 2449.

  • ↵
    1. Owesson-White CA,
    2. Ariansen J,
    3. Stuber GD,
    4. Cleaveland NA,
    5. Torcida JF,
    6. Wightman RM,
    7. Carelli RM

    (2009) A codificação neural do comportamento de procura de cocaína é coincidente com a liberação de dopamina fásica no núcleo e na concha de accumbens. Eur J Neurosci 30: 1117 – 1127.

  • ↵
    1. Pan WX,
    2. Schmidt R,
    3. Wickens JR,
    4. Hyland BI

    (2005) As células dopaminérgicas respondem aos eventos previstos durante o condicionamento clássico: evidência de traços de elegibilidade na rede de recompensa-aprendizagem. J Neurosci 25: 6235 – 6242.

  • ↵
    1. Peciña S,
    2. Berridge KC

    (2013) A dopamina ou a estimulação opióide do nucleus accumbens amplificam similarmente o “desejo” desencadeado pela recompensa: todo o núcleo e a concha medial mapeados como substratos para o realce do PIT. Eur J Neurosci 37: 1529 – 1540.

  • ↵
    1. Pickens CL,
    2. Airavaara M,
    3. Theberge F,
    4. Fanous S,
    5. Espero BT,
    6. Shaham Y

    (2011) Neurobiologia da incubação do desejo por drogas. Tendências Neurosci 34: 411 – 420.

  • ↵
    1. AD avermelhado

    (2004) Addiction como um processo computacional que deu errado. Ciência 306: 1944 – 1947.

  • ↵
    1. Robinson TE,
    2. Berridge KC

    (2008) Review: a teoria da sensibilização de incentivo da dependência: algumas questões atuais. Philos Trans Soc Soc Biol Sci 363: 3137 – 3146.

  • ↵
    1. Roitman MF,
    2. Stuber GD,
    3. Phillips PE,
    4. Wightman RM,
    5. Carelli RM

    (2004) A dopamina opera como um modulador de subsegundos da busca por alimentos. J Neurosci 24: 1265 – 1271.

  • ↵
    1. Saddoris MP,
    2. Gallagher M,
    3. Schoenbaum G

    (2005) A codificação associativa rápida na amígdala basolateral depende das conexões com o córtex orbitofrontal. Neurônio 46: 321 – 331.

  • ↵
    1. Saddoris MP,
    2. Stamatakis A,
    3. Carelli RM

    (2011) Os correlatos neurais da transferência pavloviana-para-instrumental na concha do nucleus accumbens são seletivamente potencializados após a autoadministração de cocaína. Eur J Neurosci 33: 2274 – 2287.

  • ↵
    1. Saddoris MP,
    2. Sugam JA,
    3. Cacciapaglia F,
    4. Carelli RM

    (2013) Dinâmica de dopamina rápida no núcleo e concha de accumbens: aprendizagem e ação. Frente Biosci (Elite Ed) 5: 273 – 288.

  • ↵
    1. Saddoris MP,
    2. Sugam JA,
    3. Stuber GD,
    4. Witten IB,
    5. Deisseroth K,
    6. Carelli RM

    (2015) A dopamina mesolímbica rastreia dinamicamente e está causalmente ligada a aspectos discretos da tomada de decisão baseada em valor. Biol Psychiatry 77: 903 – 911.

  • ↵
    1. Schoenbaum G,
    2. Setlow B,
    3. Saddoris MP,
    4. Gallagher M

    (2003) A codificação do resultado previsto e do valor adquirido no córtex orbitofrontal durante a amostragem de estímulo depende da entrada da amígdala basolateral. Neurônio 39: 855 – 867.

  • ↵
    1. Schultz W,
    2. Dickinson A

    (2000) Codificação neuronal de erros de previsão. Annu Rev Neurosci 23: 473 – 500.

  • ↵
    1. Schultz W,
    2. Dayan P,
    3. Montague PR

    (1997) Um substrato neural de previsão e recompensa. Ciência 275: 1593 – 1599.

  • ↵
    1. Smith KS,
    2. Berridge KC,
    3. Aldridge JW

    (2011) Desemaranhar o prazer da saliência de incentivo e dos sinais de aprendizagem nos circuitos de recompensa do cérebro. Proc Natl Acad Sci EUA 108: E255 – E264.

  • ↵
    1. Sugam JA,
    2. Dia JJ,
    3. Wightman RM,
    4. Carelli RM

    (2012) O núcleo fásico accumbens dopamina codifica o comportamento de tomada de decisão baseado no risco. Biol Psychiatry 71: 199 – 205.

  • ↵
    1. Tindell AJ,
    2. Smith KS,
    3. Berridge KC,
    4. Aldridge JW

    (2009) Computação dinâmica de saliência de incentivo: “querer” o que nunca foi “gostado”. J Neurosci 29: 12220 – 12228.

  • ↵
    1. PN do Tobler,
    2. Dickinson A,
    3. Schultz W

    (2003) Codificação da omissão de recompensa prevista pelos neurônios dopaminérgicos em um paradigma de inibição condicionada. J Neurosci 23: 10402 – 10410.

  • ↵
    1. Waelti P,
    2. Dickinson A,
    3. Schultz W

    (2001) As respostas da dopamina cumprem com os pressupostos básicos da teoria da aprendizagem formal. Natureza 412: 43 – 48.

  • ↵
    1. Wassum KM,
    2. Ostlund SB,
    3. NT de Maidment

    (2012) A sinalização da dopamina mesolímbica fásica precede e prediz o desempenho de uma tarefa de sequência de ação autoiniciada. Biol Psychiatry 71: 846 – 854.

  • ↵
    1. Wassum KM,
    2. Ostlund SB,
    3. Loewinger GC,
    4. NT de Maidment

    (2013) A liberação de dopamina mesolímbica fásica rastreia a busca por recompensa durante a expressão da transferência pavloviana para instrumental. Biol Psychiatry 73: 747 – 755.

  • ↵
    1. Wheeler RA,
    2. Aragona BJ,
    3. Fuhrmann KA,
    4. Jones JL,
    5. Dia JJ,
    6. Cacciapaglia F,
    7. Wightman RM,
    8. Carelli RM

    (2011) As dicas de cocaína levam a mudanças opostas dependentes do contexto no processamento de recompensas e no estado emocional. Biol Psychiatry 69: 1067 – 1074.

  • ↵
    1. Wyvell CL,
    2. Berridge KC

    (2000) Intra-accumbens anfetamina aumenta a saliência de incentivo condicionado da recompensa de sacarose: aumento da recompensa “querer” sem reforçada “gostar” ou reforço de resposta. J Neurosci 20: 8122 – 8130.

  • ↵
    1. Yorgason JT,
    2. España RA,
    3. Jones SR

    (2011) Software de voltametria e análise de demônios: análise de alterações induzidas pela cocaína na sinalização da dopamina utilizando múltiplas medidas cinéticas. J Neurosci Methods 202: 158 – 164.

  • ↵
    1. Zhang J,
    2. Berridge KC,
    3. Tindell AJ,
    4. Smith KS,
    5. Aldridge JW

    (2009) Um modelo computacional neural de saliência de incentivo. PLoS Comput Biol 5: e1000437.

    •