Introdução

"Nós admitimos que estávamos sem poder sobre nosso vício - que nossas vidas se tornaram incontroláveis", afirma o primeiro princípio do programa Narcóticos Anônimos 12-step . Isso mostra como os viciados impotentes se encontram quando se trata de resistir às drogas, apesar de saber que tomar drogas é um curso errado de ação. - . Na verdade, a marca registrada do vício é a busca compulsiva das drogas, mesmo às custas de consequências adversas evidentes . Uma assinatura desse comportamento patológico se torna evidente em experimentos controlados, nos quais os dependentes exibem um "erro autodescrito" característico: uma inconsistência entre a resposta comportamental potente às escolhas associadas ao medicamento e o valor subjetivo relativamente baixo que o adicto reporta para o medicamento. , , . Quando combinada com a perda do controle cognitivo inibitório sobre o comportamento, após a exposição prolongada às drogas, essa divergência entre os planos cognitivos e os hábitos consolidados pode resultar em uma transição do comportamento casual para o compulsivo. .

A perda do controle cognitivo e o erro auto-descrito escaparam até agora de uma explicação baseada em princípios por modelos formais de dependência. - . Teorias computacionais prévias da dependência de drogas, em sua maioria colocadas dentro da estrutura de aprendizado por reforço, vêem o vício como um estado patológico do sistema de aprendizado do hábito (estímulo-resposta) - . A hipótese central por trás de todos esses modelos é que o efeito farmacológico das drogas na sinalização da dopamina, supostamente carregando um sinal de ensino de estímulo-resposta, resulta em um super-reforço gradual de tais associações. Esse efeito, por sua vez, leva a hábitos compulsivos de busca de drogas. Embora essa visão reduzida do vício tenha capturado alguns aspectos do fenômeno, um consenso crescente na literatura sobre vício indica que vários sistemas de aprendizagem estão envolvidos na patologia. Somente uma imagem mais complexa que inclui processos cognitivos do cérebro, bem como processos habituais de baixo nível, pode explicar a variedade de comportamentos semelhantes ao vício , .

Neste trabalho, adotamos uma abordagem de aprendizado de reforço hierárquico onde as decisões são representadas em diferentes níveis de abstração, em uma hierarquia cognitivo-motor. Assumimos que uma cascata de sinais de aprendizagem dependentes da dopamina liga os níveis da hierarquia juntos . Além disso, assumimos que as drogas de abuso manipulam farmacologicamente o mecanismo de comunicação entre os níveis de abstração. Com base nessas premissas, mostramos que a dissonância cognitiva relatada em adictos surge dentro da estrutura de aprendizado de reforço hierárquico quando a exposição crônica a medicamentos interrompe a aprendizagem de valor em toda a hierarquia de decisão. Essa interrupção resulta em uma supervalorização patológica das escolhas de medicamentos em processos habituais de baixo nível e, portanto, impulsiona o comportamento habitual de busca por drogas. Demonstramos então que “não gostamos”, mas a busca compulsiva de drogas pode ser explicada como processos habituais de baixo nível dominados por drogas dominando o comportamento, enquanto sistemas cognitivos saudáveis ​​nos níveis representacionais superiores perdem o controle sobre o comportamento. Além disso, demonstramos que o modelo proposto pode explicar evidências recentes sobre o desenvolvimento rápido e retardado do efluxo de dopamina induzido por estímulo de drogas no estriado ventral vs. dorsal, respectivamente, assim como a dependência deste padrão em circuitos espiralados de dopamina.

Materiais e Métodos

Preliminares

Em concordância com uma rica literatura de psicologia cognitiva, nosso aprendizado de reforço hierárquico , A estrutura pressupõe que um plano cognitivo abstrato como “preparar chá” pode ser dividido em uma sequência de ações de nível inferior: água fervente, colocar chá no pote, etc. Tal decomposição prossegue até respostas concretas no nível do motor no nível mais baixo do hierarquia (Figura 1A). Neurobiologicamente, os diferentes níveis de hierarquia de decisão, dos níveis cognitivo ao motor, são representados ao longo do eixo rostro-caudal do circuito dos gânglios basico-basais (BG). - . Este circuito é composto por vários loops fechados paralelos entre o córtex frontal e os gânglios da base , (Figura 1B). Enquanto as alças anteriores são subjacentes à representação mais abstrata de ações, as alças caudais, consistindo do córtex sensório-motor e estriado dorsolateral, codificam hábitos de baixo nível - .

Download:

• PPT

  Slide do PowerPoint

• PNG

  imagem maior (1.06MB)

• TIFF

  imagem original (1.56MB)

Figura 1. Painel do Organização hierárquica do comportamento e do circuito cortico-BG.

AUm exemplo de uma hierarquia de decisão para duas escolhas alternativas: droga versus comida. Cada curso de ação é representado em diferentes níveis de abstração, supostamente codificados em diferentes loops de cortico-BG. Buscando cada um dos dois tipos de recompensa pode seguir uma punição de magnitude 16. BConexões glutamatérgicas de diferentes áreas pré-frontais se projetam para sub-regiões do estriado e então se projetam de volta ao PFC através do pallido e tálamo, formando várias alças paralelas. Através da rede de dopamina estro-nigroestriatal, as regiões ventrais do corpo estriado influenciam as regiões mais dorsais. vmPFC, córtex pré-frontal medial ventral; OFC, córtex frontal orbital; dACC, córtex cingulado anterior dorsal; SMC, córtex sensório-motor; VTA, área tegmentar ventral; SNc, substantia nigra pars compacta. Figura 1B Modificado da referência 21.

doi: 10.1371 / journal.pone.0061489.g001

Dentro deste circuito, a atividade fásica dos neurônios dopaminérgicos (DA) do mesencéfalo projetando-se para o corpo estriado sinaliza o erro entre as recompensas previstas e as recebidas, carregando assim informações reforçadoras de estímulo-resposta. . Essas projeções DAergic formam uma conectividade em série em cascata, ligando as regiões mais ventrais do corpo estriado a regiões progressivamente mais dorsais, através das chamadas conexões ″ espiraladas ″. - (Figura 1B). Funcionalmente, essa organização de feed-forward conectando as alças córtico-BG rostral a caudal permite o acoplamento direcionado de representações grosseiras a finas. Da mesma forma, as espirais DA são uma hipótese para fornecer um substrato neurobiológico para o ajuste progressivo do erro de previsão de recompensa pelos níveis mais altos da hierarquia (codificando o conhecimento abstrato sobre o valor das opções comportamentais). Este erro é então utilizado para atualizar os valores de ação em níveis mais detalhados . Em outras palavras, as espirais DA permitem que os níveis cognitivos abstratos de avaliação guiem o aprendizado nos processos mais detalhados de avaliação de ação.

Esboço de teoria

Em termos da teoria computacional da aprendizagem por reforço (RL), o agente (no nosso caso, uma pessoa ou um animal) aprende a fazer escolhas de ação informadas, atualizando seu valor estimado anterior, , para cada par de ação estatal, quando uma recompensa é recebido pelo agente no momento como resultado da execução de uma ação no estado contextual (estímulo) . O valor que é atualizado calculando o sinal de erro de previsão de recompensa. Este sinal não depende apenas da recompensa recebida instantaneamente (), mas também sobre o valor do novo estado em que o agente acaba, após a ação ter sido executada. Denotado por esta função de valor avançada temporalmente representa a soma de recompensas futuras que o animal espera receber do estado resultante, em diante. O erro de previsão pode ser calculado pela seguinte equação:

(1)

Intuitivamente, o sinal de erro de predição calcula a discrepância entre o valor de recompensa esperado e o realizado de uma ação. Em uma estrutura de decisão hierárquica, no entanto, em vez de aprender -valores de forma independente em diferentes níveis, níveis mais abstratos podem ajustar o sinal de ensino computado em níveis mais baixos. Como níveis mais altos da hierarquia representam uma representação mais abstrata de contingências ambientais, a aprendizagem ocorre mais rapidamente nesses níveis. Isso se deve à baixa dimensionalidade relativa da representação abstrata de comportamento: um plano de ação pode ser representado como uma única etapa (uma dimensão) no nível superior da hierarquia e como várias ações detalhadas (várias dimensões) nos níveis inferiores da hierarquia. O valor de nível superior deste plano de ação seria aprendido rapidamente em comparação com os níveis detalhados em que os erros de recompensa precisariam retroceder todos os passos de ação detalhados. Assim, sintonizar os valores de nível inferior pelas informações de valor dos níveis mais altos pode acelerar a convergência desses valores. Uma maneira estatisticamente eficiente de fazer isso é supor que, para computar o sinal de erro de predição no -th nível de abstração, , a função de valor temporalmente avançada, , vem de um nível superior de abstração, :

(2)

Para preservar a otimalidade, a equação 2 pode ser usada para calcular o erro de predição somente quando a última ação primitiva constituinte de uma opção abstrata for executada (ver Figura S1 em Arquivo S1). Em outros casos, o aprendizado por valor em diferentes níveis ocorre independentemente, como na equação 1. Em ambos os casos, o sinal de ensino é usado para atualizar os valores anteriores no nível correspondente:

(3)
onde é a taxa de aprendizado. Essa forma de compartilhamento de informações entre níveis é biologicamente plausível, uma vez que reflete a estrutura em espiral do circuito DA, levando a informação pela hierarquia na direção ventrodorsal. Ao mesmo tempo, ser guiado por níveis mais abstratos acelera significativamente a aprendizagem, aliviando a alta dimensionalidade da aprendizagem de valor em níveis detalhados .

Neste trabalho mostramos que a interação entre uma versão modificada do modelo desenvolvido em e os efeitos farmacológicos específicos de drogas de abuso no sistema dopaminérgico podem capturar dados relacionados à dependência em escalas de análise radicalmente diferentes: neurobiológicas comportamentais e de nível de circuito. Primeiro, o novo modelo traz uma possível explicação convincente para vários aspectos comportamentais intrigantes associados à dependência de drogas (por exemplo, o erro auto-descrito). , , ). Em segundo lugar, podemos explicar uma ampla gama de evidências sobre a dinâmica da liberação de dopamina evocada por drogas .

Modificamos o modelo apresentado em do seguinte modo. Tornamos o modelo mais eficiente em termos de capacidade de memória de trabalho, substituindo com as , na equação 2, uma vez que os dois valores convergem para o mesmo nível constante (ver Figura S2 em Arquivo S1, para bases computacionais e neurobiológicas):

(4)

Aqui, é a opção relativamente abstrata e é a última ação primitiva na sequência comportamental que preenche essa opção. Similarmente, é o valor recompensador de , Que inclui (o valor recompensador de ).

Crucialmente, as várias drogas abusadas por humanos compartilham uma propriedade fundamental de aumentar farmacologicamente a concentração de dopamina no corpo estriado. . Assim, incorporamos esse efeito farmacológico da droga, adicionando um viés positivo, , (Veja também - ) ao sinal de erro de predição transportado pelos neurônios dopaminérgicos (ver Figura S3 em Arquivo S1, para bases computacionais e neurobiológicas):

(5)

Aqui você encontra capta o efeito farmacológico direto da droga no sistema DA, e é o seu valor reforçador devido aos efeitos euforizantes (ver Arquivo S1 para informação suplementar).

Enquanto as equações 3 e 5 juntas definem o mecanismo computacional para atualizar os valores em nosso modelo, também supomos que um mecanismo de competição baseado em incerteza determina o nível de abstração que controla o comportamento. Isto é inspirado pelo mecanismo proposto em para arbitragem entre os sistemas habitual e direcionado por objetivos. A esse respeito, em cada ponto de decisão, apenas o nível de abstração com a mais alta certeza na estimativa do valor das escolhas controla o comportamento. Uma vez que este nível tenha tomado a decisão de agir, todos os níveis inferiores da hierarquia serão implementados por este nível dominante para implementar a ação selecionada como uma sequência de respostas motoras primitivas (ver Arquivo S1 para informação suplementar; Figura S4 em Arquivo S1; Figura S5 em Arquivo S1). Ao receber o feedback de recompensa do ambiente, os valores em todos os níveis são atualizados. Esse mecanismo de arbitragem baseado em incerteza prevê que, como os processos abstratos são mais flexíveis, eles têm uma capacidade de aproximação de valor superior durante os estágios iniciais de aprendizado e, portanto, controlam o comportamento nesses estágios. No entanto, como os níveis abstratos usam uma representação grosseira do ambiente (por exemplo, devido a conter um número relativamente pequeno de funções de base), sua capacidade de aproximação de valor final não é tão precisa quanto a dos níveis detalhados. Em outras palavras, após treinamento extensivo, a certeza associada aos valores estimados é menor para os níveis inferiores da hierarquia em comparação com os níveis superiores. Assim, com o aprendizado progressivo, os níveis inferiores da hierarquia assumem o controle sobre a seleção de ações, à medida que sua incerteza diminui gradualmente. Isto está de acordo com várias linhas de evidência mostrando uma dominância progressiva do dorsal sobre o estriado ventral no controle sobre a busca de drogas (assim como busca de recompensas naturais) , , .

Consistentes

Inconsistência de avaliação hierárquica emerge sob recompensas de drogas, mas não naturais

Em contraste com os modelos computacionais baseados em aprendizado de reforço anteriores de dependência - que são baseados em uma abordagem de sistema de decisão única, nossa conta é construída sobre uma estrutura de sistemas de interação múltipla. Como resultado, embora a forma de modelar o efeito da droga no sinal de erro de predição em nosso modelo seja semelhante às anteriores - , isso resulta em consequências fundamentalmente diferentes. O aumento da dopamina transitória induzida pelo medicamento aumenta o erro de predição imediato em cada nível da hierarquia e, como resultado, desenvolve um viés, , na transferência de conhecimento de um nível de abstração para o próximo, ao longo da direção da hierarquia grosseira a fina. Este viés faz com que o valor assintótico da procura de drogas a um dado nível seja unidades superiores a uma camada mais abstrata (Figura 2B). O acúmulo dessas discrepâncias ao longo do eixo rostro-caudal induz progressivamente diferenças significativas no valor dos comportamentos de busca de drogas entre os extremos superior e inferior da hierarquia. Assim, mesmo quando seguido de uma forte punição, o valor do comportamento associado às drogas permanece positivo nas alças motoras de baixo nível, enquanto se torna negativo nos níveis cognitivos. Em outras palavras, o modelo prevê que o acúmulo de efeito de drogas sobre espirais de DA aumenta o valor de busca de drogas nos hábitos do nível motor a uma amplitude tão alta que mesmo uma punição natural forte não será capaz de diminuí-la suficientemente. Sugerimos que isso explica a inconsistência entre a avaliação cognitiva e de baixo nível dos comportamentos relacionados a drogas em adictos. Em outras palavras, propomos que a busca compulsiva de drogas e a redução significativa da elasticidade aos custos associados derivam do efeito farmacológico do seqüestro de drogas, o mecanismo dependente de dopamina que transfere as informações entre os níveis de hierarquia de decisão.

Download:

• PPT

  Slide do PowerPoint

• PNG

  imagem maior (289KB)

• TIFF

  imagem original (471KB)

Figura 2. Painel do Motivação para alimentos versus medicamentos em diferentes níveis de abstração (resultados de simulação).

Nos primeiros testes 150 em que nenhuma punição segue a recompensa, o valor de buscar recompensas naturais em todos os níveis converge para 10 (A). Para o caso da droga, no entanto, o efeito farmacológico direto da droga (, definido como) resulta no valor assintótico em cada nível a ser unidades superiores a um nível de abstracção superior (B). Assim, quando seguidos de punição, enquanto que os laços cognitivos atribuem corretamente um valor negativo à escolha de busca por drogas, os laços no nível motor consideram desejável a busca por drogas (valor positivo). As curvas nesta figura mostram a evolução dos valores em “um” animal simulado e, portanto, nenhuma análise estatística foi aplicável.

doi: 10.1371 / journal.pone.0061489.g002

Enquanto as drogas, em nosso modelo, resultam em avaliações desequilibradas entre os níveis, o valor das recompensas naturais converge para o mesmo valor em todos os níveis, devido à falta de um efeito farmacológico direto no mecanismo de sinalização DA (). Conseqüentemente, nem inconsistência nem supervalorização em níveis detalhados serão observados para o caso de recompensas naturais (Figura 2A). A supervalorização das respostas em busca de drogas nos níveis mais baixos da hierarquia deve resultar na preferência anormal das drogas sobre as recompensas naturais e no envolvimento excessivo nas atividades relacionadas às drogas.

Dopamina diferencial respondendo no estriado ventral versus estriado dorsal a estímulos associados ao medicamento

Neurobiologicamente, os papéis diferenciais das sub-regiões do corpo estriado na aquisição e expressão do comportamento de busca por drogas ocuparam um lugar central na pesquisa sobre dependência. Evidências convergentes de diferentes linhas de pesquisa sugerem que a transição comportamental do uso recreativo para compulsivo de drogas reflete uma mudança neurobiológica da avaliação do corpo estriado ventral para o estriado dorsolateral. , , , correspondendo a uma mudança de níveis cognitivos para níveis detalhados em nosso modelo. Em consonância com o nosso modelo, a rede de espiralamento DA conectando a região ventral a progressivamente mais dorsais do estriado é mostrada como tendo um papel fundamental nesta transição. .

Em um estudo recente importante, Willuhn et al. avaliaram o padrão de liberação de dopamina em resposta a estímulos associados a drogas no estriado ventral e dorsolateral de ratos durante três semanas de experimentação de cocaína. Usando voltametria cíclica de varredura rápida, a observação crítica foi que o efluxo de DA induzido por estímulo no estriado ventral emerge mesmo após um treinamento muito limitado. Em contraste, o corpo estriado dorsolateral apresentou efluxo de DA desencadeado apenas após treinamento extensivo, e o desenvolvimento desse padrão de liberação desapareceu quando o estriado ventral foi lesionado no hemisfério ipsilateral.

Como a resolução temporal da voltametria de varredura rápida captura flutuações de subsegundos em concentração, o padrão observado de efluxo DA deve ser atribuído à sinalização “fásica” de DA e, portanto, ao sinal de erro de predição, de acordo com a teoria de dopamina da RL. . De acordo com a teoria RL, o sinal de erro de predição ao observar um estímulo inesperado é igual ao valor de recompensa que esse estímulo prediz. Portanto, a liberação DA induzida por estímulo é equivalente ao valor previsto por aquela sugestão.

A esse respeito, nossa estrutura hierárquica fornece uma explicação formal para o padrão diferencial de efluxo de DA ventricular e dorsal estriado relatado em . O valor previsto pelo estímulo associado aos medicamentos nos níveis cognitivos abstratos da hierarquia aumenta rapidamente nos primeiros estágios do treinamento (Figura 2B), devido à baixa dimensionalidade do problema de aprendizagem em altos níveis de abstração. Como resultado, nosso modelo mostra que o efluxo de DA induzido pela sugestão deve ser observado no estriado ventral mesmo após treinamento limitado (Figura 3). Nos níveis mais detalhados de representação, no entanto, o processo de aprendizagem é lento (Figura 2B), devido à alta dimensionalidade do espaço do problema, bem como a dependência de aprendizagem em níveis mais abstratos através de espirais DA. Consequentemente, o efluxo de DA induzido por estímulo no estriado dorsolateral deve desenvolver-se gradualmente e tornar-se observável somente após treinamento extensivo (Figura 3).

Download:

• PPT

  Slide do PowerPoint

• PNG

  imagem maior (447KB)

• TIFF

  imagem original (896KB)

Figura 3. Painel do Efluxo de dopamina em diferentes sub-regiões do corpo estriado em resposta a estímulos associados a drogas (resultados de simulações).

De acordo com dados experimentais , o modelo mostra (coluna da esquerda) que, em resposta a sinais associados a drogas, haverá efluxo de dopamina no estriado ventral, após treinamento limitado e extensivo. Em sub-regiões dorsolaterais, no entanto, o efluxo de DA desencadeado se desenvolverá gradualmente durante o curso da aprendizagem. O modelo prediz (segunda coluna da direita) que este atraso no desenvolvimento do efluxo DA induzido por estímulo no estriado dorsal depende da conectividade em série dependente de DA que liga o estriado ventral ao estriado dorsal. Isto é, como resultado da desconexão das espirais DA, enquanto que a resposta DA eliciada por estímulo permanece intacta no estriado ventral, ela diminui significativamente no estriado dorsolateral. Além disso, o modelo prevê (terceira coluna da direita) resultados semelhantes para o efluxo de DA induzido por estímulo no estriado dorsolateral para o caso do estriado ventral lesionado. Finalmente, se após um extenso par de dutos de drogas em animais intactos, uma punição segue a droga, o modelo prediz (coluna da direita) que a sugestão relacionada à droga resulta na inibição da perna ventral das espirais DA, mesmo após treinamento limitado. Em regiões mais dorsais, no entanto, o efluxo DA diminui lentamente durante o aprendizado, mas permanecerá positivo, mesmo após um extenso pareamento de punção de drogas. Os dados apresentados nesta figura são obtidos de “um” animal simulado e, portanto, nenhuma análise estatística foi aplicável.

doi: 10.1371 / journal.pone.0061489.g003

Além disso, nosso modelo explica as evidências em que tal atraso no desenvolvimento do efluxo DA induzido por estímulo no estriado dorsolateral depende do estriado ventral (Figura 3). Em nosso modelo, uma lesão unilateral simulada do corpo estriado ventral (o nível de avaliação abstrato no modelo) diminui significativamente o valor previsto pela droga em níveis detalhados no hemisfério ipsilateral e, assim, diminui significativamente o nível de efluxo de DA induzido pela sugestão. Para modelar a lesão do estriado ventral, simplesmente fixamos o valor de todos os estímulos no nível mais alto da hierarquia para zero.

Da mesma forma, nosso modelo prevê que o desenvolvimento da sinalização de DA fásica no estriado dorsolateral depende da integridade do circuito de espiralamento DA (Figura 3). De fato, uma desconexão no circuito em espiral do DA em nosso modelo corta a comunicação através de níveis de abstração, o que, por sua vez, impede o acúmulo do viés induzido por drogas no sinal de reforço, ao longo dos níveis de hierarquia de decisão. Para modelar a desconexão nos circuitos seriais dependentes de DA do estriado ventral para o estriado dorsal, nós fixamos cada nível de abstração para calcular o sinal de erro de predição localmente (como na equação 3), sem receber o valor do estado avançado nível de abstração.

Além disso, o modelo prevê que o padrão de efluxo de DA induzido por estímulo mudará se, após um treinamento extensivo com dicas associadas a cocaína e cocaína, como no experimento acima, se começar a emparelhar o fornecimento de cocaína com um castigo forte. Prevemos que o efluxo de DA em resposta à sugestão associada à cocaína deva diminuir rapidamente abaixo do valor basal no estriado ventral. No estriado dorsolateral, entretanto, a liberação de DA induzida por estímulo deve permanecer acima da linha de base (Figura 3) com possível diminuição parcial retardada. Isso indica atribuir um valor subjetivo positivo ao estímulo da droga em níveis detalhados, apesar dos valores negativos (abaixo da linha de base) nos níveis cognitivos. É digno de nota que esta previsão depende do pressuposto de que a punição é tratada pelo cérebro simplesmente como uma recompensa negativa. Esta suposição é um tanto controversa: é claramente apoiada por estudos experimentais , mas também discutido de outra forma por outros , . Exceto por esta previsão, outros aspectos do modelo não dependem se a punição é codificada pela dopamina ou por outro sistema de sinalização.

O regime de treinamento utilizado por Willuhn et al. não é suficientemente estendido para produzir comportamento compulsivo de procura de drogas, caracterizado por insensibilidade a punições associadas a drogas , . Assim, uma questão chave a ser respondida é qual é a relação entre o atraso no desenvolvimento da resposta induzida por estímulo (DA) no DLS e o desenvolvimento tardio da resposta compulsiva. De acordo com o nosso modelo, o comportamento compulsivo requer não apenas a excessiva avaliação da escolha de drogas em níveis baixos da hierarquia, mas também a transferência de controle sobre o comportamento do cognitivo abstrato para os processos habituais de baixo nível. A escala de tempo desses dois processos é apenas parcialmente dependente um do outro: o processo de supervalorização depende do sinal de erro de predição, enquanto a transferência do controle comportamental também depende das incertezas relativas na estimativa de valor. Portanto, a supervalorização de pistas associadas a drogas em níveis baixos da hierarquia pode preceder a mudança de controle sobre o comportamento do topo para a base da hierarquia. As escalas de tempo exatas dos dois processos dependem da taxa de aprendizado e do ruído inerente aos diferentes níveis, respectivamente (ver Arquivo S1 para informação suplementar). Em outras palavras, é provável que o efluxo de dopamina induzido por sugestão no DLS possa se desenvolver significativamente antes que a busca compulsiva por drogas se manifeste comportamentalmente.

Implicações comportamentais da avaliação inconsistente de drogas versus recompensas naturais

Comportamentalmente, em nosso modelo, se a punição é combinada com a droga nos estágios iniciais do uso voluntário de drogas, o valor abstrato da resposta de busca por drogas torna-se negativo rapidamente. Assumindo que a busca de drogas é controlada por níveis abstratos durante esses estágios iniciais, a avaliação abstrata negativa da escolha de medicamentos faz com que o sujeito não queira mais experimentar esse curso de ação. Isso impedirá a consolidação de uma forte preferência de baixo nível por drogas ao longo do tempo. Assim, o modelo explica a elasticidade das escolhas de medicamentos aos custos durante os estágios iniciais do consumo de drogas, mas não após o uso crônico. Consistentemente, os modelos animais de dependência mostram que a insensibilidade das respostas de busca de drogas às conseqüências prejudiciais associadas ao medicamento se desenvolve apenas após a auto-administração prolongada do medicamento, mas não o uso limitado de drogas , . Em contraste com a nossa teoria, modelos computacionais anteriores de dependência , estão em contradição direta com este conjunto de evidências, uma vez que predizem que os resultados comportamentais adversos que seguem imediatamente o uso de drogas, não têm efeito motivacional, mesmo nos primeiros estágios da experiência com drogas (ver Arquivo S1 para informação suplementar).

Nosso modelo explica ainda a ocorrência de efeito de bloqueio para resultados de medicamentos . O bloqueio é um fenômeno condicionante em que o emparelhamento prévio de um estímulo A com um desfecho bloqueia a formação de associação entre um estímulo diferente B e esse desfecho em uma fase de treinamento subsequente, em que tanto A como B são apresentados antes da entrega do desfecho . Resultados da simulação do nosso modelo em um desenho experimental pavloviano Arquivo S1 para informações suplementares sobre a versão pavloviana do modelo) mostra que, para ambos os casos de recompensas naturais e drogas, quando o valor estimado em um determinado nível da hierarquia atinge seu estado estacionário (ao invés de crescer sem limites), nenhum aprendizado adicional ocorre nível, já que o sinal de erro de predição diminuiu para zero (Figura 4). Assim, associar um novo estímulo à recompensa já prevista será bloqueado. Evidência comportamental mostrando um efeito de bloqueio associado tanto a medicamentos como a reforçadores naturais tem sido usado como um argumento importante para criticar o modelo computacional de vício proposto anteriormente, baseado em dopamina . Aqui mostramos que o foco na natureza hierárquica das representações e na organização dorsal-ventral em espiral da dopamina pode, de fato, explicar os dados de bloqueio, contornando assim essa crítica (ver Arquivo S1 para informação suplementar).

Download:

• PPT

  Slide do PowerPoint

• PNG

  imagem maior (360KB)

• TIFF

  imagem original (615KB)

Figura 4. Painel do Efeito de bloqueio para recompensas naturais versus medicamentos.

O modelo prevê que o bloqueio ocorre para recompensas naturais (A) e drogas (B), somente se o período inicial de treinamento for “extenso”, de forma que o primeiro estímulo preveja totalmente o valor do resultado. Após o treinamento “moderado”, os níveis cognitivos mais flexíveis preveem totalmente os valores e, assim, bloqueiam o aprendizado. No entanto, a aprendizagem ainda está ativa em processos de baixo nível quando a segunda fase de treinamento (apresentação simultânea de ambos os estímulos) começa. Assim, nosso modelo prevê que o treinamento inicial moderado em um experimento de bloqueio com recompensas naturais também resultará em inconsistência cognitiva / comportamental. Os dados apresentados nesta figura são obtidos de “um” animal simulado e, portanto, nenhuma análise estatística foi aplicável.

doi: 10.1371 / journal.pone.0061489.g004

Como mencionado anteriormente, várias linhas de evidência mostram uma dominância progressiva do dorso sobre o estriado ventral no controle sobre o comportamento durante o curso da aprendizagem. , , . Sendo interpretado com base nessas evidências, a avaliação desequilibrada da busca de drogas em toda a hierarquia também explica os esforços malsucedidos dos viciados em reduzir o uso de drogas após uma experiência prolongada com a droga, quando o controle sobre as escolhas relacionadas às drogas mudou de cognitivo para baixo processos habituais de nível. Essa supremacia dos processos dominados pelas drogas leva naturalmente à inelasticidade comportamental aos custos associados às drogas (busca compulsiva de drogas), provavelmente acompanhada de erro autodescrito. Para o caso de recompensas naturais, no entanto, nosso modelo prevê que, embora a inelasticidade comportamental aumente ao longo do aprendizado, como nenhuma inconsistência de avaliação se desenvolve em todos os níveis da hierarquia, punições associadas à recompensa acabarão inibindo a busca por recompensa.

Nosso modelo se concentra na avaliação de ações em uma hierarquia de decisão “presumivelmente dada” e deixa de lado como as opções abstratas e suas correspondentes sub-rotinas de baixo nível são inicialmente descobertas durante o desenvolvimento. A descoberta da hierarquia de decisão é proposta como um processo de baixo para cima, realizado agrupando sequências de ações de baixo nível e construindo opções mais abstratas. . Este processo, supostamente passando por uma mudança do estriado dorsal para o estriado ventral, está na direção oposta do mecanismo de competição aqui proposto, para assumir o controle do comportamento.

Discussão

O crescente corpo de evidências sobre o papel diferencial de diferentes sub-regiões do corpo estriado no vício é usualmente interpretado no contexto da dicotomia habitual vs. , , . A abordagem de decisão hierárquica que usamos aqui é complementar a essas contas de sistema duplo. Considerando que a abordagem de processo dual lida com algoritmos diferentes (sem modelo versus base de modelo Para resolver um único problema, o framework de RL hierárquico enfoca diferentes representações do mesmo problema em diferentes níveis de abstração temporal. Em teoria, um algoritmo habitual ou direcionado por objetivos pode resolver cada uma dessas diferentes representações do problema. Em nosso modelo, o acúmulo de vieses induzidos por drogas sobre espirais DA ocorre em um cenário em que o algoritmo de estimativa de valor é isento de modelo (aprendizado de hábitos). No entanto, isso não exclui a existência de sistemas baseados em modelo funcionando nos níveis mais altos da hierarquia. Pode-se simplesmente incorporar o modelo de avaliação e decisão direcionada ao objetivo dependente do PFC no modelo, assumindo que as ações nos níveis mais altos de abstração são avaliadas por um sistema direcionado por objetivos. Embora essa complicação não altere a natureza dos resultados apresentados neste manuscrito, sua flexibilidade adicional para explicar outros aspectos da dependência é deixada para estudos futuros. De fato, em nosso modelo, independentemente de existir ou não um sistema objetivo-direto, a discrepância no valor assintótico da busca de drogas entre os dois extremos da hierarquia cresce com o número de níveis de decisão governados pelo processo “habitual”. .

À luz de nossa teoria, a recaída pode ser vista como um renascimento de hábitos mal-adaptativos adormecidos no nível motor, após um período de dominância de níveis cognitivos. De fato, pode-se imaginar que, como resultado da terapia cognitiva (em adictos humanos) ou da extinção forçada (em modelos animais de abstinência), o alto valor da procura de drogas no nível detalhado da hierarquia não se extingue, mas se torna adormecido mudar o controle de volta para os níveis cognitivos. Como o comportamento relacionado às drogas é sensível às conseqüências adversas nos níveis abstratos, a busca de drogas pode ser evitada, desde que os processos cognitivos de alto nível dominem o controle do comportamento. Pode-se até mesmo especular que os populares programas 12 (por exemplo, Alcoólicos Anônimos, Narcóticos Anônimos, etc.) funcionam em parte exigindo explicitamente que os participantes admitam a inconsistência de seu estilo de vida relacionado às drogas, capacitando assim os níveis cognitivos abstratos a exercerem controle explícito sobre seus comportamento. Condições estressantes ou reexposição a drogas (priming) podem ser consideradas como fatores de risco que enfraquecem a dominância de níveis abstratos sobre o comportamento, o que pode resultar em reemergência de respostas de busca de drogas (devido aos altos valores não cognitivos latentes ).

Em resumo, propomos uma explicação coerente para vários fenômenos aparentemente díspares característicos da dependência de drogas. Nosso modelo fornece uma conta normativa para dados sobre os papéis diferenciais dos circuitos estriados ventrais vs. dorsais na aquisição de busca de drogas e desempenho de hábitos, bem como o papel seletivo da conectividade DA feed-forward para efeitos de drogas versus reforçadores naturais. Mais importante, mostramos como a patologia induzida por drogas em sinais DA ventral-para-dorsal que arrastam as informações motivacionais para baixo na hierarquia de representação cognitiva pode levar à discordância entre as atitudes abstratas dos viciados em relação à busca de drogas e o que eles realmente fazem. Obviamente, nosso modelo não fornece, e não pretende, fornecer um relato completo do vício em drogas. Explicar outros aspectos inexplicáveis ​​do vício requer a incorporação de muitos outros sistemas cerebrais que comprovadamente são afetados por drogas de abuso . Como incorporar tais sistemas dentro da rede computacional formal permanece um tópico para uma investigação mais aprofundada.

Informações de Apoio

Arquivo S1.

Figura S1,Uma hierarquia de decisão de amostra com cinco níveis de abstração. Figura S2, O circuito neural correspondente para os três algoritmos de aprendizagem de valores discutidos é uma estrutura de decisão hierárquica. A, Usando um algoritmo de aprendizado TD simples (equação S7), o sinal de erro de predição em cada nível de abstração é computado independentemente de outros níveis. B, No modelo proposto por Haruno e Kawato (4) (equação S8), o valor do estado temporalmente adiantado vem de um nível mais alto de abstração. C, em nosso modelo (equação S9) o valor do estado temporalmente adiantado é substituído por uma combinação da recompensa e do valor Q da ação realizada em um nível mais alto de abstração. Figura S3, Nosso modelo prevê diferentes locais de ação de drogas no circuito de aprendizagem de recompensas: sites 1 para 3. As drogas que afetam os locais 4 a 6, em contraste, não resultarão nos padrões comportamentais e neurobiológicos produzidos pela simulação do modelo de drogas, mas produzirão resultados semelhantes ao caso das recompensas naturais. Figura S4, A tarefa usada para simular o mecanismo de competição baseado em incerteza entre os níveis da hierarquia para assumir o controle sobre o comportamento. Figura S5, Resultado da simulação, mostrando uma mudança gradual de controle sobre o comportamento dos níveis mais altos para os mais baixos da hierarquia. Q (s, a) e EUA) mostram o valor estimado e a incerteza dos pares de ação do estado, respectivamente.

doi: 10.1371 / journal.pone.0061489.s001

(PDF)