Apprentissage guidé par récompense au-delà de la dopamine dans le noyau accumbens: fonctions intégratives des réseaux de ganglions cortico-basaux (2008)

Il est devenu courant dans la littérature récente de trouver un concept monolithique de "récompense" appliqué uniformément au comportement appétitif, qu'il s'agisse de désigner tout ce qui est bon pour l'organisme (généralement du point de vue de l'expérimentateur), ou utilisé indifféremment avec des termes plus anciens tels que «renforcement» ou «incitation». Cet état de fait est encouragé par, voire lui-même, la conséquence de la focalisation sur un substrat neuronal unique pour la «récompense» impliquant la libération de dopamine (DA) dans le noyau accumbens (Berke et Hyman, 2000; Grace et al., 2007).

Le lien entre la voie mésoaccumbens et la récompense, reconnu il y a plusieurs décennies, a été revigoré par des preuves plus récentes selon lesquelles le signal DA phasique code une erreur de prédiction de récompense, qui sert vraisemblablement de signal d'apprentissage dans l'apprentissage associatif.g (Schultz et al., 1997). Selon l'interprétation la plus répandue, tout comme il n'y a qu'un seul signal de récompense, il en est de même pour un apprentissage guidé par une récompense, ce qui signifie dans ce cas l'association entre un stimulus et une récompense (Montague et al., 2004). La question de savoir comment ce type d'apprentissage contrôle le comportement adaptatif a toutefois été négligée; il est simplement supposé que le signal de la dopamine est suffisant à la fois pour l'apprentissage prédictif et les réponses conditionnelles ainsi engendrées, ainsi que pour les actions orientées vers les objectifs guidées par leur association à la récompense. Par conséquent, la plupart des recherches dans le domaine de la récompense et de la toxicomanie sont axées sur la signalisation par les DA et la plasticité associée dans la voie mésoaccumbens (Berridge et Robinson, 1998; Hyman et al., 2006; Grace et al., 2007).

Cette vision du processus de récompense, comme cela est de plus en plus reconnu (Cardinal et al., 2002; Balleine, 2005; Everitt et Robbins, 2005; Hyman et al., 2006), est à la fois inadéquat et trompeur. Il est inadéquat car ni l'acquisition ni la réalisation d'actions orientées vers un objectif ne peuvent être expliquées en termes de processus associatifs menant à un apprentissage stimulus-récompense.. De plus, il est trompeur parce que la focalisation exclusive sur l'activité dans la voie mésoaccumbens, qui n'est ni nécessaire ni suffisante pour des actions orientées vers un objectif, a détourné l'attention de la question plus fondamentale de savoir exactement ce que sont les actions orientées vers un objectif et comment elles sont mises en œuvre. par le cerveau. En effet, selon des données convergentes issues de diverses approches expérimentales, ce qui semblait auparavant être un mécanisme de récompense unique peut en réalité comprendre plusieurs processus ayant des effets comportementaux et des substrats neuronaux distincts (Corbit et al., 2001; O'Doherty et al., 2004; Yin et al., 2004; Delgado et al., 2005; Yin et al., 2005b; Haruno et Kawato, 2006a; Tobler et al., 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler et al., 2007).

Nous essayons ici d’exposer certains des problèmes associés au modèle actuel de mésoaccumbens et de proposer, à sa place, un modèle différent d’apprentissage guidé par récompense. Nous soutiendrons que le striatum est une structure très hétérogène qui peut être divisée en au moins quatre domaines fonctionnels, dont chacun agit comme un hub dans un réseau fonctionnel distinct avec d'autres composants corticaux, thalamiques, pallidaux et du cerveau moyen.. Les fonctions intégratives de ces réseaux, allant de la production de réponses inconditionnelles suscitées par la récompense au contrôle d’actions dirigées vers un objectif, peuvent être dissociées et étudiées à l’aide d’essais comportementaux contemporains.

Prédiction et contrôle

On suppose souvent que la voie mésoaccumbens est nécessaire à l’acquisition d’une association entre la récompense et les stimuli environnementaux prédictifs de cette récompense. Par exemple, dans certaines des expériences examinant l’activité phasique de cellules DA induites par récompense, des singes ont été entraînés à associer un stimulus à la délivrance de jus (Waelti et al., 2001) et ensuite répondre au stimulus avec une réponse conditionnelle (CR) - léchage anticipé. Le léchage du singe pourrait être dirigé vers un but, car il croit qu'il est nécessaire d'obtenir du jus. Alternativement, le léchage peut être provoqué par le stimulus antécédent auquel le jus est associé. Lequel de ces déterminants du léchage des singes contrôle le comportement dans une situation particulière n'est pas connu a prioriet ne peut être déterminé par une observation superficielle; il ne peut être déterminé qu'à l'aide de tests conçus spécifiquement à cet effet. Ces tests, qui ont pris plusieurs décennies à se développer, sont au cœur des principales avancées modernes dans l’étude de l’apprentissage et du comportement (Tableau 1). Grâce à l'utilisation de ces tests, comme nous le verrons plus loin, nous savons maintenant que la même réponse comportementale - approche ambulatoire, orientation ou action d'un levier - peut résulter d'influences multiples, dissociables expérimentalement.

  

Tableau 1

Apprentissage guidé par récompense

L'insensibilité à l'ambiguïté centrale des déterminants réels du comportement est donc le principal problème de l'analyse neuroscientifique actuelle de l'apprentissage guidé par la récompense. TPour comprendre l’importance de ce problème, il est nécessaire d’apprécier les différences entre la manière dont l’apprentissage prédictif (ou pavlovien) et le comportement d’apprentissage contrôlé par l’apprentissage dirigé (ou instrumental). En fait, à en juger par la fréquence à laquelle ces deux processus ont été confondus dans la littérature sur les récompenses, un bref examen de cette distinction semble être un point de départ utile pour notre discussion.

Dans le conditionnement appétitif pavlovien, la récompense (c'est-à-dire le stimulus inconditionnel ou US) est associée à un stimulus (stimulus conditionnel ou CS), quel que soit le comportement de l'animal, alors que dans l'apprentissage intellectuel, la récompense dépend des actions de l'animal. La question cruciale dans les deux situations est toutefois de savoir si l’association stimulus-récompense ou l’action action-récompense contrôle le comportement.

Aussi simple que cela puisse paraître, cette question a échappé aux enquêteurs pendant plusieurs décennies, en grande partie parce que les réponses comportementales dans ces situations peuvent sembler identiques.

Ainsi, les réponses conditionnelles (CR) contrôlées par l'association pavlovienne stimulus-récompense peuvent souvent avoir un effet de placage axé sur les objectifs. Même la salivation, le RC d'origine de Pavlov, aurait pu être produite par ses chiens comme une tentative délibérée de faciliter l'ingestion. C’est précisément à cause de cette ambiguïté que l’explication la plus évidente - à savoir que l’on apprend dans le conditionnement de Pavlovian l’association résultat-stimulus, alors que dans le conditionnement instrumental l’apprentissage entre association action-résultat - n’a pas recueilli beaucoup de soutien pendant de nombreuses décennies (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Néanmoins, bien que de nombreux CR pavloviens soient autonomes ou consommateurs, d’autres, tels que le comportement d’approche en vue d’une récompense, ne sont pas caractérisés de manière aussi commode (Rescorla et Solomon, 1967) En effet, ils peuvent facilement être confondus avec des actions instrumentales (Brown et Jenkins, 1968; Williams et Williams, 1969; Schwartz et Gamzu, 1977). Nous savons maintenant que, malgré une ressemblance superficielle, les RC pavloviennes et les actions instrumentales dirigées vers un objectif diffèrent par la structure de représentation contrôlant la performance de la réponse (Schwartz et Gamzu, 1977).

Le moyen le plus direct de déterminer si la performance d'une réponse est médiatisée par une association stimulus-récompense ou action-récompense consiste à examiner la performance de contrôle de contingence spécifique. L'exemple de la salivation est instructif ici. Sheffield (1965) testé si la salivation dans le conditionnement pavlovien était contrôlée par sa relation de récompense ou par l'association stimulus-récompense. Dans son expérience, les chiens ont reçu des combinaisons entre un ton et une récompense alimentaire (Sheffield, 1965). Cependant, si les chiens ont salivé pendant la sonnerie, la nourriture n’a pas été livrée lors de cet essai. Cet arrangement maintenait une relation pavlovienne entre le ton et la nourriture, mais supprimait toute association directe entre la salivation et la distribution de nourriture. Si la salivation était une action contrôlée par son rapport à la nourriture, les chiens devraient cesser de saliver - en fait, ils ne devraient jamais acquérir la salivation jusqu'au ton. Sheffield a découvert que c’était clairement la relation tonalité-pavlovienne qui contrôlait la RC de salivation. Au cours de plusieurs couplages tonus / nourriture 800, les chiens ont acquis et maintenu une salivation tonale même si cela leur a fait perdre la plus grande partie de la nourriture qu'ils auraient pu obtenir en ne salivant pas. Des conclusions similaires ont été obtenues par des études chez l'homme (Pithers, 1985) et d'autres animaux (Brown et Jenkins, 1968; Williams et Williams, 1969; Holland, 1979); dans tous les cas, il semble que, malgré leur grande variété, les réponses pavloviennes ne sont pas contrôlées par leur relation à la récompense, c'est-à-dire par la contingence action-résultat.

Le terme contingence fait référence à la relation conditionnelle entre un événement 'A' et un autre, 'B', de telle sorte que l'apparition de B dépend de A. Une telle relation peut facilement être dégradée en présentant B en l'absence de A. Ceci La manipulation expérimentale, appelée dégradation de contingence, est généralement effectuée en présentant une récompense indépendamment du stimulus prédictif ou de l'action. Bien que cette approche ait été initialement développée pour étudier le conditionnement de Pavlovian (Rescorla, 1968), la dégradation des contingences instrumentales est également devenue un outil commun (Hammond, 1980). Lorsque ces contingences sont directement manipulées, le contenu de l’apprentissage est révélé: par exemple, dans un codage automatique, un CR pavlovien «déguisé» en action instrumentale est perturbé par les manipulations du pavlovien plutôt que par la contingence instrumentale (Schwartz et Gamzu, 1977).

Les actions instrumentales dirigées vers un objectif sont caractérisées par deux critères: 1) sensibilité aux variations de la valeur du résultat et 2) sensibilité aux modifications de la contingence entre action et résultat. (Dickinson, 1985; Dickinson et Balleine, 1993). La sensibilité à la seule dévaluation des résultats, il convient de le souligner, ne suffit pas à caractériser une réponse comme étant orientée vers un objectif, car certaines réponses pavloviennes peuvent également être sensibles à cette manipulation (Holland et Rescorla, 1975). Cependant, la performance des actions instrumentales dirigées vers un objectif est également sensible aux manipulations de la contingence action-résultat, alors que les réponses pavloviennes sont sensibles aux manipulations de la contingence stimulation-résultat (Rescorla, 1968; Davis et Bitterman, 1971; Dickinson et Charnock, 1985). Une exception importante, cependant, peut être trouvée dans le cas des habitudes (voir ci-dessous), qui sont plus similaires aux réponses pavloviennes en ce qui concerne leur insensibilité relative aux changements de la contingence instrumentale, mais sont également insensibles à la dévaluation du résultat parce que le résultat ne fait pas partie de la structure de représentation contrôlant la performance (cf. Dickinson, 1985 et ci-dessous pour une discussion plus approfondie).

Pour résumer, il est donc de la plus haute importance qu’une réponse particulière soit clairement définie en termes de contingence de contrôle plutôt que par le formulaire de réponse ou la tâche comportementale utilisée pour l’établir. Sans examiner la contingence de contrôle dans une situation donnée, le comportement et les processus neuronaux impliqués dans la médiation du comportement risquent d'être mal interprétés. En fin de compte, comme nous le verrons, ce sont les contingences de contrôle réelles, acquises par l'apprentissage et mises en œuvre par des systèmes neuronaux distincts, qui contrôlent le comportement, même s'ils peuvent partager le même «chemin commun final». Le principal défi consiste donc à aller au-delà des apparences pour découvrir le comportement sous-jacent du contrôle des imprévus (pour un résumé, voir Tableau 1). Pour pouvoir affirmer que des structures neuronales spécifiques sous-tendent des capacités psychologiques spécifiques, telles que l'orientation vers un objectif, l'état du comportement doit être évalué à l'aide des tests comportementaux appropriés. Faire autrement, c'est créer de la confusion lorsque les groupes discutent des déterminants neuronaux appropriés tout en ne reconnaissant pas que leurs tâches comportementales pourraient mesurer différents phénomènes. Ce qui compte en fin de compte, c’est ce que l’animal apprend réellement, et non ce que l’expérimentateur croit que l’animal apprend, et ce que l’animal apprend réellement ne peut être révélé que par des essais qui sonderont directement le contenu de l’apprentissage.

La distinction pavlovienne-instrumentale aurait été triviale si l'animal avait réussi à apprendre la même chose (par exemple, une association entre le stimulus et la récompense), quelles que soient les dispositions expérimentales. À l’aide des mesures d’apprentissage les plus courantes disponibles actuellement en neuroscience, il n’ya tout simplement aucun moyen de le savoir. Ainsi, les chercheurs prétendent souvent étudier le comportement orienté vers un objectif sans vérifier si le comportement en question est réellement orienté vers l'objectif. Bien que l’on suppose généralement que différents types d’apprentissage résultent de l’utilisation de «tâches» ou de «paradigmes» différents, le plus souvent, les chercheurs échouent à justifier leurs hypothèses.

L'utilisation de labyrinthes pour étudier l'apprentissage est un exemple classique de ce problème. Un problème avec les expériences de labyrinthe et les analyses associées, comme la préférence de lieu conditionnée, est la difficulté de dissocier expérimentalement l’influence des contingences de Pavlovian (stimulus-récompense) et instrumentales (action-récompense) sur le comportement (Dickinson, 1994; Yin et Knowlton, 2002). Ainsi, passer à travers un labyrinthe en T pour obtenir de la nourriture pourrait refléter une stratégie de réponse (tournez à gauche) ou simplement une approche conditionnée à l’égard d’un repère de labyrinthe supplémentaire contrôlé par l’association cue-food (Restle, 1957). Une façon de vérifier si ce dernier joue un rôle dans les performances est d’inverser le labyrinthe; Maintenant, les apprenants de réponse devraient continuer à tourner à gauche, tandis que ceux utilisant des signaux extra-labyrinthe devraient tourner à droite. Mais ceux qui continuent à tourner à gauche utilisent-ils vraiment une stratégie de réponse ou s’approchent-ils de certains intra-la queue de labyrinthe associée à la nourriture? Ce n’est pas une mince affaire à découvrir, car les contrôles habituels du contrôle pavlovien du comportement ne peuvent pas être facilement appliqués dans les études sur les labyrinthes. L'un d'entre eux, le contrôle bidirectionnel, établit que les animaux peuvent exercer un contrôle sur une réponse particulière en exigeant l'inversion du sens de cette réponse pour gagner une récompense (Hershberger, 1986; Heyes et Dawson, 1990). Malheureusement, dans un labyrinthe, le renversement de la réponse peut toujours ne pas suffire pour établir une action dirigée vers un objectif, car ce renversement peut être accompli en éteignant la relation stimulus-récompense existante et en la remplaçant par une autre. Par exemple, un rat s'approchant d'un signal intra-labyrinthe particulier peut apprendre, lors d'un retournement, qu'il n'est plus associé à une récompense, mais qu'un autre stimulus est en train de créer une approche CR vers le nouveau stimulus. Ainsi, ils peuvent apparemment inverser leur réponse sans avoir jamais encodé la contingence réponse-récompense. Comme cette possibilité ne peut pas être testée dans la pratique, l’utilisation de labyrinthes, de procédures de préférence préférentielles ou de tâches locomotrices simples pour étudier les processus d’apprentissage dirigés vers un objectif est particulièrement périlleuse et risque d’entraîner une mauvaise description des processus contrôlant le comportement, ainsi que le rôle spécifique de tout neuronal. processus trouvés impliqués (Smith-Roe et Kelley, 2000; Hernandez et al., 2002; Atallah et al., 2007).

Le noyau accumbens n'est pas nécessaire pour l'apprentissage instrumental

Les insuffisances de l'analyse comportementale actuelle deviennent particulièrement évidentes dans l'étude du noyau accumbens. De nombreuses études ont suggéré que cette structure est essentielle pour l’acquisition d’actions ciblées. (Hernandez et al., 2002; Goto et Grace, 2005; Hernandez et al., 2005; Pothuizen et al., 2005; Taha et les champs, 2006; Atallah et al., 2007; Cheer et al., 2007; Lerchner et al., 2007). Mais cette conclusion a été tirée en grande partie par les mesures d’un changement de performance, en utilisant des tâches dans lesquelles le comportement de contrôle des imprévus est ambigu. Bien que l'observation qu'une manipulation altère l'acquisition de certaines réponses comportementales puisse indiquer un déficit d'apprentissage, elles pourraient également refléter un effet sur le déclenchement de la réponse ou sa motivation. Par exemple, une déficience dans l’acquisition du levier d’appui peut souvent refléter un effet sur les performances plutôt que sur l’apprentissage (Smith-Roe et Kelley, 2000). Les courbes d’acquisition seules, en tant que représentations incomplètes de tout processus d’apprentissage, doivent être interprétées avec prudence (Gallistel et al., 2004). Malheureusement, la distinction entre apprentissage et performance, peut-être la plus ancienne leçon de l'étude de l'apprentissage, est souvent ignorée de nos jours.

Une analyse plus détaillée indique que l'accumbens n'est ni nécessaire ni suffisant pour l'apprentissage instrumental. Les lésions de la coquille d 'accumbens ne modifient pas la sensibilité de la performance à la dévaluation du résultat (de Borchgrave et al, 2002; Corbit et al, 2001) ou à une dégradation de contingence instrumentale (Corbit et al, 2001), alors que des lésions du noyau d’accumbens réduisent la sensibilité à la dévaluation sans nuire à la sensibilité des rats à la dégradation sélective de la contingence instrumentale (Corbit et al., 2001). D’autres études évaluant l’effet des manipulations d’accumbens sur l’acquisition d’une nouvelle réponse dans des études sur le renforcement conditionnel ont toujours montré un effet sur la performance liée aux récompenses, en particulier l’amélioration de la performance par l’amphétamine, mais pas sur l’acquisition de la réponse en tant que telle (Parkinson et al, 1999). De même, une étude systématique menée par Cardinal et Cheung n'a également révélé aucun effet des lésions du noyau accumbens sur l'acquisition d'une réponse de la presse à levier avec un programme de renforcement continu; L’acquisition avec facultés affaiblies n’a été observée que lorsque le renforcement était retardé (Cardinal et Cheung, 2005).

Bien que les accumbens n'encodent pas la contingence instrumentale (Balleine & Killcross, 1994; Corbit, Muir et Balleine, 2001), de nombreuses preuves suggèrent qu’elle joue un rôle fondamental dans la performant, un rôle que nous pouvons maintenant mieux définir à la lumière des travaux récents. Comme le concluent plusieurs études, l'accumbens est essentiel pour certains types de conditionnements pavloviens appétitifs et permet de médiatiser à la fois les effets excitateurs non spécifiques que des indices associés à la récompense peuvent avoir sur la performance instrumentale, ainsi que les biais spécifiques à la sélection des réponses produits. par de tels signaux. Les lésions du noyau ou du cingulaire antérieur, source majeure d’apport cortical au noyau, ou une déconnexion entre ces deux structures, altèrent l’acquisition du comportement d’approche de Pavlovian (Parkinson et al., 2000). La perfusion locale d'un antagoniste des récepteurs de la dopamine ou de D1 ou d'un antagoniste des récepteurs du glutamate de NMDA immédiatement après l'entraînement a également nui à cette forme d'apprentissage sans nuire aux performances (Dalley et al., 2005). Ces données concordent avec les mesures de in vivo activité neuronale. Par exemple, Carelli et ses collègues ont constaté que les neurones du noyau d’accumbens peuvent changer systématiquement d’activité au cours de l’apprentissage d’une tâche d’autoshaping de Pavlovian (Day et al., 2006; Day et Carelli, 2007).

Les neurones de la région de la coquille semblent être à l’écoute des récompenses et des stimuli aversifs, même avant toute expérience d’apprentissage; ils sont également capables de développer des réponses aux CS qui prédisent ces résultats (Roitman et al., 2005). Les travaux de Berridge et de ses collègues ont d'ailleurs a évoqué la possibilité que certaines régions du noyau accumbens et du pallidum ventral en aval puissent être qualifiées de «points chauds hédoniques». Ces zones modulent directement les réponses hédoniques inconditionnelles aux récompenses, telles que la réactivité gustative. Par exemple, les agonistes des récepteurs opioïdes dans ces régions peuvent considérablement amplifier la réactivité du goût ingéré au saccharose. Toutefois, ces régions très localisées sont intégrées à des réseaux plus larges qui ne jouent pas un rôle dans le comportement consommé d'appétit (Taha et les champs, 2005; Pecina et al., 2006; Taha et les champs, 2006).

La distinction dans les rôles relatifs de noyau et de coque semble être une distinction entre les comportements d'appétit préparatoire et de consommation, respectivement, qui peuvent être facilement modifiés par l'expérience à travers différents types de conditionnement de Pavlovian. Les réponses préparatoires telles que l'approche sont liées aux qualités émotionnelles générales du résultat, alors que les comportements de consommation sont liés à des qualités sensorielles plus spécifiques; ils sont également très sensibles aux différents types de CS, par exemple les réponses préparatoires sont plus facilement conditionnées avec un stimulus de longue durée (Konorski, 1967; Dickinson et Dearing, 1979; Balleine, 2001; Dickinson et Balleine, 2002).

En tout état de cause, la preuve impliquant les accumbens dans certains aspects du conditionnement pavlovien est accablante. Ce n’est cependant pas la seule structure impliquée, et d’autres réseaux, tels que ceux impliquant les divers noyaux amygdaloïdes, semblent également jouer un rôle central dans les composantes préparatoire et consommatrice de la procédure pavlovienne. (Balleine et Killcross, 2006).

Une fonction qui peut clairement être attribuée aux accumbens est l’intégration des influences pavloviennes sur le comportement instrumental. Les RC pavloviennes, y compris celles qui reflètent l'activation d'états de motivation centraux, tels que l'état de manque et l'excitation, peuvent exercer une forte influence sur la performance des actions instrumentales (Trapold et Overmier, 1972; Lovibond, 1983; Hollande, 2004). Par exemple, un SC qui prédit de manière indépendante la distribution de nourriture peut augmenter la réponse instrumentale pour le même aliment. Cet effet est couramment étudié à l'aide du paradigme de transfert pavlovien-instrumental (PIT). Dans le PIT, les animaux reçoivent des phases d’entraînement pavloviennes et instrumentales distinctes, dans lesquelles ils apprennent, de manière indépendante, à associer une queue à un aliment et à appuyer sur un levier pour obtenir le même aliment. Ensuite, lors des essais avec sonde, le signal est présenté avec le levier disponible, et l’élévation des taux de réponse en présence du CS est mesurée. Deux formes d'IRP ont été identifiées. l'un lié à l'effet généralement stimulant des indices liés à la récompense et un deuxième effet plus sélectif sur la performance de choix produite par le statut prédictif d'un indice par rapport à une récompense spécifique par rapport aux autres. La coquille accumbens est nécessaire pour cette dernière forme d’IPP, mais elle n’est pas nécessaire non plus pour la première, plus générale, ni pour la sensibilité à la dévaluation des résultats; en revanche, les lésions du noyau accumbens réduisent la sensibilité à la fois à la dévaluation du résultat et à la forme générale de l'IRP, tout en laissant intact l'IRP spécifique au résultat (Corbit et al., 2001, (Balleine et Corbit, 2005).

Une étude récente a permis de mieux comprendre le rôle de la coquille d’accumbens dans l’IRP axé sur les résultats (Wiltgen et al., 2007). L'expression contrôlée de la protéine kinase II (CaMKII) dépendante du calcium / de la calmoduline dans le striatum n'affectait pas l'apprentissage instrumental ou pavlovien, mais supprimait l'IRP spécifique. Ce déficit en PIT n'était pas permanent et pouvait être inversé en désactivant l'expression du transgène avec la doxycycline, démontrant ainsi qu'il n'était associé qu'à la performance. Améliorer artificiellement le niveau de CaMKII dans le striatum bloque donc le transfert de la motivation d’incitation spécifique du résultat du système de Pavlovien au système instrumental. Il est intéressant de noter que l’activation du transgène CaMKII réduit également l’excitabilité des neurones de la coquille d’accumbens, sans affecter la transmission basale ou la force synaptique.

Le striatum dorsal

Le striatum dorsal, également appelé néostriatum ou caudé-putamen, reçoit des projections massives du soi-disant néocortex. Il peut être divisé en une région associative plus médiane et continue avec le striatum ventral chez les rongeurs et une région sensorimotrice plus latérale. (Groenewegen et al., 1990; Joel et Weiner, 1994). Dans l’ensemble, le striatum dorsal est innervé par les cellules DA de la substance noire nigra pars compacta (SNc) et ne reçoit que de maigres projections des neurones VTA DA. (Joel et Weiner, 2000). Les travaux antérieurs sur le striatum dorsal ont principalement porté sur son rôle dans l’apprentissage des habitudes de stimulation-réponse (RS) (SR) (Miller, 1981; Blanc, 1989). Ce point de vue est basé sur la loi d’effet, selon laquelle une récompense agit pour renforcer, ou renforcer, une association SR entre les stimuli environnementaux et la réponse effectuée, de sorte que la tendance à la réaliser augmente en présence de ceux-ci. stimuli (Thorndike, 1911; Coque, 1943; Miller, 1981). On pense donc que la voie corticostriatale est un médiateur de l’apprentissage du RS, le DA jouant le rôle de signal de renforcement (Miller, 1981; Reynolds et Wickens, 2002).

Les modèles de RS ont l'avantage de contenir une règle parcimonieuse pour traduire l'apprentissage en performance. En revanche, un modèle basé sur des attentes liées à l’action est plus complexe, car la conviction «L’action A conduit au résultat O» ne doit pas nécessairement être traduite en action (Guthrie, 1935; Mackintosh, 1974) Les informations de ce type peuvent être utilisées à la fois pour effectuer le "A" et pour éviter de réaliser le "A". Pour cette raison, les théories traditionnelles ont échappé à l'explication la plus évidente, à savoir que les animaux peuvent acquérir une contingence action-résultat qui guide le comportement de choix. Cependant, au cours des dernières décennies, le droit de l’effet a été considérablement révisé (Adams, 1982; Colwill et Rescorla, 1986; Dickinson, 1994; Dickinson et al., 1996). TLes résultats de nombreuses études ont démontré que les actions instrumentales peuvent être véritablement orientées vers un objectif, c’est-à-dire sensibles aux changements de la valeur de la récompense ainsi qu’à l’efficacité causale de l’action. (voir Dickinson et Balleine, 1994; 2002; Balleine, 2001 pour les revues). Néanmoins, au cours d’un entraînement intensif dans des conditions constantes, même les actions nouvellement acquises peuvent devenir relativement automatiques et pilotées par un stimulus - un processus connu sous le nom de formation d’habitude (Adams et Dickinson, 1981; Adams, 1982; Yin et al., 2004). Les habitudes ainsi définies, étant automatiquement provoquées par des stimuli antécédents, ne sont pas contrôlées par l'attente ou la représentation du résultat; ils sont par conséquent insensibles aux modifications de la valeur des résultats. De ce point de vue, la loi d’effet est donc un cas particulier qui ne s’applique qu’aux comportements habituels.

La classification actuelle du comportement instrumental le divise en deux classes. TLa première classe comprend les actions dirigées par un objectif et contrôlées par la contingence instrumentale; le second, le comportement habituel insensible aux changements de valeur de résultat (Tableau 1). En utilisant des tests comportementaux tels que la dévaluation du résultat et la dégradation de la contingence instrumentale, Yin et al. Ont établi une dissociation fonctionnelle entre les régions sensorimotrices (striatum dorsolatéral, DLS) et associatives (striatum dorsomédial, DMS) du striatum dorsal (Yin et Knowlton, 2004; Yin et al., 2004, 2005; Yin et al., 2005b; Yin et al., 2006a). Les lésions du DLS ont nui au développement des habitudes, ce qui a permis de mettre en place un mode de contrôle du comportement plus ciblé. Les lésions du DMS ont l'effet inverse et entraînent le passage du contrôle dirigé vers l'objectif au contrôle habituel. Yin et al. Ont donc conclu que le DLS et le DMS peuvent être dissociés fonctionnellement en termes de type de structures associatives qu’ils supportent: le DLS est essentiel à la formation des habitudes, tandis que le DMS est essentiel à l’acquisition et à l’expression d’actions dirigées vers un objectif. Cette analyse prédit que, dans certaines conditions (par exemple, une formation prolongée), le contrôle des actions peut passer du système dépendant du DMS au système dépendant du DLS, conclusion qui est en accord avec la littérature abondante sur les primates, y compris la neuroimagerie humaine (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi et al., 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno et Kawato, 2006a, b; Lohrenz et al., 2007; Tobler et al., 2007). Il faut se rappeler, bien sûr, tUn emplacement physique (par exemple dorsal ou ventral) ne peut à lui seul servir de guide fiable pour comparer le striatum des rongeurs et le striatum des primates; de telles comparaisons doivent être faites avec prudence, après un examen attentif de la connectivité anatomique.

Les effets des lésions striatales dorsales peuvent être comparés à ceux des lésions accumbens (Smith-Roe et Kelley, 2000; Atallah et al., 2007). Comme déjà mentionné, les tests standard pour établir un comportement comme étant «orienté vers un objectif» sont la dévaluation du résultat et la dégradation de la contingence action-résultat (Dickinson et Balleine, 1993). Les lésions du DMS rendent le comportement insensible aux deux manipulations (Yin et al., 2005b), alors que les lésions du noyau ou de la coquille d’accumbens ne le sont pas (Corbit et al., 2001). De plus, les tests de ces tests comportementaux sont généralement effectués en extinction, sans aucune récompense, afin d'évaluer ce que l'animal a appris sans être contaminé par un nouvel apprentissage. Ils sondent donc directement le comportement de contrôle de la structure de représentation. En tant que contrôle expérimental supplémentaire, il est souvent utile de procéder à un test de dévaluation séparé dans lequel les récompenses sont réellement distribuées, le "test récompensé". Les lésions du DMS n'ont pas aboli la sensibilité à la dévaluation du résultat du test récompensé, comme il fallait s'y attendre, car la fourniture d'un résultat dévalorisé subordonné à une action peut supprimer l'action indépendamment du codage action-résultat. En revanche, les lésions de la coquille d’Accumbens n’entamaient pas la sensibilité à la dévaluation du résultat, ni au test d’extinction ni au test récompensé, alors que les lésions du noyau d’Accumbens abolissaient la sensibilité à la dévaluation lors des deux tests (Corbit et al., 2001). La sensibilité à la dégradation de contingence, cependant, n'a été affectée par aucune des lésions, ce qui démontre qu'après les lésions accumbens, les rats étaient capables de coder et de récupérer des représentations d'action-résultats.

Le rôle de la dopamine: mésolimbique vs nigrostriatal

Depuis les études pionnières sur l'activité phasique des neurones DA chez le singe, on part du principe commun que toutes les cellules DA se comportent essentiellement de la même manière (Schultz, 1998a; Montague et al., 2004). Cependant, les données disponibles, ainsi que la connectivité anatomique, suggèrent le contraire. En fait, l'analyse ci-dessus de l'hétérogénéité fonctionnelle dans le striatum peut également être étendue aux cellules DA dans le mésencéphale.

Les cellules DA peuvent être divisées en deux groupes principaux: VTA et substantia nigra pars compacta (SNc). Bien que la projection de la La VTA à accumbens a été le centre d'attention dans le domaine de l'apprentissage lié aux récompenses, la voie beaucoup plus massive de la nigrostriatalité a été relativement négligée, avec une attention particulière portée à son rôle dans la maladie de Parkinson. Réflexion en cours sur le rôle de DA dans l'apprentissage a été fortement influencé par la proposition selon laquelle l'activité phasique des cellules de DA reflète une prédiction de récompense error (Ljungberg et al., 1992; Schultz, 1998b). jeDans la tâche de conditionnement pavlovienne la plus courante utilisée par Schultz et ses collègues, ces neurones se déclenchent en récompense (US) mais, avec l’apprentissage, l’activité évoquée par les États-Unis est transférée à la SC. Lorsque les États-Unis sont omis après l’apprentissage, les cellules du DA montrent une brève dépression de l’activité au moment prévu de sa livraison. (Waelti et al., 2001; Fiorillo et al., 2003; Tobler et al., 2003). Ces données constituent la base de divers modèles informatiques (Schultz et al., 1997; Schultz, 1998b; Brown et al., 1999; Montague et al., 2004).

Étant donné les multiples niveaux de contrôle des mécanismes de synthèse et de libération, la surépaisseur des neurones DA ne peut être assimilée à la libération de DA, même si on pourrait s’attendre à ce que ces deux mesures soient fortement corrélées. En effet, comme le montre une étude récente de Carelli et de ses collègues utilisant la voltamétrie cyclique à balayage rapide, la libération réelle de DA dans le noyau accumbens semble être corrélée à une erreur de prédiction dans le conditionnement de Pavlovian appétitif (Day et al., 2007). Ils ont trouvé un signal de phase DA dans le noyau d'accumbens immédiatement après la réception de la récompense de saccharose chez Pavlovian Autoshaping. Après un conditionnement pavlovien prolongé, cependant, ce signal n'a plus été retrouvé après la récompense elle-même, mais est passé à la CS.. Cette constatation corrobore l'hypothèse originale «d'erreur de prédiction». Cela concorde également avec des travaux antérieurs montrant des performances altérées de la RC pavlovienne après antagonisme des récepteurs DA ou épuisement de la DA dans le noyau d'accumbens (Di Ciano et al., 2001; Parkinson et al., 2002). Cependant, une observation de l’étude est nouvelle et d’un intérêt considérable: après un conditionnement prolongé avec un CS + qui prédit une récompense et un CS- qui ne prédit pas une récompense, un signal AD similaire, bien que plus petit, a également été observé après le CS-, bien que il a également montré une légère chute immédiatement (500 ~ 800 millisecondes après le début du signal) après le pic initial (Day et al, 2007, Figure 4). À ce stade de l'apprentissage, les animaux ne s'approchent presque jamais du CS - mais toujours du CS +. Ainsi, le signal DA phasique immédiatement après le prédicteur peut ne pas jouer de rôle causal dans la génération de la réponse d'approche, car il est présent même en l'absence de réponse. On ne sait toujours pas si un tel signal est nécessaire pour apprendre la contingence relance-récompense-relance, mais la réponse phasique observée à la CS- n'est certainement prédite par aucun des modèles actuels.

Fait intéressant, l’épuisement des DA locaux nuit à la performance de cette tâche (Parkinson et al., 2002). Alors qu'un signal DA phasique est observé après le CS−, qui ne génère pas de CR, abolir les DA phasique et tonique par épuisement local nuit à la performance des CR. Un tel schéma suggère qu'un signal DA phasique dans l'accumbens n'est pas nécessaire pour la performance du RC pavlovien, mais peut jouer un rôle dans l'apprentissage, tandis qu'un signal DA plus lent et plus tonique (supposé être aboli dans les études d'épuisement) est plus important pour la performance. de la réponse d'approche (Cagniard et al., 2006; Yin et al., 2006b; Niv et al., 2007). Cette possibilité reste à tester.

Bien qu’il n’existe aucune preuve directe d’un rôle causal du signal d’AD phasique dans l’apprentissage, l’hypothèse «erreur de prédiction» a néanmoins beaucoup attiré l’attention, car c’est précisément le type de signal d’enseignement utilisé dans les modèles d’apprentissage importants, tels que le modèle Rescorla-Wagner et son extension en temps réel l’algorithme d’apprentissage par renforcement de la différence temporelle (Schultz, 1998b). Selon cette interprétation, l'apprentissage par appétit est déterminé par la différence entre la récompense reçue et la récompense attendue (ou entre deux prédictions de récompense successives dans le temps). Un tel signal d’enseignement est régulé par un retour négatif de tous les prédicteurs de la récompense (Schultz, 1998b). Si aucune récompense ne suit le prédicteur, le mécanisme de rétroaction négative est alors démasqué comme une immersion dans l'activité des neurones DA. Ainsi, l'apprentissage implique la réduction progressive de l'erreur de prédiction.

L’élégance du signal d’enseignement dans ces modèles a peut-être distrait certains de la réalité anatomique. Dans l'étude de Day et al (2007), le signal DA dans l'accumbens provient principalement des cellules de la VTA, mais il semble peu probable que d'autres cellules DA, dotées d'une connectivité anatomique entièrement différente, présentent le même profil de réponse et fournissent le même signal. Un gradient dans le signal des cellules DA est plus probable, car les cellules DA se projettent dans différentes régions striatales ayant des fonctions entièrement différentes et reçoivent, à leur tour, des signaux de rétroaction négatifs distincts provenant également de différentes régions striatales (Joel et Weiner, 2000; Wickens et al., 2007). Les mécanismes d’absorption et de dégradation, ainsi que les récepteurs présynaptiques qui régulent la libération de dopamine, présentent également des variations considérables à travers le striatum (Cragg et al., 2002; Riz et Cragg, 2004; Wickens et al., 2007; Riz et Cragg, 2008).

Nous proposons donc que la voie mésoaccumbens joue un rôle plus limité dans l’apprentissage pavlovien, dans l’acquisition de la valeur des états et des stimuli, alors que la voie nigrostriatale est plus importante pour l’apprentissage instrumental, dans l’acquisition des valeurs des actions. TAinsi, le signal DA phasique peut coder différentes erreurs de prédiction, plutôt qu'une seule erreur de prédiction, comme cela est actuellement supposé. Trois sources de preuves soutiennent cet argument. Premièrement, l’appauvrissement génétique de la DA dans la voie nigrostriatale nuit à l’acquisition et à la performance d’actions instrumentales, alors que l’épuisement de la DA dans la voie mésolimbique ne le fait pas (Sotak et al., 2005; Robinson et al., 2007). Deuxièmement, les cellules DA de la SNc peuvent coder la valeur des actions, similaires aux cellules de leur région striatale cible (Morris et al., 2006). Troisièmement, une lésion sélective de la projection nigrostriatale vers le DLS altère la formation d’habitude (Faure et al., 2005).

Des travaux récents de Palmiter et de ses collègues ont montré que l'apprentissage et la performance instrumentaux de souris déficientes en AD génétiquement modifiées sont gravement compromis, mais que leurs performances pourraient être restaurées par injection de L-DOPA ou par transfert de gène viral vers la voie nigrostriatale (Sotak et al., 2005; Robinson et al., 2007). En revanche, la restauration de l'AD dans le striatum ventral n'était pas nécessaire pour rétablir le comportement instrumental. Bien que la manière dont les signaux DA permettent l’apprentissage instrumental reste une question ouverte, une possibilité évidente est qu’elle pourrait coder la valeur des actions entreprises par eux-mêmes, c’est-à-dire le montant de la récompense escomptée compte tenu d’un plan d’action donné.

Le striatum dorsal, dans son ensemble, contient l’expression la plus élevée des récepteurs DA dans le cerveau et reçoit la projection dopaminergique la plus massive.. La projection de l'AD sur le DMS peut jouer un rôle d'apprentissage différent de celui de la projection sur le DLS, car ces deux régions diffèrent de manière significative dans le profil temporel de la libération, de l'absorption et de la dégradation de l'AD (Wickens et al., 2007). Nous émettons l'hypothèse que la projection de l'AD sur le DMS à partir de la SNc médiale est essentielle pour l'apprentissage des résultats par action, alors que la projection de l'AD sur la DLS à partir de la SNc latérale est essentielle à la formation d'habitudes. Si cela est vrai, on devrait s'attendre à ce que les cellules DA de la SNc codent l'erreur dans la prédiction de récompense basée sur des actions auto-générées - erreur de prédiction instrumentale - plutôt que sur celle basée sur le CS. Les preuves préliminaires à l’appui de cette affirmation proviennent d’une étude récente de Morris et al., Qui a enregistré à partir de neurones SNc au cours d’une tâche d’apprentissage instrumental (Morris et al., 2006). Les singes ont été entraînés à bouger les bras en réponse à un stimulus discriminatif (S^D) indiquant le mouvement approprié et la probabilité de récompense. Le s^D l’activité phasique induite dans les neurones DA correspondant à la valeur d’action basée sur la probabilité de récompense attendue d’une action particulière. Le plus intéressant, bien que la réponse du DA au S^D augmentée avec la valeur d'action, l'inverse était vrai de la réponse du DA à la récompense elle-même, ce qui correspond à l'idée que ces neurones codaient une erreur de prédiction associée à cette valeur. Sans surprise, on sait que la cible striatale principale de ces cellules, le noyau caudé, contient des neurones codant pour des valeurs d'action (Samejima et al., 2005). Il convient toutefois de noter que cette étude n'a pas utilisé de tâches comportementales qui évaluent sans ambiguïté la valeur des actions. Une prédiction claire de notre modèle est que l’activité de la DA phasique accompagnera la réalisation des actions, même en l’absence de S^D. Par exemple, nous prédisons des tirs éclatés de neurones DA nigraux lors d’une action auto-initiée qui rapporte une récompense.

À notre avis, alors que le signal DA mésoaccumbens reflète la valeur du CS, le signal nigrostriatal, provenant peut-être des neurones se projetant vers le DMS, reflète la valeur de l'action elle-même, ou de tout S^D cela prédit cette valeur. De plus, l'apprentissage instrumental et pavlovien semble impliquer une certaine forme de rétroaction négative pour contrôler le signal d'enseignement efficace. En fait, les projections directes du striatum sur les neurones DA du cerveau moyen (Figure 2) ont longtemps été proposés comme implémentation neuronale de ce type de rétroaction négative (Houk et al., 1995), et la force et la nature de l’entrée inhibitrice peuvent varier considérablement d’une région à l’autre.

  

Figure 2

Les réseaux de ganglions cortico-basaux

Selon les modèles actuels, une erreur de prédiction est un signal d’enseignement qui détermine la durée de l’apprentissage. Tant qu'il est présent, l'apprentissage continue. Si évidente que cette affirmation apparaisse, une erreur de prédiction pour une valeur d'action, bien que syntaxiquement similaire à l'erreur de prédiction de Pavlovian, présente des caractéristiques uniques qui n'ont pas été examinées de manière approfondie. Dans les modèles traditionnels tels que le modèle Rescorla-Wagner, qui traite exclusivement du conditionnement pavlovien (avec un succès limité), l'élément clé est le retour négatif qui régit l'erreur de prédiction. Cette sortie représente la prédiction acquise, plus spécifiquement la somme de tous les prédicteurs actuels, tels que capturés par les stimuli composés généralement utilisés dans les expériences de blocage (Rescorla, 1988). C'est cette somme des prédicteurs disponibles pour établir un terme d'erreur global qui constitue l'innovation principale dans cette classe de modèles. Pour les actions instrumentales, cependant, les termes d'erreur individuels semblent plus probables, car il est difficile de voir en quoi la rétroaction négative présenterait la valeur de plusieurs actions simultanément lorsqu'une seule action peut être exécutée à la fois. Bien entendu, un certain nombre de solutions possibles existent. Par exemple, étant donné un état particulier (implémenté expérimentalement par un S distinct^D), les actions possibles pourraient en effet être représentées simultanément comme des prédictions acquises. Mais la principale difficulté liée aux erreurs de prédiction instrumentale concerne la nature même de l'action. Une prédiction pavlovienne suit automatiquement la présentation du stimulus, qui est indépendante de l'organisme. Une erreur de prédiction instrumentale doit prendre en compte l'élément de contrôle, car la prédiction est elle-même subordonnée à une action et une action délibérée est émise spontanément sur la base de la poursuite par l'animal des conséquences de son action plutôt que provoquée par des stimuli antécédents. En fin de compte, c’est précisément une négligence générale de la nature spontanée des actions dirigées vers un objectif, à la fois en neuroscience et en psychologie, qui a estompé la distinction entre les processus d’apprentissage pavlien et instrumental, ainsi que la nature des erreurs de prédiction impliquées. Il reste donc à déterminer quel type de signal de retour négatif, s’il en existe, régit l’acquisition des valeurs d’action (Dayan et Balleine, 2002).

Enfin, des travaux récents ont également impliqué la projection nigrostriatale de la SNc latérale vers la DLS spécifiquement dans la formation des habitudes. Faure et ses collaborateurs ont lésé de manière sélective les cellules DA projetées dans DLS avec 6-OHDA et ont constaté que cette manipulation avait étonnamment peu d'effet sur le taux de pression sur le levier, bien qu'elle altère la formation d'habitudes, mesurée à l'aide de la dévaluation du résultat (Faure et al., 2005). Autrement dit, les animaux lésés ont réagi de manière ciblée, même si, dans un groupe témoin, la formation a généré un comportement habituel insensible à la dévaluation des résultats. L’appauvrissement en DA local est donc similaire aux lésions excitotoxiques du DLS, en ce sens que les deux manipulations retardent la formation d’habitude et favorisent l’acquisition d’actions dirigées vers un objectif (Yin et al., 2004). Un signal DA phasique critique pour la formation d'habitude est déjà bien décrit par le signal de renforcement efficace dans les algorithmes d'apprentissage du renforcement de différence temporelle contemporains inspirés des travaux de Hull et Spence (Coque, 1943; Spence, 1947, 1960; Sutton et Barto, 1998).

Réseaux ganglionnaires cortico-basaux

Jusqu'ici, nous avons discuté de l'hétérogénéité fonctionnelle au sein du striatum. Pourtant, il serait trompeur de suggérer que n'importe quelle zone de la striatalité puisse, par exemple, traduire la contingence action-résultat en exécution d'une action à part entière. Les hémisphères cérébraux sont plutôt organisés en unités fonctionnelles itératives composées de réseaux de ganglions cortico-basaux (Swanson, 2000; Zahm, 2005). TLe striatum, qui est la station d’entrée de l’ensemble des ganglions de la base, sert de plaque tournante unique dans le motif du réseau des ganglions de la corticale et des ganglions de la base, capable d’intégrer les entrées corticales, thalamiques et du cerveau moyen.. Comme décrit ci-dessus, bien qu'il s'agisse d'une structure continue, différentes régions striatales semblent participer à des réseaux fonctionnels distincts, par exemple l'accumbens joue le rôle de hub dans le réseau limbique et le DLS dans le réseau sensorimoteur. En raison de la propriété réentrante de tels réseaux, cependant, aucun composant de cette structure n'est en amont ou en aval dans un sens absolu; par exemple, le système thalamocortical est à la fois la source d'un apport majeur au striatum et la cible des voies à la fois striato-pallidale et striato-nigrale.

Bien que les boucles ganglionnaires de la base réentrantes parallèles soient reconnues depuis longtemps (Alexander et al., 1986), nous soulignons les rôles fonctionnels distincts de ces circuits basés sur des structures de représentation définies opérationnellement et sur des interactions entre circuits pour générer des comportements intégratifs. Sur cette base, on peut distinguer au moins quatre de ces réseaux: les réseaux limbiques impliquant respectivement l’enveloppe et le noyau des accumbens, le réseau associatif impliquant le striatum associatif (DMS) et le réseau sensorimoteur impliquant le sensorimoteur striatum (DLS). Leurs fonctions vont de la médiation du contrôle des UR et des CR appétitifs de Pavlov à des actions instrumentales (Figure 1).

  

Figure 1

Principaux domaines fonctionnels du striatum. Une illustration du striatum d’une coupe coronale montrant la moitié du cerveau (Paxinos et Franklin, 2003). Notez que ces quatre domaines fonctionnels sont anatomiquement continus et correspondent approximativement à ce que ...

Comme nous l’avons déjà mentionné, le striatum ventral se compose principalement du noyau accumbens, qui peut être divisé en deux parties: la coque et le noyau, chacun participant à un réseau fonctionnel distinct. Les projections corticales (glutamatergiques) de la coquille proviennent des cortex orbitaux infralimbiques, centraux et latéraux, alors que les projections du noyau résultent de régions médianes plus dorsales du cortex préfrontal, comme les cortex ventral et dorsal antérieur et cingulaire antérieur (Groenewegen et al., 1990; Zahm, 2000, 2005). Au sein de ces réseaux de fonctions, les preuves examinées ci-dessus suggèrent que la coque est impliquée dans les UR afin de récompenser et d'acquérir des CR consommables; le noyau du comportement exploratoire, en particulier l'acquisition et l'expression des réponses de l'approche pavlovienne. On peut donc discerner au moins deux réseaux principaux dans le réseau plus vaste des ganglions cortico-basaux ventral ou limbique, l'un pour les comportements de consommation et l'autre pour les comportements préparatoires et leur modification par le conditionnement de Pavlovian (Figure 1).

Le striatum dorsal peut également être divisé en au moins deux régions principales, associative et sensorimotrice, avec un réseau fonctionnel distinct associé à chacune. Le striatum associatif (caudé et parties du putamen antérieur chez les primates) contient des neurones qui se déclenchent en prévision de récompenses contingentes, et modifient leur tir en fonction de l’ampleur de la récompense attendue (Hikosaka et al., 1989; Hollerman et al., 1998; Kawagoe et al., 1998). Dans le réseau associatif, les cortex d’association préfrontal et pariétal et leur cible dans le DMS sont impliqués dans la mémoire transitoire, à la fois prospective, sous la forme d’espérances de résultats, et rétrospective, en tant qu’enregistrement de copies d’efférence récentes (Konorski, 1967). Le niveau sensorimoteur, quant à lui, comprend les cortex sensorimoteurs et leurs cibles dans les noyaux gris centraux. Les sorties de ce circuit sont dirigées vers les cortex moteurs et les réseaux moteurs du tronc cérébral. L'activité neuronale dans le striatum sensorimoteur n'est généralement pas modulée par l'attente de récompense, affichant plus d'activité liée au mouvement que les neurones dans le striatum associatif (Kanazawa et al., 1993; Kimura et al., 1993; Costa et al., 2004). Enfin, outre le gradient médio-latéral, il existe une hétérogénéité fonctionnelle significative le long de l'axe antéro-postérieur du striatum dorsal, bien que nous ne disposions pas de données suffisantes à ce jour pour permettre une classification détaillée (Yin et al., 2005b).

Jusqu'à présent, les études ne portaient que sur les composantes corticales et striatales de ces réseaux. En général, les lésions de la zone corticale ont des effets similaires à ceux de la cible striatale (Balleine et Dickinson, 1998; Corbit et Balleine, 2003; Yin et al., 2005b). Mais d'autres composants du réseau pourraient servir à des fonctions similaires. Par exemple, il a été constaté que les lésions du noyau médiodorsal du thalamus, composante du réseau associatif, abolissaient la sensibilité à la dévaluation du résultat et à la dégradation de contingence de la même manière que les lésions du DMS et du cortex pré-liminaire (Corbit et al., 2003). Ainsi, bien que notre modèle général prédit des déficits comportementaux similaires après des dommages causés à chaque composant d’un réseau, il suggère également, pour toute structure donnée comme le pallidum ou le thalamus, de multiples domaines fonctionnels.

Interaction entre réseaux

Dans la plupart des conditions, l'apprentissage pavlovien et instrumental semble se dérouler en parallèle. Des phénomènes tels que l'IPP, cependant, démontrent à quel point ces processus par ailleurs distincts peuvent interagir. Après avoir défini les systèmes fonctionnels indépendants, l'étape suivante consiste à comprendre comment ces systèmes sont coordonnés pour générer un comportement. Une proposition intéressante, en accord avec les travaux anatomiques récents, est que les réseaux décrits ci-dessus soient organisés hiérarchiquement, chacun servant d’intermédiaire labile et fonctionnel dans la hiérarchie, permettant aux informations de se propager d’un niveau à l’autre. Les connexions en spirale récemment découvertes entre le striatum et le mésencéphale suggèrent en particulier une organisation anatomique pouvant potentiellement mettre en œuvre des interactions entre réseaux (Figure 2). Comme observé par Haber et ses collègues, les neurones du striatum envoient des projections inhibitrices directes aux neurones DA, à partir desquels ils reçoivent des projections DA réciproques, ainsi que des neurones DA qui se projettent à leur tour dans une zone striatale différente (Haber et al., 2000). Ces projections permettent une propagation des informations dans une seule direction, des réseaux limbiques aux réseaux associatifs et sensorimoteurs. Par exemple, une prédiction pavlovienne (valeur acquise de la CS) pourrait réduire le signal d'apprentissage effectif au niveau limbique, tout en potentialisant par coïncidence le signal DA au niveau suivant. L'annulation du signal d'apprentissage effectif est normalement mise en œuvre par un signal de retour négatif via une projection inhibitrice, par exemple, des neurones de projection épineux à milieu GABAergique du striatum aux neurones DA. En attendant, comme suggéré par l’organisation anatomique (Haber et al., 2000; Haber, 2003), la potentialisation du signal DA pour le réseau voisin de ganglions cortico-basaux (le niveau suivant dans la hiérarchie) pourrait être mise en œuvre via des projections désinhibitrices (ie neurones de projection striatale GABAergiques en interneurones gabAgiques nigraux en neurones DA). Ainsi, la valeur apprise du réseau limbique peut être transférée au réseau associatif, ce qui permet d'affiner et d'amplifier l'adaptation comportementale à chaque itération (Ashby, 1960). Ce modèle prédit donc l’implication progressive de différents réseaux de neurones au cours des différentes étapes de l’apprentissage, une suggestion appuyée par diverses données (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt et Robbins, 2005; Yin et Knowlton, 2005; Belin et Everitt, 2008).

Les phénomènes qui nécessitent l’interaction de processus fonctionnels distincts, tels que l’ITP, constituent un terrain d’essai fertile pour des modèles de ce type. En effet, le modèle hiérarchique est en accord avec les découvertes expérimentales récentes sur l'IRP. Selon le modèle, les interactions pavloviennes-instrumentales sont médiées par des connexions réciproques entre les neurones striatum et DA. La DA semble être critique pour le transfert général, qui est supprimé par ses antagonistes et par l’inactivation locale de la VTA (Dickinson et al., 2000; Murschall et Hauber, 2006) considérant qu'une infusion locale d'amphétamine dans le corps humain, qui augmente vraisemblablement les niveaux de DA, peut l'améliorer considérablement (Wyvell et Berridge, 2000). D'autre part, le rôle de la dopamine striatale ventrale dans le transfert spécifique est moins clair. Certaines preuves suggèrent qu’il pourrait être épargné après l’inactivation de la VTA (Corbit et al., 2007) mais comme Corbit et Janak (2007) rapporté récemment, le transfert spécifique est supprimé par inactivation de la DLS, ce qui suggère que cet aspect du contrôle du stimulus sur la sélection de l'action pourrait impliquer la projection nigrostriatale (Corbit et Janak, 2007). En accord avec la perspective hiérarchique, Corbit et Janak (2007) ont également constaté que, alors que l’inactivation de DLS supprimait l’effet excitateur sélectif des signaux de Palovian (à peu près ce qui a été observé après des lésions de la coquille d’accumbens par Corbit et al, 2001), l'inactivation du DMS n'a aboli que la sélectivité du transfert vis-à-vis des résultats tout en semblant préserver l'effet excitateur général de ces signaux, tendance également observée après les lésions du thalamus médiodorsal, qui fait partie du réseau ganglionnaire cortico-basal associatif (Ostlund et Balleine, 2008). Sur la base de ces résultats préliminaires, le DMS semble n'intervenir que dans un transfert spécifique, alors que le DLS pourrait être nécessaire à la fois pour les effets excitateurs spécifiques et généraux des signaux pavloviens sur les actions instrumentales.

Fait intéressant, le striatum limbique se projette largement sur les cellules DA qui se projettent sur le striatum dorsal (Nauta et al., 1978; Nauta, 1989) les projections dopaminergiques sur le striatum et les projections striatales vers le cerveau moyen sont très asymétriques (Haber, 2003). Le striatum limbique reçoit une entrée limitée des neurones DA, mais envoie une sortie importante à un ensemble beaucoup plus grand de neurones DA, et le contraire est vrai du striatum sensorimoteur. Ainsi, les réseaux limbiques sont parfaitement placés pour contrôler les réseaux associatifs et sensorimoteurs. Ici, la neuroanatomie est en accord avec les données comportementales selon laquelle la facilitation pavlovienne du comportement instrumental est beaucoup plus forte que l’inverse; en effet, de nombreuses preuves suggèrent que les actions instrumentales ont tendance à inhiber, plutôt qu’exciter, les CR pavloviens - constat qui attend toujours une explication neurobiologique (Ellison et Konorski, 1964; Williams, 1965).

Conclusions

Il convient de noter que le modèle hiérarchique présenté ici est très différent des autres qui reposent exclusivement sur le cortex et les connexions à longue distance entre les aires corticales (Fuster, 1995). Il incorpore les composants connus et la connectivité du cerveau, plutôt que de le regarder comme un pot-pourri de modules corticaux qui, de manière non spécifiée, mettent en œuvre un large éventail de fonctions cognitives. Cela évite également les hypothèses héritées de 19^th neurologie du siècle, que le cortex cérébral en général, et le cortex préfrontal en particulier, forme en quelque sorte une unité homonculaire «supérieure» qui contrôle tout le cerveau (Miller et Cohen, 2001).

En outre, plusieurs modèles spécifiques peuvent être dérivés du modèle actuel: (i) Il devrait exister des erreurs de prédiction distinctes pour les actions auto-générées et pour les états / stimuli avec des propriétés reflétant leurs différents substrats neuronaux et leurs rôles fonctionnels. (ii) Les composants pallidaux et thalamiques de chaque réseau discret de ganglions cortico-basaux devraient également être nécessaires pour le type de contrôle comportemental proposé pour chaque réseau, et pas uniquement pour les composants corticaux et striataux. (iii) Il devrait y avoir une implication progressive de différents réseaux de neurones à différentes étapes de l'apprentissage. (iv) L'activité d'Accumbens peut contrôler directement les neurones DA et, à son tour, l'activité striatale dorsale. Basé sur un rapport de Hollande (2004) En suggérant que l'IPS augmente avec la formation instrumentale, ce contrôle «limbique» des réseaux associatifs et sensorimoteurs devrait se renforcer avec une formation approfondie.

Sans données détaillées, il est encore trop tôt pour proposer un compte rendu formel du modèle hiérarchique. Néanmoins, la discussion ci-dessus devrait préciser que les versions actuelles de l'hypothèse de récompense de mésoaccumbens reposent sur des hypothèses problématiques concernant la nature du processus de récompense et l'utilisation de mesures comportementales inadéquates. Les principes unificateurs, qui constituent toujours l'objectif de l'entreprise scientifique, ne peuvent être fondés que sur la réalité des données expérimentales, aussi lourdes soient-elles. Parce que la fonction du cerveau est, en fin de compte, la génération et le contrôle du comportement, une analyse comportementale détaillée sera la clé pour comprendre les processus neuronaux, tout comme une description détaillée de l’immunité acquise et innée permet d’élucider le système immunitaire. Bien qu’apparemment un truisme, on ne saurait trop insister sur le fait que nous pouvons comprendre les mécanismes du cerveau dans la mesure où leurs fonctions sont décrites et mesurées avec précision. Lorsque l'étude de la fonction neuronale est basée sur des capacités psychologiques établies expérimentalement, par exemple la représentation de contingences action-résultat et stimulus-résultat, l'organisation anatomique connue ainsi que les mécanismes physiologiques sont vus sous un nouveau jour, ce qui conduit à la formulation de nouveaux hypothèses et la conception de nouvelles expériences. En tant que première étape dans cette direction, nous espérons que le cadre discuté ici constituera un point de départ utile pour de futures enquêtes.

Remerciements

Bibliographie