Gudge Léieren wéi Dopamin am Nukleus accumbens: d'integrativ Fonkele vu cortico-basal ganglia Netzwierker (2008)

Et ass üblech an der kierzlecher Literatur fonnt ginn e monolithescht Konzept vun der Belounung eenheetlech fir appetitlech Verhalen ugewannt ze kréien, egal ob eppes wat den Organismus gutt ugeet (normalerweis aus der Perspektiv vum Experimenter), oder austauschbar mat méi alen Terme wéi 'Verstäerkung' oder 'Ureiz.' Dësen Zoustand gëtt encouragéiert duerch, wann net selwer d'Konsequenz vum, de Fokus op een eenzegt neuralt Substrat fir 'Belounung' involvéiert Verëffentlechung vun Dopamin (DA) an den nucleus accumbens (Berke an Hyman, 2000; Grace et al., 2007).

D'Verbindung tëscht dem Mesoaccumbens Wee a Belounung, unerkannt Joerzéngten, gouf nei gestäerkt duerch méi rezent Beweiser datt de phasic DA Signal e Belounungsprognosfehler kodéiert, wat viraussiichtlech als Léierssignal am associativen Learin déngtg (Schultz et al., 1997). No der populäerster Interpretatioun, genau wéi et en eenzegt Signal fir d'Belounung gëtt, sou gëtt et een eenzegt Signal fir Belounung-guidéiert Léieren, wat an dësem Fall Associatioun bedeit tëscht engem Reiz an eng Belounung (Montague et al., 2004). D'Fro wéi dës Zort Léiere adaptiv Verhalen kontrolléiert ass awer vernoléissegt; et gëtt einfach ugeholl datt d'Dopamin Signal genuch ass fir béid prediktiv Léieren, an déi bedingend Äntwerten déi doduerch entstinn, a fir zilorientéiert Aktiounen guidéiert vun hirer Associatioun mat Belounung. Konsequent ass de Fokus vun de meeschte Fuerschungen am Feld vun der Belounung an der Sucht DA Signaliséierung a verbonne Plastizitéit am Mesoaccumbens Wee (Berridge an Robinson, 1998; Hyman et al., 2006; Grace et al., 2007).

Dës Vue op de Belounungsprozess, wéi ëmmer méi unerkannt gëtt (Kardinal et al., 2002; Balleine, 2005; Everitt an Robbins, 2005; Hyman et al., 2006), ass souwuel mëttelméisseg a falsch. Et ass mëttelméisseg well weder d'Acquisitioun nach d'Performance vu Zilgeriicht Aktiounen am Sënn vun den Associativprozesser erkläre kënnen, déi Stimuléierungs-Belounungsléiere vermëttelenAn. Et ass falsch, zousätzlech, well den exklusiven Fokus op Aktivitéit am mesoaccumbens Wee, weder noutwendeg nach genuch fir zilorientéiert Aktiounen ass, huet d'Opmierksamkeet vun der méi fundamental Fro ofgeleet vu genau wat zilorientéiert Aktiounen sinn a wéi se implementéiert ginn vum Gehir. Tatsächlech, laut konvergerende Beweiser vu verschiddenen experimentellen Approchen, wat virdru als en eenzege Belounungsmechanismus optriede kann, kann tatsächlech verschidde Prozesser mat ausgezeechent Verhalenseffekter an neurale Substrater ausmaachen (Corbit et al., 2001; O'Doherty et al., 2004; Yin et al., 2004; Delgado et al., 2005; Yin et al., 2005b; Haruno a Kawato, 2006a; Tobler et al., 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler et al., 2007).

Hei probéieren mir e puer vun de Probleemer verbonne mat dem aktuellen Mesoaccumbens Modell ze weisen an op senger Plaz en anere Modell vu belount guidéiertem Léieren ze proposéieren. Mir wäerte behaapten datt de Striatum eng héich heterogen Struktur ass, déi an op d'mannst véier funktionnele Beräicher kann opgedeelt ginn, all eenzel als en Hub an engem ënnerscheedleche funktionnellen Netzwierk mat anere kortikalen, thalameschen, pallidalem a mëttlere Komponenten.An. Déi integrativ Funktiounen vun dësen Netzwierker, rangéiert vun der Produktioun vu bedingungslosen Äntwerte vun der Belounung bis zur Kontroll vun zilorientéierter Aktiounen, kënnen dissoziéiert a studéiert ginn mat Hëllef vun zäitgeméisserem Verhalensassays.

Prognose a Kontroll

De Mesoaccumbens Wee gëtt dacks ugeholl fir noutwendeg fir d'Acquisitioun vun enger Associatioun tëscht Belounung an Ëmweltstimuli déi dës Belounung virauszesoen. Zum Beispill, an e puer vun den Experimenter déi phasesch Aktivitéit vun DA Zellen, déi duerch Belounung ausgeworf goufen, iwwerpréifen, goufen Affen trainéiert fir e Reiz mat der Liwwerung vum Jus ze associéieren (Waelti et al., 2001) an äntwert duerno op de Stimulus mat enger bedingungsloser Äntwert (CR) - spéider Lickung. D'Ae lecken kann zilorientéiert sinn, well et mengt datt et néideg ass Jus ze kréien. Alternativ kann lecken enthale mam antecedente Stimulus mat deem de Jus assoziéiert. Wéi eng vun dësen Determinanten vun der Affe lecken ass d'Behuelen kontrolléieren a bestëmmte Situatiounen ass net bekannt priori, a kënnen net duerch iwwerflächlech Observatioun bestëmmt ginn; kann et nëmme mat Tester festgeluecht ginn, speziell fir dësen Zweck entworf. Dës Tester, déi vill Joerzéngte gedauert hunn fir sech z'entwéckelen, bilden de Kär vum grousse modernen Fortschrëtt an der Studie vum Léieren a vum Behuelen (Table 1). Aus der Notzung vun dësen Tester, fir drënner ze diskutéieren, wësse mer elo datt déi selwecht Verhalensreaktioun - egal ob et ambulanter Approche ass, orientéieren oder e Hiewel dréckt - kann aus multiple Aflëss entstoen déi experimentell dissociabel sinn.

  

Table 1

Belounung-guidéiert Léieren

Insensitivitéit fir déi zentral Ambiguititéit an den aktuellen Determinanten vu Verhalen ass domat den Haaptprobleem mat der aktueller neurowëssenschaftlecher Analyse vun der belount guidéiertem Léieren. To d'Bedeitung vun dësem Problem verstoen, et ass néideg d'Ënnerscheeder ze appreciéieren tëscht wéi prévisistesch (oder pavlovescht) Léieren an zilorientéiert (oder instrumental) Léierkontroll appetitlech Verhalen. Tatsächlech, ze beurteelen op wéi dacks dës zwee Prozesser an der Literatur iwwer d'Belounung agespaart sinn, schéngt eng kuerz Iwwerpréiwung vun dësem Ënnerscheed als nëtzlech Startpunkt fir eis Diskussioun ze sinn.

Beim appetitleche Pavlovesche Konditioune gëtt d'Belounung (also de bedingungslosende Stimulus oder d'US) mat engem Stimulus gepaart (bedingt Stimulus oder CS), egal wéi d'Behuele vun der Déier, wärend beim Instrumental Léieren, d'Belounung hänkt vun den Aktiounen vun den Déieren. Déi kritesch Fro a béid Situatiounen ass awer, ob de Reiz-Belounungs-Verband oder d'Aktioun-Belounungs-Associatioun d'Behuelen kontrolléiert.

Esou einfach wéi et schéngt huet dës Fro d'Enquêteuren zënter ville Joerzéngte wéinst der Verhalensreaktiounen an dëse Situatiounen identesch ausgesinn.

Also, déi bedingungslos Äntwerte (CRs) déi vun der Pavlovian Stimulus-Belounungsassociatioun kontrolléiert ginn, kënnen dacks e Furnier vun der Zilgeriichtung iwwer si hunn. Och d'Salivatioun, de Pavlov ursprénglechen CR, konnt vu sengen Hënn produzéiert ginn als e bewosst Versuch d'Entgank ze erliichteren. Genee wéinst dëser Ambiguititéit ass déi offensichtlechst Erklärung - nämlech datt an der Pavlovescher Konditioun de Stimulatioun-Resultatverband geléiert gëtt, wärend an der instrumental Konditioun ass d'Aktioun-Ausgangsvereenegung geléiert - huet vill Joerzéngte laang net ënnerstëtzt (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Trotzdem, obwuel vill Pavlovian CRs autonom oder consummatory sinn, sinn aner CRs, sou wéi Approcheverhalen Richtung eng Belounung, net sou bequem zeechent (Rescorla a Solomon, 1967); Tatsächlech kënne si ganz einfach fir instrumental Handlungen falsch sinn (Brown a Jenkins, 1968; Williams an Williams, 1969; Schwartz a Gamzu, 1977). Mir wëssen elo datt, trotz enger iwwerflächlecher Erscheinung, Pavlovian CRs an zilorientéiert instrumental Aktiounen ënnerscheede sech an der representativer Struktur déi d'Leeschtunge vun der Äntwert kontrolléieren (Schwartz a Gamzu, 1977).

Déi direkt direkt Mëttel fir festzestellen, ob d'Performance vun enger Äntwert duerch eng Stimulatiouns-Belounung oder eng Handlung-Belounungsassociatioun mediéiert ass, ass déi spezifesch Kontingent Kontrollleeschtung ze iwwerpréifen. D'Beispill vum Salivatioun ass hei instruktiv. Sheffield (1965) getest ob d'Salivatioun an der Pavlovescher Bedéngungung duerch seng Relatioun zu der Belounung oder vun der Reiz-Belounungsassociatioun kontrolléiert gouf. A sengem Experiment kruten Hënn Pairen tëscht engem Ton an enger Liewensmëttelbelounung (Sheffield, 1965). Wéi och ëmmer, wann d'Hënn während dem Ton salivéiert goufen, da gouf d'Iessen net an deem Prozess geliwwert. Dës Arrangement huet eng Pavlovesch Bezéiung tëscht Toun a Liewensmëttel behalen, awer all direkt Associatioun tëscht Salivatioun a Liwwerung fir d'Liewensmëttel ofgeschaaft. Wann der salivation war eng Aktioun kontrolléiert duerch hir Relatioun zu Iessen, da sollten d'Hënn stoppen salivating - tatsächlech si sollten ni salivation zu der Toun kréien. De Sheffield huet festgestallt datt et kloer war de Pavlovesche Ton-Iessen-Bezéiung, deen d'Salivéierung CR kontrolléiert huet. Am Laf vun iwwer 800 Ton-Iess-Pairen hunn d'Hënn d'Salzéierung erhalen an de Ton behalen, och wann dëst déi meescht Liewensmëttel verluer hunn, déi se kéinte kréien andeems se net salivéieren. Eng ähnlech Conclusioun gouf vun aneren an Studien mat Mënschen erreecht (Pithers, 1985) an aner Déieren (Brown a Jenkins, 1968; Williams & Williams, 1969; Holland, 1979); an alle Fäll, et schéngt datt, trotz hirer grousser Varietéit, Pavlovian Äntwerte net vun hirer Bezéiung zu der Belounung kontrolléiert ginn - dh duerch d'Aktioun-Resultat Contingency.

De Begrëff Contingency bezitt sech op déi bedingend Relatioun tëscht engem Event 'A' an engem aneren, 'B', sou datt d'Optriede vum B ofhänkt vun A. Eng Relatioun vun dëser Aart kann einfach degradéiert ginn andeems se B an der Verontreiung vum A. presentéieren. experimentell Manipulatioun, bezeechent als Verontreiungsdegradatioun, gëtt allgemeng duerch eng Belounung onofhängeg vun entweder de prediktive Stimulus oder vun der Handlung ausgefouert. Obwuel dës Approche ursprénglech entwéckelt gouf fir Pavlovesch Konditioun ze studéieren (Rescorla, 1968), instrumental Contingency Degradatioun ass och e gemeinsamt Mëttel ginn (Hammond, 1980). Wann dës Contingencies direkt manipuléiert ginn, gëtt den Inhalt vum Léieren opgedeckt: z. B. am Autoshaping, gëtt e Pavlovian CR als eng instrumental Handlung "verschleidert" duerch Manipulatioune vum Pavlovesche gestéiert anstatt d'instrumental Contingency (Schwartz a Gamzu, 1977).

Ziel-geriicht instrumental Aktiounen sinn duerch zwou Critèren charakteriséiert: 1) Empfindlechkeet fir Ännerungen am Wäert vum Resultat, an 2) Empfindlechkeet fir Verännerungen an der Verontreiung tëscht Handlung an Ausgang (Dickinson, 1985; Dickinson a Balleine, 1993). Empfindlechkeet fir d'Resultat devaluatioun alleng, et sollt ënnerstrach ginn, geet net duer fir eng Äntwert als zilorientéiert ze karakteriséieren, well verschidde Pavlovian Äntwerte kënnen och empfindlech fir dës Manipulatioun sinn (Holland a Rescorla, 1975). Wéi och ëmmer, d'Leeschtunge vun zilorientéierter instrumental Aktiounen sinn och empfindlech fir Manipulatiounen vun der Handlung-Resultat Contingency, wärend de Pavlovian Äntwerte sensibel géint d'Manipulatiounen vun der Stimulus-Resultat Contingency (Rescorla, 1968; Davis a Bitterman, 1971; Dickinson a Charnock, 1985). Eng wichteg Ausnam kann awer am Fall vu Gewunnechten fonnt ginn (kuckt hei ënnendrënner), déi méi ähnlech wéi Pavlovian Äntwerte an hirer relativer Insensitivitéit fir Ännerunge vun der instrumentaler Verontreiung sinn, awer sinn och impervious fir Ausgangsevaluéierung well de Resultat net Deel ass vun der representativer Struktur déi Leeschtung kontrolléiert (cf. Dickinson, 1985 an drënner fir weider Diskussioun).

Fir et zesummefaassen ass et dann vun déiwste Wichtegkeet datt eng bestëmmte Äntwert kloer am Begrëff vun der Kontrollkonzidenter definéiert ass anstatt duerch entweder d'Äntwertform oder d'Behuele-Aufgab fir et z'erreechen. Ouni d'Kontrolléiere vun der Verontreiung an enger bestëmmter Situatioun ze iwwerpréifen, souwuel d'Behuele wéi och d'neural Prozesser fonnt fir d'Verhalen ze mediéieren méiglecherweis vermëschen. Schliisslech, wéi mir plädéieren, et sinn déi tatsächlech kontrolléierend Contingencen, déi duerch Léieren erzielt ginn an duerch ënnerschiddlech neural Systemer implementéiert ginn, dat Verhalen kontrolléieren, awer si kënnen deeselwechten 'leschte gemeinsame Wee' deelen. Sou ass déi zentral Erausfuerderung méi wäit wéi Erscheinungen z'iwwerdecken fir d'Ënnerdréckend Verontreiungskontrollverhalen z'entdecken (fir e Resumé kuckt Table 1). Fir ze behaapten datt spezifesch neurale Strukturen spezifesch psychologesch Fäegkeeten meditéieren, zB Zilgeriicht, muss de Status vum Verhalen mat de passenden Verhalensassays bewäert ginn. Anescht ze maachen ass Verwirrung ze invitéieren wéi Gruppen streiden iwwer déi entspriechend neurale Determinanten, während se net erkennen datt hir Verhalensaufgabe verschidde Phänomener moossen. Wat wichteg ass, letztendlech, ass dat wat d'Déier tatsächlech léiert, net wat den Experimenter gleeft datt d'Déier léiert, a wat d'Déier tatsächlech léiert kann nëmmen duerch Assays opgedeckt ginn déi direkt den Inhalt vum Léieren sichen.

De Pavlovian-instrumental Ënnerscheedung wier trivial gewiescht, wann d'Déier et fäerdeg bréngt déi selwecht Saach ze léieren (soen eng Associatioun tëscht dem Stimulus an der Belounung) egal wéi déi experimentell Arrangementer sinn. Benotzt déi meescht üblech Moossname fir Léieren, déi haut zur Neurowëssenschafts verfügbar sinn, ass et einfach kee Wee ze soen. Also Fuerscher behaapten dacks fir Zilgeriicht Verhalen ze studéieren ouni ze ënnersichen ob dat betreffend Verhalen tatsächlech Richtung Zil zielt. Och wa verschidden Zorte vu Léieren allgemeng ugeholl gi fir duerch d'Benotzung vu verschiddene 'Aufgaben' oder 'Paradigme' ze resultéieren, méi dacks wéi net d'Fuerscher falen eng adäquat Begrënnung fir hir Viraussetzungen ze ginn.

E klassescht Beispill vun dësem Thema ass d'Benotzung vu Maze fir d'Léieren ze léieren. Ee Problem mat Miseexperimenter a verbonne Assays, sou wéi bedingt Plazpräferenz, ass d'Schwieregkeet fir den Afloss vun de Pavlovianen (Stimulus-Belounung) an d'instrumental (Handlung-Belounung) Verhënnerungen op Verhalen experimentell ze dissoziéieren.Dickinson, 1994; Yin and Knowlton, 2002). Also, duerch en T-Maze fir Iesse ze kréien, kéint eng Äntwertstrategie reflektéieren (lénks dréinen) oder einfach eng bedingt Approche Richtung e puer Extra-Maze Landmark kontrolléiert vun der Cue-Food Association (Rescht, 1957). Ee Wee fir ze testen ob dee Leschten eng Roll bei der Leeschtung spillt ass de Maze réckelen; elo solle Schüler weiderhi weider lénks dréien wärend déi déi extra-labber Zeechen solle riets dréien. Awer sinn déi, déi weider dréien lénks wierklech mat enger Äntwertstrategie ze benotzen oder kommen se just e puer un Zollformalitéiten-zezezeechen mat Liewensmëttel verbonnen? Et ass net eng einfach Saach erauszefannen, well déi üblech Kontrollen fir de Pavlovesche Kontroll vum Verhalen kënnen net einfach an Maze Studien applizéiert ginn. Ee vun dësen, déi bidirektional Kontroll, etabléiert datt d'Déieren Kontroll iwwer eng bestëmmte Äntwert kënnen ausüben, andeems d'Reversioun vun der Direktioun vun där Äntwert fir Belounung ze verdéngen (Hershberger, 1986; Heyes an Dawson, 1990). Leider, an engem Labyrint, kann d'Reaversverrécklung ëmmer nach net duer goen fir eng Handlung als zilorientéiert ze etabléieren, well Verrécklung kann erreecht ginn andeems déi existent Stimulatiouns-Belounungsverhältnis ausgeet an et mat engem aneren ersetzt. Zum Beispill, eng Rat, déi eng bestëmmten intra-maze Cue ugeet, kann léiere wärend der Verrécklung, datt et net méi mat Belounung gepaart ass, awer datt e puer aner Reiz ass, wat zu enger Approche CR Richtung den neie Reiz kritt. Sou kënne si anscheinend hir Äntwert ëmgoen ouni datt et jeemools d'Äntwert-Belounung contingency kodéiert huet. Well dës Méiglechkeet net an der Praxis getest ka ginn, ass d'Benotzung vu Maze, Plazpräferenzprozeduren oder einfach Lokomotoresch Aufgaben fir zilorientéiert Léierprozesser ze studéieren besonnesch geféierlech a méiglecherweis féieren d'Mësche Charakteriséierung vun de Prozesser déi d'Behuelen kontrolléieren zesumme mat der spezifescher Roll vun all Neural. Prozesser fonnt fir ze involvéieren (Smith-Roe a Kelley, 2000; Hernandez et al., 2002; Atallah et al., 2007).

Nucleus accumbens ass net néideg fir instrumental Léieren

D’Inadequenzen vun der aktueller Verhalensanalyse ginn besonnesch kloer an der Studie vun den nucleus accumbens. Vill Studien hu virgeschloen datt dës Struktur kritesch ass fir d'Acquisitioun vun zilorientéierte Aktiounen (Hernandez et al., 2002; Goto a Gnod, 2005; Hernandez et al., 2005; Pothuizen et al., 2005; Taha a Felder, 2006; Atallah et al., 2007; Cheer et al., 2007; Lerchner et al., 2007). Awer dës Konklusioun ass erreecht baséiert gréisstendeels op Moossname vun enger Verännerung vun der Leeschtung eleng, andeems se Aufgaben benotzen, an där d'Kontestenzkontrollverhalen zweemol ass. Och wann d'Observatioun datt eng Manipulatioun d'Acquisitioun vun e puer Verhalensreaktioun verréit, e Léierdefizit kann uginn, kéinten se och en Effekt op Äntwertinitiatioun oder Motivatioun reflektéieren. Zum Beispill, eng Behënnerung bei der Acquisitioun vun der Hieweldruck kann dacks en Effekt op d'Performance reflektéieren an net op Léieren (Smith-Roe a Kelley, 2000). Acquisitiounskurven eleng, als onvollstänneg Representatioune vun all Léierprozess, musse mat Vorsicht interpretéiert ginn (Gallistel et al., 2004). Leider ass den Ënnerscheed tëscht Léieren a Leeschtung, vläicht déi eelst Lektioun an der Studie vum Léieren, haut dacks ignoréiert.

Eng méi detailléiert Analyse weist datt d'Accumente weder noutwendeg nach genuch fir instrumental Léieren sinn. Läsionen vun den Ugebauten Shell verännert net d'Sensibilitéit vun der Leeschtung fir d'Resultat devaluatioun (de Borchgrave et al, 2002; Corbit et al, 2001) oder op instrumental Contingency Degradatioun (Corbit et al, 2001), wärend Läsionen vum accumbens Kär fonnt goufen d'Sensibilitéit fir d'Devaluatioun ze reduzéieren ouni d'Ratsempfindlechkeet fir selektiv Degradatioun vun der instrumentaler Verontreiung ze reduzéieren (Corbit et al., 2001). Aner Studien, déi den Effekt vun den Ugeleeënheeten Manipulatiounen op der Acquisitioun vun enger neier Äntwert beurteelen an Studien vu bedingte Verstäerkung hunn konsequent en Effekt op d'Belounsbezunn Leeschtung fonnt, besonnesch d'Verbesserung vun der Leeschtung duerch Amphetamin, awer net op d'Acquisitioun vun der Äntwert per se (Parkinson et al., 1999). Och eng systematesch Untersuchung vu Kardinal a Cheung huet och keen Effekt vun accumbens Kärlesiounen op d'Acquisitioun vun enger Hiewel-Pressreaktioun ënner engem kontinuéierleche Verstäerkungsplang fonnt; behënnerte Acquisitioun gouf nëmme mat verspéitener Verstäerkung observéiert (Kardinal a Cheung, 2005).

Och wann d'Acumbens net d'instrumental Kontingence kodéieren (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001), bedeitend Beweiser suggeréiert datt et eng fundamental Roll am instrumental spillt Leeschtung, eng Roll déi mir elo besser kënne definéieren am Liicht vun de rezenten Aarbechten. Wéi vu verschidde Studien ofgeschloss ass, sinn d'Accumente kritesch fir verschidden Aarte vu appetitlecher Pavlovianescher Konditioun, a vermëttelt souwuel déi net-spezifesch excitatoresch Effekter, déi belounungsassoziéiert Zeechen op instrumental Leeschtung kënnen hunn, souwéi d'Resultatspezifesch Biasen op Äntwertwahl produzéiert duerch esou Cues. Läsionen vum Kär, oder vum anterioren Cingulat, eng wichteg Quell vu kortikale Input zum Kär, oder eng Ofkopplung tëscht dësen zwou Strukturen, schaaft d'Acquisitioun vum Pavlovesche Approche Verhalen (Parkinson et al., 2000). Lokal Infusioun vun engem D1-ähnlechen Dopamin Rezeptor Antagonist oder engem NMDA Glutamat Rezeptor Antagonist direkt nom Training huet och dës Form vu Léiere verschlechtert ouni d'Performance ze beaflossen (Dalley et al., 2005). Dës Donnéeën averstane mat Moossname vun an vivo neurale Aktivitéit. Zum Beispill hunn d'Carelli a Kollegen festgestallt datt Neuronen am accumbens Kär hir Aktivitéit systematesch wärend der Léierung vun enger Pavlovian Autoshaping Aufgab änneren kënnen (Day et al., 2006; Day an Carelli, 2007).

Neuronen an der Shellregioun schéngen ofgestëmmt ze ginn fir Belounungen an aversive Reizen, och ier iergendengem Léierenfarung; si sinn och fäeg Äntwerte op CSs z'entwéckelen déi dës Resultater viraussoen (Roitman et al., 2005). Aarbecht vum Berridge a Kollegen, z. huet d'Méiglechkeet opgeworf datt verschidde Regiounen innerhalb der nucleus accumbens Shell an am downstream ventral Pallidum als 'hedonesch Hotspots' bezeechent kënne ginn. Dës Beräicher moduléiere direkt onbedingte hedonesch Äntwerten op Belounungen, sou wéi Geschmackreaktivitéit. Zum Beispill Agoniste vun Opioid Rezeptoren an dëse Regiounen kënnen d'intensiv Geschmackreaktivitéit op Sackarose amplifizéieren. Esou héich lokaliséiert Regiounen sinn awer agebonnen an méi breeden Netzwierker déi keng Roll am consummatoire appetitlëche Verhalen spillen (Taha a Felder, 2005; Pecina et al., 2006; Taha a Felder, 2006).

D'Ënnerscheedung an de relativen Rollen vu Kär a Schuel schéngt en tëscht virbereedungsgeméissem a consummatoire appetitlëche Verhalen ze sinn, respektiv, wat duerch d'Erfahrung duerch ënnerschiddlech Aarte vu Pavlovesch Konditiouns liicht geännert ka ginn. Virbereedend Äntwerte wéi Approche gi mat allgemenge emotional Qualitéite vum Resultat verlinkt, wärend déi consummatory Behuelen mat méi spezifesche sensoresche Qualitéite verbonne sinn; si sinn och ënnerschiddlech ufälleg fir verschidden Zorte vu CS, zB virbereedend Äntwerte gi méi einfach mat engem Stimulus mat enger laanger Dauer bedingt (Konorski, 1967; Dickinson an Dearing, 1979; Balleine, 2001; Dickinson a Balleine, 2002).

Op jidde Fall sinn d'Beweiser déi d'Accumente implizéieren an e puer Aspekter vun der Pavlovescher Conditioun iwwerwältegend. Et ass awer net déi eenzeg Struktur déi involvéiert ass, an aner Netzwierker, sou wéi déi, déi déi verschidden Amygdaloid Käre involvéieren, schéngen och eng zentral Roll ze spillen a béid Virbereedungs- a Consummatoire Komponente vum Pavlovesche Konditioun. (Balleine an Killcross, 2006).

Eng Funktioun, déi kloer un d'Accumente kann zougeschriwwe ginn ass d'Integratioun vu Pavlovianeschen Aflëss op d'instrumentalt Verhalen. Pavlovesch CRs, mat abegraff déi reflektéieren d'Aktivatioun vun zentrale motivational Staaten, wéi Verlaangen an Arousal, kënnen e staarken Afloss op d'Performance vun instrumental Aktiounen ausüben (Trapold an Overmier, 1972; Lovibond, 1983; Holland, 2004). Zum Beispill, eng CS, déi onofhängeg d'Liwwerung vun der Liewensmëttel virausgeet, kann d'instrumental Äntwert fir déi selwecht Liewensmëttel erhéijen. Dësen Effekt gëtt allgemeng studéiert mat dem Pavlovian-instrumentalen Transferparadigma (PIT). Am PIT kréien d'Déieren getrennt Pavlovian an instrumental Trainingsphasen, an deenen se onofhängeg léieren eng Cue mat Iessen ze verbannen, an en Hiewel fir dee selwechte Liewensmëttel ze drécken. Dann op Sondestänn gëtt de Cue mat dem verfügbare Heber presentéiert, an d'Héicht vun den Äntwertraten an der Präsenz vun der CS gëtt gemooss. Zwou Forme vu PIT goufen identifizéiert; een am allgemengen opreegende Effekt vu belounungsbezunnene Cues an eng zweet méi selektiv Effekt op d'Auswielleistung déi duerch de prediktive Status vun engem Cue mat Respekt eng spezifesch Belounung am Géigesaz zu anere produzéiert gëtt. D'Accumente Shell ass noutwendeg fir dës lescht Ausfallspezifesch Form vu PIT, awer ass weder noutwendeg fir déi fréier, méi allgemeng Form nach fir d'Sensibilitéit fir d'Resultat devaluatioun; par contre, d'Läsiounen vum accumbens Kär reduzéieren d'Sensibilitéit fir béid Resultatevaluéierung an d'allgemeng Form vu PIT awer verloossen intakt Resultat-spezifesch PIT (Corbit et al., 2001;; (Balleine a Corbit, 2005).

Eng rezent Etude huet weider Abléck an d'Roll vun den Accumbens Shell am Resultat-spezifesche PIT (Wiltgen et al., 2007). Kontrolléiert Ausdrock vun aktiven Kalzium / Calmodulin-ofhängeg Protein Kinase II (CaMKII) am Striatum huet net instrumental oder Pavlovian Léieren beaflosst, awer spezifesch PIT ofgeschaaft. Dësen Defizit am PIT war net permanent a konnt ëmgedréint ginn andeems den Transgene Ausdrock mat Doxycycline ofgeschalt gouf, wat beweist datt den Defizit nëmme mat der Leeschtung verbonne war. Kënschtlech verstäerkt den Niveau vum CaMKII am Striatum blockéiert doduerch den Ausfallspezifeschen Transfer vun Ureizmotivatioun vum Pavlovian an den Instrumental System. Interessanterweis, de CaMKII Transgen auszeschalten, gouf och fonnt fir d'Excitabilitéit vun Neuronen an den accumbens Shell ze reduzéieren, ouni d'Basaliwwerdroung oder synaptesch Kraaft ze beaflossen.

De rietse Stratum

D'rënnescht Striatum, och bekannt als Neostriatum oder caudate-putamen, kritt massiv Projektiounen aus dem sougenannten Neocortex. Et kann weider an eng assoziativ Regioun opgedeelt ginn, wat bei Nager méi medial a kontinuéierlech mam ventrale Striatum ass, an eng Sensorimotor Regioun déi méi lateral ass (Groenewegen et al., 1990; Joel a Weiner, 1994). Am Ganzen ass den dorsale Striatum innervéiert vun DA Zellen aus der substantia nigra pars compacta (SNc), a kritt nëmme mëll Projektioune vun de VTA DA Neuronen (Joel a Weiner, 2000). Virdru Wierk un der dorsaler Streatum huet haaptsächlech op seng Roll am Stimulatiouns-Äntwert (SR) Gewunnechten Léieren konzentréiert (Miller, 1981; White, 1989). Dës Vue baséiert op d'Gesetz vum Effekt, no deem e Belounung handelt fir eng SR Associatioun tëscht der Ëmweltstimuli ze verstäerken oder d'Äntwert ze maachen, als Resultat vun deem d'Tendenz fir dës Äntwert auszeüben an der Präsenz vun deenen eropgeet stimuli (Thorndike, 1911; Hull, 1943; Miller, 1981). Also ass de corticostriatal Wee geduecht fir SR-Léiere mam DA ze handelen als Verstäerkungssignal (Miller, 1981; Reynolds a Wickens, 2002).

SR Modeller hunn de Virdeel fir eng parsimonesch Reegel ze enthalen fir d'Léieren an d'Leeschtung ze iwwersetzen. E Modell baséiert op handlungsräich erwaart Erwaardungen, am Géigesaz, ass méi komplizéiert well d'Iwwerzeegung "Action A féiert zum Outcome O" muss net onbedéngt an Aktioun iwwersat ginn (Guthrie, 1935; Mackintosh, 1974); Informatioune vun dëser Aart kënne souwuel fir den A benotzt ginn an als 'A' ze vermeiden. Aus dësem Grond hunn traditionell Theorien déi offensichtlechst Erklärung verschount - nämlech datt d'Déieren eng Handlung-Resultat Contingency kënne kréien, déi d'Wielverhalen guidéiert. Déi lescht puer Joerzéngten hunn awer eng wesentlech Revisioun vum Gesetz vum Effekt gesinn (Adams, 1982; Colwill a Rescorla, 1986; Dickinson, 1994; Dickinson et al., 1996). Thien Resultater vu ville Studien hu bewisen datt instrumental Aktiounen wierklech zilorientéiert kënne ginn, also sensibel fir Ännerungen am Belounungswäert wéi och d'kausal Effizienz vun der Handlung (kuckt Dickinson & Balleine, 1994; 2002; Balleine, 2001 fir Bewäertungen). Trotzdem, am Verlaf vun enger extensiver Ausbildung ënner konstante Konditioune, kënnen och nei erkaaften Aktiounen relativ automatesch a Stimuléierungsdriff ginn - e Prozess bekannt als Gewunnechtbildung (Adams an Dickinson, 1981; Adams, 1982; Yin et al., 2004). Gewunnechten also definéiert, ginn automatesch vun antecedente Reizen stimuléiert, ginn net vun der Erwaardung oder der Representatioun vum Resultat kontrolléiert; si sinn dofir onwichteg fir Ännerungen am Resultatwäert. Aus dëser Perspektiv ass d'Gesetz vum Effekt dofir e spezielle Fall deen nëmme fir Gewunnecht Verhalen uwend.

Déi aktuell Klassifikatioun vun instrumental Behuelen trennt et an zwou Klassen. Thien éischt Klass ëmfaasst Zilgeriicht Aktiounen kontrolléiert vun der instrumentaler Verontreiung; déi zweet, Gewunnecht Verhalen onsécher fir Ännerungen am Resultat Wäert (Table 1). Mat Hëllef vu Verhalensanalysen wéi Ausfalldevaluéierung an instrumental Verontreiungsdegradatioun huet Yin et al eng funktionell Dissoziatioun tëscht dem Sensorimotor (dorsolateral Striatum, DLS) an assoziative Regiounen (dorsomedial Striatum, DMS) vum Dorsalstriatum (Yin and Knowlton, 2004; Yin et al., 2004, 2005a; Yin et al., 2005b; Yin et al., 2006a). Läsionen vum DLS hunn d'Entwécklung vu Gewunnechten beeinträchtegt, wat zu engem méi zilorientéierte Modus vu Verhalenskontroll koum. Läsionen vun der DMS hunn de Géigendeel Effekt a resultéieren an e Wiessel vu Zilgeriicht op Gewunnecht Kontroll. Yin et al ofgeschloss also, datt den DLS an DMS funktionell dissoziéiert kënne ginn wat d'Art vu Associativstrukturen ugeet, déi se ënnerstëtzen: den DLS ass kritesch fir d'Gewunnechtbildung, wärend den DMS kritesch ass fir d'Acquisitioun an den Ausdrock vun Zilgeriicht Aktiounen. Dës Analyse viraussetzt datt ënner bestëmmte Konditiounen (z. B. verlängert Training) d'Kontroll vun Aktiounen aus dem DMS-ofhängege System op den DLS-ofhängege System ka verréckelen, eng Konklusioun déi am breede Accord ass mat der erheblecher Literatur iwwer Primaten, inklusiv mënschlechen Neuroimaging (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi et al., 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno a Kawato, 2006a, b; Lohrenz et al., 2007; Tobler et al., 2007). Et sollt een sech drun erënneren, natierlech, tHutt kierperlech Plaz (z. B. Dorsal oder Ventral) eleng kann net e zouverléissege Guide sinn am Verglach zum Nagerestriatum an der Primatstreatum; esou Vergläicher solle mat Vorsicht gemaach ginn, no virsiichteg Iwwerleeung vun der anatomescher Konnektivitéit.

D'Auswierkunge vun dorsale striatal Läsionen kënne mat deenen vun Accumbens-Läsionen verglach ginn (Smith-Roe a Kelley, 2000; Atallah et al., 2007). Wéi scho gesot, d'Standardtester fir e Verhalen als "zilorientéiert" ze grënnen sinn d'Resultat devaluatioun an d'Degradatioun vun der Handlung-Resultat Contingency (Dickinson a Balleine, 1993). Läsionen vun der DMS maachen Verhalen onsensibel fir béid Manipulatiounen (Yin et al., 2005b), woubäi Läsionen vum akkumuléierte Kär oder Schuel net (Corbit et al., 2001). Ausserdeem ginn d'Sondtest vun dëse Verhalensanalysen normalerweis ausgestuerwen, ouni Presentatioun vun all Belounung, fir ze bewäerten wat d'Déier ouni Kontaminatioun duerch nei Léieren geléiert huet. Si sonden also direkt déi representativ Struktur déi d'Behuelen kontrolléieren. Als zousätzlech experimentell Kontroll ass et dacks nëtzlech fir en eenzelnen Devaluatiounstest ze maachen an deem Belounungen tatsächlech geliwwert ginn - de sougenannte 'belount Test'. Läsionen vun der DMS hunn d'Sensibilitéit fir d'Resultat devaluatioun am belountsten Test net ofgeschaaft, wéi erwaart sollt sinn zënter der Liwwerung vun engem devaluéierten Resultat ofhängeg vun enger Handlung kann d'Aktioun onofhängeg vun der Action-Outcode kodéiere. Accumbens Shell-Läsionen, op där anerer Säit, hu keng Sensibilitéit fir d'Resultat Devaluatioun op entweder den Ausstierwungstest oder de belountent Test ofgeschnidden, wärend den Accumbens Core Lesions d'Sensibilitéit fir d'Devaluéierung op béid Tester ofgeschaaft huet (Corbit et al., 2001). Empfindlechkeet fir Verontreiung vun der Verontreiungung war awer net vun entweder Läsion beaflosst, wat beweist, datt, no Accumbens-Läsionen, d'Raten sech kodéiere konnten an d'Resultat-Austausch Representatioune kréien.

D'Roll vun Dopamin: Mesolimbic vs. nigrostriatal

Zënter de Pionéierstudien iwwer d'phasesch Aktivitéit vun DA Neuronen bei Affen, eng gemeinsam Viraussetzung am Feld ass datt all DA Zellen sech essentiell déiselwecht behuelen (Schultz, 1998a; Montague et al., 2004). Wéi och ëmmer, déi verfügbar Daten, souwéi d'anatomesch Konnektivitéit, proposéiere soss. Tatsächlech kann déi uewe genannte Analyse vun der funktioneller Heterogenitéit am Striatum och op d'DA Zellen am Midbrain verlängert ginn.

DA Zellen kënnen an zwou Haaptgruppen agedeelt ginn: VTA an substantia nigra pars compacta (SNc)An. Och wann d'Projektioun vum VTA zu Accumbens war den Zentrum vun der Opmierksamkeet am Feld vun der Belounungsmëttel, de vill méi massiven nigrostriatale Wee ass relativ vernoléissegt, mat Opmierksamkeet haaptsächlech op seng Roll an der Parkinson Krankheet konzentréiert. Aktuell Denken un der Roll vun DA am Léieren ass staark vun der Propositioun beaflosst ginn datt d'phasesch Aktivitéit vun DA Zellen eng Belounungsprognose erro reflektéiertr (Ljungberg et al., 1992; Schultz, 1998b). Echn déi meescht üblech Pavlovian Conditioun Aufgab, déi vu Schultz a Kollegen benotzt gëtt, dës Feele schloen als Äntwert op d'Belounung (US) awer, mat Léieren, gëtt d'US-evakuéiert Aktivitéit op d'CS verréckelt. Wann d'USA nom Léieren ewech gelooss ginn, weisen d'DA Zellen eng kuerz Depressioun an der Aktivitéit op der erwartter Zäit vu senger Liwwerung (Waelti et al., 2001; Fiorillo et al., 2003; Tobler et al., 2003). Esou Daten bilden d'Basis vu ville computational Modellen (Schultz et al., 1997; Schultz, 1998b; Brown et al., 1999; Montague et al., 2004).

Betraff méi Niveaue vu Kontroll an de Mechanismen vun der Synthese an der Verëffentlechung, kann d'Spike vun DA Neuronen net mat der DA Verëffentlechung ausgläiche ginn, awer een hätt dës zwou Moossname ganz korreléiert. Tatsächlech, wéi eng rezent Etude vun der Carelli a Kollegen gewisen huet, déi séier-scann cyclesch Voltammetrie benotzt hunn, tatsächlech DA Verëffentlechung am accumbens Kär schéngt korreléiert mat engem Prognosenfehler an der appetitlecher Pavlovescher Konditioun (Day et al., 2007). Si hunn e phasescht DA Signal am accumbens Kär fonnt direkt nom Empfang vun der sucrose Belounung am Pavlovian Autoshaping. No verlängerten Pavlovian Conditioun gouf dëst Signal awer net méi no der Belounung selwer fonnt, awer op den CS geréckeltAn. Dës Sich ënnerstëtzt d'original 'Prognosenfehler' Hypothese. Et ass och konsequent mat fréiere Aarbecht, déi eng schiedlech Leeschtung vun der Pavlovian CR weist nom entweder DA Rezeptor Antagonismus oder DA Verarmung am Accumbens Kär (Di Ciano et al., 2001; Parkinson et al., 2002). Eng Observatioun aus der Studie ass awer nei a vu bedeitenden Interessi: no verlängert Konditioun mat engem CS + déi Belounung an engem CS- viraussetzt, deen d'Belounung net virauszegesinn, en ähnlechen, awer méi klengen, DA Signal gouf och no der CS observéiert, awer et huet och direkt e klengen Tauche gewisen (500 ~ 800 Millisekonnen nom Cue Ufang) nom initialen Héichpunkt (Day et al, 2007, Figur 4). Vun dësem Stage u Léieren erreechen d'Déiere bal ni den CS−, awer konsequent op den CS +. Also kann de phasic DA Signal direkt nom Prediktor keng kausal Roll spillen bei der Generatioun vun der Approche-Äntwert, well et ass och präsent wann et net an der Äntwert ass. Ob esou e Signal nach ëmmer noutwenneg ass fir de Stimulus-Belounungskontingency ze léieren bleift onkloer, awer déi observéiert phasesch Äntwert op den CS− ass sécher net vun engem aktuelle Modeller virausgesot.

Interessanterweis huet d'Lokal DA Verarmung d'Leeschtung vun dëser Aufgab negativ (Parkinson et al., 2002). Wou e phasescht DA Signal no dem CS− observéiert gëtt, deen guer kee CRs generéiert, souwuel d'phasesch an den Tonic DA duerch lokal Entféierung ofschafen, schueden d'Leeschtung vun den CRs. Esou e Muster suggeréiert datt e phasic DA Signal an den Accumbens net gebraucht gëtt fir d'Performance vum Pavlovian CR, awer kann eng Roll beim Léieren spillen, während e méi luesen, méi tonic DA Signal (viraussiichtlech ofgeschaaft an Ausarmungsstudien) méi wichteg ass fir d'Performance vun der Äntwert Approche (Cagniard et al., 2006; Yin et al., 2006b; Niv et al., 2007). Dës Méiglechkeet bleift nach ze testen.

Och wann et keen direkten Beweis fir eng kausal Roll vum phasesche DA Signal beim Léieren ass, huet den 'Prognosenfehler' Hypothese trotzdem vill Opmierksamkeet ugezunn, well et ass genau déi Aart Léiersignal, déi a prominent Modeller vum Léieren benotzt gëtt, wéi de Rescorla-Wagner Modell a seng Echtzäit Extensioun den temporalen Ënnerscheed Verstäerkung Léieralgorithmus (Schultz, 1998b). No dëser Interpretatioun gëtt appetitlech Léieren duerch den Ënnerscheed tëscht empfondter a erwaart Belounung (oder tëscht zwee temporär successiv Belounungsprognosen) bestëmmt. Sou ee Léierssignal gëtt geregelt duerch negativ Réckkopplungen vun all Prognosen vun der Belounung (Schultz, 1998b). Wann keng Belounung de Prediktor folgt, da gëtt den negativen Feedback Mechanismus als Tauche an der Aktivitéit vun den DA Neuronen ofgemierkt. Also, Léieren implizéiert déi progressiv Reduktioun vum Predictiounsfehler.

D'Eleganz vum Léierssignal an dëse Modeller huet vläicht e puer vun der anatomescher Realitéit ofgelenkt. An der Studie vum Day et al (2007), den DA Signal an den Accumbens kënnt meeschtens aus Zellen an der VTA, awer et schéngt onwahrscheinlech datt aner DA Zellen, mat ganz anerer anatomescher Konnektivitéit, déiselwecht Äntwertprofil géife weisen an datselwecht Signal bidden. E Gradient an deem d'DA Zellen signaliséiere méi wahrscheinlech, well d'DA Zellen projizéiere sech a verschidde striatal Regioune mat ganz verschiddene Funktiounen, a kréien, ofwiesselnd, ënnerschiddlech negativ Réckkopplungsignaler aus verschiddene striatal Regiounen och (Joel a Weiner, 2000; Wickens et al., 2007). D'Mechanismen vun der Heefung an der Degradatioun, souwéi déi presynaptesch Rezeptoren déi d'Verëffentlechung vun Dopamin reguléieren, weisen och eng wesentlech Variatioun iwwer de Striatum (Cragg et al., 2002; Reis a Cragg, 2004; Wickens et al., 2007; Reis a Cragg, 2008).

Mir proposéieren also datt de mesoaccumbens Wee eng méi ageschränkt Roll am Pavlovesche Léieren spillt, beim Erhale vum Wäert vu Staaten a Reizen, wärend déi nigrostriatal Bunn méi wichteg ass fir d'instrumental Léieren, beim Erhale vun de Wäerter vun Aktiounen. Thaat ass, de phasic DA Signal ka verschidde Predictiounsfehler codéieren, anstatt en eenzegen Prognosenfehler, sou wéi de Moment ugeholl gëtt. Dräi Zeile vu Beweiser ënnerstëtzen dëst Argument. Als éischt, genetesch Verarmung vum DA am nigrostriatale Wee beandrockt d'Acquisitioun an d'Leeschtunge vun instrumentalen Aktiounen, wärend d'Depletioun vum DA am mesolimbesche Wee net (Sotak et al., 2005; Robinson et al., 2007). Zweetens, DA Zellen am SNc kënnen de Wäert vun Aktiounen kodéieren, ähnlech wéi Zellen an hirer Zilter striatal Regioun (Morris et al., 2006). Drëttens, selektiv Läsioun vun der nigrostriatal Projektioun zu der DLS dréit Gewunnechtbildung (Faure et al., 2005).

Rezent Aarbecht vu Palmiter a Kollegen huet gewisen, datt genetesch manipuléiert DA-defizient Méis staark am instrumentalem Léieren a Leeschtung behënnerte sinn, awer hir Leeschtung konnt entweder duerch L-DOPA Injektioun oder duerch virale Genentransfer op d'nigrostriatal Wee restauréiert ginn (Sotak et al., 2005; Robinson et al., 2007). Am Géigesaz, war DA Restauratioun am ventrale Striatum net néideg fir instrumental Verhalen ze restauréieren. Och wa DA Signaler d'Instrumental Léiere aktivéiere bleift eng oppe Fro, ass eng offensichtlech Méiglechkeet datt et de Wäert vu selbstinitéierten Aktiounen kéint codéieren, dh wéi vill Belounung virausgesot gëtt mat engem bestëmmten Handlungskurs.

D'Dorsal Striatum, als Ganzt, enthält den héchsten Ausdrock vun DA Rezeptoren am Gehir, a kritt déi massivst dopaminerg ProjektiounAn. D'DP Projektioun zu der DMS kann eng aner Roll am Léieren spillen wéi d'Projektioun zum DLS, well dës zwou Regiounen däitlech ënnerscheeden am temporalen Profil vun der DA Verëffentlechung, der Upassung an der Degradatioun (Wickens et al., 2007). Mir hypothéiren datt d'DA Projektioun op den DMS aus der medialer SNc kritesch ass fir Handlung-Resultat Léieren, wärend d'D DA Projektioun zu den DLS aus der lateraler SNc kritesch ass fir d'Gewunnechtbildung. Sollt dat richteg sinn, soll een DA Zellen am SNc erwaarden fir de Feeler an der Belounungsprognose ze encodéieren baséiert op selbst generéiert Handlungen - instrumental Prognosenfeeler - anstatt dat baséiert op der CS. Virleefeg Beweiser fir dës Fuerderung ze ënnerstëtzen kënnt aus enger rezenter Etude vum Morris et al, déi aus SNc Neuronen opgeholl hunn während enger instrumentaler Léieraufgab (Morris et al., 2006). Monkeys goufen trainéiert fir hir Waffen ze beweegen an Äntwert op engem diskriminéierende Stimulus (S^D) déi uginn déi entspriechend Bewegung an d'Wahrscheinlechkeet vun der Belounung. Den S^D elizitéiert phasesch Aktivitéit an den DA Neuronen entspriechend dem Handlungswert baséiert op der erwaart Belounungswahrscheinlechkeet vun enger bestëmmter Handlung. Déi meescht interessant, obwuel d'DA Äntwert op d'S^D eropgaang mam Handlungswäert, de Géigende wier richteg vun der DA Äntwert op d'Belounung selwer, konsequent mat der Iddi datt dës Neuronen e Prognosenfeeler kodéieren mat deem Wäert verbonne sinn. Net iwwerraschend ass dat primär striatal Zil vun dësen Zellen, de caudate Käre, bekannt Neuronen enthalen déi Handlungswäerter kodéieren (Samejima et al., 2005). Et sollt een awer bemierken datt dës Etude keng Verhalensaufgaben benotzt déi e Wäert vun Aktiounen eestëmmeg bewäerten. Eng kloer Viraussetzung vun eisem Model ass datt d'phasesch DA Aktivitéit d'Leeschtunge vun Aktiounen begleet, och an der Verontreiung vun enger explizit S^DAn. Zum Beispill virausse mir Burstfeier vun Nigral DA Neuronen zur Zäit vun enger selwer initiéiert Handlung déi eng Belounung verdéngt.

Op eiser Siicht, wärend de mesoaccumbens DA Signal de Wäert vun der CS reflektéiert, den nigrostriatal Signal, vläicht vun deenen Neuronen, déi op d'DMS projizéieren, reflektéiert de Wäert vun der Handlung selwer, oder vun iergendengem S^D deen dëse Wäert virstellt. Ausserdeem, souwuel instrumental a Pavlovian Léiere schéngen eng Form vu negativen Feedback ze bedeelegen fir den effektive Léierssignal ze kontrolléieren. Tatsächlech sinn déi direkt Projektioune vum Striatum an d'Mëtt Midrain DA Neuronen (Figure 2) gi laang als neural Ëmsetzung vun dëser Zort negativ Feedback proposéiert (Houk et al., 1995), an d'Stäerkt an d'Natur vum hemmenden Input ka vill vun Regioun zu Regioun staark variéieren.

  

Figure 2

D'Cortico-Basal Ganglia Netzwierker

E Prognosenfehler, laut aktuellen Modeller, ass e Léierssignal dat bestëmmt wéi vill Léiere geschitt. Soulaang et präsent ass, gëtt d'Léieren weider. Wéi selbstverständlech dës Fuerderung erschéngt, e Virgängerfehler fir Handlungswäert, obwuel syntaktesch ähnlech wéi de Pavlovesche Prognosenfeeler, huet eenzegaartegen Features déi net extensiv iwwerpréift goufen. An traditionnelle Modeller wéi de Rescorla-Wagner Modell, deen ausschliesslech op de Pavlovesche Konditioun adresséiert (awer mat limitéierten Erfolleg), ass d'Schlëssel Feature den negativen Feedback deen de Predictiounsfehler reguléiert. Dësen Output stellt d'kaaft Viraussiicht vir, méi spezifesch déi Zomm vun allen aktuellen Prognosen, wéi erfaasst vun de Verbindungsstimuli, déi typesch bei Blockéierungsexperimenter benotzt ginn (Rescorla, 1988). Et ass dës Zommung vu verfügbare Prognosen fir e globalen Feelerbegrëff z'erreechen deen d'Haaptinnovatioun an dëser Klass vu Modell ass. Fir instrumental Aktiounen awer individuell Feelerbegrëffer erschéngen méi wahrscheinlech, well et ass schwéier ze gesinn wéi den negativen Feedback de Wäert vu verschidde Aktiounen gläichzäiteg géif presentéieren wann nëmmen eng Handlung gläichzäiteg kann ausgefouert ginn. Natierlech existéieren eng Zuel vu méigleche Léisungen. Zum Beispill, e bestëmmte Staat kritt (experimentell duerch en ënnerscheede S implementéiert^D), kënnen déi méiglech Coursen vun Aktiounen tatsächlech gläichzäiteg representéiert ginn wéi gewinnte Prognosen. Awer d'Haaptschwieregkeet mat instrumental Prognosenfeeler huet mat der Natur vun der Handlung selwer ze dinn. Eng Pavlovian Predictioun follegt automatesch d'Presentatioun vum Stimulus, deen onofhängeg vum Organismus ass. En instrumental Prognosenfehler muss mam Element vun der Kontroll adresséieren, well d'Prognose ass selwer handlungskontentent, an eng bewosst Aktioun gëtt spontan emittéiert baséiert op der Verfollegung vun den Déieren no de Konsequenze vum Handelen anstatt opgeruff duerch antecedent Reizen. Zum Schluss ass et präzis en allgemenge Vernoléissegung vun der spontaner Natur vun zilorientéierter Aktiounen, souwuel an der Neurowëssenschaften wéi och an der Psychologie, déi den Ënnerscheed tëscht dem Pavloveschen an den instrumentalem Léierprozess verursaacht huet, an d'Natur vun de verbonne Prognosen. Et bleift etabléiert, dofir, wéi eng Zort negativ Feedback Signal, wann iwwerhaapt, d'Regierung vun Handlungswäerter reguléiert (Dayan a Balleine, 2002).

Schlussendlech huet déi kierzlech Aarbecht och déi nigrostriatal Projektioun vun der lateraler SNc op DLS spezifesch an der Gewunnechtbildung implizéiert. De Faure et al huet selektiv d'DA Zellen lesionéiert déi mam DLN mat 6-OHDA projizéieren, a fonnt datt dës Manipulatioun iwwerraschend wéineg Effekt op den Taux vun der Hiewelpressung huet, awer et huet d'Gewunnechtbildung verletzt, wéi gemooss mat Ausgangsverwäertung (Faure et al., 2005). Dat ass, lesionéiert Déieren hunn op eng zilorientéiert Manéier geäntwert, och wann an enger Kontrollgrupp d'Ausbildung Gewunnecht Verhalen onsensibel géint d'Resultat Devaluatioun generéiert. Lokal DA Verarmung, ass also ähnlech wéi excitotoxesch Läsionen vun der DLS, an där béid Manipulatiounen Retard Gewunnechtbildung a favoriséieren d'Acquisitioun vun zilorientéierte Aktiounen (Yin et al., 2004). E phasic DA Signal kritesch fir d'Gewunnechtbildung ass scho gutt beschriwwen vum effektive Verstäerkungssignal an zäitgenëssesch temporär-Differenz Verstäerkung Léieralgorithmen inspiréiert vun der Aarbecht vum Hull a Spence (Hull, 1943; Spense, 1947, 1960; Sutton a Barto, 1998).

Cortico-Basal Ganglia Netzwierker

Bis elo hu mir d'funktionell Heterogenitéit am Striatum diskutéiert, awer et wier fälschlech ze proposéieren datt all striatal Gebitt kann, soen, d'Ëmgangsausféierung vun der Verwierklechung an der Leeschtung vun enger Handlung ganz eleng iwwersetzen. Villméi ginn déi zerebral Hemispheres organiséiert als iteréierend funktionnéierend Eenheeten, déi aus cortico-basal Ganglia Netzwierker bestinn (Swanson, 2000; Zahm, 2005). THie striatum, als Entrée vun der Gesamtbasal Ganglia, déngt als eenzegaartegen Hub an der cortico-basal Ganglia Netzwierkmotiv, fäeg fir cortikal, thalamesch a mëttlere Input z'integréierenAn. Wéi hei uewen beschriwwen, obwuel et eng kontinuéierlech Struktur ass, erschéngen verschidde striatal Regiounen an ënnerschiddleche funktionnellen Netzwierker deelzehuelen, zB d'Accumbens wierkt als Hub am limbesche Netz an den DLS am Sensorimotor Netzwierk. Wéinst der reentrant Eegeschafte vun esou Netzwierker ass awer keen eenzege Bestanddeel vun dëser Struktur upstream oder ënnen an all absoluter Sënn; zB den thalamocortical System ass souwuel d'Quell vun engem wichtegen Input fir de Striatum an d'Zil vu béid striato-pallidal wéi och striato-nigral Weeër.

Och wann parallel reentrant Basal Ganglia Loops laang erkannt goufen (Alexander et al., 1986), mir ënnersträichen ënnerscheede funktionell Rollen vun dësen Circuiten op Basis vun operationell definéierten representativen Strukturen an op Interaktiounen tëscht Circuiten an der Integratioun vu Verhalen. Op dëser Basis kënnen op d'mannst véier esou Netzwierker ënnerscheede ginn: déi limbesch Netzwierker, déi d'Schuel a Kär vun den Accumbens involvéieren, respektiv, dem Associativen Netzwierk, dat dem Associativstroatum (DMS) involvéiert ass, an dem Sensorimotor-Netzwierk mat dem Sensorimotor-Stratum (DLS). Hir Funktiounen variéiere vun der Mediatioun vun der Kontroll vun appetitlechen Pavlovian URs a CRs bis instrumental Aktiounen (Figure 1).

  

Figure 1

Gréisser funktionnele Beräicher vum Striatum. Eng Illustratioun vum Streatum aus enger koronaler Sektioun déi d'Halschent vum Gehir weist (Paxinos a Franklin, 2003). Notiz datt dës véier funktionell Domainen anatomesch kontinuéierlech sinn, an ongeféier entspriechen wat ...

Wéi scho gesot, besteet de ventralen Stratum gréisstendeels aus den nucleus accumbens, déi weider an de Schuel an de Kär gedeelt kënne ginn, all matmaachen an engem ausgezeechente funktionelle Netzwierk. Déi cortikalesch (glutamatergesch) Projektiounen an der Schuel entstinn aus infralimbesche, zentrale a lateralen Ëmlafkierper, wärend d'Projektiounen zum Kär entstinn aus méi dorsal Mëttlinnregioune vu prefrontale Cortex wéi déi ventral an dorsal prelimbesch an anterior cinguléiert Kortizien (Groenewegen et al., 1990; Zahm, 2000, 2005). Bannend dës Funktiounsnetzwierker, déi hei uewe beurteelt Beweiser suggeréiert datt d'Schuel u URs involvéiert ass fir ze belounen an d'Acquisitioun vu consummatoire CRs; de Kär am exploratorescht Verhalen, besonnesch d'Acquisitioun an den Ausdrock vun de Pavlovian Approche Äntwerte. Op d'mannst zwee gréisser Netzwierker kënnen an der méi grousser ventraler oder limbescher cortico-basaler Ganglia-Netz ënnerscheet ginn, een fir consummatory an deen aneren fir virbereedend Behuelen an hir Ännerung duerch Pavlovian Conditioun (Figure 1).

D'Dorsalstreatum kann och an op d'mannst zwou grouss Regiounen opgedeelt ginn, assoziativ a sensorimotor, mat engem ausgezeechente funktionnelle Netzwierk mat all verbonnen. D'assoziativ Striatum (caudat an Deeler vun der anteriorer Putamen a Primaten) enthält Neuronen, déi an Antwaardung vun der Äntwert-kontingenter Belounung veränneren an hir Feier änneren no der Gréisst vun der erwaarter Belounung (Hikosaka et al., 1989; Hollerman et al., 1998; Kawagoe et al., 1998). Am associativen Netzwierk sinn déi prefrontal a parietal Associatioun Cortices an hiert Zil an der DMS am transiente Gedächtnis involvéiert, béid prospektiv, a Form vun Ausgangserwaardungen, an Retrospektiv, als Rekord vun de rezenten Efferenzkopien (Konorski, 1967). De Sensorimotor Niveau, op der anerer Säit, enthält de Sensorimotor-Kortischen an hir Ziler an de Basalganglia. D'Ausgabe vun dësem Circuit ginn u motoresch Cortisen a Gehir-Stammmotor Netzwierker geriicht. Neural Aktivitéit am Sensorimotor Striatum gëtt meeschtens net moduléiert duerch Belounungserwaardung, a weist méi Bewegungsaktivitéit wéi Neuronen am assoziativen Striatum (Kanazawa et al., 1993; Kimura et al., 1993; Costa et al., 2004). Schlussendlech, nieft dem medial-laterale Gradient, ass et bedeitend funktionell Heterogenitéit laanscht der anterior-posterior Achs vum dorsale Stratum, awer net genuch Daten sinn de Moment verfügbar fir eng detailléiert Klassifikatioun ze erméiglechen (Yin et al., 2005b).

Studien hunn bis elo nëmmen op déi cortikal a striatal Komponente vun dësen Netzwierker konzentréiert. Allgemeng hu Läsionen vun engem kortikale Beräich ähnlech Effekter wéi Läsionen vu sengem striatalen Zil (Balleine an Dickinson, 1998; Corbit an Balleine, 2003; Yin et al., 2005b). Awer aner Komponenten am Netz kéinten ähnlech Funktiounen subserveieren. Zum Beispill, goufen Läsionen vum mediodorsale Kär vum Thalamus, e Bestanddeel vum associativen Netzwierk, fonnt fir d'Sensibilitéit fir d'Resultat devaluatioun an d'Kontinenzdegradatioun op déi selwecht Aart a Weis wéi d'Läsiounen op den DMS an de prelimbesche Cortex ofzeschafen (Corbit et al., 2003). Also obwuel eisen allgemenge Modell ähnlech Verhalensdefiziter viraussetzt no Schued un all Komponent vun engem Netzwierk, proposéiert se och, fir all bestëmmte Struktur wéi Pallidum oder Thalamus, verschidde funktionnele Beräicher.

Interaktioun tëscht Netzwierker

Ënner de meeschte Konditioune schénge Pavlovian an instrumental Léieren parallel ze stattfannen. Phenomener wéi PIT weisen awer wéi wäit dës aner ënnerschiddlech Prozesser interagéiere kënnen. Nodeems onofhängeg funktionell Systemer ofgeschnidden sinn, ass de nächste Schrëtt ze verstoen wéi dës Systeme koordinéiert sinn fir Verhalen ze generéieren. Eng attraktiv Propositioun, am Aklang mat kierzlech anatomesch Aarbecht, ass datt d'Netzwierk uewe beschriwwen sinn hierarchesch organiséiert, jiddfereen als labber, funktionell Tëschestatioun an der Hierarchie déngt, wat d'Informatioun vun engem Niveau op deen nächste erlaabt. Besonnesch déi kierzlech entdeckt Spiralverbindunge tëscht dem Striatum an dem Midbrain proposéieren eng anatomesch Organisatioun déi potenziell Interaktiounen tëscht Netzwierker implementéiere kann (Figure 2). Wéi vum Haber a Kollegen observéiert, schécken striatal Neuronen direkten inhiberende Projektiounen un d'DA Neuronen, aus deenen se sech widderspréchlech DA Projektioune kréien, an och Projekter un d'DA Neuronen, déi am Gaangen an en anert striatal Gebitt projizéieren (Haber et al., 2000). Dës Projektiounen erlaben de Feed-Forward Ausbreedung vun Informatioun an enger eenzeger Richtung, vun de limbesche Netzwierker bis Associativ a Sensorimotor Netzwierker. Zum Beispill, eng Pavlovian Prognose (erfuerderleche Wäert vum CS) kéint den effektive Léierssignal op der limbescher Niveau reduzéieren, wärend dem DA Signal op den nächsten Niveau potentiabel ass. D'Onnuléierung vum effektive Léierssignal gëtt normalerweis duerch en negativen Feedback Signal via eng hemmende Projektioun ëmgesat, zum Beispill vun de GABAergic mëttelgrousse Projektiouns Neuronen aus dem Stratum an den DA Neuronen. Mëttlerweil, wéi vun der anatomescher Organisatioun virgeschloen (Haber et al., 2000; Haber, 2003), d'Potenséierung vum DA Signal fir d'Nopeschcortico-Basal Ganglia Netzwierk (den nächsten Niveau an der Hierarchie) konnt via desinhibitoresch Projektiounen (dh GABAergic striatal Projektioun Neuronen an nigral GABAergic interneurons zu DA Neuronen) ëmgesat ginn. Sou kann de geléiertene Wäert vum limbeschen Netzwierk zum associativen Netzwierk iwwerdroe ginn, wouduerch d'Verhalensadaptatioun mat all Iteratioun verfeinert a verstäerkt gëtt (Ashby, 1960). Dëse Modell prognostéiert also déi progressiv Engagement vu verschiddene neurale Netzwierker wärend verschidden Etappe vum Léieren, e Virschlag ënnerstëtzt vu verschiddenen Daten (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt an Robbins, 2005; Yin and Knowlton, 2005; Belin an Everitt, 2008).

Phenomenen déi d'Interaktioun vun ënnerschiddleche funktionnele Prozesser erfuerderen, sou wéi PIT, stellen e fruchtbare Testgrond fir Modeller vun dëser Aart. Tatsächlech ass den hierarchesche Modell am Aklang mat rezenten experimentellen Befunde op PIT. Geméiss dem Model, Pavlovian-instrumental Interaktioune ginn duerch widderspréchlech Verbindunge tëscht dem Stratum an der DA Neuronen mediéiert. DA schéngt kritesch fir allgemenge Transfer ze sinn, wat vun DA Antagonisten a lokal Inaktivéierung vun der VTA ofgeschaaft gëtt (Dickinson et al., 2000; Murschall an Hauber, 2006); wärend lokal Infusioun vun Amphetamin, déi viraussiichtlech DA Niveauen eropgeet, an d'Accumente kann et bedeitend verbesseren (Wyvell a Berridge, 2000). Op der anerer Säit ass d'Roll vum ventrale striatal Dopamin am spezifeschen Transfer manner kloer. E puer Beweiser hindeit datt et kéint gespaart ginn no der Inaktivéierung vun der VTA (Corbit et al., 2007) awer, als Corbit a Janak (2007) viru kuerzem bericht, spezifesche Transfer gëtt ofgeschloss duerch Inaktivéierung vum DLS, suggeréiert datt dësen Aspekt vun der Stimulatiounskontroll iwwer d'Auswielauswiel déi nigrostriatal Projektioun involvéiert kéint (Corbit an Janak, 2007). Averstanen mat der hierarchescher Perspektiv, Corbit a Janak (2007) hunn och fonnt, datt, wärend DLS Inaktivéierung de selektiv excitatoreschen Effekt vu Palovesche Cues ofgeschaf huet (sou vill wéi no Läsionen vun den Accumbens Shell observéiert gouf Corbit et al, 2001), Inaktivéierung vun der DMS ofgeschaf nëmmen d'Resultat-Selektivitéit vum Transfert wärend de generellen excitatoreschen Effekt vun dëse Cues ze schützen, en Trend och no Läsionen vum mediodorsal thalamus observéiert, deen Deel vum associativen cortico-basal Ganglia Netz ass (Ostlund a Balleine, 2008). Baséierend op dës virleefeg Resultater schéngt d'DMS nëmmen e spezifeschen Transfer ze vermëttelen, wärend den DLS fir néideg wier fir béid spezifesch an allgemeng excitatory Effekter vu Pavlovian Cues op instrumental Aktiounen.

Interessant ass déi limbesch Striatum extensiv zu DA Zellen projizéiert déi zum dorsal Striatum projizéieren (Nauta et al., 1978; Nauta, 1989); déi dopaminergesch Projektioune bis de striatum an d'Striatal Projektioune zréck an de Mëttebréck si ganz asymmetresch (Haber, 2003). De limbesche Striatum kritt limitéiert Input vun DA Neuronen schéckt trotzdem extensiv Ausgab zu engem vill méi groussen Satz vun DA Neuronen, an de Géigendeel ass wouer vum Sensorimotor-Stratum. Also déi limbesch Netzwierker sinn an enger perfekter Positioun fir d'assoziativ a sensorimotor Netzwierker ze kontrolléieren. Hei ass d'Neuroanatomie mat Verhalensdaten averstanen datt d'Pawlovian Erliichterung vum instrumentalem Verhalen vill méi staark ass wéi de Géigendeel; tatsächlech, bedeitend Beweiser suggeréiert datt instrumental Aktiounen tendéieren, Pavlovesch CRs ze inhibitéieren, anstatt ze begeeschteren - e Fonnt, deen nach ëmmer op eng neurobiologesch Erklärung waart (Ellison a Konorski, 1964; Williams, 1965).

Conclusiounen

Den hierarchesche Modell, deen hei diskutéiert gëtt, et sollt bemierkt ginn, ass ganz anescht wéi anerer déi sech exklusiv op de Cortex an de laange Beräicher tëscht de kortikale Beräicher vertrauen (Fuster, 1995). Et integréiert déi bekannte Komponenten a Konnektivitéit vum Gehir, anstatt se als Potpourri vu kortikale Moduler ze gesinn, déi op iergendeng onspezifizéierter Manéier eng breet Palette vu kognitiven Funktiounen ëmsetzen. Et vermeit och Viraussetzungen, ierflecher vum 19^th Joerhonnert Neurologie, datt de cerebral cortex am allgemengen, an de prefrontale Cortex besonnesch, iergendwéi eng "méi héich" homunkulär Eenheet bildt déi de ganzen Gehir kontrolléiert (Miller an Cohen, 2001).

Ausserdeem kënne verschidde spezifesch Prognosen aus dem aktuelle Modell ofgeleet ginn: (i) Et solle verschidde Predictiounsfehler fir selwer generéiert Aktiounen a fir Staaten / Stimuli mat Eegeschafte reflektéieren déi hir verschidde neurale Substrater a funktionell Rollen reflektéieren. (ii) Déi pallidal an thalamesch Komponenten vun all diskret cortico-basal Ganglia-Netzwierk sinn och erwaart fir déi Aart vu Verhalenskontroll ze hypothese fir all Netz, net nëmmen déi cortikal a striatal Komponenten. (iii) Et sollt e progressive Engagement vu verschiddene neurale Netzwierker wärend verschidden Etappe vum Léieren sinn. (iv) Accumbens Aktivitéit kann d'DA Neuronen direkt kontrolléieren an ofwiesselnd dorsal striatal Aktivitéit. Baséiert op engem Bericht vun Holland (2004) suggeréiert datt PIT mat instrumentalem Training eropgeet, gëtt dës 'limbic' Kontroll vun den Associativen a Sensorimotor Netzwierker mat der verlängerter Ausbildung gestäerkt.

Ouni detailléiert Donnéeën ass et nach ze fréi e formelle Kont vum hierarchesche Modell ze bidden. Trotzdem, déi uewe genannte Diskussioun soll et kloer maachen datt déi aktuell Versioune vun der Mesoaccumbens Belounungshypothese op problematesch Viraussetzungen iwwer d'Natur vum Belounungsprozess an d'Benotzung vu mëttelméissege Verhalensmoossnamen hänken. Vereenzelte Prinzipien, ëmmer d'Zil vun der wëssenschaftlecher Entreprise, kënnen nëmmen op d'Realitéit vun experimentellen Donnéeën gegrënnt ginn, awer onwichteg dës kënne sinn. Well d'Funktioun vum Gehir, schlussendlech, d'Generatioun a Kontroll vum Verhalen ass, wäert detailléiert Verhalensanalyse de Schlëssel sinn fir neurale Prozesser ze verstoen, sou vill wéi eng grëndlech Beschreiwung vun der gebierter a gewonnener Immunitéit d'Erlaabnis vum Immunsystem erlaabt. Och wann et anscheinend e Truism ass, kann et kaum iwwerbekämpft ginn datt mir Gehirmechanismen verstoe kënnen, sou datt hir Funktiounen mat Präzisioun beschriwwe ginn a gemooss ginn. Wann d'Etude vun der neuraler Funktioun baséiert op experimentell etabléierten psychologesche Fäegkeeten, zum Beispill d'Representatioun vum Handlung-Resultat a Stimulus-Resultat Contingencen, déi bekannt anatomesch Organisatioun souwéi physiologesch Mechanismen ginn an engem neie Liicht gesi ginn, wat zu der Formuléierung vun neien Hypothesen an den Design vun neien Experimenter. Als initial Schrëtt an dës Richtung hoffe mer datt de Kader deen hei diskutéiert gëtt als nëtzleche Startpunkt fir zukünfteg Ënnersichung déngt.

Arbeschterlidder

Referenze