Jutalomvezérelt tanulás a dopaminon kívül a nukleáris accumbensben: a kortikoszterális ganglionhálózatok integráló funkciói (2008)

A közelmúltbeli irodalomban általánosan elterjedt, hogy a „jutalom” monolitikus fogalmát az étvágytalanságra egységesen alkalmazzák, függetlenül attól, hogy bármit is jelez-e a szervezet számára (általában a kísérlet szemszögéből), vagy a régebbi kifejezésekkel, mint például „megerősítés” vagy „ösztönző”. Ezt a helyzetet bátorítja, ha nem maga a következménye, hogy az egyetlen neurális szubsztrátumra összpontosít a „jutalom”, amely magában foglalja a dopamin (DA) felszabadulását a magban.Berke és Hyman, 2000; Grace és munkatársai, 2007).

A mezoaccumbens út és az évtizeddel ezelőtt elismert jutalom közötti kapcsolatot megerősítette az újabb bizonyítékok, hogy a fázisos DA jel egy jutalom-előrejelzési hibát kódol, amely feltehetően tanítási jelként szolgál az asszociatív tanulásban.g (Schultz és munkatársai, 1997). A legnépszerűbb értelmezés szerint, ahogy van egy jutalom jel, így van egy jele a jutalom-vezérelt tanulásnak, ami ebben az esetben azt jelenti, hogy az inger és a jutalom között van összefüggés.Montague és munkatársai, 2004). Ugyanakkor elhanyagolták azt a kérdést, hogy az ilyen típusú tanulás hogyan alkalmazza az adaptív viselkedést; egyszerűen feltételezzük, hogy a dopamin jel elegendő mind a prediktív tanuláshoz, mind az ebből eredő feltételes válaszokhoz, és a célirányos akciókhoz, amelyeket a jutalommal való kapcsolatuk vezérel. Következésképpen a legtöbb kutatás középpontjában a jutalom és a függőség a DA jelzés és a kapcsolódó plaszticitás a mesoaccumbens pályán (Berridge és Robinson, 1998; Hyman és munkatársai, 2006; Grace és munkatársai, 2007).

Ez a nézet a jutalmazási folyamatról, amint egyre inkább elismert (Cardinal és munkatársai, 2002; Balleine, 2005; Everitt és Robbins, 2005; Hyman és munkatársai, 2006), nem megfelelő és félrevezető. Nem megfelelő, mert sem a célirányos cselekvések megszerzése, sem teljesítménye nem magyarázható az ösztönző-jutalom tanulást közvetítő asszociatív folyamatokkal.. Továbbá félrevezető, mivel a mezoaccumbens pályán a tevékenységre való kizárólagos hangsúly, amely nem szükséges és nem elegendő a célirányos cselekvésekhez, a figyelmet a lényegesebb kérdésre irányította, hogy pontosan milyen célirányos cselekedetek és hogyan kerülnek végrehajtásra az agy. Valójában, a különböző kísérleti megközelítésekből származó konvergáló bizonyítékok szerint, ami korábban úgy tűnt, hogy egyetlen jutalommechanizmusnak tűnik, valójában több folyamatot tartalmazhat, amelyek különböző viselkedési hatásokkal és neurális szubsztrátokkal rendelkeznek (Corbit és munkatársai, 2001; O'Doherty és munkatársai, 2004; Yin és munkatársai, 2004; Delgado és munkatársai, 2005; Yin és munkatársai, 2005b; Haruno és Kawato, 2006a; Tobler és munkatársai, 2006; Jedynak és munkatársai, 2007; Robinson és munkatársai, 2007; Tobler és munkatársai, 2007).

Itt igyekszünk feltárni a jelenlegi mesoaccumbens modellhez kapcsolódó problémákat, és helyette javasolniuk kell a jutalmazott tanulás más modelljét. Azzal érvelünk, hogy a striatum egy nagyon heterogén struktúra, amely legalább négy funkcionális tartományba osztható, amelyek mindegyike a különböző kortikális, thalamikus, pallidikus és középső agykomponensek külön funkcionális hálózatában működik.. Ezeknek a hálózatoknak az integratív funkciói, a jutalom által kiváltott feltétel nélküli válaszok előállításától a célirányos cselekvések ellenőrzéséig terjednek, kortárs viselkedési vizsgálatok segítségével disszociálhatók és tanulmányozhatók.

Előrejelzés és ellenőrzés

A mesoaccumbens pályát gyakran feltételezik a jutalom és a környezeti ingerek közötti kapcsolat megszerzéséhez, amelyek ezt a jutalmat előre jelzik. Például néhány, a jutalom által kiváltott DA sejtek fázisos aktivitását vizsgáló kísérletekben a majmok kiképzésre kerültek arra, hogy az ingert hozzákapcsolják a lé szállításához (Waelti és munkatársai, 2001) és ezt követően reagálnak az ingerre egy feltételes válasz (CR) - részvételi nyalás mellett. A majom nyalása célirányos lehet, mert úgy véli, hogy szükséges a lé beszerzése. Alternatív megoldásként a nyalást az előzményes inger is kiválthatja, amellyel a lé kapcsolódik. Melyek a majmok nyalásának meghatározó tényezői a viselkedést szabályozzák adott helyzetben nem ismert eleve, és nem lehet felületes megfigyeléssel meghatározni; ez csak a kifejezetten erre a célra tervezett vizsgálatokkal határozható meg. Ezek a tesztek, amelyek sok évtizeden át fejlődtek, képezik a tanulás és a viselkedés tanulmányozásában a legfontosabb modern fejlődés alapját (Táblázat 1). Ezeknek a teszteknek az alkalmazásával, amelyeket az alábbiakban tárgyalunk, most már tudjuk, hogy ugyanaz a viselkedési válasz - akár ambuláns megközelítés, orientáció, akár egy gombnyomás - több kísérletből eredhet, amelyek kísérleti úton szétválaszthatók.

  

Táblázat 1

Jutalomvezérelt tanulás

A viselkedés meghatározó tényezőinek központi félreérthetőségére való érzékenység ezért a jutalom-vezérelt tanulás jelenlegi idegtudományi elemzésének fő problémája. To megérteni ennek a problémának a jelentőségét, értékelni kell a különbségeket abban, hogy a prediktív (vagy a Pavloviai) tanulás és a célirányos (vagy instrumentális) tanulás szabályozza az étvágyat. Valójában úgy ítélve meg, hogy a két folyamatot milyen gyakran összekapcsolták a jutalom irodalmában, e megkülönböztetés rövid áttekintése hasznos kiindulópontnak tűnik a vitára.

Az étvágyú Pavlovian kondicionálásban a jutalom (azaz a feltétel nélküli inger vagy az USA) párosul egy ingerrel (feltételes inger vagy CS), függetlenül az állat viselkedésétől, míg az instrumentális tanulásban a jutalom az állatok cselekedeteitől függ. A kritikus kérdés mindkét esetben azonban az, hogy az inger-jutalom társulás vagy az akció-jutalmi szövetség irányítja-e a viselkedést.

Úgy tűnik, ez a kérdés olyan egyszerű, mint amilyennek látszik, ezért a kutatók több évtizede elhagyták nagyrészt azért, mert ezekben a helyzetekben a viselkedési válaszok azonosak lehetnek.

Így a Pavlovi-inger-jutalom társulás által szabályozott feltételes válaszok (CR-k) gyakran kaphatnak célirányossági furnérot róluk. Még a nyálkásodást, Pavlov eredeti CR-jét is kutyái tudták volna előállítani, mint szándékos kísérletet a lenyelés megkönnyítésére. Éppen ennek a kétértelműségnek az az oka, hogy a legnyilvánvalóbb magyarázat - nevezetesen, hogy Pavloviában az inger-kimenet társítását megtanulják, míg az instrumentális kondicionálásban megtanulják az akció-kimenet társítását - sok évtizedig nem sikerült nagy támogatást szereznie (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Mindazonáltal, bár sok Pavlovi CR-k autonóm vagy fogyasztó jellegűek, más CR-k, mint például a jutalomhoz való közeledési viselkedés, nem olyan kényelmesen jellemezhetők (Rescorla és Solomon, 1967); valóban könnyen összetéveszthetők az instrumentális akciókkal (Brown és Jenkins, 1968; Williams és Williams, 1969; Schwartz és Gamzu, 1977). Most már tudjuk, hogy a felszíni hasonlóság ellenére a Pavlovian CR-k és a célirányos hangszeres cselekvések a reprezentatív struktúrában különböznek egymástól, amelyek a válaszok teljesítményét szabályozzák (Schwartz és Gamzu, 1977).

A legközvetlenebb eszköz annak megállapítására, hogy egy válasz teljesítményét egy inger-jutalom vagy egy cselekvés-jutalom társulás közvetíti-e, hogy megvizsgálja a konkrét kontingencia szabályozó teljesítményt. A nyálolás példája itt tanulságos. Sheffield (1965) azt vizsgálták, hogy a Pavlovian kondicionálásában a nyálkásodást a jutalommal való kapcsolat vagy az inger-jutalmak társulása szabályozza-e. Kísérlete során a kutyák párosítást kaptak egy hang és egy élelmiszer jutalom között (Sheffield, 1965). Azonban, ha a kutyák a tónus alatt elmerülnek, akkor az élelmiszer nem került a vizsgálatba. Ez az elrendezés megtartotta a Pavlovi viszonyt a hang és az étel között, de eltörölte a közvetlen nyálkásodást és az élelmiszerszállítást. Ha a nyálkahártya a táplálékkal való kapcsolata által szabályozott akció volt, akkor a kutyáknak meg kell szüntetniük a nyálkásodást - soha soha nem nyerhetnek sóvárgást a hanghoz. Sheffield úgy találta, hogy egyértelműen a Pavloviánus-étel-kapcsolat volt, amely szabályozta a nyálkás CR-t. Az 800 hang-élelmiszer párosítás során a kutyák megszerzettek és megtartották a nyálkásodást, még akkor is, ha ez a táplálék elvesztése miatt elvesztette a legtöbbet. Hasonló következtetésre jutottak mások az emberekkel (Pithers, 1985) és más állatokkal végzett vizsgálatokban is.Brown és Jenkins, 1968; Williams és Williams, 1969; Holland, 1979); minden esetben úgy tűnik, hogy a Pavlovi-válaszok sokféleségük ellenére nem irányulnak a jutalommal való kapcsolatukkal, azaz a cselekvési kimeneteltől.

A „függőség” kifejezés az „A” esemény és a „B” esemény közötti feltételes kapcsolatra utal, úgy, hogy a B előfordulása az A. függvénye. a kísérleti manipuláció, amelyet kontingencia-lebomlásnak neveznek, általában úgy történik, hogy jutalmat vagy a prediktív ingertől vagy a cselekvéstől függetlenül mutatjuk be. Bár ezt a megközelítést eredetileg a Pavlovian kondicionálás vizsgálatára fejlesztették ki (Rescorla, 1968), a műszeres vészhelyzeti degradáció is közös eszközzé vált (Hammond, 1980). Amikor ezeket a kontingenciákat közvetlenül manipuláljuk, a tanulás tartalma feltáródik: pl. Az autoképezésben egy Pavlovi CR áldozata, mint műszeres cselekedet, a Pavloviánus manipulációkkal, nem pedig az instrumentális kontingenciával (Schwartz és Gamzu, 1977).

A célirányos hangszeres cselekvéseket két kritérium jellemzi: 1) az eredmény értékének változásaira való érzékenység, és az 2) az akció és az eredmény közötti kontingencia változásainak érzékenysége (Dickinson, 1985; Dickinson és Balleine, 1993). Egyedül az érzékenység a kimeneti leértékelésre, hangsúlyozni kell, nem elegendő a válasz célként való jellemzéséhez, mert néhány Pavlovi válasz is érzékeny lehet erre a manipulációra (Hollandia és Rescorla, 1975). A célorientált hangszeres cselekvések teljesítménye azonban érzékeny a cselekvési kimeneteltérés manipulációira is, míg a Pavlovi-válaszok érzékenyek az inger-kimeneti függőség manipulációira (Rescorla, 1968; Davis és Bitterman, 1971; Dickinson és Charnock, 1985). Fontos kivétel azonban a szokások (lásd alább) esetében is megtalálható, amelyek inkább hasonlóak a Pavlovi-i válaszokhoz, hogy relatív érzékenységük van a instrumentális kontingencia változásaira, de az eredményleértékelés miatt is áthatolhatatlanok, mert az eredmény nem része a reprezentatív struktúra, amely a teljesítményt ellenőrzi (vö. Dickinson, 1985 és az alábbiakban a további megbeszélésekhez).

Összefoglalva tehát rendkívül fontos, hogy egy adott válasz egyértelműen meghatározásra kerüljön a kontrolling helyzetben, nem pedig a válaszformában vagy a létrehozásához használt viselkedési feladatban. Anélkül, hogy egy adott helyzetben megvizsgálnánk a kontrolling kontingenciát, mind a viselkedés, mind a viselkedést közvetítő neurális folyamatok valószínűleg rosszul jellemezhetők. Végül, amint azt állítjuk, a tényleges kontrolling véletlenek, amelyek a tanulás és a különálló idegrendszeri rendszerek által megvalósított, a viselkedést szabályozzák, bár ugyanazzal a „végső közös útvonallal” rendelkezhetnek. A központi kihívás tehát az, hogy túlmutassunk a megjelenéseken, hogy felfedezzük a mögöttes kontingencia-ellenőrző magatartást (az összefoglalót lásd Táblázat 1). Annak állítása érdekében, hogy a specifikus neurális struktúrák közvetítik a specifikus pszichológiai képességeket, pl. Célirányosságot, a viselkedés állapotát a megfelelő viselkedési vizsgálatokkal kell értékelni. Máskülönben a zavarok meghívása, mivel a csoportok vitatják a megfelelő neurális determinánsokat, miközben nem ismerik fel, hogy viselkedési feladataik különböző jelenségeket mérhetnek. Végső soron az az, amit az állat megtanul, nem az, amit a kísérletező úgy véli, hogy az állat megtanulja, és amit az állat megtanul, csak olyan tanulságokkal lehet feltárni, amelyek közvetlenül érzékelik a tanulás tartalmát.

A Pavlovi-hangszeres megkülönböztetés triviális lett volna, ha az állat megpróbálta megismerni ugyanazt a dolgot (mondjuk az inger és jutalom közötti kapcsolat), függetlenül attól, hogy milyen kísérleti elrendezések vannak. A mai idegtudomány számára rendelkezésre álló leggyakoribb tanulási módszerek segítségével egyszerűen nem lehet megmondani. Így a kutatók gyakran azt állítják, hogy a célirányos viselkedést tanulmányozzák anélkül, hogy megvizsgálnák, hogy a kérdéses magatartás valójában a cél felé irányul-e. Bár a különböző tanulási módokat általában feltételezik, hogy különböző „feladatok” vagy „paradigmák” használatából erednek, a kutatók gyakrabban nem adnak megfelelő indoklást feltételezésükre.

A klasszikus példa erre a kérdésre a mazesek tanulásának tanulása. A labirintus kísérletek és a kapcsolódó tesztek egyik problémája, mint pl. A kondicionált hely preferencia, a Pavloviai (inger-jutalom) és a műszeres (akció-jutalom) viselkedésbeli befolyásolás kísérleti disszociációjának nehézsége.Dickinson, 1994; Yin és Knowlton, 2002). Így a T-labirintusba való jutás az élelmiszerek megszerzéséhez tükrözheti a válaszstratégiát (balra fordulhat), vagy egyszerűen egy feltételezett megközelítést néhány, a cue-food egyesület által irányított extra-labirintus iránypontra (Restle, 1957). Az egyik módja annak, hogy teszteljük, hogy ez utóbbi szerepet játszik-e a labirintus megfordításában; most a válaszadóknak továbbra is balra kell fordulniuk, míg az extra labirintusokat használóknak jobbra kell fordulniuk. De vannak-e azok, amelyek továbbra is balra fordulnak egy válaszstratégia alkalmazásával, vagy csak néhány megközelítést érnek el intra-maze cue kapcsolódó élelmiszer? Nem egyszerű megállapítani, hogy a Pavloviánus viselkedésvezérlés szokásos ellenőrzéseit nem lehet könnyen alkalmazni a labirintus tanulmányokban. Ezek közül az egyik, a kétirányú ellenőrzés azt állapítja meg, hogy az állatok ellenőrzést gyakorolhatnak egy adott válaszra azáltal, hogy megkövetelik a válasz irányának megfordítását, hogy jutalmat szerezzenek (Hershberger, 1986; Heyes és Dawson, 1990). Sajnos, egy labirintusban a válasz megfordulása még mindig nem lesz elegendő ahhoz, hogy célt célzó cselekvést hozzon létre, mert a megfordítás megvalósítható a meglévő inger-jutalom viszony megszüntetésével és egy másik helyettesítésével. Például, egy patkány, aki közeledik egy bizonyos labirintus cue-hoz, megtanulhatja a fordulat során, hogy már nincs párosítva a jutalommal, de más inger is van, ami egy CR megközelítés megszerzéséhez vezet az új inger felé. Így nyilvánvalóan megfordíthatják a válaszukat anélkül, hogy valaha kódolták volna a válasz-jutalom kontingenciát. Mivel ez a lehetőség a gyakorlatban nem tesztelhető, a labirintusok, a helymeghatározási eljárások vagy az egyszerű mozgásszervezési feladatok használata a célirányos tanulási folyamatok tanulmányozására különösen veszélyes, és valószínűleg a folyamatokat szabályozó viselkedés hibás jellemzéséhez vezet, valamint a neurális specifikus szerephez. folyamatok (Smith-Roe és Kelley, 2000; Hernandez és munkatársai, 2002; Atallah és munkatársai, 2007).

A nucleus accumbens nem szükséges az instrumentális tanuláshoz

A jelenlegi magatartáselemzés hiányosságai különösen egyértelművé válnak a magszemek vizsgálatában. Számos tanulmány azt sugallta, hogy ez a szerkezet kritikus a célirányos cselekvések megszerzéséhez (Hernandez és munkatársai, 2002; Goto és Grace, 2005; Hernandez és munkatársai, 2005; Pothuizen és munkatársai, 2005; Taha és Fields, 2006; Atallah és munkatársai, 2007; Cheer és munkatársai, 2007; Lerchner és munkatársai, 2007). Ezt a következtetést azonban nagyrészt az egyedüli teljesítményváltozás mérésére alapozták, olyan feladatok felhasználásával, amelyekben a kontingencia-ellenőrző viselkedés kétértelmű. Bár az a megfigyelés, hogy egy manipuláció károsítja a viselkedési válasz megszerzését, tanulási hiányt jelezhet, a válaszindításra vagy a motivációra gyakorolt ​​hatást is tükrözhetik. Például a karnyomás megszerzésének csökkenése gyakran a teljesítményre gyakorolt ​​hatást tükrözi, nem pedig a tanulást (Smith-Roe és Kelley, 2000). Egyedül a felvásárlási görbéket, mint bármely tanulási folyamat hiányos ábrázolását, óvatosan kell értelmezni (Gallistel és munkatársai, 2004). Sajnos a tanulás és a tanulás közötti tanulás és a tanulás legrégebbi leckéje közötti különbséget gyakran figyelmen kívül hagyják ma.

A részletesebb elemzés azt mutatja, hogy az accumbens nem szükséges és nem elegendő az instrumentális tanuláshoz. Az accumbens héj sérülése nem változtatja meg a teljesítmény érzékenységét az eredmény leértékelésére (de Borchgrave et al., 2002; Corbit és munkatársai, 2001) vagy a műszeres vészhelyzeti degradációra (Corbit és munkatársai, 2001), míg az accumbens mag sérüléseit úgy találták, hogy csökkenti a leértékelés érzékenységét anélkül, hogy károsítaná a patkányok érzékenységét a instrumentális kontingencia szelektív degradációjára (Corbit és munkatársai, 2001). Az accumbens manipulációknak az új válasz megszerzésére gyakorolt ​​hatását vizsgáló tanulmányok a kondicionált megerősítés tanulmányai során következetesen hatást gyakoroltak a jutalomhoz kapcsolódó teljesítményre, különösen az amfetamin teljesítményének javítására, de nem a válaszadás megszerzésére (Parkinson) et al., 1999). Hasonlóképpen, Cardinal és Cheung szisztematikus tanulmánya nem talált semmilyen hatást az accumbens magsérülésekre a karnyomás-válasz megszerzése során egy folyamatos megerősítési ütemterv szerint; csak a késleltetett megerősítéssel figyelték meg a megszerzett \ tCardinal és Cheung, 2005).

Bár az accumbens nem kódolja az instrumentális esetlegességet (Balleine & Killcross, 1994; Corbit, Muir és Balleine, 2001), jelentős bizonyítékok arra engednek következtetni, hogy alapvető szerepet játszik az eszközben teljesítmény, egy olyan szerep, amelyet most jobban meg tudunk határozni a közelmúltbeli munka fényében. Számos tanulmány alapján megállapították, hogy az accumbens kritikus az egyes étvágygerjesztő Pavlovian kondicionálás típusai szempontjából, és közvetíti mind a nem specifikus ingerlő hatásokat, amelyek a juttatással összefüggő jelzéseknek lehetnek az instrumentális teljesítményre, másrészt az eredményspecifikus torzítások a választás választásakor ilyen jelekkel. A mag, vagy az elülső cingulátum sérülése, amely a magban a kortikális bemenet fő forrása, vagy a két szerkezet közötti szakadás, károsítja a Pavlovian megközelítés viselkedését (Parkinson és munkatársai, 2000). A D1-szerű dopamin receptor antagonista vagy NMDA glutamát receptor antagonista helyi infúziója közvetlenül az edzés után szintén hátrányosan befolyásolta ezt a tanulási formát a teljesítmény befolyásolása nélkül.Dalley és munkatársai, 2005). Ezek az adatok egyetértenek a in vivo neurális aktivitás. Például Carelli és munkatársai azt találták, hogy az accumbens magban lévő neuronok szisztematikusan megváltoztathatják tevékenységüket a Pavlovi autoképezési feladat megismerése során (Day és munkatársai, 2006; Nap és Carelli, 2007).

Úgy tűnik, a neuronok a héjrégióban a jutalmakra és az averzív ingerekre vannak hangolva, még a tanulási tapasztalatok előtt is; képesek arra is, hogy olyan válaszokat dolgozzanak ki a CS-ekre, amelyek ezeket az eredményeket \ tRoitman és munkatársai, 2005). Berridge és munkatársai munkája felvetette annak a lehetőségét, hogy bizonyos magvak accumbens héjában és a ventrális pallidumban lévő területeken "hedonikus hotspotokként" lehet jellemezni. Ezek a területek közvetlenül modulálják a feltétel nélküli hedonikus válaszokat a jutalmakra, például az ízreaktivitásra. Például ezekben a régiókban az opioid receptorok agonistái szignifikánsan megnövelhetik a szacharózzal szembeni inaktív ízreaktivitást. Az ilyen erősen lokalizált régiók azonban szélesebb hálózatokba ágyazódnak, amelyek nem játszanak szerepet az étvágygerjesztő viselkedésben (Taha és Fields, 2005; Pecina és munkatársai, 2006; Taha és Fields, 2006).

A mag és a héj relatív szerepének megkülönböztetése úgy tűnik, hogy az előkészítő és a fogyasztó étvágyas magatartás egyike, amely könnyen átalakítható a Pavlovian-féle kondicionálás különböző típusain keresztül. Az előkészítő válaszok, mint például a megközelítés, az eredmény általános érzelmi tulajdonságaihoz kapcsolódnak, míg a fogyasztói magatartás specifikusabb érzékszervi tulajdonságokkal kapcsolódik; ezek szintén különböző mértékben érzékenyek a különböző CS típusokra, pl. az előkészítő válaszok jobban kondicionálhatók egy hosszú ideig tartó ingerrel (Konorski, 1967; Dickinson és Dearing, 1979; Balleine, 2001; Dickinson és Balleine, 2002).

Mindenesetre a Pavlovian kondicionálás bizonyos aspektusaiban az accumbens-re vonatkozó bizonyítékok túlnyomóak. Ez azonban nem az egyetlen struktúra, és más hálózatok, mint amilyenek a különböző amygdaloid magok, szintén úgy tűnik, hogy központi szerepet játszanak mind a Pavlovian előkészítő, mind a fogyasztói komponensekben. (Balleine és Killcross, 2006).

Az egyik függvény, amely egyértelműen az okleveleknek tulajdonítható, a Pavlovi befolyások instrumentális viselkedésre való integrációja. A Pavlovian CR-k, beleértve azokat is, amelyek a központi motivációs állapotok aktiválódását tükrözik, mint például a vágy és az izgalom, erősen befolyásolhatják az instrumentális akciók teljesítményét (Trapold és Overmier, 1972; Lovibond, 1983; Holland, 2004). Például egy olyan CS, amely önállóan előrejelzi az élelmiszer-szállítást, növelheti az ugyanolyan ételre adott instrumentális reagálást. Ezt a hatást általában a Pavlovi-instrumentális transzfer paradigma (PIT) alkalmazásával tanulmányozzák. A PIT-ben az állatok elkülönített Pavlovi és műszeres képzési fázisokat kapnak, amelyekben önállóan tanulnak, hogy hozzákapcsolják a cue-t az ételhez, és nyomjuk meg az ugyanazon ételhez tartozó kart. Ezután a próbapróbákon a cue a rendelkezésre álló karral van ellátva, és a CS jelenlétében a válaszarányok emelkedését mérjük. A PIT két formáját azonosították; az egyik a jutalomhoz kapcsolódó jelek általánosan felkeltő hatásával és egy második, szelektívebb hatással volt a választási teljesítményre, amelyet a cue prediktív státusza hoz létre, egy másik jutalommal szemben, szemben a többisel. Az utóbbi eredményspecifikus PIT-formához az accumbens-héj szükséges, de nem szükséges az előbbi, általánosabb formához vagy az érzékenységhez a kimeneti leértékeléshez; ezzel szemben az accumbens mag sérülése csökkenti az érzékenységet mind a kimeneti leértékelésre, mind a PIT általános formájára, de az érintetlen PIT-t érintetlenül hagyja (Corbit és munkatársai, 2001; (Balleine és Corbit, 2005).

Egy nemrégiben készült tanulmány további betekintést nyújtott az accumbens shell szerepére az eredményspecifikus PIT-ben (Wiltgen és munkatársai, 2007). Az aktív kalcium / kalmodulin-függő protein kináz II (CaMKII) szabályozott expressziója a striatumban nem befolyásolta a instrumentális vagy a Pavloviás tanulást, de megszüntette a specifikus PIT-t. Ez a hiány a PIT-ben nem volt állandó, és megfordítható a transzgén expressziójának doxiciklinnel történő kikapcsolásával, ami azt mutatja, hogy a hiány csak a teljesítményhez kapcsolódik. A CaMKII szintjének mesterséges fokozása a striatumban ezért blokkolja az ösztönző motiváció eredményspecifikus átadását a Pavlovi-tól az instrumentális rendszerhez. Érdekes, hogy a CaMKII transzgén bekapcsolása azt is kimutatta, hogy csökkenti az akumbens héjában lévő neuronok ingerlékenységét anélkül, hogy befolyásolná a bazális transzmissziót vagy a szinaptikus erőt.

A dorzális striatum

A dorsalis striatum, más néven neostriatum vagy caudate-putamen, tömeges előrejelzéseket kap az ún. neocortexből. Ez tovább osztható egy asszociatív térségre, amely rágcsálókban mediálisabb és folyamatosabb a ventrális striatummal, és egy szenzor-motorterület, amely több oldalirányú (Groenewegen és munkatársai, 1990; Joel és Weiner, 1994). Összességében a dorzális striatumot a DA-sejtek inerválják a materia nigra pars compacta (SNc) -ből, és csak keveset vetítenek a VTA DA neuronokból (Joel és Weiner, 2000). Korábbi munkája a dorsalis striatumon elsősorban az inger-válasz (SR) szokások tanulásában betöltött szerepére koncentrált.Miller, 1981; Fehér, 1989). Ez a nézet a hatásjogon alapul, amely szerint a jutalom az SR-kapcsolat erősítésére vagy megerősítésére szolgál a környezeti ingerek és a végrehajtott válasz között, amelynek eredményeképpen a válaszok hajlamosítása a jelenlétük során növekszik. ingerek (Thorndike, 1911; Hull, 1943; Miller, 1981). Tehát a kortikosztriatriás útvonal úgy gondolják, hogy közvetíti az SR-tanulást a DA-nak, mint megerősítő jelnek (Miller, 1981; Reynolds és Wickens, 2002).

Az SR modellek előnye, hogy a tanulásnak a teljesítményre való fordítására vonatkozó szabályos szabályt tartalmaz. Ezzel szemben az akcióval kapcsolatos várakozásokon alapuló modell bonyolultabb, mivel az „A” cselekvés eredményéhez vezető „A” eredmény nem feltétlenül kell cselekedni (Guthrie, 1935; Mackintosh, 1974); az ilyen jellegű információk mind az „A”, mind az „A” végrehajtásának elkerülésére használhatók. Emiatt a hagyományos elméletek elfedték a legnyilvánvalóbb magyarázatot, nevezetesen, hogy az állatok egy olyan cselekvési kimenetelt szerezhetnek, amely a választási magatartást irányítja. Az elmúlt néhány évtizedben azonban a hatályos jog lényeges felülvizsgálata történt meg.Adams, 1982; Colwill és Rescorla, 1986; Dickinson, 1994; Dickinson és munkatársai, 1996). TSzámos tanulmány eredményei kimutatták, hogy az instrumentális fellépések valóban célirányosak lehetnek, azaz érzékenyek a jutalomérték változására, valamint az akció okozati hatékonyságára. (lásd Dickinson és Balleine, 1994; 2002; Balleine, 2001 felülvizsgálatra). Mindazonáltal az állandó körülmények között végzett kiterjedt képzés során az újonnan megszerzett cselekvések viszonylag automatikusak és ösztönzőkké válhatnak - a szokásképzésnek nevezett folyamat (Adams és Dickinson, 1981; Adams, 1982; Yin és munkatársai, 2004). Az így definiált szokások, amelyeket az előzményes ingerek automatikusan kiváltanak, nem szabályozzák az eredmény várakozása vagy reprezentációja; következésképpen a végeredmény változásai áthatolhatatlanok. Ebből a szempontból a hatásjog tehát különleges eset, amely csak a szokásos viselkedésre vonatkozik.

Az instrumentális viselkedés jelenlegi osztályozása két osztályba sorolható. Telső osztályába a műszeres vészhelyzet által irányított célirányos akciók tartoznak; a második, a szokásos viselkedés, amely áthatolhatatlan a kimeneti érték változásaira (Táblázat 1). A viselkedési vizsgálatok, mint például az eredmény devalváció és a instrumentális kontingencia-degradáció alkalmazásával Yin és munkatársai funkcionális disszociációt állapítottak meg a dorzális striatum szenzormotoros (dorsolaterális striatum, DLS) és asszociatív régiói (DMSS) között.Yin és Knowlton, 2004; Yin és munkatársai, 2004, 2005a; Yin és munkatársai, 2005b; Yin és munkatársai, 2006a). A DLS sérülése csökkentette a szokások kialakulását, ami a viselkedésvezérlés célirányosabb módját eredményezte. A DMS sérülései ellentétes hatással rendelkeznek, és a célirányos és a szokásos irányítás közötti váltást eredményezik. Yin és munkatársai ezért arra a következtetésre jutottak, hogy a DLS és a DMS funkcionálisan szétválasztható az általuk támogatott asszociatív struktúrák típusa szerint: a DLS kritikus a szokás kialakulásához, míg a DMS kritikus a célirányos akciók megszerzéséhez és kifejezéséhez. Ez az elemzés azt jósolja, hogy bizonyos körülmények között (pl. Kiterjesztett képzés) az intézkedések ellenőrzése a DMS-függő rendszerről a DLS-függő rendszerre váltható, ami egy olyan következtetés, amely széles körben egyetért a főemlősökkel kapcsolatos jelentős szakirodalommal, beleértve az emberi neurométereket is.Hikosaka és munkatársai, 1989; Jueptner és munkatársai, 1997a; Miyachi és munkatársai, 1997; Miyachi és munkatársai, 2002; Delgado és munkatársai, 2004; Haruno és munkatársai, 2004; Tricomi és munkatársai, 2004; Delgado és munkatársai, 2005; Samejima és munkatársai, 2005; Haruno és Kawato, 2006a, b; Lohrenz és munkatársai, 2007; Tobler és munkatársai, 2007). Emlékeznünk kell természetesen, ta kalap fizikai helyzete (pl. hátsó vagy ventrális) önmagában nem lehet megbízható útmutató a rágcsáló striatum és a prímás striatum összehasonlításában; ezeket az összehasonlításokat óvatosan kell elvégezni, az anatómiai kapcsolat gondos mérlegelése után.

A dorsalis striatális elváltozások hatásai összehasonlíthatók az accumbens elváltozásokkal (Smith-Roe és Kelley, 2000; Atallah és munkatársai, 2007). Amint azt már említettük, a szokásos tesztek a viselkedés „célirányos” meghatározására a kimeneti leértékelés és a cselekvési kimenetelen fennálló helyzet romlása (Dickinson és Balleine, 1993). A DMS sérülései érzéketlenek a viselkedésre mindkét manipulációra (Yin és munkatársai, 2005b), míg az accumbens mag vagy héj sérülései nem \ tCorbit és munkatársai, 2001). Ezen túlmenően ezen viselkedési tesztek próbatesztjei általában kihalás nélkül, minden jutalom bemutatása nélkül végeznek annak érdekében, hogy felmérjük, hogy az állat milyen új tanulással nem szennyezett. Így közvetlenül érzékelik a reprezentatív struktúrát szabályozó viselkedést. További kísérleti kontrollként gyakran hasznos egy külön leértékelési tesztet végezni, amelyben a jutalmakat ténylegesen szállítják - az úgynevezett „jutalmazott teszt”. A DMS-ben bekövetkezett sérülések nem szüntették meg a jutalmakat a jutalom tesztelésénél, mivel várható, hogy egy cselekvéstől függő leértékelt eredmény a cselekvési eredmény kódolásától függetlenül elnyomhatja a műveletet. Az Accumbens héj léziók viszont nem gyengítették az érzékenységet a kimeneti leértékelésre sem az extinkciós teszten, sem a jutalmazott tesztben, míg az accumbens magváltozatok mindkét vizsgálatnál megszüntették a leértékelődés érzékenységét.Corbit és munkatársai, 2001). A kontingencia-degradációval szembeni érzékenységet azonban nem befolyásolta sem a sérülés, sem annak bizonyítása, hogy a patkányok károsodása után a patkányok képesek voltak kódolni és lekérdezni az akció-eredményeket.

A dopamin szerepe: Mesolimbic vs. nigrostriatal

A majmokban a DA neuronok fázikus aktivitásáról szóló úttörő tanulmányok óta a területen szokásos feltételezés az, hogy minden DA-sejt lényegében azonos módon viselkedik (Schultz, 1998a; Montague és munkatársai, 2004). Azonban a rendelkezésre álló adatok, valamint az anatómiai összeköttetés másképp sugallják. Valójában a striatum funkcionális heterogenitásának fenti elemzése kiterjeszthető a középső a DA sejtekre is.

A DA-sejtek két fő csoportra oszthatók: VTA és substia nigra pars compacta (SNc). Bár a vetítés a A jutalmakkal kapcsolatos tanulás terén a VTA az accumbens-nek a figyelem középpontjába került, a sokkal masszívabb nigrostriatusi út viszonylag elhanyagoltfigyelmet fordítva elsősorban a Parkinson-kórban betöltött szerepére. Jelenlegi gondolkodás a A DA-t a tanulásban nagymértékben befolyásolta az a javaslat, hogy a DA-sejtek fizikai aktivitása egy jutalom-előrejelzési eróziót tükröz.r (Ljungberg és munkatársai, 1992; Schultz, 1998b). énA Schultz és munkatársai által használt leggyakoribb Pavlovian kondicionálási feladat, ezek a neuronok jutalmakra (US) válaszolnak, de a tanulás során az USA által kiváltott aktivitás a CS-re kerül. Amikor az USA-t elhagyják a tanulás után, a DA-sejtek rövid aktivitás-csökkenést mutatnak a szállítás várható időpontjában (Waelti és munkatársai, 2001; Fiorillo és munkatársai, 2003; Tobler és munkatársai, 2003). Ezek az adatok számos számítási modell alapját képezik (Schultz és munkatársai, 1997; Schultz, 1998b; Brown és munkatársai, 1999; Montague és munkatársai, 2004).

A szintézis és a felszabadulás mechanizmusainak többszintű szabályozása miatt a DA neuronok elterjedése nem hasonlítható a DA felszabadulással, bár a két intézkedés várhatóan erősen korrelál. Valójában, amint azt Carelli és munkatársai közelmúltbeli tanulmánya is mutatja, a gyorskereséses ciklikus voltammetriával \ t a tényleges DA kiadás az accumbens magban úgy tűnik, hogy korrelál egy előrejelzési hibával az étvágyas Pavlovian kondicionálásban (Day és munkatársai, 2007). Egy fázisos DA jelet találtak az accumbens magban, közvetlenül a szacharóz jutalmának átvételét követően a Pavlovian autoképezésben. A kiterjesztett Pavlovian kondicionálás után azonban ezt a jelet már nem találták meg a jutalom után, hanem a CS helyett. Ez a megállapítás támogatja az eredeti „predikciós hiba” hipotézist. Szintén összhangban van a korábbi munkákkal, amelyek a Pavlovian CR gyengébb teljesítményét mutatják a DA-receptor antagonizmus vagy a DA-lerakódás után az accumbens magban (Di Ciano és munkatársai, 2001; Parkinson és munkatársai, 2002). Azonban a vizsgálat egyik megfigyelése új és jelentős érdeklődéssel bír: a CS + -val, amely a jutalmat előre jelző CS + -val bővíti, és amely nem jósolja a jutalmat, hasonló, bár kisebb DA-jelet figyeltek meg a CS-után is, bár a kezdeti csúcs után is kis mértékben (500 ~ 800 milliszekundum a cue kezdetét követően) azonnal mártott.Day és munkatársai, 2007, 4 ábra). A tanulás ezen szakaszában az állatok szinte soha nem közelítenek a CS-hez, de következetesen megközelítik a CS + -ot. Így a fázisos DA jel közvetlenül a prediktor után nem játszhat ok-okozati szerepet a megközelítési válasz generálásában, mivel a válasz hiányában is jelen van. Továbbra is tisztázatlan, hogy az ilyen jel továbbra is szükséges-e az inger-jutalom kontingencia megismeréséhez, de a CS−-re adott megfigyelt fázisos válasz nem feltétlenül várható az aktuális modellek egyikével sem.

Érdekes, hogy a helyi DA-kiesés károsítja a feladat teljesítését (Parkinson és munkatársai, 2002). Míg a fázisos DA jelet a CS-ek után figyeltünk meg, amely egyáltalán nem generál CR-t, a fázisos és a tonikus DA megszüntetése helyi kimerüléssel is rontja a CR teljesítményét. Egy ilyen minta azt sugallja, hogy az akumbensekben a fázisos DA-jel nem szükséges a Pavlovi CR teljesítményéhez, de szerepet játszhat a tanulásban, míg a lassabb, tonikusabb DA-jel (valószínűleg eltűnt a kimerülési vizsgálatokban) a teljesítmény szempontjából fontosabb. a megközelítési válasz (Cagniard és munkatársai, 2006; Yin és munkatársai, 2006b; Niv és munkatársai, 2007). Ezt a lehetőséget még tesztelni kell.

Bár nincs közvetlen bizonyíték arra, hogy a tanulás során a fázisos DA jel ok-okozati szerepe van, a „predikciós hiba” hipotézis mégis nagy figyelmet szentelt, mert éppen az a tanítási jel típusa, amelyet a tanulási modellekben használnak, mint például a Rescorla-Wagner modell és annak valós idejű kiterjesztése az időbeli különbség megerősítő tanulási algoritmusa (Schultz, 1998b). Ezen értelmezés szerint az étvágyas tanulást a kapott és a várt jutalom közötti különbség határozza meg (vagy két időbeli egymást követő jutalom-előrejelzés között). Az ilyen tanítási jelet a jutalom minden előrejelzőjének negatív visszajelzése szabályozza (Schultz, 1998b). Ha a jutalom nem követi a prediktort, akkor a negatív visszacsatolási mechanizmust a DA neuronok aktivitásában mártja. Így a tanulás magában foglalja a predikciós hiba fokozatos csökkentését.

A tanítási jel eleganciája ezekben a modellekben talán elvonította az anatómiai valóságot. A tanulmányban Day és mtsai (2007)A DA jel az accumbensben főleg a VTA sejtjeiből származik, de úgy tűnik, nem valószínű, hogy más, teljesen eltérő anatómiai kapcsolattal rendelkező DA sejtek ugyanazt a reakcióprofilt mutatják, és ugyanazzal a jelzéssel rendelkeznek. A DA-sejtek jelének valószínűbb fokozata, mivel a DA-sejtek különböző, különböző funkciókkal rendelkező striatális régiókba vetülnek be, és különböző negatív visszacsatolási jeleket kapnak különböző striatális régiókból is.Joel és Weiner, 2000; Wickens és munkatársai, 2007). A felvétel és a degradáció mechanizmusai, valamint a dopamin felszabadulását szabályozó preszinaptikus receptorok szintén jelentős eltéréseket mutatnak a striatumban (Cragg és munkatársai, 2002; Rizs és Cragg, 2004; Wickens és munkatársai, 2007; Rizs és Cragg, 2008).

Ezért azt javasoljuk, hogy a mezoaccumbens pálya korlátozottabb szerepet játszik a pavloviai tanulásban, az államok és ingerek értékének megszerzésében, míg a nigrostriatusi út fontosabb az instrumentális tanulás számára, az akciók értékeinek megszerzésében. TA fázisos DA jel különböző predikciós hibákat kódolhat, nem pedig egyetlen predikciós hibát, amint azt jelenleg feltételezzük. Három bizonyítéksor támogatja ezt az érvet. Először is, a DA nigrostriatusi úton történő genetikai kimerülése rontja a műszeres műveletek megszerzését és teljesítését, míg a DA lebontása mesolimbikus úton nem (Sotak és munkatársai, 2005; Robinson és munkatársai, 2007). Másodszor, az SNc-ben lévő DA-sejtek kódolhatják az akció értékét, hasonlóan a cél striatális régiójukhoz tartozó sejtekhez (Morris és munkatársai, 2006). Harmadszor, a nigrostriatális vetítés DLS-re történő szelektív károsodása rontja a szokások kialakulását (Faure és munkatársai, 2005).

Palmiter és munkatársai közelmúltbeli munkája azt mutatta, hogy a géntechnológiával módosított DA-hiányos egerek súlyosan károsodnak az instrumentális tanulásban és teljesítményben, de teljesítményük helyreállítható akár az L-DOPA injekcióval, akár a nigrostriatusi úton történő vírusgén transzferrel (Sotak és munkatársai, 2005; Robinson és munkatársai, 2007). Ezzel szemben a ventrális striatumban a DA helyreállítás nem volt szükséges a műszeres viselkedés helyreállításához. Bár a DA-jelek lehetővé teszik a műszeres tanulást, továbbra is nyitott kérdés, az egyik nyilvánvaló lehetőség az, hogy kódolhatja a saját kezdeményezésű cselekvések értékét, azaz hogy mennyi jutalom várható egy adott cselekvési irányból.

A dorzális striatum, mint egész, tartalmazza az agyban a DA receptorok legmagasabb expresszióját, és megkapja a legnagyobb tömegű dopaminerg vetületet.. A DA-vetítés a DMS-hez eltérő szerepet játszhat a tanulásban, mint a DLS-hez való vetítés, mivel ezek a két régió jelentősen különbözik a DA felszabadulás, felvétel és degradáció időbeli profiljában (Wickens és munkatársai, 2007). Feltételezzük, hogy a mediális SNc-ből a DMS-re történő DA-vetítés kritikus az akció-kimeneti tanulás szempontjából, míg a DLS-hez való, a laterális SNc-ből való vetítés kritikus a szokás kialakulásához. Ha ez igaz, akkor az SNc-ben lévő DA-sejteknek azt kell várniuk, hogy a hibát a jutalom-előrejelzésben saját maguk által generált műveletek alapján - instrumentális predikciós hibára - kódolják, nem pedig a CS alapján. Az állítás alátámasztására vonatkozó előzetes bizonyítékok Morris és munkatársai közelmúltbeli tanulmányából származnak, akik az SNc idegsejtekről rögzítettek egy instrumentális tanulási feladat során (Morris és munkatársai, 2006). A majmok kiképzésre kerültek, hogy diszkriminatív ingerre válaszolva mozgassák karjukat (S^D), amely jelezte a megfelelő mozgást és a jutalom valószínűségét. Az S^D a DA neuronokban a cselekvési értéknek megfelelő fázisos aktivitást váltott ki, amely egy adott cselekvés várható jövedelmezőségi valószínűségén alapul. A legérdekesebb, bár a DA válasz az S-re^D akcióértékkel nőtt, az inverzió igaz volt a jutalomra adott DA válaszra, összhangban azzal az elképzeléssel, hogy ezek a neuronok egy, az értékhez társított predikciós hibát kódolnak. Nem meglepő, hogy ezeknek a sejteknek a primer striatális célpontja, a caudate magja ismert, hogy olyan neuronokat tartalmaz, amelyek kódoló akcióértékeket (Samejima és munkatársai, 2005). Meg kell azonban jegyezni, hogy ez a tanulmány nem használt olyan viselkedési feladatokat, amelyek egyértelműen értékelik az akciók értékét. Modellünk egyértelmű előrejelzése, hogy a fázisos DA-aktivitás a cselekvések végrehajtásához járul hozzá, még akkor is, ha nincs kifejezett S^D. Például a nigrális DA neuronok robbanó tüzelését megjósoljuk, amikor egy önmegvalósított akció jutalmat szerez.

Véleményünk szerint, míg a mezoaccumbens DA jel a CS értékét tükrözi, a nigrostriatális jel, talán a DMS-be vetülő neuronokból, maga a cselekvés értékét tükrözi. vagy bármely S^D amely ezt az értéket előre jelzi. Továbbá úgy tűnik, hogy mind a instrumentális, mind a pavloviai tanulás valamilyen negatív visszacsatolást tartalmaz a hatékony tanítási jel irányítására. Valójában a striatumtól a középső agyi neuronokig terjedő közvetlen előrejelzések (ábra 2) már régóta javasolják az ilyen típusú negatív visszacsatolás neurális végrehajtását (Houk és munkatársai, 1995), és a gátló bemenet erőssége és jellege régiónként jelentősen változhat.

  

ábra 2

A cortico-basal ganglion hálózatok

Az előrejelzési hiba a jelenlegi modellek szerint olyan tanítási jel, amely meghatározza, hogy mennyi tanulás történik. Amíg jelen van, a tanulás folytatódik. Nyilvánvaló, hogy ez az állítás nyilvánvaló, hogy a cselekvési érték előrejelzési hibája, bár szintaktikailag hasonlít a Pavlovi-előrejelzési hibához, egyedi tulajdonságokkal rendelkezik, amelyeket nem vizsgáltak széles körben. A hagyományos modellekben, mint például a Rescorla-Wagner modellben, amely kizárólag a Pavlovian kondicionálással foglalkozik (bár korlátozott sikerrel), a legfontosabb jellemzője az előrejelzési hibát szabályozó negatív visszacsatolás. Ez a kimenet a megszerzett előrejelzést, pontosabban a összeg az összes jelenlegi előrejelzőből, amint azt a kísérletek blokkolására jellemző összetett ingerek \ tRescorla, 1988). Ez a rendelkezésre álló előrejelzők összegzése globális hibakódot hoz létre, amely a modell első osztályú innovációja. A hangszeres akciók esetében azonban az egyéni hibafeltételek valószínűbbnek tűnnek, mert nehéz látni, hogy a negatív visszacsatolás egyszerre jelenjen meg a több művelet értékét, ha egyszerre csak egy művelet hajtható végre. Természetesen számos lehetséges megoldás létezik. Például egy adott állapotot adva (kísérleti úton egy külön S^D), a lehetséges cselekvési kurzusok valóban egyidejűleg a megszerzett előrejelzések formájában is képviseltethetők. Az instrumentális előrejelzési hibák fő problémája azonban magának a tevékenységnek a természetével kapcsolatos. A Pavlovi-előrejelzés automatikusan követi a szervezettől független inger megjelenését. A műszeres predikciós hibának a vezérlő elemnek kell foglalkoznia, mert maga az előrejelzés akciófüggő, és egy szándékos cselekvés spontán módon kerül kibocsátásra, az állatok következményeire való törekvés alapján, nem pedig az előzményes ingerek által kiváltott. Végül éppen az idegtudományban és a pszichológiában a célirányos cselekvések spontán jellegének általános elhanyagolása elhomályosította a Pavlovi és az instrumentális tanulási folyamatok közötti különbséget és az érintett predikciós hibák jellegét. Ezért meg kell állapítani, hogy milyen negatív visszacsatoló jel, ha van, szabályozza az akcióértékek megszerzését (Dayan és Balleine, 2002).

Végül, a közelmúltban végzett munka a nigrostriatális vetülést is magában foglalja az oldalsó SNc-től a DLS-hez, kifejezetten a szokás kialakulásában. Faure és munkatársai az 6-OHDA-val szelektíven elpusztították a DLS-re vetített DA-sejteket, és megállapították, hogy ez a manipuláció meglepően kicsi hatással van a karnyomásra, bár az eredmény-leértékeléssel mérve csökkentette a szokásképződést (Faure és munkatársai, 2005). Ez azt jelenti, hogy a sérült állatok célirányos módon reagáltak, annak ellenére, hogy egy kontrollcsoportban a képzés a szokásos viselkedést érzékelte a kimeneti leértékelésre. A helyi DA-kimerülés tehát hasonló a DLS excitotoxikus károsodásához, mivel mindkét manipuláció késlelteti a szokások kialakulását és elősegíti a célirányos cselekvések megszerzését (Yin és munkatársai, 2004). A Hull és Spence munkája által inspirált korszerű időbeli különbségek megerősítő tanulási algoritmusaiban már jól ismert a szokásos kialakulás szempontjából kritikus fázisos DA jel.Hull, 1943; Spence, 1947, 1960; Sutton és Barto, 1998).

Cortico-basal ganglion hálózatok

Eddig megvitattuk a sztriatumon belüli funkcionális heterogenitást, de félrevezető lenne azt sugallni, hogy bármely striatum terület azt mondhatja, hogy a cselekvés kimenetelét magában foglalja egy cselekvés teljesítéséhez. Inkább az agyi féltekék úgy vannak elrendezve, mint az iteráló funkcionális egységek, amelyek cortico-basal ganglion hálózatokból állnak.Swanson, 2000; Zahm, 2005). TA striatum, a teljes bazális ganglionok bejárati állomása, egyedülálló csomópontként szolgál a kortikoszta-ganglionhálózati motívumban, amely képes a kortikális, thalamikus és a középső agyi bemenetek integrálására.. Amint azt fentebb leírtuk, bár a folyamatos szerkezet, a különböző striatális régiók úgy tűnik, hogy különböző funkcionális hálózatokban vesznek részt, pl. Az accumbens a limbikus hálózat központjában és az érzékelőhálózat DLS-jében működik. Az ilyen hálózatok reentrant tulajdonsága miatt azonban ennek a struktúrának egyetlen összetevője sem lehet abszolút értelemben felfelé vagy lefelé; pl. a talamokortikális rendszer egyaránt a striatum egyik fő bevitelének forrása és a striato-pallidikus és a striato-nigrális útvonalak célpontja.

Bár párhuzamos reentrant bazális ganglion hurkok már régóta felismerik (Alexander és munkatársai, 1986), hangsúlyozzuk ezeknek az áramköröknek a funkcionálisan meghatározott reprezentációs struktúráin és az áramkörök közötti kölcsönhatásokon alapuló, funkcionális szerepét az integratív viselkedés generálásában. Ennek alapján legalább négy ilyen hálózat ismerhető fel: a limbikus hálózatok, amelyek magukban foglalják az accumbens burkolatát és magját, az asszociatív striatumot (DMS) magában foglaló asszociatív hálózat és az sensorimotor striatumot (DLS) magában foglaló érzékelőmotor-hálózat. Funkcióik az étvágygerjesztő Pavlovi UR-k és a CR-k ellenőrzésének közvetítéséig terjednek az instrumentális cselekvésekig (ábra 1).

  

ábra 1

A striatum főbb funkcionális területei. Az agy egy részének szemléltetése, amely az agy felét mutatja be.Paxinos és Franklin, 2003). Megjegyezzük, hogy ezek a négy funkcionális tartomány anatómiailag folyamatosak, és nagyjából megfelelnek annak, amit ...

Amint már említettük, a ventrális striatum főleg az accumbens magból áll, amely tovább osztható a héjra és a magra, amelyek mindegyike külön funkcionális hálózatban vesz részt. A héjba eső kortikális (glutamatergikus) kiugrások infralimbikus, központi és oldalsó orbitális kúpokból származnak, míg a maghoz vezető kiugrások a prefrontális kéreg több hátsó középvonalaiból származnak, mint a ventrális és dorsalis prelimbikus és anterior cinguláris kortikumok (Groenewegen és munkatársai, 1990; Zahm, 2000, 2005). Ezen funkciós hálózatokon belül a fentiekben bemutatott bizonyítékok azt sugallják, hogy a héj az UR-ekben a jutalmakra és a fogyasztó CR-k megszerzésére vonatkozik; a feltáró viselkedés magja, különösen a Pavloviai megközelítés válaszainak megszerzése és kifejezése. A nagyobb ventrális vagy limbikus cortico-bazális ganglion hálózatban legalább két fő hálózat észlelhető, az egyik a fogyasztó és a másik az előkészítő viselkedés és a Pavlovian kondicionálás által történő módosítás.ábra 1).

A dorzális striatum hasonlóképpen legalább két fő régióra, asszociatív és szenzoros motorra osztható, és mindegyikhez külön funkcionális hálózat kapcsolódik. Az asszociatív striatum (caudate és a primátusok elülső putamen részei) olyan idegsejteket tartalmaz, amelyek a válasz-kontingens jutalmak előrejelzésében tüzelődnek, és a várható jutalom nagysága szerint megváltoztatják a tüzelést.Hikosaka és munkatársai, 1989; Hollerman és munkatársai, 1998; Kawagoe és munkatársai, 1998). Az asszociatív hálózatban a prefrontális és parietális társulások cortices és céljuk a DMS-ben részt vesznek átmeneti memóriában, mind a leendő, mind a kimeneti várakozások, mind a retrospektív formában, mint a közelmúltbeli effektusok (Konorski, 1967). Ezzel szemben az érzékelőmotor szintje magában foglalja az érzékelőkortort és a bazális ganglionok célpontjait. Ennek az áramkörnek a kimenetei a motor korpuszokra és agyi ősszárú motorhálózatokra irányulnak. A neuronaktivitást az sensorimotor striatumban általában nem befolyásolja a jutalom-várakozás, ami több mozgással kapcsolatos aktivitást mutat, mint az asszociatív striatum neuronjai (Kanazawa és munkatársai, 1993; Kimura és munkatársai, 1993; Costa és munkatársai, 2004). Végül, a mediális-oldalsó gradiens mellett jelentős funkcionális heterogenitás van a dorsalis striatum elülső-hátsó tengelye mentén, bár jelenleg nem áll rendelkezésre elegendő adat a részletes osztályozás lehetővé tételéhez (Yin és munkatársai, 2005b).

A tanulmányok eddig csak e hálózatok kortikális és striatális összetevőire összpontosítottak. Általában a kérgi terület sérüléseinek hasonló hatása van, mint a striatális célpontjának sérüléseinek.Balleine és Dickinson, 1998; Corbit és Balleine, 2003; Yin és munkatársai, 2005b). A hálózat egyéb összetevői azonban hasonló funkciókat tudnak kiszolgálni. Például a thalamus mediodorsalis magjának, az asszociatív hálózatnak a sérüléseit úgy találták, hogy eltörlik az érzékenységet a kimeneti leértékelésre és a kontingencia degradációjára, ugyanúgy, mint a DMS és a prelimbikus kéreg sérüléseit (Corbit és munkatársai, 2003). Így, bár általános modellünk hasonló viselkedési hiányt feltételez a hálózat egyes összetevőinek károsodása után, azt is javasolja, hogy bármely adott struktúrához, például pallidumhoz vagy talamuszhoz, több funkcionális domén.

A hálózatok közötti kölcsönhatás

A legtöbb esetben a Pavlovi és az instrumentális tanulás párhuzamosan zajlik. Az olyan jelenségek, mint a PIT, azonban azt mutatják, hogy az ilyen különálló folyamatok milyen mértékben kölcsönhatásba léphetnek. A független funkcionális rendszerek meghatározása után a következő lépés az, hogy megértsük, hogyan koordinálják ezeket a rendszereket a viselkedés létrehozásához. Egy vonzó javaslat, összhangban a legutóbbi anatómiai munkával, hogy a fent vázolt hálózatok hierarchikusan szerveződnek, mindegyikük labilis, funkcionális közvetítőként szolgál a hierarchiában, lehetővé téve az információk egy szintről a másikra történő terjesztését. Különösen a közelmúltban felfedezett spirális kapcsolat a striatum és a midrain között azt sugallja, hogy az anatómiai szervezet képes a hálózatok közötti kölcsönhatások megvalósítására (ábra 2). Ahogy Haber és munkatársai megfigyelték, a striatális idegsejtek közvetlen gátló vetüléseket küldnek a DA neuronokba, amelyekből kölcsönös DA vetüléseket kapnak, és olyan DA neuronokra is terveznek, amelyek egy másik striatális területre irányulnak (Haber és munkatársai, 2000). Ezek az előrejelzések lehetővé teszik, hogy az információ csak egy irányban terjedjen előre, a limbikus hálózatoktól az asszociatív és szenzoros hálózatokig. Például, a Pavlovi-előrejelzés (a CS megszerzett értéke) csökkentheti a hatékony tanítási jelet limbikus szinten, miközben véletlenül erősíti a DA jelet a következő szinten. A hatékony tanítási jel törlését rendszerint egy negatív visszacsatoló jel biztosítja, például gátló vetítés útján, például a GABAerg közepes tüskés vetületi neuronoktól a striatumtól a DA neuronokig. Közben, ahogyan azt az anatómiai szervezet javasolta (Haber és munkatársai, 2000; Haber, 2003), a szomszédos cortico-basalis ganglion hálózat DA-jelének erősítése (a hierarchia következő szintje) disinhibitív előrejelzésekkel (azaz GABAerg striatális vetítéssel rendelkező neuronok nigrális GABAerg interneuronokhoz DA-neuronokig) megvalósítható. Így a limbikus hálózat tanult értéke átvihető az asszociatív hálózatba, lehetővé téve a viselkedési adaptáció finomítását és megerősítését minden iterációval (Ashby, 1960). Ez a modell ennélfogva előrejelzi a különböző neurális hálózatok fokozatos bevonását a tanulás különböző fázisaiba, és ezt a javaslatot számos adat támasztja alá.Jueptner és munkatársai, 1997b; Miyachi és munkatársai, 1997; Miyachi és munkatársai, 2002; Yin, 2004; Everitt és Robbins, 2005; Yin és Knowlton, 2005; Belin és Everitt, 2008).

Azok a jelenségek, amelyek megkívánják a különböző funkcionális folyamatok, például a PIT kölcsönhatását, termékeny tesztteret biztosítanak az ilyen modellek számára. Valójában a hierarchikus modell összhangban van a PIT-vel kapcsolatos legújabb kísérleti eredményekkel. A modell szerint a Pavlovi-instrumentális kölcsönhatásokat a striatum és a DA neuronok közötti kölcsönös kapcsolatok közvetítik. A DA úgy tűnik, hogy kritikus az általános transzferre, amelyet a DA antagonisták eltűnnek és a VTA helyi inaktiválása (Dickinson és munkatársai, 2000; Murschall és Hauber, 2006); mivel az amfetamin helyi infúziója, amely feltehetően növeli a DA-szinteket az akkubélbe, jelentősen növelheti azt (Wyvell és Berridge, 2000). Másrészt a ventrális striatális dopamin szerepe a specifikus transzferben kevésbé világos. Néhány bizonyíték arra enged következtetni, hogy a VTA inaktiválása után meg lehet kímélni (Corbit és munkatársai, 2007) de mint Corbit és Janak (2007) a közelmúltban jelentették, hogy a DLS inaktiválásával specifikus transzfer megszűnik, ami arra utal, hogy az akcióválasztás stimulusának ezen aspektusa magában foglalhatja a nigrostriatális vetítést (Corbit és Janak, 2007). Megegyezés a hierarchikus perspektívával, Corbit és Janak (2007) azt is megállapította, hogy míg a DLS inaktiváció megszüntette a paloviai jelek szelektív excitációs hatását (amint azt az akumbensek károsodása után megfigyelték, Corbit és munkatársai, 2001), a DMS inaktiválása csak az átvitel kimeneti szelektivitását szüntette meg, miközben úgy tűnt, hogy megőrzi e jelek általános gerjesztő hatását, és ez a trend is megfigyelhető a mediodorsalis thalamus sérülése után, amely az asszociatív cortico-bazális ganglion hálózat része (Ostlund és Balleine, 2008). Ezen előzetes eredmények alapján úgy tűnik, hogy a DMS közvetíti a specifikus transzfert, míg a DLS szükséges lehet a szlovák hangszeres cselekedetekre gyakorolt ​​konkrét és általános ingerlő hatásaira.

Érdekes, hogy a limbikus striatum kiterjedt projekteket tervez a dorsalis striatumra tervező DA-sejtekre (Nauta és munkatársai, 1978; Nauta, 1989); a striatumhoz viszonyított dopaminerg kiugrások és a középső agyba visszahúzódó nyúlványok kiemelkedően aszimmetrikusak (Haber, 2003). A limbikus striatum korlátozott bemenetet kap a DA neuronokból, mégis kiterjedt kimenetet küld a DA neuronok sokkal nagyobb csoportjába, és az ellenkezője az érzékelőmotor striatumra vonatkozik. Így a limbikus hálózatok tökéletes helyzetben vannak az asszociatív és szenzoros hálózatok vezérlésében. Itt a neuroanatómia egyetért a viselkedési adatokkal, hogy a Pavloviai instrumentális viselkedés megkönnyítése sokkal erősebb, mint a fordított; valójában jelentős bizonyítékok arra utalnak, hogy a műszeres cselekedetek inkább a Pavlovian CR-k helyett, mint izgatottságot gátolják - ez a megállapítás még mindig vár egy neurobiológiai magyarázatot (Ellison és Konorski, 1964; Williams, 1965).

Következtetések

Meg kell jegyezni, hogy az itt tárgyalt hierarchikus modell nagyon különbözik azoktól, amelyek kizárólag a kéreg és a kortikális területek közötti hosszú távú kapcsolatokra támaszkodnak (Fuster, 1995). Ez magában foglalja az agy ismert alkotóelemeit és csatlakoztathatóságát, ahelyett, hogy a kortikális modulok potpuriként nézné meg, amely bizonyos meghatározatlan módon megvalósítja a kognitív funkciók széles skáláját. Elkerüli az 19-től örökölt feltételezéseket is^th század idegsejtje, hogy az agykéreg általában, és különösen a prefrontális kéreg, valahogy egy „magasabb” házi egységet képez, amely az egész agyat irányítja (Miller és Cohen, 2001).

Ezen túlmenően a jelen modellből számos specifikus előrejelzés származhat: (i) Különálló predikciós hibákat kell kifejteni az önmaguk által generált akciókhoz és az állapotokhoz / ingerekhez, amelyek tulajdonságai tükrözik a különböző neurális szubsztrátjaikat és funkcionális szerepüket. (ii) Minden egyes diszkrét cortico-bazális ganglion hálózat pallidikus és thalamikus komponensei várhatóan szükségesek az egyes hálózatokra feltételezett viselkedési kontroll típusokhoz, nem csak a kérgi és a striatális komponensekhez. (iii) A különböző tanulási szakaszokban fokozatosan be kell vonni a különböző idegi hálózatokat. (iv) Az Accumbens aktivitás közvetlenül szabályozhatja a DA neuronokat és ezáltal a dorsalis striatális aktivitást. Egy jelentés alapján Holland (2004) azt sugallva, hogy a PIT az instrumentális képzéssel növekszik, az asszociatív és szenzimotorhálózatok „limbikus” irányítása várhatóan kiterjedt képzéssel erősödik.

Részletes adatok nélkül még mindig túl korai lenne a hierarchikus modell hivatalos beszámolójának bemutatása. Mindazonáltal a fenti megbeszélésnek világossá kell tennie, hogy a mesoaccumbens jutalmi hipotézis jelenlegi változatai problematikus feltevéseken alapulnak a jutalomfolyamat jellegére és a nem megfelelő viselkedési intézkedések alkalmazására. Az alapelvek egységesítése, mindig a tudományos vállalkozás célja, csak a kísérleti adatok valóságán alapulhat, bár ezek nehézkesek lehetnek. Mivel az agy működése végső soron a viselkedés létrehozása és ellenőrzése, a részletes viselkedéselemzés lesz a legfontosabb az idegi folyamatok megértésében, mivel a veleszületett és megszerzett immunitás alapos leírása lehetővé teszi az immunrendszer felismerését. Bár látszólag truizmus, aligha lehet túlzottan hangsúlyozni, hogy megérthetjük az agyi mechanizmusokat annyiban, hogy funkciójukat pontosan írják le és mérik. Amikor a neurális funkció tanulmányozása kísérletileg megállapított pszichológiai kapacitásokon alapul, például az akció-kimenet és az inger-kimeneti kontingenciák ábrázolása, az ismert anatómiai szervezet, valamint a fiziológiai mechanizmusok új fényben láthatók, ami új formákhoz vezet. hipotézisek és az új kísérletek tervezése. Ebbe az irányba tett első lépésként reméljük, hogy az itt tárgyalt keretrendszer hasznos kiindulópontként szolgál majd a jövőbeli vizsgálatokhoz.

Köszönetnyilvánítás

Referenciák