Sooduspõhine õppimine kaugemale dopamiinist tuuma accumbensis: kortiko-basaalsete ganglionivõrkude (2008) integreerivad funktsioonid

Hiljutises kirjanduses on muutunud levinud monoliitset mõistet „tasu”, mida rakendatakse ühetaoliselt isuäratavale käitumisele, kas tähistada midagi, mis on hea organismile (tavaliselt eksperimentaatori vaatenurgast), või mida kasutatakse vaheldumisi vanemate terminitega nagu „tugevdamine” või „stiimul”. Sellist olukorda julgustab, kui mitte iseenda tagajärg, keskendumine ühele neuraalsele substraadile, et saada „tasu”, mis hõlmab dopamiini (DA) vabanemist tuuma accumbensis (Berke ja Hyman, 2000; Grace et al., 2007).

Seost aastakümneid tagasi tunnustatud mesoaccumbens'i tee ja tasu vahel on taaselustanud hiljutised tõendid selle kohta, et faasiline DA-signaal kodeerib tasu prognoosi viga, mis eeldatavasti toimib õpetamissignaalina assotsiatiivses õppes.g (Schultz et al., 1997). Kõige populaarsema tõlgenduse kohaselt, nagu on olemas ka üks tasu eest antav signaal, on olemas üks signaal tasulise õppimise jaoks, mis sel juhul tähendab seost stiimuli ja tasu vahel (Montague et al., 2004). Küsimus selle kohta, kuidas seda tüüpi õppimine kontrollib adaptiivset käitumist, on siiski tähelepanuta jäetud; lihtsalt eeldatakse, et dopamiini signaal on piisav nii ennustava õppe kui ka sellega kaasnevate tingimuslike vastuste jaoks, ja eesmärgipõhiste tegevuste jaoks, mida juhivad nende seos tasu eest. Sellest tulenevalt on enamiku teadusuuringute fookus tasu ja sõltuvuse valdkonnas DA signaalimine ja sellega seotud plastilisus mesoaccumbens'i rajal (Berridge ja Robinson, 1998; Hyman et al., 2006; Grace et al., 2007).

See seisukoht tasustamisprotsessist, nagu seda üha enam tunnustatakse (Cardinal et al., 2002; Balleine, 2005; Everitt ja Robbins, 2005; Hyman et al., 2006), on nii ebapiisav kui eksitav. See on ebapiisav, sest mitte sihtotstarbeliste tegevuste omandamist ega täitmist ei saa seletada stimuleerimis-tasu õppimist vahendavate assotsiatsiooniprotsessidega.. Pealegi on see eksitav, sest ainult mesoaccumbens'i teele suunatud tegevus, mis ei ole vajalik ega piisav eesmärgipõhiste tegevuste jaoks, on suunanud tähelepanu põhilisemast küsimusest, millised on eesmärgipõhised tegevused ja kuidas neid rakendatakse aju poolt. Tõepoolest, mitmesugustest eksperimentaalsetest lähenemisviisidest saadud ühilduvate tõendite kohaselt võib see, mis on eelnevalt osutunud üheks tasu mehhanismiks, tegelikult hõlmata mitmeid protsesse, millel on erinevad käitumuslikud mõjud ja neuraalsed substraadid (Corbit et al., 2001; O'Doherty et al., 2004; Yin et al., 2004; Delgado et al., 2005; Yin jt, 2005b; Haruno ja Kawato, 2006a; Tobler jt, 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler jt, 2007).

Siinkohal püüame paljastada mõningaid praeguse mesoaccumbens'i mudeliga seotud probleeme ja esitada selle asemel teistsugune tasu-juhitud õppimise mudel. Väidame, et striatum on väga heterogeenne struktuur, mida saab jagada vähemalt neljaks funktsionaalseks domeeniks, millest igaüks toimib sõlmena erinevates funktsionaalsetes võrkudes teiste kortikaalsete, talaamiliste, pallidaalsete ja keskmise aju komponentidega. Nende võrkude integreerivaid funktsioone, mis ulatuvad palgast tingitud tingimusteta vastuste tootmisest eesmärgipõhiste tegevuste kontrollimisele, saab lahutada ja uurida tänapäevaste käitumuslike testide abil.

Ennustamine ja kontroll

Sageli eeldatakse, et mesoaccumbens'i rada on vajalik tasu ja keskkonna stimulaatorite vahelise seose saamiseks, mis ennustavad seda tasu. Näiteks mõnedes katsetes, kus uuriti tasu poolt esile kutsutud DA-rakkude faasilist aktiivsust, koolitati ahve seostama stiimulit mahla kohaletoimetamisega (Waelti jt, 2001) ja seejärel reageerima stimuleerivale tingimuslikule reageerimisele (CR) - kohalikule lakkumisele. Ahvi lakkumine võib olla suunatud eesmärgile, sest usub, et on vaja saada mahla. Alternatiivselt võib lakkuda esilekutsutud stiimuliga, millega mahl on seotud. Milline neist ahvide lakkumise teguritest on käitumise kontrollimine mis tahes konkreetses olukorras ei ole teada aprioornening seda ei saa määrata pealiskaudse vaatluse abil; seda saab määrata ainult spetsiaalselt selleks otstarbeks kavandatud testide abil. Need testid, mis on kestnud aastakümneid, on õppimise ja käitumise uuringute peamiste edusammude tuum (Tabel 1). Nende testide kasutamisest, mida allpool käsitletakse, teame nüüd, et sama käitumuslik vastus - kas see on ambulatoorne lähenemine, orienteerumine või hoova vajutamine - võib tuleneda mitmest eksperimentaalselt eraldatavast mõjust.

  

Tabel 1

Tasustatav õppimine

Tundmatu käitumise tegelike tegurite keskne ebamäärasus on seega peamine probleem tasulise õppimise praeguse neuroteadusliku analüüsi puhul. To mõista selle probleemi olulisust, on vaja mõista erinevusi selle vahel, kuidas ennustav (või Pavlovia) õppimine ja eesmärgipõhine (või instrumentaalne) õpe kontrollib isuärast käitumist. Tõepoolest, otsustades, kui tihti need kaks protsessi on loonud kirjanduses tasu eest, tundub selle eristamise lühike ülevaade olevat meie arutelu kasulik lähtepunkt.

Eelnevalt Pavlovia konditsioneeritud konditsioneerimises on auhind (st tingimusteta stiimul või USA) seotud stiimuliga (tingimuslik stiimul või CS), sõltumata looma käitumisest, samas kui instrumentaalses õppes sõltub tasu loomade tegevusest. Kriitiline küsimus mõlemas olukorras on aga see, kas stiimuli-tasu assotsiatsioon või tegevus-tasu assotsiatsioon kontrollib käitumist.

Nii lihtne kui see tundub, jätkas see küsimus uurijaid paljude aastakümnete vältel, sest käitumishäired nendes olukordades võivad tunduda identsed.

Seega võivad Pavloviuse stiimul-hüvangute assotsiatsiooni poolt kontrollitavad tingimuslikud reaktsioonid (CR) omada sageli nende eesmärgipärasuse viimistlust. Isegi sülje, Pavlovi algne CR, oleks võinud tema koertel tekitada tahtliku katse allaneelamise hõlbustamiseks. Just selle ebamäärasuse tõttu on kõige ilmsem seletus - nimelt et Pavloviani konditsioneerimisel stimuleeriva tulemuse seos on teada, samas kui instrumentaalses konditsioneerimises õpitakse tegevuse tulemuste seost - ei suutnud palju aastakümneid palju toetust koguda (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Sellele vaatamata, kuigi paljud Pavlovia CR-d on autonoomsed või tarbivad, ei ole teised CR-d, nagu lähenemise käitumine tasu eest, mitte nii mugavad (Rescorla ja Solomon, 1967); tõepoolest, neid saab kergesti segi ajada instrumentaalsete \ tBrown ja Jenkins, 1968; Williams ja Williams, 1969; Schwartz ja Gamzu, 1977). Me teame nüüd, et vaatamata pealiskaudsele sarnasusele erinevad Pavloviuse CR-d ja eesmärgipõhised instrumentaalsed tegevused reprezentatiivses struktuuris, mis kontrollib vastuse täitmist (Schwartz ja Gamzu, 1977).

Kõige otsesemad vahendid selle kindlaksmääramiseks, kas reaktsiooni toimimist vahendab stiimul-tasu või tegevushüvitise ühendus, on uurida konkreetset juhuslikku juhtimist. Süljeerituse näide on siin õpetlik. Sheffield (1965) testiti, kas Pavloviani konditsioneerimise süljeeritust kontrolliti selle seosega tasu või stiimulite ja hüvedega. Oma katses said koerad tooni ja toiduhüvitise vahel paarid (Sheffield, 1965). Siiski, kui koerad säravad tooni ajal, siis toitu ei antud sellel uuringul. See kokkulepe säilitas Pavloviuse seose tooni ja toidu vahel, kuid kaotas otsese seose süljeerituse ja toidu kohaletoimetamise vahel. Kui süljevool oli tegevus, mida kontrollis tema suhe toiduga, siis koerad peaksid lõpetama süljeerituse - tõepoolest, nad ei tohiks kunagi süljeeruda tooni üldse. Sheffield leidis, et sülje CR kontrollis selgelt selgelt Pavlovia tooni-toidu suhe. 800i toon-toidu sidumiste käigus omandasid koerad süljeerituse tooni juurde, kuigi see põhjustas enamuse toidu kaotamisest, mida nad oleksid võinud saada, kui nad ei sülitanud. Sarnane järeldus jõuti teistele inimestele (pithers, 1985) ja muudel loomadel (Brown ja Jenkins, 1968; Williams & Williams, 1969; Holland, 1979); igal juhul tundub, et vaatamata nende suurele mitmekesisusele, ei kontrolli Pavloviuse vastuseid nende suhe tasuga - st tegevuse tulemuse juhtumiga.

Termin "situatsioon" viitab tingimuslikule seosele sündmuse "A" ja teise "B" vahel, nii et B esinemine sõltub A-st. Selline suhe võib kergesti laguneda B esitamisega A. puudumisel. eksperimentaalset manipuleerimist, mida nimetatakse "situatsiooni halvenemiseks", teostatakse tavaliselt, esitades tasu sõltumatult kas ennustavast stiimulist või tegevusest. Kuigi see lähenemisviis töötati algselt välja Pavloviani konditsioneerimise uurimiseks (Rescorla, 1968) on ka instrumentaalne situatsiooni halvenemine muutunud ühiseks vahendiks (Hammond, 1980). Kui neid juhtumeid otseselt manipuleeritakse, selgub õppimise sisu: nt automaatse kujundamise korral katkestab Pavlovia varjupaigana tegutsev Pavlovia CR pigem pigem manipuleerides kui ka instrumentaalses olukorras (Schwartz ja Gamzu, 1977).

Eesmärgile suunatud instrumentaalseid tegevusi iseloomustavad kaks kriteeriumi: 1) tundlikkus tulemuse väärtuse muutuste suhtes ja 2) tundlikkus muutuste suhtes tegevuse ja tulemuse vahel (Dickinson, 1985; Dickinson ja Balleine, 1993). Tuleb rõhutada, et ainuüksi tulemuste devalveerimise tundlikkus ei ole piisav, et iseloomustada vastust eesmärgipäraselt, sest mõned Pavlovia vastused võivad olla ka selle manipuleerimise suhtes tundlikud (Holland ja Rescorla, 1975). Siiski on sihikindlate instrumentaalsete toimingute teostamine tundlik ka tegevuse tulemuse kontingendi manipuleerimise suhtes, samas kui Pavlovia vastused on tundlikud stiimulite ja tulemuste kontingendi manipuleerimise suhtes.Rescorla, 1968; Davis ja Bitterman, 1971; Dickinson ja Charnock, 1985). Oluline erand on siiski harjumuste (vt allpool) puhul, mis sarnanevad pigem Pavlovia vastustele nende suhtelisel ebakindlusel instrumentaalse kontingendi muutuste suhtes, kuid on ka tulemuse devalveerimise suhtes mitteläbilaskvad, sest tulemus ei ole osa esindavast struktuurist, mis kontrollib jõudlust (vrd. Dickinson, 1985 ja allpool edasiseks aruteluks).

Kokkuvõttes on ülimalt oluline, et konkreetne vastus oleks selgelt määratletud kontrollsündmuse ajal, mitte vastuse vormi või käitumisülesande abil, mida kasutatakse selle loomiseks. Ilma kontrollitavat olukorda uurimata antud olukorras, on käitumise ja käitumise vahendamiseks leitud närviprotsessid tõenäoliselt valesti iseloomustatud. Lõpuks, nagu me väidame, kontrollivad käitumist tegelikud kontrollvariandid, mis on omandatud õppe kaudu ja mida rakendavad erinevad närvisüsteemid, kuigi neil võib olla sama "lõplik ühine rada". Seega on peamine ülesanne ületada esinemissagedust, et paljastada alusjuhtumite kontrollimise käitumine (kokkuvõtlik ülevaade) Tabel 1). Väidetavalt, et spetsiifilised närvistruktuurid vahendavad spetsiifilisi psühholoogilisi võimeid, näiteks eesmärgipärasust, tuleb käitumise staatust hinnata sobivate käitumuslike testidega. Vastasel juhul kutsutakse segadust kutsuma, kuna rühmad vaidlustavad sobivad närvi determinantid, kuid ei suuda mõista, et nende käitumisülesanded võiksid mõõta erinevaid nähtusi. Lõppkokkuvõttes on oluline see, mida loom tegelikult õpib, mitte seda, mida eksperimentaal usub, et loom õpib, ja seda, mida loom tegelikult õpib, saab välja selgitada ainult testidega, mis otseselt uurivad õppimise sisu.

Pavlovia-instrumentaalne eristamine oleks olnud triviaalne, kui loom oleks suutnud õppida sama asja (öelda seose stiimuli ja tasu vahel), olenemata sellest, millised on eksperimentaalsed korraldused. Kasutades tänapäeval neuroteadusele kättesaadavaid kõige tavalisemaid õppemeetmeid, pole lihtsalt võimalik öelda. Seega väidavad teadlased sageli, et õpivad eesmärgipõhist käitumist, uurimata, kas kõnealune käitumine on tegelikult suunatud eesmärgile. Kuigi eeldatakse, et erinevad õpitüübid tulenevad erinevatest „ülesannetest” või „paradigmast”, ei suuda teadlased sagedamini oma eeldusi piisavalt põhjendada.

Selle teema klassikaline näide on labürintide kasutamine õppimise õppimiseks. Üks probleem labürintide katsetega ja nendega seotud testidega, nagu konditsioneeritud kohtade eelistamine, on Pavloviani (stiimulitasu) ja instrumentaalse (tegevushüvitise) võimaluste käitumise eksperimentaalselt lahutamise raskus (Dickinson, 1994; Yin ja Knowlton, 2002). Seega võib T-maze läbimine toidu saamiseks saada kajastada reageerimisstrateegiat (pöörata vasakule) või lihtsalt tingimuslikku lähenemist mõnele erakorralisele maamärkidele, mida kontrollib toiduainete ühendus (Restore, 1957). Üks võimalus testida, kas viimane mängib rolli, on labürindi inverteerimine; nüüd peaksid vastused õppijad jätkuvalt pöörduma vasakule, samas kui ekstra-labürindis kasutavad vihjed peaksid pöörduma paremale. Kuid kas need, mis jätkavad reageerimisstrateegia abil tõepoolest vasakule pöördumist või kas nad lähenevad vaid mõnele siseste-maze cue seotud toiduga? Ei ole lihtne teada saada, sest tavapärast kontrollimist Pavlovia käitumise kontrollimiseks ei saa labürindi uuringutes kergesti rakendada. Üks nendest, kahesuunaline kontroll, näeb ette, et loomad võivad teatud reaktsiooni üle kontrollida, nõudes selle vastuse suuna tühistamist, et teenida tasu (Hershberger, 1986; Heyes ja Dawson, 1990). Kahjuks ei pruugi labürindis vastuse tühistamine olla piisav eesmärgi saavutamiseks suunatud meetme loomiseks, sest tagasipööramist on võimalik saavutada olemasoleva stiimul-tasu suhte kustutamisega ja selle asendamisega teisega. Näiteks võib teatavale labürindisõidule lähenev rott pöördumise ajal õppida, et see ei ole enam tasu saanud, vaid mõni muu stiimul, mille tulemuseks on lähenemine CR uue stiimuli suunas. Seega võivad nad ilmselt oma vastuse pöörduda, ilma et oleks kunagi kodeerinud vastuse-tasu kontingentsi. Kuna seda võimalust ei saa praktikas testida, siis on labirintide, kohtade eelistuste protseduuride või lihtsate liikumisülesannete kasutamine eesmärgipäraste õppeprotsesside uurimiseks eriti ohtlik ja tõenäoliselt põhjustab protsesside kontrollimise valesti, mis juhib käitumist ja mis tahes närvipiirkonna spetsiifilist rolli. seotud protsessid (Smith-Roe ja Kelley, 2000; Hernandez et al., 2002; Atallah et al., 2007).

Nucleus accumbens ei ole instrumentaalse õppimise jaoks vajalik

Praeguse käitumisanalüüsi puudused muutusid tuuma accumbens'i uurimisel eriti selgeks. Paljud uuringud on näidanud, et see struktuur on eesmärgipäraste tegevuste omandamisel kriitiline (Hernandez et al., 2002; Goto ja Grace, 2005; Hernandez et al., 2005; Pothuizen et al., 2005; Taha ja väljad, 2006; Atallah et al., 2007; Cheer jt, 2007; Lerchner et al., 2007). Kuid see järeldus on saavutatud, tuginedes suures osas ainult tulemuslikkuse muutumisele, kasutades ülesandeid, milles situatsioonjuhtimisega käitumine on ebaselge. Kuigi tähelepanek, et manipuleerimine kahjustab teatud käitumusliku vastuse omandamist, võib viidata õpiraskusele, võivad need kajastada ka mõju reageerimise algatamisele või motivatsioonile. Näiteks võib hoova vajutamise vähenemine sageli kajastada pigem mõju jõudlusele kui õppimisele (Smith-Roe ja Kelley, 2000). Ainuüksi omandamiskõverad, mis tahes õppeprotsessi puudulikud esitusviisid, tuleb tõlgendada ettevaatlikult (Gallistel et al., 2004). Kahjuks ignoreeritakse tänapäeval sageli õppe ja tulemuslikkuse eristamist, mis võib-olla kõige vanem õppetund õppetöös.

Üksikasjalikum analüüs näitab, et accumbens ei ole instrumentaalseks õppimiseks vajalik ega piisav. Accumbens'i kesta kahjustused ei muuda jõudluse tundlikkust tulemuste devalveerimise suhtes (de Borchgrave et al., 2002; Corbit et al., 2001) või instrumentaalse olukorra halvenemise (\ tCorbit et al., 2001), samas kui leiti, et accumbens-südamiku kahjustused vähendavad tundlikkust devalveerimise suhtes, kahjustamata rottide tundlikkust instrumentaalse kontingendi selektiivse lagunemise suhtes (Corbit et al., 2001). Teised uuringud, mis hindavad accumbensi manipulatsioonide mõju uue reaktsiooni saamisele konditsioneeritud tugevduse uuringutes, on järjekindlalt leidnud mõju tasustamisega seotud tulemustele, eriti amfetamiini toimimise parandamisele, kuid mitte vastuse omandamisele iseenesest (Parkinson et al., 1999). Sarnaselt ei leidnud ka kardinaali ja Cheungi süstemaatiline uuring akumuleerunud tuumikahjustuste mõju pideva tugevdusgraafiku alusel hoova pressimisreaktsiooni omandamisel; täheldati ainult hilinenud tugevdamisega (Kardinal ja Cheung, 2005).

Ehkki accumbens ei kodeeri instrumentaalset juhuslikkust (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001) näitab märkimisväärne tõendusmaterjal, et see mängib olulist rolli instrumentaalses jõudlus- rolli, mida me nüüd hiljuti tehtud töö valguses paremini määratleda. Mitme uuringu kohaselt on akumulaatorid kriitilise tähtsusega teatud tüüpi isuärilise Pavlovia konditsioneerimise jaoks ja vahendavad nii mittespetsiifilisi ergastavaid mõjusid, mis võivad olla seotud preemiaga seotud märguannetega, kui ka tulemuse-spetsiifilistest vastustest valiku tegemisel. selliste märkide abil. Südamiku või esiserva kahjustused, kes on südamiku kortikaalse sisendi peamine allikas, või nende kahe struktuuri vaheline katkestamine kahjustab Pavlovia lähenemise käitumise omandamist (Parkinson et al., 2000). D1-sarnase dopamiini retseptori antagonisti või NMDA glutamaadi retseptori antagonisti lokaalne infusioon vahetult pärast treeningut kahjustas ka seda õppevormi, mõjutamata seejuures tulemuslikkust (Dalley et al., 2005). Need andmed on kooskõlas in vivo neuraalne aktiivsus. Näiteks leidsid Carelli ja kolleegid, et akumeeni südamikus olevad neuronid võivad Pavlovia automaatse kujundamise ülesande õppimise ajal oma tegevust süstemaatiliselt muuta (Day et al., 2006; Päev ja Carelli, 2007).

Koorepiirkonna neuronid tunduvad olevat häälestatud auhindadele ja aversiivsetele stiimulitele, isegi enne mis tahes õppimis kogemust; nad on ka võimelised arendama vastuseid CS-dele, kes ennustavad neid tulemusi (Roitman et al., 2005). Berridge'i ja kolleegide töö on tõstnud esile võimaluse, et teatud piirkondades, mis asuvad tuuma accumbens kestas, ja allavoolu ventraalses pallidumis, võib olla iseloomulik kui „hedoonilised hotspotid”. Need piirkonnad moduleerivad otseselt tingimusteta hedoonilisi vastuseid hüvedele, nagu maitse reaktiivsus. Näiteks opioidiretseptorite agonistid nendes piirkondades võivad oluliselt suurendada neelavat maitse reaktiivsust sahharoosi suhtes. Sellised kõrgelt lokaliseeritud piirkonnad on aga sisseehitatud laiematesse võrkudesse, mis ei oma tähtsust tarbivas isuäratavas käitumises (Taha ja väljad, 2005; Pecina et al., 2006; Taha ja väljad, 2006).

Südamiku ja koore suhteliste rollide eristamine näib olevat üks vastavalt ettevalmistavatest ja tarbivatest isuäratavast käitumistest, mida saab kergesti modifitseerida kogemuste kaudu, mis tulenevad erinevatest Pavlovia konditsioneerimistüüpidest. Sellised ettevalmistavad vastused nagu lähenemine on seotud tulemuse üldiste emotsionaalsete omadustega, samas kui tarbivad käitumised on seotud spetsiifilisemate sensoorsete omadustega; nad on ka erinevat tüüpi CS-de suhtes erinevalt vastuvõtlikud, nt ettevalmistavad vastused on kergemini konditsioneeritud pikaajalise stiimuliga (Konorski, 1967; Dickinson ja Dearing, 1979; Balleine, 2001; Dickinson ja Balleine, 2002).

Igal juhul on tõendid, mis kinnitavad, et Pavloviani konditsioneerimise mõningates aspektides on akumeenid, ülekaalukad. See ei ole siiski ainus kaasatud struktuur ja teised võrgustikud, näiteks need, mis hõlmavad erinevaid amügdaloidseid tuumasid, paistavad samuti olevat kesksel kohal nii Pavloviani ettevalmistava kui ka tarbiva komponendi puhul. (Balleine ja Killcross, 2006).

Üheks funktsiooniks, mida ilmselgelt seostatakse akumeenidega, on Pavlovi mõjutuste integreerimine instrumentaalsele käitumisele. Pavlovia CR-d, sealhulgas need, mis peegeldavad kesksete motiveerivate seisundite aktiveerimist, nagu iha ja erutus, võivad avaldada instrumentaalsete tegevuste toimimisele tugevat mõju (Trapold ja Overmier, 1972; Lovibond, 1983; Holland, 2004). Näiteks CS, kes ennustab sõltumatult toidu kohaletoimetamist, võib suurendada instrumentaalset reageerimist sama toidu jaoks. Seda efekti uuritakse tavapäraselt Pavlovia-instrumentaalse ülekande paradigma (PIT) abil. PIT-s saavad loomad eraldi Pavlovia ja instrumendi treeningfaase, kus nad õpivad iseseisvalt seostama toitu ja vajutama sama toidu hooba. Siis esitatakse sondi uuringutes kiil koos kättesaadava kangiga ja mõõdetakse vastuse kiiruse suurenemist CS juuresolekul. On kindlaks tehtud kaks PIT-vormi; üks on seotud tasuliste märkide üldise ärritava mõjuga ja teise valikulisema mõjuga valikule, mis on tingitud kihi ennustava seisundi suhtes, järgides ühte konkreetset tasu, võrreldes teistega. Akumeeni kest on vajalik selle viimase tulemuse-spetsiifilise PIT-vormi jaoks, kuid see ei ole vajalik eelmise, üldisema vormi ega tulemuste devalveerimise tundlikkuse suhtes; seevastu vähendavad akumulaatori südamiku kahjustused tundlikkust nii tulemuste devalveerimise kui ka üldise PIT-vormi suhtes, kuid jätavad puutumata tulemuspõhise PIT-i (Corbit et al., 2001; (Balleine ja Corbit, 2005).

Hiljutine uuring andis täiendava ülevaate akumuleeruva koore rollist tulemuspõhises PIT-s (Wiltgen et al., 2007). Aktiivse kaltsiumi / kalmoduliinist sõltuva proteiinkinaasi II (CaMKII) kontrollitud ekspressioon striatumis ei mõjutanud instrumentaalset või Pavlovi õpitut, kuid kaotas konkreetse PIT. See puudujääk PIT-s ei olnud püsiv ja seda võis ümber pöörata transgeeni ekspressiooni väljalülitamisega doksitsükliiniga, näidates, et puudujääk oli seotud ainult tulemuslikkusega. CaMKII taseme kunstlik suurendamine striatumis blokeerib seega tulemuspõhise stimuleeriva motivatsiooni ülekande Pavloviast instrumentaalsele süsteemile. Huvitaval kombel leiti ka, et CaMKII transgeeni sisselülitamine vähendab närvirakkude ärrituvust akumeeni kestas, mõjutamata basaalülekandeid või sünaptilist tugevust.

Dorsaalne striatum

Dorsaalne striatum, tuntud ka kui neostriatum või caudate-putamen, saab nn neokortexi massilisi prognoose. Seda võib jagada edasi assotsiatiivseks piirkonnaks, mis närilistel on ventraalse striatumiga rohkem mediaalne ja pidev, ning sensoriotori piirkond, mis on rohkem külgsuunaline (Groenewegen jt, 1990; Joel ja Weiner, 1994). Kokkuvõttes innustab dorsaalset striatumit DA-rakud substra nigra pars compacta (SNc) -st ja saavad ainult vähe eendusi VTA DA neuronitest (Joel ja Weiner, 2000). Eelmine töö dorsaalse striatumiga on keskendunud peamiselt tema rollile stiimul-vastuse (SR) harjumuste õppimisel (Miller, 1981; Valge, 1989). See seisukoht põhineb õigusnormil, mille kohaselt soodustab või tugevdab tasu keskkonnaalaste stiimulite ja sooritatud vastuse vahelist seost, mille tagajärjel suureneb nende reaktsioonide esinemise kalduvus. stiimulid (Thorndike, 1911; Hull, 1943; Miller, 1981). Seega arvatakse, et kortikostriaalne rada vahendab SR-i õppimist koos DA-ga, mis on tugevdussignaalina (Miller, 1981; Reynolds ja Wickens, 2002).

SR-mudelitel on eeliseks see, et see sisaldab lühikest reeglit õppe tõlkimiseks tulemuslikkusse. Meetmetega seotud ootustel põhinev mudel on seevastu keerulisem, sest veendumus „Tegevus A viib tulemusteni O“ ei pea tingimata toimima (Guthrie, 1935; Mackintosh, 1974); sellist teavet saab kasutada nii „A” teostamiseks kui „A” vältimiseks. Sel põhjusel kaotasid kõige ilmsemad selgitused traditsioonilised teooriad - nimelt, et loomad võivad omandada tegevusvõimaluse, mis juhib valikukäitumist. Viimastel aastakümnetel on siiski jõustunud jõuseaduse oluline muutmine (Adams, 1982; Colwill ja Rescorla, 1986; Dickinson, 1994; Dickinson et al., 1996). Tpaljude uuringute tulemused on näidanud, et instrumentaalsed tegevused võivad olla tõeliselt eesmärgipärased, st tundlikud tasu väärtuse muutustele, samuti tegevuse põhjuslik tõhusus (vt Dickinson & Balleine, 1994; 2002; Balleine, 2001 ülevaatamiseks). Sellegipoolest võivad pidevatel tingimustel läbiviidava ulatusliku koolituse käigus isegi äsja omandatud tegevused muutuda suhteliselt automaatseks ja stiimulipõhiseks - protsess, mida tuntakse harjumuste loomisena (Adams ja Dickinson, 1981; Adams, 1982; Yin et al., 2004). Selliselt määratletud harjumusi, mida esilekutsutud stiimulid automaatselt esile kutsuvad, ei kontrolli tulemuse oodatavus ega esindatus; järelikult on need tulemuse väärtuse muutustele mitteläbilaskvad. Sellest vaatenurgast tulenevalt on mõjuõigus eriline juhtum, mis kehtib ainult harjumuste suhtes.

Instrumentaalne käitumine liigitab selle kahte klassi. Tta esimese klassi hulka kuuluvad eesmärgipõhised tegevused, mida juhib instrumentaalne situatsioon; teine, tavaline käitumine, mis ei mõjuta tulemuse väärtuse muutusi (Tabel 1). Kasutades käitumisanalüüse, nagu tulemuste devalveerimine ja instrumentaalne kontingentsuse degradatsioon, kehtestasid Yin jt funktsionaalse dissotsiatsiooni dorsaalse striaadi sensoriotori (dorsolateraalse striatumi, DLS) ja assotsieeruvate piirkondade (dorsomediaalne striatum, DMS) vahel.Yin ja Knowlton, 2004; Yin et al., 2004, 2005; Yin jt, 2005b; Yin et al., 2006a). DLS-i kahjustused kahjustasid harjumuste arengut, mille tulemuseks oli eesmärgipärasem käitumisviis. DMS-i kahjustustel on vastupidine mõju ja tulemuseks on üleminek eesmärgipärasest kontrollile. Yin jt järeldasid seetõttu, et DLS ja DMS on funktsionaalselt lahutatavad nende toetatavate assotsiatsioonistruktuuride tüübi poolest: DLS on harjumuste kujunemise jaoks kriitiline, samas kui DMS on kriitiline eesmärgipõhiste tegevuste omandamiseks ja avaldamiseks. See analüüs ennustab, et teatavatel tingimustel (nt laiendatud koolitus) võib toimingute kontroll DMS-sõltuvast süsteemist DLS-sõltuvale süsteemile minna, järeldus, mis on laialdaselt nõus märkimisväärsete kirjandusega primaatide, sealhulgas inimese neuromängimise kohta.Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi et al., 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno ja Kawato, 2006a, b; Lohrenz et al., 2007; Tobler jt, 2007). Muidugi peaks meeles pidama, etmüts füüsiline asukoht (nt selja- või vatsakese) ei saa olla usaldusväärne juhend näriliste striatumi ja primaadi striatumi võrdlemisel; sellised võrdlused tuleb teha ettevaatlikult, pärast anatoomilise ühenduvuse hoolikat kaalumist.

Dorsaalsete striaalsete kahjustuste toimeid võib võrrelda akumbaalsete kahjustustega (Smith-Roe ja Kelley, 2000; Atallah et al., 2007). Nagu juba mainitud, on tavapärased testid käitumise kui „sihtotstarbelise” kindlaksmääramiseks tulemuste devalveerimine ja tegevuse tulemuse olukorra halvenemine (Dickinson ja Balleine, 1993). DMS-i kahjustused muudavad käitumise tundmatuks mõlema manipulatsiooni suhtes (Yin jt, 2005b), samas kui akumeenisüdamiku või -korpuse kahjustused eiCorbit et al., 2001). Peale selle viiakse nende käitumuslike testide sonditestid tavaliselt läbi väljasuremisega, ilma et oleks võimalik esitada mingit tasu, et hinnata, mida loom on õppinud ilma uue õppimisega saastumiseta. Seega uurivad nad otseselt esindusstruktuuri kontrollivat käitumist. Täiendava eksperimentaalse kontrollina on sageli kasulik läbi viia eraldi devalveerimiskatse, milles tasu tegelikult antakse - nn „premeeritud test”. DMS-i kahjustused ei kaotanud tasu testides tulemuste devalveerimise suhtes tundlikkust, nagu peaks eeldama, kuna tegevusest sõltuva devalveeritud tulemuse edastamine võib toimingu tulemustest sõltumatult pärssida. Accumbens'i koorekahjustused seevastu ei halvendanud väljundtesti ega premeeritava testi tundlikkuse tulemuste devalveerimise suhtes, samas kui accumbens'i põhilised kahjustused kaotasid tundlikkuse devalveerimise suhtes mõlemas testis (Corbit et al., 2001). Tundlikkuse degradatsiooni suhtes tundlikkust ei mõjutanud kumbki kahjustus, mis näitab, et pärast accumbens'i kahjustusi võisid rotid toimingutulemuste esitamist kodeerida ja alla laadida.

Dopamiini roll: mezesolimbiline vs. nigrostriaalne

Alates ahvidel DA-neuronite faasilist aktiivsust uurivatest uuringutest on üldine eeldus selles valdkonnas, et kõik DA-rakud käituvad sisuliselt samamoodi (Schultz, 1998a; Montague et al., 2004). Olemasolevad andmed ja anatoomiline ühenduvus näitavad siiski teisiti. Tegelikult saab striatumi funktsionaalse heterogeensuse ülaltoodud analüüsi laiendada ka kesk-aju DA-rakkudele.

DA-rakke võib jagada kahte põhirühma: VTA ja substia nigra pars compacta (SNc). Kuigi projektsioon Auhinnaga seotud õppe valdkonnas on tähelepanu keskpunktiks olnud accumbensile suunatud VTA, mis on palju massilisem nigrostriaalne rada suhteliselt tähelepanuta jäänud, pöörates tähelepanu eelkõige selle rollile Parkinsoni tõvega. Praegune mõtteviis Õppimise DA-d on tugevalt mõjutanud ettepanek, et DA-rakkude faasiline aktiivsus peegeldab tasu ennustamise erroonir (Ljungberg jt, 1992; Schultz, 1998b). In kõige tavalisem Pavloviuse konditsioneerimisülesanne, mida kasutasid Schultz ja tema kolleegid, tulevad need neuronid tulu eest vastutasuks (USA), kuid õppimise korral nihkub USA poolt esile kutsutud tegevus CS-i. Kui USA on pärast õppimist välja jäetud, näitavad DA-rakud tegevuse lühikest depressiooni oodataval ajal (Waelti jt, 2001; Fiorillo et al., 2003; Tobler jt, 2003). Sellised andmed on aluseks arvukatele arvutusmudelitele (Schultz et al., 1997; Schultz, 1998b; Brown et al., 1999; Montague et al., 2004).

Kuna sünteesi ja vabanemise mehhanismide kontroll on mitmel tasemel, ei saa DA neuronite nihkumist võrdsustada DA vabanemisega, kuigi eeldada, et need kaks meedet on väga korrelatsioonis. Tõepoolest, nagu on näidanud Carelli ja kolleegide hiljutine uuring, mis kasutas kiiresti skaneerivat tsüklilist tegelik DA vabanemine accumbens'i südamikus näib olevat korrelatsioonis ennustusveaga isuärasel Pavloviani konditsioneerimisel (Day et al., 2007). Nad leidsid kohe pärast sahharoosihüvitise saamist Pavlovia autokujutuses akumeenisüdamikus faasilise DA signaali. Pärast laiendatud Pavlovia konditsioneerimist ei leitud seda signaali enam pärast tasu ennast, vaid nihutati CS-i asemel. See leid toetab algset „ennustusvea” hüpoteesi. Samuti on see kooskõlas varasema tööga, mis näitab, et Pavlovian CR-i jõudlus on halvenenud pärast DA-retseptori antagonismi või DA-de kadumist akumeenisüdamikus (Di Ciano et al., 2001; Parkinson et al., 2002). Kuid üks uuringu vaatlus on uus ja märkimisväärne huvi: pärast laiendatud konditsioneerimist CS + -ga, mis ennustab tasu ja CS-i, mis ei ennusta tasu, täheldati samasugust, kuigi väiksemat DA-signaali pärast CS-i, kuigi see näitas ka kerget langust (500 ~ 800 millisekundid pärast algust) pärast algset piiki (Day et al., 2007, Joonis 4). Õppimise selles etapis loomad peaaegu ei lähene CS-le, vaid lähenevad järjekindlalt CS + -le. Seega ei pruugi faasiline DA-signaal kohe pärast ennustajat mängida põhjuslikku rolli lähenemise vastuse genereerimisel, kuna see esineb isegi vastuse puudumisel. Kas selline signaal on stiimuli-tasu kontingendi õppimiseks ikka veel vajalik, jääb ebaselgeks, kuid vaadeldav faasiline vastus CS-le ei ole kindlasti ühegi praeguse mudeli poolt ette nähtud.

Huvitav on see, et kohalik DA-de ammendumine kahjustab selle ülesande täitmist (Parkinson et al., 2002). Kui faasiline DA-signaal on täheldatud pärast seda, kui CS-, mis üldse mitte genereerib CR-sid, kahjustab nii faasiline kui ka tooniline DA kohaliku ammendumise tõttu CR-de jõudlust. Selline muster viitab sellele, et akadeemilistes faasides ei ole vaja fasilist DA-signaali Pavlovi CR-i täitmiseks, kuid see võib mängida rolli õppimisel, samas kui aeglasem, toonilisem DA-signaal (tõenäoliselt kaotatud ammendumisuuringutes) on tulemuslikkuse seisukohast olulisem. lähenemise vastus (Cagniard et al., 2006; Yin jt, 2006b; Niv et al., 2007). Seda võimalust tuleb veel katsetada.

Kuigi ei ole otseseid tõendeid faasilise DA-signaali põhjuslikust rollist õppimisel, on „ennustusvea” hüpotees siiski palju tähelepanu pälvinud, sest just seda tüüpi õpetussignaali kasutatakse tuntud õppemudelites, nagu Rescorla-Wagneri mudel ja selle reaalajas laiendamine ajalise erinevuse tugevdamise õppe algoritm (Schultz, 1998b). Selle tõlgenduse kohaselt määrab isuäratav õppimine saadud ja oodatava tasu (või kahe ajaliselt järjestikuse tasu ennustuse) vahelise erinevuse. Sellist õpetussignaali reguleerib negatiivne tagasiside kõigi tasu ennustajate poolt (Schultz, 1998b). Kui ennustajale ei maksta tasu, siis negatiivse tagasiside mehhanism on demonstreeritud kui DA-neuronite aktiivsuse langus. Seega hõlmab õppimine prognoosivea järkjärgulist vähendamist.

Õpetussignaali elegants nendes mudelites on võib-olla seganud mõned anatoomilisest reaalsusest. Uuringus Day et al (2007), DA-signaal akumulaatorites pärineb enamasti VTA rakkudest, kuid tundub ebatõenäoline, et teised DA-rakud, millel on täiesti erinev anatoomiline ühenduvus, näitaksid sama vastusprofiili ja annaksid sama signaali. DA-rakkude signaali tõenäolisem gradient, kuna DA-rakud projitseerivad erinevatele striatsioonilistele piirkondadele, millel on täiesti erinevad funktsioonid, ja omakorda omakorda eraldavad negatiivseid tagasiside signaale ka erinevatelt striatali piirkondadelt (Joel ja Weiner, 2000; Wickens et al., 2007). Dopamiini vabanemist reguleerivad vastuvõtmise ja lagunemise mehhanismid ning presünaptilised retseptorid näitavad samuti märkimisväärset erinevust kogu striatumil (Cragg et al., 2002; Riis ja Cragg, 2004; Wickens et al., 2007; Riis ja Cragg, 2008).

Seetõttu teeme ettepaneku, et mesoaccumbens'i rada mängiks Pavlovia õppes vähem tähtsat rolli, riikide ja stiimulite väärtuse omandamist, samas kui nigrostriaalne rada on instrumentaalse õppimise jaoks olulisem, toimingute väärtuste omandamisel. Tmüts on, faasiline DA signaal võib kodeerida erinevaid prognoosivigu, mitte ühe ennustusvea, nagu praegu eeldatakse. Kolm väidet toetavad seda väidet. Kõigepealt kahjustab DA nigrostriaalsel teel geneetiline depleteerimine instrumentaalsete toimingute omandamist ja toimimist, samas kui DA vähenemine mesolimbilisel rajal ei ole (Sotak et al., 2005; Robinson et al., 2007). Teiseks võivad SN-rakud SNc-s kodeerida toimingute väärtust, mis on sarnane nende sihtrühma regiaalse piirkonna rakkudega (Morris et al., 2006). Kolmandaks vähendab nigrostriaalse projitseerimise DLS-i selektiivne kahjustus harjumuste teket (Faure et al., 2005).

Palmiteri ja kolleegide hiljutine töö näitas, et geneetiliselt muundatud DA puudulikud hiired on instrumentaalses õppes ja jõudluses tõsiselt kahjustatud, kuid nende jõudlust võib taastada kas L-DOPA süstimise teel või viiruse geeniülekandega nigrostriaalse teele (Sotak et al., 2005; Robinson et al., 2007). Seevastu DA taastamine kõhu striatumis ei olnud instrumentaalse käitumise taastamiseks vajalik. Kuigi see, kuidas DA-signaalid võimaldavad instrumentaalset õppimist, on lahtine küsimus, on üks ilmne võimalus, et see võib kodeerida ise algatatud tegevuste väärtust, st kui palju on ettemääratud konkreetse tegevussuuna alusel.

Dorsaalne striatum tervikuna sisaldab kõrgeimat DA-retseptorite ekspressiooni ajus ja saab kõige massiivsema dopamiinergilise projektsiooni.. DA-projektsioon DMS-ile võib õppimises olla erinev kui DLS-i projektsioon, kuna need kaks piirkonda erinevad oluliselt DA vabanemise, omastamise ja lagunemise ajalisest profiilist (Wickens et al., 2007). Me oletame, et DA-projektsioon meditsiini SNc DMS-i suhtes on kriitilise tähtsusega tegevuse tulemuse õppimisel, samas kui DA-projektsioon DLS-i külgnevast SNc-st on harjumuste moodustumise jaoks kriitiline. Kui see on tõsi, siis tuleks eeldada, et SNc rakud kodeerivad vea tasu ennustamises, mis põhineb enese loodud toimingutel - instrumentaalsel ennustusveal, mitte CS-i alusel. Selle väite toetuseks esitatud esialgsed tõendid pärinevad Morrise jt hiljutisest uuringust, mis registreeriti SNc neuronitest instrumentaalse õppeülesande ajal (Morris et al., 2006). Ahvid koolitati oma käsi liikuma vastuseks diskrimineerivale stiimulile (S^D), mis viitas asjakohasele liikumisele ja tasu tõenäosusele. S^D põhjustas faasilise aktiivsuse DA neuronites, mis vastavad toimingu väärtusele, lähtudes konkreetse meetme eeldatavast tasuvõimalusest. Kõige huvitavam, kuigi DA vastus S-le^D suurenenud koos tegevusväärtusega, oli vastupidine DA-vastuse suhtes tasu eest, mis oli kooskõlas ideega, et need neuronid kodeerisid selle väärtusega seotud ennustusviga. Pole üllatav, et nende rakkude esmane striataalne sihtmärk, caudate tuum, sisaldab teadaolevalt neuroneid, mis kodeerivad toimeväärtusi (Samejima et al., 2005). Tuleb siiski märkida, et selles uuringus ei kasutatud käitumuslikke ülesandeid, mis üheselt hindavad tegevuste väärtust. Meie mudeli selge ennustus on, et faasiline DA-tegevus kaasneb tegevuste läbiviimisega isegi selgesõnalise S-i puudumisel^D. Näiteks ennustame nigraalsete DA-neuronite lõhkemist tulekahju teeniva enese algatatud tegevuse ajal.

Meie arvates peegeldab mesoaccumbens DA signaal CS väärtust, nigrostriaalne signaal, võib-olla DMS-ile suunatud neuronitest, peegeldab meetme väärtust, või mis tahes S^D mis ennustab seda väärtust. Pealegi näib, et nii instrumentaalne kui ka Pavlovia õppimine on seotud mingisuguse negatiivse tagasisidega, et kontrollida tõhusat õpetussignaali. Tegelikult on striatumi otsesed prognoosid keskjoonte DA neuronitele (Joonis 2) on pikka aega välja pakutud sellise negatiivse tagasiside närviliseks rakendamiseks (Houk et al., 1995) ning inhibeeriva sisendi tugevus ja iseloom võivad piirkonniti oluliselt erineda.

  

Joonis 2

Kortiko-basaalsed ganglionivõrgud

Prognoosiviga, vastavalt praegustele mudelitele, on õpetussignaal, mis määrab, kui palju õpitakse. Nii kaua kui see on olemas, jätkub õppimine. Siiski on ilmselge, et see väide ilmneb, kuid tegevusväärtuse prognoosiviga, mis on sünteetiliselt sarnane Pavloviuse ennustusveaga, on unikaalsed omadused, mida pole põhjalikult uuritud. Traditsioonilistes mudelites, nagu Rescorla-Wagneri mudel, mis käsitleb ainult Pavlovia konditsioneerimist (ehkki piiratud edu), on võtmetähtsusega negatiivne tagasiside, mis reguleerib prognoosimisviga. See väljund esindab omandatud prognoosi, täpsemalt summa kõigi praeguste prognoosijate arv, mis on kogutud eksperimentide blokeerimisel tavaliselt kasutatavate \ tRescorla, 1988). See on olemasolevate prognoosijate kokkuvõtte tegemine globaalse veaaja loomiseks, mis on selle mudeli klassi peamine innovatsioon. Instrumentaalsete toimingute puhul tunduvad siiski üksikute vigade tingimused tõenäolisemalt, sest on raske näha, kuidas negatiivne tagasiside esitaks mitme toimingu väärtust üheaegselt, kui korraga saab teostada ainult ühte toimingut. Loomulikult on olemas mitmeid võimalikke lahendusi. Näiteks, antud konkreetse oleku korral (eksperimentaalselt rakendatud eraldi S-ga)^D), võiksid toimingute võimalikud kursused tõepoolest samaaegselt olla omandatud prognoosid. Kuid peamised raskused instrumentaalsete ennustusvigadega on seotud tegevuse iseärasusega. Pavlovia prognoos järgib automaatselt organismist sõltumatu stiimuli esitlemist. Instrumentaalne ennustusviga peab käsitlema kontrolli elementi, sest ennustus on iseenesest kontingentne ja tahtlik tegevus tekib spontaanselt, lähtudes pigem toimimise tagajärgedest loomade poolt kui eelkäijate poolt tekitatud tagajärgedest. Lõpuks on just neuroteaduses ja psühholoogias eesmärgipõhiste tegevuste spontaanse olemuse üldine hooletus, mis on hägustanud Pavlovia ja instrumentaalsete õppeprotsesside vahelist eristamist ning kaasatud prognoosivigade olemust. Seega tuleb kindlaks teha, millist negatiivset tagasisidet signaali, kui see on olemas, reguleerib tegevusväärtuste omandamist (Dayan ja Balleine, 2002).

Lõpuks on hiljutine töö kaasa toonud ka nigrostriaalse projitseerimise külgnevast SNc-st DLS-ile spetsiifiliselt harjumuste tekkimisel. Faure jt kahjustasid selektiivselt DLS-i väljaulatuvaid DA-rakke 6-OHDA abil ja leidsid, et sellel manipuleerimisel on üllatavalt vähe mõju hoova vajutamise kiirusele, kuigi see kahjustas harjumuste teket, mõõdetuna tulemuste devalveerimise abil (Faure et al., 2005). See tähendab, et kahjustatud loomad reageerisid eesmärgipärasel viisil, kuigi kontrollrühmas tekitas koolitus harjumuspärase käitumise, mis ei olnud tulemuste devalveerimise suhtes tundlik. Kohalik DA-de kadumine on sarnane DLS-i eksitotoksilistele kahjustustele, kuna mõlemad manipulatsioonid aeglustavad harjumuste teket ja soodustavad sihipäraste meetmete omandamist (Yin et al., 2004). Fokaalse DA signaali, mis on kriitiline harjumuste moodustamiseks, on juba hästi kirjeldanud efektiivne tugevdussignaal tänapäeva ajalise erinevuse tugevdamise õppe algoritmides, mis on inspireeritud Hulli ja Spence'i tööst (Hull, 1943; Spence, 1947, 1960; Sutton ja Barto, 1998).

Cortico-basal ganglionivõrgud

Siiani oleme arutanud striatumi funktsionaalset heterogeensust, kuid oleks eksitav oletada, et ükskõik milline striatsiala võib näiteks väljendada meetme tulemuse kontingendi enda toiminguks. Pigem on aju poolkerad korraldatud korduvateks funktsionaalseteks üksusteks, mis koosnevad koorik-basaalsetest ganglionivõrkudest (Swanson, 2000; Zahm, 2005). Tta striatum, mis on kogu basaalganglioni sisenemisjaam, toimib ainulaadse sõlmpunkti ganglionivõrgu motiivina, mis on võimeline integreerima kortikaalset, talaamilist ja keskjoonelist sisendit. Nagu ülalpool kirjeldatud, näivad erinevad striataalsed piirkonnad, kuigi see on pidev struktuur, osalema erinevatel funktsionaalsetel võrkudel, nt. Accumbens toimib limbilise võrgu sõlmena ja DLS sensorimotori võrgus. Selliste võrkude reentrant-omaduse tõttu ei ole selle struktuuri ükski komponent absoluutses mõttes ülesvoolu või allavoolu; nt talamokortikaalne süsteem on nii striatumile olulise panuse allikas kui ka striato-pallidaalsete ja striato-nigraalsete radade sihtmärk.

Kuigi paralleelsed reentrantide basaalganglionid on juba ammu tunnustatud (Alexander jt, 1986), rõhutame nende ahelate erinevaid funktsionaalseid rolle, mis põhinevad operatiivselt määratletud esindusstruktuuridel ja ahelate vahelistel interaktsioonidel integreeriva käitumise loomisel. Selle põhjal on võimalik tuvastada vähemalt neli sellist võrku: limbilised võrgud, mis hõlmavad vastavalt akumulaatorite kesta ja südamikku, assotsiatiivset striatumit (DMS) hõlmav assotsiatsioonivõrk ja sensorimotori striatum (DLS) hõlmav sensorimootori võrk. Nende funktsioonid ulatuvad suupäraste Pavlovia URide ja CR-de kontrolli vahendamisest instrumentaalsetele tegevustele (Joonis 1).

  

Joonis 1

Striatumi peamised funktsionaalsed domeenid. Näide striatumist koronaalsest sektsioonist, mis näitab poole aju (Paxinos ja Franklin, 2003). Pange tähele, et need neli funktsionaalset domeeni on anatoomiliselt pidevad ja vastavad ligikaudu sellele, mida ...

Nagu juba mainitud, koosneb ventraalne striatum peamiselt accumbens-tuumast, mida saab edasi jaotada kestaks ja südamikuks, millest igaüks osaleb eraldi funktsionaalses võrgustikus. Kooriku (glutamatergilise) eendused kesta külge tulenevad infralimbilistest, kesk- ja külgsuunalistest korpustest, samas kui südamiku eendid tekivad prefrontaalse ajukoorme rohkem seljaga keskjoonest, nagu ventraalsed ja dorsaalsed prelimbilised ja eesmised cinguleeruvad ajukoored (Groenewegen jt, 1990; Zahm, 2000, 2005). Nende funktsionaalsete võrgustike raames on ülaltoodud ülevaadete põhjal võimalik järeldada, et kest on seotud UR-ide hüvedega ja tarbivate CR-de omandamisega; uurimiskäitumise tuum, eriti Pavlovia lähenemise vastuste omandamine ja väljendamine. Vähemalt kaks peamist võrku saab siis tuvastada suurema ventraalse või limbilise kooriku-basaalganglioni võrgustikus, üks tarbivaks ja teine ​​ettevalmistavaks käitumiseks ja nende muutmiseks Pavloviani konditsioneerimise abil (Joonis 1).

Dorsaalse striatumi võib samuti jagada vähemalt kaheks suuremaks piirkonnaks, assotsiatiivseks ja sensorimotoriks, millel on igaühega seotud funktsionaalne võrgustik. Assotsiatiivne striatum (caudate ja eesmise putameni osad primaatides) sisaldab neuroneid, mis tulekahju eeldavad vastuseisundi tasusid ja muudavad nende tulistamist vastavalt oodatava tasu suurusele (Hikosaka et al., 1989; Hollerman et al., 1998; Kawagoe et al., 1998). Assotsiatsioonivõrgus osalevad prefrontaalsed ja parietaalsed assotsiatsioonikärud ja nende sihtmärgid DMS-is transientses mälus, nii tulevikus kui ka tulemuste ootuste ja retrospektiivi kujul, hiljutiste efekti koopiate (Konorski, 1967). Sensorimootori tase sisaldab seevastu sensorimootori koore ja nende sihtmärke basaalganglionides. Selle ahela väljundid on suunatud mootori koorikutele ja aju tüvirakkudele. Neuroloogilist aktiivsust sensorimotori striatumis ei reguleerita tavaliselt tasuootuse järgi, mis näitab rohkem liikumisega seotud aktiivsust kui assotsiatiivse striatumi neuronid (Kanazawa et al., 1993; Kimura et al., 1993; Costa et al., 2004). Lõpuks, lisaks mediaalse ja külgsuunalise gradiendiga, esineb märkimisväärne funktsionaalne heterogeensus dorsaalse striatumi eesmise ja tagumise telje juures, kuigi praegu ei ole piisavalt andmeid üksikasjaliku klassifikatsiooni võimaldamiseks (Yin jt, 2005b).

Uuringud on seni keskendunud üksnes nende võrkude kortikaalsetele ja striataalsetele komponentidele. Üldiselt on koore piirkonna kahjustustel sarnased tagajärjed kui tema striatsiidi sihtmärgi kahjustused (Balleine ja Dickinson, 1998; Corbit ja Balleine, 2003; Yin jt, 2005b). Kuid teised võrgu komponendid võiksid sarnaseid funktsioone kasutada. Näiteks leiti, et assotsiatiivse võrgustiku komponendi talamuse mediodorsaalse tuuma kahjustused kaotavad tundlikkuse tulemuse devalveerimise ja situatsiooni halvenemise suhtes sarnaselt DMS-i ja prelimbilise koore kahjustustele (Corbit et al., 2003). Seega, kuigi meie üldmudel ennustab sarnaseid käitumishäireid pärast iga võrgu komponendi kahjustamist, viitab see ka mistahes konkreetsele struktuurile, nagu pallidum või talamus, mitmele funktsionaalsele domeenile.

Võrkude vastastikune mõju

Enamikus tingimustes näivad Pavlovia ja instrumentaalõpe toimuvat paralleelselt. Sellised fenomenid nagu PIT näitavad siiski, mil määral võivad need muidu erinevad protsessid suhelda. Iseseisvate funktsionaalsete süsteemide piiritlemisel on järgmine samm mõista, kuidas need süsteemid käitumise koordineerimiseks koordineeritakse. Üks atraktiivne ettepanek, mis on kooskõlas hiljutiste anatoomiliste töödega, on see, et ülalkirjeldatud võrgud on hierarhiliselt organiseeritud, millest igaüks toimib hierarhias labiilse, funktsionaalse vahendajana, võimaldades teabe levimist ühelt tasemelt teisele. Eelkõige viitavad hiljuti avastatud spiraalse ja keskmise aju vahelised spiraalsed ühendused anatoomilisele organisatsioonile, mis võib potentsiaalselt rakendada võrkude vahelisi koostoimeid.Joonis 2). Nagu märkis Haber ja kolleegid, saadavad striataalsed neuronid otsesed inhibeerivad projektsioonid DA neuronitele, millest nad saavad vastastikuseid DA-eendusi, ning samuti projektid DA neuronitele, mis omakorda viivad teise striatali piirkonnani (Haber jt, 2000). Need projektsioonid võimaldavad informatsiooni edasisuunamist ainult ühes suunas, limbilistest võrkudest assotsieeruvatele ja sensorimotorivõrkudele. Näiteks võib Pavlovia prognoos (CS-i väärtus) vähendada efektiivset õpetussignaali limbilisel tasemel, samal ajal kui samal ajal võimendada DA-signaali järgmisel tasemel. Efektiivse õpetussignaali tühistamist rakendatakse tavaliselt negatiivse tagasiside signaali kaudu, mis pärsib inhibeerivat väljapanekut, näiteks GABAergilistest keskmistest spiny projektsioon-neuronitest striatumilt DA neuronitele. Vahepeal, nagu soovitas anatoomiline organisatsioon (Haber jt, 2000; Haber, 2003), naabruses asuva kortiko-basaalse ganglionivõrgu DA-signaali võimendamist (hierarhia järgmine tase) võiks rakendada desinhibeerivate projektsioonide kaudu (st GABAergilised striaalt projitseerivad neuronid nigraalsetele GABAergilistele interneuronidele DA neuronitele). Seega saab limbilise võrgu õpitud väärtust üle kanda assotsiatsioonivõrku, võimaldades iga iteratsiooni abil täiustada ja võimendada käitumise kohandamist (Ashby, 1960). Seetõttu prognoosib see mudel erinevate närvivõrkude järkjärgulist kaasamist õppe erinevatel etappidel, mida toetavad erinevad andmed (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt ja Robbins, 2005; Yin ja Knowlton, 2005; Belin ja Everitt, 2008).

Fenomenaadid, mis nõuavad erinevate funktsionaalsete protsesside, nagu PIT, koostoimet, annavad sellistele mudelitele viljaka katsealuse. Tõepoolest, hierarhiline mudel on kooskõlas hiljutiste katsetulemustega PIT kohta. Vastavalt mudelile vahendavad Pavlovi-instrumentaalseid koostoimeid striatumi ja DA neuronite vastastikused sidemed. DA näib olevat üldise ülekande jaoks kriitiline, mida DA antagonistid kaotavad ja VTA kohalik inaktiveerimine (Dickinson et al., 2000; Murschall ja Hauber, 2006); arvestades, et amfetamiini kohalik infusioon, mis tõenäoliselt suurendab DA tasemeid, võib seda oluliselt suurendada (Wyvell ja Berridge, 2000). Teisest küljest on ventraalse striataalse dopamiini roll konkreetses ülekandes vähem selge. Mõned tõendid viitavad sellele, et pärast VTA inaktiveerimist võib see olla \ tCorbit et al., 2007) aga Corbit ja Janak (2007) teatati hiljuti, DLS-i inaktiveerimisel tühistatakse spetsiifiline ülekanne, mis viitab sellele, et stimuleerimise kontrolli see aspekt tegevuse valiku üle võib hõlmata nigrostriaalse projektsiooni (Corbit ja Janak, 2007). Kokkulepped hierarhilise perspektiiviga, Corbit ja Janak (2007) leidis ka, et kui DLS inaktiveerimine kaotas paloviakeelsete märkide selektiivse erutava toime (nii palju, nagu on täheldatud pärast akumbaatide kahjustuste teket, Corbit et al., 2001) kõrvaldas DMS-i inaktiveerimine ainult siirde tulemuste selektiivsust, säilitades samal ajal nende märkide üldise ergastava mõju, mis on täheldatud ka pärast mediodorsaalse talamuse kahjustusi, mis on osa assotsiatiivsest kortikos-basaalsest ganglionivõrgust (Ostlund ja Balleine, 2008). Nende esialgsete tulemuste põhjal näib, et DMS vahendab ainult spetsiifilist ülekannet, samas kui DLS võib olla vajalik nii Pavloviuse märkide spetsiifiliseks ja üldiseks ergutuslikuks mõjuks instrumentaalsetele toimingutele.

Huvitav on, et limbiline striatum projekteerib ulatuslikult DA-rakkudele, mis ulatuvad seljaga (Nauta et al., 1978; Nauta, 1989); dopamiinergilised väljaulatuvused striatumile ja striatuse eendid keskjoonele on väga asümmeetrilised (Haber, 2003). Limbiline striatum saab DA neuronite poolt piiratud sisendi, kuid saadab ulatusliku väljundi palju suuremale DA neuronite kogumile ja vastupidine on sensorimotori striatumile. Seega on limbilised võrgud ideaalses asendis assotsiatiivsete ja sensorimootori võrkude juhtimiseks. Siin nõustub neuroanatoomia käitumuslike andmetega, et Pavlovia instrumentaalne käitumine on palju tugevam kui vastupidine; tõepoolest, märkimisväärsed tõendid viitavad sellele, et instrumentaalsed tegevused kipuvad pigem Pavloviuse CR-de asemel pigem neurotoloogilist selgitust ootama (Ellison ja Konorski, 1964; Williams, 1965).

Järeldused

Siin käsitletav hierarhiline mudel tuleb märkida, et see erineb teistest, mis toetuvad ainuüksi ajukoorele ja ajukoortevahelistele aladele (Fuster, 1995). See hõlmab aju teadaolevaid komponente ja ühenduvust, selle asemel, et vaadata seda kui kortikaalsete moodulite potpuri, mis mingil määratlemata viisil rakendab erinevaid kognitiivseid funktsioone. Samuti välditakse 19ist päritud eeldusi^th sajandi neuroloogia, et ajukoor ja üldiselt prefrontaalne ajukoor moodustavad kuidagi "kõrgema" koduse üksuse, mis kontrollib kogu aju (Miller ja Cohen, 2001).

Lisaks võib praegusest mudelist tuletada mitmeid spetsiifilisi prognoose: (i) Enesehõlmavate tegevuste ja nende erinevate närvisubstraatide ja funktsionaalsete rollide omaduste / stiimulite puhul peaksid olema erinevad prognoosimisvead. (ii) Samuti eeldatakse, et iga diskreetse koore-basaal-ganglionivõrgu pallidaalsed ja talaamilised komponendid on vajalikud iga võrgustiku hüpoteesitud käitumiskontrolli tüübi jaoks, mitte ainult kortikaalsete ja striataalsete komponentide puhul. (iii) Erinevate õppetööde etappidel peaks olema erinevate närvivõrkude järkjärguline kaasamine. (iv) Accumbens'i aktiivsus võib otseselt kontrollida DA neuroneid ja omakorda dorsaalset striaaltegevust. Aruande põhjal Holland (2004) eeldades, et PIT suureneb instrumentaalse väljaõppega, eeldatakse, et assotsiatiivsete ja sensorimotorite võrgustike „limbiline” kontroll tugevdab laiendatud koolitust.

Ilma üksikasjalike andmeteta on veel liiga vara esitada ametlikku aruannet hierarhilisest mudelist. Sellest hoolimata peaks ülaltoodud arutelu selgeks tegema, et mesoaccumbens'i tasu hüpoteesi praegused versioonid põhinevad problemaatilistel eeldustel tasu andmise protsessi olemuse ja ebapiisavate käitumismeetmete kasutamise kohta. Põhimõtete ühendamine, alati teadusliku ettevõtte eesmärk, võib põhineda ainult eksperimentaalsete andmete tegelikkusel, kuigi need võivad olla rasked. Kuna aju funktsioon on lõppkokkuvõttes käitumise genereerimine ja kontrollimine, on närviprotsesside mõistmiseks võtmeks üksikasjalik käitumusanalüüs, kuna loomuliku ja omandatud immuunsuse põhjalik kirjeldus võimaldab immuunsüsteemi selgitamist. Kuigi see on näiliselt truism, ei saa vaevu rõhutada, et me saame mõista aju mehhanisme niivõrd, kuivõrd nende funktsioone kirjeldatakse ja mõõdetakse täpselt. Kui närvifunktsiooni uuring põhineb eksperimentaalselt väljakujunenud psühholoogilistel võimekustel, näiteks toimimise tulemuste ja stiimulite tulemuste esitamine, on tuntud anatoomiline organisatsioon ja füsioloogilised mehhanismid näha uues valguses, mis viib uute vormide koostamiseni. hüpoteesid ja uute katsete kavandamine. Esialgse sammuna selles suunas loodame, et siin käsitletud raamistik on kasulikuks lähtepunktiks tulevasteks uurimisteks.

Tunnustused

viited