Mokymas už mokestį, nukreiptas ne tik į dopaminą, yra branduolių accumbens: integruotų kortikos bazinių ganglijų tinklų funkcijos (2008)

Pastarojoje literatūroje paplitusi mintis rasti monolitinę „atlygio“ sąvoką, vienodai taikomą apetitiniam elgesiui, ar tai reiškia ką nors, kas yra naudinga organizmui (paprastai iš eksperimentuotojo perspektyvos), arba vartoti pakaitomis su senesniais terminais, pvz. „sustiprinimas“ arba „paskata“. Tokia padėtis skatinama, jei ne pati pasekmė - sutelkti dėmesį į vieną neuroninį substratą „atlyginimui“, susijusiam su dopamino (DA) išsiskyrimu į branduolį (Berke ir Hyman, 2000; Grace ir kt., 2007).

Ryšys tarp mezoaccumbens kelio ir atlygio, pripažinto prieš dešimtmečius, buvo sustiprintas naujausiais įrodymais, kad fazinis DA signalas koduoja atlygio prognozavimo klaidą, kuri, kaip manoma, tarnauja kaip mokymo signalas asociatyvaus mokymosi metu.g (Schultz ir kt., 1997). Remiantis populiariausiu aiškinimu, lygiai taip pat yra vienas signalas už atlygį, todėl yra vienas signalas už mokymąsi už atlygį, kuris šiuo atveju reiškia ryšį tarp stimulo ir atlygio (Montague ir kt., 2004). Vis dėlto klausimas, kaip šis mokymosi būdas valdo adaptyvų elgesį, buvo ignoruotas; paprasčiausiai daroma prielaida, kad dopamino signalas yra pakankamas tiek nuspėjamam mokymuisi, tiek sąlyginiam atsakui, kuris buvo sukurtas, ir tiksliniams veiksmams, vadovaujantis jų susiejimu su atlygiu. Todėl daugiausia mokslinių tyrimų dėmesio atlyginimų ir priklausomybės srityje yra DA signalizacija ir su ja susijęs plastiškumas mezoaccumbens kelyje (Berridge ir Robinson, 1998; Hyman ir kt., 2006; Grace ir kt., 2007).

Šis požiūris į atlygio procesą, kaip vis labiau pripažįstamas (Cardinal et al., 2002; Balleine, 2005; Everitt ir Robbins, 2005; Hyman ir kt., 2006), yra netinkama ir klaidinanti. Tai yra netinkama, nes nei tikslinių veiksmų įsigijimas, nei vykdymas negali būti paaiškinti asociacijos procesų, kurie skatina mokymąsi skatinančiu mokymusi, atžvilgiu.. Be to, tai yra klaidinanti, nes išskirtinis dėmesys veiklai mezoaccumbens kelyje, kuris nėra nei būtinas, nei pakankamas tikslams nukreiptiems veiksmams, nukreipė dėmesį nuo esminio klausimo, kaip tiksliai nukreipti veiksmai ir kaip jie įgyvendinami pagal smegenis. Iš tiesų, remiantis įvairiais eksperimentiniais metodais gautais įrodymais, tai, kas anksčiau buvo vienintelis atlygio mechanizmas, iš tikrųjų gali apimti kelis procesus, turinčius skirtingus elgesio efektus ir neuroninius substratus (Corbit ir kt., 2001; O'Doherty ir kt., 2004; Yin ir kt., 2004; Delgado ir kt., 2005; Yin ir kt., 2005b; Haruno ir Kawato, 2006a; Tobler ir kt., 2006; Jedynak ir kt., 2007; Robinson ir kt., 2007; Tobler ir kt., 2007).

Čia mes stengiamės atskleisti kai kurias problemas, susijusias su dabartiniu mezoaccumbens modeliu, ir pasiūlyti savo vietoje kitokį atlygio vadovaujamo mokymosi modelį. Mes teigiame, kad striatumas yra labai nevienalytė struktūra, kurią galima suskirstyti į mažiausiai keturias funkcines sritis, kurių kiekvienas veikia kaip centras atskirame funkciniame tinkle su kitais žievės, talamo, palidinio ir vidurinio smegenų komponentais.. Šių tinklų integracinės funkcijos, pradedant nuo besąlygiškų atsakymų, atsiradusių už atlygį, nukreipimu į tikslinių veiksmų kontrolę, gali būti suskaidytos ir tiriamos naudojant šiuolaikinius elgsenos tyrimus.

Prognozavimas ir kontrolė

Manoma, kad mesoaccumbens kelias yra būtinas susieti atlygį ir aplinkos stimulus, kurie numato tą atlygį. Pavyzdžiui, kai kuriuose eksperimentuose, nagrinėjančiuose DA ląstelių fazinį aktyvumą, gautas atlygis, beždžionės buvo apmokytos susieti stimulą su sulčių pristatymu (Waelti ir kt., 2001) ir po to reaguoti į stimulą su sąlyginiu atsaku (CR) - dalyvaujantys lyžis. Beždžionės laižymas gali būti tikslingas, nes mano, kad būtina gauti sulčių. Alternatyviai, lyžį gali sukelti ankstesnis stimulas, su kuriuo siejama sultys. Kuris iš šių beždžionių lygybės veiksnių kontroliuoja elgesį bet kurioje konkrečioje situacijoje nėra žinoma a priori, ir negali būti nustatoma paviršutiniškai; ją galima nustatyti tik naudojant specialiai šiam tikslui skirtus bandymus. Šie bandymai, kurių buvo imtasi daugelį dešimtmečių, yra svarbiausių šiuolaikinių mokymosi ir elgsenos pažangos pagrindas (Lentelė 1). Naudojant šiuos testus, kurie bus aptarti toliau, dabar žinome, kad tas pats elgesio atsakas - nesvarbu, ar tai yra ambulatorinis požiūris, orientavimasis, ar paspaudus svirtį - gali kilti iš daugelio eksperimentiškai atskirtų veiksnių.

  

Lentelė 1

Mokymas už atlygį

Todėl jautrumas faktiniam elgsenos veiksnių centriniam dviprasmumui yra pagrindinė problema, susijusi su dabartine neurologijos analize, mokant mokymąsi. To suprasti šios problemos svarbą, būtina įvertinti skirtumus tarp to, kaip nuspėjamasis (arba Pavlovijos) mokymasis ir tikslinis (ar instrumentinis) mokymasis kontroliuoja apetitinį elgesį. Iš tiesų, sprendžiant pagal tai, kaip dažnai šie du procesai buvo susieti literatūroje apie atlygį, atrodo, kad trumpas šios skirtumo peržiūra yra naudingas mūsų diskusijų pradžios taškas.

Apetitiniame Pavlovijos kondicionavime atlygis (ty besąlyginis stimulas arba JAV) yra susietas su stimuliu (sąlyginiu stimuliu arba CS), neatsižvelgiant į gyvūno elgesį, o instrumentiniame mokyme atlygis priklauso nuo gyvūnų veiksmų. Vis dėlto svarbiausias klausimas abiejose situacijose yra tai, ar stimulų ir atlygio asociacija ar veiksmo atlygio asociacija kontroliuoja elgesį.

Kaip tik atrodo, šis klausimas daugelį dešimtmečių išnyko tyrėjams, nes elgesio atsakymai šiose situacijose gali būti identiški.

Taigi, sąlyginis atsakas (CR), kurį kontroliuoja Pavlovijos stimulo ir atlygio asociacija, dažnai gali turėti tikslo kryptingumo fanerą. Netgi seilėtekis, originalus Pavlov'o CR, galėjo būti sukurtas jo šunims kaip sąmoningas bandymas palengvinti nurijimą. Būtent dėl ​​šio dviprasmiškumo akivaizdžiausias paaiškinimas - būtent tai, kad Pavlovianoje yra sužadintas stimulo ir rezultato susivienijimas, o instrumentinio kondicionavimo metu išmoko veiksmo rezultatų asociacija - nepavyko daugelį dešimtmečių kaupti didelės paramos (Skinner, 1938; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Nepaisant to, nors daugelis Pavlovijos KT yra autonomiški arba vartojami, kiti CR, pvz., Požiūris į atlygį, nėra taip patogiai apibūdinti (Rescorla ir Saliamonas, 1967); iš tiesų, jie gali būti lengvai supainioti su instrumentiniais veiksmais (Brown ir Jenkins, 1968; Williams ir Williams, 1969; Schwartz ir Gamzu, 1977). Dabar žinome, kad, nepaisant paviršutiniško panašumo, Pavlovijos CR ir tiksliniai instrumentiniai veiksmai skiriasi nuo reprezentacinės struktūros, kontroliuojančios atsakymo vykdymą (Schwartz ir Gamzu, 1977).

Tiesioginė priemonė nustatyti, ar atsako veikimas yra tarpininkaujančio stimulo atlygio ar veiksmo atlygio asociacijos, yra išnagrinėti konkretų nenumatytų atvejų kontrolės našumą. Čia yra pamokymo pavyzdys. Šefildas (1965) ištirta, ar seilėtekį Pavlovijos kondicionavimo metu kontroliuoja jo santykis su atlygiu ar stimulo ir atlygio asociacija. Savo eksperimente šunys gavo porą tarp tono ir atlygio už maistą (Šefildas, 1965). Tačiau jei šunys seilėtekis tonavo metu, tada maistas nebuvo pristatytas į tą bandymą. Šis susitarimas palaikė Pavlovo ryšį tarp skonio ir maisto, tačiau panaikino bet kokį tiesioginį ryšį tarp seilėtekio ir maisto pristatymo. Jei seilėtekis buvo veiksmas, kurį kontroliuoja jo santykis su maistu, tada šunys turėtų nustoti seilėtis - iš tikrųjų jie niekada neturėtų įgyti seilėtekio iki tono. Šefildas nustatė, kad akivaizdų palavų santykį su maistu kontroliavo seilių išsiskyrimas. Vykstant 800 tono ir maisto poroms, šunys įgijo ir išlaikė seilę nuo tonuso, nors dėl to jie prarado didžiąją dalį maisto, kurį galėjo gauti neišalkę. Panašią išvadą padarė ir kiti tyrimai su žmonėmis (Pithers, 1985) ir kitais gyvūnais (Brown ir Jenkins, 1968; Williams & Williams, 1969 m; Olandija, 1979); visais atvejais atrodo, kad nepaisant jų įvairovės, Pavlovijos atsakymų nekontroliuoja jų santykis su atlygiu, ty nenumatytas veiksmas.

Sąvoka „nenumatytas atvejis“ reiškia sąlyginį ryšį tarp įvykio „A“ ir kito „B“, pavyzdžiui, kad B įvykis priklauso nuo A. Tokio pobūdžio santykį galima lengvai pabloginti pateikiant B, kai nėra A. Tai eksperimentinis manipuliavimas, vadinamas nenumatytų atvejų pablogėjimu, paprastai atliekamas pateikiant atlygį nepriklausomai nuo numatomo stimulo ar veiksmo. Nors šis požiūris iš pradžių buvo sukurtas tyrinėti Pavlovijos kondicionavimą (Rescorla, 1968), instrumentinis nenumatytų atvejų pablogėjimas taip pat tapo įprasta priemone (Hammondas, 1980). Kai šie atsitiktinumai yra tiesiogiai manipuliuojami, atskleidžiamas mokymosi turinys: pvz., Atliekant automatinį formavimą, Pavlovijos CR, „užmaskuotą“ kaip instrumentinį veiksmą, sutrikdo manipuliacijos Pavlovianu, o ne instrumentinis kontingentas (Schwartz ir Gamzu, 1977).

Į tikslą nukreipti instrumentiniai veiksmai apibūdinami dviem kriterijais: 1) jautrumas rezultato vertės pokyčiams ir 2) jautrumas situacijos pokyčiams tarp veiksmo ir rezultato (Dickinson, 1985; Dickinson ir Balleine, 1993). Reikėtų pabrėžti, kad jautrumo vien rezultato nuvertinimui nepakanka apibūdinti atsakymą kaip tikslą nukreiptą, nes kai kurie Pavlovijos atsakymai taip pat gali būti jautrūs šiam manipuliavimui („Holland“ ir „Rescorla“, „1975“). Tačiau tikslinių instrumentinių veiksmų atlikimas taip pat yra jautrus manipuliacijoms veiksmo ir rezultato kontingentu, tuo tarpu Pavlovijos reakcijos yra jautrios stimulo ir rezultato nenumatytos situacijos manipuliavimui (Rescorla, 1968; Davisas ir Bittermanas, „1971“; Dickinsonas ir Charnockas, „1985“). Tačiau svarbi išimtis gali būti įpročiai (žr. Toliau), kurie yra labiau panašūs į Pavlovijos atsakymus dėl savo santykinio nejautrumo instrumentinės nenumatytos situacijos pokyčiams, tačiau taip pat yra nelaidūs rezultato nuvertėjimui, nes rezultatas nėra dalis reprezentacinės struktūros, kontroliuojančios atlikimą (plg. Dickinson, 1985 ir toliau tolesnėms diskusijoms).

Apibendrinant, labai svarbu, kad konkretus atsakymas būtų aiškiai apibrėžtas kontroliuojančio nenumatyto atvejo metu, o ne pateikiant atsakymo formą ar elgesio užduotį, naudojamą jam nustatyti. Neištyrus kontrolinės situacijos tam tikroje situacijoje, tikėtina, kad klaidingai apibūdinamas tiek elgesys, tiek nerviniai procesai, kurie tarpininkauja elgsenai. Galų gale, kaip mes tvirtinsime, tikrieji kontroliuojantys neapibrėžtumai, įgyti mokymosi metu ir įgyvendinami atskiromis nervų sistemomis, kontroliuoja elgesį, nors jie ir gali turėti tą patį „galutinį bendrą kelią“. Taigi pagrindinis iššūkis yra neapsiriboti vien tik pasirodymais, kad būtų atskleistas esminis situaciją kontroliuojantis elgesys (santrauką žr Lentelė 1). Norint teigti, kad specifinės nervų struktūros tarpininkauja specifiniams psichologiniams gebėjimams, pvz., Nukreipti į tikslą, elgesio būklė turi būti įvertinta naudojant tinkamus elgesio tyrimus. Jei ne, tai nesuvokdami, kad jų elgesio užduotys gali išmatuoti skirtingus reiškinius, pasielgti klaidingai, nes grupės ginčijasi dėl tinkamų nervinius veiksnius. Galų gale svarbu tai, ką gyvūnas iš tikrųjų mokosi, o ne tai, ką eksperimento vykdytojas mano, kad gyvūnas išmoksta, o tai, ką gyvūnas iš tikrųjų mokosi, gali atskleisti tik testai, tiesiogiai nustatantys mokymosi turinį.

Pavloviškas instrumentinis atskyrimas būtų buvęs nereikšmingas, jei gyvūnui būtų pavykę išmokti tą patį (tarkime, kad yra stimulo ir atlygio ryšys), nesvarbu, kokie yra eksperimentiniai susitarimai. Naudojant įprasčiausias šiuolaikines neuromokslų mokymosi priemones, paprasčiausiai nėra ką pasakyti. Taigi tyrėjai dažnai teigia tyrę į tikslą orientuotą elgesį, neištyrę, ar aptariamas elgesys iš tikrųjų nukreiptas į tikslą. Nors paprastai manoma, kad skirtingos mokymosi rūšys atsiranda dėl skirtingų „užduočių“ ar „paradigmų“, tyrėjai dažniausiai nepateikia tinkamo savo prielaidų pagrindimo.

Klasikinis šio klausimo pavyzdys yra labirintų naudojimas mokantis mokytis. Viena labirintų eksperimentų ir susijusių testų, kaip ir sąlygotos vietos pasirinkimo, problema yra sunkumas eksperimentiškai atskirti Pavlovijos (stimulas-atlygis) ir instrumentinių (veiksmas-atlygis) neapibrėžtumų įtaką elgesiui (Dickinson, 1994; Yin ir Knowlton, 2002). Taigi judėjimas per T labirintą norint gauti maisto galėtų atspindėti reagavimo strategiją (pasukite į kairę) arba tiesiog sąlyginį požiūrį į kažkokį ypač labirintą orientyrą, kurį kontroliuoja maisto produktų asociacija („Restle“, „1957“). Vienas iš būdų patikrinti, ar pastarasis vaidina vaidmenį spektaklyje, yra apversti labirintą; Dabar besimokantieji turėtų toliau pasukti į kairę, tuo tarpu tie, kurie naudojasi papildomais labirintais, turėtų pasukti į dešinę. Tačiau ar tie, kurie toliau sukasi į kairę, iš tikrųjų naudojasi reagavimo strategija, ar tik artėja prie kai kurių Viduje-maze užuomina, susijusi su maistu? Tai nėra paprastas dalykas išsiaiškinti, nes įprastus pavloviečių elgesio valdymo būdus negalima lengvai pritaikyti atliekant labirinto tyrimus. Vienas iš jų, dvikryptė kontrolė, nustato, kad gyvūnai gali kontroliuoti tam tikrą reakciją reikalaudami pakeisti atsako reakcijos kryptį, kad gautumėte atlygį („Hershberger“, „1986“; Heyesas ir Dawsonas, 1990). Deja, labirinte vis dar gali nepakakti atsakymo, jei norite, kad veiksmas būtų nukreiptas į tikslą, nes atvirkštinis pakeitimas gali būti įvykdytas, užmezgus esamus stimulų ir atlygio santykius ir pakeičiant juos kitu. Pvz., Žiurkė, artėjanti prie tam tikro vidinio labirinto, gali perversmo metu sužinoti, kad ji nebeatlyginama su atlygiu, bet kad yra koks nors kitas dirgiklis, todėl įgyja CR požiūrį į naują stimulą. Taigi jie, matyt, gali pakeisti savo atsakymą, niekada neužkodavę atsakymo ir atlygio nenumatytų atvejų. Kadangi šios galimybės praktiškai neįmanoma išbandyti, labirintais, vietos pasirinkimo procedūromis ar paprastomis lokomotorinėmis užduotimis mokytis į tikslą nukreiptų mokymosi procesų yra ypač pavojinga ir dėl to gali būti klaidingai apibūdinami elgesį kontroliuojantys procesai, taip pat specifinis bet kurio nervų sistemos vaidmuo. nustatyti procesai (Smith-Roe ir Kelley, 2000; Hernandez ir kt., 2002; Atallah ir kt., 2007).

Branduolio akumuliatoriai nėra būtini instrumentiniam mokymuisi

Dabartinio elgesio analizės neatitikimai ypač išryškėja tiriant branduolio akumuliatorius. Daugybė tyrimų rodo, kad ši struktūra yra kritiška norint pasiekti tikslą nukreiptus veiksmus (Hernandez ir kt., 2002; Goto ir Grace, 2005; Hernandez ir kt., 2005; Pothuizen ir kt., 2005; Taha ir laukai, 2006; Atallah ir kt., 2007; Cheer ir kt., 2007; Lerchner ir kt., 2007). Tačiau ši išvada padaryta remiantis vien tik veiklos pokyčių priemonėmis, naudojant užduotis, kuriose situaciją kontroliuojantis elgesys yra dviprasmiškas. Nors pastebėjimas, kad manipuliavimas trukdo įgyti tam tikrą elgesio reakciją, gali reikšti mokymosi trūkumą, jie taip pat gali atspindėti poveikį reakcijos inicijavimui ar motyvacijai. Pavyzdžiui, sverto nuspaudimo įsigijimo sutrikimas dažnai gali atspindėti poveikį veikimui, o ne mokymuisi (Smith-Roe ir Kelley, 2000). Vien tik įgijimo kreivės, kaip neišsamus bet kurio mokymosi proceso vaizdas, turi būti aiškinamos atsargiai (Gallistel ir kt., 2004). Deja, šiandien dažnai nepaisoma skirtumo tarp mokymosi ir atlikimo, turbūt seniausia mokymosi mokymosi pamoka.

Detalesnė analizė rodo, kad kaupiamieji instrumentai nėra nei būtini, nei pakankami instrumentiniam mokymuisi. Pakuotės apvalkalo pažeidimai nekeičia eksploatacinių savybių jautrumo rezultato nuvertėjimui (de Borchgrave et al., 2002; Corbit ir kt., 2001) arba instrumentinį nenumatytų atvejų pablogėjimą (Corbit ir kt., 2001), kadangi buvo nustatyta, kad akumuliatorių šerdies pažeidimai sumažina jautrumą devalvacijai nepakenkdami žiurkių jautrumui selektyviam instrumentinės būklės blogėjimui (Corbit ir kt., 2001). Kituose tyrimuose, kuriuose įvertinamas manipuliacijų su akumuliatoriais poveikis įgyjant naują reakciją kondicionuoto sutvirtinimo tyrimuose, nuolat nustatyta, kad poveikis yra susijęs su atlygiu, ypač padidėjusiam amfetamino veikimui, bet ne reaguojančiam įgyti per se (Parkinsonas). et al., 1999). Panašiai, sisteminiuose kardinolo ir Cheungo tyrimuose taip pat nenustatyta akumuliatoriaus šerdies pažeidimų įtakos svirties paspaudimo reakcijai pagal nenutrūkstamą sustiprinimo grafiką; pablogėjęs įsigijimas buvo pastebėtas tik su atidėtu armavimu (Kardinolas ir Cheungas, 2005).

Nors „accumbens“ neužkoduoja instrumentinio atsitiktinumo (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001 m), nemaži įrodymai rodo, kad ji vaidina pagrindinį vaidmenį instrumentinėje spektaklis, vaidmenį, kurį dabar galime geriau apibrėžti, atsižvelgiant į naujausius darbus. Kaip apibendrinta keliuose tyrimuose, akumuliatoriai yra kritiškai svarbūs tam tikrų tipų apetitiniam Pavlovijos kondicionavimui ir yra tarpininkaujantys ir nespecifiniam sužadinimo poveikiui, kurį su atlygiu susietos užuominos gali turėti instrumentinio atlikimo metu, ir rezultatams būdingiems šalutiniams efektams pasirenkant atsaką. pagal tokias užuominas. Šerdies arba priekinio apvalkalo, pagrindinio žievės įvesties į šerdį, pažeidimai arba šių dviejų struktūrų atsiribojimas trukdo įgyti Pavlovo požiūrį (Parkinson ir kt., 2000). Vietinė D1 tipo dopamino receptorių antagonisto arba NMDA gliutamato receptorių antagonisto infuzija iškart po treniruotės taip pat pablogino šią mokymosi formą ir nepaveikė jo efektyvumo (Dalley ir kt., 2005). Šie duomenys sutampa su in vivo nervų veikla. Pavyzdžiui, Carelli ir kolegos nustatė, kad neuronai, esantys „accumbens“ branduolyje, gali keisti savo veiklą sistemingai mokydamiesi Pavlovijos automatinio formavimo užduoties (Day et al., 2006; Diena ir Carelli, 2007).

Neuronai apvalkalo regione, atrodo, sureguliuoti pagal atlygį ir aversyvius dirgiklius, net prieš mokymosi patirtį; jie taip pat gali parengti atsakymus į CS, kurie prognozuoja šiuos rezultatus (Roitman ir kt., 2005). Be to, Berridge ir kolegų darbas iškėlė galimybę, kad tam tikri branduolio akumbenso lukšto regionai ir ventralinis palidumas gali būti apibūdinami kaip „hedoniniai hotspots“. Šios sritys tiesiogiai moduliuoja besąlygiškas hedonines reakcijas į atlygį, pvz., Skonio reaktyvumą. Pavyzdžiui, opioidinių receptorių agonistai šiuose regionuose gali žymiai sustiprinti inkstų skonio reaktyvumą sacharozei. Tačiau tokie labai lokalizuoti regionai yra įterpti į platesnius tinklus, kurie neturi vaidmens patiriamo apetito elgesyje (Taha ir laukai, 2005; Pecina ir kt., 2006; Taha ir laukai, 2006).

Skirtumas tarp branduolio ir lukšto santykinių vaidmenų yra vienas iš pasirengimo ir vartojimo apetito elgesio, kuris gali būti lengvai pakeistas patirtimi per atskirus Pavlovijos kondicionavimo tipus. Parengiamieji atsakymai, tokie kaip požiūris, yra susiję su bendros emocinės kokybės rezultatais, o vartojantis elgesys yra susijęs su specifiškesnėmis juslinėmis savybėmis; jie taip pat yra skirtingai jautrūs skirtingiems CS tipams, pvz., parengiamieji atsakai yra lengviau kondicionuojami ilgą laiką turintį stimulą.Konorski, 1967; Dickinson ir Dearing, 1979; Balleine, 2001; Dickinson ir Balleine, 2002).

Bet kokiu atveju, įrodymai, susiję su akmenimis kai kuriais Pavlovijos kondicionavimo aspektais, yra didžiuliai. Tačiau tai nėra vienintelė dalyvaujanti struktūra, o kiti tinklai, pavyzdžiui, susiję su įvairiais amigdaloidiniais branduoliais, taip pat vaidina pagrindinį vaidmenį tiek parengiamuosiuose, tiek vartojančiuose Pavlovijos sąlygose. (Balleine ir Killcross, 2006).

Viena iš funkcijų, kurios gali būti aiškiai priskirtos akrobenams, yra Pavlovų įtakos integravimas instrumentiniam elgesiui. Pavlovijos CR, įskaitant tuos, kurie atspindi centrinių motyvacinių būsenų aktyvavimą, pavyzdžiui, troškimą ir susijaudinimą, gali daryti didelę įtaką instrumentinių veiksmų vykdymui (Trapold ir Overmier, 1972; Lovibondas, 1983; Olandija, 2004). Pavyzdžiui, CS, kuris savarankiškai prognozuoja maisto pristatymą, gali padidinti instrumentinį atsakymą į tą patį maistą. Šis poveikis dažniausiai tiriamas naudojant Pavlovijos instrumentinio perdavimo paradigmą (PIT). PIT, gyvūnai gauna atskirus Pavlovijos ir instrumentinius treniruočių etapus, kuriuose jie savarankiškai mokosi susieti bičiulį su maistu ir paspaudžia tą patį maistą. Tuomet zondo tyrimuose yra rodomas galas, ir matuojamas atsako dažnio padidėjimas esant CS. Nustatytos dvi PIT formos; vienas buvo susijęs su paprastai su atlygiu susijusių užuominų sukeliamu poveikiu ir antruoju labiau selektyviu poveikiu pasirinkimo veikimui, kurį sukuria nuspėjamojo dėklo nuspėjamoji būsena, atsižvelgiant į vieną konkretų atlygį, kitaip nei kiti. „Accumbens“ apvalkalas yra būtinas šiam paskutiniam rezultatui būdinga PIT forma, tačiau tai nėra būtina ankstesniam, bendresnei formai ir jautrumui rezultato nuvertinimui; priešingai, „accumbens“ branduolio pažeidimai sumažina jautrumą tiek rezultato devalvacijai, tiek bendrajai PIT formai, tačiau palieka nepažeistą rezultatui būdingą PIT (Corbit ir kt., 2001; (Balleine ir Corbit, 2005).

Neseniai atliktas tyrimas suteikė papildomos informacijos apie „accumbens shell“ vaidmenį konkrečiame PIT (Wiltgen ir kt., 2007). Kontroliuojama aktyvios kalcio / kalmodulino priklausomos baltymų kinazės II (CaMKII) ekspresija striatume nepaveikė instrumentinio ar Pavlovijos mokymosi, bet panaikino specifinį PIT. Šis PIT deficitas nebuvo nuolatinis ir galėjo būti panaikintas išjungiant transgeno ekspresiją doksiciklinu, parodant, kad deficitas buvo susijęs tik su našumu. Todėl dirbtinai didinant CaMKII lygį striatume blokuojamas rezultatui būdingas skatinamojo motyvacijos perkėlimas iš Pavlovijos į instrumentinę sistemą. Įdomu tai, kad CaMKII transgeno įjungimas taip pat sumažino neuronų gebėjimą susikaupti akumbenso lukštuose, nedarant įtakos bazinei transmisijai ar sinaptiniam stiprumui.

Nugaros striatumas

Nugaros striatumas, taip pat žinomas kaip neostriatum arba caudate-putamen, gauna didžiules projekcijas iš vadinamojo neocortex. Jis gali būti toliau suskirstytas į asociatyvų regioną, kuris graužikams yra labiau medialus ir nepertraukiamas su ventraliniu striatumu, ir sensorinis zondas, kuris yra labiau šoninis (Groenewegen ir kt., 1990; Joel ir Weiner, 1994). Apskritai, nugaros striatumą innervuoja DA ląstelės iš materia nigra pars compacta (SNc) ir gauna tik mažas projekcijas iš VTA DA neuronų (Joel ir Weiner, 2000). Ankstesnis darbas, susijęs su nugaros striatumu, daugiausia buvo sutelktas į jo vaidmenį stimuliavimo ir atsako (SR) įpročių mokymosi procese (Milleris, 1981; Balta, 1989). Šis požiūris grindžiamas galiojančia teise, pagal kurią atlygis veikia stiprinant arba sustiprinant SR ryšį tarp aplinkos stimulų ir atsako, kurio rezultatas yra tendencija, kad šis atsakas didėja, kai jie dalyvauja. dirgiklius (Thorndike, 1911; Korpusas, 1943; Milleris, 1981). Taigi, manoma, kad kortikosterientinis kelias tarpininkauja SR mokymuisi, o DA veikia kaip stiprinimo signalas (Milleris, 1981; Reynolds ir Wickens, 2002).

SR modeliai turi pranašumą, nes jame yra vienkartinė taisyklė mokymuisi versti į rezultatus. Priešingai, su veiksmais susijusioms lūkesčiams pagrįstas modelis yra sudėtingesnis, nes tikėjimas „A veiksmas veda į rezultatą O“ nebūtinai turi būti paverstas veiksmais (Guthrie, 1935; Mackintosh, 1974); tokios rūšies informacija gali būti naudojama ir „A“, ir siekiant išvengti „A“. Dėl šios priežasties tradicinės teorijos nuslėpė akivaizdžiausią paaiškinimą - būtent tai, kad gyvūnai gali įgyti veiksmų rezultato sąlygą, kuri vadovauja pasirinkimo elgsenai. Tačiau per pastaruosius kelis dešimtmečius buvo iš esmės persvarstyta galiojanti teisė (Adams, 1982; Colwill ir Rescorla, 1986; Dickinson, 1994; Dickinson ir kt., 1996). Tdaugelio tyrimų rezultatai parodė, kad instrumentiniai veiksmai gali būti tikrai tiksliniai, ty jautrūs atlygio vertės pokyčiams, taip pat veiksmo priežastinis veiksmingumas. (žr. Dickinson & Balleine, 1994; 2002; Balleine, 2001 peržiūrėti). Nepaisant to, vykstant plataus mokymo metu pastoviomis sąlygomis, net naujai įgyti veiksmai gali tapti santykinai automatiniai ir paskatinti - tai procesas, vadinamas įpročiu (Adams ir Dickinson, 1981; Adams, 1982; Yin ir kt., 2004). Taip apibrėžti įpročiai, kuriuos automatiškai lemia ankstesni stimulai, nekontroliuoja tikėtinas rezultatas ar reprezentacija; dėl to jie yra nepralaidūs rezultato vertės pokyčiams. Dėl šios priežasties galiojantys teisės aktai yra ypatingas atvejis, taikomas tik įprastajam elgesiui.

Dabartinė instrumentinės elgsenos klasifikacija ją skirsto į dvi klases. Tpirmąją klasę sudaro tiksliniai nukreipti veiksmai, kontroliuojami instrumentiniu nenumatytais atvejais; antroji, įprasta elgsena, neapdorota rezultatų vertės pokyčiams (Lentelė 1). Naudodamas elgsenos testus, tokius kaip rezultato devalvacija ir instrumentinis nenumatytasis degradavimas, Yin ir kt. Nustatė funkcinį disociaciją tarp dorsalinės stiatos jutiklio (dorsolaterinio striatumo, DLS) ir asociatyvių regionų (dorsomedial striatum, DMS) (Yin ir Knowlton, 2004; Yin ir kt., 2004, 2005a; Yin ir kt., 2005b; Yin ir kt., 2006a). DLS pažeidimai pakenkė įpročių vystymuisi, o tai lėmė tiksliau nukreiptą elgesio kontrolės režimą. DMS pažeidimai turi priešingą poveikį ir sukelia perėjimą nuo tikslo nukreiptos į įprastinę kontrolę. Todėl Yin ir kt. Padarė išvadą, kad DLS ir DMS gali būti funkcionaliai susiskaldę pagal jų palaikomas asociatyvių struktūrų tipą: DLS yra labai svarbus įpročio formavimui, o DMS yra labai svarbus norint įgyti ir išreikšti tikslinius veiksmus. Ši analizė numato, kad tam tikromis sąlygomis (pvz., Išplėstinis mokymas) veiksmų kontrolė gali pereiti nuo nuo DMS priklausančios sistemos prie DLS priklausančios sistemos, kuri yra plačiai sutinkanti su didele literatūra apie primatus, įskaitant žmogaus neurografiją (Hikosaka ir kt., 1989; Jueptner ir kt., 1997a; Miyachi ir kt., 1997; Miyachi ir kt., 2002; Delgado ir kt., 2004; Haruno ir kt., 2004; Tricomi ir kt., 2004; Delgado ir kt., 2005; Samejima ir kt., 2005; Haruno ir Kawato, 2006a, b; Lohrenz ir kt., 2007; Tobler ir kt., 2007). Žinoma, reikėtų prisimintikepurė fizinė vieta (pvz., nugaros ar ventralinė) negali būti patikimas vadovas lyginant graužikų striatumą ir primityvų striatumą; tokie palyginimai turi būti atliekami atsargiai, atidžiai išnagrinėjus anatominį ryšį.

Nugaros smegenų pažeidimų poveikį galima palyginti su akumbensų pažeidimų poveikiu (Smith-Roe ir Kelley, 2000; Atallah ir kt., 2007). Kaip jau minėta, standartiniai bandymai, kaip nustatyti elgesį kaip „tikslinius“, yra rezultato nuvertinimas ir veiksmų rezultatų nenumatytų atvejų blogėjimas (Dickinson ir Balleine, 1993). DMS pažeidimai daro elgesį nejautrus abiems manipuliacijoms (Yin ir kt., 2005b), tuo tarpu „accumbens“ branduolio ar korpuso pažeidimai (\ tCorbit ir kt., 2001). Be to, šių elgsenos tyrimų bandomieji testai paprastai atliekami išnykiant be jokio atlygio, siekiant įvertinti, ką gyvūnas išmoko be užteršimo naujuoju mokymu. Tokiu būdu jie tiesiogiai tiria reprezentacinės struktūros kontrolę. Kaip papildoma eksperimentinė kontrolė dažnai yra naudinga atlikti atskirą devalvacijos testą, kuriame faktiškai gaunami atlygiai - vadinamasis „apdovanotas testas“. DMS pažeidimai nepanaikino jautrumo rezultatams nuvertėjusio testo metu, kaip turėtų būti tikimasi, nes nuvertėjusio rezultato, priklausančio nuo veiksmo, pristatymas gali sustabdyti veiksmą nepriklausomai nuo veiksmų rezultato kodavimo. Kita vertus, „Accumbens“ lukštų pažeidimai nepablogino jautrumo rezultatams nuvertinti nei išnykimo bandymo, nei už atlygį įvertinto testo, o „accumbens“ pagrindiniai pažeidimai panaikino abiejų testų jautrumą devalvacijai.Corbit ir kt., 2001). Tačiau jautrumas nenumatytam degradavimui nebuvo paveiktas nei vieno pažeidimo, o tai parodė, kad po akumbensų pažeidimų žiurkės sugebėjo koduoti ir gauti veiksmų rezultatų reprezentacijas.

Dopamino vaidmuo: mezolimbinė ir nigrostrinė

Nuo pat pirmaujančių tyrimų, susijusių su DA neuronų faziniu aktyvumu beždžionėse, įprasta prielaida šioje srityje yra ta, kad visos DA ląstelės elgiasi iš esmės tokiu pačiu būdu (Schultz, 1998a; Montague ir kt., 2004). Tačiau turimi duomenys ir anatominis ryšys rodo kitaip. Tiesą sakant, aukščiau minėta striatumo funkcinės heterogeniškumo analizė gali būti išplėsta ir į DA ląsteles, esančias vidurio smegenyse.

DA ląsteles galima suskirstyti į dvi pagrindines grupes: VTA ir materia nigra pars compacta (SNc). Nors projekcija iš „VTA“ į „accumbens“ buvo dėmesio centre, susijusiame su mokymusi, susijusiu su atlyginimais, daug masyvesnis nigrostriatalas yra gana apleistas, daugiausia dėmesio skiriant jos vaidmeniui Parkinsono ligoje. Dabartinė mintis apie DA mokymąsi labai paveikė pasiūlymas, kad fazinis DA ląstelių aktyvumas atspindi atlyginimų prognozavimo klaidąr (Ljungberg ir kt., 1992; Schultz, 1998b). labiausiai paplitusios Pavlovijos kondicionavimo užduoties, kurią naudoja Schultzas ir kolegos, metu, šie neuronai užsidega atsakydami į atlygį (JAV), tačiau, mokantis, JAV sukelta veikla yra perkelta į CS. Kai po mokymosi JAV praleidžiama, DA ląstelės rodo trumpą aktyvumo sumažėjimą numatomu jo pristatymo laiku (Waelti ir kt., 2001; Fiorillo ir kt., 2003; Tobler ir kt., 2003). Tokie duomenys yra įvairių skaičiavimo modelių pagrindas (Schultz ir kt., 1997; Schultz, 1998b; Brown et al., 1999; Montague ir kt., 2004).

Atsižvelgiant į tai, kad sintezės ir atpalaidavimo mechanizmai yra valdomi daugeliu lygių, DA neuronų atsiradimas negali būti prilyginamas DA išskyrimui, nors tikėtina, kad šios dvi priemonės yra labai koreliuojamos. Iš tiesų, kaip rodo neseniai atliktas Carelli ir kolegų tyrimas, naudojant greitojo nuskaitymo ciklinį voltammetriją, atrodo, kad faktinis DA išleidimas „accumbens“ branduolyje yra koreliuojamas su prognozavimo klaida apetitiniame Pavlovijos kondicionavime (Day et al., 2007). Iš karto po sacharozės atlyginimo Pavloviano automatinio formavimo metu jie rado fazinį DA signalą. Išplėstas Pavlovijos kondicionavimas, tačiau šis signalas nebebuvo aptiktas pats už atlygį, o vietoj to buvo perkeltas į CS. Ši išvada palaiko pradinę „prognozavimo klaidos“ hipotezę. Jis taip pat atitinka ankstesnį darbą, rodantį pavogus Pavlovijos CR veikimą po DA receptorių antagonizmo arba DA išsekimo akumbenso šerdyje (Di Ciano et al., 2001; Parkinson ir kt., 2002). Tačiau vienas tyrime pateiktas stebėjimas yra naujas ir labai įdomus: po išplėstinio kondicionavimo CS +, kuris prognozuoja atlygį ir CS-, kuri neprognozuoja atlygio, panašus, nors ir mažesnis, DA signalas taip pat buvo stebimas po CS-, nors po pradinės smailės (500 ~ 800 milisekundės po pradžios pradžios) jis taip pat parodė šiek tiek kritimo (Diena ir kt., 2007, 4 pav.). Šiuo mokymosi etapu gyvūnai beveik niekada nesikreipia į CS−, tačiau nuosekliai kreipiasi į CS +. Taigi fazinis DA signalas iš karto po prognozuotojo gali nesukelti priežastinio vaidmens kuriant artėjimo atsaką, nes jis yra net ir tada, kai nėra atsako. Ar toks signalas vis dar būtinas norint išmokti stimulo ir atlygio kontingentą lieka neaiškus, tačiau pastebėtas fazinis atsakas į CS− tikrai nėra numatomas nė viename iš dabartinių modelių.

Įdomu tai, kad vietinis DA išeikvojimas kenkia šios užduoties atlikimui (Parkinson ir kt., 2002). Fazinis DA signalas stebimas po to, kai CS−, kuris visai nesukuria CR, fazinės ir toninės DA panaikinimas vietiniu išeikvojimu kenkia CR veikimui. Toks modelis leidžia manyti, kad fazinis DA signalas akmenyse nėra reikalingas Pavlovijos CR veikimui, tačiau gali vaidinti mokymąsi, o lėtesnis, toniškesnis DA signalas (tikriausiai panaikintas išeikvojimo tyrimuose) yra svarbesnis veikimui. atsakymo atsakymas (Cagniard ir kt., 2006; Yin ir kt., 2006b; Niv et al., 2007). Ši galimybė dar turi būti išbandyta.

Nors nėra tiesioginių įrodymų dėl fazinio DA signalo priežastinio vaidmens mokymosi procese, „prognozavimo klaidos“ hipotezė vis dėlto pritraukė daug dėmesio, nes būtent mokymosi signalas naudojamas žinomuose mokymosi modeliuose, pvz., „Rescorla-Wagner“ modelis ir jo pratęsimas realiuoju laiku, laiko skirtumo stiprinimo mokymosi algoritmas (Schultz, 1998b). Pagal šį aiškinimą apetitinį mokymąsi lemia skirtumas tarp gauto ir tikėtino atlygio (arba tarp dviejų laikinai paskesnių atlygio prognozių). Toks mokymo signalas reguliuojamas neigiamu grįžtamuoju ryšiu iš visų atlygio prognozių (Schultz, 1998b). Jei negaunamas atlygis po prognozuotojo, tada neigiamo grįžtamojo ryšio mechanizmas yra atskleistas kaip DA neuronų aktyvumo kritimas. Taigi mokymasis apima laipsnišką prognozavimo klaidos mažinimą.

Mokomojo signalo elegancija šiuose modeliuose galbūt išsiblaškė kai kuriuos iš anatominės realybės. Tyrime Diena ir kt. (2007), DA signalas „accumbens“ dažniausiai atsiranda iš VTA ląstelių, bet atrodo mažai tikėtina, kad kitos DA ląstelės, turinčios visiškai skirtingą anatominį ryšį, parodytų tą patį atsako profilį ir suteiktų tą patį signalą. DA ląstelių signalo gradientas yra labiau tikėtinas, nes DA ląstelės projektuoja skirtingus striatų regionus, turinčius visiškai skirtingas funkcijas, ir savo ruožtu gauna skirtingus neigiamus grįžtamuosius signalus iš skirtingų striatų regionų (Joel ir Weiner, 2000; Wickens ir kt., 2007). Įsiurbimo ir degradacijos mechanizmai, taip pat presinaptiniai receptoriai, reguliuojantys dopamino išsiskyrimą, taip pat rodo didelį skirtumą tarp striatumo (Cragg ir kt., 2002; Ryžiai ir Cragg, 2004; Wickens ir kt., 2007; Ryžiai ir Cragg, 2008).

Todėl mes siūlome, kad mezoaccumbens kelias vaidintų labiau ribotą vaidmenį Pavlovijos mokymosi procese, įgyjant valstybių ir stimulų vertę, o nigrostriatrijos kelias yra svarbesnis instrumentiniam mokymuisi, įgyjant veiksmų vertes. T„hat“ yra, fazinis DA signalas gali koduoti skirtingas prognozavimo klaidas, o ne vieną prognozavimo klaidą, kaip šiuo metu manoma. Šį argumentą palaiko trys įrodymų eilutės. Pirma, genetinis DA išeikvojimas nigrostriatrijos trasoje silpnina instrumentinių veiksmų įsigijimą ir veikimą, o DA išeikvojimas mezolimbiniame take nėra (Sotak ir kt., 2005; Robinson ir kt., 2007). Antra, DAc ląstelės SNc gali koduoti veiksmų, panašių į jų tikslinės striatros srities ląsteles, vertę (Morris ir kt., 2006). Trečia, selektyvus nigrostriumo projekcijos į DLS pažeidimas sumažina įpročių formavimąsi (Faure ir kt., 2005).

Palmiterio ir kolegų neseniai atliktas darbas parodė, kad genetiškai modifikuotų DA trūkumų turinčios pelės yra smarkiai pažeistos instrumentinio mokymosi ir veikimo metu, tačiau jų veikimą galima atkurti arba L-DOPA injekcijomis, arba viruso genų pernešimu į nigrostrialią kelią (Sotak ir kt., 2005; Robinson ir kt., 2007). Priešingai, DA atkūrimas ventralinėje stiatumoje nebuvo būtinas norint atkurti instrumentinį elgesį. Nors DA signalai įgalina instrumentinį mokymąsi lieka atviras klausimas, viena akivaizdi galimybė yra tai, kad ji galėtų koduoti savarankiškai inicijuotų veiksmų vertę, ty kiek atlygis yra numatomas atsižvelgiant į konkretų veiksmų eigą.

Dorsalinė striatum, kaip visuma, turi didžiausią DA receptorių ekspresiją smegenyse ir gauna didžiausią dopaminerginę projekciją. DA projekcija į DMS gali vaidinti skirtingą vaidmenį mokymosi procese nei projekcija į DLS, nes šie du regionai labai skiriasi DA išleidimo, įsisavinimo ir degradacijos laikinuoju pobūdžiu (Wickens ir kt., 2007). Mes manome, kad DA projekcija į DMS iš medialinio SNc yra lemiama veiksmo rezultato mokymuisi, o DA projekcija į DLS iš šoninio SNc yra labai svarbi įpročio formavimui. Jei tai būtų tiesa, reikia tikėtis, kad SNc ląstelės SNc koduoja klaidos prognozavimo klaidą, pagrįstą savarankiškai sukurtais veiksmais - instrumentine prognozavimo klaida, o ne CS pagrindu. Preliminarūs įrodymai, pagrindžiantys šį teiginį, atsirado iš neseniai atlikto Morris ir kt. Atlikto tyrimo, kuris užregistruotas iš SNc neuronų instrumentinės mokymosi užduoties metu (Morris ir kt., 2006). Be to, beždžionės buvo mokomos perkelti savo ginklus, reaguojant į diskriminacinį stimulą (S^D), kuris parodė tinkamą judėjimą ir atlygio tikimybę. S^D pasireiškė fazinis aktyvumas DA neuronuose, atitinkančiuose veiksmo vertę, atsižvelgiant į tikėtiną konkretaus veiksmo atlygio tikimybę. Labiausiai įdomu, nors DA atsakas į S^D padidėjo su veiksmo verte, atvirkščiai buvo tiesa DA atsakymui į pačią premiją, atitinkančią idėją, kad šie neuronai kodavo numatomą klaidą, susijusią su ta verte. Nenuostabu, kad yra žinoma, kad šių ląstelių pirminis striatalo taikinys, caudatinis branduolys, turi neuronų, kurie koduoja veiksmų reikšmes (Samejima ir kt., 2005). Vis dėlto reikėtų pažymėti, kad šiame tyrime nenaudojamos elgesio užduotys, kurios vienareikšmiškai vertina veiksmų vertę. Aiškus mūsų modelio prognozavimas yra tas, kad veiksmai bus atliekami fazinės DA veiklos metu, net jei nėra aiškios S^D. Pvz., Mes prognozuojame nigralinių DA neuronų šaudymą į savęs inicijuotą veiksmą, už kurį gaunamas atlygis.

Mūsų nuomone, kadangi mesoaccumbens DA signalas atspindi CS vertę, nigrostriali signalas, galbūt iš tų neuronų, kurie nukreipia į DMS, atspindi paties veiksmo vertę, arba bet kokio S^D tai prognozuoja šią vertę. Be to, atrodo, kad tiek instrumentinis, tiek Pavlovijos mokymasis apima tam tikrą neigiamą grįžtamąjį ryšį, kad būtų galima kontroliuoti efektyvų mokymo signalą. Tiesą sakant, tiesioginės projekcijos nuo striatumo iki vidurio smegenų neuronų (2 pav) jau seniai siūloma kaip tokio tipo neigiamų atsiliepimų neuronų įgyvendinimas (Houk ir kt., 1995), o slopinančio indo stiprumas ir pobūdis regione gali labai skirtis.

  

2 pav

Kortikos bazinių ganglijų tinklai

Prognozavimo klaida pagal dabartinius modelius yra mokymo signalas, kuris lemia, kiek mokymosi vyksta. Kol jis yra, mokymasis tęsiasi. Tačiau akivaizdu, kad šis teiginys pasirodo, kad veiksmo vertės prognozavimo klaida, nors ir sintaksiškai panaši į Pavlovijos prognozavimo klaidą, turi unikalių savybių, kurios nebuvo išsamiai ištirtos. Tradiciniuose modeliuose, tokiuose kaip „Rescorla-Wagner“ modelis, kuris skirtas tik „Pavlovijos“ kondicionavimui (nors ir su maža sėkme), pagrindinis bruožas yra neigiamas grįžtamasis ryšys, reguliuojantis prognozavimo klaidą. Ši išvestis atspindi įgytą prognozę, tiksliau - suma visų dabartinių prognozių, kaip užfiksuoti junginių stimulai, paprastai naudojami blokuojant eksperimentus (Rescorla, 1988). Būtent šis galimų prognozių apibendrinimas sukuria pasaulinį klaidų terminą, kuris yra pagrindinė šios klasės klasės naujovė. Tačiau instrumentiniams veiksmams individualūs klaidų terminai atrodo labiau tikėtini, nes sunku suprasti, kaip neigiamas grįžtamasis ryšys vienu metu parodytų keleto veiksmų vertę, kai vienu metu galima atlikti tik vieną veiksmą. Žinoma, egzistuoja keletas galimų sprendimų. Pavyzdžiui, atsižvelgiant į konkrečią būseną (eksperimentiškai įgyvendinama atskiru S^D), galimi veiksmų kursai iš tiesų galėtų būti vienu metu reprezentuojami kaip įgytos prognozės. Tačiau pagrindiniai sunkumai, susiję su instrumentinės prognozės klaidomis, yra susiję su paties veiksmo pobūdžiu. Pavlovijos prognozė automatiškai seka nuo organizmo nepriklausomą stimulą. Instrumentinė prognozavimo klaida turi būti susijusi su kontrolės elementu, nes prognozė pati savaime yra kontingentinė, o apgalvotas veiksmas spontaniškai skleidžiamas remiantis gyvūnų veikimo rezultatais, o ne atsiradusiais iš ankstesnių stimulų. Galų gale, būtent bendras nežinomybės ir psichologijos veiksmų, nukreiptų į tikslinę veiklą, spontaniško pobūdžio ignoravimas atskleidė skirtumą tarp Pavlovijos ir instrumentinių mokymosi procesų ir susijusių prognozavimo klaidų pobūdžio. Todėl dar reikia nustatyti, kokio tipo neigiamo grįžtamojo ryšio signalas, jei toks yra, reguliuoja veiksmų verčių įgijimą (Dayanas ir Balleinas, 2002).

Galiausiai, neseniai atliktas darbas taip pat buvo susijęs su nigrostrialios projekcijos iš šoninės SNc į DLS konkrečiai įpročio formavimu. Faure et al selektyviai pažeidė DA ląsteles, nukreipiančias į DLS, naudodamas 6-OHDA, ir nustatė, kad šis manipuliavimas stebėtinai mažai veikia svirties paspaudimo greitį, nors jis sumažino įpročio formavimąsi, matuojant naudojant rezultatų devalvaciją (Faure ir kt., 2005). Tai reiškia, kad pažeisti gyvūnai reagavo tiksliniu būdu, nors kontrolinėje grupėje mokymas sukėlė įprasto elgesio, kuris nėra jautrus rezultato devalvacijai. Vietinis DA išeikvojimas panašus į DLS eksitotoksinius pakitimus, nes abu manipuliacijos stabdo įpročio formavimąsi ir padeda siekti tikslinių veiksmų (Yin ir kt., 2004). Fazinis DA signalas, lemiantis įpročio formavimąsi, jau yra gerai aprašytas efektyviu sustiprinimo signalu šiuolaikiniuose laikinųjų skirtumų stiprinimo mokymosi algoritmuose, kuriuos įkvėpė Halo ir Spence'o darbai (Korpusas, 1943; „Spence“, „1947“, 1960; Sutton ir Barto, 1998).

Kortikos bazinių ganglijų tinklai

Iki šiol aptarėme funkcinį nevienalytiškumą striatume, tačiau būtų klaidinga teigti, kad bet kuri striatų sritis galėtų, tarkim, išversti veiksmo rezultato sąlygą į veiksmo atlikimą. Atvirkščiai, smegenų pusrutuliai yra organizuojami kaip iteraciniai funkciniai vienetai, susidedantys iš kortikos bazinių ganglijų tinklų (Swanson, 2000; Zahm, 2005). Tjis striatumas, kuris yra visos bazinės ganglijos įvažiavimo stotis, tarnauja kaip unikalus centras kortikos bazinio ganglijų tinklo motyve, galinčiame integruoti kortikos, talamo ir vidurio smegenų įėjimus. Kaip aprašyta aukščiau, nors tai yra nepertraukiama struktūra, skirtingi striatų regionai, atrodo, dalyvauja skirtinguose funkciniuose tinkluose, pvz., Accumbens veikia kaip limbinio tinklo mazgas ir DLS jutiklio tinkle. Tačiau dėl tokių tinklų pernelyg didelių savybių, nė viena šios struktūros sudedamoji dalis nėra absoliučia prasme aukštyn ar žemyn; pvz., talamokortikinė sistema yra pagrindinis šaltinis striatumui ir tiek striato-pallidinio, tiek striato-nigralinio kelio tikslas.

Nors lygiagrečios bazinės ganglijos kilpos jau seniai pripažįstamos (Alexander ir kt., 1986), pabrėžiame atskirus funkcinius šių grandinių vaidmenis, pagrįstus operatyviai apibrėžtomis reprezentacinėmis struktūromis ir grandinių sąveika generuojant integracinį elgesį. Tuo remiantis galima išskirti mažiausiai keturis tokius tinklus: limbinius tinklus, kuriuose yra atitinkamai „accumbens“ korpusas ir šerdis, asociatyvųjį tinklą, apimantį asociatyvųjį striatumą (DMS), ir jutiklinį tinklą, apimantį „sensorimotor striatum“ (DLS). Jų funkcijos priklauso nuo apetitinių Pavlovijos UR ir CR kontrolės tarp instrumentinių veiksmų (1 pav).

  

1 pav

Pagrindinės striatumo funkcinės sritys. Striatumo iliustracija iš koroninės sekcijos, rodanti pusę smegenų (Paxinos ir Franklin, 2003). Atkreipkite dėmesį, kad šios keturios funkcinės sritys yra anatomiškai tęstinės ir maždaug atitinka tai, kas ...

Kaip jau minėta, ventralinė striatum daugiausia susideda iš branduolių accumbens, kurie gali būti toliau suskirstyti į apvalkalą ir šerdį, kurių kiekvienas dalyvauja atskirame funkciniame tinkle. Žievės (glutamaterginės) projekcijos į korpusą kyla iš infralimbinių, centrinių ir šoninių orbitinių žievės, o išilginės šerdies iškyšos kyla iš labiau nugaros vidurio linijos prefrontalinės žievės, kaip ventralinės ir dorsalinės prelimbinės ir anteriorinės cinguliosios kekės (Groenewegen ir kt., 1990; Zahm, 2000, 2005). Šiuose funkcijų tinkluose pateikti įrodymai leidžia manyti, kad apvalkalas yra susijęs su UR ir gauna naudos bei įsigyjančias CR; žvalgomojo elgesio pagrindas, ypač Pavlovijos požiūrio atsakymų įgijimas ir išraiška. Bent dviejuose pagrindiniuose tinkluose galima pastebėti didesnį ventralinį ar limbinį cortico-bazalinį ganglijų tinklą, vieną vartojantiems ir kitą parengiamąjį elgesį ir jų modifikavimą Pavlovijos kondicionavimo sistemoje (1 pav).

Nugaros striatumas taip pat gali būti suskirstytas į mažiausiai du pagrindinius regionus, asociatyvųjį ir jutiklinį jutiklį, su atskiru funkciniu tinklu, susietu su kiekvienu. Asociatyvus striatumas (caudatė ir priekinių putamen dalių dalys primatuose) turi neuronų, kurie užsidega, kai tikimasi, kad atsakas už atlygį bus atlygintas, ir keičia jų šaudymą pagal numatomo atlygio dydį (Hikosaka ir kt., 1989; Hollerman ir kt., 1998; Kawagoe ir kt., 1998). Asociatyviniame tinkle prefroninės ir parietinės asociacijos kortelės ir jų tikslai DMS dalyvauja laikinojoje atmintyje, tiek perspektyvioje, tiek rezultato laukimo formoje, tiek retrospektyviai, kaip naujausių efektų kopijų (Konorski, 1967). Antra vertus, jutiklio jutiklio lygis apima sensorinius variklius ir jų taikinius baziniame ganglijoje. Šios grandinės išėjimai yra nukreipti į motorinių korpusų ir smegenų kamieninių variklių tinklus. Neuroninis aktyvumas sensorimotoriniame striatume paprastai nėra moduliuojamas pagal atlyginimų tikimybę, rodantį didesnį judesio aktyvumą nei neuronai asociatyviniame striatume (Kanazawa ir kt., 1993; Kimura ir kt., 1993; Costa ir kt., 2004). Galiausiai, be medialinio ir šoninio gradiento, yra didelė funkcinė heterogeniškumas palei priekinę ir galinę nugaros striatumo ašį, nors šiuo metu nėra pakankamai duomenų, leidžiančių atlikti išsamią klasifikaciją (Yin ir kt., 2005b).

Iki šiol studijos buvo sutelktos tik į šių tinklų kortikos ir striatrijos komponentus. Apskritai žievės zonos pažeidimai turi panašų poveikį, kaip ir jo striatūros taikinio pažeidimai.Balleine ir Dickinson, 1998; Corbit ir Balleine, 2003; Yin ir kt., 2005b). Tačiau kiti tinklo komponentai galėtų atlikti panašias funkcijas. Pavyzdžiui, nustatyta, kad thalamus mediodorsalinio branduolio, asociatyvaus tinklo komponento, pažeidimai panaikina jautrumą rezultato nuvertinimui ir nenumatytam degradavimui, panašiai kaip pažeidimai DMS ir prelimbinei žievei (Corbit ir kt., 2003). Taigi, nors mūsų bendrasis modelis prognozuoja panašius elgesio trūkumus po kiekvieno tinklo komponento pažeidimo, jis taip pat siūlo bet kuriai struktūrai, pvz., Pallidumui arba talamui, kelis funkcinius domenus.

Tinklų sąveika

Daugeliu atvejų Pavlovijos ir instrumentinis mokymasis vyksta lygiagrečiai. Tačiau tokie reiškiniai kaip PIT rodo, kokiu mastu šie skirtingi procesai gali sąveikauti. Nustačius nepriklausomas funkcines sistemas, kitas žingsnis yra suprasti, kaip šios sistemos koordinuojamos siekiant sukurti elgesį. Vienas patrauklus pasiūlymas, atitinkantis neseniai atliktą anatominį darbą, yra tas, kad pirmiau aprašyti tinklai yra hierarchiškai organizuoti, kiekvienas tarnauja kaip labili, funkcinė tarpininkė hierarchijoje, leidžianti informacijai skleisti iš vieno lygio į kitą. Visų pirma neseniai atrasti spiraliniai ryšiai tarp striatumo ir vidurio smegenų rodo, kad anatominė organizacija gali potencialiai įgyvendinti tinklų sąveiką (2 pav). Kaip pastebėjo Haberas ir kolegos, striatų neuronai siunčia tiesiogines slopinančias projekcijas į DA neuronus, iš kurių jie gauna abipusę DA projekciją, ir taip pat projektuoja DA neuronus, kurie savo ruožtu projektuoja į kitą striatrių sritį (Haber et al., 2000). Šios projekcijos leidžia perduoti informaciją tik viena kryptimi, nuo limbinių tinklų iki asociatyvių ir sensorių tinklų. Pvz., Pavlovijos prognozė (CS vertė) gali sumažinti efektyvų mokomąjį signalą limbiniu lygiu, tuo pačiu metu stiprinant DA signalą kitame lygyje. Efektyvaus mokymo signalo atšaukimas paprastai įgyvendinamas neigiamo grįžtamojo ryšio signalu per slopinančią projekciją, pavyzdžiui, iš GABAerginių vidutinio spyglių projekcinių neuronų nuo striatumo iki DA neuronų. Tuo tarpu, kaip siūlo anatominė organizacija (Haber et al., 2000; Haber, 2003), DA signalo potencialas kaimyniniam cortico-basal ganglijos tinklui (kitas lygis hierarchijoje) gali būti įgyvendintas per disinhibuojančias projekcijas (ty GABAerginių striatų projekcijos neuronų į nigralinius GABAerginius interneuronus į DA neuronus). Taigi, limbinio tinklo išmanytoji vertė gali būti perkelta į asociatyvų tinklą, leidžiant patikslinti ir sustiprinti elgesio pritaikymą kiekvienam iteracijai (Ashby, 1960). Todėl šis modelis numato, kad įvairūs neuronų tinklai bus palaipsniui įtraukti į įvairius mokymosi etapus;Jueptner ir kt., 1997b; Miyachi ir kt., 1997; Miyachi ir kt., 2002; Yin, 2004; Everitt ir Robbins, 2005; Yin ir Knowlton, 2005; Belin ir Everitt, 2008).

Tokie reiškiniai, kurie reikalauja skirtingų funkcinių procesų, pvz., PIT, sąveikos, yra tinkamas bandymų pagrindas. Iš tiesų, hierarchinis modelis atitinka naujausius eksperimentinius duomenis apie PIT. Pagal modelį, Pavlovijos instrumentinė sąveika tarpininkauja tarp striatumo ir DA neuronų tarpusavio ryšių. DA, atrodo, yra labai svarbus bendram perdavimui, kurį panaikina DA antagonistai ir vietinė VTA inaktyvacija (Dickinson ir kt., 2000; Murschall ir Hauber, 2006); kadangi vietinė amfetamino infuzija, kuri greičiausiai padidina DA koncentraciją į akmenis, gali jį gerokai padidinti (Wyvell ir Berridge, 2000). Kita vertus, ventralinės striatrijos dopamino vaidmuo specifiniame pernešime yra mažiau aiškus. Kai kurie įrodymai leidžia manyti, kad po to, kai VTA buvo inaktyvuota, jis gali būti \ tCorbit ir kt., 2007), bet, kaip Corbit ir Janak (2007) neseniai pranešta, kad specifinis perkėlimas panaikinamas inaktyvuojant DLS, o tai rodo, kad šis stimulų kontrolės aspektas, susijęs su veiksmo atranka, gali apimti nigrostrialią projekciją (Corbit ir Janak, 2007). Sutikdami su hierarchine perspektyva, Corbit ir Janak (2007) taip pat nustatė, kad, nors DLS inaktyvacija panaikino selektyvų paloviškų žymenų eksitacinį poveikį (daug, kaip buvo pastebėta po akumbenso lūžių pažeidimo, Corbit ir kt., 2001), DMS inaktyvavimas panaikino tik perkėlimo rezultatyvumo selektyvumą, tuo pačiu metu išsaugant bendrą šių signalų sužadinimo efektą, taip pat pastebėta po mediodorsalinio talamo, kuris yra asociatyvaus cortico-bazalinio ganglio tinklo dalis, pažeidimų.Ostlund ir Balleine, 2008). Remiantis šiais preliminariais rezultatais, atrodo, kad DMS tarpininkauja tik konkrečiam perdavimui, tuo tarpu DLS gali būti reikalingas tiek specifiniams, tiek bendriems Pavlovijos užuominoms dėl instrumentinių veiksmų.

Įdomu tai, kad limbinis striatumas plačiai projektuoja DA ląsteles, nukreipiančias į nugaros striatumą (Nauta ir kt., 1978; Nauta, 1989); dopaminerginės projekcijos į striatum ir striatrijos projekcijos atgal į vidurinę smegenis yra labai asimetrinės (Haber, 2003). Limbinis striatumas gauna ribotą įvestį iš DA neuronų, tačiau išsiunčia didelę išvestį į daug didesnį DA neuronų rinkinį, o priešingai - jutiklio jutiklio striatumui. Taigi limbiniai tinklai puikiai tinka kontroliuoti asociatyvius ir sensorinius tinklus. Čia neuroanatomija sutinka su elgesio duomenimis, kad Pavlovijos instrumentinio elgesio palengvinimas yra daug stipresnis nei atvirkštinis; iš tiesų, nemažai įrodymų rodo, kad instrumentiniai veiksmai yra linkę slopinti, o ne sužadinti Pavlovijos CR - tai išvadą, kuri vis dar laukia neurobiologinio paaiškinimo (Ellisonas ir Konorski, 1964; Williams, 1965).

Išvados

Čia paminėtas hierarchinis modelis turėtų būti labai skirtingas nuo kitų, kurie remiasi vien tik žievės ir ilgojo nuotolio ryšiais tarp žievės sričių („Fuster“, „1995“). Jis apima žinomus smegenų komponentus ir jungiamumą, o ne žiūri kaip kortikos modulių puodą, kuris tam tikru neapibrėžtu būdu įgyvendina platų pažinimo funkcijų spektrą. Taip pat išvengiama prielaidų, paveldėtų iš 19^th šimtmečio neurologija, kad smegenų žievė apskritai, o ypač prefrontalinė žievė, kažkaip sudaro „aukštesnį“ homocitinį vienetą, valdantį visą smegenis (Miller ir Cohen, 2001).

Be to, iš šio modelio galima gauti keletą specifinių prognozių: (i) Turėtų būti atskiros prognozavimo klaidos, susijusios su savarankiškai sukurtais veiksmais ir būsenomis / dirgikliais, kurių savybės atspindi jų skirtingus neuroninius substratus ir funkcinius vaidmenis. (ii) Tikimasi, kad kiekvienos atskiros kortikos bazinės ganglijos tinklo palidiniai ir talaminiai komponentai bus reikalingi kiekvienam tinklui hipotezės elgsenos kontrolės tipui, o ne tik žievės ir striatrijos komponentams. (iii) Įvairiuose mokymosi etapuose turėtų būti palaipsniui įtraukiami įvairūs neuronų tinklai. (iv) „Accumbens“ aktyvumas gali tiesiogiai kontroliuoti DA neuronus ir, savo ruožtu, dorsalinį striatų aktyvumą. Remiantis. \ T Olandija (2004) manydamas, kad PIT didėja su instrumentiniu mokymu, tikimasi, kad ši „limbinė“ asociacijų ir sensorių tinklų kontrolė sustiprės, pratęsiant mokymą.

Be išsamių duomenų, dar per anksti pasiūlyti oficialią hierarchinio modelio ataskaitą. Nepaisant to, pirmiau minėta diskusija turėtų parodyti, kad dabartinės mezoaccumbens atlygio hipotezės versijos remiasi probleminėmis prielaidomis apie atlygio proceso pobūdį ir netinkamų elgesio priemonių naudojimą. Principų suvienijimas, visuomet mokslo įmonės tikslas, gali būti grindžiamas tik eksperimentinių duomenų tikrove, tačiau tai gali būti sunki. Kadangi smegenų funkcija, galiausiai, yra elgsenos generavimas ir kontrolė, išsami elgesio analizė bus raktas į neuronų procesų supratimą, nes, kaip išsamiai aprašytas įgimtas ir įgytas imunitetas, galima išsiaiškinti imuninę sistemą. Nors atrodo tarsi truizmas, sunku pernelyg pabrėžti, kad galime suprasti smegenų mechanizmus taip, kad jų funkcijos būtų tiksliai aprašytos ir išmatuotos. Kai neuroninės funkcijos tyrimas grindžiamas eksperimentiškai nustatytais psichologiniais gebėjimais, pvz., Veiksmų rezultato ir stimulo rezultato kontingentų reprezentacija, žinoma anatominė organizacija ir fiziologiniai mechanizmai yra matomi nauja šviesa, todėl atsiranda naujų hipotezės ir naujų eksperimentų kūrimas. Tikimės, kad kaip pradinis žingsnis šia linkme čia aptartas pagrindas bus naudingas pradinis taškas būsimiems tyrimams.

Padėka

Nuorodos