Dopamiini neuronite ennustav tasustussignaal (1998)

Hüvitiste funktsioonid

Teatud keskkonnale omased objektid ja sündmused omavad erilist motivatsiooni mõju nende heaolule, ellujäämisele ja paljunemisele. Toodud käitumuslike reaktsioonide kohaselt võib keskkonnaobjektide motivatsiooniväärtus olla isuäratav (rahuldust pakkuv) või aversiivne (karistamine). (Pange tähele, et "isuäratav" on sünonüümiks "tasuvaks", kuid mitte "ettevalmistavaks".) Eelisobjektidel on kolm eraldatavat põhifunktsiooni. Oma esimeses funktsioonis premeerib väljakutsutud lähenemist ja tarbivat käitumist. See on tingitud sellest, et esemed märgistatakse isuäratava väärtusega sünnimehhanismide või enamasti õppimise kaudu. Teises funktsioonis suurendavad tasud selliste objektide (õppimise) põhjustava käitumise sagedust ja intensiivsust ning säilitavad väljasuremise vältimise teel õppitud käitumise. Auhinnad on positiivse käitumise tugevdajad klassikalistes ja instrumentaalsetes konditsioneerimisprotseduurides. Üldiselt soodustavad keskkonnakaitselised stiimulid isiksuse väärtust klassikaliselt konditsioneeritud stimuleeriva tasu ühenduste abil ja tekitavad lähenemiskäitumist (Bindra 1968). Instrumentaalses konditsioneerimises premeerib “tugevdada” käitumist, tugevdades seoseid stiimulite ja käitumuslike vastuste vahel (mõjuõigus: Thorndike 1911). See on „rohkem tagasi tuleku” olemus ja see on seotud ühise mõttega saada kasu, mis on saadud midagi hästi. Soodsate õpingute instrumentaalses vormis on hüved „stiimulid” ja toimivad käitumise eesmärkidena, mis on seotud käitumuslike vastuste ja tulemuste vaheliste seostega.Dickinson ja Balleine 1994). Kolmandas funktsioonis tekitavad hüved subjektiivseid rõõmunägusid (hedoonia) ja positiivseid emotsionaalseid seisundeid. Aversiivsed stiimulid toimivad vastupidistes suundades. Nad kutsuvad esile tagasivõtmisreaktsioone ja toimivad negatiivsete tugevdajatena, suurendades ja säilitades korduva esinemise vältimise käitumist, vähendades seega kahjulike sündmuste mõju. Lisaks tekitavad nad viha, hirmu ja paanika sisemisi emotsionaalseid seisundeid.

Prognooside funktsioonid

Ennustused annavad eelnevalt teavet tulevaste stiimulite, sündmuste või süsteemi seisundite kohta. Nad annavad peamise eelise käitumisreaktsioonide saamiseks. Mõned prognooside vormid seostavad motiveerivaid väärtusi keskkonnaalastele stiimulitele seoses konkreetsete tulemustega, tuvastades seega eluliselt tähtsad objektid ja diskrimineerivad neid vähem väärtuslikest objektidest. Teised vormid ennustatavate objektide, näiteks ruumilise asukoha, kiiruse ja kaalu, füüsikalisi parameetreid. Ennustused võimaldavad organismil hinnata tulevasi sündmusi enne nende tegelikku toimumist, lubada käitumisreaktsioonide valimist ja ettevalmistamist ning suurendada motivatsiooniga väärtustega objektide lähenemise või vältimise tõenäosust. Näiteks võimaldavad objektide korduvad liikumised samas järjestuses ennustada eelseisvaid positsioone ja valmistada juba järgmise objekti liikumise ajal, kui jätkata käesolevat objekti. See vähendab individuaalsete sihtmärkide vahelist reaktsiooniaega, kiirendab üldist jõudlust ja annab tulemuseks varasema tulemuse. Ennustav silmade liikumine parandab käitumise tulemuslikkust eelnevalt fokuseerimisel (Lilled ja Downing 1978).

Kõrgemal tasemel võimaldab prognooside kaudu edastatud informatsioon teha otsuseid alternatiivide vahel, et saavutada teatud süsteemi olekuid, läheneda harva esinevatele sihtobjektidele või vältida korvamatuid kahjulikke mõjusid. Tööstuslikud rakendused kasutavad sisemudeli kontrolli süsteemi seisundi ennustamiseks ja reageerimiseks enne nende tegelikku ilmnemist (Garcia et al. 1989). Näiteks arvutab tänapäeva lennunduses kasutatav „traadita juhtme” tehnika prognoositavaid lennukite olekuid. Otsused lendamise manöövrite kohta võtavad selle teabe arvesse ja aitavad vältida masina mehaaniliste komponentide liigset koormust, vähendades seega kaalu ja suurendades tööpiirkonda.

Ennustava teabe kasutamine sõltub esindatud tulevaste sündmuste või süsteemi seisundite olemusest. Lihtsad esitusviisid puudutavad otseselt tulevaste sihtmärkide positsiooni ja sellest tulenevat käitumuslikku reaktsiooni, vähendades seega reaktsiooniaega üsna automaatsel viisil. Ennustuste kõrgemad vormid põhinevad loogilist järeldust võimaldavatel esitlustel, millele on ligipääs ja mida on võimalik käsitleda erineva tahtlikkuse ja valikuga. Neid töödeldakse inimestel sageli teadlikult. Enne prognoositud sündmuste või süsteemi seisundite ilmnemist ja käitumuslike reaktsioonide läbiviimist võimaldavad sellised prognoosid erinevate strateegiate vaimselt hinnata, integreerides erinevatest allikatest pärinevaid teadmisi, kujundades erinevaid reaktsiooni viise ja võrdlema iga võimaliku reaktsiooni kasumit ja kahjumit.

Käitumuslik konditsioneerimine

Assotsiatiivne isuäratav õppimine hõlmab korduvat ja tingimuslikku paaristumist suvalise stiimuli ja esmase tasu vahel (joonis fig. 1). Selle tulemuseks on üha sagedasem lähenemine käitumisele, mis on tingitud nüüd „konditsioneeritud” stiimulist, mis osaliselt sarnaneb lähenemise käitumisele, mida esile kutsub esmane tasu ja mida mõjutab ka konditsioneeritud stiimuli olemus. Tundub, et konditsioneeritud stiimul toimib tasu ennustajana ja määrab sageli sobiva ajami põhjal sisemise motivatsiooni, mis viib käitumisreaktsiooni. Lähenemisreaktsioonide sarnasus viitab sellele, et mõned käitumusliku vastuse üldised, ettevalmistavad komponendid kantakse esmastest hüvedest varaseimatele konditsioneeritud, premeerivatele stiimulitele. Seega toimib konditsioneeritud stimulus osaliselt esmase stiimuli motiveerivana asendajana, tõenäoliselt läbi Pavlovia õppimise (Dickinson 1980).

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 1. 

Söögiisu stimuleerimine õppimise ajal. Meelevaldne stiimul seostub esmase toidu või vedeliku tasuga korduva kontingendi sidumise kaudu. See konditsioneeritud, tasu ennustav stiimul kutsub esile sisemise motiveeriva seisundi, tekitades tasu ootuse, sageli vastava nälja või janu juhtimise alusel, ning tekitab käitumusliku reaktsiooni. See skeem kordab stimuleeriva motivatsiooni teooria peamisi mõisteid Bindra (1968) ja Bolles (1972). See kehtib klassikalise konditsioneerimise kohta, kus tasu antakse automaatselt pärast konditsioneeritud stiimulit ja instrumentaalset (operandi) konditsioneerimist, kus tasu andmine eeldab subjekti reageerimist konditsioneeritud stiimulile. Seda skeemi kohaldatakse ka aversiivse konditsioneerimise suhtes, mida lühiduse huvides ei täpsustata.

Paljud nn „tingimusteta” toidu- ja vedelikuhüvitised on tõenäoliselt saadud kogemuste kaudu, sest iga väliskülastaja saab kinnitada. Esmane tasu võib siis koosneda maitsest, mis tekib siis, kui objekt aktiveerib maitse retseptoreid, kuid seda võib uuesti õppida. Toitainete esemete lõplik rahuldav mõju seisneb ilmselt nende spetsiifilises mõttes bioloogilistele põhinäitajatele, näiteks elektrolüütide, glükoosi või aminohapete kontsentratsioonidele plasmas ja ajus. Neid muutujaid määravad organismi vegetatiivsed vajadused ja tekivad evolutsiooni kaudu. Loomad väldivad toitaineid, mis ei mõjuta olulisi vegetatiivseid muutujaid, näiteks toidud, millel puuduvad sellised olulised aminohapped nagu histidiin (Rogers ja Harper 1970), treoniin (Hrupka et al. 1997; Wang et al. 1996) või metioniin (Delaney ja Gelperin 1986). Mõned esmased hüved võivad määrata kaasasündinud instinktid ja toetada algset lähenemist ja allaneelamist varases elus, samas kui enamik hüvesid oleksid õppinud teema järgneva elukogemuse ajal. Sellest tulenevalt võib hüvede füüsilist väljanägemist kasutada palju aeglasema vegetatiivse mõju prognoosimiseks. See kiirendaks dramaatiliselt hüvede avastamist ja kujutaks endast suurt kasu ellujäämiseks. Hüvitiste õppimine võimaldab ka subjektidel kasutada palju suuremat toitainete valikut kui tõhusat kasu ja seega suurendada nende võimalusi ellujäämiseks nappide ressursside tsoonides.

Aktiveerimine esmaste isuärrituste poolt

Umbes 75i% dopamiini neuronitest ilmnevad faasilised aktivatsioonid, kui loomad puudutavad väikeste peidetud toidu morseleid teiste faasiliste stiimulite puudumisel uurivate liikumiste ajal, ilma et liikumine ise toimiks (Romo ja Schultz 1990). Ülejäänud dopamiini neuronid ei reageeri ühelegi testitud keskkonnamõjust. Dopamiini neuronid aktiveeritakse ka vedeliku tilga kaudu, mis on väljastatud suus väljaspool mis tahes käitumisülesannet või õppides selliseid erinevaid paradigme nagu visuaalsed või kuulmisreaktsioonide ülesanded, ruumiline viivitatud reaktsioon või vaheldumine ja visuaalne diskrimineerimine, sageli samas loomas (joonis . 2 ülemine) (Hollerman ja Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz ja Schultz 1994; Schultz et al. 1993). Tasu vastused tekivad õppekontekstist sõltumatult. Seega ei näi dopamiini neuronid erinevat toiduainet ja vedelat kasu. Kuid nende vastused eristavad tasusid, mis on saadud mitteobjektilistest objektidest (Romo ja Schultz 1990). Ainult 14% dopamiini neuronitest näitavad esmaste aversiivsete stiimulite, nagu näiteks õhupuhastuse või suu hüpertoonilise soolalahuse esilekutsumise faasilist aktivatsiooni, ning enamik aktiveeritud neuroneid reageerivad ka hüvedele (Mirenowicz ja Schultz 1996). Kuigi need stiimulid on ebamugavad, on nad vastumeelsed, kuna nad häirivad käitumist ja tekitavad aktiivseid vältimisreaktsioone. Siiski ei ole dopamiini neuronid aversiivsete stiimulite suhtes täiesti tundlikud, nagu on näidanud aeglased depressioonid või aeg-ajalt aeglased aktivatsioonid pärast valu närbumistest stiimulitest anesteseeritud ahvidel (Schultz ja Romo 1987) ja suurenenud striatraalse dopamiini vabanemisega pärast elektrilööki ja sabatükke ärkvelistes rottides (Abercrombie et al. 1989; Doherty ja Gratton 1992; Louilot et al. 1986; Young et al. 1993). See viitab sellele, et dopamiini neuronite faasilised vastused teatavad eelistatavalt keskkonnahäiretest, millel on esmane isuäratav väärtus, samas kui aversiivsed sündmused võivad olla signaalitud tunduvalt aeglasema ajaga.

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 2. 

Dopamiini neuronid annavad kasu tasu ennustuse vea alusel. top: vedeliku tilk tekib, kuigi sel ajal ei ole ette nähtud tasu. Seega on tasu tekkimisel positiivne viga. Dopamiini neuroni aktiveerib vedeliku ettearvamatu esinemine. Kesk-: konditsioneeritud stiimul ennustab tasu ja tasu toimub vastavalt ennustusele, seega ei ole tasu ennustamisel viga. Dopamiini neuron ei saa ennustatud tasu abil aktiveerida (paremal). See näitab ka aktiveerimist pärast tasu ennustavat stiimulit, mis esineb sõltumata sellest, milline on viga hilisema tasu ennustamisel (vasakul). põhi: konditsionaalne stiimul ennustab tasu, kuid tasu ei õnnestu looma reaktsiooni puudumise tõttu. Dopamiinneuroni aktiivsus on pärsitud täpselt siis, kui tasu oleks tulnud. Pange tähele depressiooni, mis ilmnes tingimusliku stiimuli järel> 1 s pärast sekkumata stiimuleid, paljastades tasu ootuse sisemise protsessi. Neuronaalne aktiivsus kolmes graafikus järgib võrrandit: dopamiinivastus (preemia) = preemia tekkis - preemia ennustati. CS, konditsioneeritud stiimul; R, esmane tasu. Uuesti välja trükitud Schultz et al. (1997) Ameerika teaduse edendamise assotsiatsiooni loal.

Tasu ennustamatus

Dopamiini vastuste oluline tunnus on nende sõltuvus sündmuste ettearvamatusest. Hüvitiste järgne aktiveerimine ei toimu siis, kui toiduaine- ja vedelikuhüvitistele eelneb faasilised stiimulid, mis on tingitud selliste hüvede ennustamisest (joonis fig. 2, kesk-) (Ljungberg et al. 1992; Mirenowicz ja Schultz 1994; Romo ja Schultz 1990). Üks oluline erinevus õppimise ja täielikult omandatud käitumise vahel on tasu, mida ei saa ette näha. Dopamiini neuronid aktiveeritakse õppefaasi ajal hüvedega, kuid lõpetatakse reageerimine pärast visuaalsete ja kuulmisreaktsioonide ajaülesannete täielikku omandamist (Ljungberg et al. 1992; Mirenowicz ja Schultz 1994), ruumilise viivitusega ülesanded (Schultz et al. 1993) ja samaaegne visuaalne diskrimineerimine (Hollerman ja Schultz 1996). Vastuse kaotus ei ole tingitud üldisest ebatundlikkusest hüvedele, kuna väljaspool ülesandeid sooritatud hüvedest saadavad aktiveerimised ei vähene mitme kuu pikkuse eksperimenteerimise ajal (Mirenowicz ja Schultz 1994). Prognoositavuse tähtsus hõlmab tasu saamise aega, mida näitab mööduv aktiveerimine pärast hüvesid, mis on ootamatult varem või hiljem prognoositud (Hollerman ja Schultz 1996). Kokkuvõttes peab tasu, sealhulgas selle aja, esinemine dopamiini neuronite aktiveerimiseks ennustamatu.

Depressioon prognoositud tasu väljajätmisega

Dopamiini neuronid surutakse täpselt tasu tavapärase esinemise ajal, kui täielikult ennustatav tasu ei esine, isegi vahetult eelneva stiimuli puudumisel (joonis fig. 2, põhi). Seda täheldatakse siis, kui loomad ei suuda saada ebaõigest käitumisest tulenevat tasu, kui katse läbiviija peatab vedeliku voolu korrektsest käitumisest hoolimata või kui klapp avaneb kuuldavalt ilma vedelikku väljastamata (Hollerman ja Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). Kui 0.5-i või 1.0-i puhul on tasu andmine edasi lükatud, toimub neuronaalse aktiivsuse langus tasu tavalisel ajal ja aktiveerimine järgib tasu uuel ajal (Hollerman ja Schultz 1996). Mõlemad vastused tekivad ainult mõne korduse jooksul, kuni tasu saamise uus aeg ennustatakse uuesti. Seevastu tasu andmine varem kui tavaline toob kaasa aktiveerimise uue tasu andmise ajal, kuid ei tekita depressiooni tavalisel ajal. See viitab sellele, et ebatavaliselt varajane tasu saamine tühistab tavalise aja eest tasu ennustamise. Seega jälgivad dopamiini neuronid nii tasu tekkimist kui ka aega. Kui puuduvad stiimulid vahetult enne välja jäetud tasu, ei kujuta depressioonid endast lihtsat neuronaalset vastust, vaid peegeldavad ootuse protsessi, mis põhineb sisemisel kellaajal, mis jälgib prognoositava tasu täpset aega.

Aktiveerimine konditsioneeritud, premeerivate stiimulitega

Umbes 55-70% dopamiini neuronitest aktiveeruvad konditsioneeritud visuaalsed ja kuuldavad stiimulid erinevates klassikalistes või instrumentaalselt konditsioneeritud ülesannetes, mida on kirjeldatud varem (joonis fig. 2, kesk- ja põhi) (Hollerman ja Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz ja Schultz 1994; Schultz 1986; Schultz ja Romo 1990; P. Waelti, J. Mirenowicz ja W. Schultz, avaldamata andmed). Esimesed dopamiini vastused konditsioneeritud valgusele teatasid Miller et al. (1981) haloperidooliga ravitud rottidel, mis suurendasid dopamiini neuronite esinemissagedust ja spontaanset aktiivsust, kuid põhjustasid püsivama ravivastuse kui ravimata loomadel. Kuigi vastused tekivad käitumuslike reaktsioonide lähedal (Nishino et al. 1987), ei ole nad seotud käe ja silma liikumisega ise, kuna need esinevad ka liikuva käe ja ka käte või silmade liikumiseta uuringutes ipsilateraalselt (Schultz ja Romo 1990). Konditsioneeritud stiimulid on mõnevõrra vähem tõhusad kui esmatasandi hüved vastuse suuruse ja aktiveeritud neuronite fraktsioonide osas. Dopamiini neuronid reageerivad ainult konditsioneeritud stiimulite algusele, mitte nende nihkele, isegi kui stiimulite nihked ennustavad tasu (Schultz ja Romo 1990). Dopamiini neuronid ei erista konditsioneeritud isuärrituse visuaalset ja kuuldavat modaalsust. Siiski eristavad nad isuäratavaid ja neutraalseid või aversiivseid stiimuleid, kui nad on füüsiliselt piisavalt erinevad (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz ja W. Schultz, avaldamata andmed). Ainult 11% dopamiini neuronitest, enamik neist on isuäralike vastustega, näitavad tüüpilist faasilist aktivatsiooni ka vastuseks ilmnevatele nägemis- või kuuldussümptomitele aktiivsetes vältimisülesannetes, kus loomad vabastavad võtme, et vältida õhupuhastust või hüpertoonilise soolalahuse tilka (Mirenowicz ja Schultz 1996), kuigi sellist vältimist võib vaadelda kui „tasuvust”. Need vähesed aktiveerimised ei ole piisavalt tugevad, et tekitada keskmine elanikkonna reaktsioon. Seega annavad dopamiini neuronite faasilised vastused eelistatult isuäratava motiveeriva väärtusega keskkonna stiimuleid, kuid ei erista erinevaid sensoorset modaalsust.

Aktiveerimise ülekandmine

Õppimise käigus aktiveeruvad dopamiini neuronid järk-järgult konditsioneeritud, premeerivate ennustavate stiimulite poolt ja kaotavad järk-järgult oma vastused primaarsetele toidu- või vedelikuhindadele, mis ennustatakse (Hollerman ja Schultz 1996; Ljungberg et al. 1992; Mirenowicz ja Schultz 1994) (Joonised fig. 2 ja 3). Ajutise õppeperioodi jooksul tekitavad nii hüved kui ka konditsioneeritud stiimulid dopamiini aktiveerimist. See ülekanne primaarsest tasust konditsioneeritud stiimulile toimub otsekohe üksikutes dopamiini neuronites, mida testitakse kahes hästi õpitud ülesandes, kasutades vastavalt ettearvamatuid ja prognoositavaid hüvesid (Romo ja Schultz 1990).

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 3. 

Dopamiini vastuse ülekandmine varaseimale ennustavale stiimulile. Vastused ettearvamatule esmane tasuülekandele järk-järgult varasematele tasuvust ennustavatele stiimulitele. Kõik kuvad näitavad populatsiooni histogramme, mis saadakse kõigi dopamiini neuronite normaliseeritud perijent-ajaliste histogrammide keskmistamisel, mis on näidatud näidatud käitumisolukordades, sõltumata vastuse olemasolust või puudumisest. top: väljaspool käitumisülesandeid ei ole väikese valgusega testitud 44i neuronites populatsioonivastust (andmete põhjal) Ljungberg et al. 1992), kuid keskmiselt reageerib 35 neuronil looma suu ees oleva tilaga manustatud vedeliku tilgale (Mirenowicz ja Schultz 1994). Kesk-: vastus tasuvust prognoositavale vallandamise stiimulile 2-i valiku ruumilise saavutamise ülesannetes, kuid vastuse puudumine tasu eest, mis on antud ülesannete täitmise ajal samades 23i neuronites (Schultz et al. 1993). põhi: vastus tasulist ennustavat käivitus-stiimulit eelnevalt määratud 1-i fikseeritud intervalliga instruktsioonikõverale (19 neuronid) (Schultz et al. 1993). Ajabaas jagatakse tingitud stiimulite ja tasu vahelduvate intervallide tõttu. Kordustrükk Schultz et al. (1995b) MIT Pressi loal.

Konditsioneeritud stiimulite ettearvamatus

Aktiveerimist pärast konditsioneeritud, tasu ennustavaid stiimuleid ei esine, kui neid stiimuleid eelneb fikseeritud kondiitritega täielikult kindlaksmääratud käitumisolukordades. Seega aktiveeritakse seeriatega konditsioneeritud stiimulitega dopamiini neuronid kõige varasema tasu ennustava stiimuliga, kusjuures kõik prognoositavatel hetkedel järgnevad stiimulid ja hüved on ebaefektiivsed (joon. 3) (Schultz et al. 1993). Ainult juhuslikult paigutatud järjestikused stiimulid tekitavad individuaalseid vastuseid. Samuti vähendab ulatuslik ülestreening koos väga stereotüüpsete ülesannete täitmisega vastuseid konditsioneeritud stiimulitele, tõenäoliselt sellepärast, et eelmise kohtuprotsessi sündmused ennustavad stiimuleid (Ljungberg et al. 1992). See viitab sellele, et stiimulite ettearvamatus on kõigi dopamiini neuroneid aktiveerivate stiimulite tavaline nõue.

Depressioon eeldatavate konditsioneeritud stiimulite väljajätmisega

Eelmise katse eelmised andmed (Schultz et al. 1993) näitavad, et dopamiini neuronid on ka depressioonis, kui konditsioneeritud, tasu ennustav stiimul ennustatakse enneaegselt eelneva stiimuliga, kuid ei esine looma vea tõttu. Nagu primaarsete hüvede puhul, tekivad depressioonid konditsioneeritud stiimuli tavapärase esinemise ajal, ilma eelneva stiimuli otsese esilekutsumiseni. Seega võib väljajätmise põhjustatud depressioon üldistada kõikidele isuäratavatele sündmustele.

Aktiveerimis-depressioon koos vastuse generaliseerumisega

Dopamiini neuronid reageerivad ka stiimulitele, mis ei ennusta hüvesid, vaid sarnanevad samas kontekstis esinevatele premeerivatele stiimulitele. Need vastused koosnevad peamiselt aktivatsioonist, millele järgneb kohene depressioon, kuid võib aeg-ajalt koosneda puhtast aktiveerimisest või puhtast depressioonist. Aktiveerimine on väiksem ja harvem kui tasu ennustavaid stiimuleid järgides ning depressioone täheldatakse 30 – 60% neuronites. Dopamiini neuronid reageerivad visuaalsetele stiimulitele, millele ei järgne tasu, vaid sarnanevad korrektsele käitumuslikule diskrimineerimisele vaatamata tasu ennustavatele stiimulitele.Schultz ja Romo 1990). Tühja kasti avamine ei aktiveeri dopamiini neuroneid, vaid jõustub igas uuringus niipea, kui karp aeg-ajalt sisaldab toitu (Ljungberg et al. 1992; Schultz 1986; Schultz ja Romo 1990) või kui naaber, identne karp, mis sisaldab alati toitu, avaneb juhuslikult vaheldumisi (Schultz ja Romo 1990). Tühi karp kutsub esile nõrgema aktiveerimise kui söödatud kasti. Loomad teevad iga kasti jaoks valimatult silma orienteerumisreaktsioone, kuid lähenevad oma käega ainult söödatud kasti. Õppimise ajal reageerivad dopamiini neuronid jätkuvalt eelnevalt konditsioneeritud stiimulitele, mis kaotavad oma premeerimise ennustuse, kui tasu ettevaatusabinõud muutuvad (Schultz et al. 1993) või reageerida uutele stiimulitele, mis meenutavad varem konditsioneeritud stiimuleid (Hollerman ja Schultz 1996). Vastused tekivad isegi aversiivsetele stiimulitele, mis on juhuslikult vaheldumisi sama sensoorse modaalsusega füüsiliselt sarnaste, konditsioneeritud isuärritavate stiimulitega, kusjuures vastumeelsus on nõrgem kui isuäratav (Mirenowicz ja Schultz 1996). Vastused üldistuvad isegi käitumishäirete ärahoidmiseks. Ilmselt generaliseeruvad neuronaalsed reaktsioonid mitte-ebaolulistele stiimulitele, sest nende füüsiline sarnasus on isuärritavate stiimulitega.

Uudsuse vastused

Uudsed stiimulid kutsuvad esile dopamiini neuronites aktivatsioone, millele sageli järgnevad depressioonid ja mis püsivad seni, kuni tekivad käitumisele orienteeritud reaktsioonid (nt silma sakkaadid). Aktivatsioonid taanduvad koos orienteeruvate reaktsioonidega pärast mitmeid stiimuli kordusi, sõltuvalt stiimulite füüsilisest mõjust. Kui väikesed valgust kiirgavad dioodid põhjustavad vaevalt uudseid reaktsioone, siis vilgub ning väikese kasti kiire visuaalne ja kuulmine avab aktivatsioone, mis <100 katse ajal järk-järgult lagunevad (Ljungberg et al. 1992). Valju klõpsatus või suured pildid kohe looma ees tekitavad tugevaid uudseid reaktsioone, mis küll lagunevad, kuid põhjustavad> 1,000 katsega siiski mõõdetavat aktivatsiooni (Hollerman ja Schultz 1996; Horvitz et al. 1997; Steinfels et al. 1983). Joonis 4 näitab skemaatiliselt erinevaid reageeringu suurusi, millel on erinevad füüsilise iseloomuga stiimulid. Vastused lagunevad järk-järgult korduva kokkupuutega, kuid võivad püsida väiksematel suurustel väga oluliste stiimulitega. Vastuse suurused suurenevad uuesti, kui samu stiimuleid on isuäratav. Seevastu reageerivad uudsed, isegi suured stiimulid kiiresti, kui stiimuleid kasutatakse aktiivse vältimise käitumise reguleerimiseks (Mirenowicz ja Schultz 1996). Väga vähesed neuronid (<5%) reageerivad rohkem kui mõne katse jooksul silmatorkavatele, kuid füüsiliselt nõrkadele stiimulitele, näiteks paberi murenemisele või eksperimentaatori rasketele käeliigutustele.

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 4. 

Dopamiini neuronite aktiveerimise ajakursused uudsete, häirete ja konditsioneeritud stiimulite suhtes. Aktiveerumine pärast uusi stiimuleid väheneb korduva kokkupuute korral järjestikustes katsetes. Nende suurus sõltub stiimulite füüsilisest kohanemisest, kuna tugevamad stiimulid indutseerivad kõrgemat aktivatsiooni, mis aeg-ajalt ületab konditsioneeritud stiimulite järel. Eriti olulised stiimulid jätkavad piiratud suurusega dopamiini neuronite aktiveerimist isegi pärast uudsuse kaotamist, ilma et nad oleksid seotud esmaste hüvedega. Järjepidevad aktiveerimised ilmuvad uuesti, kui stiimulid on seotud esmaste hüvedega. Seda skeemi toetasid Jose Contreras-Vidal.

Vastuste homogeensus

Siiani läbi viidud katsed on näidanud, et suurem osa neuronitest keskmistes dopamiinirakkude rühmades A8, A9 ja A10 on antud käitumisolukorras väga sarnased aktivatsioonid ja depressioonid, samas kui ülejäänud dopamiini neuronid ei reageeri üldse. Võrreldes rohkemate külgmiste piirkondadega, mis aeg-ajalt statistiliselt olulised (nt ventral tegmental area ja mediaalne materia nigra), esineb kalduvus suurematele neuronite fraktsioonidele, mis reageerivad keskmistes aju keskmistes piirkondades.Schultz 1986; Schultz et al. 1993). Vastuse latentsus (50–110 ms) ja kestus (<200 ms) on esmaste hüvede, tingimuslike ja uute stiimulite vahel sarnased. Seega on dopamiinivastus suhteliselt homogeenne skalaarne populatsiooni signaal. Selle suurusjärk liigitatakse üksikute neuronite reageerimisvõime ja reageerivate neuronite osa järgi populatsioonis.

Kokkuvõte 1: adaptiivsed reaktsioonid õppeperioodide ajal

Dopamiini vastuste tunnusjooned palgaga seotud stiimulitele on kõige paremini illustreeritud õpipiirkondades, mille jooksul on hüved eriti olulised käitumuslike vastuste saamiseks. Dopamiini tasuvussignaal läbib süstemaatilise muutuse õppimise ajal ja esineb kõige varasema faasilise tasuga seotud stiimuliga, mis on kas esmane tasu või tasu ennustav stiimul (Ljungberg et al. 1992; Mirenowicz ja Schultz 1994). Õppimise ajal tekitavad uudsed, olemuslikult neutraalsed stiimulid ajutiselt vastuseid, mis kiiresti nõrgenevad ja kaovad (joon. 4). Esmaste hüvede tekkimine esineb selliste stiimulite esmasel sidumisel ja neuronaalsete aktivatsioonide tekitamisel ettearvamatult. Korduvate sidumiste korral ennustavad konditsioneeritud stiimulid hüved. Aktiveerimine pärast tasu vähenemist väheneb järk-järgult ja kantakse üle konditsioneeritud, premeerivale stiimulile. Kui aga ennustatav tasu ei ilmne looma vea tõttu, siis on tasu tekkimise ajal depressiooniks dopamiini neuronid. Ülesannete korduval õppimisel (Schultz et al. 1993) või ülesande komponendid (Hollerman ja Schultz 1996), esimesed konditsioneeritud stiimulid aktiveerivad dopamiini neuronid kõigil õppeperioodidel, kuna nad on eelnevalt õppinud, sarnased stiimulid, samas kui järgnevad konditsioneeritud stiimulid ja primaarsed hüved aktiveerivad dopamiini neuroneid ainult lühiajaliselt, samal ajal kui nad on ebakindlad ja luuakse uusi ebaõnnestumisi.

Kokkuvõte 2: dopamiini neuronite efektiivsed stiimulid

Dopamiini vastused tekivad kolme stiimuli kategooriaga. Esimene kategooria hõlmab esmaseid hüvesid ja stiimuleid, mis on muutunud kehtivateks tasu ennustajateks korduvate ja tingimuslike sidumiste kaudu tasudega. Need stiimulid moodustavad lihtsa tasu ennustavate stiimulite ühise klassi, kuna esmased hüved on vegetatiivse tasustamise mõju ennustajad. Efektiivsetel stiimulitel on ilmselt hoiatuskomponent, kuna ainult selged algust tekitavad stiimulid on efektiivsed. Dopamiini neuronid näitavad puhtaid aktivatsioone pärast selgesõnalist tasu ennustavaid stiimuleid ja on depressioonis, kui prognoositud, kuid välja jäetud tasu ei esine (joonis fig. 5, ülemine).

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 5. 

Dopamiini neuronite vastuste skemaatiline kuvamine konditsioneeritud stiimulite tüüpidele 2. top: selgesõnalise tasu ennustava stiimuli esitamine viib aktiveerumiseni pärast stiimulit, ei reageeri ennustatud tasule ja depressioonile, kui ennustatav tasu ei esine. põhi: konditsioneeritud, tasu ennustavale stiimulile lähedalt sarnase stiimuli esitamine viib aktiveerimisele, millele järgneb depressioon, aktiveerimine pärast tasu saamist ja vastuse puudumine, kui tasu ei teki. Aktiveerimine pärast stiimulit peegeldab ilmselt vastuse üldistumist füüsilise sarnasuse tõttu. See stiimul ei ennusta selgesõnaliselt tasu, vaid on seotud tasuga selle sarnasuse tõttu tasu ennustava stiimuliga. Võrreldes selgesõnaliste tasu ennustavate stiimulitega on aktiveerimine madalam ja sellele järgnevad sageli depressioonid, mis diskrimineerivad premeeritud (CS +) ja mittevajalike (CS−) konditsioneeritud stiimulite vahel. See skeem võtab kokku eelmiste ja praeguste katsete tulemused (Hollerman ja Schultz 1996; Ljungberg et al. 1992; Mirenowicz ja Schultz 1996; Schultz ja Romo 1990; Schultz et al. 1993; P. Waelti ja W. Schultz, avaldamata tulemused).

Teine kategooria hõlmab stiimuleid, mis tekitavad üldistavaid vastuseid. Need stiimulid ei ennusta selgesõnaliselt hüvesid, vaid on tõhusad nende füüsilise sarnasuse tõttu stiimulitega, mis on konditsioneerimise teel muutunud selgesõnaliseks tasu ennustajateks. Need stiimulid indutseerivad aktivatsioone, mis on väiksemad ja kaasavad vähem neuroneid, võrreldes selgesõnaliste premeerivate stiimulitega (joon. 5, põhi). Neile järgneb sageli kohene depressioon. Kui esialgne aktiveerimine võib moodustada üldise isuäratava vastuse, mis annab märku võimalikust tasust, võib järgnev depressioon peegeldada üldist tasu ennustavas kontekstis ilma tasu ennustamist ja tühistada vale tasu eelduse. Selgesõnalise tasu ennustuse puudumist soovitab veelgi aktiveerimine pärast esmast tasu ja depressiooni puudumine ilma tasustamiseta. Koos vastustega premeerivate stiimulite puhul näib, et dopamiini aktivatsioonid näitavad isuäratavale märgisele, mis on kinnitatud stiimulitele, mis on seotud hüvedega.

Kolmas kategooria hõlmab uudseid või eriti olulisi stiimuleid, mis ei ole tingimata seotud konkreetsete hüvedega. Käitumise orienteerumisreaktsioonide esilekutsumisel on need stiimulid hoiatavad ja juhivad tähelepanu. Kuid neil on ka motiveerivad funktsioonid ja nad võivad olla rahuldust pakkuvad (Fujita 1987). Uued stiimulid on potentsiaalselt isuäratavad. Uudsed või eriti olulised stiimulid indutseerivad aktivatsioone, millele järgneb sageli depressioonid, sarnaselt vastuste andmisega üldistavatele stiimulitele.

Seega annavad dopamiini neuronite faasilised vastused positiivseid ja potentsiaalselt positiivseid motiveerivaid mõjusid sisaldavaid sündmusi, nagu primaarsed hüved, tasuvust ennustavad stiimulid, tasu meenutavad sündmused ja hoiatavad stiimulid. Kuid nad ei tuvasta suures osas negatiivseid motiveerivaid mõjusid, näiteks aversiivseid stiimuleid.

Kokkuvõte 3: dopamiini tasu ennustusvea signaal

Dopamiini vastuseid selgesõnalistele tasulistele sündmustele saab kõige paremini mõista ja mõista õppimise formaalsete teooriate mõttes. Dopamiini neuronid annavad oma prognoosi suhtes hüvesid, mitte esmaste hüvede andmist tingimusteta (joonis fig. 2). Dopamiini vastus on positiivne (aktiveerimine), kui esmane kasu tekib ilma ennustamata. Vastus on null, kui hüved leiavad ennustust. Vastus on negatiivne (depressioon), kui prognoositud hüved jäetakse välja. Seega teatavad dopamiini neuronid esmastest hüvedest vastavalt tasu erinevuse ja ennustuse erinevusele, mida võib nimetada veaks tasu ennustamisel (Schultz et al. 1995b, 1997) ja on esialgselt vormistatud kui

Võrrand 1See soovitus võib laieneda konditsioneeritud isuäralikele sündmustele, mida ka dopamiini neuronid on ennustuse suhtes teatanud. Seega võivad dopamiini neuronid teatada veast kõigi isuäratavate sündmuste ennustamisel ja Eq. 1 võib esitada üldisemas vormis

Valem 2See üldistus on kooskõlas ideega, et enamik hüvesid on tegelikult konditsioneeritud stiimulid. Mitme järjestikuse, väljakujunenud tasust ennustava sündmuse korral on ainult esimene sündmus ettearvamatu ja tekitab dopamiini aktivatsiooni.

Dopamiini vastuse päritolu

Millised anatoomilised sisendid võiksid olla vastutavad dopamiini vastuste selektiivsuse ja polüsensoorse olemuse eest? Milline sisendtegevus võib kaasa tuua prognoosivigade kodeerimise, indutseerida adaptiivse reageeringu ülekande kõige varem ettenägematule isuäratavale sündmusele ja hinnata tasu maksmise aega?

Fasiline dopamiin mõjutab sihtstruktuure

DOPAMIIN SIGNAALI ÜLDINE LOODUS.

Erinevad prognoosid. Igas rottide materia nigras on ∼8,000 dopamiini neuroneid (Oorschot 1996) ja 80,000 – 116,000 makakiga ahvidel (German et al. 1988; Percheron et al. 1989). Iga striatum sisaldab ∼2.8 miljoneid neuroneid rottidel ja 31 miljoneid makaakides, mille tulemuseks on 300 – 400 nigrostriaalne lahknevustegur. Iga dopamiini akson laguneb rohkelt striatumi piiratud terminali piirkonnas ja sellel on ∼500,000 striataalsed varikoosid, millest vabaneb dopamiin (Andén et al. 1966). Selle tulemuseks on dopamiini sisestamine peaaegu igasse striataalsesse neuroni (Groves et al. 1995) ja mõõdukalt topograafiline nigrostriaalne projektsioon (Lynd-Balta ja Haber 1994). Ahvidel on kortikaalne dopamiini inervatsioon kõrgeim piirkondades 4 ja 6, see on ikka veel suur, eesmise, parietaalse ja ajalise lõhes, ja see on kõige madalam okcipitaalses rakus (Berger et al. 1988; Williams ja Goldman-Rakic ​​1993). Kortikaalset dopamiini sünapsi leidub valdavalt I ja V – VI kihtides, mis puutuvad kokku suure osa kortikaalsete neuronitega. Koos üsna homogeensete reaktsioonide iseloomuga viitavad need andmed sellele, et dopamiini vastus areneb samaaegse, paralleelse aktiivsuskäiguna keskjoonest striatumile ja frontaalsele ajukoorele (joon. 7).

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 7. 

Globaalne dopamiini signaal, mis liigub striatum ja cortex. Enamiku dopamiini neuronite suhteliselt homogeenset reageeringut isuäralistele ja häirivatele stiimulitele ning selle progresseerumist substraatidest postünaptilistesse struktuuridesse saab skemaatiliselt vaadelda kui sünkroonse, paralleelse aktiivsuse laine, mis liigub kiirusega 1 – 2 m / s (Schultz ja Romo 1987) mööda erinevalt keskjoonest striatumile (caudate ja putamen) ja ajukoorele. Vastused on kvalitatiivselt eristamatud substra nigra (SN) pars compacta ja ventral tegmental area (VTA) neuronite vahel. Kõigi striatumi neuronite dopamiini innervatsioon ja paljud eesnärvisüsteemi neuronid võimaldaksid dopamiini tugevdamise signaali avaldada üsna globaalset mõju. Laine on tihendatud, et rõhutada paralleelsust.

Dopamiini vabanemine. Dopamiini neuronite impulssid 20 – 100 ms intervallidega toovad kaasa struktuuri suurema dopamiini kontsentratsiooni kui sama arvu impulsse 200 ms intervallidega (Garris ja Wightman 1994; Gonon 1988). See mittelineaarsus tuleneb peamiselt dopamiini tagasihaarde transporteri kiirest küllastumisest, mis vabastab vabanenud dopamiini ekstrasünaptilises piirkonnas (Chergui et al. 1994). Sama efekti täheldatakse ka tuumaklundides (Wightman ja Zimmerman 1990) ja esineb isegi pikemate impulsside intervallidega, kuna need on väiksema kiirusegaGarris et al. 1994b; Marshall et al. 1990; Stamford et al. 1988). Dopamiini vabanemine pärast impulssepurset <300 ms on autoretseptori vahendatud vabanemise vähendamise aktiveerimiseks liiga lühike (Chergui et al. 1994) või isegi aeglasem ensümaatiline lagunemine (\ tMichael et al. 1985). Seega on purunev dopamiini vastus eriti tõhus dopamiini vabastamiseks.

In vivo voltammeetria põhjal tehtud hinnangud viitavad sellele, et üks impulss vabastab ∼1,000 dopamiini molekule striatumi ja tuumakinnisuse sünapsidel. See põhjustab 0.5 – 3.0 μM sünkroonse dopamiini kontsentratsiooni (Garris et al. 1994a; Kawagoe et al. 1992). 40 μs pärast vabanemise algust on> 90% dopamiinist lahkunud sünapsist, osa ülejäänud elimineeritakse hiljem sünaptilise tagasihaarde abil (pool algusaega 30–37 ms). 3–9 ms jooksul pärast vabanemise algust saavutavad dopamiini kontsentratsioonid tipu ~ 250 nM, kui kõik naabervarikulaarsused vabastavad samaaegselt dopamiini. Kontsentratsioonid on homogeensed 4 μm läbimõõduga sfääris (Gonon 1997), mis on keskmine kaugus veenilaiendite vahel (Doucet et al. 1986; Groves et al. 1995). Maksimaalne difusioon on tagasihaarde transportija poolt piiratud 12 μm-ni ja see saavutatakse 75 sekundi jooksul pärast vabanemise algust (pool transportija algusaeg 30–37 ms). Kontsentratsioonid oleksid veidi madalamad ja vähem homogeensed piirkondades, kus on vähem varikoossusi või kui on aktiveeritud <100% dopamiini neuroneid, kuid impulssipurskega on need kaks kuni kolm korda suuremad. Seega võivad preemiast tingitud, kergelt sünkroonsed, lõhkavad aktivatsioonid ~ 75% dopamiini neuronitest põhjustada üsna homogeensed kontsentratsioonipiigid suurusjärgus 150–400 nM. Rakuvälise dopamiini kogutõus kestab 200 ms pärast ühte impulssi ja 500–600 ms pärast 20–100 ms intervalliga mitme impulsi manustamist 100–200 ms jooksul (Chergui et al. 1994; Dugast et al. 1994). Ekstrasünaptiline tagasihaarde transporter (Nirenberg et al. 1996) toob seejärel dopamiini kontsentratsioonid tagasi 5 – 10 nM baasjoone (Herrera-Marschitz et al. 1996). Seega, erinevalt klassikalisest, rangelt sünaptilisest neurotransmissioonist, difundeerub sünaptiliselt vabanenud dopamiin kiiresti vahetu juxtasynaptic piirkonda ja jõuab lühikesed piigid piirkondlikult homogeensete rakuväliste kontsentratsioonide.

Retseptorid. Dopamiiniretseptorite kahest peamisest tüübist moodustavad adenülaadi tsüklaasi aktiveerivad D1-tüüpi retseptorid ∼80% diatamiini retseptoritest striatumis. Neist 80% on 2 – 4 nM kõrge afiinsusega olekus 20 – 9 μM ja 74% madala afiinsusega seisundis (Richfield et al. 1989). Ülejäänud striataalsete dopamiiniretseptorite 20% kuuluvad adenülaasi tsüklaasi inhibeerivasse D2 tüüpi, mille 10-0% on madala afiinsusega seisundis ja 80-90% kõrge afiinsusega seisundis, sarnaste afiinsustega D1-retseptoritega. Seega on D1-i retseptorite üldine inity100-aeg väiksem kui D2-retseptoritel. Striataalsed D1 retseptorid paiknevad peamiselt neuronitel, mis ulatuvad sisemisse pallidumi ja substra nigra pars reticulata, samas kui striatraalsed D2 retseptorid paiknevad peamiselt neuronitele, mis ulatuvad välisele pallidumile (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey et al. 1993). Siiski ei pruugi retseptori tundlikkuse erinevused mängida üle signaali ülekande, vähendades seeläbi dopamiini tundlikkuse erinevusi kahe striaani väljund neuroni tüübi vahel.

Dopamiin vabaneb 30 – 40% -le sünaptilisest ja 60-70% -le ekstrasünaptiliste varikoosluste tõttu (Descarries et al. 1996). Sünaptiliselt vabanenud dopamiin toimib postünaptilistele dopamiini retseptoritele neljas anatoomiliselt erinevas kohas striatumis, nimelt dopamiini sünapsi sees, vahetult dopamiini sünapsi kõrval, kortikostriaalse glutamaadi sünapsi sees ja ekstrasünaptilistes kohtades, mis on kaugel vabastamiskohast (joonis fig. 8) (Levey et al. 1993; Sesack et al. 1994; Yung et al. 1995). D1-i retseptorid paiknevad peamiselt dopamiini sünapsi väljaspool (Caillé et al. 1996). Dopamiini suured mööduvad kontsentratsioonid pärast faasiliste impulsside purunemist aktiveeriksid D1 retseptorid aktiivsete vabanemispaikade vahetus läheduses ning aktiveeriksid ja isegi küllastaksid D2 retseptoreid kõikjal. D2-i retseptorid jääksid osaliselt aktiveerituks, kui ümbritseva dopamiini kontsentratsioon taastub pärast faasilist suurenemist.

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 8. 

Dopamiini vabanemise mõju tüüpilistele keskmistele närvirakkudele nina ja kõhu striatumis. Synaptic varicosities põhjustatud impulsside poolt vabanenud dopamiin aktiveerib mõned sünaptilised retseptorid (tõenäoliselt D2-tüüpi madala afiinsusega seisundis) ja difundeerub kiiresti sünapsisest, et jõuda lähedal asuvate madala afiinsusega D1-tüüpi retseptoritesse (D1?). või piiratud kaugusel. Fasiaalselt suurenenud dopamiin aktiveerib lähedal asuvad kõrge afiinsusega D2-tüüpi retseptorid küllastumisele (D2?). D2-i retseptorid aktiveeruvad osaliselt pärast dinaamiini kontsentratsioonide suurenemist pärast faasiliselt suurenenud vabanemist. Extrasynaptically vabanenud dopamiin võib saada lahjendatud difusiooni ja aktiveerida suure afiinsusega D2 retseptorid. Tuleb märkida, et erinevalt sellest skemaatilisest diagrammist paiknevad enamik D1 ja D2 retseptoreid erinevatest neuronitest. Kortikostriaalsetest terminalidest vabanenud glutamaat jõuab postünaptilistesse retseptoritesse, mis asuvad samadel dendriitidel, nagu dopamiini varikoosid. Glutamaat jõuab ka presünaptiliste dopamiinivariatsioonidega, kus see kontrollib dopamiini vabanemist. Dopamiini mõjutused eesnäärme närvirakkudes on paljudes aspektides võrreldavad.

Kokkuvõte. Täheldatud, mõõdukalt lõhkemine, lühiajaline, peaaegu sünkroonne vastus enamikule dopamiini neuronitest põhjustab optimaalset samaaegset dopamiini vabanemist enamikust lähedalt paiknevatest striaalsetest varicositeetidest. Neuronaalne vastus indutseerib lühikese dopamiini, mis vabaneb ekstrasünaptilistest kohtadest või difundeerub kiiresti sünapsetest juxtasynaptic piirkonda. Dopamiin jõuab kiiresti piirkondlikult homogeensetesse kontsentratsioonidesse, mis tõenäoliselt mõjutavad tõenäoliselt kõigi striatsi ja paljude kortikaalsete neuronite dendriite. Sel viisil edastatakse dopamiini neuronite 60 – 80% tasu sõnum lahknevana, pigem globaalse tugevdussignaalina striatumile, tuuma accumbensile ja frontaalsele ajukoorele, tagades faasilise mõju maksimaalsele töötlemisega seotud sünapside arvule. stiimulite ja tegevuste kohta, mis viivad tasu eest (joon. 7). Neuronaalsete aktivatsioonide poolt pärast hüvede ja tasu ennustavate stiimulite poolt vabanenud dopamiin mõjutaks juxtasynaptic D1 retseptoreid striata neuronitel, mis ulatuvad sisemisele pallidumile ja substia nigra pars reticulata'le, ja kõikidele D2 retseptoritele neuronites, mis ulatuvad välisele pallidumile. Dopamiini vabanemise vähenemine, mida indutseerivad depressioonid, millest on maha jäetud hüved ja tasu ennustavad stiimulid, vähendaks D2 retseptorite toonilist stimuleerimist ümbritseva dopamiini poolt. Seega mõjutavad positiivsed tasu ennustamisvead kõiki striaani väljund neuroneid, samas kui negatiivne ennustusviga võib valdavalt mõjutada neuroneid, mis ulatuvad välisele pallidumile.

Võimalikud kokaiinimehhanismid. Dopamiini tagasihaarde transportija blokaad selliste ravimitega nagu kokaiin või amfetamiin suurendab ja pikendab dopamiini kontsentratsioonide faasilist suurenemist (Church et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). Tugevdamine oleks eriti ilmne, kui kiire, purskega indutseeritud dopamiini kontsentratsiooni suurenemine jõuab tippu enne tagasiside reguleerimise jõustumist. See mehhanism tooks kaasa massiivselt suurenenud dopamiini signaali pärast esmaseid hüvesid ja premeerivaid stiimuleid. Samuti suurendaks see mõnevõrra nõrgemat dopamiini signaali pärast stiimuleid, mis meenutavad hüvesid, uudseid stiimuleid ja eriti olulisi stiimuleid, mis võivad igapäevaelus esineda. Kokaiini suurendamine võimaldaks nendel mittetöötavatel stiimulitel olla sama tugev või isegi tugevam kui kokaiinita looduslikud hüved. Postsünaptilised neuronid võivad sellist signaali valesti tõlgendada kui eriti silmatorkavat tasu puudutavat sündmust ja läbida pikaajalisi muutusi sünaptilises ülekandes.

Õppimise teooriad

Tugevdamisalgoritmid

AJUTISED ERINEVAD ÕPETUSED.

Eriti tõhusas tugevdusalgoritmide klassis (Sutton 1988; Sutton ja Barto 1981), sünaptilist kaalu modifitseeritakse vastavalt veapiirile, mis arvutatakse järjestikuste ajavahemike järel (t) igas uuringus

rˆ(t)=r(t)+P(t)-P(t-l)

Võrrand 6where r on tugevdamine ja P on tugevdamise ennustus. P (t) korrutatakse tavaliselt diskontofaktoriga γ 0 ≤ γ <1, et võtta arvesse üha kaugemate hüvede vähenevat mõju. Lihtsuse huvides on γ siin seatud 1. Ühe stiimuli puhul, mis ennustab ühte tugevdajat, ennustatakse P(t - 1) on enne aega t tugevdamine, kuid lõpeb tugevdamise ajal [P (t) = 0]. See toob kaasa tõhusa tugevdussignaali (T) tugevdamine

rˆ (t)=r(t)-P(t-l)

Võrrand 6a. r̂(t) Termin näitab tegeliku ja prognoositava tugevdamise erinevust. Õppimise ajal on tugevdamine ebatäpselt prognoositud, veaparandus on positiivne, kui toimub tugevdamine, ja sünaptilised kaalud suurenevad. Pärast õppimist ennustatakse tugevdamist eelneva stiimuliga [P(t - 1) = r(t)], on vea mõiste õige käitumise puhul null ja sünaptilised kaalud ei muutu. Kui tugevdamine on ebaadekvaatse jõudluse või muutunud kontingentsuse tõttu välja jäetud, on viga negatiivne ja sünaptilised kaalud vähenevad. The r̂(t) termin on analoogne (λ-V) Rescorla-Wagneri mudeli veakood (Eq. 4 ). See puudutab siiski individuaalseid ajakavasid (t) igas uuringus, mitte järjestikuste katsete käigus arenevate prognooside asemel. Need tugevdamise ajalised mudelid kasutavad ära asjaolu, et omandatud prognoosid sisaldavad täpset tugevdamise aega (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

Ajutiste erinevuste (TD) algoritmid kasutavad ka omandatud prognoose sünaptiliste kaalude muutmiseks. Ennustamata, ühekordse konditsioneeritud stiimuli puhul, mis ennustab üht kindlat kinnitust, ennustus P (t) algab õigel ajal (t), ei ole eelnevat prognoosi [P(t - 1) = 0] ja tugevdamine pole veel toimunud [r(t) = 0]. Vastavalt Eq. 6, mudel emiteerib sel ajal üksnes prognoositavat tõhusat tugevdussignaali (t) prognoos

rˆ=P(t)

Võrrand 6bKorduvate, järjestikuste ennustavate stiimulite puhul on ennustuste ajal jällegi tugevnenud, siis efektiivne tugevdussignaal ajal (T) prognoos kajastab erinevust praeguse prognoosi vahel P (t) ja eelnev prognoos P(t - 1)

rˆ=P(t)-P(t-l)

Võrrand 6cSee kujutab endast kõrgema järjekorra tugevdamise veateavet. Sarnaselt täielikult prognoositud tugevdajatega tühistatakse kõik ennustavad stiimulid, mis ennustatakse ennast ise.P(t - 1) = P(t)], mille tulemuseks on r̂ = 0 ajal (T) nendest stiimulitest. Ainult varaseim ennustav stiimul aitab kaasa tõhusale tugevdussignaalile, nagu see stiimul P (t) ei ole teise stiimuliga ennustatud [P(t - 1) = 0]. Selle tulemuseks on sama r̂ = P (t) sellel ajal (T) esimesest prognoosist kui ühe prognoosi puhul (Eq. 6b).

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 9. 

Ajutiste erinevuste algoritme rakendavate närvivõrgu mudelite põhiarhitektuurid võrreldes basaalganglioniga. A: esialgses rakenduses efektiivne õpetussignaal y - ȳ arvutatakse mudeli neuronis A ja saadetakse sisendite presünaptilistele terminalidele x neuronile B, seega mõjutab see x → B sünaptiliste kaalude töötlemine ja muutmine x → B sünapse. Neuron B mõjutab käitumist väljundi kaudu aksoni kaudu y samal ajal aitab see kaasa neuroni adaptiivsetele omadustele A, nimelt selle vastus korduvatele prognoosivatele stiimulitele. Selle lihtsa arhitektuuri viimased rakendused kasutavad neuroni A mitte neuron B väljundi kiirgamiseks O mudeli (Montague et al. 1996; Schultz et al. 1997). Kordustrükk Sutton ja Barto (1981) American Psychological Association loal. B: hiljutine rakendamine eraldab õpetuskomponendi A, kutsus kriitikat (paremal), väljundkomponendist, mis koosneb mitmest töötlusüksusest B, nimetatakse näitlejaks (vasakul). Tõhus tugevdussignaal r̂(t) arvutatakse, lahutades kaalutud reinforceri ennustuse γ ajaline erinevusP(t) - P(t - 1) esmane tugevdamine r(t), mis on saadud keskkonnast (γ on kaugemate tugevdajate väärtust vähendav diskontofaktor). Reinforceri ennustus arvutatakse eraldi prognoosimisüksuses C, see on kriitiku osa ja moodustab suletud ahela koos õpetajaelemendiga A, arvestades, et esmane tugevdamine siseneb kriitikale eraldi sisendi kaudu r_t. Efektiivne tugevdussignaal mõjutab sünaptilist kaalu näitleja sissetulevatel aksonitel, mis vahendavad kriitiku väljundit ja adaptiivset ennustusüksust. Kordustrükk Barto (1995) MIT Pressi loal. C: basaalsete ganglionide põhiühendus näitab silmatorkavaid sarnasusi näitleja-kriitika arhitektuuriga. Dopamiini projektsioon eraldab tugevdussignaali striatumile ja on võrreldav üksusega A osades A ja B, limbiline striatum (või striosoom-plaaster) võtab ennustusüksuse positsiooni C kriitikus ja sensorimotori striatum (või maatriks) meenutavad näitlejaüksusi B. Algses mudelis (A), üks peamine kõrvalekalle kehtestatud basaalganglioni anatoomiast koosneb neuroni mõjust A on suunatud presünaptilistele terminalidele, samas kui dopamiini sünapsid asuvad striatu neuronite postsünaptilistel dendritidel (Freund et al. 1984). Kordustrükk Smith ja Bolam (1990) Elsevier Press loal.

Kokkuvõttes on efektiivne tugevdussignaal (Eq. 6 ) koosneb esmasest tugevdamisest, mis väheneb uute prognoosidega (Eq. 6a) ja asendatakse järk-järgult omandatud prognoosidega (Eqs. 6b ja 6c). Järjestikuste prognoositavate stiimulite korral liigub efektiivne tugevdussignaal ajahetkel tagasi primaarsest kinnitusseadmest kuni varaseimate ennustaja ennustavate stiimuliteni. Tagasiulatuva ülekande tulemuseks on konkreetse krediidi spetsiifilisem määramine kaasatud sünapsidele, kuna prognoosid esinevad aja jooksul lähemal konditsioneeritavate stiimulite ja käitumuslike reaktsioonide suhtes, võrreldes katse lõpu tugevdamisega (Sutton ja Barto 1981).

Tugevdamisõppealgoritmide rakendamisel kasutatakse prognoosi viga kahel viisil, käitumise väljundi sünaptiliste kaalude muutmiseks ja ennustusvea ennustamiseks ennustuste ennustamiseks (joonis fig. 9 A) (McLaren 1989; Sutton ja Barto 1981). Need kaks funktsiooni on eraldatud viimastes rakendustes, kus prognoositav viga arvutatakse adaptiivse kriitilise komponendi juures ja muudab käitumise väljundit vahendava toimeaine komponendi sünaptilise kaalu. 9 B) (Barto 1995). Positiivne viga suurendab kriitiku tugevnemise ennustust, samas kui negatiivse vea tõttu jäetud tugevdamisest väheneb prognoos. See muudab tõhusa tugevdussignaali väga adaptiivseks.

Ajutise erinevuse õppimise neurobioloogilised rakendused

NEUROBIOLOOGILISTE PROBLEEMIDE TAOTLUSED.

Kuigi algselt töötati välja klassikalise konditsioneerimise Rescorla-Wagneri mudeli põhjal, õpivad TD-algoritme kasutavad mudelid põhiliselt instrumentaalsete konditsioneerimisvormide kaudu mitmesuguseid käitumisülesandeid. Need ülesanded jõuavad tasakaalu tasakaalustamisele ratta ratas (Barto et al. 1983) maailmatasemel backgammoni mängimiseks (Tesauro 1994). TD-algoritme kasutavad robotid õpivad liikuma kahemõõtmelise ruumi ümber ja väldivad takistusi, jõuda ja haarata (Fagg 1993) või asetage tihvt auku (Gullapalli et al. 1994). TD tugevdussignaali kasutamine käitumise otseseks mõjutamiseks ja valimiseks (joon. 9 A), TD-mudelid kopeerivad mesilaste toitumisharjumusi (Montague et al. 1995) ja simuleerida inimeste otsuste tegemist (Montague et al. 1996). TD-mudelid, millel on selge kriitika-näitleja arhitektuur, kujutavad endast väga võimsaid mudeleid, mis õppivad tõhusalt silma liigutusi (Friston et al. 1994; Montague et al. 1993), järjestikused liikumised (joon. 10) ja orienteerumisreaktsioonid (Contreras-Vidal ja Schultz 1996). Hiljutine mudel lisas aktiveerivalt depressiivse uudsuse signaale õpetussignaali parandamiseks, kasutas stiimulit ja tegutsemisjälgi kriitikus ja näitlejas ning kasutas võitja-võtta-eeskirju õpetussignaali parandamiseks ja suurima aktiveerimisega neuronite valimiseks. See kordas väga üksikasjalikult nii dopamiini neuronite vastuseid kui ka loomade õppimisviise hilinenud reageerimisülesannetes (Suri ja Schultz 1996). Eriti huvitav on näha, et ennustusvigade abil kasutatavad signaalid toovad kaasa kiirema ja täielikuma õppimise võrreldes tingimusteta tugevdussignaalidega (joonis fig. 10) (Friston et al. 1994).

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 10. 

Ennustava tugevdussignaali eelised õppimiseks. 2i samm-3 valikuülesannetega koolitati toimeaine ajalise erinevuse mudel kriitika-näitleja arhitektuuri ja abikõlblikkuse jälgimisega.ülemine vasakpoolne). Õppimine paranes kiiremini ja saavutas kõrgema jõudluse, kui õpetussignaalina kasutati ennustavat tugevdussignaali (adaptiivne kriitik, ülemine) võrreldes tingimusteta tugevdamise signaali kasutamisega prooviperioodil (\ tpõhi). See efekt muutub järjest rohkem väljendunud järjestustega. Võrreldav jõud tingimusteta tugevdamise signaaliga nõuaks palju pikemat abikõlblikkuse jälgimist. Andmed saadi 10i simulatsioonidest (R. Suri ja W. Schultz, avaldamata vaatlused). Sarnane paranemine prognoositava tugevdamisega õppimisel leiti okulomotoorse käitumise mudelis (Friston et al. 1994).

Võimalikud õppemehhanismid, mis kasutavad dopamiini signaali

Eelmises osas on näidatud, et dopamiini vastuse poolt emiteeritud formaalne ennustusvea signaal võib olla eriti sobiv õpetussignaal mudelite õppimiseks. Järgmistes peatükkides kirjeldatakse, kuidas bioloogilist dopamiini vastust võiks potentsiaalselt kasutada basaalsete ganglionistruktuuride õppimiseks ja katsetada hüpoteese.

MÜÜGIKOORMUSE SIGNAALI KAHJUTATUD POSTSYNAPTIKA PLASTIKUS.

Õppimine toimuks kahes etapis. Esimene etapp hõlmab dopamiini premeeriva vastuse saamist. Järgnevatel uuringutel tugevdaks ennustav dopamiini signaal spetsiifiliselt Hebbian-tüüpi kortikostriaalse sünapsi sünaptilise kaalu (ω), mis on aktiivsed tasu ennustava stiimuli ajal, samal ajal kui inaktiivsed kortikostriaalne sünapsid jäetakse muutmata. Selle tulemuseks on kolme teguriga õppimise reegel

Δω=ɛ rˆ i o

Võrrand 8where r̂ on dopamiini tugevdussignaal, i on sisendtegevus, o on väljundaktiivsus ja ɛ on õppe määr.

Lihtsustatud mudeli puhul võtavad neli kortikaalset sisendit (i1 – i4) ühendust kolme keskmise suurusega nina striaani neuronite dendriitidega (o1 – o3; joonis fig. 11). Kortikaalsed sisendid lähenevad striatu neuronitele, iga sisend kontakteerub erineva selgrooga. Samasugused selgroogid puutuvad üldjuhul kokku tavalise dopamiini sisendiga R. Dopamiini sisendi R aktiveerimine näitab, et keskkonnas esines ettenägematu tasu ennustav stiimul ilma täiendavate üksikasjade esitamiseta (headuse signaal). Oletame, et kortikaalne sisend i2 aktiveeritakse samaaegselt dopamiini neuronitega ja kooditakse üks mitmest spetsiifilisest parameetrist sama tasu ennustava stiimuliga, nagu näiteks sensoorset modaalsust, keha külge, värvi, tekstuuri ja asendit või liikumise spetsiifilist parameetrit. stiimul. Selle sündmuse parameetrite komplekt kodeeritakse kortikaalsete sisendite komplektiga i2. Kortikaalsed sisendid i1, i3 ja i4, mis ei ole seotud praeguste stiimulitega ja liikumistega, on mitteaktiivsed. Dopamiini vastus põhjustab kõigil varikoosidel mitteselektiivset vabanemist dopamiinist, kuid selektiivne tugevdab ainult aktiivseid kortikosteetrilisi sünapseid i2-o1 ja i2-o2, tingimusel, et kortikaalsed sisendid on piisavalt tugevad, et aktiveerida striatali neuroneid o1 ja o2.

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 11. 

Globaalse dopamiini tugevdamise signaali diferentsiaalne mõju selektiivsele kortikostriaalsele aktiivsusele. 3i keskmise suurusega spiaalsete närvirakkude neuronite o1, o2 ja o3 dendriitrakke kontakteeruvad 4-i koore sisenditega i1, i2, i3 ja i4 ning aksoniliste varikoosidega ühest dopamiini neuronist R (või homogeenselt aktiveeritud dopamiini neuronite populatsioonist) ). Iga striatu neuron saab ∼10,000-i koore ja 1,000-i dopamiini sisendeid. Üksikute dendriitrakkude puhul lähenevad erinevad koore sisendid dopamiini sisendiga. Mudeli 1 versioonis suurendab dopamiini signaal samaaegselt aktiivse kortikostaalse transmissiooni, võrreldes mitteaktiivse ülekandega. Näiteks dopamiini sisend R on aktiivne kortikaalse sisendiga i2, samal ajal kui i1, i3, i4 on inaktiivsed. Selle tulemuseks on i2 → o1 ja i2 → o2 edastuse muutmine, kuid jätab muutmata kujul i1 → o1, i3 → o2, i3 → o3 ja i4 → o3. Mudelis, mis kasutab plastiilsust, on kortikostietrilise sünapsi sünaptilised kaalud dopamiini signaaliga pikemas perspektiivis modifitseeritud sama reegli kohaselt. See võib juhtuda siis, kui dopamiini vastused konditsioneeritud stimulatsioonile avaldavad mõju kortikostriaalsetele sünapsidele, mis on aktiveeritud ka selle stiimuli poolt. Teises plastilisust kasutavas versioonis võivad dopamiini vastused esmase tasu eest toimida ajas tagasi varem aktiivsete kortikostriaalse sünapsi korral. Need sünapsid muutuksid kõlblikeks nimetatud tegevusest lahkunud hüpoteetilise postünaptilise neuronaalse jälje abil. Võrreldes basaalganglioni struktuuri joonisel fig. 9 B, dopamiini sisend R kordab kriitikat neuroniga A, striatum neuronitega o1 – o3 kordab näitlejat neuroniga B, kortikaalsed sisendid i1 – i4 kordavad näitleja sisendit ja dopamiini neuronite R-i erinev projektsioon mitme striatsiuroni neuronite paljudel nugadel o1 – o3 kordab kriitiku globaalset mõju näitlejale. Sarnast võrdlust tegi Houk et al. (1995). See joonis põhineb anatoomilistel andmetel Freund et al. (1984), Smith ja Bolam (1990), Flaherty ja Graybiel (1993)ja Smith et al. (1994).

See õppemehhanism kasutab omandatud dopamiini reaktsiooni tasu ennustava stiimuli ajal kui õpetussignaali pikaajaliste sünaptiliste muutuste esilekutsumiseks (joonis fig. 12 A). Ennustava stiimuli või vallandunud liikumise tundmine põhineb dopamiini vastuse saamisel tasuvust ennustavale stiimulile koos dopamiinist sõltuva plastilisusega striatumis. Alternatiivselt võivad plastiilsuse muutused esineda kortikaalsetes või subkortikaalsetes struktuurides striatumist allavoolu pärast dopamiini vahendatud lühiajalist sünaptilise ülekande võimendamist striatumis. Hüvitise tagasiulatuvat mõju stiimulitele ja preemiatele eelnevatele liikumistele vahendab vastuse ülekanne kõige varasema tasu ennustava stiimulini. Dopamiini reaktsiooni prognoositavale või välja jäetud primaarsele tasule ei kasutata striatumi plastilisuse muutuste suhtes, kuna see ei esine samaaegselt konditsioneeritud sündmustega, kuigi see võiks olla kaasatud dopamiini vastuse arvutamisse tasuvust ennustavale stiimulile analoogselt TD mudelite arhitektuur ja mehhanism.

• Laadi alla
• Ava uus kaart
• Download powerpoint

Joon. 12. 

Dopamiini tugevdamise signaali mõju võimalikele õppemehhanismidele striatumis. A: prognoositav dopamiini tasu vastus konditsioneeritud stiimulile (CS) omab otsest võimendavat või plastilisust mõjutavat mõju stimulaatoriga seotud striatu neurotransmissioonile. B: dopamiini vastus primaarsele tasule on retrospektiivne plastilisuse mõju striatsiivne neurotransmissioonile, mis on seotud eelneva konditsioneeritud stiimuliga. Seda mehhanismi vahendab abikõlblikkuse jälgimise aeglustav striaaltegevus. Tahked nooled näitavad dopamiini signaali otsest mõju striatu neurotransmissioonile (A) või abikõlblikkuse jälg (B), väike nool B näitab abikõlblikkuse jälgimise kaudu kaudse neurotransmissiooni kaudset mõju.

Dopamiini neuronite elektriline stimulatsioon tingimusteta stiimulina

Piiratud aju piirkondade elektriline stimulatsioon toimib usaldusväärselt lähenemise käitumise omandamisel ja säilitamisel (Vanad ja Milner 1954). Mõned väga tõhusad isereguleerivad saidid langevad kokku dopamiinirakkude kehadega ja keskjoones asuvate aksonikimpudega.Corbett ja Wise 1980), tuuma akumulaatorid (Phillips et al. 1975), striatum (Phillips et al. 1976) ja prefrontaalset ajukooret (Mora ja Myers 1977; Phillips et al. 1979), kuid leidub ka struktuurides, mis ei ole seotud dopamiinisüsteemidega (\ tValge ja Milner 1992). Elektriline enesestimuleerimine hõlmab dopamiini neuronite aktiveerimist (Fibiger ja Phillips 1986; Wise ja Rompré 1989) ja seda vähendavad 6-hüdroksüdopamiini poolt põhjustatud dopamiini aksonite kahjustused (\ tFibiger et al. 1987; Phillips ja Fibiger 1978), dopamiini sünteesi pärssimine (Edmonds ja Gallistel 1977), dopamiini neuronite depolarisatsiooni inaktiveerimine (Rompré ja Wise 1989) ja dopamiini retseptori antagoniste, mida manustatakse süsteemselt (\ tFuriezos ja Wise 1976) või tuuma accumbens'isse (Mogenson jt. 1979). Iseloomustamist soodustab ekstratsellulaarse dopamiini kokaiini- või amfetamiin-indutseeritud suurenemine (Colle ja Wise 1980; Stein 1964; Wauquier 1976). Enesestimuleerimine suurendab otseselt dopamiini kasutamist tuuma accumbens, striatum ja frontal cortex (Fibiger et al. 1987; Mora ja Myers 1977).

On intrigeeriv ette kujutada, et elektriliselt tekitatud dopamiini impulss ja vabastamine võivad olla assotsieeruvates õpingutes tingimusteta stiimul, mis sarnaneb oktopamiini neuronite stimuleerimisele mesilaste puhul, kes õpivad sümptomite refleksi (Haamer 1993). Dopamiiniga seotud enesestimuleerimine erineb siiski vähemalt kolmest olulisest aspektist alates dopamiini neuronite loomulikust aktiveerumisest. Selle asemel, et aktiveerida ainult dopamiini neuroneid, aktiveerivad looduslikud hüved tavaliselt paralleelselt mitmed neuronaalsed süsteemid ja võimaldavad erinevate tasu komponentide hajutatud kodeerimist (vt täiendavat teksti). Teiseks rakendatakse tingimusteta tugevdusena elektrilist stimulatsiooni, ilma et see peegeldaks tasu ennustuse viga. Kolmandaks, elektriline stimuleerimine toimub ainult tasu eest pärast käitumisreaktsiooni, mitte tasu ennustava stiimuli ajal. Oleks huvitav rakendada elektrilist enesestimuleerimist täpselt samamoodi nagu dopamiini neuronid oma signaali.

Dopamiini neurotransmissiooniga õpiraskused

Paljudes uuringutes uuriti dopamiini neurotransmissiooniga kahjustatud loomade käitumist pärast dopamiini retseptori antagonistide kohalikku või süsteemset manustamist või dopamiini aksonite hävitamist ventraalses keskjoones, tuumaklundis või striatumis. Need uuringud näitasid lisaks parkinsonismile meenutavate liikumis- ja kognitiivsete puudujääkide jälgimisele ka tasuinformatsiooni töötlemise puudusi. Esimesed uuringud väitsid puudujääke subjektiivses, hedoonilises ettekujutuses hüvedest (Tark 1982; Wise et al. 1978). Edasised katsetused näitasid esmaste hüvede ja konditsioneeritud isuäratavate stiimulite halvenenud kasutamist lähenemise ja tarbimise käitumise jaoksBeninger jt. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Wise ja Colle 1984; Tark ja Rompre 1989). Paljud uuringud kirjeldasid motivatsiooniprotsesside ja isuäraliku õppe aluseks olevate häirete kahjustusi.Beninger 1983, 1989; Beninger ja Hahn 1983; Fibiger ja Phillips 1986; LeMoal ja Simon 1991; Robbins ja Everitt 1992, 1996; Valge ja Milner 1992; Tark 1982). Enamik õpiraskustest on seotud dopamiini neurotransmissiooni kahjustumisega tuumaklundides, samal ajal kui dorsaalse striatumi kahjustused põhjustavad sensorimotoorse defitsiidi (Amalric ja Koob 1987; Robbins ja Everitt 1992; Valge 1989). Siiski tundub, et instrumentaalülesannete ja eriti diskrimineerivate stiimulite omaduste õppimine on sageli säästetud ning ei ole täielikult lahendatud, kas mõningaid ilmseid õpiraskusi võib segada mootori jõudluse puudujääk (Salamone 1992).

Dopamiini neuronite degeneratsioon Parkinsoni tõve korral põhjustab ka mitmeid deklaratiivseid ja protseduurilisi puudujääke, sealhulgas assotsiatiivset õppimist (Linden jt. 1990; Sprengelmeyer jt. 1995). Puudused esinevad katse- ja veaõppes kohe tugevdamisega (Vriezen ja Moscovitch 1990) ja selgesõnaliste stiimulite seostamisel erinevate tulemustega (Knowlton jt. 1996) isegi Parkinsoni tõve varajases staadiumis ilma kortikaalse atroofiata (Canavan jt. 1989). Parkinsoni tõvega patsientidel on ka aeg-ajalt tajumine (Pastor et al. 1992). Kõik need puudujäägid tekivad L-Dopa ravi juures, mis taastab striaalsete dopamiinitasemete toonilisuse ilma faasiliste dopamiini signaalide taastamata.

Need uuringud näitavad, et dopamiini neurotransmissioonil on oluline roll lähenemise käitumise hüvede ja õppimise vormide töötlemisel, mis on seotud stiimulite ja hüvede vaheliste seostega, samas kui küsitavaks võib olla osalemine õppevahendite instrumentaalsemates vormides. On ebaselge, kas need puudujäägid kajastavad pigem üldist käitumise inaktivatsiooni, kuna dopamiini retseptori stimuleerimine on pigem foonilise dopamiini tasu signaal. Selle probleemi lahendamiseks ja täpsemalt dopamiini rolli erinevates õppevormides selgitamiseks oleks kasulik õppida õppimist olukordades, kus fasiline dopamiini vastus söögiisu stiimulitele tegelikult toimub.

Dopamiini signaali poolt vahendatavad õpivormid

Dopamiini vastuste omadused ja dopamiini potentsiaalne mõju striatu neuronitele võivad aidata mõningaid õppevorme piiritleda, millesse dopamiini neuronid võiksid osaleda. Eelistavad vastused isuäratavale vastandina vastumeelsetele sündmustele soodustaksid lähenemist käitumise õppimises ja positiivse tugevdamise mõjude vahendamises, mitte tagasivõtmises ja karistamises. Vastused primaarsetele hüvedele väljaspool ülesandeid ja õpikontekstid võimaldaksid dopamiini neuronitel mängida rolli suhteliselt laias õppespektris, mis hõlmab nii klassikalist kui ka instrumentaalset konditsioneerimist. Vastused premeerivate stiimulite suhtes peegeldavad stiimulite tasustamise ühendusi ja oleksid kooskõlas osaluse ootustega, mis on aluseks üldisele stimuleerivale õppimisele (Bindra 1968). Seevastu dopamiini vastused ei koodita selgesõnaliselt hüvesid eesmärgiobjektidena, sest nad teatavad ainult vigadest tasu ennustamisel. Nad näivad samuti olevat motiveerivate seisundite suhtes tundlikud, mistõttu nad ei sea erilist rolli eesmärgipõhiste tegude riigipõhisest stimuleerivast õppimisest (Dickinson ja Balleine 1994). Selged seosed käsivarre ja silmade liikumisega oleksid ebasoovitavad stiimuleid stimuleerivaid stiimuleid järgivate käitumisreaktsioonide otsest vahendamist. Siiski on individuaalsete neuronite heitmete võrdlemine ja tervete organismide õppimine sisuliselt raske. Sünaptilisel tasemel jõuab faasiliselt vabanenud dopamiin tõenäoliselt igale striatu neuronile paljudele dendriitidele ja võib seega avaldada plastiilsuse mõju striatumiga seotud suurele hulgale käitumuslikele komponentidele, mis võivad hõlmata liikumise õppimist.

Spetsiifilised tingimused, mille korral faasilised dopamiini signaalid võiksid õppimises mängida, määravad stiimulid, mis indutseerivad efektiivselt dopamiini vastust. Loomade laboris nõuavad dopamiini vastused isu, uudsete või eriti oluliste stiimulite faasilist esinemist, kaasa arvatud esmased toitainehüvitised ja tasuvust ennustavad stiimulid, samas kui aversiivsed stiimulid ei oma olulist rolli. Dopamiini vastused võivad esineda kõigis käitumisolukordades, mida kontrollivad faasilised ja selged tulemused, kuigi kõrgema astme konditsioneeritud stiimuleid ja sekundaarseid tugevdajaid ei ole veel testitud. Faasilised dopamiinireaktsioonid ei pruugi tõenäoliselt mängida rolli, mida ei paku faasiliselt esinevad tulemused, ning ennustav vastus ei suuda õppimisele kaasa aidata olukordades, kus ei esine faasilisi ennustavaid stiimuleid, nagu suhteliselt aeglased muutused kontekstis . See toob kaasa huvitava küsimuse, kas mõnede õppimisvormide säästmine dopamiini kahjustuste või neuroleptikumidega võib lihtsalt kajastada faasiliste dopamiini vastuste puudumist, sest neid kasutavaid efektiivseid stiimuleid ei kasutatud.

Dopamiini signaalide kaasamist õppesse võib illustreerida teoreetilise näitega. Kujutage ette dopamiini reaktsioone seerumisse reageerimise aja ülesande omandamisel, kui õige reaktsioon põhjustab äkki toitainete tasu. Seejärel saadetakse tasu vastus järk-järgult varasematele tasuvust ennustavatele stiimulitele. Reaktsiooniajad paranevad veelgi pikema praktikaga, kuna sihtmärkide ruumilised positsioonid muutuvad üha prognoositavamaks. Kuigi dopamiini neuronid reageerivad jätkuvalt tasuvust ennustavatele stiimulitele, võib edasine käitumise paranemine olla peamiselt tingitud ruumiliste positsioonide ennustava töötlemise omandamisest teiste neuronaalsete süsteemide poolt. Seega toimuksid dopamiini vastused õppimise algse, stimuleeriva osa ajal, kus õppeained tulevad lähenema objektidele ja saavad selgesõnalise esmase ja võimaluse korral konditsioneeritud tasu. Nad oleksid vähem kaasatud olukordadesse, kus õppimise edenemine ületab lähenemise käitumise indutseerimise. See ei piiraks dopamiini rolli esmaste õpingute etappides, kuna paljudes olukordades tuleb algselt õppida näidetest ja alles hiljem kaasata õppimine selgesõnaliste tulemustega.

Ennustamisviga

Dopamiini neuronite prognoosivigade signaal oleks suurepärane näitaja keskkonnaalaste sündmuste ennustavast väärtusest seoses ennustamisega, kuid ei diskrimineeri toitu, vedelikke ega tasu ennustavaid stiimuleid ning visuaalset, kuuldavat ja somatosensoorset modaalsust. See signaal võib moodustada tasu hoiatusteate, mille kohaselt postünaptilisi neuroneid teavitatakse tasuv või potentsiaalselt rahuldust pakkuvast sündmusest üllatavast välimusest või tegemata jätmisest ilma selle identiteedita. Sellel on kõik õppe võimendava signaali ametlikud omadused. Teave tasude konkreetse olemuse kohta on siiski otsustava tähtsusega, et määrata, milliseid objekte tuleks läheneda ja millisel viisil. Näljane loom peaks näiteks lähenema peamiselt toidule, kuid mitte vedelikule. Asjakohaste hüvede eristamiseks on vaja dopamiini signaali täiendada täiendava teabega. Hiljutised in vivo dialüüsiproovid näitasid toiduga indutseeritud dopamiini suuremat vabanemist näljas kui küllastunud rottidel (Wilson et al. 1995). See dopamiini vabanemise ajaline sõltuvus ei pruugi kaasa tuua impulsi vastuseid, kuna me ei ole suutnud leida selget juhtimise sõltuvust dopamiini vastustest, kui võrrelda varase ja hilise perioodi jooksul individuaalseid eksperimentaalseid seansse, mille jooksul loomad said vedelikuga küllastunud (JL Contreras-Vidal ja W. Schultz, avaldamata andmed).

Auhindade eripära

Teavet vedeliku ja toidu hüvede kohta töödeldakse ka aju struktuuris, mis ei ole dopamiini neuronid, nagu selja- ja vatsakeha, subthalamic tuum, amygdala, dorsolateraalne prefrontaalne ajukoor, orbitofrontaalne ajukoor ja eesmine cingulate cortex. Siiski ei näi need struktuurid välja dopamiini neuronitele sarnase globaalse tasu ennustusvea signaali. Primaatides töötlevad need struktuurid hüved kui 1) mööduvad vastused pärast tasu andmist (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki ja Watanabe 1979; Nishijo et al. 1988; Tremblay ja Schultz 1995; Watanabe 1989), 2) mööduvad vastused tasu ennustavate märkide kohta (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay ja Schultz 1995; Williams et al. 1993), 3) pidev aktiveerimine kohe ootavate hüvede ootuste (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay ja Schultz 1995), Ja 4) käitumisega seotud aktivatsioonide moduleerimine prognoositava tasu \ tHollerman et al. 1994; Watanabe 1990, 1996). Paljud nendest neuronitest eristavad hästi erinevaid toiduhüvitisi ja erinevaid vedelaid hüvesid. Seega töötlevad nad tasulise sündmuse spetsiifilist iseloomu ja võivad teenida auhindu. Mõned tasulised vastused sõltuvad tasu ettearvamatusest ning vähenevad või puuduvad, kui tasu ennustatakse konditsioneeritud stiimuliga (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay ja W. Schultz, avaldamata andmed). Nad võivad töödelda konkreetsete hüvede prognoose, kuigi on ebaselge, kas nad näitavad ennustusvigu, kuna nende vastused jäetud hüvedele ei ole teada.

Säilitatud tulemuslikkuse säilitamine

Kolm neuronaalset mehhanismi näivad olevat olulised kindlakstehtud käitumisharjumuste säilitamiseks, nimelt välja jäetud hüvede avastamiseks, tasu ennustavate stiimulite avastamiseks ja prognoositud hüvede tuvastamiseks. Dopamiini neuronid on depressioonis, kui prognoositud hüved jäetakse välja. See signaal võib vähendada sünaptilist efektiivsust, mis on seotud ekslike käitumuslike reaktsioonidega ja takistab nende kordumist. Dopamiini vastus tasuvust ennustavatele stiimulitele säilib kindlaksmääratud käitumise ajal ja on seega jätkuvalt eelinformatsiooniks. Kuigi dopamiini neuronid ei tuvasta täielikult prognoositavaid hüvesid, töödeldakse neid eespool mainitud mittepamiinergiliste kortikaalsete ja subkortikaalsete süsteemidega. See oleks oluline õppitud käitumise väljasuremise vältimiseks.

Kokkuvõttes näib, et lähenemise käitumise õppimise ja säilitamise konkreetsete hüvede töötlemine tooks tugevalt kasu dopamiini neuronite vahelisest koostööst, mis annaks tunnistust tasu ja neuronite ettearvamatust esinemisest või väljajätmisest samal ajal, näidates tasu spetsiifilist iseloomu.

Noradrenaliini neuronid

Peaaegu kogu noradrenaliini neuronite populatsioon rottide, kasside ja ahvide lookus coeruleus'es näitab üsna homogeenset, bifaasilist aktiveerivat-depressiivset reaktsiooni visuaalsetele, kuulmis- ja somatosensoorsetele stiimulitele, mis tekitavad orienteerumisreaktsioone (Aston-Jones ja Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Eriti tõhusad on harvaesinevad sündmused, millele loomad pööravad tähelepanu, nagu visuaalsed stiimulid ebatavalise diskrimineerimise ülesandes (Aston-Jones et al. 1994). Noradrenaliini neuronid eristavad väga hästi erutavate või motiveerivate ja neutraalsete sündmuste vahel. Nad omandavad kiirelt vastused uutele sihtliikumistele tagasipööramisel ja kaotavad vastused varasematele sihtmärkidele enne, kui käitumise muutmine on lõpetatud (Aston-Jones et al. 1997). Vastused tekivad vedeliku vabanemiseks väljaspool mis tahes ülesannet ja üleandmine, et tasuda ennustusi sihtmärkide suhtes nii ülesande kui ka primaarsete ja konditsioneeritud aversiivsete stiimulite eest (Aston-Jones et al. 1994; Foote et al. 1980; Rasmussen ja Jacobs 1986; Sara ja Segal 1991). Vastused on sageli mööduvad ja peegeldavad muutusi stiimulite esinemises või tähenduses. Aktiveerumine võib toimuda ainult mõnede katsete puhul, mille puhul esineb korduvalt toiduaineid (Vankov et al. 1995) või konditsioneeritud kuuldussüsteemiga seotud stiimulitega, mis on seotud vedeliku tasu, aversiivse õhu \ tRasmussen ja Jacobs 1986; Sara ja Segal 1991). Konditsioneerimise ajal ilmnevad vastused uute stiimulite esimestele esitusviisidele ja ilmuvad uuesti ajutiselt, kui tugevdamise vältimatus muutub omandamise, ümberpööramise ja väljasuremise ajal (Sara ja Segal 1991).

Kokkuvõttes meenutavad noradrenaliini neuronite vastused mitmetes aspektides dopamiini neuronite vastuseid, mida aktiveerivad primaarsed hüved, premeerivad ennustavad stiimulid ja uudsed stiimulid ning vastuse ülekandmine esmastest konditsioneeritud isuäratavatest sündmustest. Kuid noradrenaliini neuronid erinevad dopamiini neuronitest, reageerides palju suuremale hulgale ärritavale stiimulile, reageerides hästi primaarsetele ja konditsioneeritud aversiivsetele stiimulitele, diskrimineerides hästi neutraalsete stiimulite vastu, järgides kiiresti käitumuslikke pöördeid ja näidates korduvaid stiimuleid korduva stiimuliga esitamine, mis võib eeldada, et 100i proovid on tugevad isuäratavad vastused (Aston-Jones et al. 1994). Noradrenaliini vastused on tugevalt seotud orienteeruvaid reaktsioone tekitavate stiimulite äratundmisega või tähelepanu haaravusega, olles samas palju vähem keskendunud isuäratavale stiimulile nagu enamik dopamiini neuroneid. Nad on tõenäoliselt rohkem tähelepanu pööranud kui isuäratavate sündmuste komponentide motiveerimine.

Serotoniini neuronid

Erinevate raphe tuumade aktiivsus hõlbustab mootori väljundit lihaste tooni ja stereotüüpse motoorse aktiivsuse seadmisega (Jacobs ja Fornal 1993). Dorsaalsed raphe-neuronid kassidel näitavad, et neil ei ole mingit erilist käitumist tähistavat visuaalset ja kuuldavat stimulatsiooni.Heym et al. 1982; LeMoal ja Olds 1979). Need vastused meenutavad dopamiini neuronite vastuseid uudsetele ja eriti olulistele stiimulitele. Edasised võrdlused nõuavad üksikasjalikumat katsetamist.

Nucleus basalis Meynert

Primaadi basaalsed eesnäärme neuronid aktiveeritakse faasiliselt paljude erinevate käitumishäirete kaudu, sealhulgas konditsioneeritud, premeerivad stiimulid ja esmased hüved. Paljud aktiveerimised sõltuvad mälust ja seostest diskrimineerimise tugevdamisega ja viivitatud reageerimisega. Aktiveerimine kajastab stiimulite tundlikkust (Wilson ja Rolls 1990a), muutuvad olulisemaks, kui stiimulid ja liikumised toimuvad lähemale tasu saamise ajale (Richardson ja DeLong 1990) eristada hästi visuaalsete stiimulite vahel isuäratavate ja vastumeelsete ühenduste põhjal (Wilson ja Rolls 1990b) ja muutus mõne katse ajal ümberpööramisel (Wilson ja Rolls 1990c). Neuroneid aktiveerivad ka aversiivsed stiimulid, prognoositud visuaalsed ja kuuldavad stiimulid ja liikumised. Nad reageerivad sageli väljakujunenud käitumisülesannetes täielikult prognoositud hüvedele (Mitchell et al. 1987; Richardson ja DeLong 1986, 1990), kuigi mõnedes uuringutes on vastused ettenägematutele hüvedele \ tRichardson ja DeLong 1990) kuid mitte teistes (Wilson ja Rolls 1990a-c). Võrreldes dopamiini neuronitega, aktiveeritakse neid palju suuremate stiimulite ja sündmuste spektriga, kaasa arvatud aversiivsed sündmused, ning ei näita üsna homogeenset elanikkonna vastust ettenägematutele hüvedele ja selle ülekandmisele premeerivatele stiimulitele.

Ajutised ronimiskiud

Tõenäoliselt postuleeriti tõenäoliselt aju esimene veapõhine õpetussignaal, mis hõlmab väikseima oliiviõli ronimiskiudude väljatõmbamist ajukoores olevatesse Purkinje neuronitesse (Marr 1969), ja paljud mõõtuõpetuslikud uuringud põhinevad sellel \ tHouk et al. 1996; Ito 1989; Kawato ja Gomi 1992; Llinas ja Walesi 1993). Purkinje neuronite kiudsisendite ronimine muudab nende aktiivsust ajutiselt, kui liikumiste või liikumiste ja visuaalse tagasiside vahelisi koormusi muudetakse ja ahvid kohanevad uue olukorraga (Gilbert ja Thach 1977; Ojakangas ja Ebner 1992). Enamik neist muutustest seisneb pigem suurenenud aktiivsuses kui aktiveerimises ja depressioonivastustes, mida on täheldatud dopamiini neuronite vastassuunas esinevate vigadega. Kui kiudude kiudude aktiveerimine toimiks õpetussignaalina, peaks üheaegne kiudoptiline kiudude aktiveerimine viima paralleelsete kiudsisendite muutusesse Purkinje neuronitesse. See juhtub tõepoolest paralleelsete kiudude sisendi pikaajalise depressioonina, peamiselt in vitro preparaatides (Ito 1989). Siiski on käitumisõppe olukordades raskem leida võrreldavaid paralleelkiudude muutusi (Ojakangas ja Ebner 1992), jättes võimalike ronimiskiudude õpetamise signaalide tagajärjed praegu avatuks.

Teine argument kiudude ronimise rolli kohta õppimises hõlmab klassikalist õhustamist. Osa ronimiskiududest aktiveeritakse sarvkestale õhutavate õhupuhastustega. Need reaktsioonid kaovad pärast Pavlovia silmalau konditsioneerimist, kasutades kuuldavat stimulatsiooni (Sears ja Steinmetz 1991), mis viitab seosele esmaste aversiivsete sündmuste ettearvamatusega. Pärast konditsioneerimist reageerivad aju interpositsiooni tuuma neuronid konditsioneeritud stiimulile (Berthier ja Moore 1990; McCormick ja Thompson 1984). Selle tuuma kahjustused või GABA antagonisti bitsukuliini süstid madalamasse oliiviõlisse takistavad halvema oliiviõli puhumisreaktsiooni kadumist pärast konditsioneerimist, mis viitab sellele, et monosünaptiline või polüsünaptiline inhibeerimine interpositusest madalamasse oliiviõlisse pärsib reaktsiooni pärast konditsioneerimist (Thompson ja Gluck 1991). See võib lubada halvemate oliivide neuronite ennustatavate aversiivsete stiimulite puudumisel depressiooni ja seega avaldada negatiivset viga avastavate sündmuste prognoosimisel, mis on sarnased dopamiini neuronitele.

Seega võivad ronimiskiud teatada vigadest mootori jõudluses ja vigadest aversiivsete sündmuste prognoosimisel, kuigi see ei pruugi alati hõlmata kahesuunalisi muutusi nagu dopamiini neuronite puhul. Kiudoptilised kiudud ei näi olevat vastuseks konditsioneeritud aversiivsetele stiimulitele, kuid sellised vastused on leitud tuumade interposituses. Aversiivsete prognoosivigade arvutamine võib hõlmata halvemate oliivide neuronite pärssivate sisendite vähenemist, analoogselt diatamiini neuronite striatsiooniprognoosidega. Seega protsessid, mis on cerebellar ahelad, tekitavad tõrkeid, kuigi erinevalt dopamiini neuronitest ja TD mudelitest, ning võivad rakendada vigade õppimise reegleid, nagu Rescorla-Wagneri reegel (Thompson ja Gluck 1991) või ametlikult samaväärse Widrow-Hoffi reegli (Kawato ja Gomi 1992).