Nuspėjamasis dopamino neuronų atlygio signalas (1998)

Apdovanojimų funkcijos

Tam tikri aplinkosaugos objektai ir įvykiai yra ypač motyvingi, nes jie daro poveikį gerovei, išlikimui ir reprodukcijai. Remiantis sukeltomis elgesio reakcijomis, aplinkosauginių objektų motyvacinė vertė gali būti apetitinė (naudinga) arba aversyvi (bausmė). (Atkreipkite dėmesį, kad „apetitinis“ vartojamas sinonimu „už atlygį“, bet ne „parengiamiesiems“.) Pretenziniai objektai turi tris atskiras pagrindines funkcijas. Savo pirmojoje funkcijoje atlygis už išprovokuojamą požiūrį ir vartojimo elgesį. Taip yra dėl to, kad daiktai yra paženklinti apetitine verte per įgimtus mechanizmus arba daugeliu atvejų mokymąsi. Savo antrojoje funkcijoje atlygiai didina elgesio dažnumą ir intensyvumą, kuris lemia tokius objektus (mokymąsi), ir išlaiko išmoktą elgesį užkertant kelią išnykimui. Apdovanojimai yra teigiami elgesio stiprintojai klasikinėse ir instrumentinėse kondicionavimo procedūrose. Apskritai skatinamasis mokymasis, aplinkos stimulai įgyja apetitinę vertę pagal klasikinio kondicionavimo skatinimo asociacijas ir skatina požiūrį į elgesį (Bindra 1968). Į instrumentinį kondicionavimą apdovanoja „sustiprinti“ elgesį stiprinant sąveiką tarp dirgiklių ir elgsenos atsakymų (poveikio įstatymas: Thorndike 1911). Tai yra „grįžimo į daugiau“ esmė ir yra susijusi su bendra nauda, ​​gaunama už tai, kad kažką gerai padarė. Priemonės, skatinančios mokymąsi, yra „paskatos“ ir yra elgsenos tikslai, susiję su elgesio reakcijų ir rezultatų sąsajomis (Dickinson ir Balleine 1994). Trečiojoje funkcijoje atlygiai skatina subjektyvius malonumo jausmus (hedonijas) ir teigiamas emocines būsenas. Aversyvūs dirgikliai veikia priešinga kryptimi. Jie skatina atsaką į reakciją ir veikia kaip neigiami sustiprintojai, didindami ir palaikydami vengimo elgseną pakartotinio pateikimo metu, taip sumažindami žalingų įvykių poveikį. Be to, jie skatina pykčio, baimės ir panikos vidines emocines būsenas.

Prognozių funkcijos

Prognozės suteikia išankstinę informaciją apie būsimus dirgiklius, įvykius ar sistemos būsenas. Jie suteikia pagrindinį pranašumą, kaip įgyti laiko elgsenos reakcijoms. Kai kurios prognozavimo formos motyvacines vertes priskiria aplinkos stimulams, susiejant jas su konkrečiais rezultatais, tokiu būdu nustatant gyvybiškai svarbius objektus ir diskriminuojant juos nuo mažiau vertingų objektų. Kiti formuoja prognozuojamų objektų, pvz., Erdvinės padėties, greičio ir svorio, fizinius fizinius parametrus. Prognozės leidžia organizmui įvertinti būsimus įvykius prieš juos iš tikrųjų, leisti pasirinkti ir paruošti elgsenos reakcijas ir padidinti tikimybę, kad artėja prie objektų, pažymėtų motyvacinėmis vertėmis, ar jų išvengti. Pvz., Pakartotiniai objektų judėjimai toje pačioje sekoje leidžia numatyti būsimas pozicijas ir jau paruošti kitą judėjimą vykdant šį objektą. Tai sumažina reakcijos laiką tarp atskirų tikslų, pagreitina bendrą našumą ir lemia ankstesnį rezultatą. Nuspėjamieji akių judesiai pagerina elgesio efektyvumą iš anksto fokusuodami (Gėlės ir Downing 1978).

Pažangesniame lygyje prognozių teikiama išankstinė informacija leidžia priimti sprendimus tarp alternatyvų tam tikroms sistemos būsenoms pasiekti, netinkamai pasitaikančių tikslinių objektų priėmimui arba nepataisomam nepageidaujamam poveikiui išvengti. Prognozuojant ir reaguojant į sistemos būsenas, prieš pradedant juos iš tikrųjų, pramoninės programos naudoja vidinio modelio kontrolę.Garcia et al. 1989). Pavyzdžiui, šiuolaikinės aviacijos „fly-by-wire“ technika apskaičiuoja numatomas būsimas lėktuvų būsenas. Sprendimai dėl skraidymo manevrų atsižvelgia į šią informaciją ir padeda išvengti pernelyg didelio įtampos dėl mechaninių plokštumos komponentų, taip sumažinant svorį ir didinant veikimo diapazoną.

Nuspėjamosios informacijos naudojimas priklauso nuo atstovaujamų būsimų įvykių ar sistemos būsenų pobūdžio. Paprasti vaizdai tiesiogiai susiję su būsimųjų tikslų padėtimi ir su tuo susijusia elgesio reakcija, taip sumažinant reakcijos laiką gana automatiškai. Didesnės prognozių formos yra paremtos vaizduotėmis, leidžiančiomis logiškai daryti išvadas, kurias galima pasiekti ir apdoroti skirtingais sąmoningumo ir pasirinkimo laipsniais. Jie dažnai yra sąmoningai apdorojami žmonėms. Prieš numatomus įvykius ar sistemos būsenas ir elgsenos reakcijas, tokios prognozės leidžia psichiškai įvertinti įvairias strategijas, integruojant žinias iš įvairių šaltinių, kuriant įvairius reakcijos būdus ir lyginant kiekvieno galimo reakcijos pelną ir nuostolius.

Elgesio kondicionavimas

Asocijuotas apetitinis mokymasis apima pakartotinį ir kontingentinį suporavimą tarp savavališko stimulo ir pirminio atlygio. 1). Tai lemia vis dažniau pasitaikančio elgesio, kurį sukelia dabar „sąlygotas“ stimulas, kuris iš dalies primena pirminio atlygio sukeltą požiūrį į elgesį, o taip pat sąlygojamo stimulo pobūdį. Atrodo, kad sąlyginis stimulas tarnauja kaip atlygio nuspėjamas ir, dažnai remdamasis tinkama pavara, nustato vidinę motyvacinę būseną, vedančią į elgesio reakciją. Metodinių reakcijų panašumas rodo, kad kai kurie bendrieji, elgsenos atsako komponentai yra perkeliami iš pirminio atlygio į anksčiausiai sąlygojamus, atlygį numatančius stimulus. Taigi sąlyginis stimulas iš dalies veikia kaip motyvacinis pirminio stimulo pakaitalas, galbūt per Pavlovijos mokymąsi (Dickinson 1980).

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 1. 

Apetitinių stimulų apdorojimas mokymosi metu. Atsitiktinis stimulas susietas su pirminiu maisto ar skysčio atlygiu per pakartotinį kontingavimą. Šis sąlyginis, atlygį numatantis stimulas skatina vidinę motyvacinę būseną, sukeldamas atlygio lūkesčius, dažnai remdamasis atitinkamu badu ar troškuliu, ir skatina elgesio reakciją. Ši schema atkartoja pagrindines skatinamojo motyvacijos teorijos sampratas Bindra (1968) ir Bolles (1972). Jis taikomas klasikiniam kondicionavimui, kur atlygis automatiškai perduodamas po sąlyginio stimulo ir instrumentinio (operantinio) kondicionavimo, kai atlygio pristatymas reikalauja subjekto reakcijos į sąlyginį stimulą. Ši schema taip pat taikoma aversiniam kondicionavimui, kuris nėra trumpesnis.

Daugelis vadinamųjų „besąlyginių“ maisto ir skysčių apdovanojimų tikriausiai išmoko per patirtį, nes kiekvienas lankytojas į užsienio šalis gali patvirtinti. Tuomet pagrindinis atlygis gali būti skonis, patyręs, kai objektas aktyvina skonio receptorius, bet tai vėl gali būti išmokta. Galutinis mitybinių objektų atlygio efektas greičiausiai susideda iš jų specifinio poveikio pagrindiniams biologiniams kintamiesiems, pvz., Elektrolitui, gliukozei ar aminorūgščių koncentracijai plazmoje ir smegenyse. Šiuos kintamuosius apibrėžia organizmo vegetatyviniai poreikiai ir atsiranda evoliucijoje. Gyvūnai vengia maistinių medžiagų, kurios neturi įtakos svarbiems vegetatyviniams kintamiesiems, pavyzdžiui, maisto produktams, kuriems tokių amino rūgščių nėra, kaip histidinas (Rogers ir Harper 1970), treoninas (Hrupka ir kt. 1997; Wang et al. 1996) arba metioninas (Delaney ir Gelperin 1986). Keletas pirminių apdovanojimų gali būti nustatomi pagal įgimtus instinktus ir remti pradinį požiūrį į elgesį ir nurijimą ankstyvajame gyvenime, o didžioji dalis apdovanojimų būtų išmokta per tolesnę šio gyvenimo patirtį. Tuomet atlygio fizinė išvaizda galėtų būti naudojama prognozuojant daug lėtesnį vegetatyvinį poveikį. Tai smarkiai paspartintų atlygio nustatymą ir taptų pagrindiniu išlikimo pranašumu. Apdovanojimų mokymas taip pat leidžia subjektams naudoti daug didesnę maistinių medžiagų įvairovę kaip veiksmingą atlygį ir taip padidinti jų galimybes išgyventi ribotų išteklių zonose.

Aktyvavimas pagal pirminius apetitinius stimulus

Apie 75% dopamino neuronų rodo fazinį aktyvavimą, kai gyvūnai palieka nedidelį paslėptų maisto šurmulį tiriamųjų judesių metu, kai nėra kitų fazinių dirgiklių, be to, aktyvuojasi pats judėjimas (Romo ir Schultz 1990). Likusieji dopamino neuronai nereaguoja į bet kurį iš išbandytų aplinkos stimulų. Dopamino neuronus taip pat aktyvuoja skysčio lašas, išneštas į burną už bet kokios elgsenos užduoties, arba mokantis tokių skirtingų paradigmų, kaip regėjimo ar klausos reakcijos laiko užduotys, erdvinis uždelstas atsakas ar pakaitinis ir vizualinė diskriminacija, dažnai tame pačiame gyvūne (Fig. . 2 viršų) (Hollerman ir Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz ir Schultz 1994; Schultz ir kt. 1993). Atlygio atsakymai atsiranda nepriklausomai nuo mokymosi konteksto. Taigi, atrodo, kad dopamino neuronai nediskriminuoja skirtingų maisto produktų ir skysčių. Tačiau jų atsakymai išskiria atlygį iš neobjektinių objektų (Romo ir Schultz 1990). Tik 14% dopamino neuronų rodo fazinį aktyvavimą, kai pateikiami pirminiai aversiniai stimulai, pvz., Oro įpurškimas į ranką arba hipertoninis fiziologinis tirpalas į burną, o dauguma aktyvintų neuronų taip pat reaguoja į atlygį (Mirenowicz ir Schultz 1996). Nors tokie dirgikliai yra nesaugūs, jie sukelia nerimą, nes jie sutrikdo elgesį ir sukelia aktyvią vengimo reakciją. Tačiau dopamino neuronai nėra visiškai nejautrūs aversiniams dirgikliams, kaip rodo lėtos depresijos ar retai lėtos aktyvacijos po skausmo suspaudimo stimulų anestezuotiems beždžionėms (Schultz ir Romo 1987) ir padidėjusios striatrijos dopamino išsiskyrimo po elektros smūgio ir uodegos žiupsnelio \ tAbercrombie et al. 1989; Doherty ir Gratton 1992; Louilot ir kt. 1986; Young et al. 1993). Tai rodo, kad dopamino neuronų faziniai atsakymai pirmiausia praneša apie aplinkos stimulus, turinčius pirminę apetitinę vertę, o aversiški įvykiai gali būti signalizuojami žymiai lėčiau.

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 2. 

Dopamino neuronai praneša atlygį pagal atlygio prognozavimo klaidą. viršus: skystis lašinamas, nors šiuo metu negaunama jokio atlygio. Taigi atlygio atsiradimas yra teigiama klaida prognozuojant atlygį. Dopamino neuronas aktyvuojamas dėl nenumatyto skysčio atsiradimo. Vidurinis: sąlyginis stimulas prognozuoja atlygį, o atlygis atsiranda pagal prognozę, taigi nėra klaidų prognozuojant atlygį. Dopamino neuronas nepavyksta aktyvuoti numatomu atlygiu (dešinėje). Jis taip pat rodo aktyvavimą po atlygio prognozavimo paskatos, kuri atsiranda neatsižvelgiant į vėlesnio atlygio prognozavimo klaidą (kairėje). apačia: sąlyginis dirgiklis numato atlygį, tačiau atlygio nepavyksta pasiekti dėl to, kad gyvūnas nereaguoja. Dopamino neurono veikla yra slopinama būtent tuo metu, kai atsirastų atlygis. Atkreipkite dėmesį į depresiją, įvykusią> 1 s po sąlyginio dirgiklio be jokių įsikišusių dirgiklių, atskleidžiančių vidinį atlygio laukimo procesą. Neuronų aktyvumas 3 diagramose atitinka lygtį: dopamino atsakas (atlygis) = įvyko atlygis - numatomas atlygis. CS, sąlyginis dirgiklis; R, pagrindinis atlygis. Perspausdinta iš Schultz ir kt. (1997) Amerikos mokslo mokslo asociacijos asociacijos leidimu.

Nenustatomas atlygis

Svarbus dopamino atsako bruožas yra jų priklausomybė nuo nenumatyto įvykio. Aktyvacijos po apdovanojimų neįvyksta, kai prieš gaunant maisto ir skysčio atlygį yra faziniai stimulai, kurie buvo kondicionuoti, kad būtų galima prognozuoti tokius atlygius (1 pav.). 2, vidurinis) (Ljungberg et al. 1992; Mirenowicz ir Schultz 1994; Romo ir Schultz 1990). Vienas iš esminių skirtumų tarp mokymosi ir visiškai įgyto elgesio yra atlygio nenuspėjamumo laipsnis. Dopamino neuronai mokymosi etapo metu aktyvuojami pagal atlygį, bet nustoja reaguoti po visiško regėjimo ir klausos reakcijos laiko užduočių įgijimo (Ljungberg et al. 1992; Mirenowicz ir Schultz 1994), erdvinės uždelstos atsako užduotys (Schultz ir kt. 1993) ir tuo pačiu metu vizualinės diskriminacijos (Hollerman ir Schultz 1996). Atsakymo praradimas nėra dėl besivystančio bendro nejautrumo atlygiams, nes aktyvavimas po atlygio, gauto už užduočių ribų, nedidėja per kelis mėnesius (Mirenowicz ir Schultz 1994). Nuspėjamumo svarba apima atlygio laiką, kaip rodo trumpalaikis aktyvavimas po atlygio, kuris staiga pristatomas anksčiau arba vėliau nei buvo numatyta (Hollerman ir Schultz 1996). Apskritai atlygio, įskaitant jo laiką, atsiradimas turi būti nenuspėjamas, kad aktyvuotų dopamino neuronus.

Depresija, praleidžiant prognozuojamą atlygį

Dopamino neuronai yra nuspaudžiami tiksliai tuo metu, kai paprastai gaunamas atlygis, kai visiškai nenumatytas atlygis neįvyksta, net ir tuo atveju, kai nėra tiesioginio priešpriešinio stimulo. 2, dugnas). Tai pastebima, kai gyvūnai nesugeba gauti atlygio dėl klaidingo elgesio, kai eksperimentas sustabdo skysčio srautą, nepaisant teisingo elgesio, arba kai vožtuvas atsidaro garsiai, neperduodamas skysčio (Hollerman ir Schultz 1996; Ljungberg et al. 1991; Schultz ir kt. 1993). Kai 0.5 arba 1.0 s atlyginimų pristatymas atidedamas, įprastinis atlygio laikas pasireiškia neuronų aktyvumo sumažėjimu, o aktyvavimas seka atlygį nauju laiku (Hollerman ir Schultz 1996). Abu atsakymai įvyksta tik per keletą pakartojimų, kol vėl bus prognozuojamas naujas atlygio pristatymo laikas. Atvirkščiai, atlyginimų teikimas anksčiau nei įprasta sukelia aktyvavimą nauju atlygio laiku, bet nesukelia įprastos depresijos. Tai rodo, kad neįprastai ankstyvas atlyginimų pristatymas atšaukia atlygio prognozę įprastam laikui. Taigi dopamino neuronai stebi ir atlygio atsiradimą, ir laiką. Nesant dirgiklių prieš pat praleistą atlygį, depresijos nesudaro paprasto neuroninio atsako, bet atspindi tikėjimo procesą, pagrįstą vidiniu laikrodžiu, sekančiu tikslų prognozuojamo atlygio laiką.

Aktyvavimas sąlyginiais, atlygio prognozavimo stimulais

Apie 55 – 70% dopamino neuronų aktyvuoja sąlyginiai regėjimo ir klausos stimulai įvairiose klasikinio ar instrumentinio kondicionavimo užduotyse, aprašytose anksčiau (pav. 2, vidurinis ir dugnas) (Hollerman ir Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz ir Schultz 1994; Schultz 1986; Schultz ir Romo 1990; P. Waelti, J. Mirenowicz ir W. Schultz, nepublikuoti duomenys). Pirmieji dopamino atsakai į kondicionuotą šviesą buvo pranešti Miller et al. (1981) žiurkėms, gydomoms haloperidoliu, kuris padidino dopamino neuronų aktyvumą ir spontanišką aktyvumą, bet lėmė ilgesnį atsaką nei negyvenamiems gyvūnams. Nors atsakymai yra artimi elgsenos reakcijoms (Nishino et al. 1987), jie nesusiję su rankų ir akių judėjimais, nes jie taip pat yra ipsiliečiai judančiajai rankai ir bandymuose be rankų ar akių judesių (Schultz ir Romo 1990). Kondicionuojantys stimulai yra šiek tiek mažiau veiksmingi nei pirminiai atlygiai atsako dydžiu ir aktyvintų neuronų frakcijomis. Dopamino neuronai reaguoja tik į sąlyginių stimulų pradžią, o ne į jų pasipriešinimą, net jei stimulo nuokrypis prognozuoja atlygį (Schultz ir Romo 1990). Dopamino neuronai nesiskiria nuo apšvietusių apetitinių stimulų regėjimo ir klausos modalumo. Tačiau jie diskriminuoja apetitinius ir neutralius ar aversinius stimulus, jei jie yra fiziškai pakankamai skirtingi (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz ir W. Schultz, nepublikuoti duomenys). Tik 11% dopamino neuronų, kurių dauguma turi apetitinį atsaką, parodo tipišką fazinį aktyvavimą taip pat reaguojant į sąlyginius aversinius regėjimo ar klausos stimulus aktyvaus vengimo užduotyse, kuriose gyvūnai išlaisvina raktą, kad išvengtų oro pripūtimo ar hipertoninio druskos lašelio (Mirenowicz ir Schultz 1996), nors toks vengimas gali būti vertinamas kaip „naudingas“. Šie keli aktyvinimai nėra pakankamai stiprūs, kad sukeltų vidutinį gyventojų atsaką. Taigi dopamino neuronų faziniai atsakymai pirmiausia praneša apie aplinkos stimulus, turinčius apetitinę motyvacinę vertę, tačiau nediskriminuojant skirtingų jutimo būdų.

Aktyvavimo perkėlimas

Mokymosi metu dopamino neuronai palaipsniui suaktyvėja sąlyginiais, atlygio prognozavimo stimulais ir palaipsniui praranda savo atsakymus į pirminius maisto ar skysčio atlyginimus, kurie bus prognozuojami (Hollerman ir Schultz 1996; Ljungberg et al. 1992; Mirenowicz ir Schultz 1994) (Fig. 2 ir 3). Per trumpalaikį mokymosi laikotarpį tiek atlygiai, tiek sąlyginiai stimulai skatina dopamino aktyvaciją. Šis perkėlimas iš pirminio atlygio į sąlyginį stimulą atsiranda akimirksniu vienuose dopamino neuronuose, išbandytuose dviejose gerai išmoktose užduotyse, naudojant atitinkamai nenuspėjamus ir numatomus atlyginimus (Romo ir Schultz 1990).

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 3. 

Dopamino atsakas perkeliamas į ankstesnį prognozinį stimulą. Atsakymai į nenumatytą pirminį atlygio perkėlimą į laipsniškai ankstesnius atlygio prognozavimo stimulus. Visuose ekranuose rodomos populiacijos histogramos, gautos vidutiniškai normalizuotų visų dopamino neuronų normalizuotų laiko histogramų, užregistruotų nurodytose elgesio situacijose, nepriklausomai nuo atsako buvimo ar nebuvimo. viršus: be jokios elgesio užduoties, 44 neuronuose mažai apšviestos populiacijos atsako nėra (duomenys iš Ljungberg et al. 1992), tačiau vidutinis 35 neuronų atsakas į skysčio lašą, tiekiamą snukyje priešais gyvūno burną (Mirenowicz ir Schultz 1994). Vidurinis: atsakas į atlygį nuspėjamą paskatinimo stimulą 2 pasirinkimo erdvės pasiekimo užduotyje, bet atsakymo į atlygį, gautą nustatytų užduočių atlikimo metu tose pačiose 23 neuronuose, nebuvimas (Schultz ir kt. 1993). apačia: atsakas į instrukcijų ciu prieš premiją prognozuojančią trigerio stimulą nustatytu 1 intervalu nurodytame erdvinio pasiekimo uždavinyje (19 neuronai) (Schultz ir kt. 1993). Laiko bazė yra padalinta dėl skirtingų intervalų tarp sąlyginių stimulų ir atlygio. Išspausdintas iš Schultz ir kt. (1995b) MIT Press leidimu.

Sąlyginių stimulų nenuspėjamumas

Aktyvavimas po kondicionavimo, atlygio prognozavimo stimulų nepasireiškia, kai prieš tokius dirgiklius fiksuotu intervalu fazinės sąlygos skatina visiškai nustatytus elgesio atvejus. Taigi su serijiniu sąlyginiu dirgikliu dopamino neuronai aktyvuojami anksčiausiai už atlygį numatantį stimulą, o visi paskatinantys momentai po paskatinimo yra neefektyvūs (pav. 3) (Schultz ir kt. 1993). Tik atsitiktinai išdėstyti nuoseklūs dirgikliai skatina individualius atsakymus. Be to, intensyvus overtrainingas su labai stereotipiniu užduočių atlikimu susilpnina atsakymus į sąlyginius stimulus, tikriausiai dėl to, kad stimulai pasireiškia ankstesnių bandymų įvykiais (Ljungberg et al. 1992). Tai rodo, kad stimulas nenuspėjamas yra bendras reikalavimas visiems stimuliatoriams, aktyvuojantiems dopamino neuronus.

Depresija praleidžiant prognozuojamus sąlyginius stimulus

Preliminarūs ankstesnio eksperimento duomenys (Schultz ir kt. 1993) rodo, kad dopamino neuronai taip pat yra nuslopinti, kai sąlyginis, atlygį nuspėjantis stimulas yra numatomas nustatytu laiku ankstesniu stimuliu, bet nepavyksta atsirasti dėl gyvūno klaidos. Kaip ir pirminiuose apdovanojimuose, depresijos atsiranda tuo metu, kai įprastas stimuliuojantis stimulas pasireiškia, be tiesioginio paskatinimo. Taigi, neveikimo sukelta depresija gali būti apibendrinta visais apetitiniais įvykiais.

Aktyvacijos-depresija su atsako apibendrinimu

Dopamino neuronai taip pat reaguoja į dirgiklius, kurie nespėja prognozuoti atlygio, bet labai panašūs į atlygį prognozuojančius stimulus, atsirandančius tame pačiame kontekste. Šiuos atsakymus dažniausiai sudaro aktyvacija, po kurios vyksta tiesioginė depresija, bet kartais gali būti grynas aktyvavimas arba gryna depresija. Aktyvacijos yra mažesnės ir rečiau nei tos, kurios seka atlyginimų prognozavimo stimulus, o depresija stebima 30 – 60% neuronų. Dopamino neuronai reaguoja į vizualinius dirgiklius, kuriems nesilaikoma atlygio, bet labai panašūs į atlygį prognozuojančius stimulus, nepaisant teisingos elgesio diskriminacijos (Schultz ir Romo 1990). Atidarius tuščią dėžę, neįmanoma aktyvuoti dopamino neuronų, tačiau jie tampa veiksmingi kiekviename tyrime, kai kartais dėžutėje yra maisto (Ljungberg et al. 1992; Schultz 1986; Schultz ir Romo 1990) arba kai kaimyninė, identiška dėžutė, kurioje visada yra maisto, atsidaro atsitiktinai.Schultz ir Romo 1990). Tuščia dėžutė sukelia silpnesnius aktyvavimus nei įdėtos dėžutės. Gyvūnai į kiekvieną langelį reaguoja į akių orientaciją, tačiau į rankas paleidžia tik į masalą. Mokymosi metu dopamino neuronai ir toliau reaguoja į anksčiau kondicionuotus stimulus, kurie praranda atlygio prognozę, kai pasikeičia atlygio už nenumatytus atvejai (Schultz ir kt. 1993) arba reaguoti į naujus stimulus, panašius į anksčiau kondicionuotus stimulus (Hollerman ir Schultz 1996). Atsakymai pasireiškia netgi aversyviems dirgikliams, pateikiamiems atsitiktinai pakaitomis su fiziškai panašiais, sąlygojamais to paties jutimo modalumo apetitiniais stimulais, kai aversyvus atsakas yra silpnesnis už apetitą (Mirenowicz ir Schultz 1996). Atsakymai apibendrina netgi elgsenai išnykusius apetitinius stimulus. Matyt, neuronų atsakas apibendrina netinkamus stimulus, nes jie yra fiziškai panašūs į apetitinius dirgiklius.

Naujovių atsakymai

Nauji dirgikliai sukelia dopamino neuronų suaktyvėjimą, po kurio dažnai seka depresijos ir išlieka tol, kol vyksta elgesio orientacijos reakcijos (pvz., Akių sakados). Aktyvacijos atslūgsta kartu su orientacinėmis reakcijomis po kelių dirgiklių pakartojimų, priklausomai nuo dirgiklių fizinio poveikio. Nors maži šviesos diodai vargu ar sukelia naujovės reakcijas, šviesos blyksnius ir greitą regimąjį ir garsinį mažos dėžės atidarymą sukelia aktyvacijas, kurios <100 bandymų metu palaipsniui nyksta iki pradinio lygio (Ljungberg et al. 1992). Garsūs paspaudimai ar didelės nuotraukos iškart prieš gyvūną sukelia stiprių naujovių reakcijų, kurios sunyksta, bet vis tiek sukelia išmatuojamą suaktyvinimą atlikus> 1,000 bandymų (Hollerman ir Schultz 1996; Horvitz ir kt. 1997; Steinfels ir kt. 1983). Pav 4 schematiškai parodo skirtingus atsako dydžius su naujais fizinio pasipriešinimo stimulais. Atsakymai palaipsniui mažėja, pakartotinai veikiant, bet gali išlikti mažesniu mastu su labai svarbiais stimulais. Atsakymo mastai vėl didėja, kai tie patys stimulai yra apetitiškai kondicionuojami. Atvirkščiai, atsakymai į naujus, net ir didelius, dirgiklius greitai nyksta, kai stimulai naudojami aktyviam vengimui elgtis (Mirenowicz ir Schultz 1996). Labai nedaug neuronų (<5 proc.), Atlikdami daugiau nei kelis bandymus, reaguoja į pastebimus, tačiau fiziškai silpnus dirgiklius, tokius kaip popieriaus trupėjimas ar grubūs eksperimento dalyvio rankų judesiai.

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 4. 

Dopamino neuronų aktyvavimo laiko kursai į naujus, įspėjamuosius ir sąlyginius stimulus. Aktyvinimas po naujų stimulų mažėja, pakartotinai veikiant per nuoseklius bandymus. Jų dydis priklauso nuo dirgiklių fizinio pasipriešinimo, nes stipresni stimulai skatina aktyvesnį aktyvumą, kuris kartais viršija tuos, kurie atsiranda po sąlyginių stimulų. Ypač svarbūs stimulai toliau aktyvuoja riboto dydžio dopamino neuronus net ir praradę savo naujovę, nesusiję su pirminiais pranašumais. Kai stimulai tampa susiję su pirminiais atlygiais, vėl atsiranda nuoseklus aktyvavimas. Šią schemą prisidėjo Jose Contreras-Vidal.

Homogeniškas atsakymų pobūdis

Iki šiol atlikti bandymai atskleidė, kad dauguma neuronų, esančių vidutinio smegenų dopamino ląstelių grupėse A8, A9 ir A10, tam tikroje elgesio situacijoje rodo labai panašius aktyvumus ir depresijas, o likusieji dopamino neuronai visai nereaguoja. Yra tendencija didesnėms neuronų frakcijoms, reaguojančioms į daugiau vidurinių smegenų medialinių regionų, pvz., Ventralinį tegmentalinį plotą ir medialinį materia nigra, palyginti su daugiau šoninių regionų, kurie kartais pasiekia statistinę reikšmę (Schultz 1986; Schultz ir kt. 1993). Atsakymo delsos (50–110 ms) ir trukmė (<200 ms) yra panašios tarp pirminio atlygio, sąlyginių ir naujų stimulų. Taigi dopamino atsakas yra gana homogeniškas skaliarinis gyventojų signalas. Tai skirstoma pagal atskirų neuronų reagavimą ir reaguojančių neuronų dalį populiacijoje.

Santrauka 1: adaptyvus atsakas mokymosi epizodų metu

Dopamino atsako į atlyginimų stimulus savybes geriausiai iliustruoja mokymosi epizodai, per kuriuos atlygiai yra ypač svarbūs norint įgyti elgesio atsakymus. Dopamino atlygio signalas vyksta sistemingai keičiantis mokymosi eigai ir pasireiškia anksčiausiai su fazine atlyginimu susijusiam stimului, kuris yra arba pirminis atlygis, arba atlygį prognozuojantis stimulas (Ljungberg et al. 1992; Mirenowicz ir Schultz 1994). Mokymosi metu nauji, iš esmės neutralūs stimulai laikinai sukelia atsakymus, kurie greitai susilpnėja ir dingsta (1 pav.). 4). Pirminiai pranašumai pirminio suporavimo metu su tokiais dirgikliais ir neuroninių aktyvacijų atsiradimas yra nenuspėjami. Pakartotinai susiejant, atlygis tampa prognozuojamu sąlyginiu stimuliu. Aktyvinimas po atlygio palaipsniui mažėja ir perkeliamas į sąlyginį, atlygį numatantį stimulą. Tačiau, jei numatomas atlygis nepavyksta dėl gyvūno klaidos, tuo metu, kai būtų gautas atlygis, dopamino neuronai yra nuslopinti. Pakartotinai mokantis užduotis (Schultz ir kt. 1993) arba užduočių komponentai (Hollerman ir Schultz 1996), anksčiausiai sąlygojantys stimulai aktyvuoja dopamino neuronus visose mokymosi fazėse dėl apibendrinimo anksčiau išmoktiems panašiems stimulams, o vėlesni kondicionuojami stimulai ir pirminiai pranašumai aktyvuoja dopamino neuronus tik laikinai, kol jie yra neaiškūs ir kuriami nauji nenumatyti atvejai.

Santrauka 2: veiksmingi stimulai dopamino neuronams

Dopamino atsakas atsiranda trijų kategorijų dirgiklius. Pirmoji kategorija apima pirminius atlygius ir stimulus, kurie tapo galiojančiais atlygio prognozuotojais per pakartotinį ir neapibrėžtą suporavimą su apdovanojimais. Šie stimulai sudaro bendrą aiškių atlyginimų prognozavimo stimulų klasę, nes pirminis atlygis tarnauja kaip vegetatyvinio atlygio poveikio prognozuotojai. Akivaizdu, kad veiksmingi dirgikliai turi įspėjimo komponentą, nes tik efektyvūs stimulai, turintys aiškią pradžią. Dopamino neuronai parodo gryną aktyvaciją po aiškių atlyginimų prognozavimo stimulų ir yra nuspaudžiami, kai neįvyksta numatomas, bet praleistas atlygis. 5, viršų).

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 5. 

Scheminis dopamino neuronų atsakų į 2 tipų stimuliuojamų stimulų vaizdą. viršus: aiškaus atlygio prognozavimo skatinimo pateikimas sukelia aktyvavimą po stimulo, atsako į numatomą atlygį ir depresiją, kai nenumatomas numatomas atlygis. apačia: impulsų, panašių į sąlyginį, atlygį prognozuojantį stimulą, pateikimas veda prie aktyvacijos, po kurio seka depresija, aktyvavimas po atlygio ir jokio atsakymo, kai nėra atlygio. Aktyvinimas po stimulo greičiausiai atspindi atsako apibendrinimą dėl fizinio panašumo. Šis stimulas aiškiai nenurodo atlygio, bet yra susijęs su atlygiu, panašiu į paskatą, numatančią atlygį. Lyginant su aiškiais atlyginimų prognozavimo stimulais, aktyvacijos yra mažesnės ir dažnai seka depresijos, tokiu būdu diskriminuojant atlygį (CS +) ir nekontroliuojamus (CS−) sąlygotus stimulus. Ši schema apibendrina ankstesnių ir dabartinių eksperimentų rezultatus (Hollerman ir Schultz 1996; Ljungberg et al. 1992; Mirenowicz ir Schultz 1996; Schultz ir Romo 1990; Schultz ir kt. 1993; P. Waelti ir W. Schultz, nepaskelbti rezultatai).

Antroji kategorija apima stimulus, kurie sukelia apibendrinančius atsakymus. Šie stimulai aiškiai nenurodo atlygio, bet yra veiksmingi dėl jų fizinio panašumo į dirgiklius, tapusius aiškiais atlyginimų prognozatoriais per kondicionavimą. Šie stimulai skatina aktyvumą, kuris yra mažesnis ir susijęs su mažiau neuronų, lyginant su aiškiais premijų prognozavimo stimulais. 5, dugnas). Jiems dažnai sekasi nedelsiant prislėgti. Nors pradinis aktyvavimas gali būti apibendrintas apetitas, kuris signalizuoja apie galimą atlygį, vėlesnė depresija gali atspindėti jokio atlygio prognozę bendrame atlygio prognozavimo kontekste ir panaikinti klaidingą atlygio prielaidą. Aiškios atlyginimų prognozės nebuvimą siūlo aktyvinimas po pirminio atlygio ir depresijos nebuvimas be atlygio. Kartu su atsakymais į atlyginimų prognozavimo stimulus atrodo, kad dopamino aktyvacijos praneša apie apetitinį „žymenį“, pritvirtintą prie paskatų, susijusių su atlygiais.

Trečioji kategorija apima naujus arba ypač svarbius stimulus, kurie nebūtinai susiję su konkrečiais atlygiais. Raginant elgsenos orientavimo reakcijas, šie stimulai yra įspėjamieji ir atkreipia dėmesį. Tačiau jie taip pat turi motyvuojančių funkcijų ir gali būti naudingi („Fujita 1987“). Nauji stimulai yra potencialus apetitas. Nauji ar ypač svarbūs stimulai skatina aktyvaciją, kurios dažnai seka depresija, panašiai kaip atsakymai į apibendrinančius stimulus.

Taigi, dopamino neuronų atsakai faziškai praneša apie įvykius, turinčius teigiamą ir potencialiai teigiamą motyvacinį poveikį, pvz., Pirminius atlygius, atlygį prognozuojančius stimulus, atlygį primenančius įvykius ir įspėjimo stimulus. Tačiau jie nemato didelių įvykių su neigiamu motyvuojančiu poveikiu, pvz., Aversiniais stimulais.

Santrauka 3: dopamino atlygio prognozavimo klaidos signalas

Dopamino atsakymus į aiškius su atlygiu susijusius įvykius galima geriausiai suprasti ir suprasti formaliomis mokymosi teorijomis. Dopamino neuronai praneša apie jų prognozes, o ne besąlygiškai primena pirminius atlygius. 2). Dopamino atsakas yra teigiamas (aktyvinimas), kai pirminis atlygis atsiranda nenumatant. Atsakymas yra nulis, kai apdovanojimai atsiranda taip, kaip buvo numatyta. Atsakymas yra neigiamas (depresija), kai numatomi atlygiai yra praleisti. Taigi dopamino neuronai praneša apie pirminį atlygį pagal skirtumą tarp atlygio atsiradimo ir prognozavimo, kuris gali būti vadinamas atlyginimų prognozavimo klaida (Schultz ir kt. 1995b, 1997) ir yra preliminariai įformintas kaip

1 lygtisŠis pasiūlymas gali būti išplėstas į sąlyginius apetitinius įvykius, apie kuriuos taip pat pranešė dopamino neuronai, palyginti su prognozavimu. Taigi, dopamino neuronai gali pranešti apie klaidą numatant visus apetitinius įvykius ir Eq. 1 gali būti nurodyta bendresne forma

Lygtis 2Šis apibendrinimas yra suderinamas su idėja, kad dauguma atlygių iš tikrųjų yra sąlyginiai stimulai. Su keliais nuosekliais, nusistovėjusiais atlygio prognozavimo įvykiais tik pirmasis įvykis yra nenuspėjamas ir sukelia dopamino aktyvavimą.

Dopamino atsako kilmė

Kokios anatominės sąnaudos galėtų būti atsakingos už dopamino atsakų selektyvumą ir poliartiką? Kokia įvesties veikla gali lemti prognozavimo klaidų kodavimą, paskatinti prisitaikantį atsakymą perkelti į anksčiausiai nenumatytą apetitinį įvykį ir įvertinti atlygio laiką?

Fazinis dopamino poveikis tikslinėms struktūroms

DOPAMINO SIGNALO PASAULINIS POBŪDIS.

Skirtingos projekcijos. Kiekvienoje žiurkių pagrindinėje nigroje yra ∼8,000 dopamino neuronų („Oorschot 1996“) ir 80,000 – 116,000 makakų beždžionėms (Vokiečių ir kt. 1988; Percheronas ir kt. 1989). Kiekviename striatum yra ∼2.8 mln. Neuronų žiurkėse ir 31 mln. Makakose, todėl gaunamas 300 – 400 nigrostriatalinis divergencijos faktorius. Kiekvienas dopamino aksonas gausiai siautėja ribotame striatumo gale ir turi ∼500,000 striatos varikozių, iš kurių išsiskiria dopaminas (Andén ir kt. 1966). Tai lemia dopamino patekimą į beveik kiekvieną striagos neuroną (Groves ir kt. 1995) ir vidutiniškai topografinė nigrostriatominė projekcija (Lynd-Balta ir Haber 1994). Kortikos dopamino inervacija beždžionėms yra didžiausia 4 ir 6 srityse, vis dar yra didelė priekinėje, parietalinėje ir laikinoje skiltyse, o mažiausia - pakaušio skiltyje (Berger et al. 1988; „Williams“ ir „Goldman-Rakic ​​1993“). Kortikos dopamino sinapsės daugiausia randamos I ir V – VI sluoksniuose, liečiančiuose didelę dalį žievės neuronų. Šie duomenys kartu su gana homogenišku atsako pobūdžiu rodo, kad dopamino atsakas progresuoja kaip vienalaikė lygiagreti aktyvumo banga nuo vidurinės smegenų dalies iki striatumos ir priekinės žievės (3 pav. 7).

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 7. 

Visuotinis dopamino signalas, einantis į striatumą ir žievę. Santykinai homogeniška daugumos dopamino neuronų reakcija į apetitą sukeliančius ir įspėjančiuosius dirgiklius bei jo eigą iš pagrindinės nigros į postsinapsines struktūras galima schematiškai vertinti kaip sinchroninio, lygiagretaus aktyvumo bangą, plintančią 1 – 2 m / s greičiu (Schultz ir Romo 1987) išilgai skirtingų vidurinių smegenų iškyšų iki striatumos (kaudato ir putameno) ir žievės. Atsakymai kokybiškai nesiskiria tarp pagrindinės nigros (SN) pars compacta ir ventralinio pagrindinio ploto (VTA) neuronų. Visų neuronų, esančių striatumoje, ir daugelio neuronų, esančių priekinėje žievėje, dopamino inervacija leistų sustiprinti dopamino signalą gana globaliai. Banga buvo suspausta, kad pabrėžtų paralelinį pobūdį.

Dopamino atpalaidavimas. Dopamino neuronų impulsai 20 – 100 ms intervalais lemia daug didesnę dopamino koncentraciją striatumoje nei tas pats impulsų skaičius 200 ms intervalais (Garrisas ir Wightmanas 1994; Gonon 1988). Šis netiesiškumas daugiausia susijęs su greitu dopamino reabsorbcijos pernešėjo įsotinimu, kuris pašalina išleistą dopaminą iš ekstrasinapsinės srities (Chergui ir kt. 1994). Tas pats poveikis stebimas ir branduolių akumuliatoriuose (Wightmanas ir Zimmermanas 1990) ir atsiranda net ilgesniais impulsų intervalais dėl retesnių reabsorbcijos vietų (Garris ir kt. 1994b; Marshall ir kt. 1990; Stamford ir kt. 1988). Dopamino išsiskyrimas po impulso sprogimo <300 ms yra per trumpas, kad būtų galima suaktyvinti autoreceptoriaus sukeltą išsiskyrimo sumažėjimą (Chergui ir kt. 1994) arba dar lėtesnis fermentinis skaidymas (Michaelas ir kt. 1985). Taigi sprogus dopamino atsakas yra ypač efektyvus atpalaiduojant dopaminą.

Įvertinimai, pagrįsti in vivo voltammetrija, rodo, kad vienas impulsas atpalaiduoja ∼1,000 dopamino molekules sinapsėse striatumoje ir branduolio akumuliatoriuose. Tai lemia tiesioginę sinapsinių dopamino 0.5 – 3.0 μM koncentraciją (Garris ir kt. 1994a; Kawagoe ir kt. 1992). Praėjus 40 μs po išsiskyrimo pradžios,> 90% dopamino paliko sinapsę, dalis likusių vėliau pašalinama sinapsinio reabsorbcijos būdu (pusė pradžios laiko 30–37 ms). Praėjus 3–9 ms po išsiskyrimo pradžios, dopamino koncentracija pasiekia didžiausią ~ 250 nM piką, kai visos kaimyninės varikozės vienu metu išskiria dopaminą. 4 μm skersmens sferoje koncentracijos yra vienalytės (Gonon 1997), kuris yra vidutinis atstumas tarp įvairių variantų (Doucet ir kt. 1986; Groves ir kt. 1995). Persiurbimo transporteris maksimaliai difuziją riboja iki 12 μm ir pasiekia per 75 ms po išleidimo pradžios (pusės transporterio pradžios laikas yra 30–37 ms). Koncentracijos būtų šiek tiek mažesnės ir mažiau homogeniškos regionuose, kuriuose yra mažiau varikozės, arba kai suaktyvinta <100% dopamino neuronų, tačiau jie yra du ar tris kartus didesni su impulsų pliūpsniais. Taigi atlygio sukeltas, šiek tiek sinchroniškas, sprogstantis aktyvavimas ~ 75% dopamino neuronų gali sukelti gana homogeniškas koncentracijos smailes, kurios yra maždaug 150–400 nM. Bendras tarpląstelinio dopamino padidėjimas trunka 200 ms po vieno impulso ir 500–600 ms po kelių impulsų 20–100 ms intervalais, taikant 100–200 ms (Chergui ir kt. 1994; Dugastas ir kt. 1994). Ekstrasinapsinis reabsorbcijos pernešėjas (Nirenbergas ir kt. 1996) vėliau grąžina dopamino koncentraciją į pradinę 5 – 10 nM (Herrera-Marschitz ir kt. 1996). Taigi, priešingai nei klasikinis griežtai sinapsinis neurotransmisija, sinapsiškai išsiskyręs dopaminas greitai išsisklaido į tiesioginį jukstasinapsinį plotą ir pasiekia trumpas regioniškai vienalytės tarpląstelinės koncentracijos viršūnes.

Receptoriai. Iš dviejų pagrindinių dopamino receptorių tipų, adenilato ciklazę aktyvinantys, D1 tipo receptoriai sudaro ∼80% dopamino receptorių striatumoje. Iš jų 80% yra mažo afiniteto būsenos - 2 – 4 μM, o 20% - didelio afiniškumo būsenoje 9 – 74 nM (Richfield ir kt. 1989). Likę Xiatalum% striatos dopamino receptorių priklauso adenilazę ciklazę slopinančiam D20 tipui, iš kurio 2 – 10% yra žemo afiniškumo būsenoje, o 0 – 80% yra didelio afinizmo būsenoje, su panašiu afinitetu kaip D90 receptoriai. Taigi D1 receptorių afinitetas yra ∼1 kartus mažesnis nei D100 receptorių. Strijaus D2 receptoriai daugiausia yra neuronuose, išsikišančiuose į vidinį pallidumą ir substantia nigra pars reticulata, tuo tarpu striatalio D1 receptoriai yra daugiausia ant neuronų, išsikišančių į išorinį pallidumą (Bergson ir kt. 1995; Gerfen ir kt. 1990; Hersch ir kt. 1995; Levey ir kt. 1993). Tačiau jautrumo receptoriams skirtumai gali nedaryti reikšmės ne tik perduodant signalą, todėl sumažėja jautrumas dopaminui tarp dviejų striatos išvesties neuronų tipų.

Iš sinapsės dopaminas išsiskiria 30 – 40%, o dėl ekstrasinapsinių varikozių - 60 – 70% (Descarries ir kt. 1996). Sinapsiniu būdu išleistas dopaminas veikia postsinapsinius dopamino receptorius keturiose anatomiškai skirtingose ​​vietose striatumoje, būtent dopamino sinapsėse, esančiose šalia dopamino sinapsių, kortikostriatomos glutamato sinapsėse ir ekstrasinapsinėse vietose, nutolusiose nuo išsiskyrimo vietų (Fig. 8) (Levey ir kt. 1993; Sesack ir kt. 1994; Yung ir kt. 1995). D1 receptoriai yra lokalizuojami daugiausia už dopamino sinapsių ribų (Caillé ir kt. 1996). Didelės laikinos dopamino koncentracijos po fazinio impulsų sprogimo suaktyvintų D1 receptorius arti aktyvių atpalaidavimo vietų ir suaktyvintų ar net prisotintų D2 receptorius visur. D2 receptoriai iš dalies suaktyvėtų, kai aplinkos fazėje vėl padidėtų pradinė koncentracija po fazių padidėjimo.

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 8. 

Dopamino išsiskyrimo įtaka tipiškiems vidutinio stiprumo nervo neuronams nugaros ir ventraliniame striatyje. Dopaminas, išsiskiriantis iš sinapsinio varikozinio impulsų, suaktyvina kelis sinapsinius receptorius (greičiausiai D2 tipo žemo afiniteto būsenoje) ir greitai išsisklaido iš sinapsės, kad pasiektų mažo afiniteto D1 tipo receptorius (D1?), Esančius netoliese, kortikosostriatalų sinapsėse. , arba ribotu atstumu. Laipsniškai padidėjęs dopaminas suaktyvina netoliese esančius didelio afiniškumo D2 tipo receptorius iki soties (D2?). D2 receptorius iš dalies aktyvina aplinkos dopamino koncentracija po laipsniškai padidinto atpalaidavimo. Ekstrasinapsiškai išskiriamas dopaminas gali praskiesti difuzijos būdu ir suaktyvinti didelio afiniteto D2 receptorius. Reikėtų pažymėti, kad, atsižvelgiant į šią schemą, dauguma D1 ir D2 receptorių yra skirtinguose neuronuose. Iš kortikostriatalinių gnybtų išsiskiriantis glutamatas pasiekia postsinapsinius receptorius, esančius ant tų pačių dendritinių stuburo, kaip ir varikozinis dopaminas. Gliutamatas taip pat pasiekia presinapsinį dopamino įvairovę, kai kontroliuoja dopamino išsiskyrimą. Dopamino poveikis priekinės žievės dygliuotiems neuronams daugeliu atžvilgių yra panašus.

Santrauka. Stebėtas, vidutiniškai sprogus, trumpalaikis, beveik sinchroninis daugumos dopamino neuronų atsakas sukelia optimalų, tuo pačiu metu dopamino išsiskyrimą iš daugumos artimai išsidėsčiusių striatos varikozių. Neuroninis atsakas sukelia trumpą dopamino pūtimą, kuris išsiskiria iš ekstrasinapsinių vietų arba greitai išsisklaido iš sinapsių į juxtasynaptic sritį. Dopaminas greitai pasiekia vienalytę koncentraciją regione, galinčią paveikti tikriausiai visų striatos ir daugelio žievės neuronų dendritus. Tokiu būdu atlygio pranešimas 60 – 80% dopamino neuronų yra transliuojamas kaip skirtingas, gana globalus sustiprinimo signalas striatumui, branduolio akumuliatoriams ir priekinei žievei, užtikrinant laipsnišką įtaką maksimaliam sinapsių, susijusių su perdirbimu, skaičiui. stimulų ir veiksmų, vedančių į atlygį (pav. 7). Dopaminas, išsiskiriantis dėl neuronų aktyvacijos po atlygio ir atlygį prognozuojančių dirgiklių, turės įtakos juxtasynaptic D1 receptoriams ant striatūrinių neuronų, išsikišančių į vidinį pallidumą, ir activia nigra pars reticulata, ir visiems D2 receptoriams, esantiems neuronams, išsikišusiems į išorinį pallidum. Sumažinus dopamino išsiskyrimą, kurį sukelia depresijos su praleista nauda ir atlygį numatančiais dirgikliais, sumažėtų toninis D2 receptorių stimuliavimas aplinkos dopaminu. Taigi teigiamos atlygio prognozavimo paklaidos turėtų įtakos visų tipų striatiniams išėjimo neuronams, tuo tarpu neigiama prognozės paklaida daugiausia gali paveikti neuronus, išsikišančius į išorinį pallidumą.

Galimi kokaino mechanizmai. Dopamino reabsorbcijos nešiklio blokada tokiais vaistais kaip kokainas ar amfetaminas padidina ir prailgina fazių dopamino koncentracijos padidėjimą (Bažnyčia ir kt. 1987a; Giros ir kt. 1996; Suaud-Chagny ir kt. 1995). Pagerėjimas bus ypač ryškus, kai greitas, sprogojimo sukeliamas dopamino koncentracijos padidėjimas pasiekia piką, kol įsigalios grįžtamojo ryšio reguliavimas. Šis mechanizmas padėtų žymiai sustiprinti dopamino signalą po pirminio atlygio ir atlygį numatančių stimulų. Tai taip pat padidintų šiek tiek silpnesnį dopamino signalą po stimulus, primenančius atlygį, naujus dirgiklius ir ypač pastebimus dirgiklius, kurie gali būti dažni kasdieniame gyvenime. Kokaino sustiprinimas leistų šiems neatskaitingiems dirgikliams pasirodyti kaip stiprus ar net stipresnis nei natūralus atlygis be kokaino. Postsinapsiniai neuronai gali klaidingai interpretuoti tokį signalą kaip ypač ryškų su atlygiu susijusį įvykį ir patirti ilgalaikius sinapsinio perdavimo pokyčius.

Mokymosi teorijos

Sustiprinimo algoritmai

LAIKINAS SKIRTUMO MOKYMASIS.

Ypač veiksmingoje armavimo algoritmų klasėje (Sutton 1988; Sutton ir Barto 1981), sinapsiniai svoriai modifikuojami atsižvelgiant į armatūros numatymo paklaidą, apskaičiuotą iš eilės einantis žingsnis (t) kiekviename tyrime

rˆ(t)=r(t)+P(t)-P(t-l)

6 lygtis visur r yra sutvirtinimas ir P yra armatūros numatymas. P (t) paprastai padauginamas iš diskonto koeficiento γ su 0 ≤ γ <1, siekiant atsižvelgti į vis mažėjančio atlygio mažėjančią įtaką. Dėl paprastumo γ čia nustatoma į 1. Vieno stimulo, numatančio vieną sustiprintoją, atveju prognozė P(t - 1) egzistuoja anksčiau laiko t armavimo, bet baigiasi armavimo metu [P (t) = 0]. Tuo metu gaunamas efektyvus sustiprinimo signalas (T) armatūros

rˆ (t)=r(t)-P(t-l)

6a lygtisŠios r̂(t) terminas nurodo skirtumą tarp faktinio ir numatomo sutvirtinimo. Mokymosi metu armavimas yra nevisiškai numatomas, klaidos terminas teigiamas, kai sustiprinimas, o sinapsių svoris padidėja. Po mokymosi sustiprėjimas yra visiškai numatomas ankstesniu stimulu [P(t - 1) = r(t)], teisingo elgesio klaidos terminas lygus nuliui, o sinapsių svoriai nesikeičia. Kai sutvirtinimo praleidžiama dėl netinkamo atlikimo ar pasikeitusių nenumatytų atvejų, paklaida yra neigiama ir sinapsių svoris sumažėja. r̂(t) terminas yra analogiškas (λ-V) modelio „Rescorla-Wagner“ klaidos terminas (Eq. 4 ). Tačiau tai susiję su atskirais laiko žingsniais (t), o ne prognozes, vykstančias iš eilės vykstančių tyrimų metu. Šie laikiniai armatūros modeliai yra pagrįsti tuo, kad įgytos prognozės apima tikslų armatūros laiką (Dickinson et al. 1976; „Gallistel 1990“; Smith 1968).

Laiko skirtumo (TD) algoritmai taip pat naudoja įgytas prognozes keičiant sinapsinius svorius. Nenumatyto, vieno sąlyginio stimulo, numatančio vieną stiprintuvą, atveju numatymo P (t) prasideda laiku (t), ankstesnės prognozės nėra [P(t - 1) = 0], o sutvirtinimas dar neįvyko [r(t) = 0]. Pagal Eq. 6, tuo metu modelis skleidžia visiškai nuspėjamą efektyvų pastiprinimo signalą (t) numatymo

rˆ=P(t)

6b lygtisDėl daugybinių iš eilės nuspėjamųjų stimulų, kai prognozės metu trūksta sutvirtinimo, efektyvusis sustiprinimo signalas tuo metu (T) prognozės atspindi dabartinės prognozės skirtumą P (t) ir ankstesnė prognozė P(t - 1)

rˆ=P(t)-P(t-l)

6c lygtisTai yra aukštesnio laipsnio sutvirtinimo klaidos terminas. Panašiai kaip iki galo numatomi stiprintuvai, visi nuspėjami dirgikliai, kurie patys yra visiškai numatomi, yra panaikinami [P(t - 1) = P(t)], todėl r̂ = 0 tuo metu (T) šių dirgiklių. Tik anksčiausias nuspėjamasis dirgiklis prisideda prie efektyvaus sustiprinimo signalo, nes šis dirgiklis P (t) nėra prognozuojamas kitu stimulu [P(t - 1) = 0]. Dėl to gaunamas tas pats r̂ = P (t) tuo metu (T) pirmosios prognozės, kaip ir vieno prognozavimo atveju (Eq. 6b).

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 9. 

Pagrindinės neuroninio tinklo modelių, įgyvendinančių laiko skirtumų algoritmus, architektūros, palyginti su bazinių ganglijų jungiamumu. A: originaliame įgyvendinime efektyvus mokymo signalas y - ȳ yra apskaičiuojamas modelio neurone A ir siunčiami į presinapsinius įvesties terminalus x į neuroną B, taigi daro įtaką x → B apdorojant ir keičiant sinapsinius svorius x → B sinapsė. Neuronas B daro įtaką elgesio išeigai per aksoną y ir tuo pat metu prisideda prie neurono adaptacinių savybių A, būtent jos reakcija į stiprintuvą prognozuojančius dirgiklius. Naujausias šios paprastos architektūros įgyvendinimas naudoja neuroną A o ne neuronas B išvesties išmetimui O modelio (Montague et al. 1996; Schultz ir kt. 1997). Perspausdinta nuo Suttonas ir Barto (1981) gavus Amerikos psichologų asociacijos leidimą. B: naujausias įgyvendinimas atskiria mokymo komponentą A, vadino kritiku (dešinėje), iš išvesties komponento, kurį sudaro keli perdirbimo blokai B, pavadintas aktoriumi (kairėje). Veiksmingas sustiprinimo signalas r̂(t) apskaičiuojamas atimant svertinio pastiprintojo prognozės γ laiko skirtumąP(t) - P(t - 1) iš pirminio armatūros r(t), gautų iš aplinkos (γ yra nuolaidų koeficientas, mažinantis tolimesnių armatūrų vertę). Stiprintuvo numatymas apskaičiuojamas atskirame prognozavimo bloke C, kuri yra kritiko dalis ir sudaro uždarą kilpą su mokymo elementu A, o pagrindinis sutvirtinimas įveda kritiką per atskirą indėlį r_t. Efektyvus pastiprinimo signalas daro įtaką sinapsiniams svarmenims prie įeinančių aktorių aksonų, kurie tarpininkauja išėjime ir kritiko adaptaciniame prognozavimo bloke. Perspausdinta nuo Barto (1995) MIT Press leidimu. C: pagrindinis bazinių ganglijų ryšys atskleidžia ryškius panašumus į aktoriaus ir kritiko architektūrą. Dopamino projekcija skleidžia armatūros signalą į striatum ir yra palyginama su vienetu A dalimis A ir B, limbinis striatumas (arba striosomos pleistras) užima prognozės vieneto padėtį C kritikoje, o sensorimotorinis striatumas (arba matrica) primena aktorinius vienetus B. Originaliame modelyje (A), vienintelį pagrindinį nukrypimą nuo nusistovėjusios bazinių ganglijų anatomijos sudaro neurono įtaka A nukreipti į presinapsinius galus, tuo tarpu dopamino sinapsės yra ant striagos neuronų postsinapsinių dendritų (Freundas ir kt. 1984). Perspausdinta nuo Smithas ir Bolamas (1990) gavus leidimą „Elsevier Press“.

Kartu paėmus, efektyvus armavimo signalas (Eq. 6 ) sudaro pirminis sutvirtinimas, kuris mažėja atsižvelgiant į kylančias prognozes (Eq. 6a) ir palaipsniui pakeičiamos įgytomis prognozėmis (Ek. 6b ir 6c). Esant iš eilės numatomiems stimulams, efektyvusis armavimo signalas iš pirminio armatūros juda atgal atgal į anksčiausią stiprintuvą prognozuojantį stimulą. Retrogradinis perkėlimas lemia konkretesnį kreditų priskyrimą dalyvaujančioms sinapsėms, nes prognozės įvyksta arčiau dirgiklių ir elgesio reakcijų, kurios turi būti sąlygotos, palyginti su sustiprinimu bandymo pabaigoje (Sutton ir Barto 1981).

Stiprinamųjų mokymosi algoritmų diegimas numato prognozavimo paklaidą dviem būdais: keičiant elgesio išvesties sinapsinius svorius ir patiems gaunant prognozes, kad būtų galima nuolat skaičiuoti numatymo paklaidą (1 pav. 9 A) („McLaren 1989“; Sutton ir Barto 1981). Šios dvi funkcijos yra atskirtos naujausiuose diegimuose, kuriuose numatomoji klaida apskaičiuojama adaptyviame kritiko komponente ir keičiami sinapsiniai svoriai aktoriaus komponente, tarpininkaujant elgesio išvestims (3 pav. 9 B) (Barto 1995). Teigiama klaida padidina kritiko sutvirtinimo prognozę, o neigiama praleisto sutvirtinimo klaida sumažina numatymą. Dėl to efektyvusis armatūros signalas yra labai pritaikomas.

Laiko skirtumų mokymosi neurobiologiniai įgyvendinimai

PARAIŠKOS NEUROBIOLOGINĖMS PROBLEMOMS.

Nors modeliai, kurie iš pradžių buvo sukurti remiantis klasikinio kondicionavimo modeliu Rescorla-Wagner, modeliai, naudojantys TD algoritmus, mokosi įvairių elgesio užduočių, atlikdami iš esmės instrumentines kondicionavimo formas. Šios užduotys pasiekiamos balansavus stulpelį ant krepšio rato (Barto ir kt. 1983) žaisti pasaulinės klasės backgammon („Tesauro 1994“). Robotai, naudojantys TD algoritmus, išmoksta judėti aplink dvimatę erdvę ir išvengti kliūčių, pasiekti ir sugriebti („Fagg 1993“) arba įkiškite kaištį į skylę (Gullapalli ir kt. 1994). Naudojant TD armatūros signalą, norint tiesiogiai paveikti ir pasirinkti elgesį (3 pav. 9 A), TD modeliai atkartoja medaus bičių maitinimąsi (Montague et al. 1995) ir imituoti žmonių sprendimų priėmimą (Montague et al. 1996). TD modeliai, turintys aiškią kritiko-aktoriaus architektūrą, yra labai galingi modeliai, efektyviai mokantys akių judesius (Friston et al. 1994; Montague et al. 1993), nuoseklūs judesiai (3 pav. 10) ir orientacinės reakcijos („Contreras-Vidal“ ir „Schultz 1996“). Naujausias modelis pridėjo aktyvinančio ir slopinančio naujumo signalus, kad pagerintų mokymo signalą, kritiko ir aktoriaus veikloje naudojo stimulus ir veiksmo pėdsakus, taip pat pritaikė taisykles, skirtas tobulinti mokymo signalą ir pasirinkti aktyviausius neuronus, turinčius didžiausią aktyvaciją. Tai labai išsamiai atspindėjo dopamino neuronų reakcijas ir gyvūnų mokymąsi atliekant uždelsto reagavimo užduotis (Suri ir Schultz 1996). Ypač įdomu pastebėti, kad mokymo signalai naudojant numatymo klaidas lemia greitesnį ir išsamesnį mokymąsi, palyginti su besąlyginiais sustiprinimo signalais (3 pav. 10) (Friston et al. 1994).

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 10. 

Numatomų sustiprinimo signalų pranašumas mokymuisi. Laiko skirtumo modelis su kritiko-aktoriaus architektūra ir tinkamumo pėdsakais aktoriuje buvo mokomas atlikti nuoseklią 2 žingsnio-3 pasirinkimo užduotį (įdėta viršutinė kairė). Mokymasis vyko greičiau ir pasiekė aukštesnių rezultatų, kai mokymo signalas buvo naudojamas nuspėjamuoju pastiprinimo signalu (adaptyvus kritikas, viršų), palyginti su besąlyginio sustiprinimo signalo naudojimu bandymo pabaigoje (dugnas). Ilgesnėmis sekomis šis efektas tampa vis ryškesnis. Palyginimui su besąlyginiu armatūros signalu reikėtų žymiai ilgesnio tinkamumo pėdsako. Duomenys buvo gauti naudojant 10 modeliavimą (R. Suri ir W. Schultz, nepaskelbti stebėjimai). Panašus pagerėjimas mokantis numatant sustiprinimą buvo nustatytas okulomotorinio elgesio modelyje (Friston et al. 1994).

Galimi mokymosi mechanizmai, naudojant dopamino signalą

Ankstesnis skyrius parodė, kad dopamino reakcijos skleidžiamas oficialus numatymo klaidos signalas gali būti ypač tinkamas mokymo signalas modeliui mokytis. Tolesniuose skyriuose aprašoma, kaip biologinį dopamino atsaką galima panaudoti mokant bazinių ganglijų struktūras, ir pateikiamos patikrintos hipotezės.

POSTSINAPTINĖ PLASTICITIKA, ĮTIKINAMA ATMINTIES PREDICIJOS SIGNALU.

Mokymasis vyks dviem etapais. Pirmasis žingsnis yra dopamino naudą prognozuojančio atsakymo gavimas. Vėlesniuose tyrimuose nuspėjamasis dopamino signalas konkrečiai sustiprins hebbijos tipo kortikostriatomos sinapsių, kurios yra aktyvios atlygį prognozuojančio stimulo metu, sinapsinius svorius (ω), tuo tarpu neaktyvios kortikostriatomos sinapsės nepaliekamos. Tai lemia trijų veiksnių mokymosi taisyklę

Δω=ɛ rˆ i o

8 lygtis visur r̂ yra dopamino armavimo signalas, i yra įvesties veikla, o yra išėjimo veikla, o ɛ yra mokymosi greitis.

Supaprastintame modelyje keturi žievės įėjimai (i1 – i4) liečia trijų vidutinių dyglių striatos neuronų dendritinius smaigalius (o1 – o3; pav. 11). Žievės įvestys susilieja su striatiniais neuronais, kiekviena įvestis liečia skirtingą stuburą. Į tuos pačius stuburus neselektyviai kontaktuoja bendra dopamino įvestis R. Aktyvinus dopamino įvestį R, matyti, kad aplinkoje įvyko nenuspėjamas atlygį prognozuojantis dirgiklis, nepateikiant daugiau informacijos (gerumo signalo). Tarkime, žievės įvestis „i2“ įjungiama kartu su dopamino neuronais ir koduoja vieną iš kelių to paties atlygį prognozuojančio stimulo specifinių parametrų, tokių kaip jo jutimo būdas, kūno pusė, spalva, struktūra ir padėtis arba konkretus judesio parametras. suveikia dirgiklis. Šio įvykio parametrų rinkinį koduos žievės įėjimų i2 rinkinys. Žievės įėjimai „i1“, „i3“ ir „i4“, nesusiję su dabartiniais dirgikliais ir judesiais, yra neaktyvūs. Dopamino atsakas lemia neselektyvų dopamino atpalaidavimą esant bet kokiai varikozijai, tačiau tai selektyviai sustiprintų tik aktyviąsias kortikostriatalines sinapses i2 – o1 ir i2 – o2, jei žievės įvestys yra pakankamai stiprios, kad suaktyvintų striatos neuronus o1 ir o2.

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 11. 

Diferencinio visuotinio dopamino stiprinimo signalo įtaka selektyviajam kortikostrijatiniam aktyvumui. Dendritiniai 3 stuburo slankstelių neuronų o1, o2 ir o3 stuburo slanksteliai paveikiami 4 žievės įvestimis i1, i2, i3 ir i4 bei aksonų varikozijomis iš vieno dopamino neurono R neurono (arba iš homogeninio dopamino neurono R arba iš R) ). Kiekvienas striatos neuronas gauna ∼10,000 žievės ir 1,000 dopamino įėjimus. Esant vieniems dendritiniams spygliams, skirtingos žievės įvestys suartėja su dopamino įvestimi. 1 modelio versijoje dopamino signalas tuo pat metu padidina aktyvų kortikostrijaus perdavimą, palyginti su neaktyviu perdavimu. Pvz., Dopamino įėjimas R yra aktyvus tuo pačiu metu kaip žievės įvestis i2, tuo tarpu i1, i3, i4 neaktyvi. Tai lemia i2 → o1 ir i2 → o2 perdavimo modifikaciją, tačiau „i1“ → o1, i3 → o2, i3 → o3 ir „i4 → o3“ perdavimo gali būti nepakeistos. Modelio versijoje, kurioje naudojamas plastiškumas, kortikostriatomos sinapsių sinapsių svoriai pagal tą pačią taisyklę yra ilgai modifikuojami dopamino signalu. Tai gali atsirasti, kai dopamino reakcija į sąlygotą dirgiklį veikia kortikostriatalines sinapses, kurias taip pat suaktyvina šis dirgiklis. Kitoje versijoje, kurioje naudojamas plastiškumas, dopamino reakcija į pirminį atlygį gali veikti atgal prieš tai atlikus anksčiau atliktas kortikostrialinės sinapses. Šias sinapses būtų galima modifikuoti hipotetiniais postsinapsiniais neuronų pėdsakais, likusiais nuo šios veiklos. Palyginus bazinių ganglijų struktūrą su naujausiu TD modeliu, pav. 9 B, dopamino įvestis R atkartoja kritiką su neuronu A, striatum su neuronais o1 – o3 replikuoja aktorių neuronu B, žievės įvestys „i1 – i4“ atkartoja aktoriaus įvestį, o skirtinga dopamino neuronų R projekcija ties daugybiniais striatuminių neuronų spygliais o1 – o3 atkartoja visuotinę kritiko įtaką aktoriui. Panašus palyginimas buvo padarytas Houkas ir kt. (1995). Šis piešinys pagrįstas anatominiais duomenimis Freundas ir kt. (1984), Smithas ir Bolamas (1990), Flaherty ir Graybiel (1993)ir Smith et al. (1994).

Šis mokymosi mechanizmas naudoja įgytą dopamino reakciją atlygį numatančio stimulo metu kaip mokymo signalą, skatinantį ilgalaikius sinapsinius pokyčius (3 pav. 12 A). Prognozuojamo dirgiklio ar suaktyvinto judesio mokymasis pagrįstas įrodytu dopamino atsako į atlygį numatančio stimulo įgijimą kartu su dopamino priklausomu plastikumu striatumoje. Po trumpalaikio dopamino tarpininkavimo padidėjus sinapsės perdavimui striatumoje, plastiškumo pokyčiai gali atsirasti žievės ar subkortikinėse struktūrose pasroviui nuo striatumos. Atgalinis atlygio poveikis dirgikliams ir judesiams, vykstantiems prieš atlygį, yra sureaguojamas reaguojant į ankstyviausią atlygį numatantį stimulą. Dopamino atsakas į numatomą ar praleistą pirminį atlygį nenaudojamas striatumos plastiškumo pokyčiams, nes jis neatsiranda tuo pačiu metu su tais atvejais, kurie turi būti kondicionuojami, nors jis galėtų būti naudojamas apskaičiuojant dopamino atsaką į atlygį numatantį stimulą pagal analogiją su TD modelių architektūra ir mechanizmas.

• Atsisiųsti skaičius
• Atidaryti naujame skirtuke
• Atsisiųskite „Powerpoint“

Pav. 12. 

Dopamino stiprinimo signalo įtaka galimiems mokymosi mechanizmams striatumoje. A: numatomas dopamino atlygio atsakas į sąlygotą dirgiklį (CS) turi tiesioginį sustiprinantį ar plastišką poveikį su tuo dirgikliu susijusiai striatos neurotransmisijai. B: dopamino atsakas į pirminį atlygį daro atgalinį plastiškumo poveikį striatos neurotransmisijai, susijusiai su ankstesniu sąlygotu stimulu. Šis mechanizmas yra susijęs su tinkamumo pėdsakais, peržengiančiais striatos aktyvumą. Kietos strėlės rodo tiesioginį dopamino signalo poveikį striatos neurotransmisijai () arba tinkamumo pėdsakas (B), maža rodyklė į vidų B rodo netiesioginį poveikį striagos neurotransmisijai per tinkamumo pėdsaką.

Elektrinis dopamino neuronų stimuliavimas kaip besąlyginis dirgiklis

Apibrėžtų smegenų sričių elektrinė stimuliacija patikimai naudojama kaip artėjimo elgesio įgijimo ir palaikymo stiprinimas (Oldsas ir Milneris 1954). Kai kurios labai veiksmingos savęs stimuliavimo vietos sutampa su dopamino ląstelių kūnais ir aksonų pluoštais vidurinėje smegenyse (Corbett ir Wise 1980), branduolio akumuliatoriai (Phillips ir kt. 1975), striatum (Phillips ir kt. 1976) ir priešfrontalinė žievė (Mora ir Myers 1977; Phillips ir kt. 1979), bet taip pat yra struktūrose, nesusijusiose su dopamino sistemomis (Balta ir Milner 1992). Elektrinė savęs stimuliacija apima dopamino neuronų (Fibiger ir Phillips 1986; Išminčius ir Romprė 1989) ir yra sumažinami dėl 6 hidroksidopamino sukeltų dopamino aksonų pažeidimų (Fibiger ir kt. 1987; Phillips ir Fibiger 1978), dopamino sintezės slopinimas („Edmonds“ ir „Gallistel 1977“), dopamino neuronų depoliarizacijos inaktyvacija (Rompré ir Wise 1989) ir dopamino receptorių antagonistai, vartojami sistemiškai (Furiezos ir Wise 1976) arba į branduolio akumuliatorius (Mogensonas ir kt. 1979). Savęs stimuliaciją palengvina kokaino ar amfetamino sukeltas tarpląstelinio dopamino padidėjimas (Kolega ir išminčius 1980; Stein 1964; Wauquier 1976). Savęs stimuliacija tiesiogiai padidina dopamino panaudojimą branduolio branduoliuose, striatum ir priekinėje žievėje (Fibiger ir kt. 1987; Mora ir Myers 1977).

Įdomu įsivaizduoti, kad elektra sukeliami dopamino impulsai ir išsiskyrimas gali būti besąlygiškas dirgiklis asociatyviame mokymesi, panašiai kaip aštuonkojų poliporalų neuronų stimuliavimas meduje, mokantis proboscis reflekso (Plaktukas 1993). Tačiau su dopaminu susijusi savęs stimuliacija skiriasi bent trimis svarbiais aspektais nuo natūralaus dopamino neuronų aktyvavimo. Užuot suaktyvinę tik dopamino neuronus, natūralus atlygis paprastai suaktyvina kelias neuronų sistemas lygiagrečiai ir leidžia paskirstyti skirtingų apdovanojimo komponentų kodavimą (žr. Tolesnį tekstą). Antra, elektrinė stimuliacija taikoma kaip besąlyginis pastiprinimas, neatspindint atlygio numatymo klaidos. Trečia, elektrinė stimuliacija atnešama tik kaip atlygis po elgesio reakcijos, o ne tada, kai atlygį numatantis dirgiklis. Įdomu būtų taikyti elektrinę sav stimuliaciją lygiai taip pat, kaip dopamino neuronai skleidžia savo signalą.

Mokymosi trūkumai, kai sutrinka dopamino neurotransmisija

Daugeliu tyrimų buvo tiriamas elgesys su gyvūnais, kurių dopamino neurotransportas yra sutrikęs, po vietinio ar sisteminio dopamino receptorių antagonistų taikymo arba dopamino aksonų sunaikinimo vidurinėje smegenų dalyje, branduolio akumuliatoriuose ar striatoje. Šie tyrimai ne tik stebėjo lokomotorinius ir kognityvinius trūkumus, primenančius parkinsonizmą, bet ir atskleidė informacijos apie atlygį apdorojimo sutrikimus. Ankstyviausi tyrimai įrodinėjo subjektyvaus ir hedoninio atlygio suvokimo trūkumus (Išminčius 1982; Wise et al. 1978). Tolesni eksperimentai atskleidė, kad sutriko pirminio atlygio ir sąlygotų apetitinių stimulų naudojimas artėjant link ir įgaunant elgesį (Beninger ir kt. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Išminčius ir kolega 1984; Išminčius ir Rompre 1989). Daugelyje tyrimų buvo aprašyti motyvacinių ir dėmesio procesų, lemiančių apetitinį mokymąsi, sutrikimai („Beninger 1983“, 1989; Beninger ir Hahn 1983; Fibiger ir Phillips 1986; „LeMoal“ ir Simonas 1991; Robbins ir Everitt 1992, 1996; Balta ir Milner 1992; Išminčius 1982). Dauguma mokymosi trūkumų yra susiję su sutrikusia dopamino neurotransmisija branduolio akumuliatoriuose, tuo tarpu stuburo slankstelio pažeidimai sukelia sensomotorinius trūkumus („Amalric“ ir „Koob 1987“; Robbins ir Everitt 1992; Balta 1989). Vis dėlto atrodo, kad dažnai mokomasi instrumentinių užduočių ir ypač - diskriminacinių stimulų - savybių, ir nėra visiškai išspręsta, ar kai kuriuos akivaizdžius mokymosi trūkumus gali supainioti variklio veiklos trūkumai (Salamone 1992).

Dopamino neuronų degeneracija sergant Parkinsono liga taip pat sukelia daug deklaratyvių ir procedūrinių mokymosi trūkumų, įskaitant asociatyvų mokymąsi (Linden ir kt. 1990; Sprengelmeyer ir kt. 1995). Trūksta mokymosi bandymų ir klaidų trūkumų, juos nedelsiant sustiprinant („Vriezen“ ir „Moscovitch 1990“) ir siejant aiškius stimulus su skirtingais rezultatais (Knowlton ir kt. 1996), net ankstyvoje Parkinsono ligos stadijoje be žievės atrofijos (Canavan et al. 1989). Parkinsono liga sergantiems pacientams laikas taip pat sutrinka (Klebonas ir kt. 1992). Visi šie trūkumai atsiranda gydant L-Dopa, kuris atkuria toninį striatos dopamino lygį negrąžindamas fazinių dopamino signalų.

Šie tyrimai rodo, kad dopamino neurotransmisija vaidina svarbų vaidmenį apdorojant atlygį už požiūrį į elgesį ir mokymąsi, apimantį stimulų ir apdovanojimų sąsajas, tuo tarpu galima abejoti dalyvavimu labiau instrumentinėse mokymosi formose. Neaišku, ar šie trūkumai atspindi bendrą elgesio neveiklumą dėl toniškai sumažėjusios dopamino receptorių stimuliacijos, o ne fazinio dopamino atlygio signalo nebuvimo. Norint išspręsti šį klausimą, taip pat konkrečiau išaiškinti dopamino vaidmenį įvairiose mokymosi formose, būtų naudinga mokytis mokytis tokiose situacijose, kuriose iš tikrųjų pasireiškia fazinis dopamino atsakas į apetitinius dirgiklius.

Mokymosi formos, kurias gali perduoti dopamino signalas

Dopamino reakcijų charakteristikos ir galimas dopamino poveikis striagos neuronams gali padėti apibrėžti kai kurias mokymosi formas, kuriose dopamino neuronai galėtų dalyvauti. Preferencinis atsakas į apetitą, o ne į baisius įvykius būtų labiau naudingas įsitraukimui į elgesio mokymąsi ir teigiamo sustiprinimo poveikio tarpininkavimui, o ne pasitraukimui ir baudimui. Atsakymai į pirminius apdovanojimus už užduočių ir mokymosi konteksto ribų leistų dopamino neuronams atlikti vaidmenį palyginti plačiame mokymosi spektre, apimant pirminį atlygį, tiek klasikiniu, tiek instrumentiniu būdu. Atsakymai į atlygį prognozuojančius stimulus atspindi stimulų ir apdovanojimų asociacijas ir būtų suderinami su dalyvavimu atlygio lūkesčiuose, kuriais grindžiamas bendras skatinamasis mokymasis (Bindra 1968). Priešingai, dopamino reakcijose nėra aiškiai koduojama premija kaip tikslo objektas, nes jos praneša tik apie atlygio numatymo klaidas. Jie taip pat atrodo nejautrūs motyvacinėms būsenoms, todėl nepatenkina konkretaus vaidmens skatinant mokytis tikslinių aktų nuo valstybės priklausomo paskatinimo (Dickinson ir Balleine 1994). Aiškių ryšių su rankos ir akių judesiais trūkumas nepajustų vaidmens tiesiogiai tarpininkaujant elgesio reakcijoms, atsirandančioms po skatinamųjų stimulų. Tačiau iš esmės sudėtinga palyginti atskirų neuronų išsiskyrimą ir mokymąsi ištisų organizmų. Sinapsiniame lygmenyje palaipsniui atpalaiduojamas dopaminas pasiekia daugybę dendritų tikriausiai kiekviename striatos neurone ir tokiu būdu gali plastiškai paveikti daugelį elgesio komponentų, susijusių su striatum, ir tai gali apimti judesių mokymąsi.

Konkrečias sąlygas, kuriomis faziniai dopamino signalai gali turėti reikšmės mokymuisi, lemia dirgikliai, kurie veiksmingai sukelia dopamino atsaką. Gyvūnų laboratorijoje reaguojant į dopamino reakcijas reikia palaipsniui atsirasti apetitą sukeliančių, naujų ar ypač patrauklių dirgiklių, įskaitant pirminį maistinių medžiagų naudą ir atlygį numatančius dirgiklius, tuo tarpu aversyvūs stimulai neturi pagrindinio vaidmens. Dopamino reakcija gali pasireikšti visose elgesio situacijose, kurias kontroliuoja laipsniški ir aiškūs rezultatai, nors aukštesnės eilės sąlygoti dirgikliai ir antriniai stiprikliai dar nebuvo išbandyti. Fazinis dopamino atsakas tikriausiai neatliktų reikšmės mokymosi formoms, kurių neakcentuoja faziniai reiškiniai, ir numatomasis atsakymas negalėtų prisidėti prie mokymosi tokiose situacijose, kuriose faziniai numatomieji stimulai nevyksta, pavyzdžiui, santykinai lėti konteksto pokyčiai. . Tai lemia įdomų klausimą, ar tam tikrų mokymosi formų taupymas dopamino pažeidimų ar neuroleptikų dėka pirmiausia gali reikšti fazinių dopamino reakcijų nebuvimą, nes nebuvo naudojami veiksmingi juos sukeliantys stimulai.

Dopamino signalų įsitraukimą į mokymąsi galima iliustruoti teoriniu pavyzdžiu. Įsivaizduokite dopamino reakcijas įsigydami nuoseklią reakcijos laiko užduotį, kai teisinga reakcija staiga sukelia maistinių medžiagų atlygį. Vėliau atlygio reakcija perkeliama į palaipsniui ankstesnius atlygį numatančius stimulus. Reakcijos laikas dar labiau pagerėja dėl ilgos praktikos, nes vis labiau nuspėjamos erdvės, esančios taikiniuose. Nors dopamino neuronai ir toliau reaguoja į atlygį prognozuojančius dirgiklius, tolesnį elgesio pagerėjimą daugiausia gali lemti tai, kad kitos neuronų sistemos įgyja numatomą erdvinių padėčių apdorojimą. Taigi dopamino reakcija pasireikš pradiniame skatinamuoju mokymosi metu, kai dalykai artėja prie objektų ir gauna aiškų pirminį ir, galbūt, sąlyginį atlygį. Jie būtų mažiau įsitraukę į situacijas, kai mokymosi pažanga viršija požiūrio elgesio indukciją. Tai neapsiriboja dopamino vaidmeniu pradinio mokymosi etapams, nes daugelyje situacijų iš pradžių reikia mokytis iš pavyzdžių ir tik vėliau įtraukti mokymąsi remiantis aiškiais rezultatais.

Prognozavimo klaida

Dopamino neuronų prognozavimo klaidos signalas būtų puikus aplinkos įvykių apetitinės vertės rodiklis, palyginti su prognoze, tačiau jis neišskiria maisto produktų, skysčių ir atlygį numatančių dirgiklių bei regos, klausos ir somatosensorinių būdų. Šis signalas gali būti įspėjimo apie atlygį pranešimas, kuriuo postsinapsiniai neuronai informuojami apie netikėtą apdovanojančio ar galimai apdovanojančio įvykio atsiradimą ar praleidimą, toliau nenurodant jo tapatybės. Jis turi visas oficialias galingo pastiprinimo signalo mokymuisi savybes. Tačiau informacija apie specifinį atlygio pobūdį yra labai svarbi nustatant, į kurį objektą reikia kreiptis ir kokiu būdu. Pavyzdžiui, alkanas gyvūnas pirmiausia turėtų kreiptis į maistą, bet ne skystis. Norint atskirti svarbų ir nesvarbų atlygį, dopamino signalą reikia papildyti papildoma informacija. Naujausi dializės in vivo eksperimentai parodė didesnį maisto sukeltą dopamino išsiskyrimą alkanoms nei sotoms žiurkėms (Wilsonas ir kt. 1995). Dėl šios dopamino išsiskyrimo priklausomybės nuo impulsų gali nebūti, nes mums nepavyko rasti aiškios priklausomybės nuo dopamino reakcijos, palyginus ankstyvą ir vėlyvą individualių eksperimentinių užsiėmimų periodą, kurio metu gyvūnai pasidarė sotūs (JL Contreras-Vidal ir W). Schultz, neskelbti duomenys).

Atlygio specifika

Informacija apie skysčių ir maisto naudą taip pat apdorojama smegenų struktūrose, išskyrus dopamino neuronus, tokius kaip nugaros ir vidurinės striatos, pogumburio branduolys, amigdala, dorsolateralinė priekinė žievė, orbitofrontalinė žievė ir priekinė cinguliacinė žievė. Tačiau neatrodo, kad šios struktūros skleidžia visuotinį atlygio numatymo klaidos signalą, panašų į dopamino neuronus. Primatose šios struktūros atsilygina 1) trumpalaikiai atsakymai po apdovanojimo (Apicella et al. 1991a,b, 1997; Bowman ir kt. 1996; Hikosaka ir kt. 1989; „Niki“ ir „Watanabe 1979“; Nishijo ir kt. 1988; „Tremblay“ ir „Schultz 1995“; „Watanabe 1989“), 2) trumpalaikės reakcijos į atlygį numatančias užuominas (Aosaki ir kt. 1994; Apicella ir kt. 1991b; 1996; Hollerman et al. 1994; Nishijo ir kt. 1988; Thorpe ir kt. 1983; „Tremblay“ ir „Schultz 1995“; Williams et al. 1993), 3) nuolatiniai aktyvinimai, tikintis nedelsiant artėjančio apdovanojimo (Apicella ir kt. 1992; Hikosaka ir kt. 1989; Matsumura ir kt. 1992; Schultz ir kt. 1992; „Tremblay“ ir „Schultz 1995“) Ir 4) su elgesiu susijusių aktyvacijų moduliavimas numatomu atlygiu (Hollerman et al. 1994; „Watanabe 1990“, 1996). Daugelis šių neuronų gerai išskiria skirtingą maistą ir skirtingą skysčių kiekį. Taigi jie apdoroja ypatingą apdovanojimo įvykio pobūdį ir gali padėti įvertinti atlygį. Kai kurie atlygio atsakymai priklauso nuo atlygio nenuspėjamumo ir jų nėra arba jų visai nėra, kai atlygis numatomas sąlygotu stimulu (Apicella ir kt. 1997; Matsumoto ir kt. 1995; L. Tremblay ir W. Schultzas, neskelbtini duomenys). Jie gali apdoroti konkrečių apdovanojimų prognozes, nors neaišku, ar jie signalizuoja apie prognozavimo klaidas, nes jų atsakymai į praleistus apdovanojimus nežinomi.

Išlaikyti nusistovėjusį veikimą

Atrodo, kad palaikant nusistovėjusį elgesio modelį svarbūs trys neuronų mechanizmai: praleisto atlygio nustatymas, atlygį numatančių stimulų nustatymas ir numatomo atlygio nustatymas. Dopamino neuronai slopinami, kai praleidžiama numatoma nauda. Šis signalas galėtų sumažinti sinapsinį efektyvumą, susijusį su klaidinga elgesio reakcija, ir užkirsti kelią jo pasikartojimui. Dopamino atsakas į atlygį prognozuojančius dirgiklius palaikomas nusistovėjusio elgesio metu, taigi ir toliau tarnauja kaip išankstinė informacija. Nors visiškai numatomo atlygio dopamino neuronai nenustato, juos apdoroja aukščiau minimos nondopaminerginės žievės ir subkortikinės sistemos. Tai būtų svarbu siekiant išvengti išmokto elgesio išnykimo.

Apibendrinant atrodo, kad apdorojant specifinį atlygį už mokymąsi ir elgesio elgesio palaikymą, būtų labai naudinga dopamino neuronų, signalizuojančių apie neprognozuojamą atlygio atsiradimą ar praleidimą kitose struktūrose, bendradarbiavimas, nurodantis specifinį atlygio pobūdį.

Noradrenalino neuronai

Beveik visoje žiurkių, kačių ir beždžionių noradrenalino neuronų populiacijoje, kurioje yra lokusinis kaulas, pasireiškia gana homogeniškos, dvifazės, aktyvinančios-slopinančios reakcijos į regėjimo, klausos ir somatosensorinius dirgiklius, sukeliančius orientacines reakcijas (Aston-Jones ir Bloom 1981; Foote ir kt. 1980; Rasmussen ir kt. 1986). Ypač veiksmingi yra reti įvykiai, į kuriuos gyvūnai kreipia dėmesį, pavyzdžiui, regos dirgikliai vykdant oddball diskriminacijos užduotį (Aston-Jones ir kt. 1994). Noradrenalino neuronai labai gerai atskiria sužadinančius ar motyvuojančius ir neutralius įvykius. Jie greitai įgyja atsaką į naujus taikinius, kai keičiasi, ir praranda atsaką į ankstesnius tikslus, kol nėra baigtas elgesio pakeitimas (Aston-Jones ir kt. 1997). Atsakymai atsiranda dėl skysčio išlaisvinimo už bet kokios užduoties ribų ir pereina į atlygį numatančius tikslo dirgiklius atliekant užduotį, taip pat prie pirminių ir sąlyginių baisiųjų dirgiklių (Aston-Jones ir kt. 1994; Foote ir kt. 1980; Rasmussenas ir Jacobsas 1986; Sara ir Segal 1991). Atsakymai dažnai būna trumpalaikiai ir, atrodo, atspindi dirgiklio atsiradimo ar prasmės pokyčius. Aktyvacija gali būti atliekama tik keliuose bandymuose su pakartotiniu maisto objektų pateikimu (Vankov et al. 1995) arba su kondicionuojamais klausos dirgikliais, susijusiais su skysčių kaupimu, baisiu oro pūtimu ar elektriniu pėdos šoku (Rasmussenas ir Jacobsas 1986; Sara ir Segal 1991). Kondicionavimo metu reaguojama į keletą pirmųjų naujų stimulų pateikimo ir jie praeina laikinai, kai tikimybės pokyčiai pasikeičia įsigijimo, apvertimo ir išnykimo metu (Sara ir Segal 1991).

Apibendrinant, noradrenalino neuronų atsakymai keliais aspektais primena dopamino neuronų reakcijas, suaktyvinami pirminiais apdovanojimais, atlygį numatančiais dirgikliais ir naujais dirgikliais bei perduodant atsakymą iš pirminio į sąlygotus apetitinius įvykius. Tačiau noradrenalino neuronai nuo dopamino neuronų skiriasi tuo, kad reaguoja į daug įvairesnius dirginančius dirgiklius, gerai reaguoja į pirminius ir sąlygotus neigiamus dirgiklius, gerai atpažįsta neutralius dirgiklius, greitai seka elgesio pokyčius ir rodo mažėjančias reakcijas su pakartotiniais dirgikliais. pristatymas, kuriam gali reikėti 100 tyrimų, kad būtų aiškios apetitinės reakcijos (Aston-Jones ir kt. 1994). Noradrenalino reakcijos yra stipriai susijusios su dirgiklius sukeliančiomis ar dėmesį patraukiančiomis savybėmis, sukeliančiomis orientacines reakcijas, tuo tarpu daug mažiau dėmesio skiriama apetitinių dirgiklių savybėms, kaip ir daugeliui dopamino neuronų. Juos tikriausiai labiau skatina patraukti dėmesį, o ne motyvuoti apetitinių įvykių komponentai.

Serotonino neuronai

Aktyvumas skirtinguose rapės branduoliuose palengvina variklio darbą, nustatant raumenų tonusą ir stereotipinį motorinį aktyvumą (Jacobsas ir Fornalis 1993). Dorsal raphe neuronai katėms rodo fazines, nejučiamas reakcijas į regėjimo ir klausos dirgiklius, kurie neturi jokios ypatingos elgesio prasmės (Heym ir kt. 1982; „LeMoal“ ir „Olds 1979“). Šie atsakymai primena dopamino neuronų reakciją į naujus ir ypač ryškius dirgiklius. Tolesniems palyginimams reikėtų išsamesnio eksperimento.

Branduolys bazalis Meynert

Primatų bazinių priekinių smegenų neuronai palaipsniui aktyvuojami dėl įvairių elgesio reiškinių, įskaitant sąlygotus, atlygį numatančius stimulus ir pirminę naudą. Daugelis aktyvacijų priklauso nuo atminties ir asociacijų, sustiprėjančių diskriminacijos ir uždelstų reagavimo užduočių. Suaktyvinimai atspindi pažintį dirgiklius („Wilson and Rolls 1990a“), tampa svarbesni, kai stimulai ir judesiai vyksta arčiau atlygio laiko (Richardsonas ir „DeLong 1990“), gerai atskiria regos dirgiklius pagal apetitines ir bauginančias asociacijas („Wilson and Rolls 1990b“) ir keiskite per kelis bandymus perversdami („Wilson and Rolls 1990c“). Neuronus taip pat suaktyvina baisūs dirgikliai, numatomi regėjimo ir klausos dirgikliai bei judesiai. Jie dažnai reaguoja į visiškai numatomą atlygį už gerai nusistovėjusias elgesio užduotis (Mitchell ir kt. 1987; Richardsonas ir „DeLong 1986“, 1990), nors kai kuriuose tyrimuose atsakymai į nenumatytą atlygį yra dažnesni (Richardsonas ir „DeLong 1990“), bet ne kituose („Wilson and Rolls 1990a“-c). Palyginus su dopamino neuronais, juos aktyvuoja daug didesnis stimulų ir įvykių spektras, įskaitant bauginančius įvykius, ir jie neparodo gana vienalytės gyventojų reakcijos į nenuspėjamą naudą ir jos perkėlimą į atlygį prognozuojančius dirgiklius.

Cerebellar laipiojimo pluoštai

Tikriausiai pirmasis klaidų paskatintas mokymo signalas smegenyse buvo postuluojamas taip, kad į smegenų žievės smegenų žievę lipo pluoštai iš žemesniųjų alyvuogių į Purkinje neuronus.Marras 1969AS), ir daugelis smegenų smegenų mokymosi tyrimų yra paremti šia koncepcija (Houkas ir kt. 1996; Į 1989; Kawato ir Gomi 1992; „Llinas“ ir „Welsh 1993“). Alpinizmo pluošto įvestis į Purkinje neuronus laikinai keičia savo veiklą, kai keičiasi judesių apkrovos arba padidėja skirtumas tarp judesių ir regimasis grįžtamasis ryšys, o beždžionės prisitaiko prie naujos situacijos (Gilbertas ir Thachas 1977; „Ojakangas“ ir „Ebner 1992“). Daugelį šių pokyčių sudaro padidėjęs aktyvumas, o ne aktyvacija palyginti su depresijos reakcijomis, kai dopamino neuronuose pastebimos klaidos priešingomis kryptimis. Jei vijoklinio pluošto aktyvacija turėtų tarnauti kaip mokymo signalas, jungtinis vijimosi pluošto lygiagretaus pluošto aktyvinimas turėtų sukelti lygiagrečios pluošto įvesties į Purkinje neuronus pokyčius. Tai iš tikrųjų įvyksta kaip ilgalaikis lygiagrečių pluošto įvedimo slopinimas, daugiausia in vitro preparatuose (Į 1989). Tačiau panašius lygiagrečius pluošto pokyčius sunkiau rasti elgesio mokymosi situacijose („Ojakangas“ ir „Ebner 1992“), paliekant šiuo metu galimas pluošto mokymo signalų laipiojimo pasekmes.

Antrasis argumentas, susijęs su pluošto lipimo vaidmeniu mokymesi, yra chuliganiškas klasikinis elgesys. Dalis laipiojimo pluoštų suaktyvėja nukreipiant oro raukšles į rageną. Šie atsakai prarandami po to, kai Pavloviano akių vokai kondicionuojami naudojant klausos stimulą („Sears“ ir „Steinmetz 1991“), siūlantį ryšį su pirminių bauginančių įvykių nenuspėjamumu. Po kondicionavimo smegenų tarpvietės branduolyje esantys neuronai reaguoja į kondicionuotą dirgiklį (Berthier ir Moore 1990; „McCormick“ ir „Thompson 1984“). Šio branduolio pažeidimai arba GABA antagonisto bicukulino injekcijos į žemesnįjį alyvuogių kiekį neleidžia prarasti prastesnių alyvuogių oro reakcijų po kondicionavimo, o tai rodo, kad monosinapsinis arba polisinapsinis slopinimas nuo interposito iki žemesniojo lygio alyvuogių slopina reakcijas po kondicionavimo („Thompson“ ir „Gluck 1991“). Tai gali leisti nuspausti žemesnio lygio alyvuogių neuronus, jei nėra numatytų neigiamų dirgiklių, ir tokiu būdu pranešti apie neigiamą klaidų prognozuojant neigiamus įvykius, panašius į dopamino neuronus.

Taigi pluoštų lipimas gali pranešti apie variklio veikimo klaidas ir abejotinų įvykių prognozavimo klaidas, nors tai ne visada gali apimti dvikrypčius pokyčius, kaip vartojant dopamino neuronus. Neatrodo, kad vijokliniai pluoštai įgyja atsaką į sąlygotus nepageidaujamus dirgiklius, tačiau tokie atsakai randami branduolio tarpsnyje. Apskaičiuojant aversyvias prognozavimo paklaidas, gali reikėti mažėjančių slopinamųjų įtakų prastesniems alyvuogių neuronams, panašiai kaip striatos projekcijos į dopamino neuronus. Taigi smegenėlių grandinės apdoroja klaidų signalus, nors skirtingai nei dopamino neuronai ir TD modeliai, ir jie gali įgyvendinti klaidų mokymosi taisykles, pavyzdžiui, „Rescorla-Wagner“ taisyklę („Thompson“ ir „Gluck 1991“) arba formaliai lygiavertę Widrow-Hoff taisyklę (Kawato ir Gomi 1992).