Napovedni signal nagrajevanja dopaminskih nevronov (1998)

Funkcije nagrad

Nekateri predmeti in dogodki v okolju imajo poseben motivacijski pomen, saj vplivajo na dobro počutje, preživetje in razmnoževanje. Glede na nastale vedenjske reakcije je motivacijska vrednost okoljskih predmetov lahko privlačna (nagrajujoča) ali averzivna (kaznovalna). (Upoštevajte, da se "privlačen" uporablja kot sinonim za "nagrajevanje", ne pa za "pripravljalno.") Apektivni predmeti imajo tri ločene osnovne funkcije. V svoji prvi funkciji nagrajuje izbirčen pristop in vedenje. To je posledica tega, da so predmeti z prirojenimi mehanizmi ali v večini primerov označeni za privlačno vrednost. Nagrade v svoji drugi funkciji povečajo pogostost in intenzivnost vedenja, ki vodi do takšnih predmetov (učenje), in ohranjajo naučeno vedenje s preprečevanjem izumrtja. Nagrade služijo kot pozitivno okrepitev vedenja v klasičnih in instrumentalnih postopkih kondicioniranja. V splošnem spodbujevalnem učenju okoljski dražljaji pridobijo privlačno vrednost po klasično pogojenih asociacijah za nagrajevanje in spodbudijo vedenje pristopa (Bindra 1968). Pri instrumentalnem kondicioniranju nagradijo »krepijo« vedenje s krepitvijo povezav med dražljaji in vedenjskimi odzivi (zakon učinka: Thorndike 1911). To je bistvo "vrnitve za več" in je povezano s splošnim pojmom nagrad, ki smo jih dosegli za nekaj dobrega. V instrumentalni obliki spodbujevalnega učenja so nagrade "spodbude" in služijo kot cilji vedenja, ki sledijo povezavam med vedenjskimi odzivi in ​​rezultati (Dickinson in Balleine 1994). Nagrade na svoji tretji funkciji vzbujajo subjektivne občutke užitka (hedonijo) in pozitivna čustvena stanja. Averzivni dražljaji delujejo v nasprotnih smereh. Spodbujajo odvzem odziva in delujejo kot negativni ojačevalci s povečanjem in ohranjanjem izogibajočega se vedenja ob ponavljajoči se predstavitvi in ​​s tem zmanjšujejo vpliv škodljivih dogodkov. Poleg tega sprožijo notranja čustvena stanja jeze, strahu in panike.

Funkcije napovedi

Napovedi zagotavljajo vnaprejšnje informacije o prihodnjih dražljajih, dogodkih ali stanjih sistema. Zagotavljajo osnovno prednost pridobivanja časa za vedenjske reakcije. Nekatere oblike napovedi pripisujejo motivacijske vrednosti okoljskim dražljajem s povezavo s posebnimi rezultati, s čimer se opredelijo predmeti življenjskega pomena in jih razlikuje od manj vrednih predmetov. V drugih oblikah se kodirajo fizični parametri predvidenih predmetov, kot so prostorski položaj, hitrost in teža. Napovedi omogočajo organizmu, da oceni prihodnje dogodke, preden se dejansko zgodijo, omogoči izbiro in pripravo vedenjskih reakcij ter poveča verjetnost približevanja ali izogibanja predmetom, označenim z motivacijskimi vrednostmi. Na primer, ponavljajoči se premiki predmetov v istem zaporedju omogočajo napovedovanje naslednjih položajev in že pripravijo naslednje gibanje med zasledovanjem predmeta. To skrajša reakcijski čas med posameznimi cilji, pospeši splošno uspešnost in ima za posledico prejšnji rezultat. Predvidna gibanja oči izboljšajo vedenjsko delovanje z vnaprejšnjim fokusiranjem (Cvetje in puhanje 1978).

Na bolj napredni ravni vnaprejšnje informacije, ki jih zagotavljajo napovedi, omogočajo sprejemanje odločitev med alternativami za dosego določenih stanj sistema, približevanje redko pojavljajočim se ciljnim ciljem ali preprečevanje nepopravljivih škodljivih učinkov. Industrijske aplikacije uporabljajo Internal Model Control za napovedovanje in odzivanje na stanje sistema, preden se dejansko pojavijo (Garcia in sod. 1989). Na primer, tehnika "fly-by-wire" v sodobnem letalstvu izračuna predvidljiva prihodnja stanja letal. Odločitve za manevre letenja upoštevajo te podatke in pomagajo preprečiti prekomerno obremenitev mehanskih komponent letala, s čimer se zmanjša teža in poveča obseg delovanja.

Uporaba napovednih informacij je odvisna od narave predstavljenih prihodnjih dogodkov ali stanj sistema. Enostavne predstavitve neposredno zadevajo položaj prihajajočih ciljev in posledično vedenjsko reakcijo, s čimer se reakcijski čas skrajša samodejno. Višje oblike napovedi temeljijo na predstavitvah, ki omogočajo logično sklepanje, do katerega je mogoče dostopati in obravnavati z različnimi stopnjami namernosti in izbire. Pri ljudeh se pogosto predelajo zavestno. Preden se zgodijo predvideni dogodki ali sistemska stanja in se izvedejo vedenjske reakcije, takšne napovedi omogočajo miselno ocenjevanje različnih strategij z vključevanjem znanja iz različnih virov, oblikovanjem različnih načinov reakcije in primerjavo dobičkov in izgub iz vsake možne reakcije.

Kohezijsko vedenje

Pridružljivo privlačno učenje vključuje večkratno in pogojno seznanjanje med samovoljnim dražljajem in primarno nagrado (sl. 1). To ima za posledico vse pogostejše vedenje pristopa, ki ga povzroča zdaj „pogojeni“ dražljaj, ki deloma spominja na vedenje pristopa, ki ga prinaša primarna nagrada, nanj pa vpliva tudi narava pogojene spodbude. Kaže, da pogojeni dražljaj služi kot napovedovalec nagrajevanja in pogosto na podlagi ustreznega pogona vzpostavi notranje motivacijsko stanje, ki vodi v vedenjsko reakcijo. Podobnost reakcij pristopa kaže na to, da se nekatere splošne, pripravljalne sestavine vedenjskega odziva prenesejo iz primarne nagrade na najzgodnejšo, spodbudno napovedno spodbudo. Tako pogojeni dražljaj deloma deluje kot motivacijski nadomestek primarnega dražljaja, verjetno s Pavlovijinim učenjem (Dickinson 1980).

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 1. 

Obdelava apetitnih dražljajev med učenjem. Samovoljna spodbuda postane povezana s primarno nagrado s hrano ali tekočino s ponavljajočim se pogojnim združevanjem. Ta pogojena spodbuda, ki napoveduje nagrajevanje, sproži notranje motivacijsko stanje, tako da sproži pričakovanje nagrade, pogosto na podlagi ustrezne lakote ali žeje, in sproži vedenjsko reakcijo. Ta shema ponavlja osnovne pojme motivacijske motivacijske teorije, ki jih je razvil Bindra (1968) in Vijaki (1972). Velja za klasično kondicioniranje, kjer se nagrada samodejno izroči po pogojeni dražljaji, in za instrumentalno (operativno) kondicioniranje, kjer je za nagrado potrebno reakcijo subjekta na pogojeni dražljaj. Ta shema se uporablja tudi za averzivno kondicioniranje, ki iz kratkosti ni podrobneje obdelano.

Številne tako imenovane "brezpogojne" nagrade za hrano in tekočine se verjetno naučijo skozi izkušnje, kar lahko potrdi vsak obiskovalec v tujih državah. Primarna nagrada bi lahko bila sestavljena iz okusa, ki ga doživijo, ko predmet aktivira gustatorne receptorje, vendar se ga lahko spet naučimo. Končni nagrajevalni učinek hranilnih predmetov je verjetno v njihovem specifičnem vplivu na osnovne biološke spremenljivke, kot so koncentracije elektrolita, glukoze ali aminokislin v plazmi in možganih. Te spremenljivke so opredeljene v vegetativnih potrebah organizma in nastajajo z evolucijo. Živali se izogibajo hranilom, ki ne vplivajo na pomembne vegetativne spremenljivke, na primer hrano, ki nima toliko esencialnih aminokislin, kot je histidin (Rogers in Harper 1970), treonin (Hrupka in sod. 1997; Wang et al. 1996) ali metionin (Delaney in Gelperin 1986). Nekaj ​​glavnih nagrad lahko določijo prirojeni nagoni in podpirajo vedenje in zaužitje začetnega pristopa v zgodnjem življenju, medtem ko bi se večina nagrad naučila v naslednjih življenjskih izkušnjah subjekta. Fizični videz nagrad bi lahko uporabil za napovedovanje veliko počasnejših vegetativnih učinkov. To bi močno pospešilo odkrivanje nagrad in pomenilo veliko prednost za preživetje. Učenje nagrad omogoča tudi subjektom, da porabijo veliko več različnih hranilnih snovi kot učinkovite nagrade in s tem povečajo svojo priložnost za preživetje na območjih z omejenimi viri.

Aktivacija s primarnimi apetitnimi dražljaji

Približno 75% dopaminskih nevronov kaže fazične aktivacije, ko se živali med raziskovalnimi gibi dotaknejo majhnega koščka skrite hrane v odsotnosti drugih faznih dražljajev, ne da bi jih aktiviral sam premik (Romo in Schultz 1990). Preostali dopaminski nevroni se ne odzivajo na noben od preizkušenih okoljskih dražljajev. Dopaminski nevroni se aktivirajo tudi s kapljico tekočine, ki jo dobijo v ustih zunaj katere koli vedenjske naloge ali med učenjem tako različnih paradigem, kot so naloge vidnega ali slušnega reakcijskega časa, prostorsko zapozneli odziv ali izmeničenje in vidna diskriminacija, pogosto pri isti živali (sl. . 2 vrh) (Hollerman in Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz in Schultz 1994; Schultz et al. 1993). Odzivi na nagrado se zgodijo neodvisno od učnega konteksta. Tako se zdi, da dopaminski nevroni ne razlikujejo med različnimi prehranskimi predmeti in tekočimi nagradami. Vendar njihovi odzivi razlikujejo nagrade od nerevidiranih predmetov (Romo in Schultz 1990). Le 14% dopaminskih nevronov pokaže fazne aktivacije, ko so predstavljeni primarni averzivni dražljaji, na primer zračni zaplet v roko ali hipertonična fiziološka raztopina v usta, večina aktiviranih nevronov pa se odzove tudi na nagrade (Mirenowicz in Schultz 1996). Čeprav so spodbujevalni, so ti dražljaji nenaklonjeni, ker motijo ​​vedenje in sprožijo aktivne reakcije izogibanja. Vendar dopaminski nevroni niso povsem neobčutljivi na averzivne dražljaje, kar kažejo počasne depresije ali občasne počasne aktivacije po draženju bolečinskih stisk pri anesteziranih opicah (Schultz in Romo 1987) in s povečanim sproščanjem stripam dopamina po električnem udaru in pripenjanju repa pri budnih podganah (Abercrombie et al. 1989; Doherty in Gratton 1992; Louilot in sod. 1986; Young et al. 1993). To kaže, da fazni odzivi dopaminskih nevronov prednostno poročajo o okoljskih dražljajih s primarno apetitno vrednostjo, medtem ko se lahko o averzivnih dogodkih signalizira precej počasnejši časovni potek.

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 2. 

Dopaminski nevroni poročajo o nagradah glede na napako pri napovedovanju nagrad. Vrh: pride do kapljice tekočine, čeprav za zdaj ni predvidena nobena nagrada Pojav nagrade torej predstavlja pozitivno napako pri napovedovanju nagrade. Dopaminski nevron se aktivira zaradi nepredvidenega pojava tekočine. Bližnji: pogojni dražljaj napoveduje nagrado, nagrada pa se pojavi v skladu z napovedjo, torej ni napake v napovedi nagrade. Dopaminski nevron se s predvideno nagrado ne aktivira (prav). Pokaže tudi aktiviranje po spodbudnem napovedovanju nagrade, ki se pojavi ne glede na napako v napovedi kasnejše nagrade (levo). Bottom: pogojeni dražljaj napoveduje nagrado, vendar do nagrade ne pride, ker žival ne reagira. Dejavnost dopaminskega nevrona je oslabljena ravno v času, ko bi se zgodila nagrada. Upoštevajte depresijo, ki se pojavi> 1 s po pogojenem dražljaju brez kakršnih koli vmesnih dražljajev, kar razkriva notranji proces pričakovanja nagrade. Nevronska aktivnost na 3 grafih sledi enačbi: odziv dopamina (nagrada) = zgodila se je nagrada - napovedana nagrada. CS, pogojeni dražljaj; R, primarna nagrada. Ponatis iz Schultz et al. (1997) z dovoljenjem Ameriškega združenja za napredek znanosti.

Nepredvidljivost nagrade

Pomembna značilnost odzivov na dopamin je njihova odvisnost od nepredvidljivosti dogodkov. Aktivacije, ki sledijo nagradam, se ne pojavijo, kadar pred nagradami hrane in tekočine pride do faznih dražljajev, ki so pogojeni za napoved takšnih nagrad (sl. 2, srednji) (Ljungberg et al. 1992; Mirenowicz in Schultz 1994; Romo in Schultz 1990). Ključna razlika med učenjem in popolnoma pridobljenim vedenjem je stopnja nepredvidljivosti nagrade. Dopaminski nevroni se v učni fazi aktivirajo z nagradami, vendar se prenehajo odzivati ​​po popolni pridobitvi nalog vidnega in slušnega reakcijskega časa (Ljungberg et al. 1992; Mirenowicz in Schultz 1994), prostorske naloge z odloženim odzivom (Schultz et al. 1993) in hkratna vizualna diskriminacija (Hollerman in Schultz 1996). Izguba odziva ni posledica razvijanja splošne neobčutljivosti za nagrade, saj se aktivacije po nagradah, dodeljenih zunaj nalog, v nekaj mesecih eksperimentiranja ne zmanjšujejo (Mirenowicz in Schultz 1994). Pomembnost nepredvidljivosti vključuje čas nagrajevanja, kar dokazujejo prehodne aktivacije po nagradah, ki so bile nenadoma izročene prej ali kasneje, kot je bilo predvideno (Hollerman in Schultz 1996). Skupaj mora biti pojav nagrad, vključno z njegovim časom, nepredviden, da aktivirajo dopaminske nevrone.

Depresija z opustitvijo predvidene nagrade

Dopaminski nevroni so depresivni ravno v času običajnega nastopa nagrade, ko ne pride do popolnoma predvidene nagrade, tudi če ni takoj spodbude (sl. 2, dno). To opazimo, kadar živali ne dobijo nagrade zaradi napačnega vedenja, ko eksperimentator kljub pravilnemu vedenju ustavi pretok tekočine ali kadar se ventil slišno odpre, ne da bi dovajal tekočino (Hollerman in Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). Kadar se dobava nagrade zamuja za 0.5 ali 1.0 s, se ob rednem času nagrade pojavi depresija nevronskih aktivnosti in aktiviranje sledi nagradi ob novem času (Hollerman in Schultz 1996). Oba odgovora se pojavita le v nekaj ponovitvah, dokler se novi čas nagrajevanja ne napove znova. Nasprotno pa izročitev nagrade prej kot običajno povzroči aktivacijo ob novem času nagrajevanja, vendar ne povzroči depresije v običajnem času. To kaže, da nenavadno zgodnja dobava nagrad prekliče napoved nagrade za običajni čas. Tako dopaminski nevroni spremljajo tako pojavljanje kot čas nagrajevanja. Ker ni spodbud, ki so tik pred izpuščeno nagrado, depresije ne predstavljajo preprostega odziva nevronov, ampak odražajo postopek pričakovanja, ki temelji na notranji uri, ki sledi natančnemu času predvidene nagrade.

Aktivacija s kondicioniranimi dražljaji, ki napovedujejo nagrado

Približno 55 – 70% dopaminskih nevronov se aktivira s kondicioniranimi vidnimi in slušnimi dražljaji v različnih klasično ali instrumentalno pogojenih opravilih, opisanih prej (sl. 2, srednji in dno) (Hollerman in Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz in Schultz 1994; Schultz 1986; Schultz in Romo 1990; P. Waelti, J. Mirenowicz in W. Schultz, neobjavljeni podatki). Poročali so o prvih odzivih dopamina na kondicijsko svetlobo Miller in sod. (1981) pri podganah, zdravljenih s haloperidolom, kar je povečalo pojavnost in spontano aktivnost dopaminskih nevronov, vendar je imelo za posledico bolj dolgotrajen odziv kot pri nedoraslih živalih. Čeprav se odzivi pojavljajo blizu vedenjskih reakcij (Nishino et al. 1987) niso povezani s samimi gibi roke in oči, saj se pojavljajo tudi ipsilateralno glede na gibljivo roko in v preskusih brez gibov roke ali oči (Schultz in Romo 1990). Kondicionirani dražljaji so nekoliko manj učinkoviti od primarnih nagrad glede na velikost odziva in frakcije nevronov, ki se aktivirajo. Dopaminski nevroni se odzovejo samo na začetek pogojenih dražljajev in ne na njihovo pobotanje, tudi če spodbujevalni učinek napoveduje nagrado (Schultz in Romo 1990). Dopaminski nevroni ne razlikujejo med vidnimi in slušnimi modalitetami pogojenih apetitnih dražljajev. Vendar pa razlikujejo med apetitnimi in nevtralnimi ali averzivnimi dražljaji, dokler so fizično dovolj različni (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz in W. Schultz, neobjavljeni podatki). Samo 11% dopaminskih nevronov, večina z apetitnimi odzivi, kaže značilne fazne aktivacije tudi kot odziv na pogojene averzivne vidne ali slušne dražljaje pri aktivnih nalogah izogibanja, pri katerih živali sprostijo ključ, da se izognejo zračnemu puhanju ali kapljici hipertonične solne raztopine (Mirenowicz in Schultz 1996), čeprav se takšno izogibanje lahko obravnava kot "koristno". Teh nekaj aktivacij ni dovolj močno, da bi spodbudili povprečen odziv prebivalstva. Tako fazni odzivi dopaminskih nevronov prednostno poročajo o okoljskih dražljajih z privlačno motivacijsko vrednostjo, vendar brez razlikovanja med različnimi senzoričnimi modalitetami.

Prenos aktivacije

Med učenjem se dopaminski nevroni postopoma aktivirajo s kondicijskimi, napovednimi dražljaji in postopoma izgubijo odziv na primarno nagrado s hrano ali tekočino, ki postanejo napovedane (Hollerman in Schultz 1996; Ljungberg et al. 1992; Mirenowicz in Schultz 1994) (Fig. 2 in 3). Med prehodnim obdobjem učenja bodisi nagrade kot pogojeni dražljaji sprožijo aktivacijo dopamina. Do prenosa s primarne nagrade na pogojeni dražljaj pride v trenutku pri posameznih nevronih dopamina, ki so bili testirani v dveh dobro naučenih nalogah, ki uporabljajo nepredvidene in predvidene nagrade (Romo in Schultz 1990).

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 3. 

Prenos odziva na dopamin na najzgodnejši napovedni dražljaj. Odzivi na nepredviden prenos primarnih nagrad na postopno zgodnejše dražljaje. Vsi prikazi prikazujejo populacijske histograme, ki jih dobimo s povprečjem normaliziranih histogramov v celotnem obdobju vseh dopaminskih nevronov, zabeleženih v navedenih vedenjskih situacijah, neodvisno od prisotnosti ali odsotnosti odziva. Vrh: zunaj vedenjskih nalog ni populacije odziva na nevronov 44, ki so bili testirani z majhno svetlobo (podatki iz Ljungberg et al. 1992), vendar se povprečni odziv pojavi pri 35 nevronih na kapljico tekočine, ki se dovede v izliv pred usti živali (Mirenowicz in Schultz 1994). Bližnji: odziv na spodbujevalni sprožilec za napovedovanje nagrade v prostorski nalogi z izbiro 2, vendar odsotnost odziva na nagrado, ki je bila dostavljena med uveljavljeno nalogo v istih nevronih 23Schultz et al. 1993). Bottom: odgovor na napotnico pred napovedjo spodbujevalnega spodbude s fiksnim intervalom 1 s v naloženi prostorski nalogi (nevroni 19) (Schultz et al. 1993). Časovna osnova se razdeli zaradi različnih intervalov med pogojenimi dražljaji in nagrado. Ponatisano iz Schultz et al. (1995b) z dovoljenjem MIT Press.

Nepredvidljivost pogojenih dražljajev

Aktivacije po kondicioniranih dražljajih, ki napovedujejo nagrado, se ne pojavijo, ko se v določenih intervalih pred dražitvijo teh dražljajev pojavijo fazni pogojeni dražljaji v popolnoma vzpostavljenih vedenjskih situacijah. Tako pri serijsko pogojenih dražljajih dopaminski nevroni aktivirajo najzgodnejši dražljaj, ki napoveduje nagrado, medtem ko vsi dražljaji in nagrade, ki sledijo v predvidljivih trenutkih po tem, niso učinkoviti (sl. 3) (Schultz et al. 1993). Samo naključno razporejeni zaporedni dražljaji sprožijo posamezne odzive. Prav tako obsežna pretreniranost z visoko stereotipno izvedbo nalog zmanjšuje odzive na pogojene dražljaje, verjetno zato, ker dražljaje napovedujejo dogodki v prejšnjem preskušanju (Ljungberg et al. 1992). To kaže, da je nepredvidljivost dražljajev pogosta zahteva za vse dražljaje, ki aktivirajo dopaminske nevrone.

Depresija z opustitvijo predvidenih pogojenih dražljajev

Predhodni podatki iz prejšnjega poskusa (Schultz et al. 1993) nakazujejo, da so tudi dopaminski nevroni depresivni, kadar se pogojeni, nagradni napovedni dražljaj v določenem času predvidi s predhodnim dražljajem, vendar se ne pojavi zaradi napake živali. Tako kot pri primarnih nagradah se tudi depresije pojavijo ob običajnem pojavljanju pogojene dražljaje, ne da bi jih neposredno spodbudili predhodni dražljaji. Tako lahko depresijo, ki jo povzroči opustitev, posplošimo na vse apetitne dogodke.

Aktivacija-depresija z generalizacijo odziva

Dopaminski nevroni se odzivajo tudi na dražljaje, ki ne napovedujejo nagrade, ampak so podobni dražljajem, ki napovedujejo nagrado, ki se pojavljajo v istem kontekstu. Ti odzivi so sestavljeni večinoma iz aktivacije, ki ji sledi takojšnja depresija, včasih pa se lahko sestoji iz čiste aktivacije ali čiste depresije. Aktivacije so manjše in manj pogoste kot tiste po dražljajih, ki napovedujejo nagrado, depresije pa opazimo v 30 – 60% nevronov. Dopaminski nevroni se kljub pravilni vedenjski diskriminaciji odzivajo na vizualne dražljaje, ki jim ne sledi nagrada, ampak zelo spominjajo na dražilne napovedi.Schultz in Romo 1990). Odpiranje prazne škatle ne aktivira dopaminskih nevronov, vendar postane učinkovito v vsakem poskusu, takoj ko škatla občasno vsebuje hrano (Ljungberg et al. 1992; Schultz 1986; Schultz in Romo 1990) ali kadar se naključno odpre enaka, enaka škatla, ki vedno vsebuje hrano (Schultz in Romo 1990). Prazen okvir sproži šibkejše aktivacije od vabe. Živali na vsako škatlo izvajajo neselektivne reakcije orientacije oči, vendar se približajo škatli z roko le z roko. Med učenjem se dopaminski nevroni še naprej odzivajo na prej pogojene dražljaje, ki izgubijo napoved za nagrado, ko se spremenijo nepredvideni dogodki (Schultz et al. 1993) ali se odzovejo na nove dražljaje, ki spominjajo na predhodno pogojene dražljaje (Hollerman in Schultz 1996). Odzivi se pojavljajo celo na averzivne dražljaje, predstavljene naključno, s fizično podobnimi, pogojenimi apetitivnimi dražljaji iste čutne modalitete, averzivni odziv pa je šibkejši od apetitnega (Mirenowicz in Schultz 1996). Odzivi posplošujejo celo na vedenjsko ugasnjene apetitne dražljaje. Očitno se odzivi nevronov na splošno pojavljajo na neaktivne dražljaje zaradi njihove fizične podobnosti z apetitnimi dražljaji.

Novostni odzivi

Novi dražljaji sprožijo aktivacije v dopaminskih nevronih, ki jim pogosto sledijo depresije in trajajo, dokler se pojavijo vedenjsko usmerjene reakcije (npr. Očesne sakade). Aktivacije popustijo skupaj z usmerjevalnimi reakcijami po več ponovitvah dražljajev, odvisno od fizičnega vpliva dražljajev. Medtem ko majhne diode, ki oddajajo svetlobo, komaj izzovejo odzive novosti, svetlobne bliskavice in hitro vidno in slušno odpiranje majhne škatle sprožijo aktivacije, ki med <100 preskušanji postopoma propadajo do izhodišča (Ljungberg et al. 1992). Glasni kliki ali velike slike tik pred živaljo sprožijo močne novostne odzive, ki propadejo, a kljub vsemu povzročijo merljive aktivacije s> 1,000 poskusi (Hollerman in Schultz 1996; Horvitz in sod. 1997; Steinfels et al. 1983). Slika 4 shematično prikazuje različne veličine odziva z novimi dražljaji različnih fizičnih vidljivosti. Odzivi upadajo postopoma ob ponavljajoči se izpostavljenosti, vendar se lahko vztrajajo pri zmanjšani jakosti z zelo vidnimi dražljaji. Količine odzivov so apetitno pogojene, se znova povečajo. Nasprotno pa se odzivi na nove, tudi velike, dražljaje hitro umirijo, ko se dražljaji uporabljajo za pogoj aktivnega izogibanja (Mirenowicz in Schultz 1996). Zelo malo nevronov (<5%) se več kot nekaj preskusov odzove na opazne, a fizično šibke dražljaje, kot je drobljenje papirja ali grobi premiki rok eksperimentatorja.

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 4. 

Časovni poteki aktivacije dopaminskih nevronov do novih, opozorilnih in pogojenih dražljajev. Aktivacije po novih dražljajih se z večkratno izpostavljenostjo v zaporednih preskušanjih zmanjšajo. Njihova jakost je odvisna od fizične izrazitosti dražljajev, saj močnejši dražljaji sprožijo večje aktivacije, ki občasno presežejo tiste po pogojenih dražljajih. Še posebej vidni dražljaji še naprej z aktiviranjem nevronov dopamina z omejeno jakostjo tudi po izgubi novosti, ne da bi bili seznanjeni s primarnimi nagradami. Ko se dražljaji povežejo s primarnimi nagradami, se spet pojavijo dosledne aktivacije. To shemo je prispeval Jose Contreras-Vidal.

Homogeni značaj odzivov

Dosedanji poskusi so pokazali, da večina nevronov v celicah skupin dopaminskih celic A8, A9 in A10 kaže zelo podobne aktivacije in depresije v dani vedenjski situaciji, medtem ko preostali dopaminski nevroni sploh ne reagirajo. V več medialnih regijah srednjega možganov, kot sta ventralno tegmentalno območje in medial substantia nigra, se odziva večja frakcija nevronov v primerjavi z bolj lateralnimi regijami, ki občasno dosegajo statistični pomen (Schultz 1986; Schultz et al. 1993). Zakasnitve odziva (50–110 ms) in trajanja (<200 ms) so podobne med primarnimi nagradami, pogojenimi dražljaji in novimi dražljaji. Tako dopaminski odziv predstavlja razmeroma homogen, skalarni populacijski signal. Po velikosti se razvrsti po odzivnosti posameznih nevronov in deležu odzivnih nevronov v populaciji.

Povzetek 1: prilagodljivi odzivi med učnimi epizodami

Karakteristike odzivov na dopamin na dražljaje, povezane z nagradami, so najbolje prikazane v učnih epizodah, med katerimi so nagrade še posebej pomembne za pridobitev vedenjskih odzivov. Signal nagrajevanja dopamina se med učenjem sistematično spreminja in se pojavlja pri najzgodnejših faznih dražljajih, ki so bodisi osnovna nagrada bodisi spodbujevalna spodbuda (Ljungberg et al. 1992; Mirenowicz in Schultz 1994). Med učenjem novi intrinzično nevtralni dražljaji prehodno sprožijo odzive, ki kmalu oslabijo in izginejo (sl. 4). Primarne nagrade se pojavijo nepredvidljivo med začetnim seznanjanjem s takšnimi dražljaji in sprožijo aktivacijo nevronov. Ob večkratnem združevanju nagrade napovedujejo pogojni dražljaji. Aktivacije po nagradi postopoma upadajo in se prenašajo na pogojeno spodbudo, ki napoveduje nagrado. Če pa zaradi napake živali ne pride do predvidenega nagrajevanja, se dopaminski nevroni v času, ko bi se nagrada zgodila, pritisnejo. Med večkratnim učenjem nalog (Schultz et al. 1993) ali komponente naloge (Hollerman in Schultz 1996), zgodaj pogojeni dražljaji aktivirajo dopaminske nevrone v vseh fazah učenja zaradi posploševanja na predhodno naučene podobne dražljaje, medtem ko poznejši pogojeni dražljaji in primarne nagrade aktivirajo dopaminske nevrone le prehodno, medtem ko so negotovi in ​​se vzpostavijo nove nepredvidene situacije.

Povzetek 2: učinkoviti dražljaji za dopaminske nevrone

Odzive na dopamin izzovejo tri kategorije dražljajev. Prva kategorija vključuje primarne nagrade in dražljaje, ki so postali veljavni napovedovalci nagrad s ponavljajočimi in pogojnimi združevanji z nagradami. Ti dražljaji tvorijo skupni razred eksplicitnih dražljajev za napovedovanje nagrade, saj primarne nagrade služijo kot napovedovalci vegetativnih učinkov nagrajevanja. Učinkoviti dražljaji očitno vsebujejo opozorilo, saj so učinkoviti le dražljaji z jasnim pojavom. Dopaminski nevroni se po eksplicitnih dražljajih, ki napovedujejo nagrado, pokažejo čiste aktivacije in so depresivni, ko napovedana, a izpuščena nagrada ne pride (sl. 5, vrh).

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 5. 

Shematski prikaz odzivov dopaminskih nevronov na vrste pogojenih dražljajev 2. Vrh: predstavitev izrecnega spodbudnega napovedovanja nagrajevanja vodi po aktiviranju, odziva na predvideno nagrado in depresije, ko napovedana nagrada ne pride. Bottom: predstavitev spodbude, ki je podobna pogojeni, spodbudni napovedovanju dražljaja, vodi do aktivacije, ki ji sledi depresija, aktiviranje po nagradi in brez odziva, ko ne pride do nagrade. Aktivacija po dražljaju verjetno odraža posploševanje odziva zaradi fizične podobnosti. Ta spodbuda izrecno ne napoveduje nagrade, vendar je povezana z nagrado zaradi njene podobnosti spodbudi, ki napoveduje nagrado. V primerjavi z izrecnimi dražljaji, ki napovedujejo nagrado, so aktivacije nižje in jim pogosto sledijo depresije, s čimer se razlikujejo med nagrajenimi (CS +) in nepodeljenimi (CS-) pogojeni dražljaji. Ta shema povzema rezultate prejšnjih in trenutnih poskusov (Hollerman in Schultz 1996; Ljungberg et al. 1992; Mirenowicz in Schultz 1996; Schultz in Romo 1990; Schultz et al. 1993; P. Waelti in W. Schultz, neobjavljeni rezultati).

V drugo kategorijo spadajo dražljaji, ki sprožajo posplošujoče odgovore. Ti dražljaji izrecno ne napovedujejo nagrade, vendar so učinkoviti zaradi svoje fizične podobnosti z dražljaji, ki so s kondicijo postali izrecni napovedniki nagrade Ti dražljaji sprožijo aktivacije, ki so manjše in vključujejo manj nevronov v primerjavi z eksplicitnimi dražljaji, ki napovedujejo nagrado (sl. 5, dno). Pogosto jim sledijo takojšnje depresije. Medtem ko lahko začetna aktivacija pomeni splošen apetitni odziv, ki signalizira morebitno nagrado, lahko kasnejša depresija odraža napoved neplačila v splošnem kontekstu napovedovanja nagrade in prekliče napačno predpostavko o nagradi. Pomanjkanje izrecnih napovedi nagrajevanja predlaga še prisotnost aktivacije po primarni nagradi in odsotnost depresije brez nagrade. Skupaj z odzivi na dražljaje, ki napovedujejo nagrado, se zdi, kot da aktivacije dopamina poročajo o privlačni "oznaki", pritrjeni na dražljaje, ki so povezani z nagradami.

Tretja kategorija vključuje nove ali posebej vidne dražljaje, ki niso nujno povezani s posebnimi nagradami. Z vzbujanjem vedenjsko usmerjenih reakcij ti dražljaji opozarjajo in ukazujejo pozornost. Vendar pa imajo tudi motivacijske funkcije in so lahko koristne (Fujita 1987). Nove dražljaje so potencialno privlačne. Novi ali posebno vidni dražljaji sprožijo aktivacije, ki jim pogosto sledijo depresije, podobno kot odzivi na posplošujoče dražljaje.

Tako fazni odzivi dopaminskih nevronov poročajo o dogodkih s pozitivnimi in potencialno pozitivnimi motivirajočimi učinki, kot so primarne nagrade, dražilni napovedovalni dražljaji, dogodki, ki spominjajo na nagrade, in opozorilne dražljaje. Vendar v veliki meri ne zaznajo dogodkov z negativnimi motivirajočimi učinki, kot so averzivni dražljaji.

Povzetek 3: signal napake napovedovanja nagrade za dopamin

Odgovore na dopamin na eksplicitne dogodke, povezane z nagrajevanjem, je mogoče najbolje razumeti in razumeti v smislu formalnih teorij učenja. Dopaminski nevroni poročajo o nagradah glede na napoved, ne pa da brezpogojno signalizirajo primarne nagrade (sl. 2). Odziv na dopamin je pozitiven (aktivacija), ko pride do primarnih nagrad, ne da bi jih napovedali. Odziv je ničen, če pride do nagrade, kot je bilo predvideno. Ko izpustimo predvidene nagrade, je odziv negativen (depresija). Tako dopaminski nevroni poročajo o primarnih nagradah glede na razliko med pojavnostjo in napovedjo nagrade, kar lahko imenujemo napaka v napovedi nagrade (Schultz et al. 1995b, 1997) in je predhodno formaliziran kot

Enačba 1Ta predloga se lahko razširi na pogojene apetitivne dogodke, o katerih poročajo tudi dopaminski nevroni glede na napoved. Tako lahko dopaminski nevroni poročajo o napaki v napovedi vseh apetitnih dogodkov in Eq 1 je mogoče navesti v splošnejši obliki

Enačba 2Ta posplošitev je združljiva z mislijo, da je večina nagrad dejansko pogojenih dražljajev. Z več zaporednimi, dobro uveljavljenimi dogodki, ki napovedujejo nagrado, je samo prvi dogodek nepredvidljiv in sproži aktivacijo dopamina.

Izvor odziva na dopamin

Kateri anatomski vnosi bi lahko bili odgovorni za selektivnost in polsenzorno naravo odzivov na dopamin? Katera vhodna dejavnost bi lahko privedla do kodiranja napovedi napovedi, spodbudila prenos prilagodljivega odziva na najhitrejši nepredvidljivi apetitni dogodek in ocenila čas nagrajevanja?

Fazični dopamin vpliva na ciljne strukture

GLOBALNA NARAVA DOPAMINSKEGA SIGNALA.

Divergentne projekcije. V vsaki substanci nigra podgan ima ∼8,000 dopaminskih nevronov (Oorschot 1996) in 80,000 – 116,000 pri opicah makaki (Nemški et al. 1988; Percheron in sod. 1989). Vsak striatum vsebuje million2.8 milijonov nevronov pri podganah in 31 milijonov v makakah, kar ima za posledico nigrostriatalni faktor razhajanja 300 – 400. Vsak aksonski dopamin močno obstoji v omejenem območju v striatumu in ima ∼500,000 strična varikozitete, iz katerih se sprošča dopamin (Andén in sod. 1966). Posledica tega je vnos dopamina v skoraj vsak striatalni nevron (Groves et al. 1995) in zmerno topografsko nigrostriatalno projekcijo (Lynd-Balta in Haber 1994). Kortikalna dopaminska inervacija pri opicah je najvišja na območjih 4 in 6, še vedno je značilna v čelnem, parietalnem in temporalnem režnjah ter najnižja v okcipitalnem režnjah (Berger et al. 1988; Williams in Goldman-Rakic ​​1993). Kortikalne sinapse dopamina so večinoma v plasteh I in V – VI, ki se navezujejo na velik delež kortikalnih nevronov tam. Ti podatki skupaj s precej homogeno naravo odziva kažejo, da dopaminski odziv napreduje kot istočasno, vzporedno valovanje aktivnosti od srednjega možganov do striatuma in čelne skorje (sl. 7).

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 7. 

Globalni dopaminski signal napreduje v striatum in skorjo. Relativno homogeni populacijski odziv večine dopaminskih nevronov na apetitne in alarmantne dražljaje in njegovo napredovanje od substantia nigra v postsinaptične strukture je mogoče shematično obravnavati kot val sinhrone, vzporedne aktivnosti, ki napreduje s hitrostjo 1 – 2 m / s (Schultz in Romo 1987) vzdolž razhajajočih projekcij od srednjega možganov do striatuma (kaudata in kapnice) in skorje. Odzivi se kvalitativno ne razlikujejo med nevroni substantia nigra (SN) pars compacta in ventralno tegmentalnim območjem (VTA). Dopamin inervacija vseh nevronov v striatumu in številnih nevronov v čelnem korteksu bi omogočila, da signal za krepitev dopamina ima precej globalen učinek. Val je stisnjen, da poudari vzporedno naravo.

Sprostitev dopamina. Impulzi dopaminskih nevronov v intervalih 20 – 100 ms vodijo do veliko višje koncentracije dopamina v striatumu kot enako število impulzov v intervalih 200 ms (Garris in Wightman 1994; Gonon 1988). Ta nelinearnost je predvsem posledica hitrega nasičenja prenašalca ponovnega privzema dopamina, ki sprosti dopamin iz ekstrasynaptične regije (Chergui et al. 1994). Enak učinek opažamo pri jezgrskih jezerih (Wightman in Zimmerman 1990) in se pojavi tudi z daljšimi časovnimi intervali impulzov zaradi redkejših mest ponovnega prevzema (Garris in sod. 1994b; Marshall in sod. 1990; Stamford in sod. 1988). Sproščanje dopamina po impulznem izbruhu <300 ms je prekratko za aktiviranje zmanjšanja sproščanja, ki ga posreduje avtoreceptor (Chergui et al. 1994) ali še počasnejšo encimsko razgradnjo (Michael in sod. 1985). Tako je porušen dopaminski odziv še posebej učinkovit za sproščanje dopamina.

Ocene, ki temeljijo na in vivo voltammetriji, kažejo, da en sam impulz sprosti ∼1,000 molekule dopamina v sinapsah v striatumu in jedru. To vodi do takojšnjih sinaptičnih koncentracij dopamina 0.5 – 3.0 μM (Garris in sod. 1994a; Kawagoe in sod. 1992). Po 40 μs po začetku sproščanja je> 90% dopamina zapustilo sinapso, del preostalega pa se kasneje izloči s ponovnim privzemom sinaptika (čas polovičnega začetka 30–37 ms). Po 3–9 ms po začetku sproščanja koncentracije dopamina dosežejo vrh 250 nM, ko vse sosednje krčne žile hkrati sproščajo dopamin. Koncentracije so homogene znotraj sfere 4 μm diam (Gonon 1997), kar je povprečna razdalja med varikozitetami (Doucet in sod. 1986; Groves et al. 1995). Največja difuzija je s ponovnim prevzemom transporterja omejena na 12 μm in je dosežena v 75 ms po začetku sproščanja (čas nastopa polovičnega transporterja 30–37 ms). Koncentracije bi bile nekoliko nižje in manj homogene v regijah z manj varikoznostmi ali kadar je aktiviranih <100% dopaminskih nevronov, vendar so pri impulznih izbruhih dva do trikrat večje. Tako z nagrado povzročene, rahlo sinhrone, razpočne aktivacije v ~ 75% dopaminskih nevronov lahko privedejo do precej homogenih vrhov koncentracije v višini 150–400 nM. Skupno povečanje zunajceličnega dopamina traja 200 ms po enem impulzu in 500–600 ms po več impulzih v intervalih 20–100 ms, uporabljenih med 100–200 ms (Chergui et al. 1994; Dugast in sod. 1994). Prenosnik za ekstrasinaptični ponovni prevzem (Nirenberg in sod. 1996) pozneje vrne koncentracije dopamina na izhodiščno vrednost 5 – 10 nM (Herrera-Marschitz et al. 1996). Tako v nasprotju s klasično, strogo sinaptično nevrotransmisijo, sinaptično sproščen dopamin difundira hitro v neposredno jukstasynaptično območje in doseže kratke vrhove regionalno homogenih zunajceličnih koncentracij.

Receptorji. Od dveh glavnih vrst dopaminskih receptorjev receptorji tipa D1, ki aktivirajo adenilat ciklazo, predstavljajo ∼80% dopaminskih receptorjev v striatumu. Od teh je 80% v stanju nizke afinitete 2 – 4 μM in 20% v stanju visoke afinitete 9 – 74 nM (Richfield in sod. 1989). Preostali 20% striatalnih dopaminskih receptorjev pripada vrsti D2, ki zavira adenilazno ciklazo, pri čemer je 10 – 0% v stanju z nizko afiniteto in 80 – 90% v stanju z visoko afiniteto, s podobnimi afinitetami kot receptorji D1. Tako imajo na splošno D1 receptorji ∼100 krat nižjo afiniteto kot receptorji D2. Striralni D1 receptorji so nameščeni pretežno na nevronih, ki štrlijo na notranji palidum in substantia nigra pars reticulata, medtem ko se strijatalni D2 receptorji večinoma nahajajo na nevronih, ki štrlijo v zunanji palidum (Bergson et al. 1995; Gerfen in sod. 1990; Hersch in sod. 1995; Levey in sod. 1993). Vendar razlike v občutljivosti receptorjev morda ne bodo igrale vloge zunaj transdukcije signala, s čimer se zmanjšajo razlike v občutljivosti za dopamin med obema vrstama striatalnih izhodnih nevronov.

Dopamin se sprošča v 30 – 40% iz sinaptičnih snovi, 60 – 70% pa iz ekstrasynaptičnih varikozitet (Descarries in sod. 1996). Sinaptično sproščen dopamin deluje na postsinaptične dopaminske receptorje na štirih anatomsko ločenih mestih v striatumu, in sicer znotraj sinaps dopamina, ki so neposredno ob sinapsah dopamina, znotraj kortikostriatalnih glutamatnih sinaps in na ekstrasynaptičnih mestih, oddaljenih od mest sproščanja (sl. 8) (Levey in sod. 1993; Sesack in sod. 1994; Yung in sod. 1995). D1 receptorji so lokalizirani predvsem zunaj dopaminskih sinaps (Caillé in sod. 1996). Visoke prehodne koncentracije dopamina po faznem impulznem sunku bi aktivirale D1 receptorje v neposredni bližini mest aktivnega sproščanja in povsod aktivirale in celo nasičile D2 receptorje. D2 receptorji bi ostali delno aktivirani, ko se okoljska koncentracija dopamina po faznem povečanju vrne na izhodiščno vrednost.

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 8. 

Vpliv sproščanja dopamina na tipične srednje hrbtenične nevrone v dorzalnem in ventralnem striatumu. Dopamin, ki se sprošča z impulzi iz sinaptičnih varikozitet, aktivira nekaj sinaptičnih receptorjev (verjetno tipa D2 v stanju z nizko afiniteto) in hitro razprši iz sinapse, da doseže receptorje tipa D1 z nizko afiniteto (D1?), Ki se nahajajo v bližini, znotraj kortikostriatalnih sinaps ali na omejeni razdalji. Fazično povečan dopamin aktivira bližnje receptorje tipa D2 z visoko afiniteto do nasičenja (D2?). D2 receptorji ostanejo delno aktivirani v okoliških koncentracijah dopamina po fazno povečanem sproščanju. Ekstrasynaptično sproščen dopamin lahko razredčimo z difuzijo in aktiviramo D2 receptorje z visoko afiniteto. Treba je opozoriti, da se v skladu s tem shematskim diagramom večina receptorjev D1 in D2 nahaja na različnih nevronih. Glutamat, ki se sprošča iz kortikostriatalnih terminalov, doseže postsinaptične receptorje, ki se nahajajo na istih dendritičnih bodicah kot dopaminske varikozitete. Glutamat doseže tudi presinaptične varikozitete dopamina, kjer nadzoruje sproščanje dopamina. Vplivi dopamina na bodičaste nevrone v čelnem korteksu so v marsičem primerljivi.

Povzetek. Opaženi, zmerno razpočni, kratkotrajni, skoraj sinhroni odziv večine dopaminskih nevronov vodi do optimalnega, hkratnega sproščanja dopamina iz večine strnjenih stričnih varikozitet. Nevronski odziv povzroči kratek odmerek dopamina, ki se sprosti iz ekstrasynaptičnih mest ali se hitro razprši iz sinaps v jukstasynaptično območje. Dopamin hitro doseže regionalno homogene koncentracije, ki bi lahko vplivale na dendrite verjetno vseh striatalnih in številnih kortikalnih nevronov. Na ta način se sporočilo o nagradi v 60 – 80% dopaminskih nevronov oddaja kot divergentni, precej globalni ojačitveni signal na striatum, jedra in čelno skorjo, ki zagotavlja fazičen vpliv na največje število sinaps, vključenih v obdelavo dražljajev in dejanj, ki vodijo do nagrajevanja (sl. 7). Dopamin, ki se sprosti z nevronskimi aktivacijami po nagradih in spodbudnih napovedovalnih dražljajih, bi vplival na jukstasynaptične D1 receptorje na strijatalne nevrone, ki štrlijo na notranji palidum in substantia nigra pars reticulata, in na vse D2 receptorje na nevrone, ki štrlijo na zunanji palidum. Zmanjšanje sproščanja dopamina, ki ga povzročajo depresije z izpuščenimi nagradami in spodbudnimi napovednimi dražljaji, bi zmanjšalo tonično stimulacijo D2 receptorjev z zunanjim dopaminom. Tako bi pozitivne napake napovedovanja napak vplivale na vse vrste strij izhodnih nevronov, medtem ko negativna napaka napovedovanja lahko vpliva predvsem na nevrone, ki štrlijo na zunanji palidum.

Potencialni mehanizmi kokaina. Blokada prenašalca dopamina z drogami, kot je kokain ali amfetamin, poveča in podaljša fazno povečanje koncentracije dopamina (Church et al. 1987a; Giros et al. 1996; Suaud-Chagny in sod. 1995). Povečanje bi bilo še posebej izrazito, kadar hitro povečanje koncentracije dopamina, ki ga povzročijo razpoki, doseže vrhunec, preden postane učinkovita regulacija povratnih informacij. Ta mehanizem bi privedel do močno povečanega signala dopamina po primarnih nagradah in spodbudnih napovedih. Povečala bi tudi nekoliko šibkejši dopaminski signal po dražljajih, ki spominjajo na nagrade, nove dražljaje in še posebej vidne dražljaje, ki so lahko pogosti v vsakdanjem življenju. Povečanje s kokainom bi omogočilo, da bi se ti nevračani dražljaji pojavili tako močni ali celo močnejši od naravnih nagrad brez kokaina. Postinaptični nevroni lahko napačno razlagajo tak signal kot posebej izrazit dogodek, povezan z nagrajevanjem, in se podvržejo dolgoročnim spremembam sinaptičnega prenosa.

Učne teorije

Algoritmi za ojačitev

TEMPORALNO RAZLIČNO UČENJE.

V posebno učinkovitem razredu algoritmov ojačitve (Sutton 1988; Sutton in Barto 1981), sinaptične uteži se spreminjajo glede na napako v napovedi ojačitve, izračunano v zaporednih časovnih korakih (t) v vsakem poskusu

rˆ(t)=r(t)+P(t)-P(t-l)

Enačba 6 drugje r je ojačitev in P je napoved okrepitve. P (t) se običajno pomnoži z diskontnim faktorjem γ z 0 ≤ γ <1, da se upošteva vse manjši vpliv vse bolj oddaljenih nagrad. Zaradi poenostavitve je γ tukaj nastavljen na 1. V primeru enega dražljaja, ki napoveduje enega ojačevalca, napoved P(t - 1) obstaja pred časom t ojačitve, vendar preneha v času okrepitve [P (t) = 0]. To vodi do takrat učinkovitega ojačitvenega signala (T) ojačitve

rˆ (t)=r(t)-P(t-l)

Enačba 6aO r̂(t) izraz označuje razliko med dejansko in predvideno okrepitvijo. Med učenjem je okrepitev v celoti napovedana, izraz napake je pozitiven, ko pride do okrepitve, in povečajo se sinaptične uteži. Po učenju okrepitev v celoti napoveduje predhodna spodbuda [P(t - 1) = r(t)], izraz napake ni enak pravilnemu obnašanju, sinaptične uteži pa ostanejo nespremenjene. Če ojačitev izpustimo zaradi neustreznih zmogljivosti ali spremenjenih nepredvidljivih dogodkov, je napaka negativna in sinaptične teže so zmanjšane. The r̂(t) izraz je analogen (λ-V) izraz napake modela Rescorla-Wagner (Eq 4 ). Vendar pa zadeva posamezne časovne korake (t) v vsakem preskusu in ne v napovedih, ki se razvijajo v zaporednih preskusih. Ti časovni modeli ojačitve izkoriščajo dejstvo, da pridobljena predvidevanja vključujejo natančen čas okrepitve (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

Algoritmi za časovno razliko (TD) uporabljajo tudi pridobljene napovedi za spreminjanje sinaptičnih uteži. V primeru nepredvidljivega eno pogojenega dražljaja, ki napoveduje en sam ojačevalec, napoved P (t) se začne v času (t), ni predhodnega napovedovanja [P(t - 1) = 0] in okrepitev še ni prišlo [r(t) = 0]. Po navedbah Eq 6, model takrat oddaja čisto predvidljiv učinkovit ojačitveni signal (t) napovedi

rˆ=P(t)

Enačba 6bV primeru več zaporednih napovednih dražljajev, z ojačitvijo, ki je ob napovedih odsotna, efektivni ojačitveni signal v času (T) napovedi odraža razliko med trenutno napovedjo P (t) in predhodno napoved P(t - 1)

rˆ=P(t)-P(t-l)

Enačba 6cTo pomeni napako pri okrepitvi višjega reda. Podobno kot v celoti napovedani ojačevalci se tudi vsi napovedni dražljaji, ki se v celoti predvidijo, odpovedo [P(t - 1) = P(t)], kaže v r̂ = 0 na trenutke (T) teh dražljajev. K zgodnjemu signalu za ojačitev prispeva le najzgodnejši napovedovalni dražljaj P (t) ne napoveduje drug dražljaj [P(t - 1) = 0]. Rezultat tega je enak r̂ = P (t) ob uri (T) prve napovedi, kot v primeru ene same napovedi (Eq 6b).

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 9. 

Osnovne arhitekture modelov nevronskih mrež, ki izvajajo algoritme časovne razlike v primerjavi z bazalno povezljivostjo ganglijev. A: v izvirni izvedbi učinkovit poučni signal y - ȳ izračunamo v modelnem nevronu A in poslana na presinaptične terminale vhodov x do nevrona B, s čimer vpliva x → B obdelava in spreminjanje sinaptičnih uteži na x → B sinaps. Neuron B vpliva na vedenjski rezultat preko aksona y in hkrati prispeva k prilagodljivim lastnostim nevrona A, in sicer njen odziv na dražljaje, ki napovedujejo okrepitev. Novejše izvedbe te preproste arhitekture uporabljajo nevrone A namesto nevrona B za oddajanje izhoda O modela (Montague et al. 1996; Schultz et al. 1997). Ponatisano iz Sutton in Barto (1981) z dovoljenjem Ameriškega psihološkega združenja. B: nedavna izvedba ločuje učno komponento A, je pozval kritik (prav), iz izhodne komponente, sestavljene iz več procesnih enot B, imenoval igralec (levo). Učinkovit ojačitveni signal r̂(t) se izračuna tako, da se odšteje časovna razlika v napovedi tehtanega ojačevalnika γP(t) - P(t - 1) iz primarne armature r(t), prejetih iz okolja (γ je faktor diskonta, ki zmanjša vrednost bolj oddaljenih ojačevalnikov). Napoved ojačevalnika se izračuna v ločeni enoti za napovedovanje C, ki je del kritike in tvori zaprto zanko z učnim elementom A, ker primarna okrepitev vstopi v kritika z ločenim vložkom r_t. Učinkovit ojačitveni signal vpliva na sinaptične uteži pri dohodnih aksonih v akterju, kar posreduje izhod in v enoti za prilagodljivo napovedovanje kritika. Ponatisano iz Barto (1995) z dovoljenjem MIT Press. C: osnovna povezanost bazalnih ganglij razkriva presenetljive podobnosti z igralniško-kritično arhitekturo. Projekcija dopamina oddaja ojačitveni signal v striatum in je primerljiva z enoto A v delih A in B, limbični striatum (ali striosom-obliž) zavzame položaj enote za napovedovanje C v kritiki in senzimotorni striatum (ali matrica) spominja na igralčeve enote B. V originalnem modelu (A), enoten večji odmik od uveljavljene bazalne anatomije ganglijev je sestavljen iz vpliva nevrona A usmerjene na presinaptične terminale, medtem ko se dopaminske sinapse nahajajo na postsinaptičnih dendritih striatalnih nevronov (Freund in sod. 1984). Ponatisano iz Smith in Bolam (1990) z dovoljenjem Elsevier Pressa.

Učinkovit ojačitveni signal skupaj, skupaj (Eq 6 ) je sestavljena iz primarne ojačitve, ki se zmanjšuje z nastajajočimi napovedmi (Eq 6a) in ga postopoma nadomestijo pridobljena predvidevanja (Eqs 6b in 6c). Z zaporednimi napovednimi dražljaji se efektivni ojačitveni signal časovno pomakne nazaj od primarnega ojačevalca do najzgodnejšega spodbujevalnega napona. Retrogradni prenos povzroči bolj natančno dodelitev kredita vpletenim sinapsam, saj se napovedi pravočasno približajo dražljajem in vedenjskim reakcijam, ki jih je treba pogojevati, v primerjavi z okrepitvijo na koncu preizkusa (Sutton in Barto 1981).

Izvedbe algoritmov za učenje okrepitve uporabljajo napako napovedovanja na dva načina, za spreminjanje sinaptičnih uteži za vedenjski izhod in za pridobivanje samih napovedi za nenehno izračunavanje napake napovedovanja (sl. 9 A) (McLaren 1989; Sutton in Barto 1981). Ti dve funkciji sta ločeni v nedavnih izvedbah, v katerih je napaka napovedovanja izračunana v komponenti adaptivne kritike in spremeni sinaptične uteži v komponenti igralca, ki posredujejo vedenjski rezultat (sl. 9 B) (Barto 1995). Pozitivna napaka poveča napoved okrepitve kritika, medtem ko negativna napaka izpuščene okrepitve zmanjša napoved. Zaradi tega je učinkovit ojačitveni signal zelo prilagodljiv.

Nevrobiološke izvedbe časovnega razlikovanja

VLOGE ZA NEUROBIOLOŠKE PROBLEME.

Čeprav je bil prvotno razvit na osnovi Rescorla-Wagnerjevega modela klasičnega kondicioniranja, se modeli, ki uporabljajo algoritme TD, naučijo najrazličnejših vedenjskih nalog s pomočjo v bistvu instrumentalnih oblik kondicioniranja. Te naloge dosežejo izravnavo droga na kolesnem vozičku (Barto in sod. 1983) igranje backgammonov svetovnega razreda (Tesauro 1994). Roboti s pomočjo algoritmov TD se učijo premikati po dvodimenzionalnem prostoru in se izogibati oviram, dosegati in dojeti (Fagg 1993) ali vstavite zatič v luknjo (Gullapalli in sod. 1994). Uporaba signala ojačitve TD za neposreden vpliv in izbiranje vedenja (sl. 9 A), Modeli TD ponovijo čebelarsko vedenje čebel (Montague et al. 1995) in simulirajo človeško odločanje (Montague et al. 1996). Modeli TD z izrazito arhitekturo kritičnega igralca predstavljajo zelo močne modele, ki učinkovito učijo gibanja oči (Friston et al. 1994; Montague et al. 1993), zaporedna gibanja (sl. 10) in orientacijskih reakcij (Contreras-Vidal in Schultz 1996). Nedavni model je dodal aktivacijsko-depresivno novostne signale za izboljšanje učnega signala, uporabil sledove spodbude in akcije v kritiki in igralcu ter uporabil pravila zmagovalca za izboljšanje učnega signala in za izbiro igralskih nevronov z največjo aktivacijo. To je zelo natančno reproduciralo odzive dopaminskih nevronov in učno vedenje živali pri nalogah z odloženim odzivom (Suri in Schultz 1996). Zlasti zanimivo je videti, da ima poučevanje signalov z uporabo napak napovedovanja hitrejše in popolnejše učenje v primerjavi z brezpogojnimi ojačitvenimi signali (sl. 10) (Friston et al. 1994).

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 10. 

Prednost napovednih ojačitvenih signalov za učenje. Model časovne razlike z arhitekturo kritičnega igralca in sledenjem primernosti v igralcu je bil usposobljen za zaporedno izbiro 2 korak-3 (vstavite zgornji levi). Učenje je napredovalo hitreje in dosegalo večje zmogljivosti, ko je bil kot poučevalni signal uporabljen napovedni ojačitveni signal (prilagodljivi kritik, vrh) v primerjavi z uporabo brezpogojnega ojačitvenega signala na koncu preizkusa (dno). Ta učinek postane postopoma izrazitejši z daljšimi zaporedji. Primerljive zmogljivosti z brezpogojnim signalom ojačitve bi zahtevale veliko daljšo sled. Podatki so bili pridobljeni s simulacijami 10 (R. Suri in W. Schultz, neobjavljena opažanja). Podobno izboljšanje učenja s predvidevanjem je bilo ugotovljeno v modelu okulmotornega vedenja (Friston et al. 1994).

Možni mehanizmi učenja z uporabo dopaminskega signala

Prejšnji razdelek je pokazal, da lahko signal formalne napovedi o napaki, ki ga oddaja odziv na dopamin, še posebej primeren učni signal za modelno učenje. Naslednji razdelki opisujejo, kako bi biološki odziv na dopamin potencialno lahko uporabili za učenje s pomočjo bazalnih struktur ganglij, in predlagajo preizkusljive hipoteze.

POSTSINAPTIČNA PLASTIČNOST, KI SE ZGODI S SIGNALOM PREDMETNEGA PREDPISA.

Učenje bi potekalo v dveh korakih. Prvi korak vključuje pridobitev odziva, ki napoveduje nagrado dopamina. V naslednjih preskušanjih bi napovedni dopaminski signal posebej okrepil sinaptične uteži (ω) kortikostriatalnih sinapsov hebbijskega tipa, ki so aktivni v času spodbudne napovedi, medtem ko neaktivni kortikostriatalni sinapse ostanejo nespremenjeni. To ima za posledico tri faktorsko učno pravilo

Δω=ɛ rˆ i o

Enačba 8 drugje r̂ je signal za okrepitev dopamina, i je vhodna dejavnost, o je izhodna aktivnost in ɛ je stopnja učenja.

V poenostavljenem modelu se štirje kortikalni vhodi (i1 – i4) dotikajo dendritičnih bodic treh srednje velikih koničastih progastih nevronov (o1 – o3; sl. 11). Kortikalni vhodi se konvergirajo na striatalne nevrone, pri čemer vsak vhod kontaktira drugačno hrbtenico. Z istimi bodicami se neselektivno naveže stik s skupnim vnosom dopamina R. Aktivacija vnosa dopamina R pomeni, da se je v okolju pojavila nepredvidena spodbuda, ki napoveduje nagrado, ne da bi zagotovila dodatne podrobnosti (signal dobrote). Predpostavimo, da se kortikalni vhod i2 aktivira sočasno z dopaminskimi nevroni in kodira enega od več specifičnih parametrov istega dražljaja, kot so njegova senzorična modalnost, telesna stran, barva, tekstura in položaj ali določen parameter gibanja ki jo sproži dražljaj. Nabor parametrov tega dogodka bi kodiral nabor kortikalnih vhodov i2. Kortikalni vhodi i1, i3 in i4, ki niso povezani s trenutnimi dražljaji in gibi, so neaktivni. Odziv na dopamin vodi do neselektivnega sproščanja dopamina pri vseh varikozitetah, vendar bi selektivno okrepil le aktivne kortikostriatalne sinapse i2 – o1 in i2 – o2, pod pogojem, da so kortikalni vnosi dovolj močni, da aktivirajo striatalne nevrone o1 in o2.

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 11. 

Diferencialni vplivi globalnega signala za krepitev dopamina na selektivno kortikostriatalno aktivnost. Dendritične bodice srednje velikih špinatih progastih nevronov 3 o1, o2 in o3 vzpostavijo stik s kortikalnimi vhodi 4 i1, i2, i3 in i4 ter z aksonskimi varikozitetami iz enega samega dopaminskega nevrona, ki je nevronov homogeno R (ali iz homogena nevrona, ki je imunološki R (ali iz homogena nevronov, ki so imunološki R (ali iz homogenoga nevrona, ki nastane iz nevrona homogena R (ali iz homogenoga homogena R) ali ). Vsak striatalni nevron prejme ∼10,000 kortikalne in 1,000 dopaminske vnose. Pri posameznih dendritičnih bodicah se različni kortikalni vhodi konvergirajo z vnosom dopamina. V različici modela 1 dopaminski signal poveča hkrati kortikostriatalni prenos glede na neaktivni prenos. Na primer, vnos dopamina R je aktiven hkrati s kortikalnim vnosom i2, medtem ko so i1, i3, i4 neaktivni. To vodi k spremembi prenosov i2 → o1 in i2 → o2, vendar pušča i1 → o1, i3 → o2, i3 → o3 in i4 → o3 prenose nespremenjene. V različici modela, ki uporablja plastičnost, se sinaptične uteži kortikostriatalnih sinaps dolgoročno spreminjajo z dopaminskim signalom po istem pravilu. Do tega lahko pride, ko dopaminski odzivi na pogojeni dražljaj delujejo na kortikostriatalne sinapse, ki se prav tako aktivirajo. V drugi različici, ki uporablja plastičnost, lahko dopaminski odzivi na primarno nagrado delujejo nazaj na kortikostriatalne sinapse, ki so bile prej aktivne. Te sinapse bi bile upravičene do spremembe s hipotetično postsinaptično nevronsko sledjo, ki je ostala od te dejavnosti. Pri primerjavi zgradbe bazalnih ganglij z nedavnim modelom TD s sl. 9 B, vnos dopamina R kritik kritizira z nevronom A, striatum z nevroni o1 – o3 posnema akterja z nevronom B, kortikalni vhodi i1 – i4 posnemajo akterjev vložek, divergentna projekcija dopaminskih nevronov R na več konic več striatalnih nevronov o1 – o3 pa posnema globalni vpliv kritike na igralca. Podobno primerjavo je opravil tudi Houk in sod. (1995). Ta risba temelji na anatomskih podatkih avtorja Freund in sod. (1984), Smith in Bolam (1990), Flaherty in Graybiel (1993)in Smith in sod. (1994).

Ta mehanizem učenja uporablja pridobljeni odziv na dopamin v času spodbudne napovedi kot učni signal za spodbujanje dolgotrajnih sinaptičnih sprememb (sl. 12 A). Učenje napovednega dražljaja ali sproženega gibanja temelji na dokazanem pridobivanju odziva dopamina na spodbujevalni napoved, skupaj z dopaminsko odvisno plastičnostjo v striatumu. Spremembe plastičnosti se lahko pojavijo v kortikalnih ali podkortikalnih strukturah navzdol od striatuma po kratkotrajnem povečanju sinaptičnega prenosa v striatumu, ki ga posreduje dopamin. Retroaktivni učinki nagrade na dražljaje in gibanja pred nagrado so posredovani s prenosom odziva na najzgodnejšo spodbudo, ki napoveduje nagrado. Odziv dopamina na napovedano ali izpuščeno primarno nagrado se ne uporablja za plastične spremembe striatuma, saj se ne zgodi hkrati z dogodki, ki so pogojeni, čeprav bi lahko sodeloval pri izračunu odziva dopamina na spodbujevalno spodbudo po analogiji z arhitekturo in mehanizem modelov TD.

• Prenesite sliko
• Odpri v novem zavihku
• Prenesi powerpoint

Fig. 12. 

Vpliv signala krepitve dopamina na možne učne mehanizme v striatumu. A: napovedovalni odziv na dopamin na pogojeni dražljaj (CS) neposredno povečuje ali plastično vpliva na strijatalni nevrotransmisijo, povezano s tem dražljajem. B: odziv dopamina na primarno nagrado ima retrogradni učinek plastičnosti na strijatalno nevrotransmisijo, povezano s predhodnim pogojenim dražljajem. Ta mehanizem posreduje sled ustreznosti, ki presega strijsko aktivnost. Trdne puščice kažejo na neposredne učinke dopaminskega signala na strijatalno nevrotransmisijo () ali sled ustreznosti (B), majhna puščica noter B kaže na posreden učinek na striialno nevrotransmisijo preko ustrezne sledi.

Električna stimulacija dopaminskih nevronov kot brezpogojni dražljaj

Električna stimulacija opisanih možganskih regij zanesljivo služi kot okrepitev za pridobivanje in ohranjanje vedenja pristopa (Olds in Milner 1954). Nekatera zelo učinkovita mesta samo-stimulacije sovpadajo s celicami dopaminskih celic in aksonovimi snopi v srednjem možganu (Corbett in Wise 1980), nucleus accumbens (Phillips in sod. 1975), striatum (Phillips in sod. 1976) in predfrontalno skorjo (Mora in Myers 1977; Phillips in sod. 1979), vendar jih najdemo tudi v strukturah, ki niso povezane z dopaminskimi sistemi (White and Milner 1992). Električna samo-stimulacija vključuje aktiviranje dopaminskih nevronov (Fibiger in Phillips 1986; Wise in Rompré 1989) in se zmanjša z lezijami dopaminskih aksonov, ki jih povzroči 6-hidroksidopamin (Fibiger in sod. 1987; Phillips in Fibiger 1978), inhibicija sinteze dopamina (Edmonds in Gallistel 1977), depolarizacijska inaktivacija dopaminskih nevronov (Rompré in Wise 1989) in antagonisti receptorjev dopamina, ki se dajejo sistemsko (Furiezos in Wise 1976) ali v nukleus accumbens (Mogenson in sod. 1979). Omogočeno je samo stimuliranje s povečanjem zunajceličnega dopamina, ki ga povzroča kokain ali amfetamin (Colle in Wise 1980; Stein 1964; Wauquier 1976). Samopodražitev neposredno poveča izrabo dopamina v jedrih, striatumu in čelni skorji (Fibiger in sod. 1987; Mora in Myers 1977).

Itrigantno si je predstavljati, da lahko električno sproženi dopaminski impulzi in sproščanje služijo kot brezpogojni spodbuda pri asociativnem učenju, podobno kot stimulacija oktopaminskih nevronov pri čebelah, ki se naučijo proboscisnega refleksa (Kladivo 1993). Vendar se samo-stimulacija, povezana z dopaminom, razlikuje v vsaj treh pomembnih vidikih od naravne aktivacije dopaminskih nevronov. Naravne nagrade namesto samo aktiviranja dopaminskih nevronov običajno aktivirajo več nevronskih sistemov vzporedno in omogočajo porazdeljeno kodiranje različnih komponent nagrajevanja (glej nadaljnje besedilo). Drugič, električna stimulacija se uporablja kot brezpogojna ojačitev, ne da bi prišlo do napake pri napovedovanju nagrad. Tretjič, električna stimulacija se odda samo kot nagrada po vedenjski reakciji, ne pa v času spodbudnega napovedovanja. Zanimivo bi bilo uporabljati električno samo-stimulacijo na popolnoma enak način, kot dopaminski nevroni oddajajo svoj signal.

Primanjkljaji pri učenju z oslabljenim nevrotransmisijo dopamina

Številne študije so preučevale vedenje živali z oslabljenim nevrotransmisijo dopamina po lokalni ali sistemski uporabi antagonistov dopaminskih receptorjev ali uničenju dopaminskih aksonov v ventralnem srednjem možganu, jedrih jezgrov ali striatumu. Poleg opazovanja lokomotornega in kognitivnega primanjkljaja, ki spominja na parkinsonizem, so te študije odkrile tudi motnje pri obdelavi informacij o nagradi. Najstarejše študije so zagovarjale primanjkljaje v subjektivnem, hedonskem dojemanju nagrad (Wise 1982; Wise et al. 1978). Nadaljnje eksperimentiranje je odkrilo oslabljeno uporabo primarnih nagrad in pogojenih apetitnih dražljajev za pristop in potrošniško vedenje (Beninger in sod. 1987; Ettenberg 1989; Miller in sod. 1990; Salamona 1987; Ungerstedt 1971; Wise in Colle 1984; Wise in Rompre 1989). Številne študije so opisale okvare motivacijskih in pozornih procesov, na katerih temelji apetitno učenje (Beninger 1983, 1989; Beninger in Hahn 1983; Fibiger in Phillips 1986; LeMoal in Simon 1991; Robbins in Everitt 1992, 1996; White and Milner 1992; Wise 1982). Večina učnih primanjkljajev je povezana z oslabljeno nevrotransmisijo dopamina v jedrih jeder, medtem ko okvare hrbtnega striatuma vodijo v senzimotorni primanjkljaj (Amalric in Koob 1987; Robbins in Everitt 1992; Bela 1989). Vendar se zdi, da je učenje inštrumentalnih nalog na splošno in zlasti diskriminatornih lastnosti dražljajev pogosto prizaneseno, zato ni povsem rešeno, ali lahko nekateri navidezni učni primanjkljaj omejijo motorične zmogljivosti (Salamona 1992).

Degeneracija dopaminskih nevronov pri Parkinsonovi bolezni povzroča tudi številne deklarativne in postopkovne pomanjkljivosti pri učenju, vključno z asociativnim učenjem (Linden et al. 1990; Sprengelmeyer et al. 1995). Pomanjkljivosti so prisotne pri učenju poskusov in napak s takojšnjo okrepitvijo (Vriezen in Moscovitch 1990) in pri povezovanju eksplicitnih dražljajev z različnimi izidi (Knowlton et al. 1996), tudi v zgodnjih fazah Parkinsonove bolezni brez kortikalne atrofije (Canavan in sod. 1989). Parkinsonski bolniki kažejo tudi oslabljeno zaznavanje časa (Pastor et al. 1992). Vsi ti primanjkljaji se pojavijo ob prisotnosti zdravljenja z L-Dopa, ki obnavlja nivo toničnega stripa dopamina brez ponovne vzpostavitve faznih signalov dopamina.

Te študije kažejo, da ima nevrotransmisija dopamina pomembno vlogo pri predelavi nagrade za vedenje pristopa in v oblikah učenja, ki vključujejo povezave med dražljaji in nagradami, medtem ko bi bilo lahko vprašljivo vključevanje v bolj instrumentalne oblike učenja. Ni jasno, ali ti primanjkljaji odražajo bolj splošno vedenjsko inaktivacijo zaradi tonično zmanjšane stimulacije dopaminskih receptorjev, ne pa odsotnosti faznega nagradnega signala dopamina. Za rešitev tega vprašanja in natančneje razjasnitev vloge dopamina v različnih učnih oblikah bi bilo koristno, če bi se učili v tistih situacijah, v katerih se fazični odziv dopamina na apetitivne dražljaje dejansko pojavi.

Oblike učenja, ki jih lahko posreduje signal dopamina

Značilnosti odzivov na dopamin in potencialni vpliv dopamina na striatalne nevrone lahko pomagajo razmejiti nekatere učne oblike, v katere bi lahko bili vključeni dopaminski nevroni. Preferencialni odzivi na apetitne v nasprotju z averzivnimi dogodki naj bi bili bolj vključeni v učenje vedenja pristopa in posredovanje pozitivnih okrepitvenih učinkov, ne pa umik in kaznovanje. Odzivi na primarne nagrade zunaj nalog in učnih kontekstov bi dopaminskim nevronom omogočili vlogo v razmeroma širokem spektru učenja, ki vključuje primarne nagrade, tako pri klasičnem kot instrumentalnem kondicioniranju. Odzivi na dražljaje za napovedovanje nagrad odražajo združenja, ki nagrajujejo spodbude in bi bila združljiva s sodelovanjem v pričakovanju nagrade, ki je osnova splošnega spodbujevalnega učenja (Bindra 1968). Nasprotno odzivi na dopamin izrecno ne označujejo nagrade kot ciljnih predmetov, saj poročajo le o napakah pri napovedovanju nagrad. Prav tako se zdi, da so neobčutljivi za motivacijska stanja, zato ne pripomorejo k posebni vlogi spodbujevalnega učenja, ki je od države odvisno od države (Dickinson in Balleine 1994). Pomanjkanje jasnih odnosov z gibi rok in očesom bi ogrožalo vlogo pri neposrednem posredovanju vedenjskih odzivov, ki sledijo spodbudnim dražljajem. Vendar so primerjave med izpuščanjem posameznih nevronov in učenjem celotnih organizmov resnično težke. Na sinaptični ravni fazno sproščen dopamin doseže veliko dendritov na verjetno vsakem striatalnem nevronu in bi tako lahko plastično vplival na veliko različnih vedenjskih komponent, ki vključujejo striatum, kar lahko vključuje učenje gibanja.

Specifični pogoji, v katerih bi lahko fazni signali dopamina igrali vlogo pri učenju, so določeni z vrstami dražljajev, ki učinkovito inducirajo odziv na dopamin. V živalskem laboratoriju odzivi na dopamin zahtevajo fazno pojavljanje apetitivnih, novih ali posebno izrazitih dražljajev, vključno s primarnimi nagradami hranljivih snovi in ​​dražljivimi napovedmi, medtem ko averzivni dražljaji ne igrajo glavne vloge. Odzivi na dopamin se lahko pojavijo v vseh vedenjskih situacijah, ki jih nadzirajo fazni in eksplicitni izidi, čeprav pogojeni dražljaji višjega reda in sekundarni ojačevalci še niso bili testirani. Fazični odzivi na dopamin najverjetneje ne bi igrali vloge pri oblikah učenja, ki niso posredovane s faznimi izidi, in napovedni odziv ne bi mogel prispevati k učenju v situacijah, v katerih ne pride do faznih napovednih dražljajev, kot so razmeroma počasne spremembe konteksta . To vodi do zanimivega vprašanja, ali lahko pri iskanju nekaterih oblik učenja z lezijami dopamina ali nevroleptiki preprosto odraža odsotnost faznih odzivov na dopamin, saj se učinkoviti dražljaji, ki jih povzročajo, niso uporabili.

Vključevanje dopaminskih signalov v učenje je mogoče ponazoriti s teoretičnim primerom. Predstavljajte si odzive na dopamin med pridobitvijo naloge serijskega reakcijskega časa, ko pravilna reakcija nenadoma privede do nagrade za hranila. Naknadni odziv se nato prenese na postopno zgodnejše dražljaje, ki napovedujejo nagrado. Z dolgotrajno prakso se reakcijski časi še izboljšajo, saj prostorska lega tarč postaja vse bolj predvidljiva. Čeprav se dopaminski nevroni še naprej odzivajo na dražljaje, ki napovedujejo nagrado, je lahko nadaljnje izboljšanje vedenja predvsem posledica pridobitve prediktivne obdelave prostorskih položajev v drugih nevronskih sistemih. Tako bi se dopaminski odzivi pojavili med začetnim, spodbudnim delom učenja, v katerem se udeleženci približajo predmetom in si pridobijo izrecne primarne in po možnosti pogojene nagrade. Manj bi bili vključeni v situacije, ko napredek učenja presega spodbudo vedenja. To vloge dopamina ne bi omejilo na začetne korake učenja, saj veliko situacij zahteva, da se na začetku učijo iz primerov in šele kasneje vključujejo učenje z izrecnimi rezultati.

Napaka napovedovanja

Signal napake napovedi dopaminskih nevronov bi bil odličen pokazatelj privlačne vrednosti okoljskih dogodkov glede na napovedovanje, vendar ne razlikuje med živili, tekočinami in dražljaji za napovedovanje nagrade ter med vidnimi, slušnimi in somatosenzoričnimi modalitetami. Ta signal lahko predstavlja opozorilo o nagradi, s katerim so postsinaptični nevroni obveščeni o presenetljivem pojavu ali opustitvi nagrajevalnega ali potencialno nagrajevalnega dogodka, ne da bi nadalje navedli njegovo identiteto. Ima vse formalne značilnosti močnega okrepitvenega signala za učenje. Vendar pa so informacije o posebni naravi nagrad ključne za določitev, na katere predmete je treba pristopiti in na kakšen način. Lačna žival se mora na primer približati hrani, ne pa tekočini. Za razlikovanje med nepomembnimi nagradami je treba dopaminski signal dopolniti z dodatnimi informacijami. Nedavni poskusi dialize in vivo so pokazali večje sproščanje dopamina s hrano pri lačnih kot pri nasičenih podganah (Wilson in sod. 1995). Ta pogonska odvisnost sproščanja dopamina morda ne vključuje impulznih odzivov, saj pri primerjanju med zgodnjimi in poznimi obdobji posameznih poskusnih sej, med katerimi so živali postale s tekočino nasičene (JL Contreras-Vidal in W., nismo našli jasne pogonske odvisnosti od odziva dopamina). Schultz, neobjavljeni podatki).

Posebnosti nagrad

Podatki o nagradi s tekočino in hrano se obdelujejo tudi v možganskih strukturah, razen dopaminskih nevronov, kot so dorzalni in ventralni striatum, subtalamično jedro, amigdala, dorsolateralna predfrontalna skorja, orbitofrontalna skorja in sprednja cingulatna skorja. Vendar se zdi, da te strukture ne oddajajo globalnega signala napake napovedovanja nagrade, podobnega dopaminskim nevronom. Pri primatih te strukture procesov nagrajujejo kot 1) prehodni odzivi po izročitvi nagrade (Apicella in sod. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki in Watanabe 1979; Nishijo in sod. 1988; Tremblay in Schultz 1995; Watanabe 1989), 2) prehodni odzivi na napovedi za napovedovanje nagrade (Aosaki in sod. 1994; Apicella in sod. 1991b; 1996; Hollerman in sod. 1994; Nishijo in sod. 1988; Thorpe in sod. 1983; Tremblay in Schultz 1995; Williams et al. 1993), 3) trajne aktivacije v pričakovanju takoj prihajajočih nagrad (Apicella in sod. 1992; Hikosaka et al. 1989; Matsumura in sod. 1992; Schultz et al. 1992; Tremblay in Schultz 1995), In 4) modulacije vedenjskih aktivacij s predvideno nagrado (Hollerman in sod. 1994; Watanabe 1990, 1996). Mnogi od teh nevronov dobro razlikujejo med različnimi nagradami hrane in med različnimi nagradami s tekočino. Tako obdelajo posebnost nagradnega dogodka in lahko služijo dojemanju nagrad. Nekateri odzivi na nagrado so odvisni od nepredvidljivosti nagrade in so zmanjšani ali odsotni, ko nagrado napovedujejo s pogojno spodbudo (Apicella in sod. 1997; Matsumoto in sod. 1995; L. Tremblay in W. Schultz, neobjavljeni podatki). Lahko pripravijo napovedi za posebne nagrade, čeprav ni jasno, ali signalizirajo napake napovedovanja, saj so njihovi odgovori na izpuščene nagrade neznani.

Ohranjanje uveljavljene uspešnosti

Za ohranjanje ustaljene vedenjske uspešnosti so pomembni trije nevronski mehanizmi, in sicer odkrivanje izpuščenih nagrad, odkrivanje dražljajev, ki napovedujejo nagrado, in odkrivanje predvidenih nagrad. Ko izpustimo napovedano nagrado, se dopaminski nevroni pritisnejo. Ta signal lahko zmanjša sinaptično učinkovitost, povezano z napačnimi vedenjskimi odzivi, in prepreči njihovo ponovitev. Odziv na dopamin na dražljaje za napovedovanje nagrade se ohranja v ustaljenem vedenju in tako še naprej služi kot vnaprejšnja informacija. Čeprav dopaminskih nevronov v celoti predvidene nagrade ne odkrijejo, jih obdelajo zgoraj omenjeni nondopaminergični kortikalni in podkortikalni sistem. To bi bilo pomembno za preprečevanje izumrtja naučenega vedenja.

Skupaj se zdi, da bi obdelava posebnih nagrad za učenje in ohranjanje vedenja pristopa močno koristila od sodelovanja med dopaminskimi nevroni, ki signalizirajo nepredviden pojav ali opustitev nagrade in nevroni v drugih strukturah hkrati, kar kaže na specifičnost nagrade.

Noradrenalinski nevroni

Skoraj celotna populacija noradrenalinskih nevronov v locus coeruleus pri podganah, mačkah in opicah kaže precej homogene, dvofazne aktivirajoče-depresivne odzive na vidne, slušne in somatosenzorične dražljaje, ki povzročajo orientacijske reakcije (Aston-Jones in Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Posebej učinkoviti so redki dogodki, na katere so živali pozorne, na primer vizualni dražljaji pri nenavadni diskriminacijski nalogi (Aston-Jones in sod. 1994). Noradrenalinski nevroni zelo dobro ločijo med vzbujajočimi ali motivirajočimi in nevtralnimi dogodki. Hitro pridobijo odzive na nove ciljne dražljaje med razveljavitvijo in izgubijo odziv na prejšnje cilje, preden je vedenjski preobrat končan (Aston-Jones in sod. 1997). Odzivi nastanejo brez tekočine zunaj katere koli naloge in se prenesejo na ciljne dražljaje, ki napovedujejo nagrado znotraj naloge, pa tudi na primarne in pogojene averzivne dražljaje (Aston-Jones in sod. 1994; Foote et al. 1980; Rasmussen in Jacobs 1986; Sara in Segal 1991). Odzivi so pogosto prehodni in se zdi, da odražajo spremembe v pojavu ali pomenu dražljaja. Aktivacije se lahko pojavijo le za nekaj preskusov s ponavljajočimi se predstavitvami prehranskih predmetov (Vankov et al. 1995) ali s kondicioniranimi slušnimi dražljaji, povezanimi s tekočimi nagradami, averzivnim zračnim zaviranjem ali električnim udarcem stopala (Rasmussen in Jacobs 1986; Sara in Segal 1991). Med kondicioniranjem se pojavijo odzivi na prvih nekaj predstavitev novih dražljajev in se pojavijo prehodno, kadar koli se pojači nepredvidene okoliščine med pridobitvijo, razveljavitvijo in izumrtjem (Sara in Segal 1991).

Skupaj odzivi noradrenalinskih nevronov v več pogledih spominjajo na odzive dopaminskih nevronov, saj se aktivirajo s primarnimi nagradami, spodbudnimi napovednimi dražljaji in novimi dražljaji ter prenašajo odziv s primarnih na pogojene apetitne dogodke. Toda noradrenalinski nevroni se od dopaminskih nevronov razlikujejo tako, da se odzivajo na veliko večjo raznolikost dražilnih dražljajev, se dobro odzivajo na primarne in pogojene averzivne dražljaje, dobro diskriminirajo nevtralne dražljaje, hitro sledijo vedenjskim preobratom in kažejo upadajoče odzive s ponavljajočimi se dražljaji predstavitev, ki lahko zahteva preizkuse 100 za trdne apetitne odzive (Aston-Jones in sod. 1994). Odzivi na noradrenalin so močno povezani z vzbujajočimi ali privlačnimi pozornost dražljaji, ki sprožajo orientacijske reakcije, medtem ko so veliko manj osredotočeni na lastnosti apetitnih dražljajev, kot je večina dopaminskih nevronov. Verjetno jih bolj privlačijo pozornosti kot motivirajoče sestavine privlačnih dogodkov.

Serotoninski nevroni

Dejavnost v različnih jedrih raphe olajša motorični izhod z nastavitvijo mišičnega tonusa in stereotipnih gibalnih aktivnosti (Jacobs in Fornal 1993). Dorsalni raphe nevroni pri mačkah kažejo fazične, neobstoječe odzive na vidne in slušne dražljaje brez posebnega vedenjskega pomena (Heym in sod. 1982; LeMoal in Olds 1979). Ti odzivi so podobni odzivom dopaminskih nevronov na nove in še posebej vidne dražljaje. Nadaljnje primerjave bi zahtevale podrobnejše eksperimentiranje.

Nucleus basalis Meynert

Primarni bazalni nevroni se v fazah aktivirajo z najrazličnejšimi vedenjskimi dogodki, vključno s kondicijskimi, napovednimi dražljaji in primarnimi nagradami. Veliko aktivacij je odvisno od spomina in povezav, ki se krepijo v diskriminaciji in zapoznelih odzivnih nalogah. Aktivacije odražajo poznavanje dražljajev (Wilson in Rolls 1990a), postanejo pomembnejši z dražljaji in gibi, ki se pojavijo bližje času nagrajevanja (Richardson in DeLong 1990), dobro razlikovati med vizualnimi dražljaji na podlagi afektivnih in averzivnih asociacij (Wilson in Rolls 1990b), in spremenite v nekaj preskusih med razveljavitvijo (Wilson in Rolls 1990c). Nevroni se aktivirajo tudi z averzivnimi dražljaji, predvidenimi vidnimi in slušnimi dražljaji ter gibi. Pogosto se odzivajo na popolnoma predvidene nagrade pri dobro zastavljenih vedenjskih nalogah (Mitchell in sod. 1987; Richardson in DeLong 1986, 1990), čeprav so odzivi na nepredvidene nagrade v nekaterih raziskavah pogostejši (Richardson in DeLong 1990), v drugih pa ne (Wilson in Rolls 1990a-c). V primerjavi z dopaminskimi nevroni se aktivirajo z veliko večjim spektrom dražljajev in dogodkov, vključno z averzivnimi dogodki, in ne kažejo precej homogenega odziva populacije na nepredvidene nagrade in njegov prenos na dražilne napovedi.

Cerebellar plezalna vlakna

Verjetno je bil prvi napačni učni signal v možganih postavljen tako, da je vključeval projekcijo plezalnih vlaken od nižjih oljčnih do Purkinjevih nevronov v možganski skorji (Marr 1969) in številne študije možganskega učenja temeljijo na tem konceptu (Houk in sod. 1996; Na 1989; Kawato in Gomi 1992; Llinas in valižanski 1993). Vnosi plezalnih vlaken v Purkinje nevrone prehodno spremenijo svojo aktivnost, kadar se obremenitve zaradi gibov ali povečanja med gibi in vizualnimi povratnimi informacijami spremenijo in se opice prilagodijo novim razmeram (Gilbert in Thach 1977; Ojakangas in Ebner 1992). Večina teh sprememb je večja aktivnost kot pa aktiviranje v primerjavi z depresijskimi odzivi, ki jih opazimo z napakami v nasprotnih smereh dopaminskih nevronov. Če bi aktiviranje plezalnih vlaken služilo kot učni signal, bi moralo sočasno plezanje vlaken vzporedno z aktivacijo vlaken spremeniti vzporedni vnos vlaken v Purkinje nevrone. To se resnično dogaja kot dolgotrajna depresija vzporednega vnosa vlaken, predvsem v in vitro pripravkih (Na 1989). Vendar je primerljive vzporedne spremembe vlaken težje najti v vedenjskih učnih situacijah (Ojakangas in Ebner 1992), posledice potencialnih učnih signalov plezalnih vlaken pa so trenutno odprte.

Drugi argument za vlogo plezalnih vlaken pri učenju vključuje odporno klasično kondicioniranje. Del plezalnih vlaken se aktivira z averzivnimi zračnimi pritiski na roženico. Ti odzivi se izgubijo po Pavlovianovi kondicioniranju vek z uporabo slušnega dražljaja (Sears in Steinmetz 1991), kar kaže na odnos do nepredvidljivosti primarnih averzivnih dogodkov. Po kondicioniranju se nevroni v jedru cerebelarnega interpositusa odzovejo na pogojeni dražljaj (Berthier in Moore 1990; McCormick in Thompson 1984). Poškodbe tega jedra ali injekcije bikukulina antagonista GABA v nižjo oljko preprečujejo izgubo slabših odzivov na oljčni zrak po kondicioniranju, kar kaže na to, da monosinaptična ali polisinaptična inhibicija od interpositusa do inferiorne oljke zavira odzive po kondicioniranju (Thompson in Gluck 1991). To lahko omogoči, da se slabši oljčni nevroni zmanjšajo, če ni predvidenih averzivnih dražljajev, in tako poročajo o negativni napaki pri napovedi averzivnih dogodkov, podobnih dopaminskim nevronom.

Tako lahko plezalna vlakna poročajo o napakah v motorični zmogljivosti in napakah pri napovedovanju averzivnih dogodkov, čeprav to ne more vedno vključevati dvosmernih sprememb kot pri dopaminskih nevronih. Zdi se, da plezalna vlakna ne dobijo odzivov na pogojene averzivne dražljaje, vendar se takšni odzivi nahajajo v nukleusnem interpozitusu. Izračun averzivnih napak napovedovanja lahko vključuje padajoče zaviralne vnose v nižje oljčne nevrone, po analogiji s progastimi projekcijami dopaminskih nevronov. Tako možganska vezja obdelujejo signale o napakah, čeprav drugače kot dopaminski nevroni in modeli TD, in lahko izvajajo pravila učenja napak, kot je pravilo Rescorla-Wagner (Thompson in Gluck 1991) ali formalno enakovredno pravilo Widrow-Hoff (Kawato in Gomi 1992).