Fyrirbyggjandi verðlaun merki dópamín taugafrumna (1998)

Aðgerðir umbunar

Ákveðnir hlutir og atburðir í umhverfinu hafa sérstaka hvatningu vegna áhrifa þeirra á velferð, lifun og æxlun. Samkvæmt hegðunarviðbrögðum sem fram koma geta hvatningargildi umhverfishluta verið lystandi (gefandi) eða andstyggileg (refsing). (Athugið að „lystisemd“ er notað samheiti yfir „gefandi“ en ekki „undirbúningsaðstæður.“ Óþægilegir hlutir hafa þrjú aðskiljanleg grunnaðgerðir. Í fyrsta hlutverki sínu, verðlaun vekur nálgun og fullkominn hegðun. Þetta er vegna þess að hlutirnir eru merktir matarlyst með meðfæddu fyrirkomulagi eða, í flestum tilvikum, námi. Í annarri aðgerð sinni auka umbun tíðni og styrk hegðunar sem leiðir til slíks hlutar (nám) og þau viðhalda lærðri hegðun með því að koma í veg fyrir útrýmingu. Verðlaun þjóna sem jákvæðir styrkingar á hegðun í klassískum og tæknilegum skilyrðingum. Í almennu hvatningarnámi öðlast áreiti umhverfis lyst í kjölfar klassísks skilyrtra hvata-verðlauna samtaka og örvar nálgun hegðun (Bindra 1968). Í tæknilegum skilyrðum, verðlaun „styrkja“ hegðun með því að styrkja tengsl milli áreita og hegðunarviðbragða (Law of Effect: Thorndike 1911). Þetta er kjarni þess að „koma aftur fyrir meira“ og tengist sameiginlegri hugmynd um umbun fyrir að hafa gert eitthvað vel. Í lykilformi af hvatningarnámi eru umbunin „hvatning“ og þjóna sem markmið hegðunar í kjölfar tengsla milli hegðunarviðbragða og niðurstaðna (Dickinson og Balleine 1994). Í þriðja hlutverki sínu vekur umbun huglægar tilfinningar um ánægju (hedonia) og jákvæð tilfinningaleg ástand. Aversive áreiti virkar í gagnstæða átt. Þeir kalla fram viðbrögð við fráhvarfi og virka sem neikvæðir styrkingarmeðferðir með því að auka og viðhalda forðastegundum við endurtekna framsetningu og draga þannig úr áhrifum skaðlegra atburða. Ennfremur valda þeir innri tilfinningalegum ástæðum reiði, ótta og læti.

Aðgerðir spár

Spár veita upplýsingar um fyrirfram áreiti, atburði eða kerfisástand. Þeir bjóða upp á þann grunn kost að vinna sér tíma til hegðunarviðbragða. Sumar spáir rekja hvata til umhverfisáreiti með tengslum við sérstakar niðurstöður, þannig að greina hluti sem eru ómissandi og aðgreina þau frá minna verðmætum hlutum. Önnur form kóða eðlisfræðilega breytur fyrirspárra hluta, svo sem staðbundna stöðu, hraða og þyngd. Spá spáir lífveru til að meta framtíðaratburði áður en þeir gerast í raun, leyfa val og undirbúning hegðunarviðbragða og auka líkurnar á að nálgast eða forðast hluti sem eru merktir með hvatningargildum. Til dæmis, endurteknar hreyfingar af hlutum í sömu röð leyfa manni að spá fyrir um væntanlegar stöður og þegar undirbúa næstu hreyfingu meðan þeir elta núverandi hlut. Þetta dregur úr viðbragðstíma milli einstakra markmiða, flýtir heildarárangri og skilar fyrri niðurstöðu. Ráðandi auguhreyfingar bæta við hegðun með framþróun (Blóm og Downing 1978).

Á lengra komnu stigi, þær fyrirframupplýsingar sem spár veita, gera kleift að taka ákvarðanir á milli kosta til að ná tilteknum kerfisástæðum, nálgast sjaldan markhluti eða forðast óbætanleg neikvæð áhrif. Iðnaðarumsóknir nota innra líkanastýringu til að spá fyrir um og bregðast við kerfisástæðum áður en þau eiga sér stað (Garcia o.fl. 1989). Sem dæmi má nefna „flug-við-vír“ tækni í nútíma flugi reiknar fyrirsjáanleg væntanleg flugvélar. Ákvarðanir um fljúgaferil taka mið af þessum upplýsingum og hjálpa til við að koma í veg fyrir of mikið álag á vélrænni íhluti flugvélarinnar og draga þannig úr þyngd og auka starfssviðið.

Notkun forspárupplýsinga fer eftir eðli fyrirliggjandi atburða eða kerfisástands. Einfaldar framsetningar varða beint stöðu væntanlegra markmiða og hegðunarviðbrögðin sem fylgja í kjölfarið og draga þannig úr viðbragðstíma á frekar sjálfvirkan hátt. Æðri forspá er byggð á framsetningum sem heimila rökréttan ályktun, sem hægt er að nálgast og meðhöndla með mismiklum ásetningi og vali. Þeir eru oft unnir meðvitað hjá mönnum. Áður en spáð er fyrir um atburði eða kerfisástand og hegðunarviðbrögð eru framkvæmd, gera slíkar spár kleift að meta andlega ýmsar aðferðir með því að samþætta þekkingu frá mismunandi aðilum, hanna ýmsar leiðir til viðbragða og bera saman hagnað og tap af hverju mögulegu viðbragði.

Hegðunaraðstæður

Tilheyrandi matarlyst felur í sér endurtekna og óviljandi pörun milli handahófskennds áreitis og aðal umbunar (mynd. 1). Þetta hefur í för með sér æ tíðari nálgunahegðun af völdum nú „skilyrta“ áreitis, sem líkist að hluta til nálgunahegðunarinnar, sem aðalverðlaunin vekja og er einnig undir áhrifum af eðli skilyrts áreitis. Svo virðist sem skilyrt áreiti þjóni sem spá um umbun og setji oft á grundvelli viðeigandi drif innra hvatningarástand sem leiði til hegðunarviðbragða. Líking viðbragðsaðferða bendir til þess að sumir af almennum undirbúningsþáttum hegðunarviðbragðanna séu færðir frá aðallaunum til fyrsta skilyrta, umbunarspárinnar. Þannig virkar skilyrt áreiti að hluta til sem hvati í stað frumörvunarinnar, líklega með Pavlovian-námi (Dickinson 1980).

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 1. 

Vinnsla álykjandi áreiti meðan á námi stendur. Handahófskennt áreiti tengist aðal mat eða fljótandi umbun með endurteknum, óvissum pörun. Þetta skilyrta, umbun sem spáir fyrir umbun hvetur til innra hvatningarástands með því að vekja von á umbuninni, oft á grundvelli samsvarandi hungurs eða þorsta, og vekur fram hegðunarviðbrögð. Þetta kerfi endurtekur grunnhugtök hvatningarkenningar sem þróuð var af Bindra (1968) og Bolles (1972). Það á við um klassíska skilyrðingu, þar sem umbunin er sjálfkrafa afhent eftir skilyrtu áreiti, og tæknilegar (rekstrarlegar) skilyrðingar, þar sem verðlaunagreiðsla krefst viðbragða frá einstaklingnum við skilyrt áreiti. Þetta fyrirkomulag á einnig við um andstæða skilyrðingu sem er ekki útfærð frekar af stuttu máli.

Margir svokallaðir „óskilyrtir“ matar og fljótandi umbun eru líklega lært með reynslu eins og allir gestir erlendis geta staðfest. Aðal umbunin gæti síðan verið sú bragð sem upplifað er þegar hluturinn virkjar öndunarviðtökurnar, en það má aftur læra. Endanleg gefandi áhrif næringarefnishluta samanstendur líklega af sérstökum áhrifum þeirra á grunn líffræðilegar breytur, svo sem salta, glúkósa, eða amínósýrustyrk í plasma og heila. Þessar breytur eru skilgreindar af gróðurþörf lífverunnar og koma til með þróun. Dýr forðast næringarefni sem hafa ekki áhrif á mikilvægar gróðurbreytur, til dæmis matvæli sem skortir svo nauðsynlegar amínósýrur eins og histidín (Rogers og Harper 1970), þráónín (Hrupka o.fl. 1997; Wang et al. 1996), eða metíónín (Delaney og Gelperin 1986). Nokkur aðal umbun getur verið ákvörðuð af meðfæddum eðlishvötum og styðja fyrstu nálgun hegðun og neyslu snemma lífsins, en meirihluti umbóta myndi læra við síðari lífsreynslu viðfangsefnisins. Líkamlegt útlit verðlauna þá væri hægt að nota til að spá fyrir um mun hægari gróðuráhrif. Þetta myndi verulega flýta fyrir uppgötvun umbunar og vera stór kostur við að lifa af. Að læra umbunin gerir einnig einstaklingum kleift að nota miklu stærra úrval næringarefna sem árangursrík umbun og auka þannig möguleika þeirra á að lifa af á svæðum með naumum auðlindum.

Virkjun með aðal lystarástandi

Um það bil 75% dópamín taugafrumna sýna fasíska virkjun þegar dýr snerta litla bút af falinni fæðu við könnunarhreyfingar í fjarveru annars fasísks áreynslu, án þess að vera virkjaðar af hreyfingunni sjálfri (Romo og Schultz 1990). Eftirstöðvar dópamín taugafrumna svara ekki neinu af prófuðu umhverfisáreiti. Dópamín taugafrumur eru einnig virkjaðir með dropa af vökva sem er afhentur í munni utan hvers konar hegðunarverkefna eða á meðan að læra svo ólíkar fyrirmyndir eins og sjón- eða heyrnarviðbragðstímaverk, staðbundið seinkað svar eða víxlverkun, og sjónræn mismunun, oft hjá sama dýrinu (mynd . 2 efst) (Hollerman og Schultz 1996; Ljungberg o.fl. 1991, 1992; Mirenowicz og Schultz 1994; Schultz o.fl. 1993). Umbunarsvörunin kemur fram óháð námssamhengi. Þannig virðast dópamín taugafrumur ekki greina á milli mismunandi matarhluta og vökva umbunar. Svör þeirra greina hins vegar umbun frá hlutum sem ekki eru reifaðir (Romo og Schultz 1990). Aðeins 14% af dópamín taugafrumum sýna fasíska virkjunina þegar aðal andstætt áreiti er sýnt, svo sem loftblástur í höndina eða saltþrýstingur í munni, og flestir virku taugafrumurnar svara einnig umbun (Mirenowicz og Schultz 1996). Þrátt fyrir að vera óþægilegir eru þessi áreiti viðbjóðsleg að því leyti að þau trufla hegðun og valda virkri forðast viðbrögðum. Samt sem áður eru dópamín taugafrumur ekki alveg ónæmar fyrir andstyggilegu áreiti, eins og sést með hægum lægðum eða stöku hægum örvun eftir áreynslu á verkjum í svæfðum öpum (Schultz og Romo 1987) og með aukinni losun dópamíns eftir dauðsföll eftir raflost og klemmu í hala hjá vöku rottum (Abercrombie o.fl. 1989; Doherty og Gratton 1992; Louilot o.fl. 1986; Young et al. 1993). Þetta bendir til þess að fasísk svörun dópamíns taugafrumna gefi ákjósanleg umhverfisörvun með aðal lystugildi, en frávik geta verið táknuð með töluvert hægari tíma.

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 2. 

Dópamín taugafrumur tilkynna umbun samkvæmt villu í spá umbununar. Top: dropi af vökva á sér stað þó ekki sé spáð í umbun á þessum tíma. Tilvist umbunar telst því jákvæð villa í spá um umbun. Dópamín taugafruma er virkjað með fyrirvaralausum vökva. Mið: skilyrt áreiti spáir umbun, og umbunin á sér stað í samræmi við spá, þess vegna er engin mistök í spá umbunar. Dópamín taugafrumum tekst ekki að virkja með spáð umbun (til hægri). Það sýnir einnig virkjun eftir áreiti sem spá fyrir um launin, sem gerist óháð villu í spá um síðari umbunina (vinstri). Neðsta: skilyrt áreiti spáir umbun en umbunin kemur ekki fram vegna skorts á viðbrögðum dýrsins. Virkni dópamín taugafrumunnar er þunglynd nákvæmlega á þeim tíma sem umbunin hefði átt sér stað. Athugaðu þunglyndið sem á sér stað> 1 s eftir skilyrta áreitið án áreynsla sem grípur inn í og ​​afhjúpar innra ferli umbunavænna. Taugafruma í 3 línuritunum fylgir jöfnunni: dópamínviðbrögð (verðlaun) = umbun átti sér stað - umbun spáð. CS, skilyrt áreiti; R, aðallaun. Endurprentað frá Schultz o.fl. (1997) með leyfi American Association for the Advancement of Science.

Óútreiknanlegur umbun

Mikilvægur þáttur í svörun dópamíns er háð því hvernig ófyrirsjáanlegt er. Virkjanirnar sem fylgja eftir umbun eiga sér ekki stað þegar umbætur á mat og vökva eru á undan með fasískri áreiti sem hefur verið skilyrt til að spá fyrir um slík umbun (mynd. 2, miðja) (Ljungberg o.fl. 1992; Mirenowicz og Schultz 1994; Romo og Schultz 1990). Einn afgerandi munur á námi og að fullu áunninni hegðun er hversu ófyrirsjáanlegt er umbun. Dópamín taugafrumur eru virkjaðar með umbun á námsstiginu en hætta að svara eftir fullan afla sjón- og hljóðviðbragðstímaverkefna (Ljungberg o.fl. 1992; Mirenowicz og Schultz 1994), staðbundin viðbragðsverkefni (Schultz o.fl. 1993), og samtímis sjónrænni mismunun (Hollerman og Schultz 1996). Misbrestur er ekki vegna almenns ónæmis fyrir umbun þar sem örvun í kjölfar umbunar sem gefin eru utan verkefna rýrnar ekki við margra mánaða tilraun (Mirenowicz og Schultz 1994). Mikilvægi ófyrirsjáanlegrar felur í sér umbunartímann, eins og sýnt er fram á með tímabundinni virkjun í kjölfar umbunar sem skyndilega er skilað fyrr eða seinna en spáð var (Hollerman og Schultz 1996). Samanlagt verður að koma fyrirfram fyrir umbun, þ.mt tíma þess, til að virkja dópamín taugafrumur.

Þunglyndi með sleppingu á spáðri umbun

Dópamín taugafrumur eru þunglyndar nákvæmlega þegar venjulegt verðlaun kemur fram þegar fullkomlega spáð umbun tekst ekki, jafnvel þó ekki sé örvun sem á undan er gengið (mynd. 2, botn). Þetta kemur fram þegar dýr ná ekki að fá verðlaun vegna rangra atferlis, þegar rennsli vökvans er stöðvað af reynslumanni þrátt fyrir rétta hegðun, eða þegar loki opnast heyranlegur án þess að skila vökva (Hollerman og Schultz 1996; Ljungberg o.fl. 1991; Schultz o.fl. 1993). Þegar frestun á umbun er frestað vegna 0.5 eða 1.0 s, verður þunglyndi á taugafrumuvirkni á reglulegum tíma umbunarinnar og örvun fylgir umbuninni á nýjum tíma (Hollerman og Schultz 1996). Bæði svörin eiga sér stað aðeins við nokkrar endurtekningar þar til nýr tími verðlauna afhendingu verður spáð aftur. Aftur á móti, með því að afhenda umbun fyrr en venjulega, hefur það í för með sér að virkja á nýjum tíma umbunar en ekki tekst að framkalla þunglyndi á venjulegum tíma. Þetta bendir til þess að óvenju snemma verðlaun afhendingu falli niður spá um laun fyrir venjulegan tíma. Þannig hafa dópamín taugafrumur fylgst með bæði viðburði og tíma umbunar. Í fjarveru áreitis sem er strax á undan slepptu umbununum eru lægðirnar ekki einfalt taugafrumvarp en endurspegla eftirvæntingarferli sem byggist á innri klukku sem fylgist með nákvæmum tíma spáðri umbun.

Virkjun með áberandi áreiti sem spá fyrir umbun

Um 55 – 70% af dópamín taugafrumum eru virkjaðir með skilyrtum sjónrænum og hljóðrænum áreitum í hinum ýmsu klassískum eða tækjabúnaði sem lýst er áður (mynd. 2, miðja og botn) (Hollerman og Schultz 1996; Ljungberg o.fl. 1991, 1992; Mirenowicz og Schultz 1994; Schultz 1986; Schultz og Romo 1990; P. Waelti, J. Mirenowicz og W. Schultz, óbirt gögn). Greint var frá fyrstu dópamín svörunum við skilyrt ljós Miller o.fl. (1981) hjá rottum sem voru meðhöndlaðar með halóperidóli, sem jók tíðni og sjálfsprottna virkni dópamín taugafrumna en leiddi til viðvarandi svörunar en hjá uppreistum dýrum. Þrátt fyrir að svör komi nálægt hegðunarviðbrögðum (Nishino o.fl. 1987), þær eru ekki skyldar handleggs- og augnhreyfingum sjálfum, þar sem þær eiga sér stað einnig í hliðar við hreyfanlegan handlegg og í rannsóknum án hand- eða augnhreyfinga (Schultz og Romo 1990). Ástand með áreiti er nokkuð minna árangursríkt en aðal umbun hvað varðar svörunarstærð og brot af taugafrumum virkjuðum. Dópamín taugafrumur bregðast aðeins við upphaf skilyrts áreiti en ekki á móti þeirra, jafnvel þó að áreiti á móti sé spá um umbun (Schultz og Romo 1990). Dópamín taugafrumur gera ekki greinarmun á sjónrænum og hljóðrænum aðferðum á skilyrtu mataráreiti. Samt sem áður greina þeir á milli lystandi og hlutlauss eða andstæða áreitni svo framarlega sem þeir eru líkamlega nægilega ólíkir (Ljungberg o.fl. 1992; P. Waelti, J. Mirenowicz og W. Schultz, óbirt gögn). Aðeins 11% dópamín taugafrumna, flestar með lystasvörun, sýna dæmigerð fasísk virkjun einnig til að bregðast við skilyrðandi andstætt sjón- eða hljóðheilsuörvun í virkum forðastundum þar sem dýr losa lykil til að forðast loftblástur eða dropa af saltvatns saltvatni. (Mirenowicz og Schultz 1996), þó að líta megi á slíkar forvarnir sem „gefandi.“ Þessar fáu aðgerðir eru ekki nægilega sterkar til að framkalla meðaltal svar íbúa. Þannig eru fasísk svör dópamín taugafrumna ákjósanleg umhverfisörvun með lystandi hvatningargildi en án þess að greina á milli mismunandi skynjunaraðferða.

Flutningur á virkjun

Á meðan á náminu stendur, verða dópamín taugafrumur smám saman virkjaðar með skilyrtu, umbunarspárandi áreiti og missa smám saman viðbrögð sín við aðal mat eða vökva umbun sem spáð er (Hollerman og Schultz 1996; Ljungberg o.fl. 1992; Mirenowicz og Schultz 1994) (Myndr. 2 og 3). Á tímabundnu námstímabili vekur bæði umbun og skilyrt áreiti virkjun dópamíns. Þessi tilfærsla frá aðal umbun í skilyrt áreiti fer fram samstundis í stökum dópamín taugafrumum sem prófaðar voru í tveimur vel lærðum verkefnum þar sem notast er við, óháð, og spáð umbun (Romo og Schultz 1990).

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 3. 

Dópamín svörun er flutt til fyrsta forspárörvunar. Svör við ófyrirséðum aðal umbunaflutningi yfir í smám saman áreiti sem spáð er umbun. Á öllum skjám eru sýnt súlur úr þýði sem fengin voru með meðaltali staðlaðra tímamörkum á tímabili allra dópamín taugafrumna sem eru skráðar í hegðunaraðstæðum sem tilgreindar voru, óháð viðveru eða engin svörun. Top: utan hvers konar hegðunarverkefna, þá er engin þýðissvörun í 44 taugafrumum prófaðar með litlu ljósi (gögn frá Ljungberg o.fl. 1992), en meðalsvörun kemur fram í 35 taugafrumum við vökvadropa sem afhentur er við stút fyrir munn dýrsins (Mirenowicz og Schultz 1994). Mið: svörun við hvati sem spá fyrir um laun sem spá fyrir um laun í 2 vali landhlutaverkefnis sem valið er, en skortur á svari við umbun sem gefin var við staðfesta verkefnalokun í sömu 23 taugafrumum (Schultz o.fl. 1993). Neðsta: svör við fyrirmælum sem liggja á undan áreiti sem spá fyrir um laun sem spá fyrir um með föstu millibili 1 s í leiðbeindu staðbundnu verkefni (19 taugafrumum) (Schultz o.fl. 1993). Tímamörkum er skipt vegna misjafna millibils milli skilyrts áreitis og umbunar. Endurprentað frá Schultz o.fl. (1995b) með leyfi MIT Press.

Óútreiknanlegur skilyrt áreiti

Virkjunin eftir skilyrt, umbunarspá áreiti á sér stað ekki þegar þessum áreiti er gengið á föstu millibili með fasískum skilyrðum áreiti við fullkomlega staðfestar hegðunaraðstæður. Þannig eru með dópamín taugafrumur virkjaðar með raðbundnu áreiti með fyrsta hvati sem spáir umbun en öll áreiti og umbun sem fylgir á fyrirsjáanlegum augnablikum á eftir eru árangurslaus (mynd. 3) (Schultz o.fl. 1993). Aðeins af handahófi, dreifð röð áreiti, vekur einstök viðbrögð. Einnig, umfangsmikil ofþjálfun með mjög staðalímyndaða verkefnalokun, dregur úr viðbrögðum við skilyrt áreiti, líklega vegna þess að áreiti er spáð af atburðum í fyrri rannsókninni (Ljungberg o.fl. 1992). Þetta bendir til þess að ófyrirsjáanleiki örvunar sé algeng krafa fyrir öll áreiti sem virkja dópamín taugafrumur.

Þunglyndi með því að sleppa spáð skilyrtu áreiti

Bráðabirgðagögn frá fyrri tilraun (Schultz o.fl. 1993) benda til þess að dópamín taugafrumur séu einnig þunglyndar þegar skilyrt, umbunarspá fyrir áreiti er spáð sjálfum sér á föstum tíma með undanfarandi áreiti en tekst ekki vegna villu dýrsins. Eins og með aðal umbun, eiga sér stað lægðirnar þegar venjulegur viðburður af skilyrta áreitinu kemur fram, án þess að beint sé dregið fram af áreiti á undan. Þannig að þunglyndi af völdum brottfalls getur verið alhæft við alla lystatilvik.

Virkjun-þunglyndi með alhæfingu svara

Dópamín taugafrumur bregðast einnig við áreiti sem spá ekki um umbun en líkist mjög umbunarspá fyrir áreiti sem á sér stað í sama samhengi. Þessi svör samanstanda aðallega af örvun fylgt eftir með strax þunglyndi en geta stundum samanstendur af hreinni virkjun eða hreinu þunglyndi. Virkjanirnar eru minni og sjaldnar en þær sem fylgja áreiti sem spá fyrir um umbun og lægðirnar sjást í 30 – 60% taugafrumna. Dópamín taugafrumur bregðast við sjónrænu áreiti sem ekki er fylgt eftir með umbun en líkist náið áreiti sem spáir umbun, þrátt fyrir rétt mismunun á hegðun (Schultz og Romo 1990). Opnun á tómum kassa nær ekki að virkja dópamín taugafrumur en tekur gildi í hverri rannsókn eins fljótt og kassinn inniheldur stundum mat (Ljungberg o.fl. 1992; Schultz 1986; Schultz og Romo 1990) eða þegar nálægur, sami kassi sem alltaf inniheldur mat opnast af handahófi til skiptis (Schultz og Romo 1990). Tóma kassinn vekur upp veikari virkni en kassinn sem beðið er eftir. Dýr framkvæma áberandi auguviðbrögð við hverjum kassa en nálgast aðeins beita kassann með hendinni. Við nám halda dópamín taugafrumur áfram að bregðast við áreiti sem áður hefur verið skilyrt sem missir umbunarspár sín þegar umbótaaðstæður breytast (Schultz o.fl. 1993) eða bregðast við nýju áreiti sem líkist áður skilyrtu áreiti (Hollerman og Schultz 1996). Viðbrögð koma jafnvel fram við andstæða áreiti sem fram kemur í handahófi til skiptis með líkamlega svipuðu, skilyrtu mataráreiti með sama skynskyni, andstæða svörunin er veikari en þau sem hafa lyst (Mirenowicz og Schultz 1996). Svör alhæfa jafnvel um hegðunar slökkt mataráreiti. Svo virðist sem taugafrumvörp alhæfa um áreynslulaust áreiti vegna líkamlegrar líkams þeirra með ástríðsáreiti.

Viðbrögð við nýjungum

Nýtt áreiti kallar fram virkjun í dópamín taugafrumum sem oft fylgja þunglyndi og eru viðvarandi svo lengi sem hegðunarmiðuð viðbrögð eiga sér stað (td augnsekkir). Virkjun hjaðnar ásamt stefnumörkun viðbragða eftir nokkrar áreynsluendurtekningar, allt eftir líkamlegum áhrifum áreitis. Þó litlar ljósdíóðir veki varla nýbreytni, ljósblikur og skjót sjón- og heyrnarop á litlum kassa vekja virkjun sem hrörnar smám saman til grunnlínu í <100 rannsóknum (Ljungberg o.fl. 1992). Háværir smellir eða stórar myndir strax fyrir framan dýr vekja sterk nýjungarviðbrögð sem rotna en framkalla samt mælanlega virkjun með> 1,000 rannsóknum (Hollerman og Schultz 1996; Horvitz o.fl. 1997; Steinfels o.fl. 1983). Mynd 4 sýnir með skýrum hætti mismunandi svörunarstærð með nýjum áreitum af mismunandi líkamlegri velmegun. Svörin rotna smám saman við endurtekna váhrif en geta varað í minni stærðum með mjög áberandi áreiti. Svörunarstærð eykst aftur þegar sömu áreiti er skilyrt eftir lyst. Hins vegar svara svör við nýjum, jafnvel stórum, áreiti hratt þegar áreitið er notað til að skilyrða virka forðast hegðun (Mirenowicz og Schultz 1996). Örfáir taugafrumur (<5%) svara í meira en nokkrar rannsóknir við áberandi en líkamlega veiku áreiti, svo sem pappírs molna eða grófar handhreyfingar tilraunaþega.

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 4. 

Tímanámskeið fyrir virkjun dópamíns taugafrumna í nýjungum, viðvörun og skilyrt áreiti. Virkjanir eftir skyndilegu áreiti minnka með endurteknum váhrifum í röð í röð. Stærð þeirra er háð líkamlegri áreynslu áreitis þar sem sterkari áreiti örva meiri virkni sem stundum er meiri en eftir skilyrt áreiti. Sérstaklega áberandi áreiti heldur áfram að virkja dópamín taugafrumur með takmarkaðri stærðargráðu, jafnvel eftir að hafa misst nýjunginn án þess að vera paraðir við aðal umbunina. Samkvæmar örvanir birtast aftur þegar áreiti tengist aðal umbun. Jose Contreras-Vidal lagði þetta verkefni af mörkum.

Einsleit einkenni svara

Tilraunirnar sem framkvæmdar hafa verið hingað til hafa leitt í ljós að meirihluti taugafrumna í dópamínfrumuhópum í miðhjálp A8, A9 og A10 sýna mjög svipaðar virkjanir og lægðir við tilteknar hegðunaraðstæður en dópamín taugafrumurnar sem eftir eru svara alls ekki. Það er tilhneiging til að hærri brot af taugafrumum svari á fleiri miðlægum svæðum í miðhjálpinni, svo sem ventral tegmental svæði og medial substantia nigra, samanborið við fleiri hliðarsvæði, sem stundum fá tölfræðilega þýðingu (Schultz 1986; Schultz o.fl. 1993). Svörunartíðni (50-110 ms) og lengd (<200 ms) eru svipuð meðal aðalverðlauna, skilyrta áreitis og nýs áreitis. Svona dópamín svörun er tiltölulega einsleitt, merki um stærðarþýði. Það er flokkað að stærð með svörun einstakra taugafrumna og hlutfalli taugafrumna sem svara innan íbúa.

Yfirlit 1: aðlögunarviðbrögð við námsþætti

Einkenni dópamínviðbragða við umbunartengdu áreiti eru best sýnd í námsþáttum á meðan umbunin er sérstaklega mikilvæg til að öðlast hegðunarviðbrögð. Dópamín umbunarmerkið gangast undir kerfisbundnar breytingar meðan á námi stendur og kemur fram við fyrsta fasíska umbunartengt áreiti, þetta er annað hvort aðal umbun eða umbun sem spáir umbun (Ljungberg o.fl. 1992; Mirenowicz og Schultz 1994). Við nám vekur skáldsaga, í eðli sínu hlutlaust áreiti tímabundið viðbrögð sem veikjast fljótlega og hverfa (mynd. 4). Aðal umbun kemur ófyrirsjáanlegt við fyrstu pörun með slíku áreiti og vekur taugafrumur. Með endurteknum pörun er umbun spáð með skilyrtu áreiti. Virkjanir eftir umbun minnka smám saman og færast yfir í skilyrt, umbunarspá fyrir áreiti. Ef hins vegar fyrirséð umbun tekst ekki vegna villu dýrsins, eru dópamín taugafrumur þunglyndar á þeim tíma sem umbunin hefði átt sér stað. Við endurtekið nám verkefna (Schultz o.fl. 1993) eða verkefnisþátta (Hollerman og Schultz 1996), fyrsta skilyrta áreit virkjar dópamín taugafrumur á öllum námsstigum vegna alhæfingar við áður lært, svipað áreiti, en síðari skilyrt áreiti og aðal umbun virkja dópamín taugafrumur aðeins tímabundið meðan þeir eru óvissir og ný viðbúnað er að koma á.

Yfirlit 2: áhrifaríkt áreiti fyrir dópamín taugafrumur

Dópamín svör eru fengin af þremur flokkum af áreiti. Fyrsti flokkurinn samanstendur af aðal umbun og áreiti sem hafa orðið gildir umbunarspár með endurteknum og óvissum pörun og umbun. Þessi áreiti mynda sameiginlegan flokk af áreiti sem spá fyrir umbun, þar sem aðal umbunin þjónar sem spá um gróðursemandi umbun. Virk áreiti hafa greinilega viðvörunarþátt þar sem aðeins áreiti með skýra upphaf eru áhrifarík. Dópamín taugafrumur sýna hreina virkjun í kjölfar áreynsluáreitni sem eru spáð fyrir um þunglyndi og eru þunglynd þegar ávísað en sleppt umbun tekst ekki (mynd. 5, efst).

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 5. 

Aðaldráttur sýna svörun dópamín taugafrumna við 2 tegundum skilyrtra áreita. Top: kynning á skýrum hvati til að spá fyrir umbun leiðir til örvunar eftir áreiti, engin svörun við spáð umbun og þunglyndi þegar spáð umbun tekst ekki. Neðsta: kynning á áreiti sem líkist mjög skilyrtu, umbun sem spáir umbun leiðir til örvunar og síðan þunglyndis, virkjun eftir umbun og engin svörun þegar engin umbun kemur fram. Virkjun eftir áreiti endurspeglar líklega alhæfingu svörunar vegna líkamlegs líkleika. Þetta áreiti spáir ekki beinlínis um umbun en tengist umbuninni með svipuðum hætti og áreiti sem spáir um umbunina. Í samanburði við bein áreynsluáreiti er örvun minni og oft er fylgt eftir með lægðum, þannig að greina á milli umbunaðs (CS +) og óbeðs (CS−) skilyrts áreitis. Þetta skipulag tekur saman niðurstöður úr fyrri og núverandi tilraunum (Hollerman og Schultz 1996; Ljungberg o.fl. 1992; Mirenowicz og Schultz 1996; Schultz og Romo 1990; Schultz o.fl. 1993; P. Waelti og W. Schultz, óbirtar niðurstöður).

Annar flokkurinn samanstendur af áreiti sem vekur fram almenn svör. Þetta áreiti spáir ekki beinlínis um umbun en eru áhrifarík vegna líkamsáhrifa þeirra við áreiti sem hafa orðið beinlínis umbunarspár með skilyrðum. Þessi áreiti örvar örvun sem eru lægri að stærð og taka færri taugafrumur saman, samanborið við bein áreynsluáreiti (mynd. 5, botn). Oft er fylgt eftir með skyndilokum. Þótt upphafsvirkjunin geti verið almenn almenn lystusvörun sem gefur til kynna mögulega umbun, gæti þunglyndið í kjölfarið endurspeglað spá um enga umbun í almennu umbunarspá fyrir og aflýst röngum forsendum umbunanna. Ennfremur er bent á skort á skýrri umbun vegna verðbólgu eftir aðal umbun og skort á þunglyndi án umbunar. Samhliða svörunum við áreiti sem spá fyrir um áramótaheit virðist það vera eins og virkjun dópamíns tilkynni um lystandi „merki“ sem er fest á áreiti sem tengjast umbun.

Þriðji flokkurinn samanstendur af nýjum eða sérstaklega áberandi áreiti sem eru ekki endilega tengdir sérstökum umbunum. Með því að vekja fram hegðunarviðbrögð eru þessi áreiti viðvörun og vekja athygli. Hins vegar hafa þeir einnig hvetjandi aðgerðir og geta verið gefandi (Fujita 1987). Nýtt áreiti er hugsanlega lystandi. Ný eða sérlega áberandi áreiti örvar örvun sem er oft fylgt eftir með lægðum, svipað og svörun við alhæfu áreiti.

Svona eru fasísk svörun dópamín taugafrumna tilkynnt um atburði með jákvæð og hugsanlega jákvæð hvati, svo sem aðal umbun, áreynslu-spá áreiti, umbuna sem líkjast atburðum og viðvörunarörvandi áreiti. Samt sem áður greina þeir ekki að verulegu leyti atburði með neikvæð hvati, svo sem andstætt áreiti.

Yfirlit 3: merki um dápamín umbunarspá fyrir villur

Dópamínviðbrögðin við skýrum atburðum sem tengjast laununum er best að skilja og skilja hvað varðar formlegar kenningar um nám. Dópamín taugafrumur tilkynna umbun miðað við spá þeirra frekar en að gefa til kynna aðal umbun skilyrðislaust (mynd. 2). Dópamín svörun er jákvæð (örvun) þegar aðal umbun á sér stað án þess að því sé spáð. Viðbrögðin eru engin þegar umbunin verður eins og spáð var. Viðbrögðin eru neikvæð (þunglyndi) þegar spáð er umbun. Þannig tilkynna dópamín taugafrumur aðal umbun í samræmi við mismuninn á milli viðburðar og spá um umbun, sem má kalla villu í spá umbunar (Schultz o.fl. 1995b, 1997) og er tímabundið formfest eins og

Jöfnu 1T Þessa tillögu er hægt að víkka út til skilyrtra matarlystna sem einnig er greint frá af dópamíni taugafrumum miðað við spá. Þannig geta dópamín taugafrumur greint frá villu í spá um alla lystatilvik og Jöfnuður. 1 er hægt að fullyrða í almennari mynd

Jafna 2Þessi alhæfing er í samræmi við þá hugmynd að flest umbunin séu í raun skilyrt áreiti. Með nokkrum, samfelldum, vel þekktum umbunarspá, er aðeins fyrsti atburðurinn óútreiknanlegur og vekur dópamín virkjun.

Uppruni dópamínsvarsins

Hvaða aðföng aðlaganna gætu verið ábyrg fyrir sértækni og pólitískt eðli dópamín svara? Hvaða innsláttarvirkni gæti leitt til kóðunar á spávillum, valdið framsækni við aðlögunarviðbrögðum við fyrsta ófyrirséða lystatburði og áætlað umbunartímann?

Fasísk dópamín hefur áhrif á markvirki

GLOBAL Eðli DOPAMINE SIGNAL.

Misjafnar áætlanir. Það eru N8,000 dópamín taugafrumur í hverri efnisnigra rottna (Oorschot 1996) og 80,000 – 116,000 í öpum af macaque (German o.fl. 1988; Percheron o.fl. 1989). Hvert striatum inniheldur ∼2.8 milljón taugafrumur í rottum og 31 milljónir í macaques, sem leiðir til misskilningsstuðuls nigrostriatal 300 – 400. Hvert dópamínaxon fer mikið af á takmörkuðu endasvæði í striatum og hefur ∼500,000 stígfráa dreifleika sem dópamín losnar úr (Andén o.fl. 1966). Þetta leiðir til dópamíninnlags í næstum allar stígandi taugafrumur (Groves o.fl. 1995) og miðlungs topografísk vörpun á fæðingarfóstri (Lynd-Balta og Haber 1994). Dortamín innerving í barka í öpum er hæst á svæðum 4 og 6, er enn umtalsvert í framan, parietal og tímabundnum lobes og er lægst í lobbanum (Berger o.fl. 1988; Williams og Goldman-Rakic ​​1993). Bólgueyðandi dópamínmeðferð er aðallega að finna í lögum I og V – VI, sem snertir stóran hluta barkstýrum þar. Ásamt frekar einsleitt svörunareinkenni benda þessi gögn til þess að dópamínsvörunin haldi áfram sem samhliða virkni bylgja frá miðhjálp að striatum og framhluta heilabarkins (mynd. 7).

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 7. 

Alheims dópamín merki sem gengur að striatum og heilaberki. Hægt er að líta á tiltölulega einsleita íbúasvörun meirihluta dópamín taugafrumna við lystandi og viðvörunarörvandi áreiti og framvindu þess frá substantia nigra til postsynaptískra mannvirkja sem bylgju samstilltra, samsíða virkni sem hraðast á 1 – 2 m / s (Schultz og Romo 1987) meðfram fráviksskotum frá miðhjálp að striatum (caudate og putamen) og heilaberki. Svörin eru eðlislæg aðgreind milli taugafrumna í substantia nigra (SN) pars compacta og ventral tegmental area (VTA). Dópamín innerving allra taugafrumna í striatum og margra taugafrumna í framan heilaberki myndi gera kleift að styrkja merki dópamíns frekar hnattræn áhrif. Wave hefur verið þjappað til að leggja áherslu á samhliða eðli.

Losun dópamíns. Hvatir dópamín taugafrumna með 20 – 100 ms millibili leiða til mun hærri dópamínstyrks í striatum en sami fjöldi hvata með 200 ms millibili (Garris og Wightman 1994; Gonon 1988). Þessi ólínuleiki stafar aðallega af hraðri mettun dópamín endurupptöku flutningsaðila, sem hreinsar losað dópamín frá utanaðkomandi svæði (Chergui o.fl. 1994). Sömu áhrif koma fram hjá kjarnabúum (Wightman og Zimmerman 1990) og kemur jafnvel fram með lengra höggfresti vegna dreifðari upptöku staða (Garris o.fl. 1994b; Marshall o.fl. 1990; Stamford o.fl. 1988). Losun dópamíns eftir hvatasprautun <300 ms er of stutt til að virkja sjálfvirka viðtaka minnkun losunar (Chergui o.fl. 1994) eða enn hægari ensím niðurbrot (Michael o.fl. 1985). Þannig að springa dópamín svörun er sérstaklega skilvirk til að losa dópamín.

Áætlanir byggðar á voltametrí in vivo benda til þess að stök högg losi ∼1,000 dópamínsameindir við samsöfnun í striatum og nucleus accumbens. Þetta leiðir til tafarlausrar samstillingar dópamínstyrks 0.5 – 3.0 μM (Garris o.fl. 1994a; Kawagoe o.fl. 1992). 40 μs eftir upphaf losunar> 90% af dópamíni hefur yfirgefið synaps, en hluti af hinum er síðar útrýmt með synaptic endurupptöku (hálfur upphafstími 30–37 ms). 3–9 ms eftir upphaf losunar nær styrkur dópamíns hámarki ~ 250 nM þegar allar nálægar frábrigði losa samtímis dópamín. Styrkur er einsleitur innan kúlu sem er 4 μm þvermál (Gonon 1997), sem er meðalvegalengdin á milli æðahnúta (Doucet o.fl. 1986; Groves o.fl. 1995). Hámarksdreifing er takmörkuð við 12 μm með endurupptöku flutningsaðila og næst í 75 ms eftir upphaf losunar (hálfur flutnings upphafstími er 30–37 ms). Styrkur væri aðeins lægri og minni einsleitur á svæðum með færri frábrigði eða þegar <100% dópamín taugafrumna eru virkjuð, en þeir eru tvisvar til þrisvar sinnum hærri með hvatabrunum. Þannig geta umbunin, mildlega samstillt, springandi virkjun í ~ 75% af dópamín taugafrumum leitt til frekar einsleitra styrkleika toppa í stærðargráðu 150–400 nM. Heildaraukning á dópamíni utan frumna endist 200 ms eftir staka hvatningu og 500–600 ms eftir margvíslegar hvatir með 20–100 ms millibili sem notaðar eru á 100–200 ms (Chergui o.fl. 1994; Dugast o.fl. 1994). Sá utanaðkomandi endurupptaka flutningsmaður (Nirenberg o.fl. 1996) færir síðan dópamínstyrk aftur í grunnlínu 5 – 10 nM (Herrera-Marschitz o.fl. 1996). Öfugt við klassískt, stranglega samstillt taugaboðefni, dreifist dópamín sem losnar úr samstillingu hratt inn í næsta juxtasynaptic svæði og nær stuttir toppar svæðisbundinna einsleita utanfrumuþéttni.

Móttökur. Af tveimur aðal gerðum dópamínviðtaka, eru adenýlat sýklasa virkjandi, D1 viðtakar tegundir ∼80% dópamínviðtaka í striatum. Af þessum 80% eru í lág-sækni ástandi 2 – 4 μM og 20% í hásækni ástandi 9 – 74 nM (Richfield o.fl. 1989). Eftirstöðvar 20% af striatal dópamínviðtaka tilheyra adenýlasasýklasa-hindrandi D2 tegundinni þar sem 10 – 0% eru í lágu sækni og 80 – 90% í háu sækni, með svipuð skyldleika og D1 viðtakar. Þannig hafa D1 viðtökur í heildina ∼100 sinnum lægri sækni en D2 viðtökur. Striatal D1 viðtakar eru aðallega staðsettir á taugafrumum sem smita út á innri pallidum og substantia nigra pars reticulata, en striatal D2 viðtakar eru að mestu staðsettir á taugafrumum sem varast út á ytri pallidum (Bergson o.fl. 1995; Gerfen o.fl. 1990; Hersch o.fl. 1995; Levey o.fl. 1993). Hins vegar munur á viðkvæmni viðtaka kann ekki að gegna hlutverki umfram merkjasendinga og minnka þannig muninn á dópamínnæmi á milli tveggja gerða afkomu taugafrumna.

Dópamíni er sleppt í 30 – 40% frá synaptic og í 60 – 70% frá extrasynaptic varicosities (Descarries o.fl. 1996). Synaptically losað dópamín verkar á postsynaptic dopamine viðtaka á fjórum anatomic aðgreindum stöðum í striatum, nefnilega inni í dopamine synapses, strax við hliðina á dopamine synapses, innan corticostriatal glútamats synapses, og á extrasynaptic stöðum fjarri losunarstöðum (mynd. 8) (Levey o.fl. 1993; Sesack o.fl. 1994; Yung o.fl. 1995). D1 viðtakar eru staðsettir aðallega utan dópamín samloka (Caillé o.fl. 1996). Hátt tímabundinn styrkur dópamíns eftir fasískt hvatvísi springur myndi virkja D1 viðtaka í næsta nágrenni við virka losunarstaði og virkja og jafnvel metta D2 viðtaka alls staðar. D2 viðtakar verða áfram virkjaðir að hluta til þegar styrkur dópamíns umbreytist aftur í upphafsgildi eftir fasískan hækkun.

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 8. 

Áhrif losunar dópamíns á dæmigerðar miðlungs spiny taugafrumur í bakinu og ventral striatum. Dópamín sem losað er við hvatir frá synaptic varicosities virkjar nokkra synaptic viðtaka (líklega af D2 gerð í lágu sækni ástandi) og dreifist hratt út úr synapse til að ná lágu sækni D1 tegund viðtaka (D1?) Sem eru staðsettir nálægt, innan corticostriatal synapses , eða í takmörkuðu fjarlægð. Stöðluð aukin dópamín virkjar nálæga D2 viðtaka af mikilli sækni við mettun (D2?). D2 viðtakar eru áfram að hluta virkjaðir af þéttni dópamíns í umhverfinu eftir stigsamlega aukningu. Dópamín, sem er losað utan geislunar, getur þynnst út með dreifingu og virkjað D2 viðtaka með mikla sækni. Það skal tekið fram að í samræmi við þessa skýringarmynd eru flestir D1 og D2 viðtökur staðsettar á mismunandi taugafrumum. Glútamat sem sleppt er frá barkæða- og fæðingarstöðvum nær postsynaptískum viðtökum sem staðsettar eru á sömu tindrænu hryggnum og dópamínsæxli. Glútamat nær einnig afbrigði af dópamíni af völdum presynaptic þar sem það stjórnar dópamínlosun. Dópamín áhrif á spiny taugafrumur í framhluta heilaberkisins eru sambærileg að mörgu leyti.

Yfirlit. Viðbrögð meirihluta dópamín taugafrumna sem sjást, í meðallagi sprengd, skammtímalengd, næstum samstillt, leiða til ákjósanlegrar, samtímis losunar dópamíns úr meirihluta stígaðra dreifbrigða. Taugasjúkdómurinn örvar stutt skömmtun af dópamíni sem losnar frá utanaðkomandi aðilum eða dreifist hratt frá myndun á juxtasynaptic svæðinu. Dópamín nær fljótt svæðisbundnum einsleitum styrk sem líklegt er að hafi áhrif á dendrites líklega allra drepfæra og margra leggöngum í leggöngum. Á þennan hátt er umboðsskilaboðunum í 60 – 80% af dópamín taugafrumum útvarpað sem frábrugðin, frekar alþjóðleg styrkingarmerki til striatum, nucleus accumbens og framhluta heilaberki, sem tryggir fasísk áhrif á hámarksfjölda samlíkinga sem taka þátt í vinnslunni áreiti og aðgerðir sem leiða til umbunar (mynd. 7). Dópamín losað með örvun taugafrumna eftir umbun og áreynsluáreitni áreynsla hefði áhrif á D1 viðtaka á juxtasynaptic við stígandi taugafrumum sem varpast á innri pallidum og substantia nigra pars reticulata og alla D2 viðtaka á taugafrumum sem varast á ytri pallidum. Lækkun dópamínlosunar af völdum þunglyndis með sleppt umbun og umbun sem spá fyrir um myndi draga úr tonic örvun D2 viðtaka af dópamíni í umhverfinu. Þannig að jákvæð umbunarspár villur hefðu áhrif á allar tegundir afkomu taugafrumna, en neikvæð spávillan gæti aðallega haft áhrif á taugafrumur sem miðast við utanaðkomandi pallidum.

Hugsanlegt kókaínkerfi. Hömlun á dópamín endurupptöku flutningsaðila með lyfjum eins og kókaíni eða amfetamíni eykur og lengir fasískt aukning á þéttni dópamíns (Church o.fl. 1987a; Giros o.fl. 1996; Suaud-Chagny o.fl. 1995). Aukningin væri sérstaklega áberandi þegar hröð, sprengd afleiðing hækkunar á dópamíni nær hámarki áður en endurgjöf reglugerðar tekur gildi. Þetta fyrirkomulag myndi leiða til stórfellds aukins dópamínmerkis eftir aðal umbun og umbunarspár. Það myndi einnig auka nokkuð veikara dópamínmerki eftir áreiti sem líkist umbun, ný áreiti og sérstaklega áberandi áreiti sem gæti verið tíð í daglegu lífi. Aukning kókaíns myndi láta þessi áreynslulausa áreiti birtast eins sterk eða jafnvel sterkari en náttúruleg umbun án kókaíns. Postsynaptísk taugafrumur gætu túlkað slíkt merki sem sérstaklega áberandi atburði sem tengist verðlaunum og gengist undir langtímabreytingar á samstillingu.

Að læra kenningar

Styrking reiknirit

Tímabundinn mismunur.

Í sérstaklega duglegum flokki styrktaralgríms (Sutton 1988; Sutton og Barto 1981), eru samstillingarþyngd breytt í samræmi við villuna í styrkingarspá sem reiknuð eru í röð tímaskrefa (t) í hverri rannsókn

rˆ(t)=r(t)+P(t)-P(t-l)

Jafna 6hvar r er styrking og P er styrkingarspá. P (t) er venjulega margfaldað með afsláttarstuðli γ með 0 ≤ γ <1 til að gera grein fyrir minnkandi áhrifum sífellt fjarlægari umbuna. Af einföldunarástæðum er γ stillt á 1 hér. Ef um er að ræða eitt áreiti sem spá fyrir um einn styrktaraðila, þá spá P(t - 1) er til fyrir tímann t styrking en lýkur við styrkingu [P (t) = 0]. Þetta leiðir til árangursríkrar styrkingarmerki á þeim tíma (T) styrking

rˆ (t)=r(t)-P(t-l)

Jafna 6aThe r̂(t) orð gefur til kynna muninn á raunverulegri og spáðri styrkingu. Á meðan á námi stendur er spáð styrkingu ófullkomlega, villutíminn er jákvæður þegar styrking á sér stað og samstillingarþyngd er aukin. Eftir að læra er styrking spáð að fullu með áreiti á undan [P(t - 1) = r(t)], villutíminn er ekkert við rétta hegðun og samstillingarþyngd er óbreytt. Þegar styrkingu er sleppt vegna ófullnægjandi frammistöðu eða breyttra viðbragða er villan neikvæð og samstillingarþyngd minnkuð. The r̂(t) orð er hliðstætt (λ-V) villutímabil Rescorla-Wagner líkansins (Jöfnuður. 4 ). Hins vegar varðar það einstök tímaskref (t) innan hverrar rannsóknar frekar en spár sem þróast í röð í röð. Þessar tímabundnu líkön af styrkingu nýta sér þá staðreynd að áunnin spá felur í sér nákvæman tíma styrkingar (Dickinson o.fl. 1976; Gallistel 1990; Smith 1968).

Tímabundinn mismunur (TD) reiknirit notar einnig áunnnar spár um að breyta samstillingarþyngd. Ef um er að ræða ófyrirsjáanlegan, eins skilyrtan áreiti sem spáir fyrir einum styrkja, er spáin P (t) hefst á sama tíma (t), það er engin fyrri spá [P(t - 1) = 0] og styrking hefur ekki enn átt sér stað [r(t) = 0]. Samkvæmt Jöfnuður. 6, líkanið gefur frá sér eingöngu forspárgildandi styrkingarmerki á þeim tíma (t) um spá

rˆ=P(t)

Jafna 6b Ef um er að ræða margfeldi, samfelld forspár áreynsla, aftur með styrkingu fjarverandi þegar spár voru, áhrifaríkt styrkingarmerki á þeim tíma (T) af spáinni endurspeglar muninn á núverandi spá P (t) og fyrri spá P(t - 1)

rˆ=P(t)-P(t-l)

Jafna 6cÞetta felur í sér villutíma styrkingar hærri röð. Svipað og að fullu spáð styrkingum, er öllum forspáráreiti sem er spáð sjálfum sér hætt [P(t - 1) = P(t)], sem leiðir til r̂ = 0 stundum (T) af þessu áreiti. Aðeins fyrsta forspár hvati stuðlar að árangursríku styrkingarmerki, þar sem þetta áreiti P (t) er ekki spáð með öðru áreiti [P(t - 1) = 0]. Þetta skilar sér í því sama r̂ = P (t) á þeim tíma (T) fyrstu spá eins og þegar um er að ræða eina spá (Jöfnuður. 6b).

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 9. 

Grunnarkitektúr taugakerfislíkana sem innleiða tímabundna mismun reiknirit í samanburði við basal ganglia tengingu. A: í upphaflegri útfærslu skilvirkt kennslumerki y - ȳ er reiknað í líkan taugafrumum A og send til forsynaptískra skauta á aðföngum x að taugafrumum B, þannig að hafa áhrif x → B vinnsla og breytingu á samstilltum lóðum við x → B samstillingu. Neuron B hefur áhrif á hegðunarafköst um axon y og stuðlar á sama tíma að aðlagandi eiginleikum taugafrumna A, nefnilega viðbrögð þess við áreiti sem spá fyrir styrkja. Nýlegri útfærslur á þessum einfalda arkitektúr nota taugafrumur A frekar en taugafrumur B til að senda frá sér framleiðsla O af líkaninu (Montague o.fl. 1996; Schultz o.fl. 1997). Endurprentað frá Sutton og Barto (1981) með leyfi American Psychological Association. B: nýleg útfærsla skilur kennsluþáttinn A, kallaði gagnrýnandinn (hægri), frá framleiðslueining sem samanstendur af nokkrum vinnslueiningum B, kallaði leikarann (vinstri). Árangursrík styrkingarmerki r̂(t) er reiknað með því að draga tímabundinn mismun á veginni styrkingarspá γP(t) - P(t - 1) frá aðal styrkingu r(t) móttekin frá umhverfinu (γ er afsláttarstuðullinn sem dregur úr gildi fjarlægari styrkja). Spá um styrkingu styrktar er reiknuð í sérstakri spáneining C, sem er hluti af gagnrýnandanum og myndar lokaða lykkju með kennsluþáttinn Aen aðal styrking kemur inn í gagnrýnandann með sérstöku inntaki r_t. Árangursrík styrkingarmerki hefur áhrif á samstillingarþyngd við komandi axons í leikaranum, sem miðlar framleiðsluna og í aðlögunarhæfisspár eininga gagnrýnandans. Endurprentað frá Barto (1995) með leyfi MIT Press. C: grunntenging basal ganglia sýnir sláandi svip á arkitektúr leikarans og gagnrýnandans. Dópamín vörpun gefur frá sér styrkingarmerkið til striatum og er sambærilegt við eininguna A í hlutum A og B, limbíska striatum (eða striosome plástur) tekur stöðu spáneiningarinnar C í gagnrýnandanum og sensorimotor striatum (eða fylki) líkist leikaraeiningunum B. Í upprunalegu gerðinni (A), Stóra frávikið frá þekktum grunnlíffræði í basli samanstendur af áhrifum taugafrumna A beinist að forsynaptískum skautum, en dópamín samfellingar eru staðsettar á postsynaptískum dendrites af legslímu taugum (Freund o.fl. 1984). Endurprentað frá Smith og Bolam (1990) með leyfi Elsevier Press.

Samanlagt, áhrifaríkt styrkingarmerki (Jöfnuður. 6 ) er samsett af aðalstyrkingunni, sem minnkar með nýjum spám (Jöfnuður. 6a) og er smám saman skipt út fyrir áunnnar spár (Jöfnuður. 6b og 6c). Með forspáráreynslu í röð, færist áhrifaríkt styrkingarmerki aftur í tímann frá aðalstyrkjum yfir í fyrsta styrkja sem spáir styrkja. Eftirútfærslan hefur í för með sér ákveðnara úthlutun á lánsfé til hlutaðeigandi samlíkingar, þar sem spár gerast nær í tíma til áreitis og hegðunarviðbragða sem á að skilyrða, samanborið við styrkingu í lok rannsóknarinnar (Sutton og Barto 1981).

Útfærslur styrktaráætlana hafa forspávillu á tvo vegu, til að breyta samstillingarþyngd fyrir hegðun og til að öðlast spárnar sjálfar til að reikna stöðugt spávilluna (mynd. 9 A) (McLaren 1989; Sutton og Barto 1981). Þessar tvær aðgerðir eru aðskildar í nýlegum útfærslum, þar sem spávillan er reiknuð í aðlagandi gagnrýnendahlutanum og breytir samstillingarþyngd í leikarahlutanum sem miðlar hegðunarútkomu (mynd. 9 B) (Barto 1995). Jákvæð villa eykur styrkingarspá gagnrýnandans en neikvæð villa frá slepptri styrkingu dregur úr spá. Þetta gerir áhrifaríka styrkingarmerki mjög aðlagandi.

Taugalíffræðilegar útfærslur tímabundins mismununarnáms

UMSÓKN VIÐ LYFJAFRÆÐILEG vandamál.

Þrátt fyrir að upphaflega hafi verið þróað á grundvelli Rescorla-Wagner líkansins af klassískum skilyrðum, læra líkön sem nota TD reiknirit margs konar atferlisverkefni með grundvallaratriðum hljóðfæraformi um ástand. Þessi verkefni ná frá því að halda jafnvægi á stöng á kerruhjóli (Barto o.fl. 1983) að spila heimsklassa kotra (Tesauro 1994). Vélmenni sem nota TD reiknirit læra að hreyfa sig um tvívídd og forðast hindranir, ná og grípa (Fagg 1993) eða stinga tappa í holu (Gullapalli o.fl. 1994). Notkun TD styrkingarmerkisins til að hafa bein áhrif á og velja hegðun (mynd. 9 A), TD líkön afrita fóðrun hegðun hunangsflugna (Montague o.fl. 1995) og líkja eftir ákvarðanatöku manna (Montague o.fl. 1996). TD líkön með afdráttarlausum gagnrýnanda og leikara arkitektúr eru mjög öflug líkön sem læra augað hreyfingar á skilvirkan hátt (Friston et al. 1994; Montague o.fl. 1993), raðhreyfingar (mynd. 10) og leiðbeina viðbrögðum (Contreras-Vidal og Schultz 1996). Nýleg líkan bætti við virkjandi-niðurdrepandi nýjungumerkjum til að bæta kennslumerkið, notaði áreiti og aðgerðarspor hjá gagnrýnandanum og leikaranum og notuðu allar reglur um sigurvegara til að bæta kennslumerkið og velja leikar taugafrumur með mestu virkjuninni. Þetta endurspeglaði í smáatriðum bæði svörun dópamín taugafrumna og námshegðun dýra í seinkuðum svörunarverkefnum (Suri og Schultz 1996). Sérstaklega er athyglisvert að sjá að kennslumerki sem nota spávillur leiða til hraðari og fullkomnari náms samanborið við skilyrðislaust styrkingarmerki (mynd. 10) (Friston et al. 1994).

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 10. 

Kostur forspárstyrkingarmerkja til náms. Tímabundið mismunarmódel með arkitektúr gagnrýnanda og leikara og hæfileika í leikaranum var þjálfað í röð 2 skref-3 valverkefni (innlagið efra vinstra megin). Nám þróaðist hraðar og náði meiri árangri þegar forspár styrkingarmerki var notað sem merki um kennslu (aðlagandi gagnrýnandi, efst) samanborið við að nota skilyrðislaust styrkingarmerki í lok prufu (botn). Þessi áhrif verða smám saman meira áberandi með lengri röð. Sambærilegur árangur með skilyrðislausu styrkingarmerkinu þyrfti mun lengri rekstrarhæfileika. Gögn voru fengin úr 10 uppgerð (R. Suri og W. Schultz, óbirtar athuganir). Svipuð framför í námi með forspár styrking fannst við líkan af oculomotor hegðun (Friston et al. 1994).

Hugsanlegir námsleiðir með dópamínmerkinu

Fyrri hlutinn hefur sýnt að formleg spávillumerki sem gefin er út af dópamínsvöruninni getur verið einkar viðeigandi kennslumerki fyrir líkananám. Eftirfarandi kaflar lýsa því hvernig mögulegt væri að nota líffræðilega dópamínviðbrögðin til að læra með grunnbyggingu ganglína og benda til prófanlegra tilgáta.

PÓSTSYNAPTIC PLASTICITY MEDEDED BY REWARD FORSIGNAL SIGNAL.

Nám myndi halda áfram í tveimur skrefum. Fyrsta skrefið felur í sér öflun dópamíns spá fyrir svörun. Í síðari rannsóknum myndi forspádópamínmerkið styrkja sérstaklega synaptic vægi (ω) af Hebbískri gerð barkæða- og fæðingarflagna sem eru virk á þeim tíma sem umbun er að spá fyrir um, en óvirk barkstoppa samsöfnun er óbreytt. Þetta leiðir til þriggja þátta námsreglunnar

Δω=ɛ rˆ i o

Jafna 8hvar r̂ er dópamín styrkingarmerki, i er innsláttarvirkni, o er framleiðsla virkni, og ɛ er námshlutfall.

Í einfölduðu líkani hafa fjórar barkstengisinnsláttir (i1 – i4) samband við tindarhrygg þriggja miðlungs stórra, spiny striatal taugafrumna (o1 – o3; mynd. 11). Barksterar aðföng renna saman á striatal taugafrumum, hver inntak snertir mismunandi hrygg. Sameiginleg dópamíninntak R. hefur óeðlilega samband við sömu hrygg. Virkjun dópamíninngangs R gefur til kynna að ófyrirséð áreynsluáreiti hafi átt sér stað í umhverfinu án þess að veita frekari upplýsingar (góðvild merki). Við skulum gera ráð fyrir að cortical input i2 er virkjað samtímis dópamín taugafrumum og kóðar einn af nokkrum sérstökum breytum af sama umbunarspá fyrir áreiti, svo sem skynjunarbreytileika þess, líkamshlið, litur, áferð og staðsetning, eða sérstakur breytu hreyfingar af stað með áreiti. A par af breytum fyrir þennan atburð væri kóðað með mengi barkstengis innganga i2. Barksterar aðföng i1, i3 og i4 sem ekki eru tengd núverandi áreiti og hreyfingum eru óvirk. Dópamínsvörunin leiðir til óselfbundinnar losunar dópamíns við allar dreifileiðir en myndi sértækar styrkja aðeins virka barkæða-og fæðingarstækkanir i2 – o1 og i2 – o2, að því tilskildu að inntak í barksterum sé nógu sterkt til að virkja stígandi taugafrumur o1 og o2.

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 11. 

Mismunandi áhrif alþjóðlegrar dópamínstyrkingarmerki á sértækan barkstopparækt. Dendritic spines of 3 medium-sized spiny striatal neurons o1, o2, and o3 are contacted by 4 cortical inputes i1, i2, i3, og i4 og með axonal varicosities from a single dopamine neuron Rons, of from a neuron Rons ). Hver striatal taugafruma fær ∼10,000 barkstera og 1,000 dópamín aðföng. Við staka tindrandi hrygg sameina mismunandi barksterar aðföng dópamíninntakið. Í 1 útgáfu af líkaninu bætir dópamínmerki samtímis virka sendingu á barkæða og fæðingu miðað við óvirka sendingu. Til dæmis er dópamíninntak R virkt á sama tíma og cortical input i2 en i1, i3, i4 eru óvirk. Þetta leiðir til breytinga á i2 → o1 og i2 → o2 sendingu en skilur i1 → o1, i3 → o2, i3 → o3 og i4 → o3 sendingar óbreyttar. Í útgáfu af líkaninu sem notar plastleiki eru synaptic þyngd barkstera samdráttar til langs tíma breytt með dópamín merkinu samkvæmt sömu reglu. Þetta getur átt sér stað þegar svörun dópamíns við skilyrtri áreiti verkar á samverkandi barkæða-og fæðingu sem einnig eru virkjaðir af þessu áreiti. Í annarri útgáfu, sem notar plastleiki, geta svörun dópamíns við aðallaunum virkað aftur á bak á tímabundna barkstera sem áður voru virkar. Þessar samstillingar væru gerðar gjaldgengar til breytinga með ímyndaðri taugafrumum sem voru eftir af þeirri starfsemi. Í samanburði á grunnbyggingu ganglína við nýlegt TD líkan á mynd. 9 B, dópamíninntak R endurtekur gagnrýnandann með taugafrumum A, striatum með taugafrumum o1 – o3 endurtekur leikarann ​​með taugafrumum B, cortical aðföng i1 – i4 endurtaka inntak leikarans og hin frábæra vörpun dópamíns taugafrumna R á mörgum hryggjum margra striatal taugafrumna o1 – o3 endurtekur alþjóðleg áhrif gagnrýnandans á leikarann. Svipaður samanburður var gerður af Houk o.fl. (1995). Þessi teikning er byggð á líffræðilegum gögnum eftir Freund o.fl. (1984), Smith og Bolam (1990), Flaherty og Graybiel (1993)og Smith o.fl. (1994).

Þetta námsferli notar áunnið dópamínsvörun þegar hvati er spáð fyrir umbun sem kennslumerki til að framkalla langvarandi samstillingarbreytingar (mynd. 12 A). Að læra á forspárörvun eða hreyfingu sem kallast á er byggð á sýnilegri aftöku dópamíns viðbragða við umbunarspá fyrir áreiti ásamt dópamínháðri plastleiki í striatum. Plastbreytingar geta að öðrum kosti átt sér stað í cortical eða subcortical mannvirkjum downstream frá striatum eftir dópamín miðlað skammtímabundna aukningu á synaptic transmission í striatum. Afturvirk áhrif umbunar á áreiti og hreyfingar á undan umbuninni eru miðlaðar af svörunartilfærslunni til fyrsta hvata sem spá fyrir um launin. Dópamín svörun við fyrirspurn eða sleppt aðal umbun er ekki notuð við plastbreytingum í striatum þar sem það gerist ekki samtímis atburðunum sem á að skilyrða, þó að það gæti verið þátttakandi í útreikningi á dópamín svörun við umbunarspá hvati á hliðstæðan hátt arkitektúr og fyrirkomulag TD módel.

• Sæktu mynd
• Opnaðu í nýjum flipa
• Niðurhal powerpoint

Fig. 12. 

Áhrif dópamínstyrkingarmerki á hugsanlegt námsferli í striatum. A: spádómandi svörun dópamíns við skilyrt áreiti (CS) hefur bein áhrif eða mýkingaráhrif á fósturlátaeinfærslu sem tengist því áreiti. B: svörun dópamíns við aðal umbun hefur afturvirka mýkingaráhrif á taugaboð frá stungum í tengslum við undanfarandi skilyrt áreiti. Þetta fyrirkomulag er miðlað af rekstrarhæfileikum sem eru umfram stríðsrekstur. Traustar örvar benda til beinna áhrifa dópamíns merkis á taugaboðefnaleysi (A) eða rekstrarhæfi (B), lítil ör í B gefur til kynna óbein áhrif á taugaboðefnin í gegnum fæðingu um hæfisskortinn.

Rafmagnsörvun dópamín taugafrumna sem óskilyrt áreiti

Raförvun örvandi heila svæða er áreiðanleg styrking til að öðlast og viðhalda nálgun hegðun (Olds og Milner 1954). Sumir mjög árangursríkir örvunarstaðir fara saman við dópamínfrumuhluta og axonbúnt í miðhjálp (Corbett og vitur 1980), nucleus accumbens (Phillips o.fl. 1975), striatum (Phillips o.fl. 1976) og forstilltu heilaberki (Mora og Myers 1977; Phillips o.fl. 1979), en finnast einnig í mannvirkjum sem eru ekki tengd dópamínkerfum (Hvítur og Milner 1992). Rafmagns sjálfsörvun felur í sér virkjun dópamín taugafrumna (Fibiger og Phillips 1986; Wise og Rompré 1989) og er minnkað með 6-hýdroxýdópramín af völdum dópamínaxóna (Fibiger o.fl. 1987; Phillips og Fibiger 1978), hömlun á dópamínmyndun (Edmonds og Gallistel 1977), óvirkjun afskautunar dópamín taugafrumna (Rompré og vitrir 1989), og dópamínviðtakablokka gefnir kerfisbundið (Furiezos og Wise 1976) eða í nucleus accumbens (Mogenson o.fl. 1979). Sjálf örvun er auðvelduð með aukningu á kókaíni eða amfetamíni í utanfrumu dópamíni (Colle og vitur 1980; Stein 1964; Wauquier 1976). Sjálförvun eykur beinan notkun dópamíns í kjarna accumbens, striatum og framan barka (Fibiger o.fl. 1987; Mora og Myers 1977).

Það er forvitnilegt að ímynda sér að rafdráttur dópamíns hvata og losun geti þjónað sem óskilyrt áreiti í tengslum við nám, svipað og örvun octopamine taugafrumna í hunangsflugum sem læra proboscis viðbragð (Hamar 1993). Samt sem áður er dópamínbundin sjálfsörvun frábrugðin að minnsta kosti þremur mikilvægum þáttum frá náttúrulegri virkjun dópamín taugafrumna. Frekar en aðeins að virkja dópamín taugafrumur, virkja náttúruleg umbun venjulega nokkur taugakerfi samhliða og leyfa dreifðri kóðun mismunandi umbunareininga (sjá nánari texta). Í öðru lagi er raförvun beitt sem skilyrðislausri styrkingu án þess að endurspegla villu í spá fyrir umbun. Í þriðja lagi er raförvun aðeins afhent eins og umbun eftir hegðunarviðbrögð, frekar en þegar hvati er spáð fyrir umbun. Það væri fróðlegt að beita rafrænum sjálfsörvun á nákvæmlega sama hátt og dópamín taugafrumur gefa frá sér merki.

Námsskortur með skert taugaboðefni dópamíns

Margar rannsóknir rannsökuðu hegðun dýra með skert taugaboðefni dópamíns eftir staðbundna eða kerfisbundna notkun dópamínviðtakablokka eða eyðileggingu dópamínaxóna í miðlæga miðhjúpi, kjarnaaðstöðu eða striatum. Fyrir utan að hafa fylgst með hreyfingu og vitsmunalegum skorti sem minntu á Parkinsonismi, leiddu þessar rannsóknir í ljós skerðingu á vinnslu upplýsinga um umbun. Fyrstu rannsóknirnar héldu fram halli á huglægri, hedonic skynjun á umbun (Vitur 1982; Wise o.fl. 1978). Frekari tilraunir leiddu í ljós skert notkun frumrauna og skilyrt áreiti fyrir nálgun og fullkominn hegðun (Beninger o.fl. 1987; Ettenberg 1989; Miller o.fl. 1990; Salamone 1987; Ungerstedt 1971; Vitur og Colle 1984; Vitur og Rompre 1989). Margar rannsóknir lýstu á skerðingu í hvatningar- og athyglisferlum sem liggja að baki matarlyst (Beninger 1983, 1989; Beninger og Hahn 1983; Fibiger og Phillips 1986; LeMoal og Simon 1991; Robbins og Everitt 1992, 1996; Hvítur og Milner 1992; Vitur 1982). Flestir námsgallar eru tengdir skertri taugaboðefni dópamíns í kjarnahúsi en skerðing á ristli á baki leiðir til skorts á skynjara (e. Sensorimotor deficiency) (Amalric og Koob 1987; Robbins og Everitt 1992; Hvítur 1989). Hinsvegar virðist oft hlíft við námi á tækjaverkefnum almennt og mismununarörvandi eiginleikum einkum og það er ekki að öllu leyti leyst hvort einhverjum sýnilegum námsskorti getur verið ruglað saman vegna skorts á vélknúnum árangri (Salamone 1992).

Úrkynning dópamín taugafrumna í Parkinsonsveiki leiðir einnig til fjölda yfirlýsingar- og verklagsskorts á námi, þar á meðal tengdanám (Linden o.fl. 1990; Sprengelmeyer o.fl. 1995). Gallar eru til staðar í námi og reynsla með strax styrking (Vriezen og Moscovitch 1990) og þegar skýrt áreiti er tengt mismunandi niðurstöðum (Knowlton o.fl. 1996), jafnvel á fyrstu stigum Parkinsonsveiki án barkaþrengingar (Canavan o.fl. 1989). Parkinsonsjúklingar sýna einnig skertan tíma skynjun (Prestur o.fl. 1992). Allur þessi halli er til staðar í viðurvist L-Dopa meðferðar, sem endurheimtir donic dópamín magn, án þess að setja aftur fasísk dópamínmerki.

Þessar rannsóknir benda til þess að dópamín taugaboð gegni mikilvægu hlutverki í vinnslu umbóta fyrir aðferðahegðun og í námsformi sem felur í sér tengsl milli áreitis og umbóta, en hægt væri að draga í efa þátttöku í fleiri lykilformum náms. Það er óljóst hvort þessi skortur endurspeglar almennari óvirkingu hegðunar vegna tonískt minni dópamínviðtakaörvunar frekar en skortur á fasískum dópamín umbunarmerkjum. Til að leysa þessa spurningu, svo og nánar tilgreina hlutverk dópamíns í mismunandi námsformum, væri gagnlegt að rannsaka nám við þær aðstæður þar sem fasísk dópamínviðbrögð við mataráreiti eiga sér stað í raun.

Námsform mögulega miðlað af dópamínmerki

Einkenni dópamínviðbragða og hugsanleg áhrif dópamíns á stofnfrumur taugafrumna geta hjálpað til við að afmarka nokkur af þeim námsformum sem dópamín taugafrumur geta verið þátttakendur í. Æskileg viðbrögð við matarlyst, öfugt við andstæða atburði, myndu greiða þátttöku í að læra nálgun hegðun og miðla jákvæðum styrkingaráhrifum, frekar en afturköllun og refsingu. Viðbrögðin við aðal umbun utan verkefna og námssamhengis myndu gera dópamín taugafrumum kleift að gegna hlutverki í tiltölulega breitt svið náms sem felur í sér aðal umbun, bæði í klassískum og tæknilegum skilyrðum. Viðbrögðin við spá fyrir umbun sem spá fyrir um spegla endurspegla samtök um áreiti og umbun og myndu samrýmast þátttöku í umbunarvæntingum sem liggja til grundvallar almennu hvatningarnámi (Bindra 1968). Aftur á móti kóða dópamín svör ekki beinlínis umbun sem markmiðshluti, þar sem þau tilkynna aðeins um villur í umbunarspá. Þeir virðast einnig vera ónæmir fyrir hvatningarástandi og valda því óhagstæðu hlutverki í ástandi hvata til að ná markmiði sem beinast að markmiðum (Dickinson og Balleine 1994). Skortur á skýrum tengslum við handleggshreyfingar og augnhreyfingar myndi valda hlutverki í því að miðla beinum hegðunarviðbrögðum sem fylgja hvatningarörvun. Hins vegar er samanburður á milli losunar á einstökum taugafrumum og læra á heilar lífverur í eðli sínu erfiður. Á synaptic stigi nær fasískt losað dópamín margar dendrites á líklega sérhverja dreifða taugafrumu og gæti þannig haft plastleiki á stóran fjölda atferlisþátta sem taka þátt í striatum, sem getur falið í sér að læra á hreyfingar.

Sérstök skilyrði þar sem fasísk dópamínmerki geta gegnt hlutverki í námi eru ákvörðuð af hvers konar áreiti sem í raun vekur dópamín svörun. Í dýrarannsóknarstofunni krefjast svörunar dópamíns fasískt tilfinning af lystandi, nýjum, eða sérstaklega áberandi áreiti, þar með talið aðal næringarefni og umbun sem spáir umbun, en hvötunarörvun spilar ekki stórt hlutverk. Dópamínviðbrögð geta komið fram við allar hegðunaraðstæður sem stjórnað er af fasískum og skýrum niðurstöðum, þó að hærri röð áreynslu og efri liðsauka hafi enn ekki verið prófuð. Phasic dopamine svör myndu líklega ekki gegna hlutverki í námsformum sem ekki eru miðluð af fasískum niðurstöðum og forspárgögnin myndu ekki geta stuðlað að námi við aðstæður þar sem fasískt forspárörvun kemur ekki fram, svo sem tiltölulega hægar breytingar á samhengi . Þetta leiðir til þeirrar áhugaverðu spurningar hvort að hlífa sumum tegundum af námi með dópamínskemmdum eða taugasýkingalækningum gæti einfaldlega endurspeglað skort á fasískum dópamínviðbrögðum í fyrsta lagi vegna þess að áhrifaríkt áreiti sem vekja þau ekki var notað.

Þátttöku dópamínmerkja í námi má lýsa með fræðilegu dæmi. Ímyndaðu þér dópamínviðbrögð við öflun seríum viðbragðstíma þegar rétt viðbrögð leiða skyndilega til næringarefna umbunar. Verðlaunasvöruninni í kjölfarið er flutt yfir í smám saman áreiti sem spáð hefur verið í umbun. Viðbragðstímar bæta enn frekar við langvarandi æfingu eftir því sem staðbundnar stöður markmiða verða sífellt fyrirsjáanlegri. Þrátt fyrir að dópamín taugafrumur haldi áfram að bregðast við áreiti sem spá fyrir um launin, gæti frekari framför hegðunar aðallega verið vegna þess að önnur taugakerfi hafa aflað sjálfvirkrar vinnslu staðbundinna staða. Þannig myndu dópamín svör koma fram við upphaflegan hvataþátt námsins þar sem einstaklingar koma til að nálgast hluti og fá skýr aðal og mögulega skilyrt umbun. Þeir myndu minna taka þátt í aðstæðum þar sem framfarir í námi fara fram úr því að framkalla nálgun hegðun. Þetta myndi ekki takmarka dópamínhlutverkið við fyrstu skref í námi þar sem margar aðstæður þurfa að læra af dæmum og fela í sér síðar nám með skýrum árangri.

Spá í villu

Spávillumerki dópamín taugafrumna væri frábært vísbending um matarlyst umhverfisviðburða miðað við spá en tekst ekki að greina á milli matvæla, vökva og áreynslu-spá fyrir áreiti og meðal sjón, heyrnar og sveiflukenndunaraðferða. Þetta merki getur verið verðmæt skilaboð um verðlaun þar sem taugafrumum eftir fóstur er upplýst um óvart útlit eða aðgerðaleysi á gefandi eða mögulega gefandi atburði án þess að gefa frekari upplýsingar um deili á því. Það hefur öll formleg einkenni öflugs styrkingarmerkis til náms. Upplýsingar um sérstaka umbun skipta þó sköpum til að ákvarða hvaða hluti ætti að nálgast og með hvaða hætti. Til dæmis ætti svangur dýr fyrst og fremst að nálgast mat en ekki vökva. Til að greina viðeigandi frá óviðeigandi umbun þarf að bæta við dópamínmerkinu með viðbótarupplýsingum. Nýlegar in vivo skilunartilraunir sýndu meiri losun dópamíns af matvælum hjá svöngum en mettaðri rottu (Wilson o.fl. 1995). Þetta drifháð dópamínlosunar getur ekki falið í sér viðbragðssvörun, þar sem okkur hefur ekki tekist að finna skýra drifháð með dópamínviðbrögðum þegar samanburður var á fyrstu og seint tímabilum einstakra tilraunatímabila þar sem dýr urðu vökvamettandi (JL Contreras-Vidal og W. Schultz, óbirt gögn).

Verðlauna sérkenni

Upplýsingar um vökva og umbun í matvælum eru einnig unnar í heilauppbyggingum öðrum en dópamíni taugafrumum, svo sem bors- og vöðvastrætu, kjarni í utanþéttu, amygdala, bólga í forrétthyrndri heilaberki, heilabarkar á framhlið og framan cingulate heilaberki. Samt sem áður virðast þessi mannvirki ekki senda frá sér alþjóðlegt umbunarspegilskýrni svipað og dópamín taugafrumum. Í prímötum vinna þessi mannvirki umbun sem 1) skammvinn svör eftir afhendingu umbunar (Apicella o.fl. 1991a,b, 1997; Bowman o.fl. 1996; Hikosaka o.fl. 1989; Niki og Watanabe 1979; Nishijo o.fl. 1988; Tremblay og Schultz 1995; Watanabe 1989), 2) skammvinn viðbrögð við vísbendingum um umbun sem spáð er fyrir um (Aosaki o.fl. 1994; Apicella o.fl. 1991b; 1996; Hollerman o.fl. 1994; Nishijo o.fl. 1988; Thorpe o.fl. 1983; Tremblay og Schultz 1995; Williams et al. 1993), 3) viðvarandi örvun á von á umbun sem er strax komin (Apicella o.fl. 1992; Hikosaka o.fl. 1989; Matsumura o.fl. 1992; Schultz o.fl. 1992; Tremblay og Schultz 1995), Og 4) breytingar á hegðunartengdri virkjun með spáð fyrir umbun (Hollerman o.fl. 1994; Watanabe 1990, 1996). Margar af þessum taugafrumum greina vel á milli mismunandi umbunar matar og á milli mismunandi vökva umbuna. Þannig afgreiða þeir sérstaka eðli gefandi atburðar og geta þjónað skynjun umbunar. Sum umbunarsvörunar eru háð því að óútreiknanlegur verðlaun og eru minni eða fjarverandi þegar umbuninni er spáð með skilyrtu áreiti (Apicella o.fl. 1997; Matsumoto o.fl. 1995; L. Tremblay og W. Schultz, óbirt gögn). Þeir kunna að vinna úr spám fyrir ákveðin umbun, þó að það sé óljóst hvort þau merki um spávillur þar sem svör þeirra við slepptum umbunum eru óþekkt.

Viðhalda rótgrónum árangri

Þrír taugakerfi virðast vera mikilvægir til að viðhalda staðfestum hegðunarárangri, nefnilega að greina umbun sem sleppt er, greina áreynslu sem spá fyrir um laun og greina spáð umbun. Dópamín taugafrumum er þunglyndi þegar spáð er umbun. Þetta merki gæti dregið úr virkni samstillingar tengdum röngum hegðunarviðbrögðum og komið í veg fyrir endurtekningu þeirra. Viðbrögð dópamíns við áreiti sem spá fyrir umbun er viðhaldið við staðfesta hegðun og heldur því áfram að vera upplýsingar fyrirfram. Þrátt fyrir að umsvifamikil umbun séist ekki af dópamíni taugafrumum, eru þau unnin af nortopaminergic cortical og subcortical kerfum sem nefnd eru hér að ofan. Þetta væri mikilvægt til að forðast útrýmingu lærðrar hegðunar.

Samanlagt virðist sem vinnsla á sérstökum umbunum fyrir að læra og viðhalda nálgunahegðun myndi hagnast mjög á samvinnu milli dópamíns taugafrumna sem gefa til kynna óútreiknaðan atburð eða sleppingu umbunar og taugafrumna í hinum byggingunum samtímis, sem gefur til kynna sérstaka eðli umbunarinnar.

Noradrenalín taugafrumur

Næstum allur íbúi noradrenalín taugafrumna í locus coeruleus hjá rottum, köttum og öpum sýnir fremur einsleitar, tvífasa örvandi þunglyndisviðbrögð við sjónrænum, hljóðrænum og sveiflukenndri áreiti sem vekur upp viðbragðsviðbrögð (Aston-Jones og Bloom 1981; Foote o.fl. 1980; Rasmussen o.fl. 1986). Sérstaklega árangursríkir eru sjaldgæfir atburðir sem dýr gefa eftir, svo sem sjónræn áreiti í mismunun verkefna í oddbolta (Aston-Jones o.fl. 1994). Noradrenalín taugafrumur greina mjög vel milli vekja eða hvetjandi og hlutlausra atburða. Þeir öðlast hratt svör við nýju markmiðsörvun við afturköllun og missa svör við fyrri markmiðum áður en hegðunarhegðun er lokið (Aston-Jones o.fl. 1997). Viðbrögð eiga sér stað við að losa vökva utan hvers verkefnis og yfirfæra í umbun sem spáir fyrir um markáreiti innan verkefnis sem og aðal og skilyrt andstætt áreiti (Aston-Jones o.fl. 1994; Foote o.fl. 1980; Rasmussen og Jacobs 1986; Sara og Segal 1991). Svörin eru oft tímabundin og virðast endurspegla breytingar á örvunartilvikum eða merkingu. Virkjun getur aðeins átt sér stað í nokkrum rannsóknum með endurteknum kynningum á matarefnum (Vankov o.fl. 1995) eða með skilyrtri áheyrnarörvun í tengslum við fljótandi umbun, andstæða loftbólgu eða raflosti.Rasmussen og Jacobs 1986; Sara og Segal 1991). Við ástandið koma svör við fyrstu kynningum á nýjum áreiti og birtast tímabundið þegar styrkingartilvik breytast við öflun, bakfærslu og útrýmingu (Sara og Segal 1991).

Samanlagt líkjast svörun noradrenalín taugafrumna svörun dópamíns taugafrumna að ýmsu leyti, virkjuð með aðal umbun, áreynsluáreiti og áreynslu á nýjan leik og flytja svörunina frá aðallystingum yfir í skilyrtan atburði. Samt sem áður eru noradrenalín taugafrumur frábrugðnar dópamín taugafrumum með því að bregðast við miklu stærra úrvali af örvandi áreiti, með því að bregðast vel við aðal og skilyrt andstætt áreiti, með því að greina vel frá hlutlausu áreiti, með því að fylgja hratt eftir hegðun og með því að sýna minnkandi svör með endurteknu áreiti kynning sem gæti krafist 100 rannsókna á traustum matarlystarsvörum (Aston-Jones o.fl. 1994). Svörun noradrenalíns er sterklega tengd því að vekja eða vekja athygli einkenna áreiti sem vekja athygli á viðbrögðum meðan þau eru mun minna einbeitt á lystareiginleika eins og flestir dópamín taugafrumur. Þeir eru líklega knúnir áfram af athyglisbragði en hvetjandi þáttum matarlystna.

Serótónín taugafrumur

Virkni í mismunandi raphe kjarna auðveldar mótorafköst með því að stilla vöðvaspennu og staðalímyndaða hreyfivirkni (Jacobs og Fornal 1993). Rjúpu taugafrumur í baki hjá köttum sýna fasísk, svívirðileg viðbrögð við sjón- og heyrnarörvun sem hefur enga sérstaka atferlisfræðilega þýðingu (Heym o.fl. 1982; LeMoal og gamlir 1979). Þessi svör líkjast svörum dópamíns taugafrumna við nýjungum og sérstaklega áberandi áreiti. Frekari samanburður þyrfti ítarlegri tilraunir.

Nucleus basalis Meynert

Helstu taugafrumur í grunnhjálp eru virkjaðar fasískt með fjölmörgum atferlisatburðum, þ.mt skilyrt áreynsluáreiti og aðal umbun. Margar aðgerðir eru háðar minni og samtökum sem styrkja mismunun og seinkuð viðbragðsverkefni. Virkjanir endurspegla þekkingu áreitis (Wilson og Rolls 1990a), verða mikilvægari með áreiti og hreyfingum sem eiga sér stað nær umbunartímann (Richardson og DeLong 1990), greina vel á milli sjónræns áreynslu á grundvelli lystandi og andstæða samtaka (Wilson og Rolls 1990b), og breytast innan nokkurra rannsókna við afturköllun (Wilson and Rolls 1990c). Taugafrumur eru einnig virkjaðir með andstyggilegu áreiti, spáð sjón- og heyrnarörvun og hreyfingum. Þeir bregðast oft við að fullu spáð umbun í vel staðfestu atferlisverkefnum (Mitchell o.fl. 1987; Richardson og DeLong 1986, 1990), þó að viðbrögð við óútreiknuðum umbunum séu algengari í sumum rannsóknum (Richardson og DeLong 1990) en ekki í öðrum (Wilson og Rolls 1990a-c). Í samanburði við dópamín taugafrumur eru þær virkjaðar með miklu stærra litrófi áreitis og atburða, þar með talið andstyggilegum atburðum, og sýna ekki frekar einsleita íbúasvörun við ófyrirséðum umbun og flutningi þess á áreiti sem spá fyrir um.

Klifrefjar með heila

Sennilega var fyrsta villubundna kennslumerkið í heilanum komið fyrir til að fela í sér vörpun klifurtrefja frá óæðri ólífu til Purkinje taugafrumna í heilaberkinum (Marr 1969), og margar rannsóknir á háskólanámi eru byggðar á þessu hugtaki (Houk o.fl. 1996; Það 1989; Kawato og Gomi 1992; Llinas og velska 1993). Að klifra trefjainntak til Purkinje taugafrumna breytir tímabundið virkni sinni þegar álag fyrir hreyfingar eða hagnað er á milli hreyfinga og sjónræn endurgjöf er breytt og öpum aðlagast nýju ástandi (Gilbert og Thach 1977; Ojakangas og Ebner 1992). Flestar þessar breytingar samanstanda af aukinni virkni frekar en virkjun á móti þunglyndissvörum sem sjást með villum í andstæðar áttir í dópamín taugafrumum. Ef örvun klifurtrefja ætti að þjóna sem kennslumerki, ætti samtengd klifur á trefjum samsíða trefjum að leiða til breytinga á samsíða trefjainntaki til Purkinje taugafrumna. Þetta gerist reyndar sem langtíma þunglyndi samsíða trefjainntaks, aðallega í in vitro efnablöndum (Það 1989). Sambærilegum samsíða trefjarbreytingum er þó erfiðara að finna í atferlisfræðilegum aðstæðum (Ojakangas og Ebner 1992), þannig að afleiðingar hugsanlegra klifurmerkja um klifur trefjar eru opnar um þessar mundir.

Önnur rök fyrir hlutverki klifra trefja í námi felur í sér andstæða klassíska ástand. Brot af klifurtrefjum er virkjað með svívirðri loftblástur til hornhimnunnar. Þessi svör týnast eftir að Pavlovian augnlok ástand var notað með hljóðrænt áreiti (Sears og Steinmetz 1991), sem bendir til tengsla við ófyrirsjáanleika aðal ógeðfelldra atburða. Eftir skilyrðingu svara taugafrumur í heilaþéttni kjarnans á skilyrt áreiti (Berthier og Moore 1990; McCormick og Thompson 1984). Sár á þessum kjarna eða sprautur af GABA mótlyfinu tvíkúplínu í óæðri ólífuolíuna kemur í veg fyrir að óregluleg svörun við ólífu lofti blási til baka eftir skilyrðingu, sem bendir til þess að monosynaptic eða polysynaptic hömlun frá interpositus til óæðri ólífuolíu svari svörun eftir skilyrðingu (Thompson og Gluck 1991). Þetta gæti gert það að verkum að ódýrar ólífu taugafrumur geta verið þunglyndar án þess að spáð sé andstætt áreiti og tilkynnt þannig um neikvæða villu í spá um andstæða atburði svipaða dópamín taugafrumum.

Þannig að klifurtrefjar geta greint frá villum í hreyfiframförum og villum í spá um tálgandi atburði, þó að þetta gæti ekki alltaf falið í tvíleiðisbreytingum eins og með dópamín taugafrumum. Klifurtrefjar virðast ekki fá svör við skilyrtum hvataörvun, en slík svör er að finna í nucleus interpositus. Útreikningur á aversive spávillum getur falið í sér lækkandi hamlandi aðföng til óæðri ólífu taugafrumna, á hliðstæðan hátt við stríði spár til dópamín taugafrumna. Þannig afgreiða heilarásir villumerki, að vísu á annan hátt en dópamín taugafrumur og TD líkön, og þeir gætu innleitt villureglur eins og Rescorla-Wagner reglan (Thompson og Gluck 1991) eða formlega samsvarandi Widrow-Hoff regla (Kawato og Gomi 1992).