Тинейджер Белгисиздик жана TD Learning (2005)

КОММЕНТАРИЙ: Белгисиздик жаңылык дегенди билдирет. Бул татаал изилдөө жаңылык допаминди көбөйтөт деп тастыктайт. Ошондой эле сыйлык канчалык белгисиз болсо, окуу ошончолук күчтүү болот деп түшүндүрөт. Интернет порносу чексиз жаңылыктын айынан өткөн порнодон айырмаланып турат - демек, допаминдин чексиз чырылдашы дегенди билдирет. Негизги көз карандылык - бул үйрөнүү жана эс тутум. Порнонун жаңы жанрына өтүү допаминди жана үйрөнүүнү активдештирет - башыңыздан өткөрө турган нерсенин белгисиздигинен. Порно колдонуучулар порнону издегенде дагы белгисиздик пайда болот. Сиз эмнени көрөөрүңүздү билбейсиз жана допаминди жок кылат.
Жаңылык, белгисиздик, бардык тинейджер жаратууга издеп

Толук изилдөөсү: тинейджер Белгисиздик жана TD Learning

Жүрүм-турум жана Brain Functions 2005, 1:6doi:10.1186/1744-9081-1-6

Yael Niv1,2, Майкл О Duff2 жана Петир Dayan2
1 аралык Нейрон эсептөө борбору, Hebrew University, Иерусалимде Ысрайылдын
2 Gatsby ооз Neuroscience Unit, University College London, Лондон, Улуу Британия
Бул макалада электрондук версия толугу менен бири болуп саналат жана онлайн тапса болот: http://www.behavioralandbrainfunctions.com/content/1/1/6
© 2005 КҮНДҮН ж.б.; Жер казынасы Biomed Борбордук Ltd.

жалпылаган

Олуттуу далилдер приматтардын midbrain менен dopaminergic нейрондордун .Суигон иш тиешелүүлүгүнө жараша, бир убакыт периоду айырма (TD) Келечекте ала турган сыйлыгыбызды прогноздорго ката, жогору жана алдын ала оң жана терс каталар боюнча баштапкы улам төмөн кыскарышы көбөйөт менен билдирет деп айтууга болот. Бирок, тинейджер клеткалары ката бул эки түрдүү өкүлчүлүгү ассиметриялуу экенин билдирет өтө төмөн баштапкы иш бар. Биз кайра-алдын каталары алып ыктымалдык, белектерин көтөрүп, эксперименттерде dopaminergic атаандаша үлгүлөрүнүн чечмелөө үчүн бул көрүнгөн кыял ассиметрия кесепеттерин изилдөө. Атап айтканда, биз эмес туруктуу алдын ала каталарды сыноолорго боюнча орто эсеп менен алганда, ал тинейджер нейрондордун ишине бир ыргак менен, анын күчү, айкын болушу керектигин көрсөткөн окуу курсуна жараша болот. Бул так көрүнүш адашуу ичинде тергөө коддоо катары антиподыла жагынан да мааниси да, жакында экспериментте байкалган.

тааныштыруу

dopaminergic боюнча .Суигон байланыштуу психологиялык, элестетүүлөр жана psychopharmacological маалыматтардын жаярына чоң орган бар (DA) келечекте сыйлык [1-5] жөнүндө алдын ала тартуу маймылдарга, келемиштер классикалык жана аспаптык аналоги милдеттерди жана адамдардын midbrains клеткалар. Мындай маалымат, келечекте сыйлык жылы [6,7] DA нейрон иши убактылуу айырмасын билдирет деп (TD) каталарды сунуш алып алдын ала берилди [8,9]. тинейджер Бул TD теориясы жүрүм-турумдук жана нейрон маалыматтардын тизмесине түшүнүү үчүн так эсептөө негиз берет. Мындан тышкары, ал да алдын ала жана сыйлык-оптималдаштыруу иш-аракеттерди да окутуунун көзөмөлдөө үчүн теориялык жактан ылайыктуу белги менен камсыз кылып турат.

TD теориясынын пайдасына абдан ынанымдуу далилдер айрым негизсиз стимулдарга жооп тинейджер клеткалардын .Суигон жандануусуна тергөө изилдөөлөрдүн келип чыккан (мисалы, мониторго Спорт үлгүлөрүнүн катары) акыбет proximate бар экендигин алдын ала (мисалы, шире тамчыларындай) . көп генеалогиялык, бул окутуу, .Суигон DA сигналдар өткөрүп башында күтүүсүз сыйлык учурдан тартып, сыйлык алдын ала алгачкы бүркөлө убакта менен көрсөттү. Бул так бир убакыт периоду-айырма негизинде алдын ала күнөөсү үчүн Күтүлгөн натыйжа болуп саналат (мисалы, [1,2,10-13].). негизги тыянак [7] сыйлык күтүүсүз (алгачкы соттук териштирүүгө сөзсүз эмес) болсо, тинейджер клеткалары ага катуу жооп болуп саналат. сыйлык болжолдонууда Бирок, клеткалар божомолдоолордун жооп, ал эми азыр күтүлгөн сыйлык үчүн эмес.

алдын сыйлык күтүүсүздөн кереги жок болсо, анда клеткалар phasically сыйлык кадимки учурда тыюу салынат, сыйлык алдын-ала [10] так убактысын ачып, жана убактылуу көрсөткүчтөрү учурда соттук-медициналык борбордун астында турган бир тыюу салуу [14]. Сыйлык мезгилинен божомолдоочу мезгилге чейинки иштин жылышы, жаныбарлардын табитке мүнөздүү жүрүм-турум реакциясынын сыйлык мезгилинен (шартсыз стимул) классикалык кондиционердик эксперименттердеги шарттуу стимулга өтүүсүнө окшош [7,10]. .

абдан кызыктуу акыркы изилдөөдө, Fiorillo ж.б.. [15] ар бир териштирүү боюнча сакталып, өзгөрбөгөн бир, алдын ала ката бар жарым-жартылай күчөтүү ишин текшерилет. TD алдын ката гипотеза боюнча ачык чечмелениши мындай учурда деп ойлойм (а) тинейджер сооп жарыш сигналдар ыктымалдуулук менен ченей турган убакта иш, жана (б) сыноолор ичинде орточо, стимулдоочу кийин dopaminergic жооп жана сооп убагында баары, нөлгө барабар болушу керек. биринчи гипотезаны эксперименттерде тастыкталган да, экинчи эмес. ортосундагы сотко орточо жооп TD эске алуу менен карама-каршы көрүнгөн стимул түшкөнгө жана баталардын ортосунда кармалып жаткандыктан, ишин так ыргак менен көрсөттү. Fiorillo ж.б.. Бул иш-чара бир божомол ката эмес, сыйлык берүү белгисиздигин, экенин ойлоп чыгарылды.

Бул эмгекте, биз туруктуу алдын ката маселени барат. Биз, оң жана терс алдын ала каталардын коддолушундагы маанилүү асимметрия бир ортосундагы тергөө орточо тинейджер сигнал менен ыргак менен күтүп алып барарын айкын көрсөтүп турат (Келечектеги) сооп убакта көрүнгөн туруктуу ишин, ошондой эле жок (же, жок эле дегенде алсырап) ыргак менен белги, бирок сыйлык учурда белги эмес, - ошондой эле жакшы DA сигналдардын эки ары өзгөчөлүктөр үчүн эсептер эмес, изи да калган алдында аналоги кечиктирүүгө. бул көрүнүштөрдүн эки эле Morris ж.б. байланыштуу аспаптык аналоги эксперименттеринде байкалган. [16]. Акыр-аягы, биз жарыш сөз стимулдарга мезгилге чейин тинейджер ишинде жылыштар пайда турган билим берүү механизмдерин жаратылышы үчүн азыркы учурда мыкты далил катары ыргак менен сигнал жоромолдошот.

сыйлык чыгышында темптери: DA ыргак

Фиорилло жана башкалар. [15] макакаларга беш башка визуалдык стимулдарды сунуштоону кечигип, ыктымалдуулук менен (pr = 0, 0.25, 0.5, 0.75, 1) шире сыйлыктарын жеткирүү менен байланыштырышкан. Алар стимул жок болгондо сыйлык жеткирилип, 2s белгиленген аралыктагы стимул сакталып турган кечигүү шарттаган парадигманы колдонушту. Тренингден кийин маймылдардын күтүп жаткан жалап жүрүм-туруму, алар ар бир стимулга байланыштуу ар кандай сыйлык ыктымалдуулуктары жөнүндө билишкенин көрсөттү.

Figure 1a Ар бир ПРга мамлекеттер боюнча, extracellularly-жазылган DA клетка иш-калктын histograms көрсөтөт. TD теориясы .Суигон көрүү сигналдар учурунда DA клеткалардын жандандыруу орточо күтүлгөн сыйлык ылайык келүүгө тийиш, ошондуктан мэрине менен көбөйтүү керек деп божомолдойт. Чынында эле, бүткүл дүйнөдө, көбөйүшү кыйла сызыктуу эмес - Figure 1a дал ушул көрсөтөт. Morris ж.б.. [16] Ошондой эле ыктымалдык катаалдаштыруу камтыган аспаптык (изи) аналоги тапшырмасында ушундай жыйынтык отчет.

Figure 1. бир ыктымалдык сыйлык тапшырмасында орточо алдын ала каталары
(а) ар кандай сыйлык ыктымалдыгы менен сыноолорго DA жооп. Популяциянын пери-стимулдаштыруучу убактысынын гистограммалары (PSTHs) ар кандай пр, үчүн орто аралык ыктымалдыктар боюнча сыйланган жана кайтарылбаган сыноолорго топтолгон бир нече DA нейрондорунун активдештирилген активдүүлүгүн көрсөтөт. (б) асимметриялык масштабда ТД болжолдоо катасы. Симуляцияланган тапшырмада, ар бир сыноодо беш стимулдун бири кокустан тандалып алынып, t = 5 убагында көрсөтүлдү, t = 25те стимул өчүрүлүп, ошол учурда стимул тарабынан көрсөтүлгөн pr ыктымалдыгы менен сыйлык берилди. Биз дүүлүктүргүчтөрдүн кечиктирилген сызык менен чагылдырылышын колдондук (текстти караңыз), ар бир дүүлүктүрүүчү бирдиктин ар кандай топтому ('нейрон') менен чагылдырылган. TD катасы δ (t) = r (t) + w (t - 1) • x (t) - w (t - 1) • x (t - 1) болгон, ал эми r (t) убагында t сыйлык берилген , жана x (t) жана w (t) бирдик үчүн абал жана салмак векторлору. Стандарттык TD окутуу эрежеси α, w (t) = w (t - 1) + αδ (t) x (t - 1) белгиленген чен менен колдонулган, ошондуктан ар бир салмак күтүлгөн келечектеги сыйлыктын маанисин чагылдырган. Фиорилло жана башкаларга окшоп, биз тапшырманы үйрөнүп бүткөндөн кийин, көптөгөн сыноолордун орточо болжолдуу катасын (t) чагылдырабыз. Репрезентативдик ассиметрия negative (t) терс мааниси d = 1/6 масштабы менен окшоштурулган PSTH суммасын чыгарганга чейин пайда болот, бирок окутуу масштабсыз каталарга ылайык жүрөт. Акырында, pr = 0 үчүн стимул болгон учурдагы кичинекей оң жоопторду жана (а) көрсөткөн pr = 1 үчүн (болжолдонгон) сыйлык учурунда, биз кичинекей (8%) мүмкүнчүлүк алдык божомолдоочу стимул туура эмес аныкталган. (с) DA жооп pr = 0.5 сыноолорго, сыйлык (сол) жана сыйлыксыз (оң) сыноолорго бөлүнгөн. (d) TD модели (с). (a, c) [15] © 2003 AAAS уруксаты менен басылып чыккан. Бардык башка колдонуулар үчүн AAASтен уруксат талап кылынат.

Ал эми, мүмкүн болуучу сыйлык берүү учурунда, TD теориясы, орто эсеп менен, ошол эле учурда эч кандай божомол ката болуп, орто эсеп менен эч кандай иши жок болушу керек деп божомолдойт. Албетте, ыктымалдык арматуралар ММК (PR ≠ 0, жок дегенде, 1) менен жеткирүү же ар бир сот сооп эмес берүү учурунда бир божомол ката чынында эле бар. сыйлык салып турган сыноолор жөнүндө алдын ала ката оң болушу керек (алынган сыйлык күтүлгөн орточо сыйлык көп эле). Тескерисинче, эч кандай сыйлык менен сыноолорго боюнча (диаграмманы карагыла 1c) терс болушу керек. Маанилүү, TD ылайык, келип чыккан, алардын ыктымалдуулукту боюнча салмактанып алынган бул айырмачылыктардын орточо, нөлгө барабар болушу керек. ал нөлгө барабар эмес болсо, анда бул божомол ката эч кандай божомол ката чейин алдын ала өзгөртүп, пластикалык белги катары иш-аракет кылышы керек. Бул үмүт менен карама-эки сыйлык менен көз жаздымда сыноолорго орточо жатат Figure 1a маалыматтар, бул учурда оң орточо иш чындык бар экенин көрсөтүп турат. Ошондой эле бул Morris .Удаалаш маалыматы көрүнүп турат. [16] (Figure 3c карагыла). оң DA жооптор да олуттуу окутуу (ай бою) менен жоголуп бараткан элек.

TD моделге мындан да жаман, ал, чынында эле, Fiorillo .Удаалаш багыттоо. [15], сыйлык күтүлүп жаткан учурда карай DA ишинин айкын ыргак болуп саналат. жантык магнитудасы пр = 0.5, Fiorillo ж.б. үчүн маанилүү болуп саналат. ал эмес, алдын ала ката сыйлык берүү, белгисиздигин билдирди сунуш кылсам, бул сигнал белгисиздик, кыязы, appetitive өзгөчөлүктөрүн түшүндүрүү мүмкүн (кумар көрүнүп ас) деп эсептешет.

ыргак менен иш-аракет кылуу жана сооп күтүлүп жаткан учурда, иш-аракет да TD теориясы оор кыйынчылыктарды жаратат. TD окутуу бул соттук мурда болгон таяна качып алдын ала боло турган сот бир убакта да иш-чараларды уюштуруу боюнча иштейт. Демек, кандайдыр бир алдын ала көрүнгөн иш-аракеттер, сооп учурда же мурда жантык менен, көрүү сигналга башталганда качып алдын ала туруп уланта алабыз деп аны менен канчалык ачык-айкын эмес. Анын үстүнө, бир сигналга жооп PR-каранды иш жарактуу божомолдоолордун катары статусун аныктады. Мындан тышкары, TD [17] негизги аспекти, иш тандоодо ал жубайлар алдын экенин мамлекет тарабынан жеткиликтүү келечектеги сыйлыктарга көрсөтүү катары мамлекеттин баасын колдонуу менен, ошондуктан иш-аракет үчүн бута катары анын жагымдуулугун. Бул жагынан алып караганда, ыргак менен иш апачык мурда бүркөлө алдын ала эмес, себеби, ал, мисалы, кумар үчүн чечим катары алгачкы иш-аракеттерди, таасир эте албайт. Мисалы, эки иш-аракеттеринин ортосунда конкурс карап: бир акыры белгилөөчү сыйлык менен мамлекетке алып, ошондуктан эч кандай перрон, ошол эле ыкма менен бир ыктымалдык сыйлык кийин мамлекетке башка дуйнолук жана жантык. перрон шартталган сигналга учурда ишин таасир этпейт болгондуктан, кошумча белгисиздик карабай, биринчи Экинчи иш-аракеттерди (оюн-зоок) баалоо же ырайым үчүн пайдаланылышы мүмкүн эмес.

Биз да бул аномалдык атаандаша ченемдүүлүктөрү кол божомол ката код боюнча DA нейрон ишин төмөнкү базалык чен (2-4 Hz) деген чектөөлөрдөн түздөн-түз алып альтернатива гипотезаны сунуштайбыз. Fiorillo .Удаалаш белгилегендей. [15], терс каталар базалык төмөн гана ~ 270% га кыскарышы менен берилет, ал эми оң алдын каталар, баштапкы жогору ~ 55% темпин жумуштан бошотуу менен берилет (ошондой эле [14,18] карагыла). Бирок бул асимметрия, бир аз оолак болгон атышуудан бир кол санын коддоонун түз натыйжасы болуп саналат, албетте, бир гана оң болушу мүмкүн. базалык жогору аткан наркы базалык атаандаша чендер терс алдын ала каталардын код боюнча чектөө киргизүү гана нөлгө түшүп барып төмөн, бирок, көп динамикалык спектрин пайдалануу боюнча алгылыктуу алдын ала каталарын коддорду болот.

Демек, ар кандай сыноолордогу активдүүлүктүн пери-стимул-убакыт-гистограммаларынын (PSTHs) суммаларын (же орточо көрсөткүчтөрүн) кылдаттык менен чечмелөө керек. Сыйлыкты алуу же алуу учурунда асимметриялык коддолгон оң ​​жана терс ката сигналдары чындыгында TD божомол каталарын билдирсе дагы, нөлгө барабар болбошу керек. Жыйынтыктап айтканда, кайтарылбаган сыноолордогу терс каталарды чагылдырган төмөн атышуу сыйлык берилген сыноолордогу оң каталарды коддогон тез атууну "жокко чыгарбайт" жана жалпысынан алганда орточо көрсөткүч оң жоопту көрсөтөт. Албетте, мээде, жооптор (сыйланган жана кайтарылбаган) сыноолордон эмес, бир сыноонун ичиндеги нейрондордон алынгандыктан, бул көйгөй жаратпайт.

Бул жеткирүү же сыйлык эмес жеткирүү учурда туруктуу алгылыктуу иш (орточо) түшүндүрөт. Бирок, ушул убакка чейин жантык жөнүндө эмне айтууга болот? жана сигнал сыйлыктын ортосундагы убакыттын белгилүү бир нейрон өкүлчүлүктөрүнө, бери дегенде эле, сыноолор орточо кийин, ушул эле асимметрия сыйлыктан убакытка карата иш бир ыргак менен так алып ТД келет. TD окутуу механизм пайда болуучу божомолдоочу карата (мисалы, CS ас) сот тарабынан соттук негизде, алдын ала каталар соттук (сооп учурунда сыяктуу) бир учурда пайда болушу жөнүндө Тигүүчү таасир бар ар бир сот ичинде мурда кээде. Биз бир нече, сыноолорго дуушар болгонубузда, бул жайылткан каталарды орто эсеп менен алганда, карап чыккан оң жана терс алдын ала каталардын симметриялуу өкүлчүлүгү (Figure 1a сыяктуу) ылайык сыйлык алдында сот ичинде экспонаттар үчүн оң аркылуу алып келет. Төмөндө сөз болот эле иштин натыйжасында жантык так коруп, сигналдар убакыттын өтүшү менен, ошондой эле окуу ылдамдыгына берилет көз каранды болот.

2-сүрөт, күчөп жаткан иш-аракеттердин далилденишине карата мындай көз-карашты чагылдырат. Бул жерде, стимул колдонулгандан бери убакытты тыкылдатылган кечиктирүү-сызык менен чагылдыруу. Ал үчүн ар бир бирдик ('нейрон') активдешет (б.а., 1 маанисин алат), дем берилгенден кийин белгилүү бир артта калууда, демек, стимул башталгандан кийинки ар бир убакыт аралыгы бир бирдиктин атылышы менен ырааттуу чагылдырылат. Окуу do (t) = r (t) + V (t) - V (t - 1) формалдаштырылган (допаминергиялык жол менен берилген) TD катасына негизделет, мында V (t) активдүү бирдиктен алынган салмактуу киргизүү убакыт t, жана r (t) t убагында алынган сыйлык. Стандарттык TD жаңыртуу эрежеси боюнча бирдиктердин салмагын туруктуу окутуу деңгээли менен жаңыртуу V (t) орточо алганда, күтүлүп жаткан келечектеги сыйлыктарды чагылдырууга мүмкүндүк берет (1-сүрөттү караңыз). Ар бир кийинки убакыт аралыгы өзүнчө көрсөтүлгөндүктөн, TD божомолдордогу каталар процесстин каалаган убагында келип чыгышы мүмкүн. Figure 2a бул каталарды pr = 0.5 болгон ырааттуу алты окшоштурулган сыноолордо көрсөтөт. Ар бир сыноодо, сыйлык учурунда жаңы позитивдүү же терс ката пайда болот, натыйжада сыйлык алуу же алынбоо, жана мурунку сыноолордун каталары этап-этабы менен стимул учуруна чейин жайылып, аркылуу салмактын туруктуу жаңылануусу (мис., кызыл менен белгиленген ката). Сыноолордо орточо алганда (же PSTHлердегидей эле), бул каталар орто эсеп менен бири-бирин жокко чыгарышат, натыйжада стимул башталгандан кийинки аралыкта жалпы жалпак гистограмма пайда болот жана сыйлык убактысына алып келет (Сүрөттөгү кара сызык 2b, жука көк түстө көрсөтүлгөн 10 сыноонун жыйынтыгы). Бирок, терс каталардын d = 1/6 коэффициенти менен асимметриялык масштабда кийин (DA нейрондорунун оң жана терс божомолдор каталарын асимметриялык коддоону симуляциялайт) жыйынтыгын алганда, кара сызык менен сүрөттөлгөндөй, позитивдүү иш-аракет башталат. Figure 2c. Эскерте кетүүчү нерсе, бул өчүрүү баштапкы ок атуу ылдамдыгы жөнүндө терс маанини коддоо чектөөлөрүнөн келип чыккан жана туура эмес баалуулуктарды үйрөнбөө үчүн, салмакты үйрөнүүгө таасирин тийгизбеши керек болгон өкүлчүлүктүү маселе (талкууну караңыз). Бирок, PSTHлер түздөн-түз нейрондордун чукулдарынын суммасы болгондуктан, бул репрезентативдик маселе келип чыккан гистограммага кирет.

Figure 2. алдын ала каталардын Backpropagation ишин ыргак менен түшүндүрүлөт.
(А) TD алдын ката Figure 1b жылы оорумуш алты жолу катары менен сыноолорду (аягына чейин жогорку) ар бир кесип менен проспектиси = 0.5. кызыл баса ката сыноолорго биринчи сыйлык убагында, ал эми кийинки сыноолордон сигналга учурда өзүнүн акырындык менен кайра-көбөйтүү. Блок тамгалар ар бир конкреттүү сот жыйынтыгы көрсөтөт (R сыйлык =; N сыйлык жок =). бул сыноолорду алдындагы белектерин катар жогорку укугунда берилет. (Б) Бул алты сыноолор TD ката, төрт, аларды төмөнкү дагы курулган. кызыл жана жашыл сызыктар бул кыйынчылыктарга каталарды катты мисал. оң жана терс каталарды бул сыноолор орточо (кара сызык) эч кандай жогоруда базалык иш натыйжаларын, үстүнөн жыйынтыктап убакытка туш келди 50% пайда, ошондой эле бири-бирин жокко чыгарат. (С) Бирок, алдын ала каталар асимметриялуу жогору жана төмөн базалык атууга чен көрсөтүлөт (бул терс каталар асимметриялуу DA клеткалар тарабынан алдын ала каталар симметриялуу коддомо тууроочу д = 1 / 6 тарабынан азайгандан) кийин, иштин орточо ыргак кара сызык менен көрүнүп тургандай, сыноолорго дуушар болгонубузда орточо келип чыгат. Бардык машыктыруучу параметрлери Figure 1b, д эле.

1b, эксперименталдык маалыматтар менен салыштыруу үчүн, ассиметриялуу коддоо жана аралык сотко же орто эсеп менен алганда бул биригишинен келип чыккан жантык көрсөтүп г ишмерлер. Figure 1b асимметриялуу-өкүлү δ (т) ар бир түрү үчүн стимул ~ 50 кыйынчылыктарга белгини ичинде орто эсеп менен машыгууларды маалыматтардан эсептелген PSTH көрсөтөт. Figure 1d Figure 0.5c менен салыштыруу үчүн сыйлык жана көз жаздымда сыноолорго бөлүнөт мэрине = 1 иши боюнча жыйынтыктарды көрсөттү. Алар мэрине = 0.5 иши жогорку белгисиз сый таза оң жооп, ошондой эле ыргак менен күчүнө, ишке ашырган, окшошкон жыйынтыгы менен тыгыз эксперименталдык маалыматтарды окшош.

Ал сыйлыктан учурда орточо жооп алыш үчүн, жөнөкөй (т = N) сот T-жылы, башкача айтканда, орточо TD ката δT (N) менен TD окуп башкаруусу жөнөкөйлөтүлгөн такылдаттым кечигүү-сап убакыт өкүлчүлүк жана туруктуу окутуу курсу α. Сот саны милдети деп, соттук timestep созулат кийинки нарктын (нөлгө барабар деп кабыл алынган баштапкы маанилер менен) болуп саналат,

мында r (t) - сыноонун аягындагы сыйлык t. T сыноосунун акыркы убактысында ката белгиси жөн гана алынган сыйлык r (T) менен VT - 1 (N - 1) сыйлыгын болжолдогон маанинин айырмасы. Бул ката ыктымалдуулук менен оң, ал эми ыктымалдык менен терс (1 - pr). Терс каталардын масштабын d ∈ (0, 1] эсе көбөйтүү менен, биз ошентип алабыз

оң жана терс каталарды (г = 1) симметриялуу эмес коддоонун үчүн орточо жооп 0 болуп саналат. симметриялуу эмес коддоонун үчүн (0 Trace аналоги: сыноо иши

Биздин чечмелөөбүз үчүн маанилүү сыноо Фиорилло жана башкалар [15] тапшырмасынын бир вариантында, ошондой эле Моррис ж.б. аналогдук инструменталдык тапшырмасында келип чыгат. [16], экөө тең издөө шарттарын камтыйт. Сыйлык кечигүү менен айырмаланып (Figure 3a), анда сыйлык алдын-ала стимулдун ордун толтуруу менен дал келет, бул жерде алдын-ала стимулдун ордун толтуруу менен сыйлыкты жеткирүүнүн ортосунда олуттуу ажырым бар (Figure 3b). Албетте, мындай учурда сыйлыкка байланыштуу белгисиздик стимул менен сыйлыктын ортосундагы убакыттын ызы-чуусунан улам көбөйүшү мүмкүн [19], андыктан белгисиздик эсеби боюнча, окшош же андан да чоң пандустар болушу керек. Бирок, эксперименталдык натыйжалар күчөп бараткан активдүүлүктү кичине, ал тургай, жокко эсе кылып көрсөтөт (Figure 3c; d). Бирок, күтүлүп жаткан сыйлык учурунда сыноонун орточо көрсөткүчүнүн сакталып тургандыгына көңүл буруңуз, ал пандустун бийиктиги менен сыйлыктын күтүлүп жаткан учурда оң ишинин көлөмүнүн ортосундагы ажырымга көңүл бурат.

Figure 3. ыктымалдык соопко аналоги жашайт.
(а) Fiorillo ж.б.у.с.ды кечиктирип кондициялоо тапшырмасынын бир сыноосу жөнүндө мисал. [15]. Сыноо 2 секунддук визуалдык стимулдан турат, анын ордун толтуруу шире сыйлыгын тапшыруу менен дал келет, эгерде мындай сыйлык визуалдык сигналга байланыштуу ыктымалдуулукка ылайык программаланган болсо. Жооп берилбеген сыноолордо стимул сыйлыксыз токтотулган. Эки учурда тең, орто эсеп менен алганда 9 секундага созулган сыноо аралык аралыгы сыноолорду бөлүп турат. (б) Моррис ж.б. издөө шартталган тапшырманы бир сыноонун мисалы. [16]. Чечүүчү айырмачылык азыр стимулдун ордун толтуруу менен сыйлыктын башталышынын ортосунда ("из" мезгили) ортосунда олуттуу убактылуу кечигүү бар, жана эч кандай тышкы стимул сыйлыктын күтүлүп жаткан убактысын көрсөтпөйт. Бул кошумча белгисиздикти жаратат, анткени алдын-ала айтылган сыйлыктын так мөөнөтү ички чечилиши керек, айрыкча кайтарылбаган сыноолордо. Бул тапшырмада, [15] сыяктуу эле, ар бир сыноодо бир нече визуалдык дүүлүктүргүчтөрдүн бири көрсөтүлгөн (көрсөтүлгөн эмес), жана ар бир дүүлүктүрүүчү сыйлык алуу ыктымалдыгы менен байланышкан. Бул жерде, ошондой эле, маймылдан аспаптык жооп (стимул берилген тарапка туура келген ачкычты басуу) аткарууну суранышкан, анын натыйжасы болбой туруп, сот иши сыйлыксыз аяктаган. Сыноолор өзгөрүлмө сыноо аралык аралыгы менен бөлүндү. (c, d) DA атуу ылдамдыгы (тегизделген) баштапкы деңгээлге салыштырмалуу, сыйлыктын күтүлүп жаткан убактысында, сыйлык берилген сыноолордо (c) жана кайтарылбаган сыноолордо (d). (c, d) [16] © 2004-жылдан Elsevier уруксаты менен басылып чыккан. Издер сыйлыктын күтүлүп жаткан мезгилинде жалпы оң жоопту билдирет, бирок буга чейин өтө кичине же эч кандай пандус жок. Окшош натыйжалар [15] кыскача баяндалган классикалык кондиционердик тапшырмада алынган, анда издөө шарттарын жүргүзүү процедурасы колдонулган, жана (б) сүрөттөлгөн тапшырманын инструменталдык мүнөздөмөсү эмес, а ( .

Э-жылдын TD модели дароо бул кепти маалыматты түшүндүрөт. Figure 4 көрүнүп тургандай, жантык болгон абалда, анын чокусуна бийиктиги эмес, бирок, окутуу курсунун таасирин тийгизет. Бул каталар жаңы алдын ала онлайн окутуунун бир бөлүгү катары пайда болуп, кайра-жайылтты деп алдын ала каталар өлчөмү, билим берүү курсу боюнча, жарым-жартылай, аныкталат. Ал тургай, бул сыйлык соттук териштирүүдөн кийин, сыйлыктан жогору күтүү бар (жана кийинки сыйлык аз божомол ката чыгымына), жана тескерисинче эмес сыйлык соттук териштирүүдөн кийин [18] (сүрөттү кара мындай деп алдын ала үзгүлтүксүз ёркъндётъъ бар 2a). алдын ала Бул ёркъндётъъ түздөн-түз окутуу курсу менен байланышкан - жогорку окуу курсу, азыркы алдын ала күнөөсү боюнча алдын ала көп өзгөртүү, кайра көбөйтсө болот алдын ала ката бөлчөк көп. Бул жагынан алып караганда, жогорку окуу курсу менен бир көз жаздымда сот салыштырмалуу сыйлык бир кийин күткөн айырмачылык көп болот, демек, алдын ала каталар кийинки сыйлык же жеткиликтүү эмес көп боло турган - демек, ири жана акырындык менен өтүү.

Figure 4. курсун окутуу боюнча жантык көз карандылыгы.
жантык колому, бирок анын чокусуна бийиктиги, окутуу курсунун көз каранды болуп саналат. Диаграмма мэрине = күтүлүүдө сыйлык дооруна жакын 0.5 учурда үчүн окшоштурулган ишин көрсөтөт, ар кандай окуу курсу үчүн да сыйлык жана көз жаздымда сыноолорго орточо. TD туруктуу асимметриялуу код алдын ала каталар, бир жантык сооп чейин сыйлык жана көз жаздымда сыноолордун жыйынтыктары ишине орточо менен окутуу боюнча. жантык чокусунан бийиктиги, сыйлык жана көз жаздымда сыноолорго карата Бирок, жантык туурасы (күтүлгөн) сооп учурдан тартып бул ката сигналдар кайра-көбөйтүү менен аныкталат менен аныкталат жарыш сигналга убакыт. ката көп бөлүгүндө жогорку окуу курсу натыйжалары кайра үгүттөп, ошентип, жогорку жантык. төмөнкү окуу курсу менен, перрон сыйлык учурда оң иш-аракет (орточо) дагы эле кармалып турат да, аз болуп калат. Figure 1b сүрөттөлгөн клубга колдонулган окутуу курсу, д 0.8, бул сигналдарды биздин схемалык өкүлчүлүгү берген нейрон субстрат менен түзмө-түз кичинекей окутуу курсу, катары кабыл алынбашы керек эле да белгилей кетүү керек. бир нейрон жыйындысы калктын ар бир timestep иштей турган бир дагы реалдуу өкүлчүлүгүнүн бир топ төмөн окуу курсу сыяктуу натыйжаларды берет.

Чынында эле, аналоги кечиктирүү менен салыштырганда, изи аналоги шашылбай жатат, билим берүү курсу төмөн деп айткан, демек, эксперименталдык жыйынтыктарына ылайык, ал жерге төмөнкү перрон болушу керек. Morris .Удаалаш маалыматы боюнча окутуу курсунун түздөн-түз текшерүү. [16], милдети гана изи аналоги эмес, ошондой эле ашыкча окутууну талап бир эле эмес, бир себепчи иш тартылган, чынында эле, аны тастыктап өтө төмөн болуп (Genela Моррис - жеке байланыш, 2004).

талкулоо

DA клеткалар тарабынан оң жана терс баалуулуктардын түрдүү коддоо .Суигон DA сигнал бардык изилдөөлөр айкын көрүнүп турат, жана бул нейрондордун төмөнкү базалык ишинин ажырагыс натыйжасы катары кароого болот. Ооба, алар, алар да толук тыйын бар деп түздөн-түз каршылашы Нейротрансмиттер putatively серотонин, өкүлү, ошондуктан терс божомол ката [20] үйрөнүп тартылат сунуштарды дем берди. Бул жерде болсо, биз тинейджер иш-сот-орточо талдоо боюнча ассиметрия таасиринен карап чыгуу үчүн, жана бул баш көтөрөт DA ишин, ошондой эле сыйлык учурда орточо оң жооп көрсөткөн өзүбүздү чектелбейт да, алып-түз алдын ала каталар симметриялуу эмес коддоо.

Мындан тышкары, ката белги бир айкын тартып, жаңы түшүндүрүү өтө маанилүү натыйжасы пандустарды кезге чейин өтө эле кыял болуп калган TD кубулуштун бир кол болуп көрүнүп турат. Бул божомолдоолордун (Figure 2a) доорунда сооп учурдан тартып, DA ишине өкүлдөрү ката сигналга прогрессивдүү кайра-көбөйтүү болуп саналат. dopaminergic ишинин мурунку изилдөөлөрдүн көпчүлүгү проспектиси колдонгон = 1, бул кайра-көбөйтүүгө окутуу башында гана көрүнүп жакшы убактылуу көрүнүш даярдоо (, адатта, жаздыруулар баштала элек да), ошондой эле мүмкүн болгон катуу акырындык менен түшүнүүгө DA нейрондорду жумуштан бошотуу. Ошондой эле, жогоруда айтылгандай, кайра-көбөйтүү жарыш жана сигнал сыйлыктын ортосундагы убакыт берилет жолу көз каранды - ал такылдаттым кечигүү-сап өкүлчүлүккө катары [6], бирок толугу созулган өкүлчүлүктөрү бар мындай [21] сыяктуу, кечиктирүү. жантык колому да үйрөнүү учурунда окуялардын убакыт жоюу үчүн кошумча механизмин камсыз укугу издерин жана аталган TD (λ) билим берүү, эреже пайдалануу (көрсөтүлгөн эмес машыктыруучу), көз каранды экенин белгилешет. Тилекке каршы, маалыматтарды Пандустардын түрлөрү эмес, өзгөрүлмө (сүрөт 1) жана ызы-чуу болсо да, мээнин колдонгон так TD механизми катуу чектөөлөрдү камсыз кыла албайт.
кайра-алдын каталарды тартуу More акыркы изилдөөлөр, ошондой эле кайра-көбөйтүү, анын өзгөчө Figure 4 [13] айтылып ишин көрсөтөт. Бул изилдөөдө, алдын ала каталар тапшырмасында мезгил-мезгили менен өзгөртүүлөр натыйжасында, жана DA жаздыруулар бул иш-сан көрсөткүчтөрү жок болсо да, ошентип кайра-көбөйтүү сыяктуу иш-аракет түздөн-түз көрүнүп, окуу башталганда эле жасалган.

Биз пандустарды окуу курсунун окуу жүрүшүндө нөлгө такыр азайбайт гана окутуу боюнча сакталып күтөт. Пирс & Холлдун [22] окууну белгисиздик менен башкаруу теориясы дал ушул окутуунун туруктуулугун айгинелейт - жана жарым-жартылай күчөтүү графиктеринен алынган маалыматка караганда, сыйлыкка байланыштуу көбүрөөк белгисиздик пайда болгондо, окуу деңгээли жогору болушу мүмкүн. Чындыгында, "рационалдуу" статистикалык көз караштан алганда, алдын-ала карым-катнаштардын өзгөрүүсүнүн ар дайым болуп турган мүмкүнчүлүгүнөн келип чыгышы мүмкүн болгон болжолдоочулар менен натыйжалар ортосундагы байланышта олуттуу белгисиздик болгондо, окутуу улана бериши керек. Туруктуу белгисиздиктин бул формасы жана тапшырмага байланыштуу алгачкы билбестиктен улам келип чыккан белгисиздик менен бирге, Пирс & Холлдун белгисиздик үйрөнүүгө түрткү берген теориясын формалдаштыруу үчүн колдонулган [23]. Ошентип, биздин белгисиздик пандустар менен түздөн-түз көрсөтүлбөйт деген биздин талабыбыз, анын көрсөтүлүшү жана манипуляциясы маанилүү эмес дегенди билдирбейт. Тескерисинче, биз белгисиздик кортикалдык жыйынтыкка жана башка нейромодулятордук тутумдар аркылуу үйрөнүүгө таасирин тийгизет [24], ошондой эле ал иш-аракеттерди тандоонун аспектилерин аныкташы мүмкүн [25].

ассиметрия тармагындагы ар кандай башка өзгөчөлүктөрүн белгилей кетүү керек. Өтө төмөнкү базалык DA иши өтө эле жогору божомолдорду азайтуу үчүн өзү жоопкер болсо, анда ал да көз каранды үйрөнүп [26] боюнча ассиметрия таасири болуп саналат. үйрөнгөн божомолдору туура бойдон камсыз кылуу үчүн, биз сыяктуу кичинекей күчтүүлүгү бөгөт жана депрессия ар кандай коюунун бир механизм симметриялуу ката сигнал ордун толтурат деп симметриялуу өкүлчүлүгү, башкача айтканда, окутуу таасир этпейт деп кабыл алышыбыз керек эле. каршылашы Нейротрансмиттер терс алдын ала каталар үйрөнүү менен алектенген болсо, албетте, бул арбытып ээ болмок эмес. Бул маселе, балким, аз атууга курсунун кабат таасир DA атаандаша курстары деп Байер [14] сунушу чынында кээ бир терс босогого бардык алдын ала кылмыштары үчүн окшош, татаалдаштырып жатат. Мындай Lossy коддоо Пандустардын пайда аралык сотко орто таасиринен сапаттуу сүрөттү таасир этпейт, бирок сөзсүз эле симметриялуу окууга атаандашы сигнал үчүн зарыл экенине ынанууга болот.

Акыр-аягы, биздин чечмелөө түздөн-түз сыноо DA сигналдын ички жана сот аралык орточо салыштыруу болот. Стационардык эмес сигналдарды орто эсеп менен алуу көйгөйлөрүн болтурбоо үчүн, муну убактылуу татаал жол менен жасоо маанилүү болмок. Нейрон атышуусундагы ызы-чууну жеңип, чындыгында, соттун жүрүшүндө акырындык менен пандус болгонун, же болжолдогондой - мезгил-мезгили менен оң жана терс божомолдор каталарын аныкташ үчүн, ичинде бир эле мезгилде жазылган көптөгөн нейрондордун орточо көрсөткүчтөрүн эсептөө керек болот. бир сыноо, ошондой эле ушул сыяктуу окуу курстары менен байланышкан нейрондор. Же болбосо, бир нейрон издери алардын мурунку сыноолор жана TD үйрөнүү менен алдын-ала айтылган backpropagation жооп каршы регрессияга мүмкүн. Мындай модель менен түшүндүрүлгөн өзгөргүчтүктүн көлөмүн салыштырып көрсөк, иш-аракеттердин монотоникалык рампасына каршы регрессия менен салыштырганда, эң ылайыктуу моделди көрсөтсө болот. Пандустун формасы окуу курсунан көз каранды болушу керек деп болжолдонгон анча-мынча түз, бирок көбүрөөк сыноого болот. Окуу ылдамдыгын ыктымалдык сыйлыктарга жооп кайтаруудан, пандустун формасына карабастан баалоого болот (Накахара жана башкалар. [18] ушундайча көрсөткөн, алардын жарым-жартылай бекемдөө издөө шартында, окуу курсу 0.3 болгон), жана тренингдин көлөмүн же тапшырмага байланыштуу күтүлбөгөн жагдайларды өзгөртүү жана кайра үйрөнүү жыштыгын өзгөртүү менен потенциалдуу иштелип чыгат. Чындыгында, Накахара ж.б. жазылган DA ишмердигиндеги пандустун бар экендигин жана формасын аныктоо учурдагы сунушка жарык чачышы мүмкүн.

атаандаш кызыкчылык
жазуучу (с), алар эч кандай атаандаш кызыкчылыктары бар деп.

Authors 'салымдары
YN, MD жана PD биргелешип боюна бүтүп, бул изилдөөнү таризделген жана кол жазманы иштеп берди. Бардык жазуучулар окуп жана акыркы кол жазмасын бекитилген.

Acknowledgments
Биз маалыматтарды маанисин ар кандай болгонуна карабай, H. Бергман абдан ыраазы, C. Fiorillo, Н. Daw, D. Жоел, P. туюнтпоо, P. Shizgal жана W. айрым учурларда талкуу жана комментарий үчүн Schultz болуп саналат. Биз ыргак карата өзүнүн, ошондой эле элге белгилүү маалыматтарга талдоо жүргүзүү Genela Morris үчүн өзгөчө ыраазычылык билдиребиз. Бул иш EC тематикалык Тармагы (YN) тарабынан каржыланып, Gatsby кайрымдуулук корунун жана ЕБ BIBA долбоору.

шилтемелер

1. Ljungberg T, Apicella P, Schultz W: жүрүм-турум реакцияларын үйрөнүү учурунда маймыл допамин нейрондорунун жооптору.
Journal Neurophysiol 1992, 67: 145-163.
текстин кайтуу
2. Schultz W: Допамин нейрондорунун алдын ала сыйлык сигналы. [http://jn.physiology.org/cgi/content/full/80/1/1] веб-сайт
Neurophysiology 1998 журналы, 80: 1-27. PubMed Кыскача мазмуну
текстин кайтуу
3. O'Doherty J, Dayan P, Friston K, Critchley H, Dolan R: Убактылуу айырма моделдери жана адамдын мээсинде сыйлык менен байланышкан окутуу.
Нейрон 2003, 38: 329-337. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
4. Seymour B, O'Doherty J, Даян P, Koltzenburg M, Jones A, Dolan R, Friston K, Frackowiak R: Убактылуу айырма моделдери адамдарда жогорку тартипте окуу сүрөттөйт.
Nature 2004, 429: 664-667. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
5. Montague PR, Hyman SE, Cohan JD: жүрүм-турумду башкарууда допамин үчүн эсептөө ролдору.
Nature 2004, 431: 760-767. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
6. Montague PR, Dayan P, Sejnowski TJ: болжолдуу Hebbian окутууга негизделген mezencephalic допамин системалары үчүн негиз.
Neuroscience журналы 1996, 16: 1936-1947. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
7. Шульц В, Даян П, Монтегю PR: алдын ала айтуунун жана сыйлыктын нейрондук субстраты.
Илим 1997, 275: 1593-1599. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
8. Саттон Р.С.: Убактылуу айырмачылык ыкмасы менен болжолдоону үйрөнүү.
Machine Learning 1988, 3: 9-44.
текстин кайтуу
9. Саттон РС, Барто AG: [http://www.cs.ualberta.ca/~sutton/book/ebook/the-book.html] веб-сайт
Арматура окутуу: An киргизүү. MIT Press; 1998.
текстин кайтуу
10. Hollerman J, Schultz W: Допамин нейрондор окуу учурунда сыйлыктын убактылуу болжолдоодо ката жөнүндө кабарлашат.
Nature Neuroscience 1998, 1: 304-309. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
11. Schultz W, Apicella P, Ljungberg T: Маймыл дофамин нейрондорунун жооптор, сыйлык жана шарттуу стимулдарга кечигип жооп тапшырманы үйрөнүүнүн ырааттуу кадамдары.
Neuroscience журналы 1993, 13: 900-913. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
12. Тоблер П, Дикинсон А, Шульц В: Шарттуу бөгөт коюу парадигмасында допамин нейрондорунун алдын ала сыйлык калтырылышын коддоо.
Neuroscience журналы 2003, 23 (32): 10402-10410. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
13. Takikawa Y, Kawagoe R, Hikosaka O: абалы-сыйлык картасына saccades кыска жана узак мөөнөттүү ылайыкташуу орто мээ допамин нейрондор мүмкүн ролу.
Neurophysiology 2004 журналы, 92: 2520-2529. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
14. Bayer H: Окуу жана кыймылды башкарууда кара субстанциянын ролу.
PhD тезиси, New York University 2004.
текстин кайтуу
15. Fiorillo C, Tobler P, Schultz W: Допамин нейрондор тарабынан сыйлык ыктымалдыгы жана белгисиздик дискреттик коддоо.
Илим 2003, 299 (5614): 1898-1902. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
16. Моррис G, Аркадир D, Nevet A, Vaadia E, Бергман H: орто мээ допамин жана striatal tonically активдүү нейрондордун кокустук, бирок так билдирүүлөр.
Нейрон 2004, 43: 133-143. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
17. Барто А, Саттон Р, Уоткинс С: Үйрөнүү жана ырааттуу чечимдерди кабыл алуу. Окутуу жана эсептөө нейробилигинде: Адаптивдүү тармактардын негиздери. Gabriel M, Мур Дж. Кембридж, MA тарабынан редакцияланган: MIT Press; 1990:539-602.
текстин кайтуу
18. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O: Допамин нейрондор контекстке көз каранды болжолдоо катасын көрсөтө алат.
Нейрон 2004, 41: 269-280. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
19. Gallistel CR, Gibbon J: Убакыт, ылдамдык жана шарттоо.
Психологиялык Review 2000, 107: 289-344. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
20. Daw ND, Kakade S, Dayan P: серотонин жана допамин ортосундагы каршылаш өз ара.
Neural Networks 2002, 15 (4-6): 603-616. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
21. Suri RE, Schultz W: мейкиндик кечигип жооп тапшырманы үйрөнөт допамин сыяктуу күчөтүү сигналы менен нейрон тармак модели.
Neuroscience 1999, 91: 871-890. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
22. Pearce JM, Hall G: Pavlovian окутуу модели: Шарттуу, бирок шартсыз стимулдардын эффективдүүлүгүндөгү вариациялар.
Психологиялык Review 1980, 87: 532-552. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
23. Даян П, Какаде С, Монтегю PR: Үйрөнүү жана тандалма көңүл буруу.
Nature Neuroscience 2000, 3: 1218-1223. PubMed Кыскача мазмуну | Чыгаруучу Full Text
текстин кайтуу
24. Даян П, Ю А: Күтүлгөн жана күтүлбөгөн белгисиздик: неокортексте Ach жана NE. [http://books.nips.ce/papers/files/nips15/NS08.pdf] веб-сайт
Нейрон Маалымат иштетүү Sysytems Dietterich T тарабынан Edited-жылы жетишкен, Бекер S, Ghahramani З. Кембридж, М.А.: MIT Пресс; 2002, 14: 189-196.
текстин кайтуу
25. Daw N, Niv Y, Dayan P: Actions, Policies, Values, and the Basal Ganglia. Базалдык ганглия изилдөөлөрүндөгү акыркы жетишкендиктерде. Безард Э. Нью-Йорк тарабынан редакцияланган, АКШ: Nova Science Publishers, Inc; басма сөздө.
текстин кайтуу
26. Wickens J, Kötter R: бекемдөөнүн уюлдук моделдери. Базалдык ганглиядагы маалыматты иштетүү моделдеринде. Houk JC, Davis JL, Beiser DG тарабынан редакцияланган. MIT Press; 1995:187-214.
текстин кайтуу