MAONI: Kutokuwa na uhakika kunamaanisha riwaya. Utafiti huu tata unathibitisha kuwa riwaya huongeza dopamine. Pia inaelezea kuwa kadiri malipo yanavyozidi kutokuwa na uhakika ndivyo nguvu ya ujifunzaji ilivyo. Ponografia ya mtandao ni tofauti na ponografia ya zamani kwa sababu ya riwaya isiyo na mwisho - ambayo inamaanisha squirts isiyo na mwisho ya dopamine. Uraibu katika msingi wake ni kujifunza na kumbukumbu. Kubadilisha aina mpya ya ponografia inaamsha dopamine na ujifunzaji - kwa sababu ya kutokuwa na uhakika wa kile utakachokipata. Kutokuwa na uhakika pia hufanyika wakati watumiaji wa ponografia wanatafuta ponografia. Hujui ni nini unakaribia kuona na ambayo inachukua dopamine.
Uzuri, kutokuwa na uhakika, na kutafuta wote kuamsha dopamine
Somo Kamili: Kutokuwa na uhakika wa Dopamine na TD Learning
Kazi na Mazoezi ya Ubongo 2005, 1:6doi:10.1186/1744-9081-1-6
Yael Niv1,2 , Michael O Duff2 na Peter Dayan2
Kituo cha 1 cha Mafunzo ya Neural, Chuo Kikuu Kiyahudi, Yerusalemu, Israeli
Chuo cha Chuo Kikuu cha Chuo Kikuu cha London, London, UK, 2 Gatsby
Toleo la elektroniki la makala hii ni kamili na linaweza kupatikana mtandaoni: http://www.behavioralandbrainfunctions.com/content/1/1/6
© 2005 Niv et al; BioMed Central Ltd
abstract
Uthibitisho mkubwa unaonyesha kuwa shughuli za phasic za neurons za dopaminergic katika midbrain ya primate zinaonyesha makosa ya muda (TD) makosa katika utabiri wa malipo ya baadaye, na ongezeko hapo juu na inapungua chini ya msingi kwa sababu ya makosa mazuri na hasi ya utabiri, kwa mtiririko huo. Hata hivyo, seli za dopamini zina shughuli ndogo ya msingi, ambayo inaashiria kwamba uwakilishi wa aina hizi mbili za kosa ni sawa. Tunachunguza maana ya hii asymmetry hii inayoonekana isiyo na hatia kwa tafsiri ya mifumo ya kupiga dopaminergic katika majaribio na tuzo za uwezekano zinazoleta makosa ya utabiri wa kuendelea. Hasa, tunaonyesha kwamba wakati ukizingatia makosa yasiyo ya kawaida ya utabiri wa majaribio katika majaribio, kuongezeka kwa shughuli za dopamine neurons lazima iwe wazi, ambao ukubwa unategemea kiwango cha kujifunza. Jambo hili halisi limeonekana katika jaribio la hivi karibuni, ingawa linafsiriwa huko kwa maneno ya antipodal kama encoding ya ndani ya majaribio ya kutokuwa na uhakika.
kuanzishwa
Kuna mwili mkubwa wa kidini, picha, na psychopharmacological kuhusu shughuli za kipengele cha seli za dopaminergic (DA) katikati ya nyani, panya na wanadamu katika kazi za kikao za kikabila na za jadi zinazohusisha utabiri wa tuzo za baadaye [1-5]. Takwimu hizi zimechukuliwa ili kupendekeza [6,7] kwamba shughuli za DA neurons zinawakilisha makosa ya muda (TD) makosa katika utabiri wa thawabu ya baadaye [8,9]. Nadharia hii ya TD ya dopamini hutoa msingi sahihi wa computational kwa kuelewa mwenyeji wa data tabia na neural. Zaidi ya hayo, inaonyesha kuwa DA inatoa ishara ambayo inadharia inayofaa kwa kudhibiti ujuzi wa utabiri wote na matendo ya kuboresha malipo.
Baadhi ya ushahidi wenye nguvu zaidi kwa nadharia ya TD huja kutokana na tafiti kuchunguza uanzishaji wa seli za dopamini kwa kukabiliana na uchochezi wa kiholela (kama vile mifumo ya fracta kwenye kufuatilia) ambayo inatabiri upatikanaji wa karibu wa malipo (kama vile matone ya juisi) . Kwa aina nyingi, hizi zimeonyesha kwamba kwa mafunzo, ishara ya DA ya phasic huhamisha kutoka wakati wa malipo ya awali ambayo haitabiriki, wakati wa mwanzo wa kwanza utabiri tuzo. Hii ndio matokeo ya kutarajia kwa hitilafu ya utabiri wa wakati wa tofauti (mfano. [1,2,10-13]). Upatikanaji wa msingi [7] ni kwamba wakati malipo haitatarajiwa (ambayo ni kuepukika katika majaribio mapema), seli za dopamini hujibu kwa nguvu. Wakati malipo yanavyotabiriwa, hata hivyo, seli hujibu kwa mtayarishaji, na sio tuzo la sasa linatarajiwa.
Ikiwa malipo yaliyotabiriwa hayatolewa bila kutarajia, basi seli zinazuiliwa kwa wakati wa kawaida wa tuzo, kizuizi ambacho huonyesha wakati sahihi wa utabiri wa thawabu [10], na ambao vipimo vya muda wako chini ya uangalizi wa kiuchunguzi [14]. Mabadiliko ya shughuli kutoka wakati wa malipo hadi wakati wa mtabiri inafanana na mabadiliko ya athari ya tabia ya mnyama kutoka wakati wa tuzo (kichocheo kisicho na masharti) hadi ile ya kichocheo kilichowekwa katika majaribio ya hali ya kawaida [7,10] .
Katika utafiti wa hivi karibuni wa kuvutia, Fiorillo et al. [15] alichunguza kesi ya uimarishaji wa sehemu, ambapo kuna kuendelea, ineluctable, kosa la utabiri kila jaribio moja. Ufafanuzi wa moja kwa moja wa hitilafu ya utabiri wa TD ingeonyesha kwamba katika kesi hii (a) shughuli za dopamine wakati wa msisitizo wa utabiri ingeweza kupanua uwezekano wa tuzo, na (b) kwa wastani wa majaribio, majibu ya dopaminergic baada ya kuchochea na njia yote hadi wakati wa malipo, lazima iwe sifuri. Ijapokuwa hypothesis ya kwanza ilithibitishwa katika majaribio, ya pili haikuwa. Miongoni mwa majaribio kati ya majaribio yalionyesha upepo wa shughuli wazi wakati wa ucheleweshaji kati ya mwanzo wa kuchochea na tuzo ambayo haikufanana na akaunti ya TD. Fiorillo et al. imethibitishwa kuwa shughuli hii inawakilisha kutokuwa na uhakika katika utoaji wa malipo, badala ya kosa la utabiri.
Katika karatasi hii, tunatembelea suala la kosa la utabiri linaloendelea. Tunaonyesha kwamba asymmetry muhimu katika coding ya makosa mazuri na hasi utabiri husababisha mtu kutarajia ramping katika signal katikati-kesi signal dopamine, na pia husababisha vizuri sifa mbili zaidi za ishara ya DA - shughuli inayoonekana inayoendelea wakati wa malipo (uwezo), na kutoweka (au angalau kudhoofika) ya ishara ya kupiga, lakini si ishara wakati wa malipo, katika uso wa maelezo badala ya kuchelewa hali. Vipengele vyote viwili vimeonekana pia katika majaribio yanayohusiana na hali ya viungo ya Morris et al. [16]. Hatimaye, tunatafsiri ishara ya kukimbia kama ushahidi bora zaidi wa sasa kwa asili ya utaratibu wa kujifunza ambayo mabadiliko ya shughuli za dopamini wakati wa maandamano ya utabiri hutokea.
Kutokuwa na uhakika katika tukio la malipo: DA inakimbia
Fiorillo et al. [15] ilihusisha uwasilishaji wa vichocheo vitano tofauti vya macho na macaque na kucheleweshwa, uwezekano (pr = 0, 0.25, 0.5, 0.75, 1) utoaji wa tuzo za juisi. Walitumia dhana ya kuchelewesha hali, ambayo kichocheo kinaendelea kwa muda maalum wa 2s, na thawabu ikitolewa wakati kichocheo hicho kinapotea. Baada ya mafunzo, tabia ya kulamba nyani ilionyesha kwamba walikuwa wakijua uwezekano tofauti wa thawabu unaohusishwa na kila kichocheo.
Kielelezo 1a inaonyesha histogram za idadi ya shughuli za kiini za DA zilizochapishwa kwa ziada, kwa kila pr. Nadharia ya TD inabiri kuwa uanzishaji wa kipengele cha seli za DA wakati wa msisitizo wa Visual lazima ufanane na malipo ya wastani inayotarajiwa, na hivyo inapaswa kuongezeka kwa pr. Kielelezo 1a kinaonyesha hasa hii - kwa kweli, katika idadi ya watu, ongezeko hilo ni laini kabisa. Morris et al. [16] inaripoti matokeo kama hayo katika kazi ya kinga (kufuatilia) hali ya kimaumbile pia inahusisha kuimarisha uwezekano.
Kielelezo 1. Makosa ya utabiri ya wastani katika kazi ya malipo ya uwezekano
(a) Jibu la DA katika majaribio na uwezekano tofauti wa tuzo. Idadi ya watu ya muda wa kusisimua histograms (PSTHs) zinaonyesha shughuli za muhtasari wa mihimili kadhaa ya DA juu ya majaribio mengi, kwa kila pr, iliyokusanywa juu ya majaribio yaliyolipwa na yasiyolipwa kwa uwezekano wa kati. (b) Hitilafu ya utabiri wa TD na upeo wa asymmetric. Katika kazi iliyoigwa, katika kila jaribio moja ya vichocheo vitano alichaguliwa kwa nasibu na kuonyeshwa kwa wakati t = 5. Kichocheo kilizimwa kwa t = 25, wakati huo tuzo ilipewa na uwezekano wa pr iliyoainishwa na kichocheo. Tulitumia uwakilishi wa laini ya kuchelewesha ya vichocheo (tazama maandishi), na kila kichocheo kikiwakilishwa na seti tofauti ya vitengo ('neurons'). Kosa la TD lilikuwa δ (t) = r (t) + w (t - 1) • x (t) - w (t - 1) • x (t - 1), na r (t) thawabu kwa wakati t , na x (t) na w (t) hali na vectors ya uzani wa kitengo. Kanuni ya kawaida ya kujifunza mkondoni ya TD ilitumika na kiwango cha kudumu cha kujifunza α, w (t) = w (t - 1) + αδ (t) x (t - 1), kwa hivyo kila uzito uliwakilisha thamani inayotarajiwa ya malipo ya baadaye. Sawa na Fiorillo et al., Tunaonyesha kosa la utabiri δ (t) wastani wa majaribio mengi, baada ya kazi hiyo kujifunza. Asymmetry ya uwakilishi inatokea kama maadili hasi ya δ (t) yamepunguzwa na d = 1/6 kabla ya summation ya PSTH ya kuiga, ingawa ujifunzaji unaendelea kulingana na makosa ambayo hayajafutwa. Mwishowe, kutoa hesabu ya majibu madogo mazuri wakati wa kichocheo cha pr = 0 na wakati wa tuzo (iliyotabiriwa) ya pr = 1 inayoonekana katika (a), tulifikiri nafasi ndogo (8%) kwamba kichocheo cha utabiri hakijulikani. (c) Jibu la DA katika majaribio ya pr = 0.5, yaliyotenganishwa katika majaribio ya tuzo (kushoto) na bila malipo (kulia) (d) Mfano wa TD wa (c). (a, c) Kilichapishwa tena kwa idhini kutoka kwa [15] © 2003 AAAS. Ruhusa kutoka kwa AAAS inahitajika kwa matumizi mengine yote.
Kwa kulinganisha, wakati wa utoaji wa malipo, TD nadharia inabiri kwamba kwa wastani haipaswi kuwa na shughuli, kwa wastani, hakuna kosa la utabiri wakati huo. Bila shaka, katika kubuni imara ya kuimarisha (angalau kwa pr ≠ 0, 1) kuna kweli kosa la utabiri wakati wa utoaji au utoaji wa malipo kwenye kila jaribio moja. Katika majaribio ambayo thawabu hutolewa, hitilafu ya utabiri inapaswa kuwa nzuri (kama malipo yanayopatikana ni kubwa kuliko malipo ya wastani yanayotarajiwa). Kinyume chake, juu ya majaribio yasiyo na malipo ni lazima kuwa hasi (tazama Kielelezo 1c). Kwa kawaida, chini ya TD, wastani wa tofauti hizi, uzito na uwezekano wao wa kutokea, lazima iwe sifuri. Ikiwa sio sifuri, basi hitilafu hii ya utabiri inapaswa kutenda kama ishara ya plastiki, kubadilisha utabiri mpaka hakuna kosa la utabiri. Kwa kulinganisha na matarajio haya, data katika Kielelezo 1a ambacho ni wastani juu ya majaribio yote yanayopatiwa na yaliyopatiwa, onyesha kuwa kuna shughuli nzuri ya maana kwa wakati huu. Hii pia inaonekana katika data ya Morris et al. [16] (angalia Kielelezo 3c). Majibu yanayofaa ya DA hayatakuwa na ishara za kutoweka hata kwa mafunzo makubwa (zaidi ya miezi).
Mbaya zaidi kuliko hii kwa mfano wa TD, na kwa kweli lengo la Fiorillo et al. [15], ni kuongezeka kwa shughuli za DA kuelekea wakati uliotarajiwa wa malipo. Kama ukubwa wa barabara ni kubwa kwa pr = 0.5, Fiorillo et al. alipendekeza kuwa inaripoti kutokuwa na uhakika katika utoaji wa malipo, badala ya kosa la utabiri, na kutafakari kuwa ishara hii inaweza kuelezea mali zinazoonekana kuwa na uhakika wa kutokuwa na uhakika (kama inavyoonekana katika kamari).
Shughuli zote za ramping na shughuli kwa wakati uliotarajiwa wa thawabu huwa changamoto muhimu kwa nadharia ya TD. Kujifunza kwa TD hufanya kazi kwa kupanga kwa shughuli za DA wakati mmoja katika jaribio la kutabiri mbali na cues zilizopatikana mapema katika jaribio hilo. Kwa hiyo, haijulikani jinsi shughuli yoyote inayoonekana inayowezekana, iwe ni kwamba wakati wa malipo au kwenye barabara ya awali, inaweza kuendelea bila ya kutabiri mbali na mwanzo wa kuchochea visual. Baada ya yote, shughuli ya tegemezi ya kujitegemea kwa kukabiliana na kichocheo inathibitisha hali yake kama predictor halali. Zaidi ya hayo, kipengele muhimu cha TD [17], ni kwamba wanandoa utabiri wa uchaguzi wa uchaguzi kwa kutumia thamani ya serikali kama dalili ya mapato ya baadaye yanayopatikana kutoka kwa hali hiyo, na hivyo kuvutia kwake kama lengo la hatua. Kutoka kwa mtazamo huu, kwa kuwa shughuli ya kukimbia haijaelezewa wazi na cue mapema, haiwezi kuathiri vitendo vya mapema, kama vile uamuzi wa kucheza. Kwa mfano, fikiria mashindano kati ya vitendo viwili: moja hatimaye inaongoza kwa serikali kwa malipo ya deterministic na kwa hiyo hakuna ramp, na nyingine inayoongoza kwa hali ikifuatiwa na malipo ya uwezekano na maana sawa, na ramp. Kwa kuwa barabara haiathiri shughuli wakati wa kichocheo kilichosimama, haiwezi kutumika kutathmini au kupendeza hatua ya pili (kamari) juu ya kwanza, licha ya kutokuwa na uhakika zaidi.
Tunapendekeza hypothesis mbadala kwamba hizi mbili mifumo ya uchovu ya uchochezi hutokea moja kwa moja kutoka kwa vikwazo vinavyotokana na kiwango cha chini cha msingi cha shughuli za DA neurons (2-4 Hz) kwenye coding ya kosa la utabiri la saini. Kama ilivyoelezwa na Fiorillo et al. [15], makosa mazuri ya utabiri yanawakilishwa na viwango vya kurusha vya ~ 270% juu ya msingi, wakati makosa hasi yanawakilishwa na kupungua kwa ~ ~ 55% chini ya msingi (tazama pia [14,18]). Asymmetry hii ni matokeo ya moja kwa moja ya coding ya kiasi kilichosainiwa kwa kukimbia ambayo ina msingi wa chini, ingawa, kwa wazi, inaweza tu kuwa chanya. Viwango vya kukimbia hapo juu ya msingi vinaweza kutengeneza makosa mazuri ya utabiri kwa kutumia upeo mkubwa wa nguvu, hata hivyo, chini ya viwango vya msingi vya kupiga marudio zinaweza tu kushuka kwa sifuri, na kuweka kizuizi cha kukodisha makosa ya utabiri hasi.
Kwa hivyo, mtu anapaswa kuwa mwangalifu kutafsiri hesabu (au wastani) wa peri-stimulus-time-histograms (PSTHs) ya shughuli juu ya majaribio anuwai, kama ilivyofanyika kwenye Kielelezo 1a. Ishara za makosa na hasi zenye alama za asymmetrically wakati wa kupokea au kutopokea malipo haipaswi kufikia jumla ya sifuri, hata ikiwa zinawakilisha makosa sahihi ya utabiri wa TD. Inapofupishwa, upigaji risasi wa chini unaowakilisha makosa hasi katika majaribio yasiyolipwa hautaweza "kufuta" upigaji risasi wa haraka wa makosa mazuri katika majaribio yaliyotuzwa, na, kwa jumla, wastani utaonyesha majibu mazuri. Kwenye ubongo, kwa kweli, kwani majibu hayapewi wastani wa majaribio (ya malipo na yasiyolipwa), lakini juu ya neurons ndani ya jaribio, hii haifai kuwa shida.
Hii inaelezea shughuli nzuri iliyoendelea (kwa wastani) wakati wa utoaji au utoaji wa malipo. Lakini nini kuhusu barabara kabla ya wakati huu? Bila shaka katika uwakilishi fulani wa neural wa wakati kati ya kuchochea na tuzo, wakati majaribio yanapungua, hii asymmetry hiyo inasababisha TD ili kusababisha matokeo ya shughuli kwa wakati wa malipo. Utaratibu wa kujifunza TD una athari za kueneza, kwa sababu ya majaribio-kwa-kesi, makosa ya utabiri yanayotokea kwa wakati mmoja katika jaribio (kama wakati wa malipo) kuelekea maelekezo ya uwezo (kama vile CS) ambayo hutokea wakati wa awali ndani ya kila jaribio. Chini ya uwakilishi usio na kipimo wa makosa mazuri na hasi ya utabiri ambayo tumejadiliwa, kuzingatia makosa haya ya kueneza juu ya majaribio mengi (kama katika Kielelezo 1a) itasababisha njia nzuri kwa muda wa majaribio kabla ya malipo. Muundo sahihi wa barabara inayotokana na shughuli inategemea njia ambazo zinawakilishwa kwa muda, pamoja na kasi ya kujifunza, kama itajadiliwa hapa chini.
Kielelezo 2 kinaonyesha maoni haya ya asili ya shughuli za kukanyaga. Hapa, uwakilishi wa laini ya kucheleweshwa kwa wakati tangu kichocheo kinatumiwa. Kwa hili, kila kitengo ('neuron') inakuwa hai (kwa mfano, inachukua thamani ya 1) kwa bakia fulani baada ya kichocheo kuwasilishwa, ili kila saa baada ya mwanzo wa kichocheo iwakilishwe kila wakati na upigaji wa kitengo kimoja. Kujifunza kunategemea makosa ya TD (yaliyoripotiwa na dopaminergically), yaliyorasimishwa kama δ (t) = r (t) + V (t) - V (t - 1), na V (t) pembejeo yenye uzito kutoka kwa kitengo kinachofanya kazi wakati t, na r (t) thawabu iliyopatikana kwa wakati t. Kusasisha uzito wa vitengo kulingana na kanuni ya kawaida ya sasisho la TD na kiwango cha ujifunzaji, inaruhusu V (t), kwa wastani, kuwakilisha tuzo zinazotarajiwa za siku zijazo (angalia maelezo ya Kielelezo 1). Kama kila saa inayofuata inawakilishwa kando, makosa ya utabiri wa TD yanaweza kutokea wakati wowote ndani ya jaribio. Kielelezo 2a kinaonyesha makosa haya katika majaribio sita mfululizo ambayo pr = 0.5. Katika kila jaribio, kosa mpya chanya au hasi hujitokeza wakati wa tuzo, kwa sababu ya kupokea au kutopokea tuzo, na hatua kwa hatua makosa kutoka kwa majaribio ya zamani huenea hadi wakati wa kichocheo, kupitia uppdatering wa uzani wa kila wakati (kwa mfano, kosa lililoangaziwa kwa nyekundu). Wakati wastani (au, kama vile PSTHs, muhtasari) juu ya majaribio, makosa haya hughairiana kwa wastani, na kusababisha histogram ya gorofa kwa jumla katika kipindi baada ya kichocheo, na kusababisha hadi wakati wa malipo (mstari mweusi kwenye Kielelezo 2b, inaongozwa juu ya majaribio 10 yaliyoonyeshwa kwa rangi ya samawati nyembamba). Walakini, ilipofupishwa baada ya kupunguzwa kwa asymmetric ya makosa hasi kwa sababu ya d = 1/6 (ambayo inaiga usimbuaji wa asymmetric wa makosa mazuri na mabaya ya utabiri na DA neurons), njia nzuri ya shughuli hufuata, kama inavyoonyeshwa na laini nyeusi katika Kielelezo 2c. Kumbuka kuwa uokoaji huu ni suala la uwakilishi tu, linalotokana na vikwazo vya kuweka nambari hasi juu ya kiwango cha chini cha risasi, na haipaswi kuathiri ujifunzaji wa uzito, ili usijifunze maadili yasiyofaa (angalia majadiliano). Walakini, kama PSTHs ni hesabu moja kwa moja ya spikes za neva, suala hili la uwakilishi linabeba histogram inayosababisha.
Kielelezo 2. Ukaratasi upya wa makosa ya utabiri unaelezea shughuli za ramping.
(a) Hitilafu ya utabiri wa TD katika kila majaribio sita ya mfululizo (juu hadi chini) kutoka kwa simulation katika Kielelezo 1b, na pr = 0.5. Umeelezewa katika nyekundu ni kosa wakati wa malipo wakati wa majaribio ya kwanza, na uenezi wake kwa mara kwa mara kuelekea wakati wa kuchochea katika majaribio yafuatayo. Kuzuia barua zinaonyesha matokeo ya kila jaribio maalum (R = tuzo; N = halali). Mlolongo wa malipo kabla ya majaribio haya hutolewa kwa haki juu. (b) Hitilafu ya TD kutoka kwa majaribio haya sita, na nyingine nne zifuatazo, imesimama. Mistari nyekundu na kijani inaonyesha bahasha ya makosa katika majaribio haya. Kusoma juu ya matokeo haya ya majaribio katika shughuli hakuna msingi juu ya msingi (mstari mweusi), kama makosa mazuri na mabaya hutokea kwa muda mfupi 50% ya wakati, na hivyo kufuta kila mmoja. (c) Hata hivyo, wakati makosa ya utabiri yanapimwa hapo juu na chini ya kiwango cha msingi cha kupiga moto (hapa makosa mabaya yalikuwa yaliyotokana na d = 1 / 6 kuiga encoding isiyo ya kawaida ya makosa ya utabiri na neurons za DA), wastani wa shughuli hutokea wakati wa majaribio juu ya majaribio, kama inavyoonyeshwa na mstari mweusi. Vigezo vyote vya simulation vinafanana na Kielelezo 1b, d.
Takwimu 1b, d show ramp kutoka kwa hii mchanganyiko wa coding asymmetric na inter-kesi wastani, kwa kulinganisha na data ya majaribio. Kielelezo 1b kinaonyesha PSTH iliyohesabiwa kutoka kwa data yetu iliyosawazishwa kwa kuzingatia alama ya ishara isiyosimamiwa δ (t) katika ~ majaribio ya ~ 50 kwa kila aina ya kuchochea. Kielelezo 1d kinaonyesha matokeo ya kesi ya pr = 0.5, imegawanywa katika majaribio yaliyopatiwa na yaliyotarajiwa kwa kulinganisha na Kielelezo 1c. Matokeo yaliyofanyika yanafanana na data ya majaribio karibu na kwamba yanajibu majibu ya chanya mzuri kwa tuzo zisizo uhakika, pamoja na athari ya kupungua, ambayo ni ya juu zaidi katika kesi ya pr = 0.5.
Ni rahisi kupata jibu la wastani wakati wa zawadi (t = N) katika jaribio T, yaani, wastani wa makosa ya TD δT(N) , kutoka kwa kanuni ya ujifunzaji ya TD na uwakilishi uliorahisishwa wa mstari wa kuchelewa na a. kiwango cha kujifunza kisichobadilika α. Thamani katika hatua ya saa inayofuata hadi ya mwisho katika jaribio, kama chaguo la kukokotoa la nambari ya majaribio (na thamani za awali zikichukuliwa kuwa sifuri), ni
ambapo r (t) ni thawabu mwishoni mwa jaribio t. Ishara ya kosa wakati wa mwisho wa jaribio T ni tofauti tu kati ya tuzo iliyopatikana r (T), na thamani ya kutabiri thawabu hiyo VT - 1 (N - 1). Kosa hili ni chanya na uwezekano wa pr, na hasi na uwezekano (1 - pr). Kuongeza makosa hasi kwa sababu ya d ∈ (0, 1], tunapata
Kwa coding ya ulinganifu wa makosa mazuri na hasi (d = 1), jibu la wastani ni 0. Kwa coding asymmetric (0
Kesi muhimu ya jaribio la tafsiri yetu inajitokeza katika aina tofauti ya kazi ya Fiorillo et al. [15], na pia kama jukumu linalofanana la Morris et al. [16], zote zikijumuisha hali ya kuwaeleza. Kinyume na hali ya kuchelewesha (Kielelezo 3a) ambamo thawabu inaambatana na mpangilio wa kichocheo cha utabiri, hapa kuna pengo kubwa kati ya mpangilio wa kichocheo cha utabiri na utoaji wa tuzo (Kielelezo 3b). Kwa wazi, katika kesi hii, kutokuwa na uhakika juu ya thawabu kunaweza kuongezeka tu, kwa sababu ya kelele katika kuweka muda kati ya kichocheo na thawabu [19], kwa hivyo chini ya akaunti ya kutokuwa na uhakika, inapaswa kuwa na barabara zinazolingana au kubwa zaidi. Walakini, matokeo ya majaribio yanaonyesha shughuli za kukanyaga kuwa ndogo, au hata kidogo (Kielelezo 3c; d). Kumbuka, hata hivyo, kwamba ukubwa wa shughuli za wastani wa majaribio kwa wakati unaotarajiwa wa malipo huhifadhiwa, ikionyesha kutengana kati ya urefu wa ngazi na kiwango cha shughuli nzuri kwa wakati unaotarajiwa wa tuzo.
Kielelezo 3. Fuatilia hali na malipo ya uwezekano.
(a) Kielelezo cha jaribio moja la kazi ya hali ya kuchelewesha ya Fiorillo et al. [15]. Jaribio linajumuisha kichocheo cha kuona cha sekunde 2, ambacho kinalingana na utoaji wa thawabu ya juisi, ikiwa thawabu hiyo imepangwa kulingana na uwezekano wa kuhusishwa na ishara ya kuona. Katika majaribio yasiyolipwa kichocheo kilikomeshwa bila malipo. Katika visa vyote viwili kati ya majaribio kati ya sekunde 9 kwa wastani hutenganisha majaribio. (b) Kielelezo cha jaribio moja la kazi ya ufuatiliaji wa Morris et al. [16]. Tofauti muhimu ni kwamba sasa kuna ucheleweshaji wa muda mfupi kati ya kukomesha kichocheo na mwanzo wa tuzo (kipindi cha "kufuatilia"), na hakuna kichocheo cha nje kinachoonyesha wakati unaotarajiwa wa malipo. Hii inatoa kutokuwa na uhakika wa ziada kama wakati sahihi wa malipo yaliyotabiriwa lazima yatatuliwe ndani, haswa katika majaribio yasiyolipwa. Katika kazi hii, kama ilivyo kwa [15], moja ya vichocheo kadhaa vya kuona (haionyeshwi) iliwasilishwa katika kila jaribio, na kila kichocheo kilihusishwa na uwezekano wa tuzo. Hapa, pia, tumbili aliombwa kutekeleza majibu muhimu (kubonyeza kitufe kinacholingana na upande ambao kichocheo hicho kiliwasilishwa), kutofaulu kwake kulikomesha jaribio bila tuzo. Majaribio yalitenganishwa na vipindi tofauti vya majaribio. (c, d) Kiwango cha kurusha cha DA (kimetiwa laini) ukilinganisha na msingi, karibu na wakati uliotarajiwa wa tuzo, katika majaribio yaliyotuzwa (c) na katika majaribio yasiyolipwa (d). (c, d) Kilichapishwa tena kutoka [16] © 2004 kwa idhini kutoka kwa Elsevier. Athari zinaashiria majibu mazuri kwa jumla kwa wakati unaotarajiwa wa tuzo, lakini kwa njia ndogo sana, au hakuna barabara iliyotangulia hii. Matokeo kama hayo yalipatikana katika kazi ya hali ya kawaida iliyoelezewa kwa ufupi katika [15], ambayo ilitumia utaratibu wa hali ya ufuatiliaji, ikithibitisha kuwa kipindi cha ufuatiliaji, na sio hali ya kazi ya kazi iliyoonyeshwa katika (b) ilikuwa tofauti muhimu kutoka kwa (a) .
Mfano wa TD wa DA unaelezea data hizi za kushangaza kwa urahisi. Kama inavyoonekana kwenye Mchoro 4, sura ya barabara, ingawa si urefu wa kilele chake, inathiriwa na kiwango cha kujifunza. Ukubwa wa makosa ya utabiri wa kueneza nyuma huamua, kwa sehemu, kwa kiwango cha kujifunza, kwa kuwa makosa haya yanatokea kama sehemu ya kujifunza mtandaoni ya utabiri mpya. Hakika, kuna uppdatering wa utabiri wa kuendelea, kwamba baada ya jaribio la malipo, kuna matarajio ya juu ya malipo (na hivyo thawabu inayofuata inatia hitilafu ndogo ya utabiri), na kinyume chake baada ya jaribio lisilolipwa [18] (tazama Mchoro 2a). Uppdatering huu wa utabiri unahusishwa moja kwa moja na kiwango cha kujifunza - kiwango cha juu cha kujifunza, kikubwa cha utabiri wa utabiri kulingana na kosa la utabiri la sasa, na sehemu kubwa ya kosa la utabiri ambalo linaenea nyuma. Kwa njia hii, kwa viwango vya juu vya kujifunza, tofauti katika matarajio baada ya kulipwa dhidi ya jaribio lisilopitiwa litakuwa kubwa, na hivyo makosa ya utabiri wakati tuzo inayofuata au haipatikani itakuwa kubwa - kwa hiyo ni njia kubwa zaidi na ndogo.
Kielelezo 4. Utegemezi wa barabara juu ya kiwango cha kujifunza.
Mfano wa barabara, lakini si urefu wa kilele chake, inategemea kiwango cha kujifunza. Grafu inaonyesha shughuli zilizofanyika kwa kesi ya pr = 0.5 karibu na wakati wa tuzo inayotarajiwa, kwa viwango tofauti vya kujifunza, wastani juu ya majaribio yote yaliyopatiwa na yaliyotarajiwa. Kulingana na kujifunza kwa TD kwa makosa ya kudumu ya utabiri usiyotokana na utaratibu, utendaji juu ya shughuli katika matokeo ya majaribio yaliyopatiwa na yaliyopatiwa katika ramp hadi wakati wa malipo. Urefu wa kilele cha barabara hutegemea uwiano wa majaribio yaliyopatiwa na yenye malipo, hata hivyo, upana wa barabara hutegemea kiwango cha uenezi wa nyuma wa ishara hizi za makosa kutoka wakati wa malipo (ya kutarajiwa) kwa wakati wa kichocheo cha utabiri. Kiwango cha kujifunza cha juu kina matokeo katika sehemu kubwa ya hitilafu inayoeneza nyuma, na hivyo njia ya juu. Na viwango vya chini vya kujifunza, barabara inakuwa duni, ingawa shughuli nzuri (kwa wastani) wakati wa malipo bado huhifadhiwa. Kumbuka kuwa ingawa kiwango cha kujifunza kilichotumiwa katika mchoro ulionyeshwa kwenye Kielelezo 1b, d kilikuwa 0.8, hii haipaswi kuchukuliwa kama kiwango halisi cha ujifunzaji wa neural substrate, kutokana na uwakilishi wetu wa kimkakati wa kuchochea. Kwa uwakilishi wa kweli zaidi ambayo idadi ya neurons inafanya kazi kila wakati, kiwango cha chini cha kujifunza kinaweza kutoa matokeo sawa.
Hakika, ikilinganishwa na hali ya kuchelewesha, kufuatilia hali ni polepole sana, na kuashiria kuwa kiwango cha kujifunza ni cha chini, na hivyo kwamba kuna lazima iwe na njia ya chini, kulingana na matokeo ya majaribio. Uchunguzi wa moja kwa moja wa kiwango cha kujifunza katika data ya Morris et al. [16], ambaye kazi yake ilihitaji mazoezi ya kutosha kama haikuwa tu hali ya kufuatilia moja lakini pia ilihusika na hatua ya kiutendaji, imethibitisha kwa kweli kuwa chini sana (Genela Morris - mawasiliano binafsi, 2004).
Majadiliano
Kuweka coding tofauti ya maadili mazuri na hasi na neurons DA inaonekana katika masomo yote ya signal DA ya phasic, na inaweza kuonekana kama matokeo ya kuepukika ya shughuli ya chini ya msingi ya neurons hizi. Kwa hakika, mwisho huo una maoni mazuri ya kuwa mpinzani wa mpinzani, serotonin, anahusika katika kuwakilisha na kwa hiyo kujifunza makosa mabaya ya utabiri [20], ili pia wawe na robo kamili. Hapa, hata hivyo, tumejihusisha na kuzingatia madhara ya asymmetry juu ya uchambuzi wa wastani wa majaribio ya shughuli za dopamine, na kuonyeshwa kuwa kukimbia shughuli za DA, pamoja na jibu la wastani la chanya wakati wa malipo, hutokea moja kwa moja kutoka kwa coding asymmetric ya makosa ya utabiri.
Mbali na mtazamo wazi wa ishara ya hitilafu, matokeo muhimu zaidi ya ufafanuzi mpya ni kwamba ramps inaweza kuonekana kama ishara ya uzushi TD ambayo hadi sasa imekuwa vigumu sana. Huu ni maendeleo ya nyuma ya uenezi wa ishara ya hitilafu inayoonyeshwa na shughuli za DA, tangu wakati wa malipo hadi wakati wa mtayarishaji (Kielelezo 2a). Masomo mengi ya awali ya shughuli za dopaminergic wameitumia pr = 1, kwa hivyo kufanya uenezaji huu kwa ufanisi wakati wa tukio unaonekana tu mwanzoni mwa mafunzo (wakati, kawaida, rekodi hazijaanza), na inaweza kuwa vigumu kutambua katika polepole- kurusha DA neurons. Zaidi ya hayo, kama ilivyoelezwa, uenezi wa nyuma unategemea njia ambayo muda kati ya kichocheo cha kuhubiri na malipo hufanyika - iko sasa kwa uwakilishi wa mstari wa kuchelewa-mstari kama katika [6], lakini si kwa uwakilishi ambao unapotea nzima kuchelewa, kama vile [21]. Kumbuka kwamba sura ya barabara pia inategemea matumizi ya ufanisi wa ufanisi na utawala unaoitwa TD (λ) (simulation hauonyeshwa), ambayo hutoa njia ya ziada ya kuunganisha muda kati ya matukio wakati wa kujifunza. Kwa bahati mbaya, kama aina za ramps katika data ni badala ya kutofautiana (takwimu 1) na kelele, hawawezi kutoa vikwazo vikali juu ya utaratibu sahihi wa TD uliotumiwa na ubongo.
Uchunguzi wa hivi karibuni unaohusisha makosa ya utabiri unaoendelea pia unaonyesha shughuli zinazoonyesha kupanua nyuma, hasa Kielelezo 4 cha [13]. Katika utafiti huu, makosa ya utabiri yalitokana na mabadiliko ya mara kwa mara katika kazi hiyo, na rekodi za DA zilifanywa tangu mwanzo wa mafunzo, hivyo kazi ya uenezi wa nyuma unaonekana wazi, ingawa shughuli hii haikufafanuliwa.
Tunatarajia ramps kuendelea katika mafunzo tu ikiwa kiwango cha kujifunza haipungua kwa sifuri kama kujifunza kunaendelea. Nadharia ya Pearce & Hall [22] ya udhibiti wa ujifunzaji kwa kutokuwa na uhakika unaonyesha ukweli huu wa kuendelea kwa ujifunzaji - na kuna ushahidi kutoka kwa ratiba za kuimarisha sehemu kwamba kiwango cha ujifunzaji kinaweza kuwa juu wakati kuna kutokuwa na uhakika zaidi kuhusishwa na tuzo. Kwa kweli, kutoka kwa maoni ya 'busara' ya takwimu, ujifunzaji unapaswa kuendelea wakati kuna kutokuwa na uhakika mkubwa juu ya uhusiano kati ya watabiri na matokeo, kama inaweza kutokea kutokana na uwezekano wa kila wakati wa mabadiliko katika uhusiano wa utabiri. Aina hii ya kutokuwa na uhakika inayoendelea, pamoja na kutokuwa na uhakika kwa sababu ya ujinga wa awali kuhusu kazi hiyo, zimetumika kurasimisha nadharia ya Pearce & Hall ya njia ambayo kutokuwa na uhakika husukuma kujifunza [23]. Kwa hivyo, madai yetu kwamba kutokuwa na uhakika kunaweza kuwakilishwa moja kwa moja na njia panda, kwa hakika haipaswi kuchukuliwa kumaanisha kuwa uwakilishi wake na ujanja sio muhimu. Kinyume chake, tumependekeza kwamba kutokuwa na uhakika kunaathiri athari ya ujazo na ujifunzaji kupitia mifumo mingine ya neuromodulatory [24], na kwamba pia inaweza kuamua mambo ya uteuzi wa vitendo [25].
Vipengele vingine vingine vya asymmetry lazima ieleweke. Kile muhimu zaidi ni athari ya asymmetry juu ya kujifunza kwa tegemezi la DA [26], ikiwa shughuli chini ya msingi ya DA inajibika yenyewe kwa utabiri wa kupungua ambao ni wa juu sana. Ili kuhakikisha kuwa utabiri wa kujifunza unaendelea kuwa sahihi, tunapaswa kudhani kuwa uwakilishi wa kutosha hauathiri kujifunza, yaani, utaratibu kama vile kiwango cha kutofautiana kwa uwezekano na unyogovu wa nguvu za synaptic hulipa fikira ishara ya kosa la kutosha. Bila shaka, hii ingeweza kutolewa moot ikiwa mpinzani wa mpinzani anahusika katika kujifunza kutokana na makosa mabaya ya utabiri. Suala hili ni ngumu na maoni ya Bayer [14] kuwa viwango vya DA vya kupiga risasi ni kweli sawa na makosa yote ya utabiri chini ya kizingiti kidogo, labda kutokana na athari ya sakafu ya kiwango cha chini cha kurusha. Kutafuta encoding kama hiyo hakuathiri picha ya ubora wa athari za wastani wa majaribio juu ya kuibuka kwa barabara, lakini inaimarisha haja ya ishara ya mpinzani kwa kujifunza kwa kawaida.
Mwishowe, jaribio la moja kwa moja la ufafanuzi wetu lingekuwa kulinganisha wastani wa ndani na kati ya majaribio ya ishara ya DA. Ingekuwa muhimu kufanya hivyo kwa hali ya kisasa, ili kuepuka shida za wastani wa ishara zisizo za kawaida. Ili kushinda kelele katika upigaji risasi wa neva, na kubaini ikiwa kweli kulikuwa na njia panda ndani ya jaribio, au, kama tunavyotabiri - makosa ya utabiri mzuri na hasi, itakuwa muhimu wastani juu ya neurons nyingi zilizorekodiwa wakati huo huo ndani ya jaribio. jaribio moja, na zaidi ya hayo neuroni zinazohusiana na viwango sawa vya ujifunzaji. Vinginevyo, athari moja ya neuron inaweza kurejeshwa dhidi ya majibu ya nyuma ya kutabiri yaliyotabiriwa na majaribio yao yaliyotangulia na ujifunzaji wa TD. Ulinganisho wa idadi ya tofauti iliyoelezewa na mfano kama huo, ikilinganishwa na ile kutoka kwa kurudi nyuma dhidi ya njia panda ya shughuli moja, inaweza kuonyesha mfano unaofaa zaidi. Utabiri wa moja kwa moja, lakini unaoweza kujaribiwa ni kwamba umbo la njia panda linapaswa kutegemea kiwango cha ujifunzaji. Viwango vya kujifunzia vinaweza kutathminiwa kutokana na majibu ya thawabu zinazowezekana, bila kutegemea umbo la njia panda (Nakahara et al. [18] ilionyesha kwa njia ambayo, kwamba katika jukumu lao la kuimarisha hali ya sehemu, kiwango cha kujifunza kilikuwa 0.3), na inayoweza kudanganywa kwa kutofautisha kiwango cha mafunzo au masafa ambayo dharura za kazi hubadilishwa na kutolewa tena. Kwa kweli, kupima uwepo na umbo la barabara panda katika shughuli za DA zilizorekodiwa za DA, zinaweza kutoa mwanga juu ya pendekezo la sasa.
Mashindano ya maslahi ya
Mwandishi (s) anatangaza kuwa hawana maslahi ya mashindano.
Michango ya Waandishi
YN, MD na PD pamoja mimba na kutekeleza utafiti huu, na kusaidiwa kuandaa waraka huo. Waandishi wote walisoma na kuidhinisha hati ya mwisho.
Shukrani
Tunamshukuru sana kwa H. Bergman, C. Fiorillo, N. Daw, D. Joel, P. Tobler, P. Shizgal na W. Schultz kwa ajili ya majadiliano na maoni, wakati mwingine pamoja na tafsiri tofauti ya data. Tunashukuru sana kwa Genela Morris kwa kuchunguza data yake iliyochapishwa na isiyochapishwa kuhusiana na kutembea. Kazi hii ilifadhiliwa na mtandao wa EC Thematic (YN), Foundation ya Charitable Charitable na EU BIBA project.
Marejeo
1. Ljungberg T, Apicella P, Schultz W: Majibu ya neuroni za dopamini ya tumbili wakati wa kujifunza miitikio ya kitabia.
Journal Neurophysiol 1992, 67: 145-163.
Rudi kwenye maandishi
2. Schultz W: Ishara ya utabiri wa malipo ya nyuroni za dopamini. [http://jn.physiology.org/cgi/content/full/80/1/1] tovuti
Journal ya Neurophysiology 1998, 80: 1-27. Kitambulisho cha PubMed
Rudi kwenye maandishi
3. O'Doherty J, Dayan P, Friston K, Critchley H, Dolan R: Miundo ya tofauti za muda na mafunzo yanayohusiana na malipo katika ubongo wa binadamu.
Neuron 2003, 38: 329-337. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
4. Seymour B, O'Doherty J, Dayan P, Koltzenburg M, Jones A, Dolan R, Friston K, Frackowiak R: Miundo ya tofauti ya muda inaelezea mafunzo ya hali ya juu kwa binadamu.
Hali 2004, 429: 664-667. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
5. Montague PR, Hyman SE, Cohan JD: Majukumu ya kukokotoa ya dopamini katika udhibiti wa tabia.
Hali 2004, 431: 760-767. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
6. Montague PR, Dayan P, Sejnowski TJ: Mfumo wa mifumo ya dopamini ya mesencephalic kulingana na ujifunzaji wa Kiebrania unaotabirika.
Journal ya Neuroscience 1996, 16: 1936-1947. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
7. Schultz W, Dayan P, Montague PR: Kiini cha neva cha ubashiri na malipo.
Sayansi 1997, 275: 1593-1599. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
8. Sutton RS: Kujifunza kutabiri kwa mbinu ya tofauti ya muda.
Kujifunza kwa mashine 1988, 3: 9-44.
Rudi kwenye maandishi
9. Sutton RS, Barto AG: [http://www.cs.ualberta.ca/~sutton/book/ebook/the-book.html] tovuti
Kuimarisha kujifunza: Utangulizi. MIT Press; 1998.
Rudi kwenye maandishi
10. Hollerman J, Schultz W: Neuroni za Dopamine zinaripoti hitilafu katika utabiri wa muda wa malipo wakati wa kujifunza.
Hali ya Neuroscience 1998, 1: 304-309. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
11. Schultz W, Apicella P, Ljungberg T: Majibu ya neuroni za dopamini ya tumbili ili kutuza na vichocheo vilivyowekwa wakati wa hatua zinazofuata za kujifunza kazi ya kujibu iliyochelewa.
Journal ya Neuroscience 1993, 13: 900-913. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
.
Journal ya Neuroscience 2003, 23 (32): 10402-10410. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
13. Takikawa Y, Kawagoe R, Hikosaka O: Jukumu linalowezekana la niuroni za dopamini ya ubongo wa kati katika urekebishaji wa muda mfupi na mrefu wa sacades hadi upangaji wa ramani ya thawabu.
Journal ya Neurophysiology 2004, 92: 2520-2529. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
14. Bayer H: Jukumu la substantia nigra katika kujifunza na udhibiti wa magari.
Thesis ya PhD, Chuo Kikuu cha New York 2004.
Rudi kwenye maandishi
15. Fiorillo C, Tobler P, Schultz W: Usimbaji Tofauti wa Uwezekano wa Zawadi na Kutokuwa na uhakika na Neuroni za Dopamine.
Sayansi 2003, 299 (5614): 1898-1902. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
16. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H: Ujumbe wa sadfa lakini mahususi wa dopamini ya ubongo wa kati na niuroni zinazofanya kazi kwa nguvu za striatal.
Neuron 2004, 43: 133-143. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
17. Barto A, Sutton R, Watkins C: Kujifunza na kufanya maamuzi mfululizo. Katika Kujifunza na Neuroscience ya Kompyuta: Misingi ya Mitandao Inayobadilika. Imehaririwa na Gabriel M, Moore J. Cambridge, MA: MIT Press; 1990:539-602.
Rudi kwenye maandishi
18. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O: Neuroni za dopamine zinaweza kuwakilisha makosa ya ubashiri yanayotegemea muktadha.
Neuron 2004, 41: 269-280. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
19. Gallistel CR, Gibbon J: Muda, kiwango na hali.
Uchunguzi wa Kisaikolojia 2000, 107: 289-344. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
20. Daw ND, Kakade S, Dayan P: Mwingiliano wa wapinzani kati ya serotonini na dopamine.
Mtandao wa Neural 2002, 15 (4-6): 603-616. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
21. Suri RE, Schultz W: Muundo wa mtandao wa neva wenye mawimbi ya kuimarisha kama dopamini ambayo hujifunza kazi ya kujibu iliyocheleweshwa katika anga.
Neuroscience 1999, 91: 871-890. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
22. Pearce JM, Hall G: Kielelezo cha kujifunza kwa Pavlovian: Tofauti za ufanisi wa vichocheo vilivyowekwa lakini si vya masharti.
Uchunguzi wa Kisaikolojia 1980, 87: 532-552. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
23. Dayan P, Kakade S, Montague PR: Uangalifu wa kujifunza na kuchagua.
Hali ya Neuroscience 2000, 3: 1218-1223. PubMed Kikemikali | Mchapishaji Makala Kamili
Rudi kwenye maandishi
24. Dayan P, Yu A: Mashaka yanayotarajiwa na yasiyotarajiwa: Ach na NE katika neocortex. [http://books.nips.ce/papers/files/nips15/NS08.pdf] tovuti
Maendeleo katika Neural Information Processing Sysytems Iliyotengenezwa na Dietterich T, Becker S, Ghahramani Z. Cambridge, MA: Press MIT; 2002, 14: 189-196.
Rudi kwenye maandishi
25. Daw N, Niv Y, Dayan P: Vitendo, Sera, Maadili, na Basal Ganglia. Katika Mafanikio ya Hivi Karibuni katika Utafiti wa Basal Ganglia. Imehaririwa na Bezard E. New York, Marekani: Nova Science Publishers, Inc; katika vyombo vya habari.
Rudi kwenye maandishi
26. Wickens J, Kötter R: Mifano ya simu za kuimarisha. Katika Miundo ya Usindikaji wa Habari katika Basal Ganglia. Imehaririwa na Houk JC, Davis JL, Beiser DG. Vyombo vya habari vya MIT; 1995:187-214.
Rudi kwenye maandishi
;