LITLHAHISO: Phuputso e 'ngoe e bonts'ang hore popo ke moputso oa eona. E 'ngoe ea likarolo tse lemalloang tsa litšoantšo tsa bootsoa inthaneteng ke mokhoa o sa feleng le tse fapa-fapaneng, bokhoni ba ho tobetsa kapele ho tloha sebakeng se seng ho ea ho se seng, le ho batla setšoantšo / video e nepahetseng feela. Tsena tsohle li eketsa dopamine. Sena ke sona se etsang hore litšoantšo tsa bootsoa tsa inthanete li fapane le limakasine kapa li-DVD tse hiriloeng.
Neural Netw. 2008 ea December; 21 (10): 1493-1499.
E phatlalalitsoe inthaneteng 2008 September 25. Doi: 10.1016 / j.neunet.2008.09.004
Patryk A. Laurent, Univesithi ea Pittsburgh;
Fumana mangolo ohle ho: Patryk Laurent, Univesithi ea Pittsburgh, 623 LRDC, 3939 O'Hara St., Pittsburgh, PA 15260 USA, lengolo-tsoibila: [imeile e sirelelitsoe], Ofisi: (412) 624-3191, Fax: (412) 624-9149
inahaneloang
Boiteko ba morao-rao ba ho etsa limmapa tsa ho ithuta tse thehiloeng moputsong, joalo ka Reinforcing Learning [17], bokong bo thehiloe ho tlhokomeliso ea hore phasic e eketseha le ho fokotseha ha spark ea dopamine-releasing neurons sign phapang lipakeng tsa tse boletsoeng esale pele le moputso [16,5]. Leha ho le joalo, phoso ena e boletsoeng esale pele ea moputso ke e 'ngoe feela ea matšoao a mangata a boletsoeng ke ketso eo ea phasic; e ngoe e kenyelletsa keketseho ea spiking ea dopaminergic, e bonts'ang ponahalo ea tšusumetso empa e sa reroe e seng moputso [4,6,13], haholoholo ha setho se its'oarella se lebisang tlhabisong [16]. Ho hlalosa liphumano tsena, Ketso le Dayan [7] le ba bang ba hlahisitse buka eo, mehopolo e sa lebelloang e ba le moputso o moholo. Ho latela mohlala ho tlalehiloeng sengoloa sena ho bonts'a hore monahano ona ha o hlokahale hobane sepheo seo se reretsoeng ho ts'oara se tsoa mekhoeng ea ho ithuta ea moputso mabapi le matlafatso a ho ithuta. Ka hona, melao-motheo ea Matlafatso ea ho Ithuta e ka sebelisoa ho utloisisa eseng feela ts'ebetso e amanang le moputso ea li-neuron tsa dopaminergic tsa basal ganglia, empa le tse ling tsa mesebetsi ea bona e amanang le moputso.
Reinforcing Study (RL) e ntse e tsoela pele ho ba bohlokoa le ho feta molemong oa ho ntlafatsa mefuta e meng ea lithuto tse thehiloeng ho moputso bokong. RL ke sehlopha sa li-algorithms tse kopaneng tse hlalosang kamoo "moemeli" oa maiketsetso (mohlala, roboto ea 'nete kapa e etselitsoeng) e ka ithutang ho khetha liketso e le ho phahamisa moputso o lebelletsoeng [17]. Ka algorithms tsena, moemeli o theha liketso tsa hae ho boleng boo a ithutang ho bo amahanya le linaha tse fapaneng (mohlala, lintlha tse hlakileng tse amanang le tšusumetso). Lintlha tsena li ka ithutoa butle-butle ka ho ithuta phapanyetsano ea nakoana, e fetolang litekanyetso tsa mmuso ho latela phapano lipakeng tsa moputso oa moemeli o teng bakeng sa mmuso le moputso oa nnete o fumanoang kamora tikoloho. Phapang ena e kopantsoeng, e bitsitsoeng phoso ea ho bolela moputso esale pele, e bontšitsoe hore e lumellana hantle le ts'ebetso ea phasic ea li-neurons tse lokollang dopamine tse tsoang projene e ngata ho li-primates tse seng tsa motho [16]. Ntle le moo, ho batho, striatum, e leng sepheo sa bohlokoa sa dopamine, e bonts'a letšoao la fMRI BOLD le hlahang le bonts'a phoso ea ho bolela moputso nakong ea mesebetsi ea ho ithuta moputso [10,12,18]. FMRI ena ea ho fumana e tlatselletsa le data ea physiology hobane striatal BOLD e nahanoa hore e bonts'a, bonyane ka karolo, ts'ebetso ea kopane ea synaptic [9] le projeke ea dopamine neurons haholo ho striatum.
Leha likarabo tse boletsoeng ka holimo tsa 'mele li bonahala li amana le phello ea boitlamo ba moputso oa RL, ho boetse ho na le keketseho ea ts'ebetso ea phasic ea dopaminergic e arabelang ho ho tsosa le / kapa tlhotlheletso ea lipale eo ho bonahalang e sa amane le ho putsa [4,6,14,3]. Ntho e tšoanang e sa tsoa bonoa ho batho ba sebelisang fMRI [2]. Ho na le mabaka a 'maloa a etsang hore karabo ena ea "boqapi" kapa "bosency" ho thoe e sa amane le phoso ea ho bolela esale pele: (1) e hlaha haholo pele ho tlhahlobo ea tšusumetso, hore sephetho se nepahetseng sa moputso se se ke sa sebetsa ho hlahisoa; (2) e tsamaisana le keketseho ea tšebetso ea neural (ke hore, e ntle) molemong oa boiphetetso o khathollang; mme (3) e lula kahara [13]. Ka 'nete likarabo tsena tsa boselamose / tse ncha tsa li-neurop tse lokollang dopamine li ts'epahala haholo ha ts'usumetso e sa boleloa esale pele mme e lebisa ho maikutlo le / kapa boits'oaro ba mokhoa [16] ho sa tsotelehe sephetho se tlang ho ba teng, se totobatsang taba ea hore li fapana ka mokhoa o fapaneng le moputso o ithutileng ponelopele. Phephetso, ka hona, e bile ho hlalosa pherekano ena e hlakileng (ke hore, mokhoa o mocha o ama phoso ea ho bolela moputso) joang morerong oa thuto ea RL.
Ke le Dayan [7] ba lekile ho etsa sena hantle; sengolong sa bona, ba beha mekhoa e 'meli eo likarabo tse ncha li ka kenyelitsoeng mehlaleng ea RL ea tšebetso ea dopaminergic — ka bobeli li kenyelletsa kenyelletsong ea mehopolo e ncha ea theory. Mohopolo oa pele, o bitsoang li-bonase tse ncha, o kenyelletsa ho tlisa moputso o eketsehileng ha ho susumetsoa ke lipale tse ncha, holimo le moputsong o tloaelehileng o fumanoeng ke moemeli. Moputso ona o eketsehileng o kena ka har'a complication e le hore ho ithuta ho ipapisitse le phapano lipakeng tsa moputso oa moemeli o teng le kakaretso ea moputso o tloaelehileng o tsoang tikolohong le bonto e ncha. Kahoo, bonohe e fetoha karolo ea moputso oo moemeli a lekang ho o phahamisa. Mohopolo oa bobeli, o bitsoang li-bonase tse fetotsoeng, o ka kenngwa tšebetsong ka ho eketsa boleng ba linaha tse amanang le tšusumetso ea lipale. Hobane molao oa ho ithuta phapano ea nakoana o sebelisitsoeng ho RL o ipapisitse le phapang ea ho bolela moputso lipakeng tsa linaha tse latellanang, ho eketsoa ha bonto e sa fetoheng ea mebuso e amehang ka tšusumetso ea novel ha ho na tšusumetso ho boits'oaro ba ho qetela ba moemeli. Leha ho le joalo, karabelo e ncha e sa ntsane e hlaha ha moemeli a kena karolong ea sebaka sa mmuso se "bopehileng" (ke hore, se amanang le bocha).
Le ha kenyelletso ea e 'ngoe le e' ngoe ea menahano ena e lekane ho hlalosa litlamorao tse ngata tse bonoeng tsa boiqapelo, menahano le eona e sitisa tsoelo-pele ea thuto. Joalokaha Kale le Dayan [7] ba supa, li-bonase tsa lipalesa li ka senya ts'ebetso ea boleng (ke hore, boleng bo amanang le mmuso ka mong le mofani) mme bo ama se ithutoang qetellong hobane se kengoa ts'ebetsong e le moputso o eketsehileng o amanang le noano e re. Bothata ke hore moemeli o ithuta ho bolela esale pele likarolo tsa pele tsa moputso. Leha Khale le Dayan ba supa hore ho hlophisa li-bonase ha ho bake mofuta ona oa mathata hobane ho kenyellelitsoe tšepisong ea moputso ho tsoa liprofinseng tse fetileng, tlatsetso ea bona e ntse e le bothata hobane li-bonase tse bopehileng li hlahisa leeme ka tsela eo moemeli a tla hlahloba sebaka sa eona sa mmuso. Kahoo, leha likhopolo tsena tse ling li ka hlalosa kamoo bocha bo amang phoso ea ho bolela moputso ho RL, li na le mathata. Ho feta moo, litlhaloso li tla ka theko ea ho fokotsa mosebetsi oa ho etsa mohlala o lekang ho sebelisa RL ho utloisisa boitšoaro ba libopuoa tsa 'nete.
Boitšoaro bo tlalehiloeng ka tlase bo ile ba etsoa e le ho leka khopolo-taba ea hore moemeli ea bonolo oa RL, ntle le tebello e 'ngoe e eketsehileng, o tla nts'etsapele karabo ea phoso ea moputso e ts'oanang le karabelo ea dopamine e seng moputso e bonoang linthong tse phelang. . Moemeli oa RL o ile a fuoa mosebetsi oa ho buisana le mefuta e 'meli ea ntho — e' ngoe e nepahetseng le e 'ngoe e mpe — e hlahang libakeng tse sa reroang tikolohong ea eona. E le ho eketsa moputso, moemeli o ile a tlameha ho ithuta ho atamela le ho "qeta" ntho e ntle, le ho qoba (ho re, eseng "ho ja") ntho e mpe. Ho bile le likhakanyo tse tharo tsa mantlha bakeng sa tšoantšiso.
Polelo ea pele e ne e le hore, molemong oa ho eketsa moputso, moemeli o ne a tla ithuta ho atamela le ho "qeta" lintho tse ntle, tse nang le moputso ha ka nako e tšoanang a ntse a ithuta ho qoba lintho tse mpe, tse fanang ka kotlo. Phatlalatso ea bobeli e ne e sa totobala hanyane feela: hore moemeli o tla bonts'a karabelo e lebisang (ho re, ithute ho feto-fetola maikutlo a eona) ho lintho tse peli tse ntle le tse ntle. Polelo ena e entsoe hobane leha moemeli a ne a ka "lemoha" ponahalo ea ntho le sebaka seo e leng ho sona, lebitso le nepahetseng kapa le fosahetseng la ntho eo (ke hore, lefapha leo moemeli a tla qetella a ithutile ho ikopanya le boleng ba moputso oa ntho) e ne e ke ke ea khethoa ke moemeli ho fihlela kamora hore moemeli a hlile a sekamele ho ntho eo. Qetellong, polelo ea boraro (ebile ea bohlokoa) e boletsoeng esale pele e ne e amana le karabelo ea phasic ea dopaminergic e etselitsoeng mohlala; polelo ena e ne e le hore, ha ntho e hlaha, moemeli o ne a tla supa phoso e boletsoeng esale pele ea moputso e neng e lumellana le karabelo ea phasic dopamine e bonoang linthong tse phelang, e le ntle bakeng sa lintho tse ntle le tse mpe. Karabelo ena e ile ea boela ea boleloa hore e tla fapana joaloka ts'ebetso ea sebaka se pakeng tsa moemeli le khothatso, eo maemong a lipapiso e neng e le tekanyetso ea "proisity" kapa "bohlanya". Joalokaha ho tla bonts'oa mona ka tlase, likhakanyo tsena li netefalitsoe ke sephetho sa papiso, tse bonts'ang hore likarabo tsa dopamine tse sa amaneng le moputso ka molao-motheo li ka hlaha melaong ea motheo ea RL. Litlamorao tsa litlamorao tsa liphetho tsena tsa ho sebelisa RL ho utloisisa tšebetso e sa amaneng le moputso libopuoa tsa tlhaho li tla tšohloa karolong e qetellang ea sengoloa sena.
Method
Joalokaha ho se ho boletsoe, li-algorithms tsa RL li qaqisa hore na moemeli a ka sebelisa moputso oa lipalo tsa motsotsoana ho ithuta hore na o lokela ho nka mehato efe ho phahamisa moputso oohle oo ao amohelang. Maemong a mangata, ho ithuta hona ho fihlelleha ka ho sebelisa liphoso tse boletsoeng esale pele tsa moputso (ke hore, phapang lipakeng tsa karolelano ea moputso ea moemeli le moputso oa nnete o fumanoeng) ho ntlafatsa ponelo-pele ea moputso oa moemeli. Ha mahlale a moputso a ntse a ithutoa, likhakanyo li ka sebelisoa ke moemeli ho khetha ketso e latelang. Pholisi e tloaelehileng (e hlalositsoeng ho equation 2) ke ea moemeli ho khetha ketso eo ho boletsoeng esale pele hore e tla tlisa moputso o moholohali. Moputso oa sebele o fuoang moemeli ka nako efe kapa efe e felletseng ke kakaretso ea moputso oa hang-hang hammoho le karolo e itseng ea boleng ba mmuso eo moemeli a e kenang ha ketso e phethetsoe. Kahoo, haeba moemeli a ka qetella a fumane meputso e metle kamora ho ba maemong a itseng, moemeli o tla khetha liketso nakong e tlang tse ka hlahisang linaha tseo tse putsoeng; Ka lehlakoreng le leng, haeba moemeli a fumana meputso e sa lokang (ke hore, kotlo) e tla qoba liketso nakong e tlang tse lebisang ho tseo "tse fuoeng kotlo".
Algorithm e ikhethileng e rerang likhakanyo tsa moputso tse ithutoang bakeng sa linaha tse fapaneng (ke hore, boleng ba boleng V) e bitsoa Value Iteration [Sengoloa sa 1] mme e ka hlalosoa ka semmuso e le:
Bakeng sa libaka tsohle tse ka khonehang,
(Equation 1)
moo e tsamaellanang le boemo ba hajoale, V (s) ke polelo ea hona joale ea moputso bakeng sa mmuso s e ithutoang ke moemeli, maxaction∈M {} ke moetsi oa boleng bo phahameng ba palo e behiloeng kahara sete ea liketso tsohle M e fumaneha ho moemeli, V (s ′) ke tjantjello ea moputso ea moemeli bakeng sa mmuso o latelang s s, α ke sekhahla se seng sa ho ithuta (pakeng tsa 0 le 1), 'me γ ke ntlha e theolang e bonts'a meputso ea kamoso amanang le meputso ea hang-hang. Ts'ebetso ea boleng ba pele e ne e behiloe e le hore V (s) e ne e le 0 bakeng sa linaha tsohle s.
Ts'ebetso ea boleng (V) e sebelisitsoe e le tafole ea ho shebella, e lekanang hantle le mohopolo oa memori e phethahetseng. Leha li-approximators tsa tšebetso tse kang li-network tsa neural li sebelisitsoe ka katleho e itseng ho emela mesebetsi ea boleng [1], tafole ea ho shebella e ile ea sebelisoa ho netefatsa hore liphetho ha lia itšetleha ka mefuta ea mochine oa kakaretso o fanoang ke baetsi ba fapaneng ba mesebetsi. Moemeli o ne a koetliselitsoe ho ithuta ka nakoana ea 1,500 sebakeng sa sebaka sa eona. Ka lebaka la ho se tsebe ho tsebahala ha lintho, peterolo ea boleng ba boleng bo ka tlase ho e le 'ngoe (α = 0.01) e sebelisitsoe nakong ea ho ithuta ho lumella sepheo sa ho bala sephetho se fapaneng. Qetellong, ntlha ea theolelo e thehiloe ho γ = 0.99 ho khothaletsa moemeli ho batla moputso kapele ho e-na le ho liehisa boits'oaro ba eona ba mokhoa ho fihlela qetellong ea teko (leha ho e fetola ho tsoa boleng bo sa lekanyetsoang ba 1 ho ne ho sena phello ho litholoana tse tlalehiloeng mona. ) E le ho ikemela ka boikemelo hore na 1,500 iterations ea ho ithuta e ne e lekane bakeng sa ho ithuta ho phethela, boholo ba phetoho ho ba ithutileng bo behiloe leihlo 'me ho fumanoe hore e fetotsoe pele ho palo ena ea litaba.
Kamora boikoetliso, algorithm e tobileng e laolang boitšoaro ba moemeli (ke hore, leano la liketso leo le le nkang ho tsoa ho mmuso o mong le o mong) ke:
(Equation 2)
moo π (s) ke ketso eo moemeli a tla e khetha ho mmuso, mme lehlakore le letona la equation le busetsa ts'ebetso (mohlala, phetoho ea boits'oaro, motsamao, kapa ho se nke ketso) e phahamisang kakaretso ea moputso le boleng bo theotsoeng ea maemo a hlahelang s.
Mohopolong o tlalehiloeng ka tlase, litereke tsohle tse neng li eteloa ke moemeli li ne li kenyelelitsoe e le litsebi tsa boemo ba 7 tse emelang tlhahisoleseling mabapi le boemo ba "mmele" ba kantle ba moemeli le boemo ba hae ba "tsebo" bo ka hare. Tlhahisoleseling ea 'mele e ne e kenyelletsa boemo ba moemeli ka bobeli sebakeng le sebakeng sa lona. Tlhahisoleseling ea tsebo e ne e kenyelletsa boemo ba ntho (haeba motho a le teng) le boitseko ba ntho eo (haeba e ne e khethiloe ke moemeli). Mefuta e ikhethileng ea tlhaiso-leseling e neng e emeloa ke moemeli e bontšoa ho Tafole 1.
Lethathamo 1
Methati e sebelisitsoeng moqolong oa RL le boleng ba litekanyo tseo.
Ho bile le kakaretso ea linaha tsa 21,120 ho simulation [Article 2]. Leha ho le joalo, linaha tseo ho tsona ho neng ho na le ntho e sa tsejoeng e ntle le e sa khetholloang, li tsoa ponong ea moemeli, li ts'oana, ka hona ho na le linaha tse ikhethileng tsa 16,280. Kahoo, nakong ea keketseho e 'ngoe le e' ngoe ea ho ithuta, ho ne ho hlokahala hore u etele tse ling tsa "tsoalo" eo habeli ho lumella ntlha ea hore halofo ea nako e ka lateloa le ho sibolloa ha ntho e ntle, le halofo ea nako eo ba ka bang le eona e latelwe le ho sibolloa ha ntho e mpe [Mongolo o botlaaseng ba 3].
Qalong ea teko e 'ngoe le e' ngoe e lekiloeng ea ho etsa liteko, moemeli o ne a beoa setsing sa terata ea 11 × 1 e tsamaeang ka methapo e nang le libaka tse hlano ho ea "bochabela" (ke hore, ka ho le letona) la moemeli le libaka tse hlano ho "bophirima" ”(Ke hore, ho leqeleng) ea moemeli. Joalokaha Letlapa la 1 le bonts'a, moetsi oa 'muso oa' muelli o kenyelletsa ntho e bonts'a sebaka seo a leng ho sona pina eo (ke hore, palo e tsoang ho 0 ho 10), hammoho le element (ke hore, "motho" n "," s "," e ", kapa" w ") e emetse kemiso ea eona ea hajoale (ke hore, leboea, boroa, bochabela, kapa bophirima, ka tatellano). Boitlamo ba pele ba moemeli bo ne bo lula bo le "leboea", 'me ha ho ntho e' ngoe e neng e le teng tikolohong (ke hore, boleng ba "OBJECT" ho mofani oa mmuso oa moemeli e ne e lekantsoe le "0").
Ka nako eohle ea mohato oa ho qaptjoa, moemeli a ne a ka etsa e 'ngoe ea liketso tse latelang: (1) ha a etse letho,' me a lula sebakeng seo a leng ho sona hona joale; (2) bochabela, boroa, bochabela kapa bophirima; kapa (3) tsamaisa sebaka se le seng tikolohong (bochabela kapa bophirima). Liphetho tsa ketso e ngoe le e ngoe li etsahetse mohato o latelang oa nako. Liphetoho tsohle sebakeng le / kapa sepheo sa moemeli sebakeng se etsahetse ka khetho ea liketso ke moemeli. Leha ho le joalo, nakong e 'ngoe le e' ngoe ea mohato oa papiso, esita le ha ho khethoa ketso ea "ho se etse letho," nako e ne e eketsoa ke 1 ho fihlela qetellong ea teko (ke hore, mohato oa 20).
Tikoloho ea moemeli e thehiloe e le hore halofo ea nako, ntho e hlahe sebakeng se sa sebetseng (empa eseng sebakeng se le seng le moemeli) kamora mehato e leshome ea nako; 50% ea lintho li ne li le ntle (e emeloa ke "+"; bona Lethathamo la 1) le 50% ea lintho li ne li le mpe (li emeloa ke "-"). Ho lieha pele ho hlaha ntho ho ile ha tsebisoa ho lumella ho shebella boitšoaro bofe kapa bofe boo moemeli a ka beng a bo bontšitse pele ho ponahalo ea ntho. Haeba moemeli a ne a sa shebane le ntho ha e hlaha, ntho eo e neng e emela boitsebiso ba "OBJECT" ho seteishene sa mmuso e fetotsoe ho "0" ho ba "?" Ho bontša taba ea ntho eo e neng e le hona joale hajoale e ne e sa tsejoe. Leha ho le joalo, haeba moemeli a shebile nthong eo, ka nako eo e latelang mohato oa "OBJECT" o ile oa beoa o lekana le boitsebiso ba ntho, e le hore "0" e be "+" kapa "-" ka mokhoa o nepahetseng le lintho tse mpe, ka ho latellana.
Haeba moemeli a lula sebakeng sa ntho, joale ka nako e latelang mohato o tla nyamela. Haeba ntho e ne e le ntle, joale folakha ea "CONSUMED" ea moemeli e behiloe ho lekana le 'nete mme moemeli a putse (moputso = + 10); leha ho le joalo, haeba ntho e ne e bile mpe, folakha ea "SHOCKED" e thehiloe 'nete mme moemeli a ile a fuoa kotlo (moputso = −10). (Hlokomela hore lifolakha li entsoe ka tsela ena ho sa tsotelehe hore na moemeli o tsebile kapa ha a elelloa ntho; mohlala, moemeli a ka sebelisa ntho a sa e lebisa ho eona.) Mohato o latelang oa nako, "SHOCKED" kapa Folakha ea "CONSUMED" e ile ea hlakisoa. Moemeli o ne a boetse a fuoa kotlo e nyane (matlafatso = −1) bakeng sa motsamao o mong le o mong kapa ketso e sekametseng, mme ha a ka a fumana moputso kapa kotlo (ntlafatso = 0) haeba e sa etsahale.
Ka bobeli boits'oaro bo fetisisang (ka mantsoe, boitsoaro le ho sisinyeha) le phoso e 'ngoe ea ho bolela moputso esale pele e ile ea hlalosoa bakeng sa moreki. Boitšoaro bo fetelletseng (ke hore, lenane la liketso tse khethiloeng ke moemeli) le sebelisitsoe e le sesupo sa hore na mosebetsi o ithutile. Tekanyo ea phoso e boletsoeng esale pele ea moputso e sebelisitsoe ho leka tlhahiso-leseling mabapi le ho hlaha ha lets'oao la phasic le senang moputso. Phoso ea ponelo-pele ea moputso, δ, e lekantsoe ka nako ea ho hlaha hoa ntho ka ho tlosa polelo ea moputso nakong ea mohato o fetileng oa nako, ke hore, V (s) ka nako ea nako ea nako ea t − 1, ho tsoa ponelisong ea moputso ha ntho e hlahile, ke hore, V (s) ka nako t, e fana ka bongata δ = V (st) - V (st − 1).
Results
Ho Ts'oarella
Boitšoaro bo feteletseng ba basebeletsi bo ile ba hlalosoa pele. Liphetho tsa tlhahlobo ena li bonts'itse hore, kamora boikoetliso, moemeli o ile a atamela mme a fumana matlafatso e nepahetseng ho tsoa linthong tsohle tse ntle mme ha ho mohla a kileng a ea ho eng kapa eng ea lintho tse mpe. Ka bobeli, liphetho tsena li fana ka tiiso ea boitšoaro ea hore basebeletsi ba ithutile ho etsa mosebetsi ka nepo. Qeto ena e matlafatsoa ke ho bona hore, nakong ea liteko ha ho hlaha letho, moemeli o ile a lula a sa sisinyehe. Joalokaha ho boletsoe esale pele, moemeli o ile a sekamela linthong tse ntle le tse mpe.
Phoso e tsamaisitsoeng ea Moputso
Khopolo-taba e ka sehloohong ea pampiri ena ke hore ponahalo ea tšusumetso e sa lebelloang e tla lula e hlahisa phoso e ntle ea ho bolela moputso, leha ntho eo e ka ba ntho e "mpe" e lulang e otla. Ho ts'ehetsa maikutlo ana, moemeli o bontšitse phoso e nepahetseng ea ho bolela moputso neng kapa neng ha ho hlaha (ntho e sa tsejoeng), empa eseng ha ho hlaha letho. E tsamaellanang le mohopolo o bohareng ke taba ea hore boholo ba karabelo ea phasic ea moemeli (δ, e lekantsoeng joalo ka ha e hlalositsoe karolong ea Mokhoa) e ne e tsotella "botebo" ba ts'usumetso, e hlalosoang ho sebelisoa sebaka se pakeng tsa moemeli le ntho (bona Setšoantšo sa 1). Tlhatlhobo ea khatello e bontšitse hore boholo ba δ bo ne bo amana ka mokhoa o fapaneng le hole le ntho, e le hore lintho tse haufi li bakile karabo e matla (r = -0.999, p <0.001; β = 0.82). Khokahano ena e mpe e bakiloe ke kotlo e nyane (reinfor =
Setšoantšo sa 1
Palo ena e bonts'a phoso ea ho bolela esale pele ka moputso (ke hore, δ) ha ntho e hlaha e le ts'ebetso ea sebaka sa ntho e amanang le sebaka sa moemeli. Likarabo li ts'oana hantle le lintho tse ntle le tse mpe. Ha ho na ntho (More…)
Ka lebaka la hore lintho tse ntle le tse mpe li hlahile mohopolong ona ka mokhoa o ts'oanang (p = .25), potso ea hlaha: Hobaneng ha mophatlalatsi oa moputso oa ponelo-leseling o ne o le teng ka nako eo ntho e neng e hlaha ka eona? Ho beha mabaka ho latela mela le pele le Dayan [7], motho a ka bolela esale pele hore letšoao le lokela ho bonts'a kakaretso ea meputso eohle e ithutileng ho tsoa maemong a joalo, ka hona e lekane le zero. Senotlolo sa ho utloisisa sephetho sena ke ho hlokomela hore ha se RL feela e etsang hore moemeli a se ke a khetha lits'ebetso tse lebisang ho matlafatso e mpe, e boetse e etsa hore moemeli a se ke a khona ho kena liphuthehong tse qetellang li lebisa ho matlafatso e mpe. Sena se etsa hore ho be le mofuta oa thuto e "holimo-tlase" o bontšitsoeng ho setšoantšo 2 mme o hlalositsoe kamora moo.
Setšoantšo sa 2
Papiso e bonts'a hore na moemeli oa RL o hlahisa phoso e nepahetseng ea ho bolela esale pele ha a koetlisoa ka tšusumetso e matla le e fanang ka kotlo tikolohong ea hae mme a khona ho khetha hore na o tla ba atamela le ho a ja. (A) Boemo pele o ithuta: (more…)
Qalong ea ho ithuta (bona setšoantšo sa 2A), moemeli o lebisa ho lintho tsa "+" le "-", oa li atamela, 'me o fuoa moputso le kotlo ka ho sebelisa mofuta o mong le o mong oa ntho. Haeba litekanyetso tsa mmuso tsa thuto ea moemeli li sa khone ho susumetsa liketso tsa moemeli (sheba setšoantšo sa 2B), moemeli o ne a tla tsoela pele ho atamela le ho sebelisa lintho. Ponahalo ea cue e ne e tla bolela moputso o tloaelehileng oa 0 mme ho tla ba le keketseho ea tšohanyetso ea phoso ea ho bolela moputso. Leha ho le joalo, moemeli papaling ena o sebelisa litekanyetso tsa mmuso tse ithutileng ho susumetsa liketso tsa bona (bona setšoantšo sa 2C), mme leha moemeli a ntse a tlameha ho lebisa ho ntho e sa tsejoeng ho tseba hore na ke ea mang, e ke ke ea hlola e nka ntho e mpe haeba e ka atamela eona (joalo ka ha e koetlisitsoe ka algorithm ea ho hlahloba e sa reroang joalo ka sampole ea tšohanyetso [Mongolo o botlaaseng ba 1]). Ntle le moo, hobane ho ithuta ka phapano ea nakoana ho lumella tebello e mpe ea moputso ho "jala" ho khutlela liprofinseng tse fetileng, le hobane ho na le litšenyehelo tse nyane bakeng sa ho tsamaea sebakeng, moemeli o ithuta ho qoba ho atamela ntho e mpe ka botlalo. Kahoo, kamora hore tlhaiso-leseling ena e ithutoe, boleng ba mmuso ha ntho e hlaha pele (e bonts'itsoeng e le "V" sedikeng sa pele ka tatellano e ngoe le e ngoe) ha e thehiloe karolelanong ea litekanyetso tse ntle le tse mpe tsa boemo ba naha, empa e ho fapana le hoo ho itshetlehile ka kakaretso ea sephetho se nepahetseng le se "se nke lehlakore" se fumanoang hang ha moemeli a ithuta ho qoba lintho tse mpe. Ke ka hona karolelano ea meputso eohle e fumanoeng ke moemeli ea koetlisitsoeng e ne e le kholo ho feta zero, mme e hlalosa hore na ke hobaneng ha tebello ea moputso ea moemeli (ka hona phoso ea ho bolela esale pele ea moputso ha ntho e hlaha ka tšohanyetso) e ne e le chelete e ntle. Sena se bontšoa ho setšoantšo sa 3. Ebile, ha feela moemeli a ka ithuta ho fetola boitšoaro ba eona le ho qoba ntho e mpe, boleng ba ntho e mpe ha bo na moelelo boits'oaro ba ho qetela ba moemeli le boholo ba karabelo e sa utloahaleng / bososela.
Setšoantšo sa 3
(A) E bonts'a liphetoho tse boletsoeng esale pele tsa moputso tse ka beng li etsahetse haeba RL e ne e sa hlahise ho ithuta ka maemo a holimo (ke hore, haeba moemeli a ne a ke ke a nka mehato ea ho qoba sephetho se fosahetseng), moemeli a qobelloang ho sebelisa tsohle dintho (more…)
Liphetho tsa ho bapisa li itšetlehile haholo ka likhopolo tse tharo. Taba ea pele, sepheo se ne se tlameha ho ba "bohlanya" ka hore boholo ba matlafatso a boletsoeng esale pele ke cue ea pele e ne e le a maholo ka ho lekana (mohlala, + 10) mabapi le litšenyehelo tsa ho tataisa le ho atamela (mohlala, −1). Haeba boholo bo ne bo le bonyenyane, moemeli a ka be a sa ithutile ho tjeka, hape a ka be a sa hlahisa karabelo e ntle ea ponelo-pele ea moputso. Taba ea bobeli, ho lieha ho fihla pele o lemoha ts'usumetso le hona ho ne ho hlokahala. (Ho lieha ke moemeli oa "bocha" tlasa lebaka la hore ts'usumetso e tloaelehileng e ka lemohuoa kapele.) Ntle le tšenyo ea nako, moemeli a ka be a hlahisitse phoso e nepahetseng kapa e fosahetseng ea ho bolela moputso o loketseng ntho eo a e boneng. Kamora nako, boits'oaro ba moemeli bo ile ba tlameha ho khethoa ke melao eo ba ithutileng eona. Haeba moemeli a sitoa ho laola boits'oaro ba hae (ke hore, ho ea ka takatso ea bona), tebello ea moputso oa eona ha ntho e hlaha e kanna ea lekana 0, karolelano ea liphetho tse ntle le tse mpe.
Puisano e akaretsang
Papiso e tlalehiloeng sengoliloeng sena e bonts'itse phoso e ntle ea ho rerela moputso e etsahala ha ho hlaha tšusumetso e sa lebelloang, e ka ba meputso kapa kotlo empa e sa lemohe hanghang. Ntle le moo, papiso e bonts'itse hore boholo ba phoso e boletsoeng esale pele ea moputso e eketseha ka ho ba haufi le tšusumetso ho moemeli, eo ho eona moelelo oa simolo e leng tekanyo ea projeke ea matla a ho hlohlelletsa 'me ka hona e amana le boroko. Ka sebopeho sa theoretical sa RL, likhakanyo tsa moputso hangata li utloisisoa ho bonts'a boleng bo ithutileng ba susumetso bo amoheloang, kapa tsa 'mele le / kapa maemo a kelello a moemeli [15]. Leha ho le joalo, phoso e boletsoeng esale pele ea moputso e tlalehiloeng mona e na le mokhoa o fapaneng oa ho itlhalosa hobane e hlahisoa pele moemeli a ka hlokomela ntho eo. Hammoho, liphetho tsena li tšehetsa khopolo-taba ea hore melao-motheo ea RL e lekane ho hlahisa karabelo e bonahalang e sa amane le moputso, empa ho fapana le moo e amana le thepa ea bocha. Qeto ena e na le lintlha tse 'maloa tsa bohlokoa bakeng sa kutloisiso ea rona ea RL le tlhaloso ea RL e le tlaleho ea ho ithuta ka moputso linthong tsa' nete tsa tlhaho.
Taba ea pele, polelo ea moputso e hlahisoang ke moemeli oa RL ha ts'usumetso e sa tsejoeng e hlaha e sa hlile e le tekanyo e tiileng ea meputso e fumanehang joalo ka ha u khothalelitsoe ke Ekare le Dayan [7], empa ha e le hantle e ka ba kholo ka tekanyo e kholo ho feta tekanyo e itseng eo. Ekare le Dayan ba ne ba ka bolela esale pele hore tebello e akaretsang ea moputso e lokela ho lekana le zero hobane, hobane liteko li ile tsa putsoa le ho fuoa kotlo e lekanang khafetsa. Sephetho sena se makatsang se hlahile hobane moemeli o ithutile ka "melao-motheo"; ka mantsoe a mang, moemeli ha a ithuta ka litholoana tse mpe feela, empa hape le ka bokhoni ba lona ba ho qoba sephetho. Bokgoni bona ba tsamaiso ea moputso ho etsa hore moemeli a qobe liphetho tse mpe bo lokela ho nahanisisoa ka hloko ho fetolela kutloisiso ea rona ea RL ho libopuoa tsa 'nete. 'Nete ena e bohlokoa le ho feta ka lebaka la sebopeho se hlakileng sa bokhoni ba karabelo ea phasic ea dopaminergic ho emela phoso e boletsoeng esale pele ea moputso ho feta phoso e boletsoeng esale pele ea moputso [11]. Ho kanna ha lekana ho bonts'a hore tatellano e itseng ea liketsahalo e lebisa sephethong se seng, empa hore molemong oa khetho ea ketso, boholo ba sephetho boo ha bo bohlokoa.
Taba-kholo ea bobeli ea papiso ea morao-rao ke hore karabelo e ncha e ka hlaha molemong oa tšebelisano lipakeng tsa lits'ebetso tsa ts'ebetso ea pono le lits'ebetso tsa ho bolela moputso. Haholo-holo, karabelo ea bohlanya e ka ba ka lebaka la sebopeho se ts'oanang lipakeng tsa lintho tse ncha le lintho tse e-s'o sebetse ka botlalo bakeng sa ts'ebetso ea pono e felletseng [Mongolo oa 4]. Moqapi ona, bocha bo ile ba kenngwa tshebetsong ka ho hlahisa ho lieha ho tsebahala ka ntho eo (mme ka lebaka leo, mofuta oa eona o putsa kapa oa kotlo) o ile oa totobala ho moemeli. Sena se entsoe tlasa monahano oa hore lintho tse nyane li nka nako e telele ho li khetholla, empa khopolo ena e boetse e fella ka hore lintho tse ntle le tse mpe li fumanoe ka mokhoa o ts'oanang ha li hlaha ka lekhetlo la pele (ke hore, li ne li kentsoe ka bobeli joalo ka "?"). Ho fapana le moo, Ke le Dayan [7] ba fana ka maikutlo a hore likarabo tse ncha le likarabo tsa "generalization" li fapane haholo leha li bonahatsoa ka tsela e tšoanang ho data ea methapo ea kutlo.
Taba-kholo ea boraro ea sephetho sa hona joale sa boqapi ke hore li bonts'a hore menahano e meng ea li-bonase tse ncha le tse bopehileng tse neng li hlahisitsoe ke pele le Dayan [7] ha li hlokahale. Sebakeng seo, likarabo tse tšoanang le tse ling li ka hlaha mefuteng ea ts'ebetso ea ts'ebetso ea pono le tsebo ea ho khona ho qoba sephetho se sebe. Sena ke lehlohonolo hobane, joalo ka ha ho bonts'itsoe ke kare le Dayan, li-bonase tsa maiketsetso li sotha ts'ebetso ea boleng e ithutoang ke moemeli, 'me libonase tse bonoang li ama tsela eo liakhente li hlahlobang libaka tsa tsona tsa mmuso. Ho kenyelletsoa hoa e 'ngoe ea menahano ena ka hona ho fokotsa kholo ea mehlala e thehiloeng khopolong ea RL. Ho khahlisang, liphetho tse hlahisitsoeng mona li boetse li thusa ho hlalosa hore na ke hobaneng ha karabelo ea tlhaho ea tlhaho e ka 'na ea se ke ea sitisa thuto e thehiloeng ho libopuoa tsa' nete: karabelo e sa tloaelehang e se e boletsoe esale pele ke RL. Ka mantsoe a mang, karabelo e ncha e bonts'a boits'oaro le moputso o boletsoeng esale pele ho moemeli ea seng a ithutile ho hong ka tikoloho ea ona.
Tlhaloso e 'ngoe (empa eseng e le' ngoe) ea sephetho sa lipapiso tse teng hona joale ke hore ho na le moputso o ke keng oa amoheloa (mohlomong o kelello) oo basebeletsi ba o fumanang ka ho sheba le ho supa lintho. Thutong ea mosebetsi oa dopaminergic, likarabo tse ntle tsa phasic li ka hlaha ho litekanyetso tse sa lebelloang tse tsejoang ho bolela moputso pele. Papiso ena, leha ho le joalo, e bonts'a hore na mefuta ena ea likarabo e ka hlaha joang ho araba setšoantšo se ka bolelang moputso kapa kotlo hamorao. Molemo o le mong o sa fetoheng o boletsoeng esale pele ke cue ke tlhahisoleseling e fumanoeng ha moemeli a tseba hore na ntho eo ke ea mang. Kahoo, haeba ho na le "polelo ea moputso" e sebetsang, e ithutoang ha ntho e sa tsejoeng e hlaha, ke eona e khotsofatsang kamora hore moemeli a fumane tsebo ea ho atamela kapa ho qoba tšusumetso. Boleng ba tlhaiso-leseling ena ha bo ea itšetleha ka kakaretso ea liphetho tse fumanehang, empa e thehiloe tsebong ea liphetho tse sebetsang- hore moemeli a ka sebelisa moputso o motle kapa a qoba moputso o mobe (bona setšoantšo sa 2).
Kamora nako, ho bohlokoa ho hlokomela hore menyetla ea ho nka bohato bo itseng (mohlala, ho tsepama) le bona ka botsona ba ka nka thepa ea moputso ka ho etsa kakaretso kapa mokhoa oa ho ithuta o sa kenyelelitsoeng mohopolong ona. Mohlala, ketso ea ho tataisa le ho tseba hore na "ho na le eng ka ntle" e ka ba moputso ho sebopuoa se ipapisitseng le setsoalle pakeng tsa ketso eo le phoso e boletsoeng esale pele, e nang le tšebeliso e ntle ea moputso ha ho hlaha tšusumetso e ncha. Mohopolo o ts'oanang o sa tsoa ntlafatsoa ke Redgrave le Gurney [13] ba khopisang hore morero oa bohlokoa oa karabelo ea dasamine ea phasic ke ho tiisa liketso tse etsahalang pele ho liketsahalo tse ikhethang tse sa tsejoeng. Liphetho mona ha li lumellane le khopolo-taba eo, leha ho le joalo ho lokela ho hlokomeloa hore tšebeliso ea maikutlo ea Redgrave le Gurney ha e hlahlojoe ka kotloloho papaling ena hobane ha ho na liketso (ke hore, phuputso) e neng e hlokahala ho moemeli bakeng sa ketsahalo e ikhethang (ponahalo ea the kitu) ho etsahala. Leha ho le joalo, lets'oao le kenyellelitsoeng la phasic le kopantsoe le nako ea karabelo e sekametsang e bonts'ang hore li ka amana ka kotloloho.
Ha re phethela, sengoloa sena se bonts'itse hore melao-motheo ea RL e ka sebelisoa ho hlalosa mofuta oa ts'ebetso e amanang le moputso oa li-neuron tsa dopaminergic. Sephetho sena se hlahile ho tsoa ho hore molao oa ho ithuta phapang ea nakoana (joalo ka o sebelisoang ke pele le Dayan [7]) o kentsoe papaling moo moemeli a ka khethang liketso tse nang le phello liphellong tse tlang. Ha ho etsoa papiso, moemeli o ile a ithuta hore sephetho sa ho khelohela nthong e hlahileng ka tšohanyetso se ka ba le moputso kapa ho se nke lehlakore hobane litholoana tse bosula li ka qojoa. Ka hona ha moemeli a ne a e-na le monyetla oa ho boelana, phoso ea eona ea ho bolela moputso e ne e lula e le ntle, e le khahlano le karabo ea bohlanya le boits'oaro bo bonoang linthong tsa tlhaho.
lumela hore baa fokola
Mosebetsi o hlalositsoeng sengoloa sena o tšehelitsoe ke NIH R01 HD053639 le ke NSF Training Grant DGE-9987588. Ke rata ho leboha Erik Reichle, Tessa Warren, le mohlahlobuoa ea sa tsejoeng bakeng sa litlhaloso tse ntle mabapi le phetolelo ea pejana ea sengoloa sena.
1Another Reinforcing Learning algorithm, e bitsoang Trajectory Sampling [17], e sebelisoa khafetsa sebakeng sa Value Iteration ha sebaka sa mmuso se le seholo hoo se ke keng sa hlakoloa kapa sa bolokoa habonolo mohopolong oa khomphutha. Sebakeng sa ho thatafatsa boemo bo bong le bo bong sebakeng sa mmuso le ho sebelisa boleng ba ntlafatso ea ts'ebetso ea boleng ho latela liketso tse shebahalang li lebisa moputsong o moholo, Trajectory Sampling e sebetsa ka ho latela litsela ho pholletsa le sebaka sa mmuso. Ka mokhoa o ts'oanang ho Value Iteration, liketso tse lebisang moputsong o moholo hangata li khethoa ho tsoa seterekeng se seng le se seng, empa ka linako tse ling ketso e sa sebetseng ea ho hlahlobisisa e khethoa ka monyetla o fokolang. Kahoo algorithm ke ena: Ho tsoa maemong a mang a qalang, khetha ketso e lebisang moputsong o moholo [mohlala, moputso + γV (s ′)] ka monyetla oa chas, kapa khetha ketso ea tlhahlobo e sa reroang ka monyetla oa 1 - bec. Etsa kopo V (s) → V (s) + α [moputso + γV (s ′) - V (s)] nakong ea liketso tse sa hlokeng ho hlaha ho tsoa ho mmuso s.
Ntle le ho hlola meeli ea tekheniki ea nako ea khomphutha le mohopolo, Traampory Sampling e kanna ea khahla hobane e ka supa hantle tsela eo lintho tsa tlhaho li ithutang ka tsona: ka ho hlahloba litsela sebakeng sa mmuso. Mosebetsing o hlalositsoeng pampiring ena, Trajectory Sampling e hlahisa litholoana tse lekanang hantle le tse fumanoeng ka Value Iteration. Leha ho le joalo, bakeng sa conciseness liphetho tseo ha li tlalehiloe mona ka botlalo. Value Iteration e ile ea khethoa bakeng sa papiso pampiring ena ka mabaka a mabeli a mantlha. Taba ea pele, hobane Trajectory Sampling e kenyelletsa stochasticity ha ho khethoa li-trajectories, palo e kholo ea lekala leo ka lebaka la tatellano e mengata ea liketso mosebetsing ona e ka etsa hore basebeletsi ba se nang boiphihlelo le liprofinse tse ling ntle le paramente ea tšibollo. chas -nessness [17] e khethiloe ka hloko. Ho hloka tsebo le lipuso tse itseng ho ka sitisa tšebetso ea moemeli ha sebopeho sa mohopolo oa tafole se sebelisoa ka lebaka la khaello ea kakaretso le boleng bo tšoanang (empa mohlomong bo sa reroa). Kahoo, ho ne ho khethoa ho nka monyetla oa ho phenyekolla ka botlalo ha sebaka sa mmuso se netefalitsoeng ka Value Iteration. Taba ea bobeli, ts'ebeliso ea boleng ba boleng ba boleng bo ntlafalitse tlhokahalo ea ho hlakisa paramente e eketsehileng ea tšibollo, ka ho etsa joalo e nolofatsa mohopolo. Hlokomela hore Traampory Sampling qetellong e ka hakanyetsa boleng ba Iteration ha palo ea li-trajectories e ntse e atamela infinity [17].
2Palo ea linaha tsa 21,120 e ka baloa ka tsela e latelang: 11 libaka tsa moemeli tse ka khonehang x 4 li-orient orientations x (10-mehato ea nako pele ntho e ka hlaha + 10-mehato eo ho eona ho neng ho se letho le hlahang + 10-mehato ea moo moemeli a kileng a ba teng e matlafalitsoe hantle-nako + ea 10-moo nako ea ntho e neng e matlafalitsoe hampe + libaka tsa 11 tsa ntho e ka khonehang * (10-times-times-na le ntho e tsejoang e nepahetseng + 10 mehato ea nako le ntho e sa tsejoeng e khethiloeng + 10-mehato ea nako le ntho e sa tsejoeng. + 10 likhato tsa nako le ntho e sa tsejoeng e fosahetseng))].
3 Ho ba teng hoa linaha tsena tse "patiloeng" ho tlameha ho nkuoa nakong ea thupelo hobane boleng ba Iteration bo shebahala "mohato o le mong pele" ho tsoa seterekeng se seng le se seng sa mmuso. Taba ea hore lipehelo tse nang le lintho tse mpe le tse ntle li sa khetholloe hantle li ka thibela ho ithuta ka le ho tebisa boleng liphatlalatsong tse peli tse latelang tseo ho tsona ho khetholloang ntho e ntle kapa e fosahetseng. Mokhoa oa ho Sampling oa Trajectory ka lehlakoreng le leng o boloka leseli le patehileng la mmuso (ke hore, tšusumetso e sa tsejoeng) ho pholletsa le nyeoe kahoo ho fapana le RL libaka tse ipatileng ha se taba.
4Ha ho na le eng e ka hanyetsang mosebetsi oa hona joale ke hore karabelo e lebisang mohopolo e bonahala e le thata kahare bokong ba mammonia, ho etsa mohlala, liponong tse tsoang ho colliculus e phahameng [3,14]. Mohopolong oa hona joale, basebeletsi ba ne ba sa thatafalloa ho sheba lintho empa ba ile ba ithuta boitšoaro bo lumellang khetho ea ketsahalo (mohlala, ho atamela kapa ho qoba) e phahamisang moputso. Ka mokhoa o ts'oanang le likarabo tse se nang lithapo tse thata, mekhoa ena e sekametseng pele e etsahala kapele haholo pele lintho li ka khetholloa, 'me tsa lebisoa ho lintho tsohle. Morero oa mosebetsi ona e ne e se ho etsa tumello ea hore likarabo tsohle li ithutoe, empa ho e-na le hoo, li ka ba teng ka har'a RL. Leha ho le joalo, ho tla ba ho khahlisang ho etsa lipatlisiso hore na ho ka ba le mekhoa e amanang le moputso ho theha khokahano libakeng tsa ts'ebetso ea methapo ea methapo ho hlahisa karabelo ea phasic dopamine.
Ena ke faele ea PDF ea mongolo o ngotsoeng ka letsoho o sa amoheloang o amoheletsoeng bakeng sa ho hatisoa. Joaloka tšebeletso ho bareki ba rona re fana ka phetolelo ena ea pele ea mongolo o ngotsoeng ka letsoho. Mongolo o ngotsoeng ka letsoho o tla ba le ho kopitsa, ho kenya lihlopha le ho hlahloba bopaki bo hlahang pele o hatisoa ka mokhoa oa oona oa ho qetela. Ka kopo hlokomela hore nakong ea mekhoa ea tlhahiso ea lihlahisoa e ka fumanoa e ka amang litaba, le litsebiso tsohle tsa molao tse sebetsang koranteng e amanang le eona.
References
1. Baird LC. Ma-Algorithms a Setseng: Ho Matlafatsa Ho Ithuta ka Phello ea Mosebetsi. Ka: Priedetis A, Russell S, bahlophisi. Ho Ithuta ka Mechine: Likhatiso tsa Kopano ea Machaba ea Leshome le Bobeli; 9-12 Julayi.1995.
2. Bunzeck N, Düzel E. Absolute coding ea lipalesa tsa tšusumetso ho batho ba bangataantia nigra / VTA. Neuron. 2006; 51 (3): 369-379. [E phatlalalitsoe]
3. Dommett E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N, Mayhew JEW, Overton PG, Redgrave P. How Visimous activate dopaminergic neurons at latency khutšoanyane. Mahlale. 2005; 307 (5714): 1476-1479. [E phatlalalitsoe]
4. Doya K. Metalearning le neuromodulation. Li-network tsa Neural. 2002 Jun-Jul; 15 (4-6): 495-506. [E phatlalalitsoe]
5. Gillies A, Arbuthnott G. Mefuta e makatsang ea sehlopha sa basal ganglia. Mathata a Tsamaiso. 2000; 15 (5): 762-770. [E phatlalalitsoe]
6. Horvitz JC. Likarabo tsa dopamine tsa Mesolimbocortical le nigrostriatal li etsahala liketsahalong tse seng tsa moputso. Neuroscience. 2000; 96 (4): 651-656. [E phatlalalitsoe]
7. Ke S, Dayan P. Dopamine: kakaretso le li-bonase. Li-network tsa Neural. 2002; 15 (4-6): 549-559. [E phatlalalitsoe]
8. Knutson B, Cooper JC. Leraba la tse sa tsejoeng. Neuron. 2006; 51 (3): 280-282. [E phatlalalitsoe]
9. Logothetis NK, Pauls J, Augath M, Trinath T, Oeltermann A. Patlisiso ea methapo ea methapo ea motheo ea letšoao la fMRI. Tlhaho. 2001; 412 (6843): 150-157. [E phatlalalitsoe]
10. McClure SM, Berns GS, Montague PR. Liphoso tsa nakoana tsa tlhaelo-leseling mosebetsing oa ho ithuta o iketlileng o etsa hore motho a ts'oenyehe. Neuron. 2003; 38 (2): 339-346. [E phatlalalitsoe]
11. Niv Y, Duff MO, Dayan P. Dopamine, ho hloka botsitso le ho ithuta ka TD. Mesebetsi ea Boitšoaro boits'oaro le Boko. 2005 May 4; 1: 6. [Sengoloa sa mahala sa PMC] [PubMed]
12. O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Mefuta ea nakoana ea nakoana le thuto e amanang le moputso bokong ba motho. Neuron. 2003; 38 (2): 329-337. [E phatlalalitsoe]
13. Redgrave P, Gurney K. Letshwao la dopamine le bokhuts'oanyane: karolo ea ho fumana liketso tsa nalane? Tlhahlobo ea Tlhaho Neuroscience. 2006 Dec; 7 (12): 967-975.
14. Redgrave P, Prescott TJ, Gurney K. Na karabelo ea dopamine e khutšoane haholo e khutšoane haholo ho supa phoso ea moputso? Mekhoa ea li-Neuroscience. 1999 Apr; 22 (4): 146-151. [E phatlalalitsoe]
15. Reichle ED, Laurent PA. Re sebelisa thuto ea matlafatso ho utloisisa ho hlaha ha boitsoaro bo “bohlale” nakong ea ho bala. Tlhahlobo ea kelello. 2006; 113 (2): 390-408. [E phatlalalitsoe]
16. Schultz W. Pontšo ea moputso oa ponelo-pele ea li-neurone tsa dopamine. Tlaleho ea Neurophysiology. 1998; 80 (1): 1-27. [E phatlalalitsoe]
17. Sutton RS, Barto AG. Matlafatso ea ho ithuta: Selelekela. Tobetsa ea MIT; Cambridge: 1998.
18. Tanaka SC, Doya K, Okada G, Ueda K, Okamoto Y, Yamawaki S. Phatlalatso ea moputso oa kapele le oa nako e tlang ka mokhoa o fapaneng o qala ho kotula li-cortico-basal ganglia. Neuroscience ea Tlhaho. 2004; 7 (8): 887-893.
;