FAAMATALAGA: O le isi suʻesuʻega e faʻaalia ai o le mea fou o lona lava taui. O se tasi o mea ua fai ma vaisu o porn i luga o le Initaneti o le fou ma le eseese e le gata, o le mafai ona vave kiliki mai le tasi vaaiga i le isi, ma le sailiga mo naʻo le ata / vitio saʻo. O nei mea uma e faʻateleina le dopamine. O le mea lea e ese ai porn Initaneti mai mekasini poʻo DVD totogi.
Su'esu'ega Atoa: Le Tu'u mai o Tali Fa'apitoa ma Tala Fou mai Fa'avae A'oa'oga Fa'amalosia
Neural Netw. 2008 Tesema; 21(10): 1493–1499.
Lolomiina i luga ole laiga 2008 Setema 25. doi: 10.1016/j.neunet.2008.09.004
Patryk A. Laurent, Iunivesite o Pittsburgh;
Tu'u tusi uma i: Patryk Laurent, Iunivesite o Pittsburgh, 623 LRDC, 3939 O'Hara St., Pittsburgh, PA 15260 ISA, I-meli: [imeli puipuia], Ofisa: (412) 624-3191, Fax: (412) 624-9149
lē faʻatino
O taumafaiga talu ai nei e faʻavasegaina faʻataʻitaʻiga faʻavae aʻoaʻoga, e pei o le Reinforcement Learning [17], i le faiʻai e faʻavae i luga o le matauina o le faʻatupulaia ma le faʻaitiitia o le faʻaogaina o le dopamine-releasing neurons faʻailoga eseesega i le va o le vaʻaia ma le mauaina o taui [16,5] . Ae ui i lea, o lenei taui-valoaga sese ua na o se tasi o le tele o faʻailoga e faʻaalia e lena gaioiga faʻapitoa; o le isi e aofia ai le faʻateleina o le dopaminergic spiking, e atagia mai ai le faʻaalia o mea faʻapitoa ae le faʻamoemoeina e le o se taui [4,6,13], aemaise lava pe a oʻo atu se tino i le faʻamalosi [16]. Ina ia faʻamatalaina nei suʻesuʻega, ua faʻaalia e Kakade ma Dayan [7] ma isi o tala, faʻalavelave faʻafuaseʻi e matua tauia lava. O le faʻataʻitaʻiga o loʻo lipotia i totonu o lenei tusiga o loʻo faʻaalia ai e le talafeagai lenei manatu ona o le aʻafiaga o loʻo faʻamoemoe e puʻeina e aliaʻe mai le taui-valoaga aʻoaʻoga o le Faʻamalosia le Aʻoaʻoga. O le mea lea, e mafai ona faʻaaogaina mataupu faʻavae aʻoaʻoga e malamalama ai e le gata o galuega faʻatatau i taui o le dopaminergic neurons o le basal ganglia, ae o nisi foi o latou gaioiga e foliga mai e le o se taui.
A'oa'oga Fa'amalosi (RL) o lo'o fa'atuputeleina le taua i le atina'eina o fa'ata'ita'iga fa'akomepiuta o a'oa'oga fa'avae taui i le fai'ai. RL o se vasega o faʻasologa algorithms e faʻamaoti mai ai pe faʻafefea ona aʻoaʻoina e se "sui" (faʻataʻitaʻiga, se mea moni pe faʻataʻitaʻiina) e filifili gaioiga ina ia faʻateleina le aofaʻi o taui faʻamoemoeina [17]. I nei algorithms, e faʻavaeina e se sui ana gaioiga i luga o tulaga taua na te aʻoaʻoina e faʻafesoʻotaʻi ma setete eseese (faʻataʻitaʻiga, o faʻaaliga faʻapitoa e fesoʻotaʻi ma se faʻaosofia). O nei tulaga taua e mafai ona faasolosolo malie ona aʻoaʻoina e ala i aʻoaʻoga faʻaletino-eseesega, lea e fetuutuunai ai tulaga taua e faʻavae i luga o le eseesega i le va o le vaʻaiga o taui o loʻo i ai nei a le sooupu mo le setete ma le taui moni e maua mulimuli ane mai le siosiomaga. O lenei faʻatusatusaga faʻatusatusa, ua taʻua o taui-valoaga sese, ua faʻaalia e fesoʻotaʻi lelei ma le gaioiga o le dopamine-faʻasaʻoina neu o loʻo faʻaalia mai le substantia nigra i tagata e le o ni tagata [16]. E le gata i lea, i totonu o tagata, o le striatum, o se taua taua o le dopamine, o loʻo faʻaalia ai se faailo fMRI BOLD e foliga mai e atagia mai ai le sese-valoaga sese i taimi o galuega tau-aʻoaʻoga [10,12,18]. O lenei sailiga fMRI e faʻapipiʻiina ai faʻamatalaga o le physiology ona o le striatal BOLD e faʻapea e atagia mai ai, a itiiti mai i se vaega, faʻaogaina o le synaptic [9] ma le dopamine neurons o loʻo galue malosi i le striatum.
E ui lava e foliga mai o tali o le physiological ua taʻua i luga e fesoʻotaʻi ma le faʻatusatusaina o taui-valoaga a le RL, o loʻo i ai foʻi le faʻateleina o le gaioiga o le dopaminergic i le tali atu i le faʻaosofia ma / poʻo le tala fou e foliga mai e le fesoʻotaʻi ma taui [4,6,14,3]. O se mea faapena na matauina talu ai nei i tagata e faʻaaogaina le fMRI [2]. E tele mafuaʻaga e fai mai ai e le fesoʻotaʻi lenei tali "fou" poʻo le "sailiency" ma le sese o le tau-valoaga: (1) e foliga mai i le vaveao, aʻo leʻi iloiloina le faʻamatalaga o le faʻaosofia, ina ia le mafai e se faʻailoga saʻo taui. fa'atupuina; (2) e fetaui ma le faʻateleina o gaioiga neural (faʻataʻitaʻiga, e lelei) mo faʻaosofiaga faʻafefe ma meaʻai; ma le (3) e masani ai [13]. O le mea moni, o nei saliency / fou tali o le dopamine-releasing neurons e sili ona faʻatuatuaina pe a le faʻamoemoeina faʻaosofia ma iʻu ai i le faʻataʻitaʻiina ma / poʻo le faʻalatalata amioga [16] tusa lava po o le a le taunuuga mulimuli, faʻamaonia le mea moni e matua ese lava mai le aʻoaʻoina o taui. valo'aga. O le mea lea, o le luʻitau, o le faʻamatalaina lea o lenei faʻalavelave faʻapitoa (faʻafefea ona aʻafia le mea fou i le taui-valoaga sese) i totonu o le faʻavae o le RL.
Na taumafai Kakade ma Dayan [7] e faia tonu lenei mea; i la latou tusiga, latou te faʻaalia ni auala se lua e mafai ai ona tuʻufaʻatasia tali fou i faʻataʻitaʻiga RL o le galuega dopaminergic-e aofia uma ai le faʻaofiina o manatu fou. O le manatu muamua, e taʻua o ponesi fou, e aofia ai le faʻaofiina o se taui faʻaopoopo pe a iai ni faʻaosofiaga fou, i luga atu ma tua atu o taui masani na maua e le sooupu. O lenei taui fa'aopoopo e ulufale atu i le fa'atusatusaga ina ia fa'avae le a'oa'oga i le eseesega i le va o le va'aiga o taui o lo'o iai a le sooupu ma le aofa'iga o taui masani mai le si'osi'omaga ma le ponesi fou. O le mea lea, o le mea fou e avea ma vaega o le taui o loʻo taumafai le sooupu e faʻateleina. O le manatu lona lua, e ta'ua o ponesi fa'atusa, e mafai ona fa'atinoina e ala i le fa'atupuina fa'atuputeleina o tulaga taua o setete e feso'ota'i ma fa'aosofiaga fou. Talu ai ona o le tulafono aʻoaʻoga faʻale-tino-eseese o loʻo faʻaaogaina i le RL e faʻavae i luga o le eseesega o taui-valoaiga i le va o setete sosoo, o le faʻaopoopoga o se ponesi faʻasolosolo faifaipea i setete e popole i le tala fou e leai se aafiaga i le amio mulimuli a le sooupu. Ae ui i lea, o se tali fou e tulaʻi mai pea pe a ulufale le sooupu i le vaega o le avanoa o le setete ua "faʻataʻitaʻiina" (ie, e fesoʻotaʻi ma mea fou).
E ui lava o le faʻaopoopoina o nei manatu taʻitasi ua lava e faʻamatala ai le tele o aʻafiaga o mea fou, o manatu e faʻalavelave foi i le alualu i luma o le aʻoaʻoina. E pei ona taʻua e Kakade ma Dayan [7], o ponesi fou e mafai ona faʻalavelaveina le tau aoga (faʻataʻitaʻiga, o tulaga taua e fesoʻotaʻi ma setete taʻitasi e le sooupu) ma aʻafia ai mea e aʻoaʻoina mulimuli ane ona o loʻo faʻatinoina o se taui faʻaopoopo e fesoʻotaʻi ma le tala. setete. O le fa'afitauli o le a'oa'o lea o le sooupu e va'ai i vaega muamua ma mea fou o le taui. E ui lava o Kakade ma Dayan o loʻo faʻailoa mai o le faʻapipiʻiina o ponesi e le mafua ai lenei ituaiga o faʻafitauli ona o loʻo tuʻufaʻatasia i faʻamatalaga tau taui mai setete muamua, o la latou faʻaopoopoga o loʻo faʻafitauli pea ona o le faʻapipiʻiina o ponesi e faʻaalia ai le faʻaituau i le auala o le a suʻesuʻeina ai e se sooupu lona avanoa setete. O le mea lea, e ui lava o nei manatu faʻaopoopo e mafai ona faʻamatalaina pe faʻafefea ona aʻafia le mea fou i le taui-valoaga sese i le RL, e faʻafitauli. E le gata i lea, o faʻamatalaga e oʻo mai i le tau o le faʻaitiitia o le parsimony o galuega faʻataʻitaʻiga e taumafai e faʻaaoga le RL e malamalama ai i amioga a meaola ola moni.
O le faʻataʻitaʻiga o loʻo lipotia i lalo na faʻatinoina ina ia mafai ai ona faʻataʻitaʻiina le manatu e faapea o se sui RL faigofie, e aunoa ma ni manatu faʻaopoopo, o le a atiaʻe se tali-faʻailoga sese tali e tutusa ma tali dopamine e le faʻatatau i taui o loʻo matauina i meaola olaola. . Na tu'uina atu i se sui sooupu RL le galuega o le fegalegaleai ma ituaiga mea faitino se lua-tasi le lelei ma le isi le lelei-na fa'aalia i nofoaga fa'afuase'i i lona si'osi'omaga. Ina ia faʻateleina lona taui, e tatau i le sooupu ona aʻoaʻo e faʻalatalata ma "faʻaaogaina" le mea lelei, ma aloese mai (ie, e le "faʻaaogaina") le mea leaga. E tolu valo'aga autu mo le fa'ata'ita'iga.
O le valo'aga muamua e na'o, ina ia fa'ateleina lona taui, o le mea moni o le a a'oa'o le sooupu e fa'alatalata atu ma "fa'aaogaina" mea lelei, tauia ao a'oa'o i le taimi e tasi e aloese mai mea leaga, fa'asalaga. O le valo'aga lona lua e le'i manino lava: o le a fa'aalia e le sooupu se tali fa'ata'ita'i (fa'aa'oa'o e sui lona fa'asinomaga) aga'i i mea leaga ma mea lelei. O lenei valo'aga na faia ona e ui lava e mafai e le sooupu ona "lagona" le foliga mai o se mea faitino ma lona nofoaga, o le lelei poʻo le le lelei o le mea faitino (ie, o le faʻaaliga o le a iu lava ina aʻoaʻo e le sooupu e faʻafesoʻotaʻi ma le tau o le taui) e le'i mafai ona fa'amauina e le sooupu se'i vagana ua fa'atatau tonu le sui i le mea. Mulimuli ane, o le lona tolu (ma sili ona taua) valoʻaga na fesoʻotaʻi ma le faʻataʻitaʻiina o le dopaminergic phasic tali i le faʻataʻitaʻiga; o lenei valo'aga e faapea, pe a fa'aalia le mea, o le a fa'aalia e le sooupu se taui-valoaga sese o lo'o fa'atusatusa fa'atusatusa i le tali atu o le dopamine phasic o lo'o matauina i meaola ola, e lelei mo mea lelei ma mea le lelei. O lenei tali na valoia foi e fesuisuiaʻi e avea o se galuega o le mamao i le va o le sooupu ma le faʻamalosi, lea i le tulaga o le faʻataʻitaʻiga o se fua faʻatatau mo le faʻamalosi "malosi" poʻo le salience. E pei ona faʻaalia i lalo, o nei valoʻaga na faʻamaonia e le faʻataʻitaʻiga faʻataʻitaʻiga, e faʻaalia ai o tali ole dopamine e foliga mai e le o se taui e mafai ona tupu mai i mataupu faavae o le RL. O a'afiaga fa'apitoa o nei fa'ai'uga mo le fa'aogaina o le RL e malamalama ai i gaioiga e le fa'atatau i taui i meaola olaola o le a talanoaina i le vaega mulimuli o lenei tusiga.
faiga
E pei ona taʻua muamua, RL algorithms faʻamaoti le auala e mafai ai e se sui ona faʻaogaina taui numera i lea taimi ma lea taimi e iloa ai po o fea gaioiga e tatau ona faia ina ia faʻateleina le aofaʻi o le taui na te mauaina. I le tele o faʻatulagaga, o lenei aʻoaʻoga e ausia e ala i le faʻaaogaina o taui-valoaga sese (faʻataʻitaʻiga, o le eseesega i le va o le vaʻaiga o taui o loʻo i ai nei a le sooupu ma le taui moni e maua) e faʻafouina ai faʻamatalaga taui a le sooupu. A'o a'oa'oina le valo'aga o taui, e mafai fo'i ona fa'aoga e se sui e filifili lana isi gaioiga. O faiga fa'avae masani (fa'amatala i le Fa'atusa 2) e mo le sui sooupu e filifili le gaioiga o lo'o valoia e maua ai le taui sili. O le taui moni e tuʻuina atu i le sooupu i soʻo se taimi o le aofaʻi o le taui vave faʻatasi ai ma se vaega o le tau o le setete e ulufale ai le sooupu pe a maeʻa le gaioiga. O lea la, afai e iu ina maua e le sooupu ni taui lelei pe a uma ona i ai i se tulaga faapitoa, o le a filifilia e le sooupu ni gaioiga i le lumanaʻi e ono iʻu ai i na setete tauia; i se isi itu, afai e maua e le sooupu ni taui le lelei (ie, faasalaga) o le a aloese mai gaioiga i le lumanaʻi e oʻo atu ai i na setete "faʻasalaina".
O le algorithm fa'apitoa e fa'amauina ai valo'aga o taui o lo'o a'oa'oina mo setete eseese (fa'atusa, le tau aoga V) e ta'ua o le Fa'amatalaga Taua [Fa'amatalaga vae 1] ma e mafai ona fa'amatalaina aloaia e pei o:
Mo setete uma e mafai s,
(Fa'atusa 1)
pe a tutusa le s ma le tulaga o lo'o i ai nei, V(s) o le valo'aga o taui o lo'o i ai nei mo le setete na a'oa'oina e le sooupu, maxaction∈M{} o se fa'afoe mo le tau aupito maualuga o le aofa'i puipui i luga o le seti o gaioiga uma. M e avanoa mo le sooupu, V(s′) o le valo'aga o taui a le sooupu i le taimi nei mo le isi setete s', α o se fua faatatau o le aʻoaʻoina (i le va o le 0 ma le 1), ma le γ o se faʻaitiitiga faʻaitiitiga e atagia ai le faʻatatauina o taui i le lumanaʻi. fa'atatau i taui vave. Na fa'atulaga le galuega fa'avae muamua ina ia 0 V(s) mo setete uma s.
O le tau aoga V(s) na fa'atinoina o se laulau su'e, lea e tutusa lelei ma le manatu o le manatua lelei. E ui ina sa fa'aogaina fa'atatau galuega e pei ole neural networks ma se manuia e fa'atusalia ai galuega taua [1], sa fa'aogaina se laulau su'esu'e e fa'amautinoa ai e le'i fa'alagolago fua fa'ai'uga ile ituaiga o fa'auiga lautele o lo'o tu'uina mai e le tele o galuega fa'atatau. Na a'oa'oina le sui sooupu mo le 1,500 a'oa'oga fa'ata'ita'iga i luga o lona tulaga avanoa. Ona o le le mautonu o le faʻamatalaga o mea faitino, o se faʻasologa o galuega faʻafouina o le itiiti ifo ma le tasi (α = 0.01) na faʻaaogaina i le taimi o le aʻoaʻoga e faʻatagaina ai le averesi o taunuʻuga eseese. Mulimuli ane, o le tau fa'aitiitiga na tu'u i le γ = 0.99 e fa'amalosia ai le sooupu e saili vave se taui nai lo le fa'atuai o lana amio aga'i se'ia o'o i le fa'ai'uga o le fa'amasinoga (e ui ina suia mai le tau fa'aletonu o le 1 e leai se a'afiaga i taunu'uga na lipotia mai iinei. ) Ina ia mafai ona iloa tutoatasi pe 1,500 aʻoaʻoga faʻataʻitaʻiga na lava mo aʻoaʻoga e faʻamaeʻa, o le averesi o le aofaʻi o suiga i le aʻoaʻoga na mataʻituina ma maua ai na faʻafeiloaʻi aʻo leʻi oʻo i lenei numera o faʻasologa.
A maeʻa aʻoaʻoga, o le algorithm patino e pulea ai le amio a le sooupu (faʻataʻitaʻiga, faiga faʻavae o gaioiga e faia mai setete taʻitasi) o le:
(Fa'atusa 2)
pe afai o le π(s) o le gaioiga o le a filifilia e le sooupu mai le setete s, ma le itu taumatau o le faʻatusatusaga e toe faʻafoʻi ai le gaioiga (faʻataʻitaʻiga, suiga o le faʻatonuga, gaioiga, poʻo le leai o se gaioiga) lea e faʻateleina ai le aofaʻi o le taui ma le tau faʻaititia. o le tulaga e maua ai s′.
I le faʻataʻitaʻiga o loʻo lipotia i lalo, o setete uma na asia e le sooupu na faʻapipiʻiina e pei o 7-dimensional vectors o loʻo faʻatusalia faʻamatalaga e uiga i le tulaga o le "faʻaletino" fafo o le sooupu ma lona tulaga "malamalama" i totonu. O fa'amatalaga fa'aletino e aofia uma ai le tulaga o lo'o iai nei le sooupu i le vateatea ma lona fa'atonuga. O faʻamatalaga faʻamatalaga e aofia ai le tulaga o le mea (pe a iai se tasi) ma le faʻamatalaga o lena mea (pe a fai na fuafuaina e le sooupu). O ituaiga faʻamatalaga faʻapitoa na faʻaalia e le sooupu o loʻo faʻaalia i le Laulau 1.
Laulau 1
O fua na faʻaaogaina i faʻataʻitaʻiga RL ma tau faʻatatau o na fua.
E 21,120 le aofaʻi o setete i le faʻataʻitaʻiga [Faamatalaga vae 2]. Ae ui i lea, o setete o loʻo i ai se mea lelei e leʻi faʻamaonia ma mea le lelei e leʻi iloa e, mai le vaaiga a le sooupu, e tutusa, o lea e naʻo le 16,280 setete eseese. O le mea lea, i taimi taʻitasi o aʻoaʻoga, sa tatau ona asiasi i nisi o na "tulaga tutusa" faalua ina ia faʻatagaina le mea moni e faapea o le afa o le taimi e ono mulimuli ai i latou i le mauaina o se mea lelei, ma le afa o le taimi latou te ono mulimuli ai. sosoo ai ma le mauaina o se mea leaga [Faamatalaga vae 3].
I le amataga o faʻataʻitaʻiga faʻataʻitaʻiga taʻitasi, na tuʻuina le sooupu i le ogatotonu o se laina faʻataʻitaʻi 11 × 1 iunite faʻatasi ma le lima avanoa i le "sasaʻe" (ie, i le itu taumatau) o le sooupu ma le lima avanoa i le "sisifo. ” (ie, i le agavale) o le sooupu. E pei ona faaalia i le Laulau 1, o le setete-vector a le sooupu e aofia ai se elemene o loʻo faʻaalia ai lona tulaga o loʻo i ai nei i luga o le ala (ie, o se numera mai le 0 i le 10), faʻapea foʻi ma se elemene (ie, se uiga "n", "s", " e”, po o le “w”) e fai ma sui o lona tulaga o iai nei (ie, matu, saute, sasaʻe, poʻo sisifo, faʻasologa). O le fa'atonuga muamua a le sui sooupu e masani lava ona fa'atulaga i le "matū," ma e leai se isi mea na i ai i totonu o le si'osi'omaga (fa'atusa, o le tau o le "OBJECT" i le setete-vector a le sooupu ua setiina e tutusa ma le "0").
I taimi taʻitasi-laasaga o le faʻataʻitaʻiga, e mafai e le sooupu ona faia se tasi o gaioiga nei: (1) leai se mea, ma tumau i le nofoaga o loʻo i ai nei ma le faʻasalalauga; (2) aga'i i matu, saute, sasa'e po'o sisifo; po'o le (3) fa'agaoioi se avanoa se tasi i le si'osi'omaga (sasa'e po'o sisifo). O le iʻuga o gaioiga taʻitasi na faia i luga ole laʻasaga faʻataʻitaʻi mulimuli ane. O suiga uma i le nofoaga ma / poʻo le faʻatonuga o le sooupu i avanoa na tupu e ala i le filifilia o gaioiga a le sooupu. Ae ui i lea, i taimi uma-laasaga o le faʻataʻitaʻiga, e tusa lava pe filifilia se gaioiga "leai se mea", na faʻateleina le taimi e 1 seia oʻo i le faaiuga o le faamasinoga (ie, taimi-laasaga 20).
O le siosiomaga o le sooupu na faʻatulagaina ina ia afa o le taimi, o se mea na faʻaalia i se nofoaga faʻafuaseʻi (ae le o le nofoaga e tasi ma le sooupu) pe a maeʻa laasaga e sefulu; 50% o mea faitino na lelei (fa'atusalia e le "+"; va'ai le Laulau 1) ma le 50% o mea faitino e le lelei (fa'atusalia e le "-"). O le fa'atuai a'o le'i fa'aalia le mea na fa'aalia e fa'ataga ai le mata'ituina o so'o se amio na fa'aalia e le sooupu a'o le'i fa'aalia le mea. Afai e le'i taula'i le sui sooupu i le mea faitino ina ua aliali mai, ona suia lea o le elemene o lo'o fai ma sui o le "OBJECT" i le vector a le sui sooupu mai le "0" i le "?" e atagia ai le mea moni o le mea moni o loʻo i ai nei e le o iloa i le taimi nei. Ae peitaʻi, afai o le sui na faʻatatau i le mea, ona sosoo ai lea ma le laasaga mulimuli o le "OBJECT" elemene na setiina e tutusa ma le faʻamatalaga o le mea, ina ia avea le "0" ma le "+" poʻo le "-" mo le lelei. ma mea le lelei, i le faasologa.
Afai e siitia atu le sooupu i le nofoaga o se mea, ona oo lea i le isi laasaga e mou atu le mea. Afai e lelei le mea, ona seti lea o le fu'a a le sui "FA'A'U" i le mea moni ma na tauia le sui (taui = +10); ae peitai, afai e le lelei le mea, ona seti lea o le fuʻa "TETEI" i le moni ma faʻasalaina le sui (taui = −10). (Manatua o fuʻa na faʻatulagaina i lenei auala e tusa lava pe na iloa e le sooupu pe leʻi faailoaina le mea; faʻataʻitaʻiga, e mafai e le sooupu ona 'aina se mea e aunoa ma le agai i ai.) I le laasaga mulimuli ane, o le "TETE" poʻo Na kilia le fu'a "FA'AI". Na tuʻuina atu foʻi i le sooupu se faʻasalaga laʻititi (faʻamalosia = -1) mo gaioiga taʻitasi poʻo le faʻataʻitaʻiina o gaioiga, ma e leai se taui poʻo se faʻasalaga (faʻamalosia = 0) pe a fai e leai se gaioiga.
O amioga fa'aalia uma (fa'ata'ita'iga, fa'ata'ita'iga ma fe'avea'i) ma se fuataga o taui-valoaga sese na fa'atatauina mo le sooupu. O le amio fa'aalia (fa'atusa, o le lisi o gaioiga na filifilia e le sui sooupu) na fa'aaogaina e fa'ailoa ai pe na a'oa'oina le galuega. O le fua o le taui-valoaga sese na faʻaaogaina e suʻe ai le manatu e uiga i le tulaʻi mai o le faʻailoga o le dopaminergic phasic e le taui. O le taui-valoaga sese, δ, na fuaina i le taimi t o le foliga mai o se mea e ala i le toesea o le taui o le valoʻaga i le taimi muamua-laasaga, ie, V(s) i le taimi laasaga t-1, mai le taui valoʻaga pe a. ua aliali mai le mea, ie, V(s) i le taimi t, e maua ai le aofaiga δ = V(st) − V(st−1).
i'uga
Amioga Fa'atusa
O amioga fa'aalia a le au sooupu na muamua fuaina. O taunuʻuga o lenei auʻiliʻiliga na faʻaalia ai, ina ua maeʻa aʻoaʻoga, na faʻalatalata le sooupu ma maua le faʻamalosia lelei mai mea lelei uma ma e leʻi faʻalatalata atu lava i soʻo se mea leaga. Faʻatasi, o nei faʻaiʻuga e maua ai le faʻamaoniga o amioga na aʻoaʻoina e sui e faʻatino saʻo le galuega. O lenei fa'ai'uga o lo'o fa'amalosia e le fa'amatalaga fa'aopoopo e fa'apea, i le taimi o fa'ata'ita'iga pe a leai se mea na aliali mai, na tumau pea le lē gaioi o le sui. E pei ona valoia, na taulai atu le sooupu i mea lelei ma mea leaga.
Fa'ata'ita'iga o taui-valoaga Sese
O le manatu tutotonu o lenei pepa o le faʻaalia o se faʻaosofia e le mafaamatalaina o le a faʻaauau pea ona maua ai se mea sese o le taui-valoaga, e tusa lava pe o lena mea e tupu o se mea "le lelei" e faʻasalaina i taimi uma. I le lagolagoina o lenei manatu, na faʻaalia e le sooupu se taui lelei-valoaga sese i soʻo se taimi e aliali mai ai se mea (le iloa), ae le o se mea na aliali mai. E ogatasi foi ma le manatu tutotonu o le mea moni e faapea o le tele o le tali a le sooupu (δ, fuaina e pei ona faamatalaina i le vaega Metotia) na maaleale i le faʻataʻitaʻiina o le "malosi" o le faʻamalosi, fa'amalamalamaina e fa'aaoga ai le mamao i le va o le sooupu ma le mea (silasila i le Ata 1). O se suʻesuʻega faʻasolosolo na faʻaalia ai o le tele o le δ e fesoʻotaʻi faʻafeagai ma le mamao mai le mea faitino, o lea o mea vavalalata na mafua ai se tali malosi (r = -0.999, p <0.001; β = 0.82). O lenei faʻasalalauga le lelei na mafua mai i le faʻasalaga laʻititi (faʻamalosia = -1) na tuʻuina atu mo gaioiga taʻitasi e manaʻomia e le sooupu e fai ina ia mafai ai ona alu i le mea lelei, faʻaaoga, ma maua ai le taui.
Ata 1
O lenei fuainumera o loʻo faʻaalia ai le taui-valoaga sese (ie,δ) pe a faʻaalia le mea faitino o se galuega o le nofoaga o le mea e faʻatatau i le nofoaga o le sooupu. O tali e tutusa mo mea lelei ma mea le lelei. Pe a leai se mea (sili atu ...)
Tuuina atu o mea lelei ma mea le lelei na faʻaalia i lenei faʻataʻitaʻiga ma le avanoa tutusa (p = .25), o le fesili e tulaʻi mai: Aisea na faʻaalia ai le sese o le taui-valoaga o le sui i le taimi na faʻaalia ai le mea? Fa'atatau i laina o Kakade ma Dayan [7], e mafai e se tasi ona vavalo o le faailo e tatau ona atagia ai le averesi o taui a'oa'oina uma mai ia tulaga, ma o lea e tutusa ma le zero. O le ki i le malamalama i lenei taunuuga o le matauina e le gata ina le mafai e le RL ona filifili se sui o gaioiga e mafua ai le le lelei o le faʻamalosia, ae faʻaitiitia ai foi le ulufale atu o se sooupu i setete e iʻu ai i le faʻamalosia le lelei. O le mea lea e maua ai se ituaiga "maualuga-maualuga" ituaiga o aʻoaʻoga o loʻo faʻaalia i le Ata 2 ma faʻamatalaina i lalo.
Ata 2
Fa'ata'ita'iga o lo'o fa'aalia ai le fa'atupuina e le sui sooupu a le RL se mea sese tau-valoaga lelei pe a a'oa'oina ma fa'amanino fa'amanuia ma fa'asala i lona si'osi'omaga ma e mafai ona filifili pe fa'alatalata ma fa'aaoga. (A) Le tulaga aʻo leʻi aʻoaʻoina: (sili atu ...)
I le amataga o le aʻoaʻoga (silasila i le Ata 2A), o le sui e faʻasino i mea uma "+" ma le "-", faʻalatalata atu ia i latou, ma e tauia ma faʻasalaina e ala i le faʻaaogaina o ituaiga taʻitasi. Afai e le mafai e le sui o le a'oa'oina o tulaga taua o le setete ona fa'aosoina gaioiga a le sooupu (silasila i le Ata 2B), ona fa'aauau ai lea ona fa'alatalata atu le sooupu ma fa'aaoga mea. O le foliga mai o le faʻailoga o le a vaʻai ai se taui masani o le 0 ma o le ai ai se faʻafuaseʻi o le faʻateleina o taui-valoaga sese. Ae ui i lea, o le sooupu i lenei faʻataʻitaʻiga o loʻo faʻaaogaina tulaga taua a le setete e aʻoaʻoina ai ana gaioiga (silasila i le Ata 2C), ma e ui lava e tatau i le sooupu ona faʻatautaia le mea e le iloa e iloa ai lona faʻamatalaga, o le a le toe faʻaaogaina se mea leaga pe a faʻalatalata. (e pei ona a'oa'oina i se algorithm su'esu'e fa'afuase'i e pei o fa'ata'ita'iga fa'ata'ita'iga [Faamatalaga Vae 1]). E le gata i lea, talu ai ona o le aʻoaʻoina o le eseesega o le tino e mafai ai ona faʻafeiloaʻi le taui le lelei e "faʻasalalau" i tua i setete muamua, ma ona o loʻo i ai se tau laʻititi mo le feʻaveaʻi i le vanimonimo, e aʻoaʻo ai e le sooupu e aloese mai le faʻalatalata atoatoa i le mea le lelei. O le mea lea, a maeʻa ona aʻoaʻoina lenei faʻamatalaga, o le tau o le setete pe a faʻaalia muamua le mea (faʻaalia o le "V" i le liʻo muamua i faʻasologa taʻitasi) e le faʻavae i luga o le averesi o tulaga lelei ma le le lelei o tulaga taua, ae o ae fa'avae i luga o le averesi o le lelei ma le "neutral" i'uga e maua pe a a'oa'o le sooupu e aloese mai mea leaga. O le mea lea na sili atu ai le averesi o taui uma na maua e le sui ua aʻoaʻoina e sili atu nai lo le zero, ma faʻamatalaina le mafuaʻaga o le valoʻaga o taui a le sooupu (ma o le mea lea o le taui-valoaga sese pe a faʻafuaseʻi ona aliali mai le mea) na lelei. O loʻo faʻaalia lenei mea i le Ata 3. O le mea moni, afai e mafai e le sooupu ona aʻoaʻo e sui lana amio ma aloese mai le mea le lelei, o le taua o le mea leaga e iu lava ina le taua i le amio mulimuli a le sooupu ma le tele o le mea fou / tali saliency.
Ata 3
(A) Fa'aalia suiga i le valo'aga o taui semanu e tupu pe ana le maua e le RL le a'oa'oga maualuga (fa'atusa, pe a le mafai e le sooupu ona faia ni faiga e aloese ai mai i'uga leaga), o lea na fa'amalosia ai le sooupu e fa'aaoga uma mea mea (sili atu ...)
O faʻataʻitaʻiga faʻataʻitaʻiga e matua faʻalagolago lava ile tolu manatu. Muamua, o le faʻaosofia e tatau ona "mataʻutia" i le tele o le faʻamalosia na valoia e le faʻailoga muamua e lava tele (faʻataʻitaʻiga, +10) e faʻatatau i tau o le faʻataʻitaʻiina ma le latalata mai (eg, -1). Afai e laʻititi le tele, semanu e le aʻoaʻoina e le sooupu le faʻataʻitaʻiga, pe na te faʻatupuina le tali lelei-valoaga sese. Lona lua, o se faʻatuai aʻo leʻi iloa le faʻaosofia sa manaʻomia foi. (O le tuai o se sui mo le "mea fou" i lalo o le manatu o se faʻaosofia masani o le a vave ona iloa.) A aunoa ma se faʻatuai, semanu e faʻatupuina e le sooupu le faʻamaonia lelei poʻo le leaga o le faʻamaonia o mea sese talafeagai mo le mea moni. Mulimuli ane, o le amio a le sooupu e tatau ona fuafua i tulaga taua na ia aoaoina. Afai e le mafai e le sooupu ona pulea lana lava amio (fa'atusa, pe faʻalatalata atu i mea faʻaosofia), o lona taui faʻailoga pe a faʻaalia se mea o le a tutusa ma le 0, o le averesi o taunuuga lelei ma le le lelei.
Lautele Talanoaga
O le faʻataʻitaʻiga na lipotia i totonu o lenei tusiga na faʻaalia ai o se taui lelei-valoaga sese e tupu pe a faʻaalia se faʻaosofia e le mafaamatalaina, pe tauia pe faʻasalaina, ae le mafai ona vave iloa. E le gata i lea, o le faʻataʻitaʻiga na faʻaalia ai o le tele o le taui-valoaga sese e faʻateleina i le vavalalata o le faʻamalosi i le sooupu, lea i le tulaga o le faʻataʻitaʻiga o se fua faʻatatau mo le malosi faʻamalosi ma e faʻapea e fesoʻotaʻi ma le salience. I le faʻataʻitaʻiga faʻavae o le RL, o faʻamatalaga tau taui e masani lava ona malamalama e atagia ai le aoga aʻoaʻoina o faʻamalosi faʻaalia, poʻo le tulaga faʻaletino ma / poʻo le mafaufau o se sooupu [15]. Ae ui i lea, o le taui-valoaga sese o loʻo lipotia iinei o loʻo i ai se faʻamatalaga uiga ese ona e faʻatupu ae leʻi iloa e le sooupu le mea. Faʻatasi, o nei faʻaiʻuga e lagolagoina le manatu o le RL mataupu faavae e lava e maua ai se tali e foliga mai e le fesoʻotaʻi ma taui, ae nai lo le fesoʻotaʻi ma meatotino o le fou ma le saliency. O lenei fa'ai'uga o lo'o iai ni a'afiaga taua mo lo tatou malamalama lautele i le RL ma mo la tatou fa'amatalaga o le RL o se fa'amatalaga o le a'oa'oina o taui i mea ola moni.
Muamua, o le valo'aga taui e faia e se sui RL pe a fa'aalia se fa'aosofia e le'i fa'ailoaina e le o se averesi fa'amaualuga o taui e maua e pei ona fautuaina mai e Kakade ma Dayan [7], ae e mafai ona sili atu le maualuga nai lo lena fa'atatau. Kakade ma Dayan o le a vavalo e tatau ona tutusa le fua faatatau o taui i le zero aua, ona o faamasinoga na tauia ma faʻasalaina tutusa. O lenei taunuuga faateia na aliaʻe ona o le sooupu na aʻoaʻoina i se faiga "i luga o faiga faʻavae"; o lona uiga, na aʻoaʻoina e le sooupu e le gata e uiga i taunuʻuga leaga, ae faʻapea foʻi ma lona mafai ona aloese mai na taunuuga. O lenei gafatia o le faiga o taui e mafua ai ona aloese se sooupu i taunuuga le lelei e tatau ona mafaufau lelei i le faaliliuina o lo tatou malamalama i le RL i meaola moni. O lenei mea moni e sili atu ona taua pe a tuʻuina atu le asymmetry faʻaalia i le gafatia o le dopaminergic phasic tali e fai ma sui o le faʻailoga lelei o le faʻamaonia o mea sese nai lo le leaga o le tau faʻailoga sese [11]. Atonu e lava le faʻaalia o se faʻasologa faʻapitoa o mea tutupu e oʻo atu ai i se taunuuga le lelei, ae mo le faʻamoemoe o le filifiliga o gaioiga, o le tele o lena taunuuga e le taua.
O se fa'asologa lona lua o le fa'ata'ita'iga o lo'o i ai nei o le tali fou e mafai ona alia'e mai se fegalegaleai i le va o faiga fa'aogaina fa'apitoa ma faiga tau-valoaga. Aemaise lava, o le tali fou atonu e mafua ona o se foliga tutusa i le va o mea fou ma mea faitino e leʻi maeʻa atoatoa le faʻaogaina o le mafaufau [Footnote 4]. I lenei fa'ata'ita'iga, o mea fou na fa'atinoina e ala i le tu'uina atu o se tuai a'o le'i fa'ailoaina le mea (ma fa'atupu ai, o lona tauia po'o le fa'asalaina natura) na fa'aalia i le sooupu. Na faia lenei mea i lalo o le manatu o mea fou e umi se taimi e iloa ai, ae o lenei manatu na mafua ai foi ona iloa lelei mea lelei ma mea leaga i le taimi muamua na faʻaalia ai (faʻataʻitaʻiga, na faʻaigoaina uma o le "?"). I se faʻatusatusaga, o Kakade ma Dayan [7] o loʻo fautua mai o tali fou ma tali "lautele" e matua ese lava e ui ina faʻaalia tutusa i faʻamaumauga o le neurophysiology.
O le lona tolu o faʻataʻitaʻiga o faʻataʻitaʻiga o loʻo i ai nei o loʻo latou faʻaalia ai o manatu faʻaopoopo o ponesi fou ma ponesi na faʻatulagaina e Kakade ma Dayan [7] e le manaʻomia. Nai lo lena, o tali fou-pei e mafai ona aliaʻe mai tapulaʻa faʻaogaina faʻapitoa ma le malamalama o le mafai ona aloese mai taunuuga le lelei. E laki lea aua, e pei ona fa'ailoa mai e Kakade ma Dayan, o ponesi fou e fa'asese ai le aoga o lo'o a'oa'oina e se sui, ma o ponesi fa'atulagaina e a'afia ai le auala e su'esu'e ai e sui o latou nofoaga o le setete. O le faʻaofiina o se tasi o nei manatu e faʻaitiitia ai le parsimony o faʻataʻitaʻiga e faʻavae i luga o le talitonuga RL. O le mea e malie ai, o faʻaiʻuga o loʻo tuʻuina atu iinei e fesoasoani foi e faʻamatalaina pe aisea e le mafai ai ona faʻalavelave le tali fou o meaola i le aʻoaʻoina o taui i meaola moni: o le tali fou ua uma ona valoia e RL. O lona uiga, o le tali fou e atagia mai ai amioga ma taui faʻailoga o loʻo i totonu o se sooupu ua uma ona aʻoaʻoina se mea e uiga i lona siosiomaga.
O se isi fa'aliliuga (ae le fa'atasi) o fa'amatalaga fa'ata'ita'iga o lo'o i ai nei, o lo'o i ai moni lava se taui fa'apitoa (atonu o le mafaufau) e maua e sui e ala i le fa'ata'ita'iina ma fa'ailoa mea. I suʻesuʻega o gaioiga dopaminergic, o tali faʻapitoa e mafai ona tupu i faʻamatalaga e leʻi mafaufauina e iloa e vaʻai ai se taui. O lenei faʻataʻitaʻiga, peitaʻi, o loʻo faʻaalia ai pe faʻafefea foi ona tupu nei ituaiga o tali i le tali atu i se faʻailoga e mafai ona vaʻai mulimuli ane pe taui poʻo se faʻasalaga. Pau lava le manuia faifaipea o loʻo valoia e le faʻailoga o le mauaina o faʻamatalaga e maua pe a faʻamaonia e le sooupu le faʻamatalaga o le mea. O le mea lea, afai o loʻo i ai se aoga, aʻoaʻoina o le "valoaga taui" pe a faʻaalia le mea e le faʻamaonia, o se mea e faamalieina pe a maeʻa ona maua e le sooupu le malamalama pe faʻalatalata pe aloese mai le faʻaosofia. O le tau o lenei faʻamatalaga e le faʻavae i luga o le averesi o taunuʻuga e mafai ona maua, ae e faʻavae i luga o le malamalama o taunuʻuga aoga-e mafai e le sooupu ona faʻaaogaina le taui lelei pe aloese mai le taui le lelei (silasila i le Ata 2).
Ma le mea mulimuli, e taua le maitauina o avanoa e faia ai ni gaioiga faapitoa (faʻataʻitaʻiga, e faʻataʻitaʻi) e mafai ona latou faʻaaogaina meatotino tauia e ala i nisi faʻasalalauga poʻo le aʻoaʻoga e le o aofia ai i lenei faʻataʻitaʻiga. Mo se faʻataʻitaʻiga, o le gaioiga tonu lava o le faʻataʻitaʻiina ma le fuafuaina "mea o loʻo i fafo" e mafai ona tauia i se tino e faʻavae i luga o le fesoʻotaʻiga i le va o lena gaioiga ma le mea o loʻo faʻaalia i luga, e masani ona lelei le taui-valoaga sese pe a faʻaalia ni faʻaosofiaga fou. O se manatu talitutusa na faʻaalia talu ai nei e Redgrave ma Gurney [13] o loʻo faʻapea o se faʻamoemoe taua o le tali atu o le dopamine phasic o le faʻamalosia lea o gaioiga e tutupu aʻo leʻi faʻaalia mea taua. O taunuuga iinei e le fetaui ma lena manatu, peitaʻi e tatau ona maitauina e le o faʻataʻitaʻia saʻo le manatu o Redgrave ma Gurney i lenei faʻataʻitaʻiga ona e leai se gaioiga (ie, suʻesuʻega) na manaʻomia e le sooupu ina ia mafai ai ona tupu le mea taua (le foliga o le le mea) e tupu. Ae ui i lea, o le faʻailoga faʻataʻitaʻi faʻataʻitaʻiga e fetaui lelei ma le taimi o le tali faʻatonu e fautua mai ai e mafai ona vavalalata le lua.
I le faʻaiʻuga, o lenei tusiga ua faʻaalia ai e mafai ona faʻaaogaina mataupu faavae RL e faʻamatala ai se ituaiga o gaioiga e foliga mai e le o se taui o le dopaminergic neurons. O lenei taunuʻuga na aliaʻe mai le mea moni o le tulafono aʻoaʻoga faʻale-tino-eseese (e pei o le faʻaaogaina e Kakade ma Dayan [7]) na faʻapipiʻiina i se faʻataʻitaʻiga lea e mafai ai e le sooupu ona filifili ni gaioiga e i ai se aafiaga i le taunuuga mulimuli. I le faʻataʻitaʻiga, na iloa ai e le sooupu o le taunuuga o le faʻataʻitaʻiina i se mea na faʻafuaseʻi ona aliali mai e mafai ona tauia pe le faʻaituau ona e mafai ona aloese mai le leaga. O le mea lea ina ua maua e le sooupu se avanoa e faʻataʻitaʻi ai, o lona taui-valoaga sese e masani lava ona lelei, faʻatusatusa faʻatusatusa i tali fou ma saliency o loʻo matauina i meaola ola.
tautinoga
O le galuega o loʻo faʻamatalaina i lenei tusiga na lagolagoina e le NIH R01 HD053639 ma le NSF Training Grant DGE-9987588. Ou te fia faʻafetai atu ia Erik Reichle, Tessa Warren, ma se tagata suʻesuʻe e le taʻua igoa mo faʻamatalaga fesoasoani i se lomiga muamua o lenei tusiga.
1O le isi Algoritimi o le A'oa'oga Fa'amalosia, e ta'ua o le Trajectory Sampling [17], e masani ona fa'aoga nai lo le Fa'ailoga Taua pe a matua tele le avanoa o le setete ma e le mafai ona fa'amamafaina pe faigofie ona teuina i le mafaufau o le komepiuta. Nai lo le faʻataʻitaʻiina o setete uma i totonu o le setete avanoa ma faʻaogaina le faʻasologa o galuega faʻafouina e faʻavae i luga o gaioiga e foliga mai e taʻitaʻia ai le tele o taui, Trajectory Sampling galue e ala i le mulimuli i auala i le setete avanoa. E fa'apena fo'i i le Fa'asologa o Tau, o gaioiga e tau atu i le tele o taui e masani lava ona filifilia mai setete ta'itasi, ae o nisi taimi e filifilia ai se gaioiga su'esu'e fa'afuase'i ma sina mea itiiti. O lea la o le algorithm o le: Mai nisi tulaga amata s, filifili se gaioiga e tau atu i le taui sili [eg, taui + γV(s′)] ma le avanoa ε, pe filifili se gaioiga suʻesuʻe faʻafuaseʻi ma le avanoa 1 − ε. Fa'aoga V(s) → V(s) + α[taui + γV(s′) − V(s)] i taimi e le'i su'esu'e ai mai le setete s.
E ese mai i le fa'ato'ilaloina o tapula'a fa'atekinisi o le taimi ma manatuaga, o le Trajectory Sampling atonu e manaia aua e mafai ona sili atu ona atagia ai le auala e a'oa'o ai meaola ola moni: e ala i le su'esu'eina o auala i totonu o se setete avanoa. I luga o le galuega o loʻo faʻamatalaina i lenei pepa, Trajectory Sampling e maua mai ai faʻaiʻuga e tutusa lelei ma mea na maua i le Faʻasologa o Tau. Ae ui i lea, mo le fa'apuupuu o na fa'ai'uga e le o fa'amatala auiliili mai iinei. Na filifilia le Faʻasologa o Tau mo le faʻataʻitaʻiga i lenei pepa mo mafuaʻaga autu e lua. Muamua, talu ai ona o le Trajectory Sampling e aofia ai le stochasticity i le filifilia o auala, o le tele o le lala e mafua mai i le tele o faʻasologa o gaioiga i lenei galuega e mafai ona iʻu ai i sui e leai se poto masani ma nisi setete sei vagana ai le suʻesuʻega-faʻaaogaina parakala (ie, ε-matapeʻapeʻa [17]) ua filifilia ma le faaeteete. O le leai o se poto masani i setete fa'apitoa e mafai ona fa'alavelave ai le fa'atinoga a se sui pe a fa'aogaina se fa'asologa o manatuaga laulau su'esu'e ona o le leai o se fa'avasegaga o le tau i setete tutusa (ae atonu e le'i asiasia). O le mea lea, e sili atu le faʻaogaina o le suʻesuʻeina maeʻaeʻa o le avanoa o le setete lea e faʻamaonia i le Tau Faʻamatalaga. Lona lua, o le faʻaaogaina o le Faʻamatalaga Taua na faʻaumatia ai le manaʻoga e faʻamaonia le faʻaopoopoga o suʻesuʻega-faʻaaogaina parakalafa, ma faʻafaigofie ai le faʻataʻitaʻiga. Manatua o le Fa'ata'ita'iga Fa'ata'ita'iga e mafai ona fa'atatau i le Fa'asologa o Tau a'o o'o atu le aofa'i o ala e le i'u [17].
2 Ole numera ole 21,120 setete e mafai ona fa'atatauina e pei ona ta'ua i lalo: 11 nofoaga e mafai ona fai ai sui × 4 fa'asinomaga e ono mafai ona sui × (10 taimi-laasaga a'o le'i aliali mai se mea + 10 taimi-laasaga e leai se mea na aliali mai + 10 taimi-laasaga i le mea na i ai le sooupu. faʻamalosia lelei + 10 taimi-laasaga lea na faʻamalosia ai le mea faitino + 11 nofoaga mea faitino e ono mafaia * (10 taimi-laasaga ma se mea faʻamaonia lelei + 10 taimi-laasaga ma se mea e le iloa lelei + 10 taimi-laasaga ma se mea lelei e leʻi iloa. + 10 taimi-laasaga ma se mea le iloa le lelei))].
3O le i ai o nei setete "natia" e tatau ona mafaufauina i le taimi o aʻoaʻoga aua e naʻo le "tasi le laʻa i luma" e vaʻavaʻai ai le Faʻasologa o Taua mai setete taʻitasi i le avanoa o le setete. O le mea moni e faapea o setete e iai mea leaga ma mea lelei e leʻi iloa e tutusa lelei o le a taofia ai le aʻoaʻoina ma le faʻatatauina o tulaga taua i setete eseese e lua o loʻo mulimuli mai e iloa ai le mea lelei poʻo le leaga. O le Trajectory Sampling approach i le isi itu o lo'o tausia ai fa'amatalaga a le setete natia (ie, o le fa'asinomaga o le fa'aosofia e le'i fa'ailoaina) i le taimi atoa o le fa'amasinoga ma fa'atasi ai ma lena fesuiaiga o le RL o setete natia e le o se popolega.
4O se tasi o tetee i le galuega o loʻo i ai nei, o le tali faʻatonu e foliga mai e faigata ona faʻaogaina i le faiʻai mammalian, mo se faʻataʻitaʻiga, i faʻataʻitaʻiga mai le colliculus maualuga [3,14]. I le faʻataʻitaʻiga o loʻo i ai nei, e leʻi faʻamalosi le au sooupu e faʻafeiloaʻi i mea faitino ae nai lo le aʻoaʻoina o se amio faʻataʻitaʻiga e faʻatagaina ai le filifiliga mulimuli o se gaioiga (faʻataʻitaʻiga, pe faʻalatalata pe aloese) e faʻateleina le taui. E fa'apena fo'i i tali fa'amalo, o nei amio fa'ata'ita'i na vave ona tupu, a'o le'i iloa mea, ma fa'asino atu i mea uma. O le sini o lenei galuega e le o le fai atu o ia tali uma e aʻoaʻoina, ae e mafai ona latou ola faatasi i totonu o le RL framework. Ae ui i lea, o le a manaia le suʻesuʻeina pe mafai ona aʻafia auala faʻatatau i taui i le faʻatulagaina o fesoʻotaʻiga i vaega faiʻai ina ia mafai ai ona maua lenei tali dopamine phasic.
O le PDF lenei o se tusitusiga e leʻi faʻaaogaina lea na taliaina mo le lolomiina. I le avea ai ma se tautua mo o tatou tagata faʻatau, o loʻo tatou saunia lenei uluai kopi o tusitusiga. O le tusitusiga o le a faʻaaogaina le kopiina, faʻavasegaina, ma le toe iloiloga o le faʻamaoniga ao leʻi faʻasalalauina i lona tulaga mulimuli. Faamolemole ia matau i le faagasologa o le gaosiga e mafai ona maua ai mea sese e mafai ona aafia ai le anotusi, ma o tulafono uma e le faatagaina e faatatau i le tusi o talaaga.
mau faasino
1. Baird LC. Algorithms Toe: Fa'amalosia A'oa'oga ma Fa'atatauga Fa'atino. I totonu: Priedetis A, Russell S, faatonu. A'oa'oga i masini: Taualumaga o le Konafesi Lona Lua a le Lalolagi; 9–12 Iulai.1995.
2. Bunzeck N, Düzel E. Fa'atonuga atoatoa o mea fou fa'aosofia i le tagata nigra/VTA. Neuron. 2006;51(3):369–379. [PubMed]
3. Dommett E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N, Mayhew JEW, Overton PG, Redgrave P. E faʻafefea ona faʻagaoioia e faʻaaliga vaʻaia neurons dopaminergic i le puʻupuʻu puʻupuʻu. Saienisi. 2005;307(5714):1476–1479. [PubMed]
4. Doya K. Metalearning ma neuromodulation. Neural Networks. 2002 Iuni–Iula;15(4–6):495–506. [PubMed]
5. Gillies A, Arbuthnott G. Faʻataʻitaʻiga faʻatusatusaga o le basal ganglia. Fa'aletonu Gaoioiga. 2000;15(5):762–770. [PubMed]
6. Horvitz JC. Mesolimbocortical ma nigrostriatal dopamine tali i mea taua e le o ni taui. Neuroscience. 2000;96(4):651–656. [PubMed]
7. Kakade S, Dayan P. Dopamine: fa'asalalauga lautele ma ponesi. Neural Networks. 2002;15(4–6):549–559. [PubMed]
8. Knutson B, Cooper JC. O le maunu o le le iloa. Neuron. 2006;51(3):280–282. [PubMed]
9. Logothetis NK, Pauls J, Augath M, Trinath T, Oeltermann A. Neurophysiological suesuega o le faavae o le faailo fMRI. natura. 2001;412(6843):150–157. [PubMed]
10. McClure SM, Berns GS, Montague PR. O mea sese fa'aletino i se galuega a'oa'oga e fa'agaoioi ai le striatum tagata. Neuron. 2003;38(2):339–346. [PubMed]
11. Niv Y, Duff MO, Dayan P. Dopamine, le mautonu ma le TD aʻoaʻoga. Amioga ma Fai'ai. 2005 Me 4;1:6. [PMC free article] [PubMed]
12. O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Faʻataʻitaʻiga o eseesega faaletino ma aʻoaʻoga faʻatatau i taui i le faiʻai o le tagata. Neuron. 2003;38(2):329–337. [PubMed]
13. Redgrave P, Gurney K. Le faʻailoga puʻupuʻu dopamine: o se matafaioi i le mauaina o gaioiga fou? Natura Iloiloga Neuroscience. 2006 Tes;7(12):967–975.
14. Redgrave P, Prescott TJ, Gurney K. Pe o le tali pu'upu'u dopamine e pu'upu'u e fa'ailoa ai le sese o taui? Tulaga i Neurosciences. 1999 Ape;22(4):146–151. [PubMed]
15. Reichle ED, Laurent PA. Fa'aaogaina o le fa'amalosia o le a'oa'oina e malamalama ai i le tula'i mai o le amio "atamai" mata-fa'agaioiga a'o faitau. Iloiloga Faalemafaufau. 2006;113(2):390–408. [PubMed]
16. Schultz W. Fa'ailoga taui fa'ailo o neurons dopamine. Tusitala o le Neurophysiology. 1998;80(1):1–27. [PubMed]
17. Sutton RS, Barto AG. Aoaoga Faamalosia: O se Folasaga. MIT Press; Cambridge: 1998.
18. Tanaka SC, Doya K, Okada G, Ueda K, Okamoto Y, Yamawaki S. O le vavalo o taui vave ma le lumanaʻi e faʻaeseese ai faʻauluina cortico-basal ganglia loops. Natura Neuroscience. 2004;7(8):887–893.
;
