BEACHDAN: Sgrùdadh eile a tha a ’sealltainn gur e rud ùr a th’ ann an nobhail. Is e aon de na taobhan addictive de porn eadar-lìn an nobhail agus am measgachadh gun chrìoch, an comas cliogadh gu luath bho aon sealladh gu sealladh eile, agus a bhith a ’sireadh dìreach an ìomhaigh / bhidio cheart. Bidh iad sin uile a ’meudachadh dopamine. Is e seo a tha a ’dèanamh porn eadar-lìn eadar-dhealaichte bho irisean no DVDan air màl.
Netw Neural. 2008 Dùbhlachd; 21 (10): 1493 - 1499.
Air fhoillseachadh air-loidhne 2008 Sultain 25. doi: 10.1016 / j.neunet.2008.09.004
Patryk A. Laurent, Oilthigh Pittsburgh;
Cuir a-steach gach conaltradh gu: Patryk Laurent, Oilthigh Pittsburgh, 623 LRDC, 3939 O'Hara St., Pittsburgh, PA 15260 USA, Post-d: [post-d fo dhìon], Oifis: (412) 624-3191, Facs: (412) 624-9149
Abstract
Tha oidhirpean o chionn ghoirid gus modalan ionnsachaidh stèidhichte air duais a mhapadh, leithid Ionnsachadh Ath-neartachaidh [17], don eanchainn stèidhichte air an amharc gu bheil àrdachadh agus lùghdachadh mean air mhean ann an spìcadh neurons a tha a ’leigeil a-mach dopamine eadar duais a chaidh a ro-innse agus a fhuaireadh [16,5]. Ach, chan eil am mearachd ro-innse duais seo ach aon de ghrunn chomharran a tha air an conaltradh leis a ’ghnìomhachd ìre sin; tha fear eile a ’toirt a-steach àrdachadh ann an spìocadh dopaminergic, a’ nochdadh coltas brosnachaidhean buntainneach ach gun dùil [4,6,13], gu sònraichte nuair a bhios fàs-bheairt às deidh sin a ’gluasad a dh’ ionnsaigh an spreagadh [16]. Gus na co-dhùnaidhean sin a mhìneachadh, tha Kakade agus Dayan [7] agus feadhainn eile air a ràdh gu bheil brosnachaidhean ùra, ris nach robh dùil a ’toirt buannachd mhòr. Tha an atharrais a chaidh aithris san artaigil seo a ’sealltainn nach eil feum air a’ bheachd seo oir tha a ’bhuaidh a thathar an dùil a ghlacadh a’ nochdadh bho na dòighean ionnsachaidh ro-innse duais airson Ionnsachadh Ath-neartachaidh. Mar sin, faodar prionnsapalan Ionnsachaidh Ath-neartachaidh a chleachdadh gus a bhith a ’tuigsinn chan e a-mhàin gnìomhachd co-cheangailte ri duais de neurons dopaminergic an ganglia basal, ach cuideachd cuid den ghnìomhachd aca nach eil co-cheangailte ri duais.
Tha Ionnsachadh Ath-neartachaidh (RL) a ’sìor fhàs cudromach ann a bhith a’ leasachadh mhodalan coimpiutaireachd de ionnsachadh stèidhichte air duais san eanchainn. Is e clas de algorithms coimpiutaireachd a th ’ann an RL a tha a’ sònrachadh mar as urrainn do “àidseant” fuadain (me, inneal-fuadain fìor no samhlachail) ionnsachadh gus gnìomhan a thaghadh gus an duais iomlan ris a bheil dùil [17] a mheudachadh. Anns na h-algorithms sin, bidh àidseant a ’stèidheachadh a ghnìomhan air luachan a dh’ ionnsaicheas e a cheangal ri diofar stàitean (me, na glagan lèirsinneach co-cheangailte ri brosnachadh). Faodar na luachan sin ionnsachadh mean air mhean tro ionnsachadh eadar-dhealachadh ùineail, a bhios ag atharrachadh luachan stàite stèidhichte air an eadar-dhealachadh eadar ro-aithris duais an neach-ionaid airson na stàite agus an fhìor dhuais a gheibhear às deidh sin bhon àrainneachd. Thathar air sealltainn gu bheil an eadar-dhealachadh coimpiutaichte seo, ris an canar mearachd ro-innse duais, a ’ceangal gu fìor mhath ri gnìomhachd mean air mhean neurons a tha a’ leigeil a-mach dopamine a tha a ’stobadh a-mach bhon substantia nigra ann am prìomhairean neo-dhaonna [16]. A bharrachd air an sin, ann an daoine, tha an striatum, a tha na thargaid chudromach de dopamine, a ’taisbeanadh comharra fMRI BOLD a tha coltach gu bheil e a’ nochdadh mearachd ro-innse duais rè gnìomhan ionnsachaidh duais [10,12,18]. Tha an lorg fMRI seo a ’cur ris an dàta eòlas-inntinn oir thathas a’ gabhail ris gu bheil BOLD striatal a ’nochdadh, co-dhiù ann am pàirt, gnìomhachd synaptic dàimheach [9] agus tha am pròiseact dopamine neurons gu mòr ris an striatum.
Ged a tha coltas gu bheil na freagairtean fiosaigeach a chaidh ainmeachadh roimhe co-cheangailte ri cunntasan ro-innse duais RL, tha àrdachadh cuideachd ann an gnìomhachd mean air mhean dopaminergic mar fhreagairt air brosnachadh brosnachaidh agus / no nobhail a tha coltach nach eil ceangal aca ri duais [4,6,14,3]. Chaidh rud coltach ri seo a choimhead o chionn ghoirid ann an daoine a ’cleachdadh fMRI [2]. Tha grunn adhbharan ann airson gu bheilear ag ràdh nach eil an fhreagairt “ùr-nodha” no “salient” seo co-cheangailte ri mearachd ro-innse duais: (1) tha e a ’nochdadh gu math tràth, mus deach dearbh-aithne an spreagadh a mheasadh, gus nach urrainnear ro-innse duais ceart a dhearbhadh a ghineadh; (2) tha e a ’freagairt ri àrdachadh ann an gnìomhachd neòil (ie, tha e deimhinneach) airson gach cuid brosnachadh gluasadach agus appetitive; agus (3) bidh e a ’fuireach [13]. Gu dearbh, tha na freagairtean slaodachd / ùr-nodha seo de na neurons a tha a ’leigeil a-mach dopamine as earbsaiche nuair a tha na brosnachaidhean neo-fhaicsinneach agus a’ leantainn gu giùlan treòrachaidh agus / no dòigh-obrach [16] ge bith dè an toradh a thig às, a ’soilleireachadh gu bheil iad càileachdail eadar-dhealaichte bho dhuais ionnsaichte. fàisneachd. Is e an dùbhlan, mar sin, a bhith a ’mìneachadh a’ pharadocs seo a tha coltach (ie, mar a tha ùr-sgeul a ’toirt buaidh air mearachd ro-innse duais) taobh a-staigh frèam teòiridheach RL.
Dh ’fheuch Kakade agus Dayan [7] ri seo a dhèanamh; san artaigil aca, tha iad a ’postadh dà dhòigh anns an gabhadh freagairtean ùr-nodha a thoirt a-steach do mhodalan RL de dhreuchd dopaminergic - bha an dà chuid a’ toirt a-steach gabhail ri barailean teòiridheach ùra. Tha a ’chiad bharail, air ainmeachadh mar bònasan ùr-nodha, a’ toirt a-steach duais a bharrachd a thoirt a-steach nuair a bhios brosnachaidhean nobhail an làthair, os cionn agus nas fhaide na an duais àbhaisteach a gheibh an neach-ionaid. Bidh an duais a bharrachd seo a ’tighinn a-steach don àireamhachadh gus am bi ionnsachadh stèidhichte air an eadar-dhealachadh eadar ro-aithris duais an neach-ionaid agus suim an duais àbhaisteach bhon àrainneachd agus bònas ùr-nodha. Mar sin, thig an rud ùr mar phàirt den duais a tha an neach-ionaid a ’feuchainn ri àrdachadh. Faodar an dàrna gabhail, ris an canar cumadh bònasan, a bhuileachadh le bhith a ’meudachadh luachan stàitean co-cheangailte ri brosnachadh nobhail gu h-ealanta. Leis gu bheil an riaghailt ionnsachaidh eadar-dhealachadh ùineail a thathar a ’cleachdadh ann an RL stèidhichte air an eadar-dhealachadh ann an ro-innse duais eadar stàitean leantainneach, chan eil buaidh a bharrachd aig bònas cumadh cunbhalach do stàitean a tha an sàs ann an gluasadan nobhail air giùlan deireannach an àidseant. Ach, bidh freagairt ùr-nodha fhathast a ’nochdadh nuair a thèid an t-àidseant a-steach don phàirt den àite stàite a chaidh a“ chumadh ”(ie, tha sin co-cheangailte ri ùr-sgeul).
Ged a tha cur-ris gach aon de na barailean sin gu leòr gus mìneachadh a dhèanamh air mòran de bhuaidhean ùr-nodha, tha na barailean cuideachd a ’cur bacadh air adhartas ionnsachaidh. Mar a tha Kakade agus Dayan [7] a ’comharrachadh, faodaidh bònasan ùr-nodha cuir às don ghnìomh luach (ie, na luachan co-cheangailte ris gach stàit leis an neach-ionaid) agus buaidh a thoirt air na tha air ionnsachadh aig a’ cheann thall seach gu bheil iad air an cur an gnìomh mar dhuais a bharrachd a tha ceangailte gu dlùth ri nobhail. stàitean. Is e an duilgheadas a th ’ann gu bheil an neach-ionaid ag ionnsachadh ro-innse an dà chuid na prìomh phàirtean agus na h-ùirsgeulan den duais. Ged a tha Kakade agus Dayan a ’nochdadh nach eil cumadh bònasan ag adhbhrachadh an seòrsa duilgheadas seo leis gu bheil iad air an toirt a-steach do na ro-innse dhuaisean bho stàitean roimhe, tha an cur-ris fhathast duilich oir tha cumadh bònasan a’ toirt a-steach claonaidhean a-steach don dòigh anns an dèan àidseant sgrùdadh air an àite stàite aige. Mar sin, ged a dh ’fhaodadh na barailean a bharrachd sin mìneachadh mar a tha ùr-sgeul a’ toirt buaidh air mearachd ro-innse duais ann an RL, tha iad nan duilgheadas. Nas fhaide, thig na mìneachaidhean aig cosgais a bhith a ’lughdachadh parsimony obair modail a bhios a’ feuchainn ri RL a chleachdadh gus giùlan fìor fhàs-bheairtean a thuigsinn.
Chaidh an atharrais a chaidh aithris gu h-ìosal a dhèanamh gus deuchainn a dhèanamh air a ’bheachd-bheachd gum biodh àidseant RL sìmplidh, às aonais barailean a bharrachd, a’ leasachadh freagairt mearachd ro-innse duais a tha coltach ris na freagairtean dopamine neo-cheangailte ri duais a thathas a ’faicinn ann am fàs-bheairtean bith-eòlasach. . Chaidh iarraidh air neach-ionaid RL a bhith ag eadar-obrachadh le dà sheòrsa rud - aon deimhinneach agus am fear eile àicheil - a nochd ann an àiteachan air thuaiream san àrainneachd aige. Gus an duais as motha fhaighinn, bha aig an neach-ionaid ri bhith a ’feuchainn ris an rud adhartach a chleachdadh agus“ ithe ”, agus gus an nì àicheil a sheachnadh (ie, chan e“ ithe ”). Bha trì prìomh ro-innse ann airson an atharrais.
B ’e a’ chiad ro-innse dìreach, gus an duais as motha fhaighinn, gun ionnsaicheadh an neach-ionaid a bhith a ’dol agus ag ithe“ na nithean adhartach, buannachdail agus aig an aon àm ag ionnsachadh gus na rudan àicheil, peanasachaidh a sheachnadh. Bha an dàrna ro-innse beagan cho follaiseach: gum biodh an riochdaire a ’taisbeanadh freagairt treòrachaidh (ie, ionnsaich gluasad a stiùireadh) a dh’ ionnsaigh gach cuid nithean àicheil agus adhartach. Chaidh an ro-aithris seo a dhèanamh oir ged a dh ’fhaodadh an t-àidseant“ mothachadh ”a dhèanamh air coltas rud agus a shuidheachadh, dearbh-aithne adhartach no àicheil an nì (ie, an sealladh a dh’ ionnsaicheadh an t-àidseant mu dheireadh a cheangal ri luach duais an nì) cha b ’urrainn don neach-ionaid a bhith air a dhearbhadh gus an dèidh don àidseant stiùireadh a dh’ ionnsaigh an rud. Mu dheireadh, bha an treas ro-innse (agus as cudromaiche) co-cheangailte ris an fhreagairt phasgan dopaminergic samhlachail anns a ’mhodail; b ’e an ro-aithris seo, nuair a nochdadh an nì, gum biodh an riochdaire a’ taisbeanadh mearachd ro-innse duais a bha coltach gu coimpiutaireach ris an fhreagairt dopamine mean air mhean a chaidh fhaicinn ann am fàs-bheairtean bith-eòlasach, a bhith deimhinneach airson gach cuid nithean adhartach is àicheil. Bhathar an dùil gum biodh am freagairt seo eadar-dhealaichte mar ghnìomh aig an astar eadar an t-àidseant agus an spreagadh, a bha ann an co-theacsa an atharrais mar thomhas dearbhaidh airson “dian” no salient brosnachaidh. Mar a chithear gu h-ìosal, chaidh na ro-aithrisean sin a dhearbhadh le toraidhean an atharrais, a ’sealltainn gum faod na freagairtean dopamine nach eil co-cheangailte ri duais nochdadh ann am prionnsapal bho phrionnsapalan bunaiteach RL. Thèid bruidhinn air na buaidhean teòiridheach aig na toraidhean sin airson a bhith a ’cleachdadh RL gus gnìomhachd nach eil ceangailte ri duais ann am fàs-bheairtean bith-eòlasach a dheasbad anns an earrainn mu dheireadh den artaigil seo.
Method
Mar a chaidh ainmeachadh cheana, tha algorithms RL a ’sònrachadh mar as urrainn do neach-ionaid duaisean àireamhach a chleachdadh airson mionaid gus faighinn a-mach dè na gnìomhan a bu chòir dha a dhèanamh gus an duais iomlan a gheibh e a mheudachadh. Anns a ’mhòr-chuid de fhoirmlean, tha an t-ionnsachadh seo air a choileanadh le bhith a’ cleachdadh mhearachdan ro-innse duais (ie, an eadar-dhealachadh eadar ro-aithris duais gnàthach àidseant agus an fhìor dhuais a gheibhear) gus ro-innse duais an neach-ionaid ùrachadh. Mar a dh ’ionnsaichear ro-innse na duais, faodaidh neach-ionaid na ro-innse a chleachdadh gus an ath ghnìomh a thaghadh. Is e am poileasaidh àbhaisteach (air a mhìneachadh ann an Co-aontar 2) don neach-ionaid an gnìomh a tha dùil a bheir an duais as motha a thaghadh. Is e an fhìor dhuais a thèid a thoirt don neach-ionaid aig àm sònraichte sam bith suim na duais sa bhad a bharrachd air cuid de luach na stàite a chuireas an neach-ionaid a-steach nuair a thèid an gnìomh a chrìochnachadh. Mar sin, ma gheibh an neach-ionaid duaisean adhartach mu dheireadh às deidh dha a bhith ann an stàite sònraichte, taghaidh an t-àidseant gnìomhan san àm ri teachd a tha dualtach leantainn gu na stàitean duais sin; air an làimh eile, ma gheibh an neach-ionaid duaisean àicheil (ie, peanas) seachainidh e gnìomhan san àm ri teachd a bheir na stàitean “peanasachaidh” sin.
Canar Luach Luach [Bun-nota 1] ris an algairim sònraichte a tha a ’dearbhadh na ro-innse duais a thathas ag ionnsachadh airson na diofar stàitean (ie, gnìomh luach V) agus faodar a mhìneachadh gu foirmeil mar:
Airson gach stàit a tha comasach s,
(Co-aontar 1)
far a bheil s a ’freagairt ris an stàit làithreach, is e V (ean) an ro-innse duais gnàthach airson stàitean s a chaidh ionnsachadh leis an neach-ionaid, tha maxaction∈M {} na ghnìomhaiche airson an luach as motha den mheud a tha air a bhreabadh thairis air seata nan gnìomhan uile. Is e M a tha ri fhaighinn leis an neach-ionaid, V (s ′) ro-innse duais gnàthach an neach-ionaid airson an ath stàit s ′, tha α na ìre ionnsachaidh (eadar 0 agus 1), agus tha γ na fhactar lasachaidh a ’nochdadh mar a tha duaisean ri teachd air an cuideamachadh. an coimeas ri duaisean sa bhad. Chaidh a ’ghnìomh luach tùsail a shuidheachadh gus am biodh V (ean) 0 airson a h-uile stàite s.
Chaidh an gnìomh luach V (ean) a chuir an gnìomh mar chlàr sgrùdaidh, a tha gu foirmeil co-ionann ri bhith a ’gabhail ri cuimhne foirfe. Ged a chaidh tuairmsean gnìomh leithid lìonraidhean neòil a chleachdadh le beagan soirbheachais gus gnìomhan luach a riochdachadh [1], chaidh clàr-amharc a chleachdadh gus dèanamh cinnteach nach robh na toraidhean an urra ris na seòrsachan uidheamachd coitcheann a tha air an toirt seachad le diofar tuairmsean gnìomh. Chaidh an t-àidseant a thrèanadh airson itealain ionnsachaidh 1,500 thairis air an àite stàite aige. Air sgàth cho neo-sheasmhach dearbh-aithne nan nithean, chaidh paramadair ùrachadh gnìomh luach nas lugha na aon (α = 0.01) a chleachdadh rè an ionnsachaidh gus cuibheasachd de bhuilean eadar-dhealaichte a cheadachadh. Mu dheireadh, chaidh am bàillidh lasachaidh a shuidheachadh gu γ = 0.99 gus an neach-ionaid a bhrosnachadh gus duais a shireadh nas luaithe seach dàil a chuir air a ghiùlan dòigh-obrach gu deireadh na deuchainn (ged nach robh buaidh sam bith aig atharrachadh bho luach bunaiteach 1 air na toraidhean a chaidh aithris an seo. ) Gus faighinn a-mach gu neo-eisimeileach an robh tionndaidhean ionnsachaidh 1,500 gu leòr airson ionnsachadh a chrìochnachadh, chaidh sùil a chumail air an tomhas cuibheasach de dh ’atharrachadh anns na chaidh ionnsachadh agus chaidh a lorg gun robh e a’ tighinn còmhla ron àireamh seo de itealain.
Às deidh trèanadh, is e an algorithm sònraichte a bhios a ’riaghladh giùlan an neach-ionaid (ie, am poileasaidh gnìomh a bheir e bho gach stàit sònraichte):
(Co-aontar 2)
far a bheil π (an) an gnìomh a thaghas an t-àidseant bho stàitean s, agus an taobh cheart den cho-aontar a ’tilleadh an gnìomh (me, atharrachadh treòrachaidh, gluasad, no gnìomh sam bith) a tha a’ meudachadh suim na duais agus an luach lasaichte den stàit a thàinig às s ′.
Anns an atharrais a tha air aithris gu h-ìosal, chaidh a h-uile stàite air an do thadhail an t-àidseant a chòdachadh mar bheactaran 7-mheudach a bha a ’riochdachadh fiosrachadh mu staid“ corporra ”taobh a-muigh an àidseant agus an stàit“ eòlas ”a-staigh aige. Bha am fiosrachadh corporra a ’toirt a-steach an dà chuid suidheachadh làithreach an neach-ionaid san fhànais agus an stiùireadh. Bha am fiosrachadh eòlais a ’toirt a-steach suidheachadh an nì (ma bha fear an làthair) agus dearbh-aithne an nì sin (nam biodh e air a dhearbhadh leis an neach-ionaid). Tha na seòrsachan sònraichte fiosrachaidh a bha air an riochdachadh leis an neach-ionaid air an sealltainn ann an Clàr 1.
Clàr 1
Na tomhasan a chaidh a chleachdadh anns na samhlaidhean RL agus luachan comasach nan tomhasan sin.
Bha stàitean 21,120 gu h-iomlan san atharrais [Bun-nota 2]. Ach, tha na stàitean anns an robh nì àicheil neo-aithnichte neo-aithnichte, bho shealladh an neach-ionaid, co-ionann, agus mar sin chan eil ann ach stàitean sònraichte 16,280. Mar sin, rè gach tionndadh de dh ’ionnsachadh, bha e riatanach tadhal air cuid de na stàitean“ co-ionann ”sin dà uair gus leigeil leis gum faodadh leth den ùine a bhith air a leantainn le bhith a’ lorg rud adhartach, agus leth na h-ùine a dh ’fhaodadh iad a leantainn le bhith a ’lorg rud àicheil [Bun-nota 3].
Aig toiseach gach deuchainn dearbhaidh, chaidh an t-àidseant a chuir ann am meadhan slighe aonad sreathach samhlachail 11 × 1 le còig àiteachan air an taobh an ear (ie, air an taobh dheas) den àidseant agus còig àiteachan chun an iar. ”(Seadh, air an taobh chlì) den àidseant. Mar a tha Clàr 1 a ’sealltainn, bha vectar stàite an àidseant a’ toirt a-steach eileamaid a ’sealltainn far a bheil e an-dràsta air an t-slighe (ie, integer bho 0 gu 10), a bharrachd air eileamaid (ie, caractar“ n ”,“ s ”,“ e ”, no“ w ”) a’ riochdachadh a chlaonadh gnàthach (ie, tuath, deas, taobh an ear no an iar, fa leth). Bha stiùireadh tùsail an neach-ionaid an-còmhnaidh air a bhith “gu tuath,” agus cha robh dad sam bith eile an làthair san àrainneachd (ie, bha luach “CUSPAIR” ann an vectar stàite an àidseant co-ionann ri “0”).
Rè gach ceum-ùine den atharrais, b ’urrainn don àidseant aon de na gnìomhan a leanas a dhèanamh: (1) gun dad a dhèanamh, agus fuireach anns an àite agus an stiùireadh a th’ ann an-dràsta; (2) taobh tuath, deas, ear no iar; no (3) gluais aon àite san àrainneachd (an ear no an iar). Thachair gach gnìomh air a ’cheum-ama samhlachail às deidh sin. Thachair a h-uile atharrachadh ann an àite agus / no stiùireadh an àidseant san fhànais tro bhith a ’taghadh gnìomhan leis an neach-ionaid. Ach, rè a h-uile ceum den atharrais, eadhon nuair a chaidh gnìomh “gun dad a dhèanamh” a dhèanamh, chaidh ùine a mheudachadh le 1 gu deireadh na deuchainn (ie, ceum-ùine 20).
Chaidh àrainneachd an neach-ionaid a stèidheachadh gus an nochd leth den ùine, nì ann an àite air thuaiream (ach chan ann san aon àite ris an neach-ionaid) às deidh deich ceumannan; Bha 50% de na stuthan adhartach (air an riochdachadh le “+”; faic Clàr 1) agus bha 50% de na stuthan àicheil (air an riochdachadh le “-”). Chaidh an dàil mus do nochd an nì a thoirt a-steach gus leigeil le giùlan sam bith a bha an neach-ionaid air fhaicinn mus do nochd an nì. Mura robh an t-àidseant air a stiùireadh a dh ’ionnsaigh an nì nuair a nochd e, chaidh an eileamaid a tha a’ riochdachadh dearbh-aithne “CUSPAIR” ann an vectar stàite an àidseant atharrachadh bho “0” gu “?” Gus sealltainn gu bheil dearbh-aithne an nì a bha a-nis cha robh fios aig an àm seo. Ach, ma bha an t-àidseant air a stiùireadh a dh ’ionnsaigh an nì, an uairsin air a’ cheum-ùine às deidh sin chaidh an eileamaid “CUSPAIR” a shuidheachadh co-ionann ri dearbh-aithne an nì, gus am biodh “0” an dàrna cuid “+” no “-” airson deimhinneach agus nithean àicheil, fa leth.
Ma ghluais an t-àidseant gu làrach rud, an uairsin rè an ath thuras ceum às an rud. Nam biodh an rud air a bhith deimhinneach, chaidh bratach “CONSUMED” an àidseant a shuidheachadh co-ionann ri fìor agus chaidh duais a thoirt don neach-ionaid (duais = + 10); ge-tà, nam biodh an rud air a bhith àicheil, chaidh a ’bhratach“ SHOCKED ”a dhearbhadh gu fìor agus chaidh an neach-ionaid a pheanasachadh (duais = −10). (Thoir fa-near gun deach na brataichean a shuidheachadh san dòigh seo ge bith an robh no nach robh an neach-ionaid air an rud aithneachadh; me, dh ’fhaodadh an neach-ionaid stuth ithe gun a bhith a-riamh ag amas air.) Air a’ cheum-ùine às deidh sin, an “SHOCKED” no Chaidh bratach “CONSUMED” a ghlanadh. Chaidh peanas beag (daingneachadh = −1) a thoirt don neach-ionaid airson gach gluasad no gnìomh treòrachaidh, agus cha d ’fhuair e duais no peanas (daingneachadh = 0) mura dèan e gnìomh sam bith.
Chaidh an dà chuid giùlan fosgailte (ie, treòrachadh agus gluasad) agus tomhas de mhearachd ro-innse duais a thomhas airson an neach-ionaid. Chaidh an giùlan fosgailte (ie, an liosta de ghnìomhan a thagh an neach-ionaid) a chleachdadh mar chomharra an deach an gnìomh ionnsachadh. Chaidh an tomhas de mhearachd ro-innse duais a chleachdadh gus deuchainn a dhèanamh air a ’bheachd-smuain mu nochdadh a’ chomharra ìre dopaminergic neo-dhuais. Chaidh a ’mhearachd ro-innse duais, δ, a thomhas aig an àm t de choltas nì le bhith a’ toirt air falbh ro-innse na duais aig a ’cheum-tìm roimhe, ie, V (ean) aig àm ceum t - 1, bhon ro-aithris duais nuair nochd an nì, ie, V (ean) aig àm t, a ’toirt a-mach an tomhas δ = V (st) - V (st - 1).
toraidhean
Giùlan samhlachail
Chaidh giùlan fosgailte nan riochdairean a thomhas an toiseach. Sheall toraidhean a ’mhion-sgrùdaidh seo, às deidh trèanadh, gun do dh’ iarr an t-àidseant agus gun d ’fhuair e daingneachadh adhartach bho na stuthan adhartach uile agus nach deach e a-riamh gu gin de na nithean àicheil. Còmhla, tha na toraidhean sin a ’toirt dearbhadh giùlain gun do dh’ ionnsaich na riochdairean an gnìomh a choileanadh gu ceart. Tha an co-dhùnadh seo air a neartachadh leis an amharc a bharrachd, nuair a nochd na deuchainnean nuair nach do nochd dad, gun robh an neach-ionaid gun ghluasad. Mar a bhiodh dùil, bha an t-àidseant ag amas air gach cuid nithean adhartach is àicheil.
Mearachd samhlachaidh duais-ro-innse
Is e prìomh bheachd a ’phàipeir seo gum bi coltas brosnachaidh ro-innseach mar thoradh air coltas brosnachaidh neo-fhaicsinneach, eadhon ged a thachras an rud sin mar rud“ àicheil ”a tha an-còmhnaidh a’ peanasachadh. A ’toirt taic don bheachd-bharail seo, sheall an t-àidseant mearachd fàisneachd duais adhartach nuair a nochd rud (neo-aithnichte), ach chan ann nuair nach do nochd dad. Cuideachd co-chòrdail ris a ’phrìomh bheachd-bharail gu robh meud freagairt mean air mhean an àidseant (δ, air a thomhas mar a chaidh a mhìneachadh anns an roinn Modh) mothachail air“ dian ”samhlachail an spreagadh, air a mhìneachadh a ’cleachdadh an astar eadar an àidseant agus an nì (faic Figear 1). Sheall sgrùdadh ath-tharraing gun robh meud δ co-cheangailte gu h-iongantach ris an astar bhon nì, gus am biodh nithean nas dlùithe ag adhbhrachadh freagairt nas làidire (r = −0.999, p <0.001; β = 0.82). Chaidh an co-dhàimh àicheil seo adhbhrachadh leis a ’pheanas bheag (daingneachadh = −1) a chaidh a chuir a-steach airson gach gluasad a dh’ fheumadh an neach-ionaid a dhèanamh gus gluasad chun rud adhartach, ithe, agus mar sin duais fhaighinn.
Figear 1
Tha am figear seo a ’sealltainn a’ mhearachd ro-innse duais (ie, δ) nuair a nochd an nì mar ghnìomh far a bheil an nì a rèir suidheachadh an àidseant. Tha na freagairtean co-ionann airson gach cuid nithean adhartach is àicheil. Nuair nach eil dad ann (barrachd…)
Leis gun do nochd nithean adhartach is àicheil san atharrais seo le coltachd co-ionann (p = .25), tha a ’cheist ag èirigh: Carson a bha comharra mearachd ro-innse duais an neach-ionaid deimhinneach aig àm coltas an nì? A ’reusanachadh coltach ri Kakade agus Dayan [7], dh’ fhaodadh neach a ràdh gum bu chòir don chomharra a bhith a ’nochdadh cuibheasachd nan duaisean uile a chaidh ionnsachadh bho leithid de shuidheachaidhean, agus mar sin a bhith co-ionann ri neoni. Is e an iuchair airson an toradh seo a thuigsinn a bhith mothachail nach e a-mhàin gu bheil RL a ’dèanamh àidseant cho dualtach gnìomhan a thaghadh a bheir ath-neartachadh àicheil, ach tha e cuideachd a’ dèanamh àidseant cho dualtach a dhol a-steach do stàitean a tha a ’leantainn gu daingneachadh àicheil. Tha seo a ’leantainn gu seòrsa de sheòrsa ionnsachaidh“ àrd-ìre ”a chithear ann am Figear 2 agus air a mhìneachadh an ath rud.
Figear 2
Dealbh a ’sealltainn mar a bhios àidseant RL a’ leasachadh mearachd ro-innse duais adhartach nuair a tha e air a thrèanadh le gach cuid brosnachadh agus peanasachadh san àrainneachd aige agus comasach air taghadh am bu chòir dhaibh a dhol thuca agus an ithe. (A) An suidheachadh mus ionnsaich thu: (barrachd…)
Aig toiseach an ionnsachaidh (faic Figear 2A), bidh an t-àidseant ag amas air gach cuid nithean “+” agus “-”, a ’tighinn thuca, agus tha e an dà chuid air a dhuaiseachadh agus air a pheanasachadh le bhith a’ caitheamh gach seòrsa rud. Mura b ’urrainn do luachan stàite ionnsaichte an àidseant buaidh a thoirt air gnìomhan an neach-ionaid (faic Figear 2B), bhiodh an t-àidseant a’ leantainn air adhart a ’tighinn gu agus ag ithe nan nithean. Bhiodh coltas na cue an uairsin a ’ro-innse duais cuibheasach de 0 agus bhiodh àrdachadh gu h-obann ann am mearachd ro-innse duais. Ach, bidh an t-àidseant san atharrais seo a ’cleachdadh luachan stàite ionnsaichte gus buaidh a thoirt air na gnìomhan aige (faic Figear 2C), agus ged a dh’ fheumas an t-àidseant fhathast gluasad chun nì neo-aithnichte gus a dhearbh-aithne a dhearbhadh, cha bhith e ag ithe nì àicheil tuilleadh ma thèid e faisg air e (mar gum biodh e air a thrèanadh le algorithm sgrùdaidh air thuaiream mar samplachadh slighe [Footnote 1]). A bharrachd air an sin, seach gu bheil ionnsachadh eadar-dhealachadh ùineail a ’leigeil le ro-innse duais àicheil“ iomadachadh ”air ais gu stàitean a bh’ ann roimhe, agus seach gu bheil cosgais bheag ann airson gluasad san fhànais, ionnsaichidh an t-àidseant a bhith a ’seachnadh a dhol faisg air an rud àicheil gu tur. Mar sin, às deidh don fhiosrachadh seo a bhith air ionnsachadh, chan eil luach na stàite nuair a nochdas an nì an toiseach (air a chomharrachadh mar “V” anns a ’chiad chearcall anns gach sreath) stèidhichte air cuibheasachd luachan stàite dearbhach is àicheil, ach tha e an àite sin stèidhichte air a ’chuibheasachd de thoradh adhartach agus“ neodrach ”a gheibhear nuair a dh’ ionnsaicheas an neach-ionaid na nithean àicheil a sheachnadh. Sin as coireach gu robh cuibheasachd nan duaisean uile a fhuair an neach-ionaid le trèanadh nas àirde na neoni, agus tha e a ’mìneachadh carson a bha ro-innse duais an neach-ionaid (agus mar sin mearachd ro-innse duais nuair a nochdas an nì gu h-obann) na dheimhinneach glan. Chithear seo ann am Figear 3. Gu dearbh, cho fad ‘s as urrainn don àidseant an giùlan aige atharrachadh agus an nì àicheil a sheachnadh, tha luach an nì àicheil buntainneach aig a’ cheann thall ri giùlan deireannach an àidseant agus meud an fhreagairt ùr-nodha / salchar.
Figear 3
(A) A ’nochdadh na h-atharrachaidhean ann an ro-innse duais a bhiodh air tachairt mura biodh RL a’ leantainn gu ionnsachadh aig àrd-ìre (ie, mura b ’urrainn don àidseant ceumannan a ghabhail gus an toradh àicheil a sheachnadh), gus am feumadh an neach-ionaid na h-uile nithean (barrachd…)
Tha toraidhean an atharrais gu mòr an urra ri trì barailean. An toiseach, dh ’fheumadh na brosnachaidhean a bhith“ iomchaidh ”leis gu robh meud an neartachaidh a bha dùil aig a’ chiad sealladh mòr gu leòr (me, + 10) an coimeas ri cosgaisean treòrachaidh is dlùthachadh (me, −1). Nam biodh am meud air a bhith gu ìre mhath beag, cha bhiodh an t-àidseant air ionnsachadh a bhith a ’stiùireadh, agus cha bhiodh e air freagairt mearachd dearbhaidh ro-innse duais a chruthachadh. San dàrna àite, bha feum air dàil mus aithnich thu na brosnachaidhean. (Tha dàil mar neach-ionaid airson “ùr-sgeul” fon reusanachadh gum biodh brosnachadh eòlach air aithneachadh gu sgiobalta.) Gun dàil, bhiodh an neach-ionaid dìreach air mearachd ro-innse duais adhartach no àicheil iomchaidh a chruthachadh a bhiodh iomchaidh airson an rud a bhathar a ’faicinn. Mu dheireadh, dh'fheumadh giùlan an neach-ionaid a bhith air a dhearbhadh leis na luachan a dh ’ionnsaich e. Mura b ’urrainn don àidseant smachd a chumail air a ghiùlan fhèin (ie, am bu chòir dha a dhol faisg air na brosnachaidhean), bhiodh an ro-innse duais aige nuair a nochdadh nì co-ionann ri 0, cuibheasachd nan toraidhean adhartach is àicheil a tha comasach.
Deasbad Coitcheann
Sheall an atharrais a chaidh aithris san artaigil seo gu bheil mearachd fàisneachd duais-fàbharach a ’tachairt nuair a nochdas brosnachadh neo-fhaicsinneach, an dàrna cuid duais no peanasachadh, ach nach gabh aithneachadh sa bhad. A bharrachd air an sin, sheall an atharrais gu bheil meud a ’mhearachd ro-innse duais a’ meudachadh le cho faisg ‘s a tha an spreagadh don àidseant, a tha ann an co-theacsa an atharrais mar thomhas dearbhaidh airson dian brosnachaidh agus mar sin tha e co-cheangailte ri salient. Ann am frèam teòiridheach RL, mar as trice thathas a ’tuigsinn gu bheil ro-innse dhuaisean a’ nochdadh luach ionnsaichte brosnachaidhean aithnichte, no staid corporra agus / no inntinn àidseant [15]. Ach, tha mìneachadh càileachdail eadar-dhealaichte aig a ’mhearachd ro-innse duais a chaidh aithris an seo oir tha e air a chruthachadh mus aithnich an neach-ionaid an nì. Còmhla, tha na toraidhean sin a ’toirt taic don bheachd gu bheil prionnsapalan RL gu leòr gus freagairt a thoirt a-mach a tha coltach nach eil e ceangailte ri duais, ach an àite sin co-cheangailte ri feartan nobhail agus salchar. Tha grunn bhuadhan cudromach aig a ’cho-dhùnadh seo airson ar tuigse choitcheann air RL agus airson ar mìneachadh air RL mar chunntas air ionnsachadh duais ann am fìor fhàs-bheairtean.
An toiseach, is dòcha nach eil an ro-innse duais a thèid a chruthachadh le àidseant RL nuair a nochdas brosnachadh neo-aithnichte mar chuibheasachd teann de na duaisean a gheibhear mar a chaidh a mholadh le Kakade agus Dayan [7], ach gu dearbh faodaidh iad a bhith nas motha ann am meud na a ’chuibheasachd shònraichte sin. Bhiodh Kakade agus Dayan a ’dèanamh a-mach gum bu chòir an ro-innse duais cuibheasach a bhith co-ionann ri neoni oir, leis gun deach na deuchainnean a dhuaiseachadh agus a pheanasachadh a cheart cho tric. Thàinig an toradh iongantach seo am bàrr leis gun do dh ’ionnsaich an t-àidseant ann an dòigh“ air poileasaidh ”; is e sin, dh ’ionnsaich an neach-ionaid chan ann a-mhàin mu bhuilean àicheil, ach cuideachd mun chomas aige na toraidhean sin a sheachnadh. Bu chòir beachdachadh gu faiceallach air comas an t-siostam dhuais gus àidseant toraidhean àicheil a sheachnadh ann a bhith ag eadar-theangachadh ar tuigse mu RL gu fìor fhàs-bheairtean. Tha an fhìrinn seo a dh ’fhaodadh a bhith eadhon nas cudromaiche leis gu bheil an neo-chunbhalachd a rèir coltais ann an comas an fhreagairt ìre dopaminergic gus mearachd ro-innse duais adhartach a riochdachadh nas fheàrr na mearachd ro-innse duais àicheil [11]. Is dòcha gu bheil e gu leòr a bhith a ’comharrachadh gu bheil sreath sònraichte de thachartasan a’ leantainn gu toradh àicheil, ach airson adhbharan taghadh gnìomh, tha meud an toraidh sin neo-chudromach.
Is e an dàrna ramification den atharrais gnàthach gum faodadh an fhreagairt ùr-nodha nochdadh bho eadar-obrachadh eadar siostaman giullachd lèirsinneach agus siostaman ro-innse duais. Gu sònraichte, dh ’fhaodadh gum bi an fhreagairt ùr-nodha mar thoradh air seòrsa de choltas eadar nithean nobhail agus nithean nach deach tro ghiollachd lèirsinneach iomlan fhathast [bonn-nota 4]. Anns an atharrais seo, chaidh ùr-ghnàthachadh a chuir an gnìomh le bhith a ’toirt a-steach dàil mus tàinig dearbh-aithne an nì (agus mar thoradh air sin, a nàdar buannachdail no peanasachaidh) don riochdaire. Chaidh seo a dhèanamh leis a ’bharail gu bheil e a’ toirt barrachd ùine a bhith a ’comharrachadh nithean nobhail, ach bha a’ bharail seo cuideachd a ’ciallachadh gun robhar a’ faicinn nithean adhartach is àicheil mar an ceudna nuair a nochd iad an toiseach (ie, bha iad le chèile air an còdachadh mar “?”). An coimeas ri sin, tha Kakade agus Dayan [7] a ’moladh gu bheil freagairtean ùr-nodha agus freagairtean“ coitcheannachadh ”eadar-dhealaichte gu ìre mhòr a dh’ aindeoin a bhith air an nochdadh san aon dòigh anns an dàta neurophysiology.
Is e an treas ramification de na toraidhean atharrais gnàthach gu bheil iad a ’sealltainn nach eil feum air na barailean a bharrachd de bhònasan ùr-nodha agus cumadh a mhol Kakade agus Dayan [7]. An àite sin, faodaidh freagairtean coltach ri ùr-bhreith nochdadh bho chuingealachaidhean giollachd lèirsinneach fìrinneach agus an eòlas a bhith comasach air toraidhean àicheil a sheachnadh. Tha seo fortanach oir, mar a thuirt Kakade agus Dayan, tha bònasan ùr-nodha a ’cuir às don ghnìomh luach a tha neach-ionaid ag ionnsachadh, agus tha cumadh bònasan a’ toirt buaidh air an dòigh sa bheil riochdairean a ’sgrùdadh an àiteachan stàite. Le bhith a ’toirt a-steach aon de na barailean sin mar sin a’ lughdachadh parsimony mhodalan stèidhichte air teòiridh RL. Gu h-inntinneach, tha na toraidhean a tha air an taisbeanadh an seo cuideachd a ’cuideachadh le bhith a’ mìneachadh carson nach biodh freagairt nobhail bith-eòlasach a ’cur dragh air ionnsachadh stèidhichte air duais ann am fìor fhàs-bheairtean: tha freagairt ùr-nodha mar-thà air a ro-innse le RL. Is e sin, tha am freagairt ùr-nodha a ’nochdadh giùlan agus ro-innse duais a tha dualach do neach-ionaid a tha air rudeigin ionnsachadh mu dheidhinn an àrainneachd mu thràth.
Is e mìneachadh eile (ach chan eil e co-aontach) de na toraidhean atharrais a th ’ann an-dràsta gu bheil duais eas-chruthach (is dòcha cognitive) a bhios riochdairean a’ faighinn le bhith a ’stiùireadh a dh’ ionnsaigh agus ag aithneachadh nithean. Ann an sgrùdaidhean air gnìomhachd dopaminergic, faodaidh freagairtean mean air mhean nochdadh gu cuisean ris nach robh dùil a tha fios gu bheil iad a ’ro-innse duais. Tha an atharrais seo, ge-tà, a ’sealltainn mar a dh’ fhaodas freagairtean den t-seòrsa seo tachairt cuideachd mar fhreagairt air sealladh a dh ’fhaodadh ro-innse duais no peanas fhaighinn aig a’ cheann thall. Is e an aon bhuannachd cunbhalach a tha air a ro-innse leis a ’chomhairle a bhith a’ faighinn fiosrachadh a gheibhear nuair a bhios an t-àidseant a tha e a ’dearbhadh dearbh-aithne an nì. Mar sin, ma tha “ro-innse duais” dligheach, ionnsaichte nuair a nochdas an nì neo-aithnichte, tha e riaraichte às deidh don neach-ionaid eòlas fhaighinn air am bu chòir dha a dhol faisg air no a sheachnadh. Tha luach an fhiosrachaidh seo stèidhichte chan ann air cuibheasachd nan toraidhean a gheibhear, ach an àite sin tha e stèidhichte air eòlas nan toraidhean èifeachdach - gum faod an neach-ionaid an duais adhartach ithe no an duais àicheil a sheachnadh (faic Figear 2).
Mu dheireadh, tha e cudromach toirt fa-near gum faod na cothroman a bhith a ’gabhail gnìomhan sònraichte (me, gu orient) iad fhèin a bhith a’ gabhail seilbh air buannachdan tro chuid de dh ’inneal coitcheannachaidh no ionnsachaidh nach eil air a ghabhail a-steach san atharrais seo. Mar eisimpleir, dh ’fhaodadh an dearbh ghnìomh a bhith a’ stiùireadh agus a ’dearbhadh“ dè a tha a-muigh an sin ”a bhith buannachdail dha fàs-bheairt stèidhichte air a’ cheangal eadar an gnìomh sin agus a ’mhearachd ro-innse duais adhartach a tha a’ nochdadh gu h-àrd nuair a nochdas brosnachaidhean ùra. Chaidh beachd den aon seòrsa a thoirt air adhart o chionn ghoirid le Redgrave agus Gurney [13] a tha a ’gabhail a-steach gur e adhbhar cudromach den fhreagairt dopamine mean air mhean gnìomhan a tha a’ tachairt mus tachair tachartasan neo-fhaicsinneach. Chan eil na toraidhean an seo mì-fhreagarrach leis a ’bheachd sin, ach bu chòir a thoirt fa-near nach eil beachd-bharail Redgrave agus Gurney air a dhearbhadh gu dìreach san atharrais seo oir cha robh feum air gnìomhan sam bith (ie, sgrùdadh) bhon àidseant gus an tachartas iomchaidh (coltas an nì) tachairt. Ach, bha an comharra samhlachail samhlachail a ’dol aig an aon àm ri àm an fhreagairt treòrachaidh a’ moladh gum faodadh ceangal làidir a bhith eadar an dà rud.
Ann a bhith a ’dùnadh, tha an artaigil seo air dearbhadh gum faodar prionnsapalan RL a chleachdadh gus mìneachadh a dhèanamh air seòrsa de ghnìomhachd a tha coltach ri duais airson na neurons dopaminergic. Nochd an toradh seo bhon fhìrinn gu robh an riaghailt ionnsachaidh eadar-dhealachadh ùineail (mar an riaghailt a chleachd Kakade agus Dayan [7]) freumhaichte ann an samhladh anns am b ’urrainn don àidseant gnìomhan a thaghadh a thug buaidh air a’ bhuil aig a ’cheann thall. Anns an atharrais, dh ’ionnsaich an t-àidseant gum faodadh toradh a bhith a’ stiùireadh stuth a nochd gu h-obann an-còmhnaidh a bhith buannachdail no neodrach oir dh ’fhaodadh an toradh àicheil a sheachnadh. Mar sin nuair a bha cothrom aig an neach-ionaid a bhith a ’stiùireadh, bha a mhearachd ro-innse duais an-còmhnaidh dearbhach, co-chosmhail ri freagairtean ùr-nodha agus salchar a chaidh fhaicinn ann am fàs-bheairtean bith-eòlasach.
Acknowledgments
Fhuair an obair a chaidh a mhìneachadh san artaigil seo taic bho NIH R01 HD053639 agus le Tabhartas Trèanaidh NSF DGE-9987588. Bu mhath leam taing a thoirt dha Erik Reichle, Tessa Warren, agus ath-sgrùdaiche gun urra airson beachdan cuideachail air dreach nas tràithe den artaigil seo.
Tha algorithm Ionnsachaidh Ath-neartachaidh 1Another, ris an canar Samplachadh Trajectory [17], air a chleachdadh gu tric an àite Luach Luach nuair a dh ’fhàsas an t-àite stàite cho mòr is nach gabh e ath-aithris no a stòradh gu furasta ann an cuimhne coimpiutair. An àite a bhith ag itealaich thairis air a h-uile stàite ann an àite na stàite agus a ’cur an sàs co-aontar ùrachadh gnìomh luach stèidhichte air na gnìomhan a tha coltach gu bheil iad a’ leantainn chun duais as motha, bidh Samplachadh Trajectory ag obair le bhith a ’leantainn shlighean tron fhànais stàite. Mar an ceudna ri Luach Luach, mar as trice thèid na gnìomhan a bheir an duais as motha a thaghadh bho gach stàit, ach bho àm gu àm thèid gnìomh sgrùdaidh air thuaiream a thaghadh le beagan coltachd. Mar sin tha an algairim: Bho cuid de stàitean tòiseachaidh s, tagh gnìomh a bheir an duais as motha [me, duais + γV (s ′)] le coltachd ε, no tagh gnìomh sgrùdaidh air thuaiream le coltachd 1 - ε. Cuir V (ean) → V (ean) + α [duais + γV (s ′) - V (ean)] ri linn gnìomhan neo-rannsachail bho stàitean s.
A bharrachd air a bhith a ’faighinn thairis air crìochan teicnigeach ùine computational agus cuimhne, faodaidh Samplachadh Trajectory a bhith tarraingeach oir is dòcha gu bheil e a’ nochdadh nas fheàrr an dòigh anns a bheil fìor fhàs-bheairtean ag ionnsachadh: le bhith a ’sgrùdadh shlighean ann an àite stàite. Air a ’ghnìomh a tha air a mhìneachadh sa phàipear seo, tha Samplachadh Trajectory a’ toirt seachad toraidhean a tha co-ionann gu càileachdail ris an fheadhainn a gheibhear le Luach Luach. Ach, airson soilleireachd chan eil na toraidhean sin air an aithris gu mionaideach an seo. Chaidh Luach Luach a thaghadh airson an atharrais sa phàipear seo airson dà phrìomh adhbhar. An toiseach, air sgàth gu bheil Samplachadh Trajectory a ’toirt a-steach stochasticity ann an taghadh trajectories, dh’ fhaodadh an ìre mhòr de branching a tha mar thoradh air an iomadh sreath de ghnìomhan a dh ’fhaodadh a bhith san obair seo a bhith a’ leantainn gu riochdairean aig nach eil eòlas le cuid de stàitean mura h-eil am paramadair sgrùdaidh-brathaidh (ie, Tha ε-greediness [17]) air a thaghadh gu faiceallach. Faodaidh an dìth eòlais seo le stàitean sònraichte a bhith a ’cur dragh air coileanadh àidseant nuair a thèid structar cuimhne clàr-amharc a chleachdadh air sgàth dìth coitcheannachadh luach gu stàitean coltach (ach is dòcha gun dùil). Mar sin, b ’fheàrr leotha brath a ghabhail air an sgrùdadh coileanta air àite stàite a tha cinnteach le Luach Luach. San dàrna àite, chuir cleachdadh Luach Luach stad air an fheum a bhith a ’sònrachadh a’ pharamadair sgrùdaidh-brathaidh a bharrachd, mar sin a ’sìmpleachadh an atharrais. Thoir fa-near gum faod Samplachadh Trajectory tuairmse a dhèanamh air atharrachadh luach mar a bhios an àireamh de thractaran a ’tighinn faisg air Infinity [17].
2 Faodar an àireamh de stàitean 21,120 a thomhas mar a leanas: 11 àiteachan àidseant a dh’fhaodadh a bhith ann × 4 stiùiridhean àidseant a dh’fhaodadh a bhith ann × (ceumannan ùine 10 mus nochd rud + ceumannan-tìm 10 far nach do nochd nì + ceumannan-tìm 10 far an robh an t-àidseant air a bhith air a dhaingneachadh gu dearbhach + ceumannan-tìm 10 far an deach an nì a dhaingneachadh gu h-àicheil + 11 àiteachan nì a dh’fhaodadh a bhith ann * (ceumannan-tìm 10 le rud adhartach a chaidh a chomharrachadh + ceumannan-tìm 10 le rud àicheil neo-aithnichte + ceumannan-tìm 10 le rud dearbhach neo-aithnichte + Ceumannan-tìm 10 le rud àicheil neo-aithnichte))].
3 Feumar beachdachadh air na stàitean “falaichte” sin a bhith ann rè trèanadh oir chan eil Luach Luach a ’coimhead ach“ aon cheum air adhart ”bho gach stàit anns an stàit. Leis gu bheil stàitean le nithean neo-aithnichte àicheil agus dearbhach co-ionann gu h-èifeachdach chuireadh sin stad air ionnsachadh mu dheidhinn agus cuibheasachd nan luachan anns an dà stàit eadar-dhealaichte às deidh sin far a bheil an nì adhartach no àicheil air a chomharrachadh. Tha dòigh-obrach Samplachadh Trajectory air an làimh eile a ’cumail suas fiosrachadh falaichte na stàite (ie, dearbh-aithne an spreagadh neo-aithnichte) air feadh na deuchainn agus mar sin leis an eadar-dhealachadh sin de RL chan eil na stàitean falaichte na adhbhar dragh.
Is e gearan 4One a dh ’fhaodadh a bhith an aghaidh na h-obrach a th’ ann an-dràsta gu bheil coltas gu bheil an fhreagairt treòrachaidh cruaidh-uèir anns an eanchainn mamaire, mar eisimpleir, ann an ro-mheasaidhean bhon colliculus adhartach [3,14]. Anns an atharrais a th ’ann an-dràsta, cha robh na riochdairean cruaidh airson gluasad gu nithean ach an àite sin dh’ ionnsaich iad giùlan treòrachaidh a leigeadh le gnìomh a thaghadh aig a ’cheann thall (me, an dàrna cuid dòigh-obrach no seachnadh) a thug an duais as motha. Coltach ri freagairtean le sreang, thachair an giùlan treòrachaidh seo gu math luath, mus deach na nithean a chomharrachadh, agus bha iad air an stiùireadh a dh ’ionnsaigh gach nì. Cha b ’e amas na h-obrach seo a bhith ag agairt gu bheil a h-uile freagairt mar sin air ionnsachadh, ach gum faod iad a bhith ann taobh a-staigh frèam RL. Ach a dh ’aindeoin sin, bhiodh e inntinneach sgrùdadh a dhèanamh air am faodadh dòighean co-cheangailte ri duais a bhith an sàs ann a bhith a’ stèidheachadh ceangalachd ann an raointean brainstem gus an fhreagairt dopamine mean air mhean seo a ghineadh.
Seo faidhle PDF de làmh-sgrìobhainn neo-aithnichte a chaidh a chlò-bhualadh. Mar sheirbheis do ar luchd-cleachdaidh tha sinn a ’toirt seachad an tionndadh tràth seo den làmh-sgrìobhainn. Thèid an làmh-sgrìobhainn a chopaigeadh, a chuir an clò agus ath-sgrùdadh air an dearbhadh a thig às mus tèid fhoillseachadh anns an riochd mu dheireadh aige. Thoir fa-near gum faodar mearachdan a lorg rè a ’phròiseas riochdachaidh a dh’ fhaodadh buaidh a thoirt air an t-susbaint, agus air na h-àicheadh laghail a dh ’fheumas co-cheangailte ris an iris.
iomraidhean
1. Baird LC. Algorithms iarmharach: Ionnsachadh ath-neartachaidh le tuairmeas gnìomh. Ann an: Priedetis A, Russell S, luchd-deasachaidh. Ionnsachadh Inneal: Imeachdan na Dà Cho-labhairt Eadar-nàiseanta; 9 - 12 Iuchar.1995.
2. Bunzeck N, Düzel E. Còdadh iomlan de nobhail brosnachaidh ann an substantia nigra / VTA daonna. Neuron. 2006; 51 (3): 369 - 379. [PubMed]
3. Dommett E, Coizet V, CD Blaha, Martindale J, Lefebvre V, Walton N, Mayhew JEW, Overton PG, Redgrave P. Mar a bhios brosnachaidhean lèirsinneach a ’gnìomhachadh neurons dopaminergic aig deireadh goirid. Saidheans. 2005; 307 (5714): 1476 - 1479. [PubMed]
4. Doya K. Metalearning agus neuromodulation. Lìonraidhean Neural. 2002 Jun - Jul; 15 (4 - 6): 495 - 506. [PubMed]
5. Gillies A, Arbuthnott G. Modailean coimpiutaireachd den ganglia basal. Eas-òrdughan gluasaid. 2000; 15 (5): 762 - 770. [PubMed]
6. Horvitz JC. Freagairtean dopamine Mesolimbocortical agus nigrostriatal gu tachartasan neo-dhuais iomchaidh. Neo-eòlas. 2000; 96 (4): 651 - 656. [PubMed]
7. Kakade S, Dayan P. Dopamine: coitcheannachadh agus bònasan. Lìonraidhean Neural. 2002; 15 (4 - 6): 549 - 559. [PubMed]
8. Knutson B, Cooper JC. Lure an neo-aithnichte. Neuron. 2006; 51 (3): 280 - 282. [PubMed]
9. Logothetis NK, Pauls J, Augath M, Trinath T, Oeltermann A. Sgrùdadh neurophysiologic air bunait a ’chomharra fMRI. Nàdar. 2001; 412 (6843): 150 - 157. [PubMed]
10. McClure SM, Berns GS, Montague PR. Bidh mearachdan ro-innse ùineail ann an gnìomh ionnsachaidh fulangach a ’gnìomhachadh striatum daonna. Neuron. 2003; 38 (2): 339 - 346. [PubMed]
11. Niv Y, Duff MO, Dayan P. Dopamine, mì-chinnt agus ionnsachadh TD. Gnìomhan Giùlan agus Brain. 2005 Cèitean 4; 1: 6. [Artaigil saor bho PMC] [PubMed]
12. O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Modalan eadar-dhealachadh ùineail agus ionnsachadh co-cheangailte ri duais ann an eanchainn an duine. Neuron. 2003; 38 (2): 329 - 337. [PubMed]
13. Redgrave P, Gurney K. An comharra dopamine geàrr-latency: àite ann a bhith a ’lorg gnìomhan nobhail? Lèirmheasan nàdair Neuroscience. 2006 Dùbhlachd; 7 (12): 967 - 975.
14. Redgrave P, Prescott TJ, Gurney K. A bheil an fhreagairt dopamine geàrr-latency ro ghoirid airson mearachd duais a chomharrachadh? Gluasadan ann an Neo-eòlasan. 1999 Apr; 22 (4): 146 - 151. [PubMed]
15. Reichle ED, Laurent PA. A ’cleachdadh ionnsachadh ath-neartachaidh gus tuigse fhaighinn air mar a tha giùlan gluasad-sùla“ tuigseach ”a’ nochdadh aig àm leughaidh. Lèirmheas Saidhgeòlais. 2006; 113 (2): 390 - 408. [PubMed]
16. Comharradh duais Schultz W. Predictive de neurons dopamine. Iris Neurophysiology. 1998; 80 (1): 1 - 27. [PubMed]
17. Sutton RS, Barto AG. Ionnsachadh ath-neartachaidh: Ro-ràdh. Clò MIT; Cambridge: 1998.
18. Tanaka SC, Doya K, Okada G, Ueda K, Okamoto Y, Yamawaki S. Tha ro-innse mu dhuaisean sa bhad agus san àm ri teachd gu eadar-dhealaichte a ’fastadh lùban ganglia cortico-basal. Neo-eòlas nàdair. 2004; 7 (8): 887 - 893.
;