Dopamine မငြိမ်သက်မှုကြောင့်နှင့် TD သင်ယူ (2005)

မှတ်ချက်များ - မသေချာမရေရာမှုဟာအသစ်အဆန်းကိုဆိုလိုတယ်။ ဒီရှုပ်ထွေးတဲ့လေ့လာမှုက dopamine ကိုတိုးစေတယ်ဆိုတာကိုအတည်ပြုလိုက်တယ်။ ထို့အပြင်အကျိုးကျေးဇူးများကိုမရေရာမသေချာလေလေ၊ အင်တာနက်ညစ်ညမ်းမှုသည်အတိတ်၏ညစ်ညူးခြင်းနှင့်ကွဲပြားသည်။ အကြောင်းမှာအဆုံးမဲ့အသစ်အဆန်းကြောင့်ဖြစ်သည်။ အဓိကအချက်မှာစွဲခြင်းသည်သင်ယူခြင်းနှင့်မှတ်ဉာဏ်ဖြစ်သည်။ ၀ တ္ထုအသစ်ကိုပြောင်းလဲခြင်းသည် dopamine နှင့်သင်ယူခြင်းကိုသက်ဝင်စေသည်။ သင်တွေ့ကြုံရမည့်အရာများမရေရာမှုကြောင့်ဖြစ်သည်။ porn အသုံးပြုသူများသည် porn ကိုရှာဖွေသောအခါမသေချာမရေရာမှုများလည်းဖြစ်ပေါ်သည်။ သင်မြင်တွေ့ရမည့်အရာနှင့် dopamine ကိုအငွေ့ပြန်စေကြောင်းသင်မသိပါ။
အသစ်အဆန်း, မရေရာအပေါင်းတို့နှင့်တကွ, dopamine ကိုသက်ဝင်ရှာကြံ

အပြည့်အဝလေ့လာမှု: Dopamine မငြိမ်သက်မှုကြောင့်နှင့် TD သင်ယူ

အမူအကျင့်များနှင့်ဦးနှောက် 2005 လည်ပတ်သော, 1:6doi:10.1186/1744-9081-1-6

Yael Niv1,2၊ Michael O Duff2 နှင့် Peter Dayan2
ဦးနှောက်ကဲ့သို့ရှုပ်ထွေးသောကွန်ပျူတာများ, ဟီဘရူးတက္ကသိုလ်, ယေရုရှလင်မြို့, ဣသရေလအမျိုးအဘို့ 1 Interdisciplinary ရေးစင်တာ
2 ဂက်စဘီတွက်ချက်အာရုံကြောသိပ္ပံယူနစ်, တက္ကသိုလ်ကောလိပ်လန်ဒန်, လန်ဒန်, ဗြိတိန်
ဤဆောင်းပါး၏အဆိုပါအီလက်ထရောနစ်ဗားရှင်းလုံးဝတစ်ခုဖြစ်သည်နှင့်အမှာအွန်လိုင်းတွင်တွေ့နိုင်ပါသည်: http://www.behavioralandbrainfunctions.com/content/1/1/6
© 2005 တို့သည် et al; လုပ်ငန်းလိုင်စင်ရရှိသူ BioMed ဗဟို, Ltd.

ြဒပ်မဲ့သော

သိသိသာသာအထောက်အထားမျောက် midbrain အတွက် dopaminergic အာရုံခံ၏ phasic လှုပ်ရှားမှုများအထက်တိုးနှင့်အတူအနာဂတ်ဆုလာဘ်၏ခန့်မှန်းချက်များတွင်ယာယီခြားနားချက် (TD) အမှားကိုယ်စားပြုကြောင်းအကြံပြုနှင့်အသီးသီးအပြုသဘောနှင့်အနုတ်လက္ခဏာခန့်မှန်းမှားယွင်းမှုများအပေါ်အခြေခံနောက်ဆက်တွဲအောက်တွင်ဖော်ပြထားသောလျော့နည်းစေပါသည်။ သို့သော် dopamine ဆဲလ်အမှားဤနှစ်ခုအမြိုးမြိုး၏ကိုယ်စားပြုမှုအချိုးမညီကြောင်းဆိုလိုရာအလွန်နိမ့်အခြေခံလုပ်ဆောင်မှု, ရှိသည်။ ကျနော်တို့ဇွဲခန့်မှန်းမှားယွင်းမှုများနှင့် ပတ်သက်. ဆောင်ကြဉ်းပေးသောဖြစ်နိုင်ဖွယ်အလားအလာဆုလာဘ်နှင့်အတူစမ်းသပ်ချက်အတွက် dopaminergic ပစ်ခတ်ရန်ပုံစံများ၏အနက်ကိုအဘို့ဤထင်ရသောဗလာ asymmetry ၏သက်ရောက်မှုလေ့လာစူးစမ်း။ အထူးသဖြင့်ကျနော်တို့အဘယ်သူ၏ပြင်းအားသင်ယူမှုမှုနှုန်းအပေါ်မှီခိုဖြစ်ပါသည်, စမ်းသပ်မှုတွေကိုဖြတ်ပြီး non-စာရေးကိရိယာခန့်မှန်းအမှားများကိုပျမ်းမျှသောအခါ, dopamine အာရုံခံများ၏လုပ်ဆောင်မှုအတွက်ချဉ်းကပ်လမ်းပေါ်သိသာဖြစ်သင့်ကြောင်းပြသပါ။ ဤသည်ကိုအတိအကျဖြစ်ရပ်ဆန်းမသေချာမရေရာတဲ့အတွင်း-ရုံးတင်စစ်ဆေး encoding ကအဖြစ် antipodal အသုံးအနှုန်းများရှိအနက်ခံသော်လည်း, တစ်ဦးမကြာသေးခင်ကစမ်းသပ်မှုများတွင်ကြည့်ရှုလေ့လာခဲ့သည်။

နိဒါန္း

အထင်ကြီးစရာကောင်းလောက်ကြီးမားသောဇီဝကမ္မ၏ခန္ဓာကိုယ်, ပုံရိပ်နှင့် dopaminergic ၏ phasic လှုပ်ရှားမှုနှင့် ပတ်သက်. psychopharmacological data တွေကိုအနာဂတ်ဆုလာဘ်၏ခန့်မှန်းချက်နဲ့ပတ်သက်တဲ့ဂန္နှင့်ဆာအေးစက်တာဝန်များကိုအတွက်မျောက်, ကြွက်နှင့်လူသား၏ midbrains အတွက် (DA) ဆဲလ် [1-5] ရှိပါသည်။ ဤရွေ့ကားဒေတာ DA အာရုံခံ၏လုပ်ဆောင်မှုကိုယာယီခြားနားချက်အနာဂတ်ဆုလာဘ်၏ခန့်မှန်းချက်များတွင် (TD) အမှားများကို [6,7] ကိုယ်စားပြု [8,9] အကြံပြုခေါ်ဆောင်သွားပြီ။ dopamine ၏ဤ TD သီအိုရီအမူအကျင့်များနှင့်အာရုံကြောအချက်အလက်များ၏ဟာ host ကိုနားလည်များအတွက်တိကျသောကွန်ပျူတာအခြေခံအုတ်မြစ်ဖြစ်သည်။ ထို့အပွငျက DA ဟောကိန်းများနှင့်ဆုလာဘ်-အကောင်းဆုံးလုပ်ရပ်တွေနှစ်ဦးစလုံး၏သင်ယူမှုကိုထိန်းချုပ်ဘို့သီအိုရီအသင့်လျော်သောသော signal ကိုထောက်ပံ့ပေးကြောင်းအကြံပြုထားသည်။

အဆိုပါ TD သီအိုရီ၏မျက်နှာသာအတွက်အရှိဆုံးဆွဲဆောင်မှုသက်သေအထောက်အထား၏အချို့ (ဥပမာဖျော်ရည်ပေါက်ကဲ့သို့) ဆုလာဘ်များနှင့်နီးရရှိနိုင်မှုခန့်မှန်းကြောင်း (ထိုကဲ့သို့သော Monitor ပေါ်မှာ fractal ပုံစံများကဲ့သို့) မတရားလှုံ့ဆော်မှုတုံ့ပြန် dopamine ဆဲလ်များ၏ phasic activation စုံစမ်းစစ်ဆေးလေ့လာမှုများမှလာ ။ အများအပြားမျိုးကွဲခုနှစ်တွင်ဤအကျိုးကိုခန့်မှန်းအစောဆုံး cue ၏အချိန်မှလေ့ကျင့်ရေး, အစပိုင်းတွင်ခန့်မှန်းရခက်ဆုလာဘ်၏အချိန်ကနေ phasic DA အချက်ပြမှုများကိုလွှဲပြောင်းအတူကြောင်းပြသခဲ့ကြသည်။ ဒါကယာယီ-ခြားနားချက်ကို အခြေခံ. ခန့်မှန်းအမှား (ဥပမာ။ [1,2,10-13]) အတွက်အတိအကျမျှော်မှန်းရလဒ်ဖြစ်ပါတယ်။ အခြေခံတွေ့ရှိချက် [7] အကျိုးကို (အစောပိုင်းစမ်းသပ်မှုများတွင်မလွှဲမရှောင်ဖြစ်သော) မျှော်လင့်မထားတဲ့အခါ, dopamine ဆဲလ်ကပြင်းပြင်းထန်ထန်တုနျ့ပွနျသောကွောငျ့ဖွစျသညျ။ အကျိုးကိုဟောကိန်းထုတ်သောအခါ, သို့သော်ဆဲလ်ခန့်မှန်းဖို့မဟုတ်, ယခု-မျှော်လင့်ထားသည့်ဆုလာဘ်တုံ့ပြန်ကြသည်။

တစ်ဦးခန့်မှန်းဆုလာဘ်မမျှော်လင့်ဘဲချန်လှပ်လျှင်, ထိုဆဲလ်များကို phasically အကျိုးကို၏ပုံမှန်အချိန်တွင် inhibited နေကြတယ်, ဆုလာဘ်ခန့်မှန်းခြင်း၏တိကျသောအချိန်ကိုက်မှုကိုဖော်ပြသောတားဆီးပိတ်ဆို့မှုနှင့်ယာယီမက်ထရစ်များသည်လက်ရှိတွင်မှုခင်းမီးမောင်းထိုးမှုအောက်တွင်ရှိနေသည်။ အကျိုးသက်ရောက်ချိန်မှကြိုတင်ခန့်မှန်းသူ၏အချိန်သို့လှုပ်ရှားမှုအပြောင်းအလဲသည်တိရိစ္ဆာန်၏လိုအင်ဆန္ဒအပြုအမူဆိုင်ရာတုံ့ပြန်မှု၏အကျိုးကျေးဇူးကို (ခြွင်းချက်မရှိလှုံ့ဆော်မှု) မှဂန္ထဝင်အေးစက်စမ်းသပ်မှုများတွင်အေးဆေးတည်ငြိမ်သောလှုံ့ဆော်မှုနှင့်ပြောင်းလဲခြင်းနှင့်ဆင်တူသည် [10] ။

အလွန်စိတ်ဝင်စားစရာကောင်းတဲ့မကြာသေးမီလေ့လာမှုမှာတော့ Fiorillo et al ။ [15] တိုင်းတစ်ခုတည်းရုံးတင်စစ်ဆေးအပေါ်မြဲ, ineluctable, ခန့်မှန်းအမှားလည်းမရှိသည့်အတွက်တစ်စိတ်တစ်ပိုင်းအားဖြည့်များ၏အမှု, ဆန်းစစ်ခဲ့သည်။ အဆိုပါ TD ခန့်မှန်းအမှားအယူအဆ၏ရိုးအနက်စမ်းသပ်မှုတွေကျော်ပျမ်းမျှဤကိစ္စတွင်အတွက်ကြိုတင်ခန့်မှန်းချက်လှုံ့ဆော်မှု၏အချိန်မှာ (က) dopamine လှုပ်ရှားမှုဆုလာဘ်များ၏ဖြစ်နိုင်ခြေနှင့်အတူစကေးမယ်လို့အကြံပြုနှင့် (ခ) အလိုအတွက် dopaminergic တုံ့ပြန်မှုလှုံ့ဆော်မှုအပြီး နှင့်အကျိုးကို၏အချိန်အားလုံးကိုလမ်းသုညဖြစ်သင့်သည်။ ပထမဦးဆုံးအယူအဆအတွက်စမ်းသပ်ချက်အတည်ပြုခဲ့သော်လည်း, ဒုတိယမဟုတ်ခဲ့ပေ။ အကြား-ရုံးတင်စစ်ဆေးအဆိုပါတုံ့ပြန်မှုဟာ TD အကောင့်နဲ့ကိုက်ညီမှုသလိုပဲကြောင့်စီးပွားရေးနှိုးဆွမှုစတင်ခြင်းနှင့်ဆုလာဘ်အကြားနှောင့်နှေးနေစဉ်အတွင်းလှုပ်ရှားမှု၏ရှင်းလင်းပြတ်သားတဲ့ချဉ်းကပ်လမ်းပေါ်ပြသပျမ်းမျှ။ Fiorillo et al ။ ဒီလှုပ်ရှားမှုဆုလာဘ်ပေးပို့အတွက်မသေချာမရေရာထက်တစ်ဦးခန့်မှန်းအမှားကိုယ်စားပြု hypothesised ။

ဤစာတမ်းတွင်တှငျကြှနျုပျတို့မြဲခန့်မှန်းအမှား၏ကိစ္စကိုသွားရောက်ကြည့်ရှု။ ကျနော်တို့အပြုသဘောနှင့်အနုတ်လက္ခဏာခန့်မှန်းအမှားအယွင်းများ၏နိုင်တဲ့ coding ထဲမှာအရေးပါ asymmetry အဆိုပါအကြား-ရုံးတင်စစ်ဆေးပျမ်းမျှအား dopamine signal ကိုအတွက်ချဉ်းကပ်လမ်းကိုမျှော်လင့်တဦးဆောင်ကြောင်းပြသ, နှင့်လည်း DA signal ကိုနှစ်ခုထပ်မံ features တွေများအတွက်ကောင်းစွာအကောင့် - ထို (အလားအလာ) ဆုလာဘ်၏အချိန်မှာသိသာမြဲလှုပ်ရှားမှုနှင့်ပျောက်ဆုံး (သို့မဟုတ်အနည်းဆုံးအားနည်း) ချဉ်းကပ်လမ်းအချက်ပြ၏, ဒါပေမယ့်မ signal ကိုဆုလာဘ်၏အချိန်မှာ, အဆိုပါသဲလွန်စ၏မျက်နှာထက်နှောင့်နှေးအေးစက်ပါတယ်။ ထိုအဖြစ်ရပ်နှစ်ခုစလုံးလည်းမောရစ် et al ၏ related ဆာအေးစက်စမ်းသပ်ချက်များတွင်ကြည့်ရှုလေ့လာခဲ့ကြသည်။ [16] ။ နောက်ဆုံးအနေနဲ့ကျနော်တို့ကြိုတင်ခန့်မှန်းချက်လှုံ့ဆော်မှုများ၏အချိန် dopamine လှုပ်ရှားမှုအတွင်းပြောင်းကုန်ပြီဖြစ်ပေါ်ရသောအားဖြင့်သင်ယူမှုယန္တရား၏သဘောသဘာဝအဘို့လက်ဆောင်မှာမရရှိနိုင်ပါကအကောင်းဆုံးသက်သေအထောက်အထားအဖြစ်ချဉ်းကပ်လမ်း signal ကိုအနက်ကိုဘော်ပြ။

ဆုလာဘ်ဖြစ်ပျက်မှုအတွက်မသေချာမရေရာ: DA ချဉ်းကပ်လမ်းပေါ်တွင်

Fiorillo et al ။ [15] ဖျော်ရည်ဆုလာဘ်များ၏နှောင့်နှေး, ဖြစ်နိုင်ခြေ (pr = 0, 0.25, 0.5, 0.75, 1) ပေးပို့ခြင်းနှင့်အတူမက္ကရက်ကိုမှကွဲပြားခြားနားသောအမြင်အာရုံလှုံ့ဆော်မှုငါးခု၏တင်ပြချက်ဆက်စပ်။ သူတို့ကလှုံ့ဆော်မှုပျောက်ကွယ်သွားသောအခါဆုလာဘ်ကိုကယ်နှုတ်ခံရနှင့်အတူ, နှိုးဆွ 2s ၏သတ်မှတ်ထားသောကြားကာလအဘို့အဆက်ရှိနေသေးသည့်အတွက်တစ် ဦး နှောင့်နှေးအေးစက်ပါရာဒိုင်း, ကိုအသုံးပြုခဲ့သည်။ လေ့ကျင့်ပြီးနောက်, မျောက်များ၏မျှော်လင့်လျက်လျက်အပြုအမူသူတို့လှုံ့ဆော်မှုတစ်ခုချင်းစီနှင့်ဆက်စပ်သောကွဲပြားခြားနားသောဆုလာဘ်ဖြစ်နိုင်ခြေကိုသတိထားမိဖြစ်ကြောင်းညွှန်ပြ။

ပုံ 1a တစ်ခုချင်းစီ PR များအတွက်, extracellularly-မှတ်တမ်းတင်ထားသော DA ဆဲလ်လှုပ်ရှားမှု၏လူဦးရေ Histogram ပြသထားတယ်။ TD သီအိုရီအမြင်လှုံ့ဆော်မှု၏အချိန်မှာ DA ဆဲလ်များ၏ phasic activation ပျမ်းမျှမျှော်မှန်းဆုလာဘ်ကိုက်ညီတဲ့သင့်ကြောင်း, ဒါကြောင့် PR နှင့်အတူတိုးမြှင့်သင့်ကြောင်းခန့်မှန်းထားပါတယ်။ ပုံ 1a အတိအကျဒီပြသထားတယ် - အမှန်ပင်, လူဦးရေကိုဖြတ်ပြီး, အတိုးအတော်လေး linear ဖြစ်ပါတယ်။ မောရစ် et al ။ [16] လည်းဖြစ်နိုင်ဖွယ်အလားအလာအားဖြည့်ပတျသကျတစ်ဦးဆာ (သဲလွန်စ) အေးစက်လုပ်ငန်းတာဝန်များတွင်အလားတူရလဒ်သတင်းပို့ပါ။

ပုံ 1 ။ တစ်ဦးဖြစ်နိုင်ဖွယ်အလားအလာဆုလာဘ်တာဝန်အတွက်ပျမ်းမျှခန့်မှန်းအမှားများ
ကွဲပြားခြားနားသောဆုလာဘ်ဖြစ်နိုင်ခြေနှင့်အတူစမ်းသပ်မှုအတွက် (က) DA တုံ့ပြန်မှု။ လူ ဦး ရေကာလ - လှုံ့ဆော်မှုအချိန် histograms (PSTHs) သည် DA အာရုံခံဆဲလ်များစွာ၏စမ်းသပ်မှုများစွာကိုတွေ့ရပြီး၊ တစ်ခုချင်းစီအတွက် PR တစ်ခုအတွက်၊ အလယ်အလတ်ဖြစ်နိုင်ခြေများ၌ဆု ချ၍ မရသောစမ်းသပ်မှုများကိုပေါင်းစပ်ထားသည်။ (ခ) အချိုးမညီစကေးနှင့်အတူ TD ဟောကိန်းအမှား။ အဆိုပါ simulated တာဝန်မှာတော့တစ်ခုချင်းစီကိုစမ်းသပ်မှုအတွက်ငါးခုလှုံ့ဆော်မှုများထဲမှကျပန်းရှေးခယျြခြင်းနှင့်အချိန် t ကိုပြသ 5 မှာပြသခဲ့သည်အဆိုပါလှုံ့ဆော်မှု t = 25 မှာပိတ်ထားခဲ့သည်, ထိုအချိန်တွင်ဆုလာဘ်နှိုးဆွခြင်းဖြင့်သတ်မှတ်ထားသော PR တစ်ဖြစ်နိုင်ခြေနှင့်အတူပေးသောခဲ့သည်။ လှုံ့ဆော်မှုတစ်ခုစီကိုကွဲပြားခြားနားသောယူနစ်များ ('အာရုံခံ' များ) ဖြင့်ကိုယ်စားပြုခြင်းဖြင့်ကျွန်ုပ်တို့သည်လှုံ့ဆော်မှုများ (စာသားကိုကြည့်ပါ) ၏နှောင့်နှေးနေသောမျဉ်းကြောင်းကိုယ်စားပြုမှုကိုအသုံးပြုခဲ့သည်။ အဆိုပါ TD အမှား r (t) = r (t) + w (t - 1) • x ကို (t) - w (t - 1) • x ကို (t - 1), r (t) အချိန် t ကိုမှာဆုလာဘ်နှင့်အတူ နှင့် x (t) နှင့် w (t) ကိုယူနစ်များအတွက်ပြည်နယ်နှင့်အလေးချိန် virus သယ်ဆောင်။ ပုံမှန်အွန်လိုင်း TD သင်ယူမှုစည်းမျဉ်းစည်းကမ်းကိုα, w (t) = w (t - 1) + αδ (t) က x (t - 1) နှင့်အတူအသုံးပြုခဲ့သည်, ဒါကြောင့်တစ် ဦး ချင်းစီအလေးချိန်တစ်ခုမျှော်လင့်ထားသည့်အနာဂတ်ဆုလာဘ်တန်ဖိုးကိုကိုယ်စားပြုသည်။ Fiorillo et al နှင့်ဆင်တူသည်။ ကျွန်ုပ်တို့သည်တာ ၀ န်ကိုလေ့လာပြီးသည့်နောက်စမ်းသပ်မှုများစွာတွင်ပျမ်းမျှ the (t) ၏ခန့်မှန်းအမှားကိုဖော်ပြသည် သင်ယူမှု unscaled အမှားအယွင်းများသည်နှင့်အညီဆက်လက်ပေမယ့်δ (t) ၏အနုတ်လက္ခဏာတန်ဖိုးများကို, ထို simulated PSTH ၏ summation မှ = = 1/6 အားဖြင့်ခဲ့သည်ဆို၏ခဲ့ကြသည်အဖြစ်ကိုယ်စား asymmetry ပေါ်ပေါက်။ နောက်ဆုံးအနေဖြင့် pr = 0 အတွက်လှုံ့ဆော်မှု၏အချိန်နှင့် pr = 1 တွင်တွေ့မြင်ရသည့် pr = 8 အတွက်ဆု (အချိန်) တွင်အပြုသဘောဆောင်သည့်တုံ့ပြန်မှုများကိုတွက်ချက်ရန်ကျွန်ုပ်တို့သည် (၈%) အခွင့်အလမ်းအနည်းငယ်သာရှိသည်။ ကြိုတင်ခန့်မှန်းချက်နှိုးဆွ misidentified ဖြစ်ပါတယ်။ ဆုအတွက် (ဂ) DA တုံ့ပြန်မှု = 0.5 စမ်းသပ်မှုတွေ, ဆု (လက်ဝဲ) နှင့် unrewarded (ညာ) စမ်းသပ်မှုတွေသို့ကွဲကွာ။ ()) TD မော်ဒယ် (ဂ) ။ (က၊ ဂ) © 15 AAAS ၏ခွင့်ပြုချက်ဖြင့်ပြန်လည်ပုံနှိပ်ခဲ့သည်။ အခြားအသုံးပြုမှုအားလုံးအတွက် AAAS မှခွင့်ပြုချက်လိုအပ်သည်။

ဆန့်ကျင်ဘက်အားဖြင့်, အလားအလာဆုလာဘ်ပေးပို့သည့်အချိန်တွင်, TD သီအိုရီပျမ်းမျှအားဖြင့်အဲဒီအခြိနျမှာအဘယ်သူမျှမခန့်မှန်းအမှားလည်းမရှိ, အဖြစ်ပျမ်းမျှအားဖြင့်အဘယ်သူမျှမလှုပ်ရှားမှုရှိသင့်ကြောင်းခန့်မှန်းထားပါတယ်။ ၏သင်တန်း, ဖြစ်နိုင်ဖွယ်အလားအလာအားဖြည့်ဒီဇိုင်း (အနည်းဆုံး PR ≠ 0, 1 များအတွက်) တစ်ဦးခန့်မှန်းအမှားပေးပို့သို့မဟုတ်တိုင်းတစ်ခုတည်းရုံးတင်စစ်ဆေးအပေါ်ဆုလာဘ်၏ Non-ပေးပို့သည့်အချိန်တွင်တကယ်တော့ရှိသေး၏။ (ရရှိသောဆုလာဘ်မျှော်လင့်ထားပျမ်းမျှဆုလာဘ်ထက်ပိုကြီးတဲ့အတိုင်း) တစ်ဦးဆုလာဘ်ကိုအပ်ထားတဲ့အတွက်စမ်းသပ်မှုတွေတွင်ခန့်မှန်းအမှားအပြုသဘောဖြစ်သင့်သည်။ ပြောင်းပြန်မရှိဆုလာဘ်နှင့်အတူစမ်းသပ်မှုတွေပေါ်မှာ (ပုံ 1c ကိုကြည့်ပါ) အနုတ်လက္ခဏာဖြစ်သင့်သည်။ အရေးကြီးသည်မှာ TD အောက်မှာဖြစ်ပေါ်၏သူတို့ရဲ့ဖြစ်နိုင်ခြေအားဖြင့်မာန်တင်းသောဤကွဲပြားခြားနားမှု၏ပျမ်းမျှ, သုညဖြစ်သင့်သည်။ ကသုညမပါရှိလျှင်, သို့ဖြစ်လျှင်ဤခန့်မှန်းချက်အမှားမျှမခန့်မှန်းအမှားလည်းမရှိသည်အထိဟောကိန်းများပြောင်းလဲနေတဲ့တစ် plasticity signal ကိုအဖွစျဆောငျရှကျသငျ့တယျ။ ဒီမျှော်လင့်ထားနှင့်အတူကှဲလှဲမှာနှစ်ဦးစလုံးဆုခခြံနှင့် unrewarded စမ်းသပ်မှုတွေကျော်ပျမ်းမျှသောပုံ 1a အတွက်ဒေတာ, ဤအခြိနျတှငျတကယ်တော့အပြုသဘောယုတ်လှုပ်ရှားမှုရှိကြောင်းပြသပါ။ ဤသည်မောရစ် et al ၏ဒေတာတှငျလညျးထငျရှားပါသညျ။ [16] (ပုံ 3c ကြည့်ပါ) ။ အဆိုပါအပြုသဘော DA တုံ့ပြန်မှုပင် (လသင်တန်းကျော်) သိသိသာသာလေ့ကျင့်ရေးနှင့်အတူပျောက်ကွယ်၏လက္ခဏာမပြသပါ။

အဆိုပါ TD မော်ဒယ်အဘို့ဤထက်ပိုမိုဆိုးရွားများနှင့် Fiorillo et al ၏အမှန်တကယ်အာရုံစိုက်။ [15] အကျိုးကို၏မျှော်မှန်းအချိန်ဆီသို့ဦးတည် DA လှုပ်ရှားမှုများ၏သရုပ်ချဉ်းကပ်လမ်းပေါ်ဖြစ်ပါတယ်။ ချဉ်းကပ်လမ်း၏ပြင်းအား PR = 0.5, Fiorillo et al များအတွက်အကြီးမြတ်ဆုံးဖြစ်သကဲ့သို့။ ဒါဟာဆုလာဘ်ပေးပို့အတွက်မသေချာမရေရာထက်တစ်ဦးခန့်မှန်းအမှားသတင်းပေးပို့ကြောင်းအကြံပြု, ဤအချက်ပြမှု (လောင်းကစားဝိုင်းတွင်တွေ့မြင်ကဲ့သို့) မသေချာမရေရာ၏ပုံစာစားချင်စိတ်ကိုဂုဏ်သတ္တိများကိုရှင်းပြနိုင်ကြောင်းခန့်မှန်းပြောဆိုသည်။

ချဉ်းကပ်လမ်းလှုပ်ရှားမှုနဲ့ဆုလာဘ်များမျှော်လင့်ထားသည့်အချိန်လှုပ်ရှားမှုနှစ်ဦးစလုံးဟာ TD သီအိုရီမှအရေးပါသောစိန်ခေါ်မှုများရှိုး။ TD သင်ယူမှုအစောပိုင်းကကြောင်းစမ်းသပ်မှုအတွက်ရရှိနိုင်တွေကိုအားဖြင့်ကွယ်ပျောက်ဟောကိန်းထုတ်ခံရဖို့အစမ်းအတွက်တစ်ကြိမ်မှာ DA လှုပ်ရှားမှုများအတွက်စီစဉ်နေဖြင့်လုပ်ကိုင်လျက်ရှိကြောင်းသိရသည်။ ထို့ကြောင့်ကဘယ်လိုမဆိုထင်ရသောကိုကြိုတင်ခန့်မှန်းလှုပ်ရှားမှုကြောင့်ရှေ့တော်၌ထိုဆုလာဘ်များသို့မဟုတ်ချဉ်းကပ်လမ်းအတွက်အချိန်မှာ, အမြင်အာရုံလှုံ့ဆော်မှုစတင်ခြင်းအားဖြင့်ကွယ်ပျောက်ခန့်မှန်းထားကြောင်းမရှိဘဲဆက်လက်ရှိနိုငျကွောငျးဖြစ်ရှင်းရှင်းလင်းလင်းမသိရပါဘူး။ ပြီးနောက်ရှိသမျှတို့, ယင်းစီးပွားရေးနှိုးဆွမှုမှတုံ့ပြန်မှုအတွက် PR-မှီခိုလှုပ်ရှားမှုခိုင်လုံသောခန့်မှန်းအဖြစ်က၎င်း၏အနေအထားကိုအတည်ပြု။ ထို့အပွငျ TD ၏အဓိကအသှငျအပွငျ [17] အရေးယူများအတွက်ပစ်မှတ်အဖြစ်ပြည်နယ်ကနေရရှိနိုင်တဲ့အနာဂတ်ဆုလာဘ်တစ်ခုအရိပ်အယောင်အဖြစ်ပြည်နယ်၏တန်ဖိုးသုံးပြီးထို့ကြောင့်၎င်း၏ဆွဲဆောင်မှုအားဖြင့်အရေးယူမှုရွေးချယ်မှုကြောင့်စုံတွဲများခန့်မှန်းသည်။ ချဉ်းကပ်လမ်းလှုပ်ရှားမှုအတိအလင်းအစောပိုင်း cue အားဖြင့်ခန့်မှန်းသည်မဟုတ်ကတည်းကဒီရှုထောင့်ကနေ, ကထိုကဲ့သို့သောအလောင်းအစားဖို့ဆုံးဖြတ်ချက်အဖြစ်အစောပိုင်းလုပ်ရပ်တွေ, သြဇာလွှမ်းမိုးလို့မရပါဘူး။ တဦးတည်းနောက်ဆုံးမှာတစ်တွက်ချက်ဆုလာဘ်ထို့ကြောင့်အဘယ်သူမျှမချဉ်းကပ်လမ်းပေါ်နှင့်အတူတူပင်ယုတ်နှင့်အတူတစ်ဦးဖြစ်နိုင်ဖွယ်အလားအလာဆုလာဘ်များနှင့်တစ်ဦးချဉ်းကပ်လမ်းပေါ်နေဖြင့်နောက်တော်သို့လိုက်ကာပြည်နယ်မှဦးဆောင်အခြားနှင့်အတူတစ်ပြည်နယ်မှဦးဆောင်: ဥပမာ, နှစ်ခုလုပ်ရပ်များအကြားယှဉ်ပြိုင်မှုစဉ်းစားပါ။ ချဉ်းကပ်လမ်းခွအေနအေလှုံ့ဆော်မှု၏အချိန်မှာလှုပ်ရှားမှုကိုထိခိုက်ပါဘူးကတည်းကကအပိုမသေချာမရေရာပေမယ့်ပထမဦးဆုံးအပေါ်မှာဒုတိယအရေးယူမှု (လောင်းကစား) အကဲဖြတ်သို့မဟုတ်မျက်နှာသာဖို့အသုံးပြုရနိုင်မှာမဟုတ်ဘူး။

ကျနော်တို့ကဤပုံမှန်မဟုတ်ပစ်ခတ်ရန်ပုံစံများနှစ်ဦးစလုံးလက်မှတ်ရေးထိုးခန့်မှန်းအမှား၏နိုင်တဲ့ coding အပေါ် DA အာရုံခံ (2-4 Hz) ၏လှုပ်ရှားမှုများ၏အနိမ့်အခြေခံမှုနှုန်းအားဖြင့်ဆိုလိုသည့်အခက်အခဲမှတိုက်ရိုက်ဖြစ်ပေါ်သောအခြားရွေးချယ်စရာအယူအဆအကြံပြုအပ်ပါသည်။ Fiorillo et al အားဖြင့်မှတ်ချက်ပြုသည်။ အနုတ်လက္ခဏာအမှားများကိုအခြေခံအောက်တွင်ဖော်ပြထားသောသာ ~ 15% တစ်ကျဆင်းခြင်းကကိုယ်စားပြုနေစဉ် [270] အပြုသဘောခန့်မှန်းအမှားများကို (လည်း [55] ကိုကြည့်ပါ), အခြေခံအထက်တွင် ~ 14,18% ၏နှုန်းထားများပစ်ခတ်သဖြင့်ကိုယ်စားပြုနေကြသည်။ ဤသည် asymmetry နိမ့်အခြေခံသည့်ပစ်ခတ်ရန်ကလက်မှတ်ရေးထိုးခဲ့သည်အရေအတွက်၏နိုင်တဲ့ coding တစ်ခုရိုးရှင်းတဲ့အကျိုးဆက်ဖြစ်ပါတယ်သျောသိသာတဲ့သာအပြုသဘောရှိနိုင်ပါသည်။ အခြေခံအထက်တွင်ပစ်ခတ်နှုန်းထားများသို့သော်အခြေခံအောက်တွင်ဖော်ပြထားသောပစ်ခတ်ရန်နှုန်းထားများသာအနုတ်လက္ခဏာခန့်မှန်းအမှားနိုင်တဲ့ coding အပေါ်တစ်ဦးကန့်သတ်ပြုရန်တွန်းအားပေးဆင်းသုညကိုသွားနိုင်ပါတယ်, ကြီးမားတဲ့ dynamic range ကို အသုံးပြု. အပြုသဘောခန့်မှန်းအမှားအယွင်းများဝှက်လို့ရပါတယ်။

အကျိုးဆက်အနေဖြင့်ပုံ ၁ (က) တွင်ဖော်ပြထားသည့်အတိုင်းကွဲပြားခြားနားသောစမ်းသပ်မှုများအကြားလုပ်ဆောင်မှု၏ Peri-stimulus-time-histograms (PSTHs) ၏ပမာဏ (သို့မဟုတ်ပျမ်းမျှ) ကိုဂရုတစိုက်အနက်ဖွင့်ရန်လိုအပ်သည်။ လက်ခံရရှိချက်သို့မဟုတ်ဆုကိုလက်ခံရရှိခြင်းမရှိသောအချိန်တွင်အချိုးမညီစွာအပြုသဘောဆောင်သောနှင့်အနှုတ်လက္ခဏာအမှားအချက်ပြမှုများသည်မှန်ကန်သော TD ​​ခန့်မှန်းအမှားများကိုကိုယ်စားပြုလျှင်ပင်သုညမရသင့်ပါ။ အကျဉ်းချုံးသောအခါ, unrewarded စမ်းသပ်မှုတွေအတွက်အပျက်သဘောဆောင်သောအမှားများကိုကိုယ်စားပြုနိမ့်ပစ်ခတ်မှုစမ်းသပ်မှုများတွင်အပြုသဘောအမှားများကို encoding လျင်မြန်စွာပစ်ခတ်မှု "ပယ်ဖျက်" လိမ့်မည်မဟုတ်ပေနှင့်, ယေဘုယျအားဖြင့်ပျမ်းမျှအားအပြုသဘောတုံ့ပြန်မှုပြသပါလိမ့်မယ်။ ဦး နှောက်တွင်၊ တုံ့ပြန်မှုများသည် (ဆု ချ၍ ဆုမရသည့်) စမ်းသပ်မှုများထက်ပျမ်းမျှမဖြစ်သော်လည်းစမ်းသပ်မှုအတွင်းရှိအာရုံခံဆဲလ်များအနေဖြင့်၎င်းသည်ပြproblemနာတစ်ခုမဟုတ်ပါ။

ဤသည်ပို့ဆောင်မှုသို့မဟုတ်အကျိုးကို၏ Non-ပေးပို့သည့်အချိန်တွင် (ပျမ်းမျှ) ကိုမြဲအပြုသဘောလုပ်ဆောင်မှုကရှင်းပြသည်။ သို့သော်လည်းအဘယ်သို့ကြိုတင်ဤအချိန်မှချဉ်းကပ်လမ်းကော? အနည်းဆုံးလှုံ့ဆော်မှုနှင့်ဆုလာဘ်များအကြားအချိန်အခြို့သောအာရုံကြောကိုယ်စားပြုအတွက်စမ်းသပ်မှုတွေပျမ်းမျှကြသောအခါ, ဒီတူညီတဲ့ asymmetry အကျိုးကို၏အချိန်ဆီသို့လှုပ်ရှားမှုတစ်ခုချဉ်းကပ်လမ်းပေါ်တွင်အတွက်အတိအကျဖြစ်ပေါ်ဖို့ TD စေပါတယ်။ ယန္တရားသင်ယူခြင်းအဆိုပါ TD တစ်ရုံးတင်စစ်ဆေး-by-ရုံးတင်စစ်ဆေးအခြေခံပေါ်မှာ, (ထိုသို့သော CS ကဲ့သို့) အလားအလာခန့်မှန်းဆီသို့ (ထိုကဲ့သို့သောအကျိုးကို၏ထိုအချိန်ကကဲ့သို့) တစ်ဦးရုံးတင်စစ်ဆေးအတွက်တစ်ကြိမ်မှာပျေါပေါကျကြောင်းခန့်မှန်းအမှားများကိုဝါဒဖြန့်၏အကျိုးသက်ရောက်မှုရှိပါတယ်ပေါ်ထွန်းကြောင်း တစ်ခုချင်းစီကိုရုံးတင်စစ်ဆေးအတွင်းအစောပိုင်းကအချိန်များတွင်။ ကျနော်တို့ဆွေးနွေးတင်ပြကြပြီအပြုသဘောနှင့်အနုတ်လက္ခဏာခန့်မှန်းအမှားအယွင်းများများ၏အချိုးမညီသည့်ကိုယ်စားပြုမှုလက်အောက်တွင် (ပုံ 1a ကဲ့သို့) အများအပြားစမ်းသပ်မှုတွေကျော်ကဤဝါဒဖြန့်အမှားအယွင်းများပျမ်းမျှအကျိုးကိုရှေ့တော်၌ရုံးတင်စစ်ဆေးအတွင်းယုဂ်များအတွက်အပြုသဘောဆောင်တဲ့နည်းလမ်းဖို့ဦးဆောင်လမ်းပြပါလိမ့်မယ်။ လှုပ်ရှားမှု၏ရလဒ်ချဉ်းကပ်လမ်းပေါ်၏တိကျသောအသွင်သဏ္ဌာန်ကိုအောက်တွင်ဆွေးနွေးတင်ပြပါလိမ့်မည်ကဲ့သို့သောလှုံ့ဆော်မှု, အချိန်ကျော်အဖြစ်သင်ယူမှု၏အမြန်နှုန်းအပေါ်ကိုယ်စားပြုနေသောလမ်းပေါ်တွင်မူတည်သည်။

ပုံ (၂) သည်ပြန့်ပွားလှုပ်ရှားမှု၏သက်သေပြမှု၏ဤအမြင်ကိုဖော်ပြသည်။ ဒီမှာလှုံ့ဆော်မှုကိုအသုံးပြုသည်ကတည်းကအချိန်တစ်ပုတ်နှောင့်နှေး -line ကိုကိုယ်စားပြုမှု။ ၎င်းအတွက်လှုံ့ဆော်မှုကိုတင်ပြပြီးသောယူနစ်တစ်ခုစီ ('အာရုံခံ') သည်တက်ကြွမှုဖြစ်လာသည် (ဆိုလိုသည်မှာတန်ဖိုး ၁ ကိုသတ်မှတ်သည်) သည်လှုံ့ဆော်မှုကိုတင်ပြပြီးနောက်နောက်ကျကျန်နေသည်။ သို့မှသာလှုံ့ဆော်မှုစတင်ပြီးနောက် timestep တိုင်းသည်တစ်ဖွဲ့တည်း၏ပစ်ခတ်ခြင်းဖြင့်ကိုယ်စားပြုသည်။ သင်ယူမှုသည် d (t) = r (t) + V (t) - V (t - 2)၊ V (t) နှင့်ပြုလုပ်ထားသောတက်ကြွသောယူနစ်မှအလေးချိန်ထည့်သွင်းထားသော (dopaminergically- အစီရင်ခံသော) TD အမှားပေါ်တွင်အခြေခံသည်။ အချိန် t နှင့် r (t) အချိန် t တွင်ရရှိသောအကျိုးကို။ စံသတ်မှတ်ထားသော TD ​​update စည်းမျဉ်းအရယူနစ်များ၏အလေးချိန်ကိုသတ်မှတ်ထားသောသင်ယူနှုန်းဖြင့်အဆင့်မြှင့်ခြင်းအားဖြင့် V (t) သည်ပျမ်းမျှအားဖြင့်မျှော်လင့်ထားသောအနာဂတ်ဆုများကိုကိုယ်စားပြုခွင့်ပြုသည် (ပုံ ၁ ခေါင်းစဉ်ကိုကြည့်ပါ) ။ တစ်ခုချင်းစီကိုနောက်ဆက်တွဲ timestep သီးခြားစီကိုယ်စားပြုသည်အတိုင်း, TD ခန့်မှန်းအမှားအယွင်းများစမ်းသပ်အတွင်းအတွင်းမည်သည့်အချိန်တွင်ပေါ်ထွန်းနိုင်ပါတယ်။ ပုံ 1a သည် pr = 1 ဖြစ်သောခြောက်လဆက်တိုက် simulated စမ်းသပ်မှုများတွင်ဤအမှားများကိုပြသထားတယ်။ စမ်းသပ်မှုတိုင်းတွင်အပြုသဘောဆောင်ခြင်းသို့မဟုတ်အနှုတ်လက္ခဏာအမှားအသစ်တစ်ခုသည်အကျိုးကျေးဇူးကိုရရှိသောအချိန်တွင်ရရှိသည်၊ အကျိုးကျေးဇူးကိုလက်ခံရရှိခြင်းသို့မဟုတ်လက်ခံရရှိခြင်းမှနောက်ဆက်တွဲအကျိုးဆက်များနှင့်ယခင်စမ်းသပ်မှုများမှအမှားအယွင်းများသည်လှုံ့ဆော်မှုအဖြစ်သို့ပြန်ရောက်စေခဲ့သည်။ အလေးများ၏စဉ်ဆက်မပြတ်မွမ်းမံ (ဥပမာအနီရောင်အတွက်မီးမောင်းထိုးပြအမှား) ။ ပျမ်းမျှစမ်းသပ်မှုများ (သို့မဟုတ်, PSTHs, summing ကဲ့သို့) ပျမ်းမျှအားဖြင့်, ဤအမှားများကိုပျမ်းမျှအားဖြင့်တစ် ဦး ချင်းစီကတခြားဖျက်သိမ်း, လှုံ့ဆော်မှုစတင်ခြင်းပြီးနောက်ကြားကာလတစ်ခုလုံးကိုပြားချပ်ချပ် histogram, ရလဒ်နှင့်ဆုလာဘ်၏အချိန်အထိ (ပုံအတွက်အနက်ရောင်လိုင်း) မှ ဦး ဆောင် 1b, ပါးလွှာသောအပြာမှာပြထားတဲ့ 2 စမ်းသပ်မှုတွေကျော်အကျဉ်းချုပ်။ အနက်ရောင်မျဉ်းကြောင်းဖြင့်သရုပ်ဖော်အဖြစ် d (0.5/2 (DA အာရုံခံနေဖြင့်အပြုသဘောနှင့်အပျက်သဘောခန့်မှန်းအမှားများ၏အချိုးမညီကုဒ်တူအောင်ဖန်တီးသော) ၏အချက်အားဖြင့်အနှုတ်လက္ခဏာအမှားများ၏အချိုးမညီချုံ့ချဲ့ပြီးနောက်အကျဉ်းချုပ်သောအခါ, လှုပ်ရှားမှုတစ် ဦး အပြုသဘောချဉ်းကပ်လမ်းပေါ်, ensues ပုံ 10c ၌တည်၏။ သတိပြုရန်မှာဤဖျက်သိမ်းခြင်းသည်အခြေခံကျသောပစ်ခတ်မှုနှုန်းနှင့်ပတ်သက်သောအနုတ်လက္ခဏာတန်ဖိုးကို encoding ကန့်သတ်ချက်များကြောင့်ကိုယ်စားပြုမှုပြissueနာတစ်ခုဖြစ်ပြီးမှားသောတန်ဖိုးများကိုမလေ့လာရန်အလေးချိန်များလေ့လာခြင်းကိုမထိခိုက်စေသင့်ပါ။ PSTHs များသည်အာရုံခံဆဲလ်များမှတိုက်ရိုက်ပမာဏဖြစ်သောကြောင့်ဤကိုယ်စားပြုမှုပြhistနာသည် histogram အပေါ်တွင်မူတည်သည်။

ပုံ 2 ။ ခန့်မှန်းအမှား Backpropagation လှုပ်ရှားမှုလုပ်မယ်လို့ကရှင်းပြသည်။
(က) ပုံ 1b အတွက်ပုံရိပ်စစ်ကနေခြောက်လဆက်တိုက်စမ်းသပ်မှုတွေ (အောက်ခြေထိပ်တန်း) ၏တစ်ဦးချင်းစီကိုဖြတ်ပြီးအဆိုပါ TD ခန့်မှန်းအမှား, PR = 0.5 အတူ။ အနီရောင်မီးမောင်းထိုးပြနောက်ဆက်တွဲစမ်းသပ်မှုတွေအတွက်စီးပွားရေးနှိုးဆွမှု၏အချိန်ဆီသို့ထိုစမ်းသပ်မှုတွေ၏ပထမဦးဆုံးအတွက်ဆုလာဘ်များနှင့်ယင်း၏တဖြည်းဖြည်းချင်းပြန်-ဝါဒဖြန့်သည့်အချိန်တွင်အမှားဖြစ်ပါတယ်။ block အက္ခရာများတစ်ခုချင်းစီကိုတိကျသောစမ်းသပ်မှု (; N ကို = ဆုခခြဲ့မဟုတ် R ကို = ဆုခခြံ) ၏ရလဒ်ကိုဖော်ပြသည်။ ဤအစမ်းသပ်မှုတွေရှေ့ဆုလာဘ်၏ sequence ကိုညာဘက်အပေါ်ပေးထားသောဖြစ်ပါတယ်။ (ခ) ဤခြောက်ဦးစမ်းသပ်မှုတွေ, သူတို့ကအောက်ပါလေးကပိုနေ TD အမှား, superimposed ။ အနီရောင်နဲ့အစိမ်းရောင်လိုင်းများသည်ဤစမ်းသပ်မှုတွေအတွက်အမှားအယွင်းများ၏စာအိတ်သရုပျဖျော။ အပြုသဘောနှင့်အပျက်သဘောအမှားများကိုအချိန်ကျပန်း 50% မှာဖြစ်ပေါ်ခြင်း, ဒါကြောင့်တစ်ဦးချင်းစီကတခြားကိုပယ်ဖျက်အဖြစ်ပျမ်းမျှ (အနက်ရောင်လိုင်း) ပေါ်မှာအဘယ်သူမျှမအထက်-အခြေခံလုပ်ဆောင်မှုတွင်ဤစမ်းသပ်မှုတွေရလဒ်များကိုကျော်ကဉျြးခြုပျ။ (ဂ) သို့သော်ခန့်မှန်းအမှားများကိုအချိုးမညီသည့်အခြေခံပစ်ခတ်ရန်နှုန်း (ဤနေရာတွင်အနုတ်လက္ခဏာအမှားများကိုအချိုးမညီ DA အာရုံခံအားဖြင့်ခန့်မှန်းအမှားအယွင်းများများ၏အချိုးမညီ encoding ကတူအောင်ဖန်တီးရန်ဃ = 1 / 6 အားဖြင့်ပြခဲ့သည်ဆို၏ခဲ့ကြသည်), လှုပ်ရှားမှု၏ပျမ်းမျှချဉ်းကပ်လမ်းပေါ်အထက်နှင့်အောက်တွင်ဖော်ပြထားသောကိုယ်စားပြုကြသောအခါ စမ်းသပ်မှုတွေကျော်ပျမ်းမျှအခါအနက်ရောင်လိုင်းအားဖြင့်ရုပ်ပြအတိုင်း, ပေါ်ထွက်လာ။ အားလုံးခြင်း simulation parameters တွေကိုပုံ 1b, ဃထဲမှာရှိသကဲ့သို့တူညီကြသည်။

ကိန်းဂဏန်းများ 1b, စမ်းသပ်ဒေတာတွေနဲ့နှိုင်းယှဉ်ဘို့, အချိုးမညီနိုင်တဲ့ coding နှင့်အချင်းချင်းရုံးတင်စစ်ဆေးပျှမ်းမျှ၏ဤပေါင်းစပ်ရာမှပေါ်ထွက်လာသောချဉ်းကပ်လမ်းကိုပြသ d ။ ပုံ 1b တစ်ခုချင်းစီကိုနှိုးဆွအမျိုးအစားများအတွက် ~ 50 စမ်းသပ်မှုတွေအတွက်အချိုးမညီ-ကိုယ်စားပြုδ (t) signal ကိုကျော်ပျမ်းမျှအားဖြင့်ကျွန်တော်တို့ရဲ့ simulated ဒေတာကနေတွက်ချက်သည့် PSTH ပြသထားတယ်။ ပုံ 1d ပုံ 0.5c နှင့်နှိုင်းယှဉ်လျှင်အဘို့ဆုခခြံနှင့် unrewarded စမ်းသပ်မှုတွေသို့ခွဲခြားခြင်း, PR = 1 ကိစ္စတွင်များအတွက်ရလဒ်များကိုပြသထားတယ်။ အဆိုပါ simulated ရလဒ်များကိုသူတို့ကမသေချာမရေရာဆုလာဘ်မှပိုက်ကွန်အပြုသဘောတုံ့ပြန်မှုအဖြစ်အဆိုပါ PR = 0.5 အမှု၌အမြင့်ဆုံးဖြစ်သည့်လုပ်မယ်လို့အကျိုးသက်ရောက်မှု, ပုံတူပွားကြောင်းအတွက်အနီးကပ်စမ်းသပ် data တွေကိုဆင်တူနေသည်။

စမ်းသပ်မှု T တွင်ရရှိသောအကျိုးကျေးဇူး (t = N) ၏အချိန်တွင်ပျမ်းမျှတုန့်ပြန်မှု (ဥပမာ - ပျမ်းမျှ TD အမှား (T (N)) ကိုရိုးရိုးရှင်းရှင်းရိုက်။ နှောင့်နှေးသောလိုင်းအချိန်ကိုယ်စားပြုမှုနှင့် TD သင်ယူမှုစည်းမျဉ်းမှရယူရန်မှာလွယ်ကူသည်။ ပုံသေလေ့လာမှုနှုန်းα။ ရုံးတွင်းစမ်းသပ်မှုတစ်ခု၏နောက်ဆုံး timestep မှလာမည့်တန်ဖိုး (trial တန်ဖိုး၏တန်ဖိုး) (ကန ဦး တန်ဖိုးများကိုသုညအဖြစ်သတ်မှတ်သည်) သည်

ဘယ်မှာ r (t) ရုံးတင်စစ်ဆေး t ရဲ့အဆုံးမှာဆုဖြစ်ပါတယ်။ စမ်းသပ်မှု T ၏နောက်ဆုံး timestep မှာအမှား signal ကိုရိုးရိုးရရှိခဲ့ဆုလာဘ် r (T), ထိုဆုလာဘ် VT - 1 (N - 1) ကိုခန့်မှန်းတန်ဖိုးအကြားခြားနားချက်ဖြစ်ပါတယ်။ ဤသည်အမှားဖြစ်နိုင်ခြေ pr နှင့်အတူအပြုသဘောဖြစ်ပြီး, ဖြစ်နိုင်ခြေနှင့်အတူအနုတ်လက္ခဏာ (1 - pr) ။ အနုတ်လက္ခဏာအမှားများကို∈ factor (0, 1] ၏အချက်အားဖြင့်ချိန်ဆခြင်းဖြင့်ကျွန်ုပ်တို့သည်ရရှိသည်

အပြုသဘောနှင့်အပျက်သဘောအမှားအယွင်းများ (ဃ = 1) ၏အချိုးကျနိုင်တဲ့ coding အဘို့, ပျမ်းမျှတုံ့ပြန်မှု 0 ဖြစ်ပါတယ်။ အချိုးမညီနိုင်တဲ့ coding (0 များအတွက် သဲလွန်စအေးစက်: တစ်စမ်းသပ်မှုအမှု

ကျွန်ုပ်တို့၏အဓိပ္ပာယ်ဖွင့်ဆိုချက်အတွက်အရေးကြီးသောစမ်းသပ်မှုတစ်ခုမှာ Fiorillo et al ။ ၏ [15] လုပ်ငန်းတာဝန်နှင့် Morris et al ၏အလားတူပရိယာယ်လုပ်ငန်းတွင်ပေါ်ပေါက်လာသည်။ [16] နှစ် ဦး စလုံးသဲလွန်စအေးစက်ပါဝင်သော။ ရရှိသောအကျိုးကျေးဇူးသည်ကြိုတင်ခန့်မှန်းသည့်လှုံ့ဆော်မှု၏ offset နှင့်တိုက်ဆိုင်သည့်နောက်ကျသောအခြေအနေ (ပုံ ၃ က) နှင့်နှိုင်းယှဉ်လျှင်ဤနေရာတွင်ခန့်မှန်းလှုံ့ဆော်မှု၏ offset နှင့်အကျိုးကျေးဇူးရရှိမှု (ပုံ ၃ ခ) အကြားသိသိသာသာကွာဟချက်ရှိသည်။ ရှင်းနေသည်မှာဤကိစ္စတွင်ဆုကြေးငွေနှင့် ပတ်သက်၍ မသေချာမရေရာမှုသည်နှိုးဆွမှုနှင့်ဆုလာဘ်အကြားကြားကာလကိုဆူညံမှုကြောင့်ဆူညံမှုကြောင့်သာပိုမိုကြီးမားလာနိုင်သည်။ ထို့ကြောင့်မရေရာမှုအကောင့်အောက်တွင်နှိုင်းယှဉ်နိုင်သောသို့မဟုတ်ပိုမိုကြီးမားသောချဉ်းကပ်လမ်းများရှိသင့်သည်။ သို့သော်စမ်းသပ်ရလဒ်များကချဉ်းကပ်မှုလှုပ်ရှားမှုသေးငယ်သို့မဟုတ်ပင်မှုမရှိခြင်းကိုဖြစ်ပြသ (ပုံ 3c; d) ။ သို့သော်သတိပြုရန်မှာမျှော်လင့်ထားသည့်အချိန်ကာလအတွင်းစမ်းသပ်မှု - ပျှမ်းမျှအားထုတ်မှု၏ပမာဏကိုချဉ်းကပ်ခြင်း၏မြင့်မားမှုနှင့်မျှော်လင့်ထားသည့်ဆုလာဘ်၏အချိန်၌အပြုသဘောဆောင်သောလှုပ်ရှားမှုပမာဏအကြားကွဲလွဲမှုကိုညွှန်ပြခြင်းဖြစ်ကြောင်းသတိပြုပါ။

ပုံ 3 ။ ဖြစ်နိုင်ဖွယ်အလားအလာဆုလာဘ်နှင့်အတူအေးစက်ခြေရာကောက်။
(က) Fiorillo et al ၏နှောင့်နှေးအေးစက်တာဝန်၏တ ဦး တည်းရုံးတင်စစ်ဆေး၏ဥပမာတစ်ခု။ [15] ။ စမ်းသပ်မှုတစ်ခုသည် ၂ စက္ကန့်ကြာသောအမြင်အာရုံကိုလှုံ့ဆော်ပေးသည်။ ၎င်းသည်အမြင်အာရုံပြခြင်းနှင့်ဆက်နွယ်သောဖြစ်နိုင်ခြေအရပရိုဂရမ်ဖြစ်ပါကဖျော်ရည်ဆုကိုပေးအပ်ခြင်းနှင့်တိုက်ဆိုင်သည်။ ပြုပြင်မွမ်းမံထားသောစမ်းသပ်မှုများ၌လှုံ့ဆော်မှုသည်အကျိုးမရှိဘဲအဆုံးသတ်သွားသည်။ ဖြစ်ရပ်နှစ်ခုစလုံးတွင်ကြားဖြတ်စစ်ဆေးမှုကြားကာလသည် ၉ စက္ကန့်ကိုပျမ်းမျှအားဖြင့်စမ်းသပ်မှုများကိုခွဲထုတ်သည်။ (ခ) Morris et al ၏သဲလွန်စပြင်ဆင်ပေးသည့်လုပ်ငန်းတစ်ခုအားစမ်းသပ်မှုဥပမာတစ်ခု။ [2] ။ အရေးကြီးသောကွာခြားချက်မှာလှုံ့ဆော်မှု၏ offset နှင့်ဆုလာဘ် (the“ trace” ကာလ) အကြားသိသိသာသာယာယီနှောင့်နှေးမှုယခုရှိနေပြီ ဖြစ်၍ မည်သည့်ပြင်ပမှနှိုးဆွမှုကမျှော်လင့်ရမည့်အချိန်ကိုဖော်ပြသည်။ ၎င်းသည်ထပ်မံမသေချာမရေရာမှုများကိုပေးသည်။ ကြိုတင်ခန့်မှန်းထားသောဆုလာဘ်၏အချိန်ကိုက်မှုကိုပြည်တွင်း၌ဖြေရှင်းရမည်၊ ဤလုပ်ငန်း၌, [9] ၌ရှိသကဲ့သို့, အများအပြားအမြင်အာရုံလှုံ့ဆော်မှုတစ်ခု (ပြမ) တစ် ဦး ချင်းစီရုံးတင်စစ်ဆေးအတွက်တင်ဆက်ခဲ့သည်နှင့်တစ် ဦး ချင်းစီလှုံ့ဆော်မှုဆုလာဘ်တစ်ခုဖြစ်နိုင်ခြေနှင့်ဆက်စပ်ခဲ့သည်။ ဒီနေရာမှာမျောက်ဟာတုန့်ပြန်မှုကိုလုပ်ဆောင်ဖို့တောင်းဆိုခံခဲ့ရပါတယ် (လှုံ့ဆော်မှုကိုတင်ပြတဲ့ဘေးထွက်နဲ့သက်ဆိုင်တဲ့သော့ကိုနှိပ်ခြင်း)၊ အောင်မြင်မှုမပါဘဲရုံးတင်စစ်ဆေးခြင်းကိုရပ်စဲခဲ့သည်။ စမ်းသပ်မှု variable ကို Inter- ရုံးတင်စစ်ဆေးကြားကာလအားဖြင့်ကွဲကွာခဲ့သည်။ (ဂ၊ )) DA ပစ်ခတ်မှုနှုန်း (ချောချောမွေ့မွေ့) အခြေခံနှင့်နှိုင်းယှဉ်ပါကဆုလာဘ်များမျှော်လင့်ထားသည့်အချိန်တစ်ဝိုက်၊ ဆုလာဘ်စမ်းသပ်မှုများ (ဂ) နှင့်ပြန်လည်ဖြေကြားခြင်းမရှိသောစမ်းသပ်မှုများ (d) ။ (ဂ၊ d) ၂၀၀၄ မှ© 16 အား Elsevier မှခွင့်ပြုချက်ဖြင့်ပြန်လည်ပုံနှိပ်ခဲ့သည်။ လမ်းကြောင်းများကမျှော်လင့်သည့်ဆုလာဘ်၏အချိန်တွင်အလုံးစုံသောအပြုသဘောဆောင်သောတုံ့ပြန်မှုကိုဆိုလိုသည်။ အလားတူရလာဒ်များ (15) တွင်အကျဉ်းချုံးဖော်ပြထားသည့်ဂန္ထဝင်အေးစက်လုပ်ငန်းတွင်ရရှိခဲ့သည်။ ၎င်းသည် (ခ) တွင်ဖော်ပြထားသည့်လုပ်ငန်းခွင်၏သဘာ ၀ သဘောသဘာဝသည် (က) မှသဲလွန်စအေးစက်ခြင်းလုပ်ထုံးလုပ်နည်းကိုအသုံးပြုသောကြောင့်ဖြစ်သည်။ ။

DA ၏ TD မော်ဒယ်အလွယ်တကူသောဤစိတ်ရှုပ်စေသောဒေတာရှင်းပြသည်။ ပုံ 4 မှာပြထားတဲ့အတိုင်းချဉ်းကပ်လမ်းများ၏အသွင်သဏ္ဌာန်သို့သျောမရက၎င်း၏အထွတ်အထိပ်၏အမြင့်သည်သင်ယူမှုမှုနှုန်းကြောင့်ထိခိုက်နေပါတယ်။ အဲဒီချို့ယွင်းချက်အသစ်သောဟောကိန်းများ၏အွန်လိုင်းသင်ယူမှု၏အစိတ်အပိုင်းတစ်ရပ်အဖြစ်ပေါ်ထွန်းအဖြစ်ကျော-ဝါဒဖြန့်ခန့်မှန်းအမှားအယွင်းများ၏အရွယ်အစားသည်သင်ယူမှုနှုန်းကိုအသုံးပြုပုံတစ်စိတ်တစ်ဒေသအတွက်ဆုံးဖြတ်သည်။ အမှန်စင်စစ်တစ်ဆုခခြံရုံးတင်စစ်ဆေးပြီးနောက်, ဆုလာဘ်တစ်ခုမြင့်မားတဲ့မျှော်လင့်ထားရှိကြောင်းဤကဲ့သို့သောဟောကိန်းများတစ်ဦးစဉ်ဆက်မပြတ်မွမ်းမံ (နှင့်အရှင်နောက်တစ်နေ့ဆုလာဘ်သေးငယ်တဲ့ခန့်မှန်းချက်အမှားကျုးကျော်) ရှိသည် ဖြစ်. , အပြန်အလှန် non-ဆုလာဘ်ရုံးတင်စစ်ဆေး [18] (ပုံကိုကြည့်ပါအပြီး 2a) ။ မြင့်မားသင်ယူမှုနှုန်းကိုပြန်ရရှိစေရန်သောခန့်မှန်းအမှား၏အစိတ်အပိုင်းလက်ရှိခန့်မှန်းအမှားအညီဟောကိန်းများ၏ update ကပိုကြီးတဲ့, နှင့်ပိုကြီး - ဟောကိန်းများဒီမွမ်းမံတိုက်ရိုက်သင်ယူမှုမှုနှုန်းနှင့်ဆက်စပ်သောဖြစ်ပါတယ်။ လာမယ့်ဆုလာဘ်တစ်ခုဖြစ်သည်သို့မဟုတ်မရရှိနိုင်သည့်အခါဤနည်းအားဖြင့်အဆင့်မြင့်သင်ယူမှုနှုန်းထားများနှင့်အတူတစ်ဦး unrewarded ရုံးတင်စစ်ဆေးနှိုင်းယှဉ်ဆုခခြံတစ်ဦးပြီးနောက်မျှော်လင့်ချက်များအတွက်ကွာခြားချက်ပိုမိုကြီးမားဖြစ်နှင့်အရှင်ခန့်မှန်းအမှားအယွင်းများပါလိမ့်မယ်ပိုကြီးပါလိမ့်မည် - ဤအရပ်ပုပိုကြီးပြီးပိုတဖြည်းဖြည်းချဉ်းကပ်လမ်းပေါ်တွင်။

ပုံ 4 ။ နှုန်းကိုသင်ယူခြင်းအပေါ်ချဉ်းကပ်လမ်း၏မှီခို။
အဆိုပါချဉ်းကပ်လမ်း၏အသွင်သဏ္ဌာန်, ဒါပေမယ့်မရက၎င်း၏အထွတ်အထိပ်၏အမြင့်သည်သင်ယူမှုမှုနှုန်းအပေါ်မှီခိုသည်။ အဆိုပါဂရပ်မျှော်မှန်းဆုလာဘ်၏အချိန်အနီး PR = 0.5 ၏ဖြစ်ရပ်များအတွက် simulated လုပ်ဆောင်ချက်ကိုပြသ, ကွဲပြားခြားနားသောသင်ယူမှုနှုန်းထားများအဘို့, နှစ်ဦးစလုံးဆုခခြံနှင့် unrewarded စမ်းသပ်မှုတွေကျော်ပျမ်းမျှ။ TD အဆိုအရဆုလာဘ်၏အချိန်တစ်ချဉ်းကပ်လမ်းပေါ်တက်အတွက်ဆုခခြံနှင့် unrewarded စမ်းသပ်မှုတွေရလဒ်များကိုအတွက်လှုပ်ရှားမှုအပေါ်ပျမ်းမျှမြဲအချိုးမညီ coded ခန့်မှန်းအမှားများနှင့်အတူသင်ယူ။ ချဉ်းကပ်လမ်း၏အထွတ်အထိပ်၏အမြင့်ဆုခခြံနှင့် unrewarded စမ်းသပ်မှုတွေ၏အချိုးအစားကဆုံးဖြတ်တာဖြစ်ပါတယ်, သို့သော်, ချဉ်းကပ်လမ်း၏အနံဟာ (မျှော်မှန်း) ဆုလာဘ်၏အချိန်ကနေဤအမှားအချက်ပြမှုများ၏နောက်ကျော-ဝါဒဖြန့်နှုန်းကဆုံးဖြတ်တာဖြစ်ပါတယ် အဆိုပါကြိုတင်ခန့်မှန်းချက်လှုံ့ဆော်မှုများ၏အချိန်။ နောက်ကျောဝါဒဖြန့်အမှား၏ပိုကြီးတဲ့အစိတ်အပိုင်းအတွက်တစ်ဦးကပိုမိုမြင့်မားသင်ယူမှုမှုနှုန်းရလဒ်များကိုနှင့်အရှင်မြင့်မားချဉ်းကပ်လမ်းပေါ်တွင်။ ဆုလာဘ်၏ထိုအချိန်က (ပျမ်းမျှ) ကအပြုသဘောဆောင်လုပ်ဆောင်မှုနေဆဲထိန်းသိမ်းထားတာဖြစ်ပါတယ်ပေမယ့်အောက်ပိုင်းသင်ယူမှုနှုန်းထားများနှင့်အတူ, ချဉ်းကပ်လမ်း, မှုမရှိခြင်းကိုဖြစ်လာသည်။ ပုံ 1b တွင်ဖော်ပြပါရှိသည်အဆိုပါ Simulator အတွက်အသုံးပြုတဲ့သင်ယူခြင်းမှုနှုန်းပေမယ့်, ဃ 0.8 ခဲ့ကြောင်းမှတ်ချက်, ဤလှုံ့ဆော်မှုကျွန်တော်တို့ရဲ့သိထားကိုယ်စားပြုမှုပေးထားသည့်အာရုံကြောအလွှာ၏ပကတိ Synaptic သင်ယူမှုမှုနှုန်းအဖြစ်ခေါ်ဆောင်သွားမရသင့်ပါတယ်။ အာရုံခံ၏လူဦးရေတိုင်း timestep မှာတက်ကြွသောတစ်ဦးထက်ပိုလက်တွေ့ကျကိုယ်စားပြုမှုအတွက်တစ်အများကြီးနိမ့်သင်ယူမှုနှုန်းမှာအလားတူရလာဒ်များထုတ်လုပ်ရန်လိမ့်မယ်။

အမှန်စင်စစ်အေးစက်နှောင့်နှေးနှိုင်းယှဉ်, သဲလွန်စအေးစက်စမ်းသပ်ရလဒ်များကိုနဲ့အညီတစ်ဦးအနိမ့်ချဉ်းကပ်လမ်းပေါ်ရှိသင့်ကြောင်းအရှင်သင်ယူမှုနှုန်းမှာအနိမ့်ကြောင်းအကြံပြု, နာမည်ဆိုးနှေးကွေးသည် ဖြစ်. , ။ မောရစ် et al ၏ဒေတာအတွက်သင်ယူမှုမှုနှုန်း၏တစ်ဦးကတိုက်ရိုက်စာမေးပွဲ။ [16] အဘယ်သူ၏တာဝန်ကသဲလွန်စအေးစက်တဦးတည်းသာဖြစ်ခဲ့သည်ဒါပေမယ့်လည်းတစ်ဦးဆာပအရေးယူဆောင်ရွက်မှုပါဝင်ပတ်သက်အဖြစ်အလွန်အကျွံလေ့ကျင့်ရေးလိုအပ်, (Genela မောရစ် - ပုဂ္ဂိုလ်ရေးဆက်သွယ်ရေး, 2004) အလွန်နိမ့်စေခြင်းငှါအမှန်ပင်ကအတည်ပြုပြောကြားခဲ့သည်။

ဆွေးနွေးမှု

DA အာရုံခံခြင်းဖြင့်အပြုသဘောနှင့်အပျက်သဘောတန်ဖိုးများ၏ differential ကိုနိုင်တဲ့ coding ကတော့ phasic DA signal ကိုအပေါငျးတို့သလေ့လာမှုများအတွက်ထင်ရှား၏, ဤအာရုံခံ၏အနိမ့်အခြေခံလုပ်ဆောင်မှုတစ်ခုမလွှဲမရှောင်အကျိုးဆက်အဖြစ်မှတ်နိုင်ပါသည်။ အမှန်စင်စစ်အဆုံးစွန်သောတိုက်ရိုက်အနေနဲ့ပြိုင်ဘက် neurotransmitter, putatively serotonin, ကိုယ်စားပြုခြင်းနှင့်ထိုကြောင့်သူတို့သည်လည်းအပြည့်အဝလေးပုံတပုံရှိသည်သောကြောင့်, [20] ကအနုတ်လက္ခဏာခန့်မှန်းအမှားများကိုသင်ယူခြင်းတွင်ပါဝင်ပတ်သက်စေခြင်းအကြံပြုချက်များမှုတ်သွင်းထားပါတယ်။ ဤတွင်သို့သော်ကျနော်တို့ dopamine လှုပ်ရှားမှုများ၏တရားခွင်-ပျမ်းမျှအားဆန်းစစ်အပေါ် asymmetry များ၏သက်ရောက်မှုများထည့်သွင်းစဉ်းစားရန်ကိုယျ့ကိုယျကိုချုပ်ထားကြနှင့်ဆုလာဘ်၏ထိုအချိန်က DA လှုပ်ရှားမှုအဖြစ်ပျမ်းမျှအပြုသဘောတုန့်ပြန်လုပ်မယ်လို့ကနေတိုက်ရိုက်ဖြစ်ပေါ်ကြောင်းပြသကြ ခန့်မှန်းအမှားအယွင်းများများ၏အချိုးမညီနိုင်တဲ့ coding ။

အပြင်အမှား signal ကိုတစ်ဦးရှင်းလင်းအမြင်ကနေအသစ်ကအနက်အရေးကြီးဆုံးအကျိုးဆက်ချဉ်းကပ်လမ်းယခုတိုင်အောင်အလွန်တွေ့ရခဲသောဖြစ်တော်မူကြောင်းကိုတစ်ဦး TD ဖြစ်ရပ်ဆန်းတစ်ခုလက်မှတ်အဖြစ်ရှုမြင်နိုင်ပါတယ်ဖြစ်ပါတယ်။ ဒါဟာဆုလာဘ်၏အချိန်ကနေခန့်မှန်း (ပုံ 2a) ၏အချိန်, DA လှုပ်ရှားမှုကကိုယ်စားပြုအမှား signal ကို၏တိုးတက်သောပြန်-ဝါဒဖြန့်သည်။ အများစုမှာ dopaminergic လှုပ်ရှားမှု၏ယခင်လေ့လာမှုများ (ပုံမှန်အားဖြင့်, အသံသွင်းရသေးစတင်ကြပြီမဟုတ်အခါ,) ဒါမှသာလေ့ကျင့်ရေးရဲ့အစမှာသိသာမှာအကောင်းဆုံးတစ်ဦးကူးပြောင်းရေးကာလဖြစ်ရပ်ဆန်းဒီနောက်ကျော-ဝါဒဖြန့်အောင်, PR = 1 ကိုအသုံးပြုကြခြင်းနှင့် slow- အတွက်ပိုင်းခြားအလားအလာခက် DA အာရုံခံပစ်ခတ်။ က [6] မဟုတ်တစ်ခုလုံးကို span ထားတဲ့ကိုယ်စားဘို့၌ရှိသကဲ့သို့တစ်ပုတ်နှောင့်နှေးလိုင်းကိုယ်စားပြုမှုများအတွက်ပစ္စုပ္ပန်ဖြစ်ပါသည် - ဖော်ပြခဲ့တဲ့အတိုင်းနောက်ထပ်, နောက်ကျော-ဝါဒဖြန့်သည့်အတွက်ကြိုတင်ခန့်မှန်းချက်လှုံ့ဆော်မှုများအကြားအချိန်နှင့်အကျိုးကိုကိုယ်စားပြုကြောင်းလမ်းပေါ်မူတည် ထိုကဲ့သို့သော [21] ၌ရှိသကဲ့သို့နှောင့်နှေး။ ချဉ်းကပ်လမ်းများ၏အသွင်သဏ္ဌာန်လည်းလေ့လာသင်ယူနေစဉ်အတွင်းဖြစ်ရပ်များအကြားအချိန်ပေါင်းကူးဆက်သွယ်များအတွက်အပိုဆောင်းယန္တရားပေးသည့်အရည်အချင်းပြည့်မီခြေရာတွေနဲ့ဒါခေါ် TD (λ) သင်ယူမှုစိုးမိုးရေး (ပုံရိပ်စစ်ပြမပါ) ၏အသုံးပြုမှုကိုအပေါ်မူတည်ကြောင်းသတိပြုပါ။ ဒေတာအတွက်ရိုး၏ပုံစံများအစား variable ကို (1 တွက်ဆ) နှင့်ဆူညံနေကြသည်အဖြစ်ကံမကောင်းစွာပဲ, သူတို့ကဦးနှောက်ကိုအသုံးပြုတဲ့တိကျသော TD ​​ယန္တရားအပေါ်ခိုင်မာတဲ့သတ်မပေးနိုငျသညျ။
ဇွဲခန့်မှန်းအမှားအယွင်းများပါဝင်သောကပိုမကြာသေးမီလေ့လာမှုများကိုလည်း [4] ၏အထူးသပုံ 13 ပြန်-ဝါဒဖြန့်ရဲ့သဘောထားအကြံပြုချက်များလှုပ်ရှားမှုပြသပါ။ ဒီလေ့လာမှုမှာ, ခန့်မှန်းအမှားများကိုတာဝန်အတွက်သည် Periodic အပြောင်းအလဲများကနေရလဒ်နှင့် DA အသံသွင်းဒီလှုပ်ရှားမှု quantified မခံခဲ့ရပေမယ့်, အရှင်ကျော-ဝါဒဖြန့်ကဲ့သို့လှုပ်ရှားမှုတိုက်ရိုက်သိသာသည်လေ့ကျင့်ရေးစတင်ခြင်းကနေဖန်ဆင်းတော်ခဲ့ကြသည်။

ကျနော်တို့ရိုးသင်ယူမှုဖြစ်စဉ်များအတိုင်းလေ့လာသင်ယူမှုနှုန်းကိုသုညမှလျော့မထားဘူးသာလျှင်လေ့ကျင့်ရေးတလျှောက်လုံးဆက်လက်မျှော်လင့်သည်။ မသေချာမရေရာမှုဖြင့်သင်ယူခြင်းကိုထိန်းချုပ်ခြင်း၏ Pearce & Hall ၏ [22] သီအိုရီသည်လေ့လာမှု၏ဤဇွဲကိုအတိအကျအကြံပြုသည်။ တစ်စိတ်တစ်ပိုင်းအားဖြည့်အစီအစဉ်များမှရရှိသောအကျိုးကျေးဇူးများသည်ဆုလာဘ်နှင့်ဆက်နွယ်သောမသေချာမရေရာမှုများပိုမိုများပြားလာပါကပိုမိုမြင့်မားနိုင်သည်ဟုသက်သေပြသည်။ အမှန်မှာခန့်မှန်းသူများနှင့်ရလဒ်များအကြားဆက်နွယ်မှုနှင့် ပတ်သက်၍ မသေချာမရေရာမှုများရှိနေသောအခါ 'ဆင်ခြင်တုံတရား' ဆိုင်ရာစာရင်းအင်းရှုထောင့်မှကြည့်လျှင်သင်ယူမှုသည်ဆက်လက်တည်ရှိနေသင့်သည်။ ဤသည် persistent မသေချာမရေရာမှုပုံစံနှင့်အတူတာဝန်နှင့်ပတ်သက်။ ကန ဦး မသိဘဲကြောင့်မသေချာမရေရာမှု, Pearce & Hall ရဲ့မသေချာမရေရာသင်ယူမှုမောင်းသောလမ်း၏ 23 [သီအိုရီ] တရားဝင်အသုံးပြုခဲ့ကြသည်။ ထို့ကြောင့်မသေချာမရေရာမှုကိုချဉ်းကပ်လမ်းများဖြင့်တိုက်ရိုက်ကိုယ်စားပြုမည်မဟုတ်ပါဟူသောကျွန်ုပ်တို့၏ပြောဆိုချက်ကို၎င်း၏ကိုယ်စားပြုမှုနှင့်ခြယ်လှယ်မှုသည်အရေးမကြီးဟုဆိုလိုသည်ကိုသေချာစွာမယူသင့်ပါ။ ဆန့်ကျင်ဘက်အားဖြင့်ကျွန်ုပ်တို့သည်မသေချာမရေရာမှုသည်အခြား neuromodulatory systems များမှ cortical အခြနှင့်လေ့လာမှုကိုသြဇာလွှမ်းမိုးကြောင်းနှင့် ၂၂ လုပ်ဆောင်ချက်များရွေးချယ်ခြင်း၏ရှုထောင့်များကိုလည်းဆုံးဖြတ်ရန်အကြံပြုသည်။

အဆိုပါ asymmetry အမျိုးမျိုးကိုအခြား features တွေသတိပြုသင့်ပါတယ်။ အများစုကဝေဖန်အောက်ပါအခြေခံ DA လှုပ်ရှားမှုလည်းမြင့်မားသောဟောကိန်းများလျော့ကျလာများအတွက်သူ့ဟာသူတာဝန်ရှိသည်လျှင် DA-မှီခို [26] သင်ယူခြင်းအပေါ် asymmetry ၏အကျိုးသက်ရောက်မှုသည်။ အဆိုပါလေ့လာသင်ယူဟောကိန်းများမှန်ကန်သောကျန်ကြွင်းသောသေချာစေရန်အလို့ငှာ, ကျနော်တို့ Synaptic အားသာချက်၏အလားအလာနှင့်စိတ်ကျရောဂါအဘို့အထိုကဲ့သို့သောကွဲပြားခြားနားမှုကြီးလျှော့ချအဖြစ်ယန္တရားအတွက်အချိုးမညီအမှား signal ကိုများအတွက်အစားထိုးချေကြောင်း, ဆိုလိုသည်မှာယင်းအချိုးမညီသည့်ကိုယ်စားပြုမှုသင်ယူခြင်းမထိခိုက်ပါဘူးယူဆရန်ရှိသည်လိမ့်မယ်။ တစ်ဦးပြိုင်ဘက် neurotransmitter အနုတ်လက္ခဏာခန့်မှန်းအမှားများမှသင်ယူအတွက်ပါဝင်ပတ်သက်လျှင်၏သင်တန်း, ဒီ moot ပြန်ဆိုမည်ဖြစ်သည်။ ဤပြဿနာကို DA ပစ်ခတ်ရန်နှုန်းထားများအမှန်တကယ်အနိမ့်ပစ်ခတ်ရန်မှုနှုန်း၏ကြမ်းပြင်အကျိုးသက်ရောက်မှုကြောင့်ဖြစ်ကောင်းအချို့အပျက်သဘောတံခါးခုံကိုအောက်တွင်အားလုံးခန့်မှန်းအမှားအယွင်းများများအတွက်အလားတူဖြစ်ကြောင်း Bayer [14] ၏အကြံပြုချက်အားဖြင့်ရှုပ်ထွေးနေသည်။ ထိုသို့သော lossy encoding ကရိုးပေါ်ပေါက်ရေးအပေါ်အချင်းချင်းရုံးတင်စစ်ဆေးပျှမ်းမျှများ၏သက်ရောက်မှုများအရည်အသွေးရုပ်ပုံလွှာမထိခိုက်ပါဘူး, ဒါပေမဲ့သေချာပေါက်အချိုးကျတဲ့သင်ယူမှုများအတွက်ပြိုင်ဘက် signal ကိုရှိဘို့လိုအပ်ကြောင်းအားဖြည့်ဘူး။

နောက်ဆုံးအနေနှင့်ကျွန်ုပ်တို့၏အနက်အဓိပ္ပာယ်ဖွင့်ဆိုချက်ကိုတိုက်ရိုက်စမ်းသပ်မှုသည် DA အချက်ပြမှု၏ပျမ်းမျှနှိုင်းယှဉ်မှုနှင့်ကြားဖြတ်စစ်ဆေးမှုဖြစ်သည်။ စာရေးကိရိယာမဟုတ်သောအချက်ပြပျမ်းမျှပြproblemsနာများကိုရှောင်ရှားရန်အတွက်၎င်းကိုယာယီခေတ်မီဆန်းပြားစွာလုပ်ဆောင်ရန်အရေးကြီးသည်။ အာရုံကြောပစ်ခတ်မှုအတွင်းဆူညံသံကိုကျော်လွှားနိုင်ရန်နှင့်စမ်းသပ်မှုအတွင်းတဖြည်းဖြည်းချဉ်းကပ်လမ်းပေါ်ရှိခဲ့ရှိမရှိဆုံးဖြတ်ရန်သို့မဟုတ်, ငါတို့ကြိုတင်ခန့်မှန်းသည့်အတိုင်း - ပြတ်တောင်းပြတ်တောင်းအပြုသဘောနှင့်အနှုတ်လက္ခဏာခန့်မှန်းအမှားအယွင်းများ, အတွင်းတစ်ပြိုင်နက်မှတျတမျးတငျထားအာရုံခံအများအပြားကျော်ပျမ်းမျှလိုအပ်သောလိမ့်မည် တ ဦး တည်းစမ်းသပ်မှုနှင့်ထို့အပြင်အလားတူသင်ယူမှုနှုန်းနှင့်ဆက်စပ်အာရုံခံ။ တနည်းအားဖြင့်တစ်ခုတည်းသောအာရုံခံဆဲလ်များသည်သူတို့၏ယခင်စမ်းသပ်မှုများနှင့် TD သင်ယူမှုတို့ကကြိုတင်ခန့်မှန်းထားသည့် backpropagation response ကိုပြန်လည်ဆုတ်ယုတ်နိုင်သည်။ ထိုကဲ့သို့သောမော်ဒယ်ကရှင်းပြသည်အမျိုးမျိုးပြောင်းလဲပမာဏ၏တစ် ဦး ကနှိုင်းယှဉ်လျှင်, လှုပ်ရှားမှုတစ်ခု monotonic ချဉ်းကပ်လမ်းပေါ်ဆန့်ကျင်နေတဲ့ဆုတ်ယုတ်ခြင်းနှင့်နှိုင်းယှဉ်လျှင်, အရှိဆုံးသင့်လျော်မော်ဒယ်ထောက်ပြနိုင်ပါတယ်။ ပို၍ ရိုးရှင်းလွယ်ကူသော်လည်းစမ်းသပ်နိုင်သောခန့်မှန်းချက်သည်ချဉ်းကပ်မှုပုံစံသည်သင်ယူမှုနှုန်းပေါ်မူတည်သင့်သည်။ သင်ယူမှုနှုန်းသည်ချဉ်းကပ်ပုံ၏ပုံစံနှင့်မသက်ဆိုင်ဘဲဖြစ်နိုင်ခြေရှိသောဆုလာဘ်များအပေါ်တုံ့ပြန်မှုမှအကဲဖြတ်နိုင်သည် (Nakahara et al ။ [18] ထိုကဲ့သို့သောနည်းဖြင့်ပြသခြင်းအားဖြင့်သူတို့၏တစ်စိတ်တစ်ပိုင်းအားဖြည့်ခြင်းအားပြန်လည်စစ်ဆေးခြင်းလုပ်ငန်း၌သင်ယူမှုနှုန်းသည် ၀.၃) ဖြစ်သည်။ နှင့်လေ့ကျင့်မှုပမာဏသို့မဟုတ်တာဝန်ပေါ်ပေါက်လာပြောင်းလဲနှင့်အသစ်ပြန်လာသောနှင့်အတူကြိမ်နှုန်းကွဲပြားအားဖြင့်ကြိုးကိုင်။ အမှန်စင်စစ်၊ Nakahara et al ။ ၏မှတ်တမ်းတစ်ခု၏ချဉ်းကပ်ပုံ၏တည်ရှိမှုနှင့်ပုံသဏ္quantာန်ကိုတိုင်းတာရာတွင်လက်ရှိအဆိုပြုချက်ကိုကောင်းစွာသိရှိနိုင်သည်။

ယှဉ်ပြိုင်အကျိုးစီးပွား
စာရေးသူ (s) ကိုသူတို့အဘယ်သူမျှမယှဉ်ပြိုင်အကျိုးစီးပွားများကြေညာလိုက်ပါသည်။

စာရေးဆရာ '' ပံ့ပိုးမှုများကို
yn, MD နဲ့ PD ပူးတွဲပဋိသန္ဓေနှင့်ဤလေ့လာမှုကွပ်မျက်ခံရ, နှင့်လက်ရေးမူများမှာတွေ့နိုင်ပါတယ်ရေးဆွဲကူညီပေးခဲ့သည်။ အားလုံးစာရေးဆရာများနောက်ဆုံးလက်ရေးမူများမှာတွေ့နိုင်ပါတယ်ဖတ်ပါနှင့်အတည်ပြုခဲ့သည်။

ကျေးဇူးတင်လွှာ
ကျနော်တို့အချက်အလက်များ၏အနက်အမျိုးမျိုးကွဲပြားနေသော်လည်းအချို့ကိစ္စများတွင်ဆွေးနွေးမှုနှင့်မှတ်ချက်အဘို့အအိပ်ချ် Bergman, C. Fiorillo, N. ဒေါ်, ဃယောလ, P. Tobler, P. Shizgal နှင့်ဒဗလျူ Schultz ရန်အလွန်ကျေးဇူးတင်ရှိပါသည်။ ကျနော်တို့ချဉ်းကပ်လမ်းပေါ်စပ်လျဉ်းသူမ၏ကိုယ်ပိုင်ထုတ်ဝေခြင်းနှင့်အတည်မပြုရသေးသောဒေတာကိုခွဲခြားစိတ်ဖြာဘို့ Genela မောရစ်မှအထူးကျေးဇူးတင်ရှိပါသည်။ ဤလုပ်ငန်းကိုရွေးကောက်ပွဲကော်မရှင်ကိုညီလာခံကွန်ယက် (yn), အဂက်စဘီကုသိုလ်ဖြစ်ဖောင်ဒေးရှင်းနှင့်အီးယူ BIBA စီမံကိန်းကြောင့်ငွေကြေးထောက်ပံ့ခဲ့သည်။

ကိုးကား

1 ။ Ljungberg T က, Apicella P ကို, Schultz W: အပြုအမူတုံ့ပြန်မှုများလေ့လာသင်ယူနေစဉ်အတွင်းမျောက် dopamine အာရုံခံ၏တုံ့ပြန်ချက်။
ဂျာနယ် Neurophysiol 1992, 67: 145-163 ။
စာသားမသို့ပြန်သွားသည်
2 ။ Schultz W: dopamine အာရုံခံ၏ခန့်မှန်းဆုလာဘ် signal ကို။ [http://jn.physiology.org/cgi/content/full/80/1/1] webcite
Neurophysiology 1998, 80 ၏ဂျာနယ်: 1-27 ။ PubMed Abstract
စာသားမသို့ပြန်သွားသည်
၃။ O'Doherty J, Dayan P, Friston K, Critchley H, Dolan R: လူ့ ဦး နှောက်တွင်ယာယီခြားနားမှုပုံစံများနှင့်ဆုလာဘ်နှင့်သက်ဆိုင်သောသင်ယူမှု။
အာရုံခံဆဲလျ 2003, 38: 329-337 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
၄။ Seymour B၊ O'Doherty J၊ Dayan P, Koltzenburg M, Jones A, Dolan R, Friston K, Frackowiak R - ယာယီခြားနားမှုပုံစံများသည်လူသားများတွင်အဆင့်မြင့်သင်ကြားမှုကိုဖော်ပြသည်။
သဘာဝတရား 2004, 429: 664-667 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
5 ။ ဂူ PR စနစ်, Hyman SE, Cohan JD: အမူအကျင့်ထိန်းချုပ်မှုအတွက် dopamine ဘို့တွက်ချက်အခန်းကဏ္ဍ။
သဘာဝတရား 2004, 431: 760-767 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
6 ။ ဂူ PR စနစ်ဒါယန်း P ကို, Sejnowski တီဂျေ: ကြိုတင်ခန့်မှန်းချက် Hebbian သင်ယူမှုအပေါ်အခြေခံပြီး mesencephalic dopamine စနစ်များများအတွက်တစ်ဦးကမူဘောင်။
အာရုံကြောသိပ္ပံ 1996, 16 ၏ဂျာနယ်: 1936-1947 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
7 ။ Schultz W ကဒါယန်း P ကို, မွန်တဂူ PR စနစ်: ခန့်မှန်းခြင်းနှင့်ဆုလာဘ်တစ်ခုအာရုံကြောအလွှာဟာ။
သိပ္ပံ 1997, 275: 1593-1599 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
8 ။ Sutton သည် RS: ယာယီခြားနားချက်များ၏နည်းလမ်းအားဖြင့်ကြိုတင်ခန့်မှန်းဖို့သင်ယူခြင်း။
စက်သင်ယူ 1988, 3: 9-44 ။
စာသားမသို့ပြန်သွားသည်
9 ။ Sutton RS, Barto AG က: [http://www.cs.ualberta.ca/~sutton/book/ebook/the-book.html] webcite
အားဖြည့်သင်ယူမှု: တစ်ခုကမိတ်ဆက်စကား။ MIT ကစာနယ်ဇင်း; 1998 ။
စာသားမသို့ပြန်သွားသည်
10 ။ Hollerman J ကို, Schultz W: Dopamine အာရုံခံလေ့လာသင်ယူနေစဉ်အတွင်းဆုလာဘ်၏ယာယီခန့်မှန်းမှာအမှားသတင်းပို့ပါ။
သဘာဝတရားအာရုံကြောသိပ္ပံ 1998, 1: 304-309 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
11 ။ Schultz W က, Apicella P ကို, Ljungberg T က: မျောက် dopamine အာရုံခံ၏တုံ့ပြန်ချက်ဆုချဖို့နဲ့ conditional လှုံ့ဆော်မှုတစ်ခုနှောင့်နှေးတုန့်ပြန်တာဝန်သင်ယူ succesive ခြေလှမ်းများကာလအတွင်း။
အာရုံကြောသိပ္ပံ 1993, 13 ၏ဂျာနယ်: 900-913 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
12 ။ Tobler P ကို, Dickinson တစ်ဦးက, Schultz W: တစ်အေးစက်တားစီး Paradigm အတွက် Dopamine အာရုံခံအားဖြင့်ခန့်မှန်းဆုကြေးပျက်ကွက်၏ Coding ။
အာရုံကြောသိပ္ပံ 2003, 23 (32) ၏ဂျာနယ်: 10402-10410 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
13 ။ Takikawa Y ကို, Kawagoe R ကို, Hikosaka အို: အနေအထား-ဆုလာဘ်မြေပုံမှ saccades ၏ရေတိုနှင့်ရေရှည်လိုက်လျောညီထွေအတွက် midbrain dopamine အာရုံခံ၏တစ်ဦးကဖြစ်နိုင်သမျှအခန်းကဏ္ဍ။
Neurophysiology 2004, 92 ၏ဂျာနယ်: 2520-2529 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
14 ။ Bayer H ကို: သင်ယူမှုနှင့်မော်တာထိန်းချုပ်မှုအတွက် substantia nigra တစ်အခန်းကဏ္ဍ။
ပါရဂူဘွဲ့စာတမ်း, နယူးယောက်တက္ကသိုလ် 2004 ။
စာသားမသို့ပြန်သွားသည်
15 ။ Fiorillo ကို C, Tobler P ကို, Schultz W: Dopamine အာရုံခံခြင်းဖြင့်ဆုကြေးဖြစ်တန်ရာကိန်းနှင့်မငြိမ်သက်မှုကြောင့်များ၏ပြတ် Coding ။
သိပ္ပံ 2003, 299 (5614): 1898-1902 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
16 ။ မောရစ်, G, Arkadir: D, Nevet တစ်ဦးက, Vaadia အီး, Bergman H ကို: တိုက်ဆိုင်မှုပေမယ် midbrain dopamine နဲ့ striatal ၏ကွဲပြားမက်ဆေ့ခ်ျလုပ်သူများတက်ကြွအာရုံခံ။
အာရုံခံဆဲလျ 2004, 43: 133-143 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
17 ။ Barto တစ်ဦးက, Sutton R ကို, Watkins က C: သင်ယူနှင့် sequntial ဆုံးဖြတ်ချက်ချ။ သင်ယူခြင်းနှင့်တွက်ချက်အာရုံကြောသိပ္ပံများတွင်: အလိုက်ကွန်ရက်၏ Foundations ။ ဂါဗြေလက M, Moore ကဂျေကင်းဘရစ်, MA တည်းဖြတ်: MIT ကစာနယ်ဇင်း; 1990: 539-602 ။
စာသားမသို့ပြန်သွားသည်
18 ။ Nakahara H ကို, Itoh H ကို, Kawagoe R ကို, Takikawa Y ကို, Hikosaka အို: Dopamine အာရုံခံအခြေအနေတွင်-မှီခိုခန့်မှန်းအမှားကိုယ်စားပြုနိုင်ပါတယ်။
အာရုံခံဆဲလျ 2004, 41: 269-280 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
19 ။ Gallistel CR, မျောက်လွှဲကျော် J ကို: အချိန်, မှုနှုန်းနှင့်အေးစက်။
စိတ်ပိုင်းဆိုင်ရာပြန်လည်ဆန်းစစ်ခြင်း 2000, 107: 289-344 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
20 ။ ဒေါ် ND, Kakade S ကဒါယန်း P ကို: serotonin နဲ့ dopamine အကြားပြိုင်ဘက် interaction က။
အာရုံကြောကွန်ယက် 2002, 15 (4-6): 603-616 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
21 ။ Suri RE, Schultz W: တစ် Spatial နှောင့်နှေးတုန့်ပြန်တာဝန်သိကြောင်း dopamine တူသောအားဖြည့် signal ကိုအတူတစ်ဦးကအာရုံကြောကွန်ယက်ကိုမော်ဒယ်။
neuroscience 1999, 91: 871-890 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
22 ။ Pearce JM, ခန်းမ, G: ခြွင်းချက်မရှိလှုံ့ဆော်မှု၏ conditional ၏ထိရောက်မှုအတွက်အပြောင်းအလဲတွေဟာသော်လည်းမ: Pavlovian သင်ယူမှုများအတွက်မော်ဒယ်။
စိတ်ပိုင်းဆိုင်ရာပြန်လည်ဆန်းစစ်ခြင်း 1980, 87: 532-552 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
23 ။ ဒါယန်းကို P ကို, Kakade S က, မွန်တဂူ PR စနစ်: သင်ယူနှင့်ရွေးချယ်အာရုံစူးစိုက်မှု။
သဘာဝတရားအာရုံကြောသိပ္ပံ 2000, 3: 1218-1223 ။ PubMed Abstract | ထုတ်ဝေသူအပြည့်အဝစာသား
စာသားမသို့ပြန်သွားသည်
24 ။ ဒါယန်းကို P ကို, ယုဖြေမျှော်မှန်းခြင်းနှင့်မျှော်လင့်မထားတဲ့မသေချာမရေရာ: အ neocortex အတွက် ACH နှင့် NE ။ [http: //books.nips.ce/papers/files/nips15/NS08.pdf] webcite
Dietterich T က, Becker က S နဲ့, Ghahramani Z. ကင်းဘရစ်, MA တည်းဖြတ်သည်ဦးနှောက်ကဲ့သို့ရှုပ်ထွေးသောပြန်ကြားရေးထုတ်ယူခြင်း Sysytems အတွက်ကြိုတင်: MIT ကစာနယ်ဇင်း; 2002, 14: 189-196 ။
စာသားမသို့ပြန်သွားသည်
25 ။ ဒေါ် N ကို, င်း Y ကိုဒါယန်း P ကို: လုပ်ဆောင်ချက်များ, မူဝါဒများ, တန်ဖိုးများကို၎င်း, Basal Ganglia ။ Basal Ganglia သုတေသနအတွက်လတ်တလောအောင်မြင်မှုများအတွက်။ Bezard အီးနယူးယောက်, USA သို့တည်းဖြတ်: Nova သိပ္ပံထုတ်ဝေသူများ, Inc မှ, စာနယ်ဇင်း၌တည်၏။
စာသားမသို့ပြန်သွားသည်
26 ။ Wickens J ကို, Kötter R ကို: reinforcememnt ၏ဆယ်လူလာမော်ဒယ်များ။ အဆိုပါ Basal Ganglia အတွက်ပြန်ကြားရေးထုတ်ယူခြင်း၏ & Models ၌တည်၏။ Houk JC, Davis က JL, Beiser DG တည်းဖြတ်။ MIT ကစာနယ်ဇင်း; 1995: 187-214 ။
စာသားမသို့ပြန်သွားသည်