giriş

Anonim 12 addım proqramı, "Biz, bağımlılığımızdan gücsüz olduğumuzu, həyatlarımızın idarə olunmadığını qəbul etdik" deyir. [1]. Narkotik maddələrin alınması səhv bir hərəkət olduğunu bilməsinə baxmayaraq narkotiklərə qarşı müqavimət göstərərkən gücsüz bağımlıların özlərini necə tapmaqda bu nöqtələr var [2]-[4]. Əslində, asılılığın həssaslığı hətta dərhal mənfi nəticələrə görə narkotik vasitələrin axtarılmasına məcbur olur [5]. Bu patoloji davranışın imzası, bağımlıların xarakterik bir "özünü göstərilən səhv" sergilediği kontrollü təcrübələrində aydın olur: narkotik təsirli seçimlərə güclü davranış müdaxiləsi və narkotik maddə üçün hesabat verən nisbətən aşağı sübjektiv dəyər arasındakı uyğunsuzluq [4], [6], [7]. Davranışa qarşı inhibitor idrak nəzarəti itkisi ilə birləşdirildikdə, uzun müddətli dərmanlara məruz qaldıqdan sonra bilik planları ilə konsolidə edilmiş vərdişlər arasındakı bu fərqlilik təsadüfidən kompulsiv narkotiklə müdaxilə davranışına keçid gətirə bilər [8].

Kognitiv nəzarətin və özünü izah edən səhvlərin itkisi bu günə qədər asılılığın formal modelləri ilə prinsipial bir izahat götürdü [9]-[13]. Narkomaniyaya qarşı əvvəlki hesablama nəzəriyyələri, əsasən gücləndirilmiş öyrənmə çərçivəsi daxilində, vərdiş öyrənmənin (stimul-cavab) sisteminin patoloji vəziyyəti kimi görünüşlü bağımlılığı [9]-[13]. Bütün bu modellərin arxasında dayanan mərkəzi fərziyyə budur ki, dərmanların dopamin siqnalına farmakoloji təsiri, guya stimul-reaksiya tədris siqnalı daşıyır, bu birliklərin tədricən həddindən artıq gücləndirilməsi ilə nəticələnir. Bu təsir öz növbəsində dərman axtarma vərdişlərinə səbəb olur. Bu azalmış bağımlılığa baxış fenomenin bəzi cəhətlərini ələ keçirsə də, bağımlılık ədəbiyyatında artan bir konsensus, bir çox öyrənmə sisteminin patologiyada iştirak etdiyini göstərir. Yalnız beyin idrakını və aşağı səviyyəli vərdiş proseslərini ehtiva edən belə daha mürəkkəb bir mənzərə, asılılıq kimi davranışların müxtəlifliyini izah edə bilər. [8], [14].

Bu yazıda biz hiyerarşik gücləndirici öyrənmə yanaşmasını qəbul edirik [15] qərarlar, fərqli səviyyədə soyudulma səviyyələrində, bilik-motor hiyerarşisində təmsil olunur. Dopamine bağlı öyrənmə sinyallerinin birləşmə hiyerarşisinin səviyyələrini birləşdirdiyini düşünürük [16]. Bundan əlavə, sui-istifadənin dərman vasitələrindən fərqlənmə səviyyələri arasında kommunikasiya mexanizmini farmakoloji cəhətdən qaçırmaq olduğunu düşünürük. Bu fərziyyələrə əsaslanaraq, biz, həssaslıqla əlaqələndirilmiş kognitiv dissonansın, qərarın iyerarxiyasında xroniki dərmana məruz qalma dəyərini öyrənməyi pozduqda, hiyerarxik gücləndirmənin öyrənmə çərçivəsinə daxil olduğunu göstəririk. Bu pozulma, aşağı səviyyədə adi proseslərdə narkotik seçimlərinin patoloji qiymətləndirməsinə gətirib çıxarır və bununla da adi narkotik axtarış davranışlarını idarə edir. Daha sonra "sevilməmiş" amma kompulsiv dərman axtarışını narkotik maddə qaçırdıqları aşağı səviyyəli adi proseslərin üstünlük təşkil etdiyini, üst səviyyədə sağlam bilişsel sistemlərin isə davranış üzərində nəzarəti itirməsini nümayiş etdiririk. Bundan əlavə, biz təklif olunan modelin ventral və ya dorsal striatumda dərmanla əlaqəli dopamin effluxunun gecikməsinin gecikdirilmiş inkişafına dair son sübutların, habelə dopaminin spiralizasiya dövriyyəsindən asılılığının hesablanması mümkündür.

Material və metodlar

Preliminaries

Zəngin bilişsel psixoloji ədəbiyyatı ilə uyğun olaraq, hiyerarşik gücləndirmə öyrənmə [15], [18] Çərçivə "pivə çay" kimi bir abstrakt bilişsel planın aşağı səviyyəli tədbirlər sırasına daxil edilə biləcəyini nəzərdə tutur: qaynar su, çay içərisinə çay qoymaq və s. Bu cür ayrışma, ən aşağı səviyyədə konkret motor səviyyəsinə qədər cavab verir hiyerarşi (Şəkil 1A). Neurobiologically, kognitivdən motor səviyyələrinə qədər qərar hiyerarxiyasının müxtəlif səviyyələri kortiko-bazal ganglion (BG) dövrəsinin rostro-caudal oxunda təmsil olunur [19]-[21]. Bu dövr frontal korteks və bazal ganglion arasında bir neçə paralel qapalı loopdan ibarətdir [22], [23] (Şəkil 1B). Anterior loops, hərəkətlərin daha mücərrəd nümayişinə əsaslanaraq, sensor-motor korteksindən və dorsolateral striatumdan ibarət olan kaudal loops, aşağı səviyyəli vərdişləri kodlayır [19]-[21].

Download:

• PPT

  PowerPoint slaydı

• PNG

  böyük şəkil (1.06MB)

• TIFF

  orijinal şəkil (1.56MB)

Şəkil 1. Davamın hiyerarşik təşkilatı və kortiko-BG dövrü.

Aİki alternativ seçim üçün qərar hiyerarşisinin bir nümunəsi: narkotik və ya qida. Hərəkətin hər bir istiqaməti fərqli cortico-BG looplarında kodlanan, fərqli soyutlama səviyyələrində təmsil olunur. Hər iki növ mükafatın hər birini araşdıran bir 16 böyüklüyündə cəza tətbiq oluna bilər. BMüxtəlif prefrontal sahələrdən striatal alt bölgələrə Glutamateriqik əlaqələr və sonra bir neçə paralel döngə meydana gətirən pallidum və talamus vasitəsilə PFC-ə qayıdır. Striato-nigro-striatal dopamin şəbəkəsi sayəsində striatumun ventral bölgələri daha dorsal bölgələrə təsir göstərir. vmPFC, ventral medial prefrontal korteks; OFK, orbital frontal korteks; dACC, dorsal anterior cingulate korteks; SMC, duyğu-motor korteks; VTA, ventral tegmental sahəsi; SNc, əsasən nigra pars compacta. Şəkil 1B Ref 21-dan dəyişildi.

doi: 10.1371 / journal.pone.0061489.g001

Bu dövrədə, striatuma proqnozlaşdırılan midbrain dopaminin (DA) nörozların fasik fəaliyyəti proqnozlaşdırılmış və qəbul edilmiş mükafatların arasında səhv olduğunu göstərir, bununla da stimul cavab tədbirlərini gücləndirir [24]. Bu DAergic proqnozları striatumun daha ventral bölgələrini tədricən daha çox dorsal bölgələrə "spirallaşdırma" əlaqələri ilə əlaqələndirən bir ardıcıl seri keçid təşkil edir [25]-[27] (Şəkil 1B). Funksional olaraq, rostral kaudal kortiko-BG loopları ilə əlaqələndirən belə irəliləyiş təşkilatı, kaba və gözəl görünüşlərdən idarəli birləşməyə imkan verir. Buna görə, DA spiralləri hiyerarşinin yüksək səviyyələri (davranış variantlarının dəyəri haqqında mücərrəd məlumatları kodlaşdırmaq) ilə mükafat proqnozlaşdırılması səhvinin mütərəqqi tənzimlənməsi üçün bir nörobioloji substrat təmin etmək üçün hipotez olunur. Bu səhv daha sonra fəaliyyət səviyyələrini daha ətraflı səviyyələrdə yeniləmək üçün istifadə olunur [16]. Başqa sözlə, DA spirals qiymətləndirmə mücərrədli bilişsel səviyyələrə daha detallı fəaliyyət qiymətləndirmə proseslərində öyrənməyə yönəldir.

Teorik eskiz

Möhkəmləndirmənin öyrənmə nəzəriyyəsi nəzəriyyəsi baxımından [28] (RL) agenti (bizim vəziyyətimizdə bir insana və ya heyvana) əvvəlki təxmin edilən dəyərini yeniləyərək xəbərdarlıq etmə seçimlərini öyrənməyi öyrənir, , hər bir dövlət hərəkəti cütü üçün, bir mükafat aldıqda agent tərəfindən vaxtında alınır bir hərəkət etməsi nəticəsində kontekstli vəziyyətdə (stimul) . Dəyər mükafat proqnozlaşdırılması səhv siqnalının hesablanması ilə yenilənir. Bu siqnal ani qəbul edilən mükafatdan asılı deyil), həm də həmin hərəkətin yerinə yetirildikdən sonra agentin sona çatdığı yeni dövlətin dəyərinə də aiddir. Tərəfindən təyin edilir bu müvəqqəti inkişaf etmiş dəyər funksiyası, heyvanın nəticələnən dövlətdən alacağı gözlənilən gələcək mükafatların məbləğini əks etdirir, İrəli. Proqnozlaşdırma səhvi aşağıdakı tənliklər ilə hesablana bilər:

(1)

Səmimi olaraq, proqnozlaşdırma səhv siqnalı bir hərəkətin gözlənilən və yerinə yetirilən mükafat dəyəri arasındakı ziddiyyətləri hesablayır. Lakin hiyerarşik bir qərar strukturunda, öyrənmədən çox deyil Fərqli səviyyədə müstəqil dəyərlər, daha çox soyuq səviyyələr aşağı səviyyədə hesablanmış tədris sinyalini tənzimləyə bilər. Hiyerarşinin daha yüksək səviyyələri ekoloji fövqəladə halların daha mücərrəd təmsil olunduğundan, bu səviyyədə daha sürətli öyrənmə baş verir. Bu, davranışın mücərrəd təmsilinin nisbətən aşağı ölçülü olması ilə əlaqədardır: bir hərəkət planı, hiyerarşinin ən üst səviyyəsində tək bir addım (bir ölçülü) və aşağı səviyyədə çoxlu ətraflı tədbirlər (birdən çox ölçü) kimi təqdim edilə bilər hiyerarşiyi. Bu fəaliyyət planının yüksək səviyyəli dəyəri, mükafat səhvlərinin bütün detallı addım-addımların geri qaytarılması üçün lazım olan səviyyələrlə müqayisədə tez öyrənilməlidir. Beləliklə, daha yüksək səviyyəli dəyər məlumatları ilə aşağı səviyyədə dəyərlərin ayarlanması bu dəyərlərin yaxınlaşmasını sürətləndirə bilər. Bunu etmək üçün statistik cəhətdən səmərəli bir üsul, proqnozlaşdırma səhv siqnalını hesablamaq üçün nəzərdə tutulur - soyutmanın səviyyəsi, , müvəqqəti inkişaf etmiş dəyər funksiyası, , bir daha yüksək səviyyədə soyutma, [16]:

(2)

Optimallığı qorumaq üçün, 2 tənliyi yalnız bir mücərrəd variantın sonuncu tərkibli primitiv hərəkətinin yerinə yetirildiyi zaman proqnozlaşdırma səhvini hesablamaq üçün istifadə oluna bilər (bax S1-də Şəkil SXNUMX). Fayl S1). Digər hallarda, fərqli səviyyələrdə dəyər öyrənmə, 1 tənlikində olduğu kimi müstəqil olaraq baş verir. Hər iki halda tədris siqnalı müvafiq səviyyədə əvvəlki dəyərlərin yenilənməsi üçün istifadə olunur:

(3)
hara öyrənmə dərəcəsi. Orta səviyyəli informasiya mübadiləsinin bu forması bioloji cəhətdən məqbuldur, çünki DA dövrə sisteminin spiral strukturunu əks etdirir, məlumatları ventro-dorsal istiqamətdə hiyerarşidən aşağı keçir. Eyni zamanda, daha mücərrəd səviyyələrə yönəldilməsi öyrənmə səviyyəsini əhəmiyyətli dərəcədə artırır, yüksək səviyyəli dəyər öyrənmə səviyyələrində [16].

Bu yazıda biz modellərin dəyişdirilmiş versiyası arasında qarşılıqlı təsir göstərdiyini göstərir [16] və dopaminergik sistemdə istifadənin istifadəsinin spesifik farmakoloji təsirləri, radikal olaraq fərqli təhlil ölçüsündə asılılıqla əlaqəli məlumatları tuta bilər: davranış və dövrə səviyyəsində nörobiyoloji. Birincisi, yeni model narkotik maddələrdən asılılıq ilə əlaqəli bir neçə maraqlı xarakteristik cəhətdən (məsələn, özünü açıqlayan səhv [4], [6], [7]). İkincisi, dərmanla uyğundur dopamin azadlığının dinamikası ilə bağlı geniş sübutlar hesab edə bilərik [17].

Biz təqdim olunan modeli dəyişdiririk [16] göstərildiyi kimi. Modelimizi dəyişdirərək işləyən yaddaş tutumu baxımından daha məhsuldar hala gətiririk ilə , 2 tənliyi ilə, iki dəyər eyni sabit səviyyəyə yaxınlaşdığından (bax: Şəkil S2 Fayl S1, hesablama və nörobiyoloji əsasları üçün):

(4)

Burada nisbətən mücərrəd bir seçimdir və bu seçimi tam şəkildə dolduran davranış sıralarında son ibtidai hərəkətdir. Oxşar, mükafatın dəyəridir daxildir (tövsiyə edilən dəyər ).

Əksinə, insanlar tərəfindən istismar edilən müxtəlif dərmanlar striatum içərisində farmakolojik olaraq artan dopamin konsentrasiyasının əsas xüsusiyyətlərini bölüşdürür [29]. Buna görə, dərmanların bu farmakoloji təsirini müsbət yanaşma əlavə edərək, , (həmçinin bax [9]-[12]) dopamin nöronlarla aparılan proqnozlaşdırma səhv siqnalına (bax: Şəkil S3 in Fayl S1, hesablama və nörobiyoloji əsasları üçün):

(5)

Burada dərman vasitəsinin DA sisteminə birbaşa farmakoloji təsiri, və euphorigenic effektlərinə görə onun gücləndirici dəyəri (bax Fayl S1 əlavə məlumat üçün).

3 və 5 tənlikləri birlikdə, modelimizdəki dəyərləri yeniləmək üçün hesablama mexanizmini təyin edərkən, qeyri-müəyyənlik əsaslı rəqabət mexanizmi davranışı nəzarət edən abstraksiyanın səviyyəsini müəyyənləşdirir. Bu, təklif olunan mexanizmdən ilhamlanır [29] adi və məqsədli sistemlər arasında arbitraj üçün. Bu baxımdan, hər bir qərar nöqtəsində, seçimin dəyərini qiymətləndirərkən ən yüksək dəqiqliyi olan soyutmanın səviyyəsi yalnız davranış davranışlarını nəzarət edir. Bu səviyyədə hərəkət etmək qərarına gəldikdən sonra, seçilmiş hərəkətləri ibtidai motor reaksiyalarının ardıcıllığı kimi həyata keçirmək üçün iyerarxiyanın bütün alt səviyyələri bu dominant səviyyədə yerləşdiriləcək (bax Fayl S1 əlavə məlumat üçün; Şəkil S4 in Fayl S1; Şəkil S5 in Fayl S1). Ətrafdakı mükafat geribildirimini aldıqdan sonra, bütün səviyyələrdə olan dəyərlər yenilənir. Bu qeyri-müəyyənlik əsaslı arbitraj mexanizmi mücərrəd proseslər daha çevik olduğundan, öyrənmə prosesinin erkən mərhələlərində üstün dəyər-təxmini qabiliyyətinə malikdir və buna görə də bu mərhələlərdə nəzarət davranışını nəzərdə tutur. Lakin, soyut səviyyələr ətraf mühitin qabaqcadan təmsil olunduğundan (məsələn, nisbətən az sayda əsas funksiyanı ehtiva etdiyinə görə), onların yekun dəyərinin yaxınlaşdırma qabiliyyəti ətraflı səviyyədə olduğu kimi dəqiq deyildir. Başqa sözlə, geniş təlimdən sonra qiymətləndirilmiş dəyərlərlə bağlı müəyyənlik yuxarı səviyyələrlə müqayisədə hiyerarşinin aşağı səviyyələri üçün aşağıdır. Proqressiv öyrənmə ilə, hiyerarxiyanın aşağı səviyyələri onların qeyri-müəyyənliyini tədricən azaldığına görə hərəkətlərin seçilməsi üzərində nəzarəti ələ keçirir. Bu narkotik maddə axtarışında (həm də təbii mükafatların axtarılmasında) ventral striatum üzərində dorsalın mütərəqqi dominantlığını göstərən bir sıra dəlillərlə razılıq verir. [8], [30], [31].

Nəticələr

Hierarchy qiymətləndirmə uyğunsuzluğu dərman vasitəsi ilə yaranır, lakin təbii mükafatlar deyil

Əvvəlki güclənmənin öyrənmə əsaslı hesablama modellərindən fərqli olaraq [9]-[13] tək qərarlı sistem yanaşmasına əsaslanan hesabımız çoxsaylı qarşılıqlı əlaqəli sistemlər çərçivəsinə əsaslanır. Nəticədə, modelləşdirmə dərmanının proqnoz səhv siqnalına təsirinin forması əvvəlki modellərə bənzəsə də [9]-[12], bu, əsasən fərqli nəticələrə gətirib çıxarır. Dərmanla əlaqəli müvəqqəti dopamin artımı, hiyerarşinin hər səviyyəsində dərhal proqnozlaşdırma səhvini artırır və nəticədə bir yanaşma, , məlumatların bir səviyyədə soyudulmasından digərinə köçürülməsi, iyerarxiyanın qaba-to-incə istiqaməti boyunca. Bu yanlışlıq müəyyən bir səviyyədə narkotik maddə axtarışının asimptotik dəyərinə səbəb olur bir ədəd daha mücərrəd qatdan daha çox ədəd (Şəkil 2B). Rostro-kaudal eksen boyunca bu uyğunsuzluqların yığılması tədricən hiyerarşinin yuxarı və aşağı həddləri arasında narkotik axtarış davranışlarının dəyərində əhəmiyyətli fərqlər yaradır. Beləliklə, güclü bir cəzanın ardından da, dərmanla əlaqəli davranışın dəyəri aşağı səviyyəli motor halkalarında pozitif olaraq qalır, bilişsel düzeyde negatif olur. Digər bir deyişlə, model, DA spirallerindən dərman təsirinin biriktirilməsinin motor səviyyəsində alışqanlıq dərəcəsini artırmaq üçün belə yüksək amplitüdə qədər artırdığı qənaətindədir ki, güclü təbii cəza kifayət qədər azalda bilməz. Bunun səbəbi narkotik maddə ilə əlaqəli davranışların bilişsel və aşağı səviyyədə qiymətləndirilməsi arasında asılılığın səbəbsizliyini açıqlayır. Başqa sözlə, kompulsiv dərman axtarışını və əlaqədar xərclərə əhəmiyyətli dərəcədə azalmış elastikliyi qərarın hiyerarşisi səviyyələri arasında məlumatları ötürən dopaminə bağlı mexanizmi qaçırdıqdan dərman preparatının farmakoloji təsirindən gəlir.

Download:

• PPT

  PowerPoint slaydı

• PNG

  böyük şəkil (289KB)

• TIFF

  orijinal şəkil (471KB)

Şəkil 2. Fərqli səviyyədə soyudulma (simulyasiya nəticələrinə) olan qida və narkotik üçün motivasiya.

Heç bir cəzanın mükafatlandırılmadığı ilk 150 sınaqlarında, bütün səviyyələrdə təbii mükafatların axtarılması dəyəri 10 (A). Bununla yanaşı, dərman preparatı üçün dərman preparatının birbaşa farmakoloji effekti, təyin etdi) hər səviyyədə asimptotik dəyər verər bir üst səviyyədə abstraksiyadan daha yüksək olan ədədlər (B). Beləliklə, cəza ilə təqlid edildikdə, bilişsel döngələr dərmana uyğun seçim üçün mənfi bir dəyəri təyin edərkən, motor səviyyəli ilmə dərman axtaran istənilən (müsbət dəyər) tapır. Bu rəqəmdəki əyrilər "bir" simulyasiya edilən heyvanlarda dəyərlərin təkamülünü göstərir və buna görə heç bir statistik analiz tətbiq edilə bilməz.

doi: 10.1371 / journal.pone.0061489.g002

Narkotiklər, bizim modelimizdə səviyyələrdəki balanssız qiymətləndirmə ilə nəticələnsə də, təbii mükafatların dəyəri DA sinyalizmə mexanizminə birbaşa farmakoloji təsirin olmaması səbəbindən bütün səviyyələrdə eyni qiymətə yaxınlaşır). Nəticədə, təbii mükafatların verilməsi üçün nə dərəcədə uyğunsuzluq, nə də ətraflı səviyyədə qiymətləndirilməyəcək (Şəkil 2A). Hiyerarxiyanın aşağı səviyyədə dərmanla mübarizə reaksiyalarına üstünlük verilməsinin təbii mükafatların üzərində narkotiklərin qeyri-adi üstünlükləri və dərmanla əlaqəli fəaliyyətlərdə daha çox məşğul olması lazımdır.

Ventral və dorsal striatumda dərmanla əlaqəli istəklərə cavab verən diferensial dopamin

Neurobiologically, narkotik maddə axtarma davranışının əldə edilməsi və ifadə edilməsində striatal subregionların fərqli rolu addiction tədqiqatında mərkəzi mərhələyə qədəm qoydu. Müxtəlif tədqiqat xəttlərindən bir-birinə qatılan sübutlar, istirahətdən məcburi dərman istifadəsindən davranışa keçidinin ventraldan dorsolateral striatuma qədər qiymətləndirmənin nörobioloji dəyişməsini əks etdirdiyini göstərir [8], [33], [34], modelimizdə bilikdən detallı səviyyələrə keçidlə uyğun gəlir. Bizim modelimizə uyğun olaraq ventralın striatumun tədricən daha dorsal bölgələrinə birləşən DA sarmal şəbəkəsi bu keçiddə əsas rol oynayır [25].

Sonuncu bir araşdırmada Willuhn və ark. [17] üç həftə ərzində kokain yaşanmış siçovulların ventral və dorsolateral striatumunda dərmanla əlaqəli ipuçlarına cavab olaraq dopaminin sərbəst buraxılış modelini qiymətləndirmişdir. Tez-tarama cyclic voltammetry istifadə edərək, tənqidi müşahidə ventral striatumda Cue-induced DA efflux çox məhdud təlim sonra da ortaya çıxdı. Əksinə, dorsolateral striatum geniş tədrisdən sonra təkan tetiklənmiş DA effluxunu göstərdi və ventral striatum ipsilateral yarımkürədə zədələndikdə bu azad modelinin inkişafı itdi.

Tez-tarama voltmetriyasının müvəqqəti həlli konsentrasiyadan aşağı salınan dəyişiklikləri nəzərə alaraq, DA effluxunun müşahidə olunan nümunəsi "phasic" DA sinyalizasiya və beləliklə, dopaminin RL nəzəriyyəsinə əsasən, proqnozlaşdırma səhvinə aid edilməlidir [24]. RL nəzəriyyəsinə əsasən, gözlənilməz stimulun müşahidə olunduğuna dair proqnozlaşdırma səhvləri bu stimulun nəzərdə tutan mükafat dəyərinə bərabərdir. Buna görə də, replika səbəbli DA azadlığı, bu tapşırıq tərəfindən nəzərdə tutulan dəyəri bərabərdir.

Bu baxımdan, hiyerarşik çərçivəmizdə ventral və dorsal striatal DA effluxunun fərqli modelinə dair rəsmi izahat verilir [17]. Hiyerarxiyanın mücərrəd bilişsel səviyyələrində dərmanla əlaqəli tapşırıq tərəfindən öngörülen değer, təlimin erkən mərhələlərində sürətlə artır (Şəkil 2B), yüksək səviyyədə abstraksiyanın öyrənmə probleminin aşağı ölçülü olması səbəbindən. Nəticədə, bizim modelimiz göstərir ki, ventilyasiya striatumunda məhdud təlimdən sonra həqiqi səbəb olan DA effluxu müşahidə edilməlidir (Şəkil 3). Təqdimatın daha ətraflı səviyyələrində isə, öyrənmə prosesi yavaş (Şəkil 2B) problem sahəsinin yüksək ölçülü olması və həmçinin DA spiralləri ilə daha çox mücərrəd səviyyələrdə öyrənmə asılılığının olmasıdır. Nəticə olaraq, dorsolateral striatumda əmələ gələn DA efflux tədricən inkişaf etməlidir və yalnız geniş tədrisdən sonraŞəkil 3).

Download:

• PPT

  PowerPoint slaydı

• PNG

  böyük şəkil (447KB)

• TIFF

  orijinal şəkil (896KB)

Şəkil 3. Dərmanla əlaqəli ipuçlarına cavab olaraq müxtəlif striatal subregionsdə dopamin effluxu (simulyasiya nəticəsi).

Eksperimental məlumatlara uyğun olaraq [17], model (sol sütun) göstərir ki, dərmanla əlaqəli ipuçlarına cavab olaraq, məhdud və geniş təlimdən sonra ventral striatumda dopamin effluxı olacaqdır. Ancaq daha çox dorsolateral alt bölgələrdə öyrənmə zamanı tədricən DA dövrəyə keçid inkişaf edəcəkdir. Modeldən (ikinci sütun sağdan) proqnozlaşdırılır ki, bu dorsal striatumda əvəzedilən DA effluxunun gecikmiş inkişafı ventralni dorsal striatuma bağlayan DA-asılı serial bağlantısına əsaslanır. DA spirallarının kəsilməsi nəticəsində ventilyasiya striatumunda replika səbəb olan DA cavabı qalıb, dorsolateral striatumda əhəmiyyətli dərəcədə azalıb. Bundan başqa, modeli lösedilmiş ventral striatum halda dorsolateral striatumda replika səbəbli DA efflux üçün oxşar nəticələri (sağdan üçüncü sütun) proqnozlaşdırır. Nəhayət, toxunulmaz heyvanlarda geniş dərman-replika eşleşmesinden sonra, bir cəza dərmanı təqib edərsə, modelin (hüququ sütun) proqnozlaşdırdığına görə narkotik maddə ilə əlaqəli tapşırıq məhdud təlimdən sonra DA spirallarının ventral ayağının inhibisyonuna səbəb olur. Daha dorsal bölgələrdə isə, DA efflux öyrənmə zamanı yavaş-yavaş azaldılır, amma geniş miqyasda narkotik-cəza eşleşmesinden sonra da müsbət olaraq qalacaq. Bu rəqəmlə təqdim olunan məlumatlar "bir" simulyasiya edilmiş heyvandan alınır və buna görə statistik təhlil aparılmır.

doi: 10.1371 / journal.pone.0061489.g003

Bundan başqa, modelimiz də dəlilləri izah edir [17] Dorsolateral striatumda şişkinlikdən çıxan DA effluxunun gecikdirilmiş inkişafı ventral striatuma (Şəkil 3). Modelimizde, ventral striatumun simulyasiya edilmiş birtərəfli lezyonu (modeldəki soyut qiymətləndirmə səviyyəsi) ipsilateral yarımkürədə detallı səviyyədə dərman ehtimalı proqnozlaşdırılan dəyərini əhəmiyyətli dərəcədə azaldır və beləliklə replika səbəbli DA efflux səviyyəsini əhəmiyyətli dərəcədə azaldır. Ventral striatumun zədələnməsini modelləşdirmək üçün biz bütün stimulların dəyərini ən yüksək səviyyədə sıfır səviyyəsinə düzəldirik.

Eyni şəkildə, bizim modelimiz, dorsolateral striatumda fasik DA siqnalının inkişafının DA spirallaşdırma dövrünün bütövlüyünəŞəkil 3). Əslində, bizim modeldəki DA spiralizasiya dövründəki bir ayırma abstraksiyanın səviyyələri arasında rabitəni azaldır və bu, öz növbəsində, qərarın iyerarxiyasının səviyyələri boyunca möhkəmləndirici siqnal üzərindəki dərmanla bağlı yanlışlığın yığılmasını maneə törədir. Ventralın dorsal striatuma DA-bağlı serial dövrəsində ayırma modelini modelləşdirmək üçün müvəqqəti inkişaf etmiş dövlətin dəyərini dərhal daha yüksək səviyyədə qəbul etmədən, yerli xarakterli (3 tənlikində) proqnozlaşdırma səhv siqnalını hesablamaq üçün hər bir səviyyədə abstraksiya səviyyəsini bağlayırıq soyuducunun səviyyəsi.

Bundan başqa, model, kokain və kokainlə əlaqəli ipuçları ilə geniş bir təlimdən sonra, yuxarıdakı təcrübədə olduğu kimi, kokain çatdırılmasını güclü bir cəza ilə birləşdirməyə başlayırsa, replika səbəbli DA efflux modelinin dəyişəcəyini proqnozlaşdırır. Kokainlə əlaqəli tapşırıqa cavab olaraq DA effluxunun ventral striatumda başlanğıcdan aşağıda sürətlə azalması lazımdır. Dorsolateral striatumda isə, replika səbəb olan DA sərbəst buraxılış başlanğıcdanŞəkil 3) təxirə salınmış qismən azalma ilə. Bu, bilik səviyyələrində mənfi (aşağı səviyyəli) dəyərlərə baxmayaraq, ətraflı səviyyədə narkotik stimuluna müsbət subyektiv dəyərin təyin edilməsini göstərir. Qeyd edək ki, bu proqnoz cəzanın beynin mənfi bir mükafat kimi qəbul etdiyi fərziyyəsindən asılıdır. Bu fərziyyə bir qədər mübahisəlidir: eksperimental tədqiqatlar tərəfindən aydın şəkildə dəstəklənir [35]hələ başqaları tərəfindən də müzakirə olundu [14], [36]. Bu proqnozdan başqa, modelin digər aspektləri cəzanın dopamin və ya başqa bir sinyalizasiya sistemi ilə kodlaşdırılmasından asılı deyildir.

Willuhn və digərlərinin istifadə etdiyi təlim rejimi. [34] dərmanla əlaqəli cəzaların laqeydliyi ilə xarakterizə edilən kompulsiv dərman axtarış davranışının istehsalına kifayət qədər uzadılıb [37], [38]. Beləliklə, DLS-də replika səbəb olan DA cavabının gecikmiş inkişafı və kompulsif cavab vermənin gec inkişafı arasında əlaqə nədir? Bizim modelimizə görə kompulsiv davranış yalnız hiyerarşinin aşağı səviyyədə dərman seçiminin həddindən artıq qiymətləndirilməsini deyil, həmçinin davranış üzərində nəzarətin soyut bilişdən aşağı səviyyəli adi proseslərə köçürülməsini tələb edir. Bu iki prosesin vaxt miqyası yalnız bir-birinə bağlıdır: aşırı qiymətləndirmə prosesi proqnozlaşdırma səhvinə bağlıdır, davranış nəzarəti isə qiymət qiymətləndirməsində nisbi qeyri-müəyyənliklərdən asılıdır. Beləliklə, hiyerarşiyanın aşağı səviyyədə dərmanla əlaqəli ipuçlarının çox qiymətləndirilməsi davranış üzərində nəzarətin üstdən iyerarxiyanın altına keçməsinə gətirib çıxara bilər. İki prosesin dəqiq vaxt tərəzi, öyrənmə dərəcəsinə və fərqli səviyyələrə xas olan səs-küyə bağlıdır (bax Fayl S1 əlavə məlumat üçün). Başqa sözlə, DLS-də ifrazedici dopamin effluxunun kompulsiv dərman vasitəsi ilə davranışla ifadə edilməzdən əvvəl əhəmiyyətli dərəcədə inkişaf edə biləcəyi ehtimal olunur.

Təbii mükafatlara qarşı dərmanlar üçün uyğunsuz qiymətləndirmənin davranışçı nəticələri

Davamlı olaraq, nümunəmizdə, cəza könüllü narkotik istifadəinin erkən mərhələlərində dərmanla qoşulduqda, dərmanla müdaxilənin mücərrəd dəyəri mülayim hala salınır. Bu erkən mərhələlərdə narkotik dərmanının soyut səviyyələrlə idarə olunduğunu nəzərə alaraq, dərman seçməsinin mənfi mücərrəd qiymətləndirilməsi mövzunu daha çox fəaliyyət planını yaşamağa məcbur edir. Bu zamanla dərmanlara qarşı aşağı səviyyəli güclü üstünlüklərin konsolidasiyasına mane olur. Beləliklə, model dərman istehlakının erkən mərhələlərində xroniki istifadədən sonra deyil, dərman seçimlərinin elastikliyini xərcləməyi izah edir. Asılılıqla heyvan modelləri, dərmanla əlaqəli zərərli nəticələrə qarşı uyuşqanlıqların laqeydliyi yalnız uzun müddətli narkotik özünü idarə etməsindən sonra inkişaf edir, lakin narkotik maddənin məhdudlaşdırılması deyil [37], [38]. Bizim nəzəriyyəmizdən fərqli olaraq əvvəllər hesablama modellərindən asılılıq [9], [10] dərmanların istifadəsini dərhal təqib edən əlamətdar davranış nəticələrinin dərman vasitələrinin baş verməsinin erkən mərhələlərində belə bir motivasiya təsiri olmadığını proqnozlaşdırarkən bu bədən quruluşuyla birbaşa ziddiyyət təşkil edir (bax Fayl S1 əlavə məlumat üçün).

Bizim modelimiz dərman nəticələrinə qarşı blokaj təsirinin yaranmasına səbəb olur [39]. Bloklama, A və B-nin nəticəsini təslim etməzdən əvvəl təqdim edildiyi sonrakı təlim mərhələsində bu nəticə ilə fərqli bir stimul B ilə birləşmənin meydana gəlməsini bloklaşdıran bir stimul A-nın əvvəlcədən birləşməsini kommutasiya edən fenomendir [40]. Pavlovian eksperimental dizaynında modelimizi simulyasiya edən nəticələr (bax Fayl S1 modelin Pavloviya versiyası haqqında əlavə məlumat üçün), təbii mükafatların və narkotiklərin müəyyənləşdirildiyi hiyerarşi müəyyən bir səviyyədə müəyyən bir səviyyədə sabit vəziyyətə çatdıqda (hərtərəfli böyüyəndən daha çox), bu halda heç bir daha öyrənmə olmadığı proqnozlaşdırma səhv siqnalının sıfıra endirildiyiŞəkil 4). Beləliklə, yeni bir stimulun artıq nəzərdə tutulan mükafatla əlaqələndirilməsi məhdudlaşdırılacaq. Narkotik və təbii gücləndiricilərlə əlaqəli bir bloklama təsirini göstərən davranış dəlilləri [39] əvvəldən təklif edilən dopamin əsaslı hesablama modelini tənqid etmək üçün böyük bir əsas kimi istifadə edilmişdir [9]. Burada göstərdikləri hiyerarşik təbiətə və dorsal-ventral spiraling dopamin dövrü quruluşuna odaklanmanın, bu tənqiddən kənarlaşdıran faktiki məlumatları hesablaya biləcəyini göstərdik. Fayl S1 əlavə məlumat üçün).

Download:

• PPT

  PowerPoint slaydı

• PNG

  böyük şəkil (360KB)

• TIFF

  orijinal şəkil (615KB)

Şəkil 4. Təbii və narkotik maddə mükafatlarına qarşı təsirləri məhdudlaşdırır.

Model, təbii mükafatların meydana gəlməsinə mane olurA) və narkotik maddələr (B), yalnız ilk tədris dövrü "geniş" olduğu təqdirdə, ilk stimul tam nəticənin dəyərini nəzərdə tutur. "Orta" təhsildən sonra, daha çevik olan bilişsel səviyyələr dəyərləri tam olaraq proqnozlaşdırır və bundan sonra da daha çox öyrənməyi maneə törədirlər. Lakin ikinci təlim mərhələsi (həm stimulların eyni vaxtda təqdim edilməsi) başlandıqda öyrənmə aşağı səviyyəli proseslərdə fəaldır. Beləliklə, bizim modelimiz təbii mükafatlara mane olan bir bloklama sınaqında mülayim başlanğıc təliminin bilişsel / davranışçı uyğunsuzluğa gətirib çıxaracağını proqnozlaşdırır. Bu rəqəmlə təqdim olunan məlumatlar "bir" simulyasiya edilmiş heyvandan alınır və buna görə statistik təhlil aparılmır.

doi: 10.1371 / journal.pone.0061489.g004

Daha əvvəl də qeyd edildiyi kimi, bir sıra dəlillər, dorsalın ventral striatum üzərində tədris prosesi zamanı davranışın nəzarətində mütərəqqi üstünlüyünü göstərir [8], [31], [32]. Bu sübutların fonunda şərh edilərkən, iyerarxiya boyunca balanssız narkotik axtarma qiymətləndirməsi, narkomanlarla əlaqəli seçimlər üzərində nəzarət idrakdan aşağıya keçdikdə, narkomanlarla uzun müddətli təcrübədən sonra narkotik istifadəsini azaltmaq üçün uğursuz səylərini də izah edir. vərdişli səviyyə. Dərmanların üstünlük təşkil etdiyi proseslərin bu üstünlüyü, təbii olaraq, dərmanla əlaqəli xərclərə (kompulsiv dərman axtarışı) davranış qeyri-elastikliyinə gətirib çıxarır və ehtimal ki, özünün təsvir etdiyi səhvlə müşayiət olunur. Təbii mükafatlar məsələsində isə, modelimiz, öyrənmə müddətində davranış esnekliğinin artmasına baxmayaraq, iyerarxiya səviyyələrində bir qiymətləndirmə uyğunsuzluğunun inkişaf etməməsinə görə mükafatla əlaqəli cəzaların nəticədə mükafat axtarmağı əngəlləyəcəyini təxmin edir.

Modelimiz, "ehtimal olunan" qərarların iyerarxiyasında hərəkətlərin qiymətləndirilməsinə yönəlib və abstrakt variantları və onların müvafiq aşağı səviyyəli proqramlarının əvvəlki inkişaf zamanı necə aşkar edildiyini bir kənara qoyur. Qərar hiyerarşisinin aşkar edilməsi aşağı səviyyəli tədbirlərin ardıcıllıqla bir araya toplanması və daha mücərrəd variantların yaradılması ilə həyata keçirilmiş bir alt-müddətli proses olmağı təklif edilir [41]. Sözsüz dorsaldan ventral striatuma keçən bu proses, burada təklif olunan rəqabət mexanizminin əks istiqamətdə davranış nəzarəti üçündir.

Müzakirə

Müxtəlif striatal subregionların asılılıqda fərqli roluna dair sübutların artan təsiri odur ki, məqsədlərə yönəldilmiş ikili üsulla [8], [14], [34]. Burada istifadə etdiyimiz ierarxik qərar qəbuletmə anlayışı bu ikili sistem hesablarına tamamlanır. İki prosesli yanaşma fərqli alqoritmlər ilə məşğul olur (modelsiz və model bazası [30]) bir problemin həlli üçün hiyerarxik RL çərçivəsi eyni problemin müxtəlif səviyyələrdə müvəqqəti soyuducu səviyyələrində müxtəlif təqdimatlar üzərində dayanır. Teorik olaraq, ya adi və ya hədəf yönümlü bir alqoritm, problemin bu fərqli nümayəndəliklərinin hər birini həll edə bilər. Bizim modelimizdə, DA-spirallardan dərman vasitəsi ilə yaranmış təxminlərin yığılması dəyər-qiymətləndirmə alqoritminin modelsiz (vərdiş öyrənmə) olduğu bir yerdə baş verir. Bununla belə, bu, üst səviyyədə işləyən model bazlı sistemlərin varlığını istisna etmir. Ən yüksək səviyyədə abstraksiyalı hərəkətlərin məqsədli bir sistem tərəfindən qiymətləndirildiyini fərz etsək, sadəcə PFC-ə əsaslanan məqsədə yönəldilmiş qiymətləndirmə və qərar sistemini modelə daxil edə bilərsiniz. Bu mürəkkəblik bu əlyazmada təqdim olunan nəticələrin xarakterini dəyişməzkən, addikasiyanın digər aspektlərini izah etmək üçün əlavə elastiklik gələcək tədqiqatlara ayrılır. Həqiqətən, bizim modelimizdə, hədəf birbaşa sistem mövcud olub-olmamasından asılı olmayaraq, hiyerarşinin iki həddi arasında narkotik maddə axtarışının asimptotik dəyərindəki uyğunsuzluq "adi proses" ilə idarə olunan qərar səviyyələrinə görə artır .

Bizim nəzəriyyəmizin işığında, relapsın bilişsel səviyyələrin üstünlüyü dövründən sonra hərəkətsiz mühərrik səviyyəsində uyuşmazlıq vərdişlərinin canlanması kimi nəzərdən keçirilə bilər. Əslində, idrak-terapiya (insan narkomanları) və ya məcburi tükənmə (soyuqqanlılığın heyvan modellərində) nəticəsində, iyerarxiyanın detallı səviyyəsində narkotik maddə axtarışının yüksək dəyəri nəticəsində söndürülməməsi, nəzarətin idrak səviyyələrinə keçməsi. Dərmanla əlaqəli davranış mücərrəd səviyyələrdəki mənfi nəticələrə həssas olduğu üçün, yüksək səviyyəli bilişsel proseslər davranış nəzarəti hakim olduğu müddətcə dərman axtarışından qaçınmaq olar. Hətta məşhur 12 addım proqramları (məsələn, Anonim Alkoqoliya, Narkotik Anonim və s.) Qismən iştirakçıları dərmanla əlaqəli həyat tərzinin uyğunsuzluğunu etiraf etməsini tələb edərək, qismən işləyib, beləliklə soyqırım idrak səviyyələrini gücləndirmək üçün onların davranış. Stressli şərtlər və ya dərmana yenidən maruz qalma (priming) davranışdan soyuq səviyyələrin üstünlüyünü zəiflədəcək risk faktoru kimi qəbul edilə bilər ki, bu da dərmanla əlaqəli reaksiyaların yenidən ortaya çıxmasına səbəb ola bilər (latent yüksək olmayan bilik dəyərləri ).

Xülasə olaraq, narkotik asılılığına xas olan bir-birindən fərqli, fərqli bir fenomen üçün tutarlı bir hesab təklif edirik. Modelimiz, dərman axtarma əldə etmə və vərdiş performansında ventral və dorsal striatal dövrələrin diferensial rolları, habelə dərmanın təbii möhkəmləndiricilərə qarşı təsiri üçün qabaqcıl DA əlaqəsinin seçici rolu barədə məlumatların normativ hesabını təqdim edir. Ən əsası, ventral-dorsal DA siqnallarında dərmanla əlaqəli patologiyanın, motivasiya məlumatlarını bilişsel təmsil hiyerarşisindən aşağı sızdırmasının, bağımlıların narkotik axtarmağa qarşı mücərrəd münasibətləri ilə əslində etdikləri arasında uyğunsuzluğa səbəb ola biləcəyini göstəririk. Aydındır ki, modelimiz narkotik asılılığı barədə tam məlumat vermir və nəzərdə tutulmur. Bağımlılığın digər izah olunmayan tərəflərini izah etmək, sui-istifadə narkotiklərindən təsirləndiyini göstərən bir çox digər beyin sistemlərini birləşdirməyi tələb edir. [42]. Rəsmi hesablama şəbəkəsi daxilində bu cür sistemi necə birləşdirmək olar?

Məlumatın dəstəklənməsi

Fayl S1.

Şəkil S1,Beş səviyyəli abstraksiya ilə nümunə bir qərar hiyerarşisi. Şəkil S2, Üç müzakirə edilən dəyər öyrənmə alqoritmləri üçün müvafiq neyron dövrə ierarxik qərar strukturudur. A, Sadə bir TD öyrənmə alqoritmindən (tənlik S7) istifadə edərək, abstraksiyanın hər bir səviyyəsindəki proqnozlaşdırma səhv sinyali digər səviyyələrdən asılı olaraq hesablanır. B, Haruno və Kawato (4) (S8 tənlikliyi) tərəfindən təklif olunan modeldə, müvəqqəti inkişaf etmiş dövlətin dəyəri bir daha yüksək səviyyədə soyutma səviyyəsindən gəlir. C, Bizim modelimizdə (S9 tənliyi) müvəqqəti inkişaf etmiş dövlətin dəyəri mükafat və Q-dəyərinin yüksək səviyyədə soyudulması ilə birləşməsi ilə əvəz edilmişdir. Şəkil S3, Modelimiz, 1-a 3 saytına, mükafat-təlim dövründə dərmanların müxtəlif fəaliyyət sahələrini nəzərdə tutur. 4-ə 6 saytlarına təsir edən dərmanlar, əksinə, modelin simulyasiya üsulu ilə istehsal olunan davranış və nevrobioloji nümunələrə gətirməyəcək, lakin təbii mükafatların vəziyyətinə oxşar nəticələr çıxaracaqdır. Şəkil S4, Xarakterə nəzarət etmək üçün hiyerarşi səviyyələri arasında qeyri-müəyyənlik əsaslı rəqabət mexanizmini simulyasiya etmək üçün istifadə edilən vəzifə. Şəkil S5, Simulyasiya nəticəsi, davranış üzərində nəzarətdən tədricən yüksək səviyyəyə qədər dəyişmə hiyerarşiyasını göstərir. Q (s, a) və ABŞ) sırasıyla dövlət hərəkət cütlərinin təxmin edilən dəyərini və qeyri-müəyyənliyini göstərir.

doi: 10.1371 / journal.pone.0061489.s001

(PDF)