Ką reiškia dopaminas? (2018)

Abstraktus

Ar dopaminas yra mokymosi, motyvacijos ar abiejų signalas?

Mūsų supratimas apie dopaminą praeityje pasikeitė ir vėl keičiasi. Vienas kritinis skirtumas tarp dopamino poveikio dabartinis elgesys (veikimas) ir dopamino poveikis ateitis elgesys (mokymasis). Abi jos yra tikros ir svarbios, tačiau įvairiais laikais buvo naudinga, o kita - ne.

Kai („70“) tapo įmanoma atlikti selektyvius, pilnus dopamino takų pažeidimus, akivaizdus elgesio pasekmė buvo didelis judėjimo sumažėjimas.¹. Tai atitinka žmogaus dopamino praradimo akinetinį poveikį, atsiradusį dėl pažangios Parkinsono ligos, toksiškų vaistų ar encefalito.². Tačiau nei žiurkės, nei žmogaus atvejai neturi esminių nesugebėjimo judėti. Dopamino pažeistos žiurkės plaukia šaltu vandeniu³ir akinetiniai pacientai gali kilti ir paleisti, jei skamba gaisro signalizacija („paradoksali“ kinezija). Taip pat nėra pagrindinio trūkumo vertinant atlygį: dopamino pažeistos žiurkės suvartos savo burnoje dedamą maistą ir parodys malonumo požymius⁴. Greičiau jie nenorės dėti pastangų aktyviai gauti atlygį. Šie ir daugelis kitų rezultatų sukėlė esminį ryšį tarp dopamino ir motyvacijos⁵. Net judėjimas, lėtesnis, pastebėtas ne tokiais sunkiais Parkinsono ligos atvejais, gali būti laikomas motyvaciniu deficitu, atspindinčiu netiesioginius sprendimus, kad nėra verta praleisti energiją, reikalingą greitesniam judėjimui⁶.

Tada („80s“) atėjo novatoriški dopamino neuronų įrašai beždžionėms elgtis (vidurio smegenų zonose, kurios projektuoja iki smegenų: ventralinis tegmentalinis plotas, VTA / materia nigra pars compacta, SNc). Tarp stebimų šaudymo modelių buvo trumpi aktyvumo veiksniai, skatinantys tiesioginius judesius. Šis „fazinis“ dopamino deginimas iš pradžių buvo aiškinamas kaip „elgesio aktyvinimas“.⁷ ir „motyvacinis susijaudinimas“⁸ - kitaip tariant, kaip gyvūno dabartinio elgesio pagyvinimas.

„90s“ įvyko radikalus pokytis, pakartotinai interpretuojant fazinius dopamino išsiskyrimus kaip kodavimą atlyginti prognozavimo klaidas (RPEs⁹). Tai buvo pagrįsta pagrindiniu stebėjimu: dopamino ląstelės reaguoja į netikėtus dirgiklius, susijusius su būsimu atlygiu, tačiau dažnai nustoja reaguoti, jei tikėtina, kad šie stimulai bus¹⁰. RPE idėja kilo iš ankstesnių mokymosi teorijų, ypač tuomet, kai buvo plėtojama kompiuterizavimo srities stiprinimo mokymosi sritis¹¹. RPE signalo taškas yra atnaujinti vertės(būsimų atlygių įverčiai). Šios vertybės naudojamos vėliau, kad padėtų priimti sprendimus, kurie maksimaliai padidintų atlygį. Kadangi dopamino ląstelių deginimas primena RPE, o mokymuisi naudojami RPE, natūralu pabrėžti dopamino vaidmenį mokymosi procese. Vėliau optogenetiniai manipuliacijos patvirtino RPE koduojančių ląstelių dopaminerginę tapatybę^12,13 ir parodė, kad jie iš tikrųjų moduliuoja mokymąsi^14,15.

Idėja, kad dopaminas suteikia mokymosi signalą, puikiai dera su literatūra, kad dopaminas moduliuoja sinaptinį plastiškumą striatume, kuris yra pagrindinis dopamino tikslas. Pavyzdžiui, trigubas glutamato stimuliacijos striatų dendrito stuburo, postinaptinio depolarizacijos ir dopamino išsiskyrimas sukelia stuburo augimą¹⁶. Dopaminerginis ilgalaikio mokymosi mechanizmų moduliavimas padeda paaiškinti nuolatinį priklausomybę sukeliančių vaistų elgesio poveikį, kuris turi didesnę striatalo dopamino išsiskyrimo savybę¹⁷. Netgi gilius akinezijas su dopamino praradimu iš dalies gali lemti tokie mokymosi mechanizmai¹⁸. Dopamino trūkumas gali būti traktuojamas kaip nuolat neigiamas RPE, kuris palaipsniui atnaujina veiksmų vertes iki nulio. Dopamino antagonistai gali sukelti panašų progresuojančią, išnykimo tipo poveikį elgesiui^19,20.

Vis dėlto mintis, kad dopaminas yra kritiškai susijęs su nuolatine motyvacija, niekada neišnyko - priešingai, elgesio neuromokslininkai ją laiko savaime suprantamu dalyku. Tai yra tinkama, atsižvelgiant į svarius įrodymus, kad dopamino funkcijos, susijusios su motyvacija, judesiu ir žvalumu, yra neatskiriamos nuo mokymosi^15,20-23. Mažiau vertinamas yra iššūkis, susijęs su šio motyvacinio vaidmens suderinimu su teorija, kad DA teikia RPE mokymosi signalą.

Motyvacija „žvelgia į ateitį“: ji naudoja būsimo atlygio (vertybių) prognozes, kad būtų tinkamai suaktyvinta dabartinė elgsena. Priešingai, mokymasis „žvelgia atgal“ į valstybes ir veiksmus neseniai praeityje, ir atnaujina jų vertybes. Tai yra papildomi ciklo etapai: atnaujintos reikšmės gali būti naudojamos vėlesniame sprendimų priėmime, jei tos valstybės vėl susiduria, vėliau atnaujinamos ir pan. Bet kuris ciklo etapas yra susijęs su dopamino vartojimu, - naudodamas vertybes, priimant sprendimus (rezultatus), arba atnaujindamas vertybes (mokymąsi)?

Tam tikromis aplinkybėmis paprasta įsivaizduoti, kad dopaminas vienu metu vaidina abu vaidmenis.²⁴Netikėti, atlygio nuspėjamieji ženklai yra archetipiniai įvykiai, kuriais siekiama sukelti dopamino ląstelių deginimą ir paleidimą, ir tokie ženklai paprastai skatina elgesį ir sukelia mokymąsi (Pav 1). Šioje konkrečioje situacijoje ir atlygio prognozavimas, ir atlygio prognozavimo klaidos didėja vienu metu - tačiau taip nėra visada. Kaip tik vienas pavyzdys, žmonės ir kiti gyvūnai dažnai būna motyvuoti dirbti atlygį net tada, kai įvyksta nedaug ar nieko nuostabaus. Jie gali dirbti vis sunkiau, kai priartėja prie atlygio (vertė didėja artėjant atlygiui). Esmė ta, kad mokymasis ir motyvacija skiriasi konceptualiai, skaičiavimais ir elgesiu - vis dėlto atrodo, kad dopaminas daro abu dalykus.

Žemiau kritiškai vertinu dabartines idėjas, kaip dopaminas gali pasiekti tiek mokymosi, tiek motyvacines funkcijas. Siūlau atnaujintą modelį, pagrįstą trimis pagrindiniais faktais: 1) dopamino išsiskyrimas iš terminalų nesukelia paprasčiausiai dopamino ląstelių deginimo, bet taip pat gali būti kontroliuojamas vietoje; 2) dopaminas veikia tiek sinaptinį plastiškumą, tiek tikslinių ląstelių jaudrumą; 3) dopamino poveikį plastiškumui galima įjungti arba išjungti netoliese esančiais grandinės elementais. Kartu šios savybės gali leisti smegenų grandinėms pereiti tarp dviejų skirtingų dopamino pranešimų, atitinkamai mokytis ir motyvuoti.

Ar yra atskirų „fazinių“ ir „toninių“ dopamino signalų su skirtingomis reikšmėmis?

Dažnai teigiama, kad dopamino mokymosi ir motyvaciniai vaidmenys atsiranda skirtingu laiku²⁵. Dopamino ląstelės nuolat („toniškai“) užsidega keletu šuolių per sekundę, kartais trumpais („faziniais“) sprogimais ar pauzėmis. Srautai, ypač jei dirbtinai sinchronizuojami dopamino ląstelėse, skatina greitą priešakinės dopamino greitį²⁶ kurios yra labai trumpalaikės (po antros trukmės²⁷). Atskiras toninių dopamino ląstelių deginimas į smegenų dopamino koncentraciją yra ne toks aiškus. Kai kurie įrodymai rodo, kad šis indėlis yra labai mažas²⁸. Gali užtekti beveik nuolatinės aukštesnio afiniteto D2 receptorių stimuliacijos, leidžiančios sistemai pastebėti trumpas pauzes dopamino ląstelių degimo metu.²⁹ ir naudokite šias pauzes kaip neigiamas prognozavimo klaidas.

Mikrodializė buvo plačiai naudojama tiesiogiai matuoti priešakinio dopamino koncentraciją, nors ir esant mažai laiko raiškai (paprastai vidutiniškai per daugelį minučių). Toks lėtas dopamino matavimas gali būti sudėtingas tiksliai susieti su elgesiu. Nepaisant to, dopamino mikrodializė branduolyje accumbens (NAc; ventralinis / medialinis striatumas) rodo teigiamą koreliaciją su lokomotoriniu aktyvumu³⁰ ir kiti motyvacijos rodikliai⁵. Tai buvo plačiai laikoma, kad dopamino koncentracija keičiasi lėtai („tonizuoja“) ir kad šie lėtieji pokyčiai perduoda motyvacinį signalą. Konkrečiau, skaičiavimo modeliai pasiūlė, kad toniniai dopamino lygiai seka ilgalaikę vidutinę atlygio normą³¹ - naudingas motyvacinis kintamasis laiko paskirstymui ir sprendimų priėmimui. Verta pabrėžti, kad labai nedaugelyje straipsnių aiškiai apibrėžtas „tonizuojantis“ dopamino kiekis - paprastai jie tik daro prielaidą, kad dopamino koncentracija lėtai keičiasi per kelias minutes trunkančią mikrodializės skalę.

Tačiau šis „fazinis dopaminas = RPE / mokymasis, toninis dopamino = motyvacijos“ vaizdas susiduria su daugeliu problemų. Pirma, nėra jokių tiesioginių įrodymų, kad toninis dopamino ląstelių deginimas paprastai skiriasi per lėtą laiką. Toniniai šaudymo rodikliai nesikeičia keičiantis motyvacijai^32,33. Buvo teigiama, kad toniniai dopamino lygiai keičiasi dėl besikeičiančios aktyvių dopamino ląstelių dalies^34,35. Tačiau daugelyje tyrimų, susijusių su nesusijusiais, nesusijusiais gyvūnais, nebuvo pranešta, kad dopamino ląstelės persijungtų tarp tylių ir aktyvių būsenų.

Be to, tai, kad mikrodializė lėtai matuoja dopamino kiekį, nereiškia, kad dopamino kiekis iš tikrųjų keičiasi lėtai. Mes neseniai¹⁵ ištyrė žiurkės NAc dopaminą tikimybinio atlygio užduotyje, naudojant tiek mikrodializę, tiek greitai nuskaitytą ciklinį voltammetriją. Patvirtinome, kad mesolimbinis dopaminas, matuojamas mikrodializės būdu, koreliuoja su atlygio norma (nauda / min.). Tačiau, net jei pagerėjo mikrodializės laikinoji skiriamoji geba (1min), dopaminas svyravo taip greitai, kaip mes paėmėme: mes nematėme įrodymų, kad dopamino signalas būdingas lėtai.

Taikant smulkesnę įtampos metinę skiriamąją gebą, mes pastebėjome glaudų ryšį tarp antrinio dopamino svyravimų ir motyvacijos. Kadangi žiurkės atliko veiksmų seką, reikalingą apdovanojimams pasiekti, dopaminas padidėjo ir padidėjo, pasiekdamas smailę, lygiai taip pat, kaip jie gavo atlygį (ir greitai, kai jie suvartojo). Mes parodėme, kad dopaminas stipriai siejasi su momentine būsenos verte, apibrėžta kaip tikėtinas būsimas atlygis, diskontuojant tikėtiną laiką, reikalingą jį gauti. Ši greita dopamino dinamika taip pat gali paaiškinti mikrodializės rezultatus, nesikreipiant į atskirus dopamino signalus skirtingu laiku. Kadangi gyvūnai gauna daugiau naudos, kiekviename bandymų sekos etape jie padidina lūkesčius dėl būsimų atlygių. Užuot lėtai besivystančio vidutinio atlygio normos signalo, koreliacija tarp dopamino ir atlygio normos geriausiai paaiškinama kaip šių sparčiai besivystančių būsenų verčių vidurkis per ilgą mikrodializės mėginio surinkimo laiką.

Šis mesolimbinio dopamino išsiskyrimo reikšmės aiškinimas atitinka kitų tyrimų grupių voltammetrijos rezultatus, kurie ne kartą nustatė, kad dopamino išsiskyrimo rampos padidėja, nes didėja artumas prie atlygio.^36-38(Pav 2). Šis motyvacinis signalas nėra iš esmės „lėtas“, bet gali būti pastebimas per visą nuolatinį intervalų diapazoną. Nors dopamino rampos gali trukti kelias sekundes, kai požiūris taip pat trunka kelias sekundes³⁸, tai atspindi elgesio laiką, o ne vidinę dopamino dinamiką. Ryšys tarp mesolimbinio dopamino išsiskyrimo ir svyruojančios vertės yra matomas taip greitai, kaip leidžia įrašymo technika, ty ~ 100ms laiko skalėje su ūminiais voltammetrijos elektrodais¹⁵.

Greiti dopamino svyravimai ne tik atspindi motyvaciją, bet ir nedelsdami skatina motyvuotą elgesį. Didesni dopamino ląstelių faziniai atsakai, skatinantys užuominas, prognozuoja trumpesnius reakcijos laikus tame pačiame tyrime³⁹. Optogenetinė VTA dopamino ląstelių stimuliacija daro didesnę tikimybę, kad žiurkės pradės dirbti mūsų tikimybinio atlygio užduotyje¹⁵, lyg jie turėtų didesnę lūkesčius. Optimizuota SNc dopamino neuronų arba jų aksonų stimuliacija nugaros striatume padidina judėjimo tikimybę^40,41. Kritiškai šie elgesio poveikiai pasireiškia per porą šimtų milisekundžių nuo optogenetinės stimuliacijos pradžios. Gali būti, kad atlygio ir nuspėjamojo užuominų gebėjimas skatinti motyvaciją yra labai greitas dopaminerginis moduliavimas, skatinantis NAc smailių neuronų susijaudinimą.⁴². Kadangi dopaminas greitai keičiasi ir šie dopamino pokyčiai greitai veikia motyvaciją, dopamino motyvacinės funkcijos geriau apibūdinamos kaip greitai („fazinės“), o ne lėtos („tonizuojančios“).

Be to, atskirų greitų ir lėtų laiko skalių naudojimas pats savaime neišsprendžia iššifravimo problemos, su kuria susiduria neuronai su dopamino receptoriais. Jei dopaminas signalizuoja apie mokymąsi, sinapsinio plastiškumo moduliavimas atrodytų tinkamas ląstelių atsakas. Tačiau betarpiškas poveikis motyvuotam elgesiui reiškia tiesioginį poveikį didėjančiam elgesiui, pvz., Greitai keičiant jaudrumą. Dopaminas gali turėti abu šiuos postsinapsinius efektus (ir dar daugiau), taigi ar tam tikra dopamino koncentracija turi konkrečią prasmę? O gal šią prasmę reikia sukonstruoti, pvz., Lyginant dopamino kiekį per laiką, ar naudojant kitus sutapusius signalus, norint nustatyti, kuri ląstelių technika turi veikti? Ši galimybė aptariama toliau.

Ar dopamino išsiskyrimas perduoda tą pačią informaciją kaip ir dopamino ląstelių deginimas?

Ryšys tarp greito dopamino svyravimų ir motyvacinės vertės atrodo keistas, nes dopamino ląstelių deginimas yra panašus į RPE. Be to, kai kuriuose tyrimuose buvo pranešta apie RPE signalus, susijusius su mezolimbiniu dopamino išskyrimu⁴³. Svarbu atkreipti dėmesį į iššūkį aiškinant kai kurias neuroninių duomenų formas. Vertės signalai ir RPE koreliuoja tarpusavyje - nenuostabu, nes RPE paprastai apibrėžiama kaip vertės pokytis nuo vieno momento prie kito („laiko skirtumas“ RPE). Dėl šios koreliacijos labai svarbu naudoti eksperimentinius planus ir analizes, skiriančias vertę nuo RPE sąskaitų. Problema papildoma, kai naudojama neuroninė priemonė, kuri remiasi santykiniais, o ne absoliučiais signalo pokyčiais. Voltammetrijos analizėse dopaminas tam tikru momentu paprastai lyginamas su „bazine“ epocha, kuri buvo atliekama anksčiau kiekviename bandyme (siekiant pašalinti signalo komponentus, kurie nepriklauso nuo dopamino, įskaitant elektrodų įkrovimą kiekvienoje įtampos juostoje ir dreifą per minučių intervalą). Tačiau atėmus bazinę liniją, vertės signalas gali būti panašus į RPE signalą. Tai mes pastebėjome savo paties voltmetrijos duomenyse (2e). Atlyginimo lūkesčių pokyčiai atsispindėjo dopamino koncentracijos pokyčiuose kiekvieno tyrimo pradžioje, ir šie pokyčiai praleidžiami, jei tik prisiimama pastovi bazinė linija bandymų metu.¹⁵. Taigi išvadas apie dopamino išsiskyrimą ir RPE kodavimą reikia vertinti atsargiai. Šis duomenų aiškinimo pavojus taikomas ne tik voltamperui, bet ir bet kokiai analizei, kuri remiasi santykiniais pokyčiais - galbūt įskaitant kai kurias fMRI ir fotometriją⁴⁴.

Nepaisant to, mes vis dar turime suderinti su dopamino išskyrimu susijusią vertę NAc branduolyje su dopamino neuronų pastoviu vertinimu nesusijusiu būdu¹³, net per šoninį VTA plotą, kuris suteikia dopamino NAc branduoliui⁴⁵. Vienas iš galimų veiksnių yra tai, kad dopamino ląstelės paprastai užrašomos galvos atraminiuose gyvūnuose, atliekančiuose klasikines kondicionavimo užduotis, o dopamino išsiskyrimas paprastai matuojamas neribotuose gyvūnuose, aktyviai judančiuose per savo aplinką. Mes siūlėme, kad mesolimbinis dopaminas galėtų konkrečiai nurodyti „darbo“ vertę¹⁵ - kad tai atspindi reikalavimą skirti laiko ir pastangų atlygiui gauti. Atsižvelgiant į tai, dopaminas didėja, kai signalai nurodo judėjimą, bet ne su signalais, nurodančiais ramybę, net jei jie rodo panašų būsimą atlygį⁴⁶. Jei, kaip ir daugelyje klasikinių užduočių, aktyvus „darbas“ neduoda jokios naudos, tada dopaminerginiai pokyčiai, rodantys darbo vertę, gali būti ne tokie akivaizdūs.

Dar svarbiau yra tai, kad dopamino išsiskyrimas gali būti lokaliai kontroliuojamas pačiuose terminaluose, ir tokiu būdu parodo erdvės ir laiko modelius, nepriklausomus nuo ląstelių kūno. Pavyzdžiui, bazolaterinė amygdala (BLA) gali turėti įtakos NAc dopamino išsiskyrimui net tada, kai VTA yra inaktyvuota⁴⁷. Priešingai, BLA inaktyvavimas sumažina NAc dopamino išsiskyrimą ir atitinkamą motyvuotą elgesį, akivaizdžiai nedarant įtakos VTA šaudymui.⁴⁸. Dopamino terminaluose yra įvairių neurotransmiterių receptorių, įskaitant glutamatą, opioidus ir acetilcholiną. Nikotino acetilcholino receptoriai leidžia striatų cholinerginiams interneuronams (CIN) greitai kontroliuoti dopamino išsiskyrimą.^49,50. Nors jau seniai pastebėta, kad vietinė dopamino išsiskyrimo kontrolė gali būti svarbi^7,51, jis nebuvo įtrauktas į dopamino funkcijos skaičiavimo sąskaitas. Siūlau, kad dopamino išsiskyrimo dinamika, susijusi su vertės kodavimu, iš esmės kyla vietinis kontrolė, net jei dopamino ląstelių deginimas suteikia svarbius RPE panašius signalus mokymuisi.

Kaip dopaminas gali sukelti tiek mokymąsi, tiek motyvaciją be painiavos?

Iš esmės vertės signalas yra pakankamas, kad būtų galima perteikti ir RPE, nes laiko skirtumai RPE tiesiog yra greitas vertės pokytis (2B). Pavyzdžiui, atskiri intraceluliniai tikslinių neuronų keliai gali būti skirtingai jautrūs absoliučiai dopamino koncentracijai (atitinkančiai reikšmę), palyginti su sparčiais santykiniais koncentracijos pokyčiais (atstovaujančiais RPE). Ši schema atrodo patikima, turint omenyje kompleksinį dopamino moduliavimą spininio neurono fiziologijoje⁵² ir jų jautrumas kalcio koncentracijos laikiniesiems modeliams⁵³. Tačiau tai taip pat atrodo šiek tiek nereikalinga. Jei RPE tipo signalas jau egzistuoja dopamino ląstelėse, turėtų būti įmanoma jį naudoti, o ne iš naujo gauti RPE iš vertės signalo.

Norint tinkamai naudoti atskirus RPE ir vertės signalus, dopamino gavėjų grandinės gali aktyviai keisti dopamino interpretaciją. Yra intriguojančių įrodymų, kad acetilcholinas taip pat gali atlikti šį perjungimo vaidmenį. Tuo pačiu metu, kai dopamino ląstelės užsikimš šuolius į netikėtus ženklus, CIN rodo trumpą (~ 150ms) pertraukos šaudymo metu, kurios nėra skalės su RPE⁵⁴. Šias CIN pauzes gali valdyti VTA GABAerginiai neuronai⁵⁵ taip pat „nustebinti“ susijusias ląsteles intralaminariniame talame, ir buvo pasiūlyta veikti kaip asocijuotumo signalas, skatinantis mokymąsi⁵⁶. Morris ir Bergmanas pasiūlė⁵⁴ kad cholinerginės pauzės apibrėžia laikinus langus, skirtus striatų plastiškumui, per kurį dopaminas gali būti naudojamas kaip mokymosi signalas. Nuo dopamino priklausomo plastiškumo nuolat slopina mechanizmai, įskaitant muskarininius m4 receptorius tiesioginio kelio striatrijos neuronuose.⁵⁷. Intraceliulinio signalizavimo modeliai rodo, kad per CIN pauzes m4 surišimo nebuvimas gali veikti sinergiškai su faziniais dopamino išsilaisvinimais, kad padidintų PKA aktyvavimą.⁵⁸, taip skatinant sinaptinius pokyčius.

Taigi striatrijos cholinerginės ląstelės yra gerai išdėstytos, kad dinamiškai pakeistų multipleksuoto dopaminerginio pranešimo reikšmę. CIN pertraukų metu muskarino bloko reljefas per sinaptinį plastiškumą leistų mokytis dopamino. Kitais laikais išleidimas iš dopamino terminalų būtų lokalizuotas, kad paveiktų vykstančius elgesio rezultatus. Šiuo metu šis pasiūlymas yra spekuliacinis ir neišsamus. Buvo pasiūlyta, kad CINs integruotų informaciją iš daugelio aplinkinių smailių neuronų, kad gautų naudingus tinklo lygio signalus, tokius kaip entropija^59,60. Tačiau nėra visiškai aišku, kad CIN aktyvumo dinamika gali būti naudojama dopamino vertės signalams generuoti⁶¹, taip pat dopamino mokymosi signalų vartai.

Ar dopaminas reiškia tą patį visą priešakinį?

Kaip buvo laikomasi RPE idėjos, buvo manoma, kad dopaminas buvo pasaulinis signalas, transliuodamas klaidos pranešimą per striatalų ir priekinės žievės tikslus. Schultz pabrėžė, kad beždžionių dopamino ląstelės visose VTA ir SNc reakcijose yra labai panašios⁶². Nustatytų dopamino ląstelių tyrimai taip pat rado gana vienodus RPE panašius atsakus graužikams, bent jau šoniniams VTA neuronams klasikinio kondicionavimo kontekste¹³. Tačiau dopamino ląstelės yra molekulinės ir fiziologiškai įvairios^63-65 ir dabar yra daug pranešimų, kad jie elgiasi su įvairiais šaudymo būdais elgdamiesi su gyvūnais. Tai apima fazinį šaudymo į aversinius įvykius padidėjimą⁶⁶ ir suaktyvinkite užuominas⁶⁷ kuri netinkamai atitinka standartinę RPE paskyrą. Daugelis dopamino ląstelių parodo pradinį trumpojo latenso atsaką į jutimo įvykius, kurie atspindi netikėtumą ar „įspėjimą“ daugiau nei konkretus RPE kodavimas^68,69. Šis įspėjimo aspektas yra svarbesnis SNc⁶⁹, kur dopamino ląstelės yra labiau linkusios į „sensorimotorinį“ nugaros / šoninį striatumą (DLS^45,63). Taip pat pranešta, kad SNc dopamino ląstelių pogrupiai didėja⁴¹ arba sumažinti⁷⁰ šaudyti kartu su spontaniniais judesiais, net ir be išorinių ženklų.

Kelios grupės naudojo pluošto fotometriją ir kalcio indikatorių GCaMP, kad ištirtų dopamino neuronų pogrupių aktyvumą^71,72. Dopamino ląstelės, kurios projektuojasi į nugaros / medialinę striatumą (DMS), parodė trumpalaikį slopinimą netikėtų trumpų sukrėtimų metu, tuo tarpu tie, kurie nukreipė į DLS, padidino aktyvumą⁷¹- labiau atitinka perspėjimo atsakymą. Taip pat pastebėti skirtingi dopaminerginiai atsakai skirtinguose priekinių smegenų paregioniuose, naudojant GCaMP, siekiant ištirti dopamino aksonų ir terminalų aktyvumą^40,72,73. Naudojant dviejų fotonų vaizdą galvos atramos pelėse, Howe ir Dombeck⁴⁰ fazinis dopamino aktyvumas, susijęs su spontaniniais judesiais. Tai daugiausia matyti iš atskirų dopamino axonų iš SNc, kurie baigėsi nugaros striatume, o VTA dopamino axonai NAc atsakė labiau už atlygį. Kiti taip pat nustatė su dopaminerginiu poveikiu susijusį atlygį NAc, o DMS labiau susietas su priešpriešiniais veiksmais⁷² ir užpakalinė striatum uodega, reaguojanti į aversyvius ir naujus stimulus⁷⁴.

Tiesioginės dopamino išsiskyrimo priemonės taip pat atskleidžia subregionų nevienalytiškumą^30,75. Su mikrodializės duomenimis, nustatyta, kad dopaminas siejasi su konkrečia reikšme NAc šerdyje ir ventralinėje medalinėje priekinėje žievėje, o ne kitose striatumo (NAc lukšto, DMS) ar priekinės žievės dalyse. Tai intriguoja, nes atrodo, kad ji gerai susieja su dviem vertės kodavimo „karštais taškais“, nuolat matomais žmogaus fMRI tyrimų metu.^76,77. Visų pirma, NAc BOLD signalas, glaudžiai susijęs su dopamino signalizacija⁷⁸, didėja laukiant atlygio (vertės) - daugiau nei su RPE⁷⁶.

Ar šie dopamino išsiskyrimo erdviniai modeliai atsiranda dėl atskirų dopamino ląstelių subpopuliacijų, vietinio dopamino išsiskyrimo kontrolės, ar abiejų, jie ginčija pasaulinio dopamino pranešimo idėją. Galima daryti išvadą, kad yra daug skirtingų dopamino funkcijų: (pvz., Dopaminas dorsalinėje stiatumoje), rodantis „judėjimą“ ir dopaminą ventralinėje stiatumoje, signalizuojantį „atlygį“⁴⁰. Tačiau pritariu kitam konceptualiam požiūriui. Skirtingi striatų subregionai gauna įvestį iš įvairių žievės regionų ir taip apdoros įvairių rūšių informaciją. Tačiau kiekvienas striatų subregionas turi bendrą mikroschemų architektūrą, įskaitant atskirus D1 ir D2 receptorių guolius, turinčius smailius neuronus⁷⁹, CIN ir pan. Nors įprasta paminėti įvairius striatų subregionus (pvz., DLS, DMS, NAc branduolį), nes jei jie yra atskiros zonos, tarp jų nėra aštrių anatominių ribų (NAc korpusas yra šiek tiek neurochemiškai skirtingas). Vietoj to yra tik švelnūs receptorių tankio, interneurono proporcijų ir tt gradientai, kurie atrodo labiau panašūs į bendro skaičiavimo algoritmo parametrus. Atsižvelgiant į šią bendrą architektūrą, ar galime apibūdinti bendrą dopamino funkciją, kuri būtų atimta nuo konkrečios informacijos, kurią tvarko kiekvienas subregionas?

Striatriškas dopaminas ir ribotų išteklių skyrimas.

Siūlau, kad įvairūs skirtingi dopamino poveikiai vykstančiam elgesiui gali būti suprantami kaip moduliavimas sprendimai dėl išteklių paskirstymo. Konkrečiai kalbant, dopaminas pateikia įvertinimus, kaip verta išleisti ribotą vidinį šaltinį, o ypatingas ištekliai skiriasi tarp striatų subregionų. „Motor“ striatum (~ DLS) išteklius yra judėjimas, kuris yra ribotas, nes juda kainuoja energija ir kadangi daugelis veiksmų yra nesuderinami tarpusavyje⁸⁰. Dopamino didinimas leidžia greičiau, kad gyvūnas nuspręstų, jog verta praleisti energiją judėti ar judėti greičiau^6,40,81. Atkreipkite dėmesį, kad dopamino signalas, koduojantis „judėjimą yra verta“, sukels koreliacijas tarp dopamino ir judėjimo, net be dopamino, koduojančio „judėjimą“ Rep.

„Kognityviniam“ striatumui (~ DMS) ištekliai yra pažintiniai procesai, įskaitant dėmesį (kuris pagal apibrėžtį yra ribotas.⁸²) ir darbo atmintį⁸³. Be dopamino, svarbiausi išoriniai ženklai, kurie paprastai sukelia orientacinius judesius, yra ignoruojami, tarsi būtų laikoma mažiau dėmesio vertinga³. Be to, tyčinis kognityvinių kontrolės procesų organizavimas yra brangus (brangus⁸⁴). Dopaminas - ypač DMS⁸⁵ - vaidina pagrindinį vaidmenį sprendžiant, ar verta dėti šias pastangas^86,87. Tai gali apimti, ar taikyti daugiau kognityviai reikalingų, deliberatyvių („modelių“) sprendimų strategijų⁸⁸.

„Motyvaciniam“ striatumui (~ NAc) vienas pagrindinis ribotas išteklius gali būti gyvūno laikas. Mesolimbinis dopaminas nereikalingas, kai gyvūnai atlieka paprastą, fiksuotą veiksmą, kad greitai gautų atlygį⁸⁹. Tačiau daugelį atlygio formų galima gauti tik užsitęsusiu darbu: pratęstų nepagrįstų veiksmų sekomis, kaip ir pašaruose. Pasirinkimas dirbti reiškia, kad reikia atsisakyti kitų naudingų laiko praleidimo būdų. Dideliu mezolimbiniu dopaminu pažymima, kad verta prisidėti prie trumpalaikio, pastangų reikalaujančio darbo, tačiau, nes sumažėja dopamino, gyvūnai nesivargina ir gali tik pasiruošti miegoti⁹⁰.

Taigi kiekvienoje cortico-striatros kilpos grandinėje dopamino indėlis į nuolatinį elgesį yra tiek ekonominis (susijęs su išteklių paskirstymu), tiek motyvaciniu (nesvarbu, ar tai yra verta išleisti lėšas⁸¹). Šios grandinės nėra visiškai nepriklausomos, bet turi hierarchinę, spiralinę organizaciją: daugiau stuburo ventralinių dalių daro įtaką dopamino ląstelėms, kurios sukelia daugiau nugaros dalių^5,91. Tokiu būdu sprendimai užsiimti darbu taip pat gali padėti atgaivinti reikalingus specifinius, trumpesnius judesius. Tačiau apskritai dopaminas teikia „aktyvinimo“ signalus - padidina tikimybę, kad bus priimtas tam tikras sprendimas, o ne „krypties“ signalus, nurodančius kaip išteklius⁵.

Koks yra skaičiavimo dopamino vaidmuo priimant sprendimus?

Vienas iš būdų galvoti apie šį aktyvų vaidmenį yra sprendimų priėmimo „slenksčių“ požiūriu. Tam tikruose matematinių modelių sprendimuose procesai didėja, kol pasiekia ribinį lygį, kai sistema prisiima įsipareigojimą imtis veiksmų⁹². Didesnis dopamino kiekis atitiktų mažesnį atstumą iki ribos, kad sprendimai būtų pasiekti greičiau. Ši idėja yra supaprastinta, tačiau atlieka patvirtintas kiekybines prognozes. Judėjimo slenksčių sumažinimas sukeltų specifinį reakcijos laiko pasiskirstymo formos pasikeitimą, tik tai, kas matoma, kai amfetaminas yra infuzuojamas į jutiklinį striatumą.²⁰.

Užuot nustatę ribas, laikui bėgant elgsenos ir nervų duomenys gali būti geriau, nei fiksuotos ribos, o jei sprendimai tampa vis aktualesni. Buvo pasiūlyta bazinė ganglijų išraiška, kad būtų sukurtas dinamiškai besivystantis skubus signalas, kuris pagyvina žievės atrankos mechanizmus⁹³. Skubumas taip pat buvo didesnis, kai ateityje atlyginimai buvo artimesni, todėl ši sąvoka yra panaši į dopamino vertės kodavimą, aktyvų vaidmenį.

Ar toks aktyvus vaidmuo yra pakankamas, kad būtų galima apibūdinti striacinio dopamino veikimo moduliavimo poveikį? Tai susiję su ilgalaikiu klausimu, ar bazinės ganglijos grandinės tiesiogiai pasirenka tarp mokomų veiksmų⁸⁰ arba tiesiog pagyvinti kitur pasirinktus pasirinkimus^93,94. Atrodo, kad dopaminas gali turėti „kryptingesnį“ efektą bent dviem būdais. Pirmasis yra tada, kai dopaminas veikia smegenų subregione, kuris apdoroja natūraliai nukreiptą informaciją. Baziniai ganglijų grandynai atlieka svarbų, iš dalies į šoną nukreiptą vaidmenį orientuojant į potencialų atlygį ir prie jo. Primatų caudatas (~ DMS) yra susijęs su akių judesių judėjimu į kontralaterinius erdvinius laukus⁹⁵. Dopaminerginis signalas, kad kažką priešingoje erdvėje verta nukreipti, gali atspindėti pastebėtą koreliaciją tarp dopaminerginio aktyvumo DMS ir kontralaterinių judesių.⁷², taip pat rotacinį elgesį, kurį sukelia dopamino manipuliacijos⁹⁶. Antroji „dopamino“ „krypties“ įtaka yra akivaizdi, kai (dvišaliai) dopamino pažeidimai žiurkės link mažos pastangos / mažos premijos pasirinkimo, o ne didelės pastangos / didelio atlygio alternatyvos⁹⁷. Tai gali atspindėti tai, kad kai kurie sprendimai yra nuoseklesni nei lygiagrečiai, kai žiurkės (ir žmonės) vertina galimybes vienu metu.⁹⁸. Šiuose sprendimų kontekstuose dopaminas vis tiek gali mokėti iš esmės aktyvų vaidmenį, perduodamas šiuo metu svarstomos galimybės vertę, kuri vėliau gali būti priimta, ar ne²⁴.

Aktyvūs gyvūnai priima sprendimus daugeliu lygių, dažnai esant dideliems rodikliams. Be galvoti apie individualius sprendimus, gali būti naudinga apsvarstyti bendrą trajektoriją per valstybių seką (Pav 1). Palengvindamas perėjimą iš vienos būsenos į kitą, dopaminas gali pagreitinti srautą palei išmoktas trajektorijas⁹⁹. Tai gali būti susijusi su svarbia dopamino įtaka elgesio laikui^44,100. Viena iš svarbiausių ateities užduočių ribų - giliau suprasti, kaip toks dopamino poveikis nuolatiniam elgesiui atsiranda mechanistiškai, keičiant informacijos apdorojimą atskirose ląstelėse, mikroschemose ir didelio masto kortikos bazinių ganglijų kilpose. Be to, aš pabrėžiau bendruosius dopamino skaičiavimo vaidmenis įvairiuose striatrijos taikiniuose, bet daugiausia ignoruojantys žievės tikslai, ir dar reikia pamatyti, ar dopamino funkcijos abiejose struktūrose gali būti aprašytos toje pačioje sistemoje.

Apibendrinanttinkamas dopamino aprašymas paaiškintų, kaip dopaminas gali signalizuoti tiek apie mokymąsi, tiek į motyvaciją tuo pačiu greitu laiku, be painiavos. Tai paaiškintų, kodėl dopamino išleidimas į raktus nukreiptas į karius, turinčius atlygio lūkesčius, nors dopamino ląstelių deginimas nėra. Ir tai suteiktų vieningą skaičiavimo sąskaitą apie dopamino veiksmus visoje striatume ir kitur, o tai paaiškina skirtingus elgesio poveikius judėjimui, pažinimui ir laiko nustatymui. Kai kurios čia pateiktos konkrečios idėjos yra spekuliacinės, bet skirtos paskatinti atnaujintas diskusijas, modeliavimą ir naujus eksperimentus.

Padėkos.

Nuorodos: