Paskelbta internete 2018 Gegužė 14. doi: 10.1038 / s41593-018-0152-y
Abstraktus
Dopaminas yra lemiamas mokymosi ir motyvacijos moduliatorius. Tai kelia problemą: kaip tikslinės ląstelės gali žinoti, ar padidėjęs dopaminas yra signalas mokytis, ar judėti? Dažnai manoma, kad motyvacija apima lėtus („toninius“) dopamino pokyčius, o greiti („faziniai“) dopamino svyravimai perteikia atlyginimų prognozavimo klaidas mokymuisi. Tačiau naujausi tyrimai parodė, kad dopaminas perteikia motyvacinę vertę ir skatina judėjimą, net ir po antros laiko. Čia apibūdinu alternatyvų, kaip dopaminas reguliuoja einamąjį elgesį. Dopamino išsiskyrimą, susijusį su motyvacija, greitai ir lokaliai formuoja dopamino terminalų receptoriai, nepriklausomai nuo dopamino ląstelių degimo. Tiksliniai neuronai staiga persijungia tarp mokymosi ir veikimo režimų, o striatų cholinerginiai interneuronai suteikia vieną kandidato jungimo mechanizmą. Dopamino elgesio poveikis skiriasi pagal subregionus, tačiau kiekvienu atveju dopaminas suteikia dinamišką įvertinimą, ar verta skirti ribotą vidinį išteklių, pvz., Energijos, dėmesio ar laiko.
Ar dopaminas yra mokymosi, motyvacijos ar abiejų signalas?
Mūsų supratimas apie dopaminą praeityje pasikeitė ir vėl keičiasi. Vienas kritinis skirtumas tarp dopamino poveikio dabartinis elgesys (veikimas) ir dopamino poveikis ateitis elgesys (mokymasis). Abi jos yra tikros ir svarbios, tačiau įvairiais laikais buvo naudinga, o kita - ne.
Kai („70“) tapo įmanoma atlikti selektyvius, pilnus dopamino takų pažeidimus, akivaizdus elgesio pasekmė buvo didelis judėjimo sumažėjimas.1. Tai atitinka žmogaus dopamino praradimo akinetinį poveikį, atsiradusį dėl pažangios Parkinsono ligos, toksiškų vaistų ar encefalito.2. Tačiau nei žiurkės, nei žmogaus atvejai neturi esminių nesugebėjimo judėti. Dopamino pažeistos žiurkės plaukia šaltu vandeniu3ir akinetiniai pacientai gali kilti ir paleisti, jei skamba gaisro signalizacija („paradoksali“ kinezija). Taip pat nėra pagrindinio trūkumo vertinant atlygį: dopamino pažeistos žiurkės suvartos savo burnoje dedamą maistą ir parodys malonumo požymius4. Greičiau jie nenorės dėti pastangų aktyviai gauti atlygį. Šie ir daugelis kitų rezultatų sukėlė esminį ryšį tarp dopamino ir motyvacijos5. Net judėjimas, lėtesnis, pastebėtas ne tokiais sunkiais Parkinsono ligos atvejais, gali būti laikomas motyvaciniu deficitu, atspindinčiu netiesioginius sprendimus, kad nėra verta praleisti energiją, reikalingą greitesniam judėjimui6.
Tada („80s“) atėjo novatoriški dopamino neuronų įrašai beždžionėms elgtis (vidurio smegenų zonose, kurios projektuoja iki smegenų: ventralinis tegmentalinis plotas, VTA / materia nigra pars compacta, SNc). Tarp stebimų šaudymo modelių buvo trumpi aktyvumo veiksniai, skatinantys tiesioginius judesius. Šis „fazinis“ dopamino deginimas iš pradžių buvo aiškinamas kaip „elgesio aktyvinimas“.7 ir „motyvacinis susijaudinimas“8 - kitaip tariant, kaip gyvūno dabartinio elgesio pagyvinimas.
„90s“ įvyko radikalus pokytis, pakartotinai interpretuojant fazinius dopamino išsiskyrimus kaip kodavimą atlyginti prognozavimo klaidas (RPEs9). Tai buvo pagrįsta pagrindiniu stebėjimu: dopamino ląstelės reaguoja į netikėtus dirgiklius, susijusius su būsimu atlygiu, tačiau dažnai nustoja reaguoti, jei tikėtina, kad šie stimulai bus10. RPE idėja kilo iš ankstesnių mokymosi teorijų, ypač tuomet, kai buvo plėtojama kompiuterizavimo srities stiprinimo mokymosi sritis11. RPE signalo taškas yra atnaujinti vertės(būsimų atlygių įverčiai). Šios vertybės naudojamos vėliau, kad padėtų priimti sprendimus, kurie maksimaliai padidintų atlygį. Kadangi dopamino ląstelių deginimas primena RPE, o mokymuisi naudojami RPE, natūralu pabrėžti dopamino vaidmenį mokymosi procese. Vėliau optogenetiniai manipuliacijos patvirtino RPE koduojančių ląstelių dopaminerginę tapatybę12,13 ir parodė, kad jie iš tikrųjų moduliuoja mokymąsi14,15.
Idėja, kad dopaminas suteikia mokymosi signalą, puikiai dera su literatūra, kad dopaminas moduliuoja sinaptinį plastiškumą striatume, kuris yra pagrindinis dopamino tikslas. Pavyzdžiui, trigubas glutamato stimuliacijos striatų dendrito stuburo, postinaptinio depolarizacijos ir dopamino išsiskyrimas sukelia stuburo augimą16. Dopaminerginis ilgalaikio mokymosi mechanizmų moduliavimas padeda paaiškinti nuolatinį priklausomybę sukeliančių vaistų elgesio poveikį, kuris turi didesnę striatalo dopamino išsiskyrimo savybę17. Netgi gilius akinezijas su dopamino praradimu iš dalies gali lemti tokie mokymosi mechanizmai18. Dopamino trūkumas gali būti traktuojamas kaip nuolat neigiamas RPE, kuris palaipsniui atnaujina veiksmų vertes iki nulio. Dopamino antagonistai gali sukelti panašų progresuojančią, išnykimo tipo poveikį elgesiui19,20.
Vis dėlto mintis, kad dopaminas yra kritiškai susijęs su nuolatine motyvacija, niekada neišnyko - priešingai, elgesio neuromokslininkai ją laiko savaime suprantamu dalyku. Tai yra tinkama, atsižvelgiant į svarius įrodymus, kad dopamino funkcijos, susijusios su motyvacija, judesiu ir žvalumu, yra neatskiriamos nuo mokymosi15,20-23. Mažiau vertinamas yra iššūkis, susijęs su šio motyvacinio vaidmens suderinimu su teorija, kad DA teikia RPE mokymosi signalą.
Motyvacija „žvelgia į ateitį“: ji naudoja būsimo atlygio (vertybių) prognozes, kad būtų tinkamai suaktyvinta dabartinė elgsena. Priešingai, mokymasis „žvelgia atgal“ į valstybes ir veiksmus neseniai praeityje, ir atnaujina jų vertybes. Tai yra papildomi ciklo etapai: atnaujintos reikšmės gali būti naudojamos vėlesniame sprendimų priėmime, jei tos valstybės vėl susiduria, vėliau atnaujinamos ir pan. Bet kuris ciklo etapas yra susijęs su dopamino vartojimu, - naudodamas vertybes, priimant sprendimus (rezultatus), arba atnaujindamas vertybes (mokymąsi)?
Tam tikromis aplinkybėmis paprasta įsivaizduoti, kad dopaminas vienu metu vaidina abu vaidmenis.24Netikėti, atlygio nuspėjamieji ženklai yra archetipiniai įvykiai, kuriais siekiama sukelti dopamino ląstelių deginimą ir paleidimą, ir tokie ženklai paprastai skatina elgesį ir sukelia mokymąsi (Pav 1). Šioje konkrečioje situacijoje ir atlygio prognozavimas, ir atlygio prognozavimo klaidos didėja vienu metu - tačiau taip nėra visada. Kaip tik vienas pavyzdys, žmonės ir kiti gyvūnai dažnai būna motyvuoti dirbti atlygį net tada, kai įvyksta nedaug ar nieko nuostabaus. Jie gali dirbti vis sunkiau, kai priartėja prie atlygio (vertė didėja artėjant atlygiui). Esmė ta, kad mokymasis ir motyvacija skiriasi konceptualiai, skaičiavimais ir elgesiu - vis dėlto atrodo, kad dopaminas daro abu dalykus.
Žemiau kritiškai vertinu dabartines idėjas, kaip dopaminas gali pasiekti tiek mokymosi, tiek motyvacines funkcijas. Siūlau atnaujintą modelį, pagrįstą trimis pagrindiniais faktais: 1) dopamino išsiskyrimas iš terminalų nesukelia paprasčiausiai dopamino ląstelių deginimo, bet taip pat gali būti kontroliuojamas vietoje; 2) dopaminas veikia tiek sinaptinį plastiškumą, tiek tikslinių ląstelių jaudrumą; 3) dopamino poveikį plastiškumui galima įjungti arba išjungti netoliese esančiais grandinės elementais. Kartu šios savybės gali leisti smegenų grandinėms pereiti tarp dviejų skirtingų dopamino pranešimų, atitinkamai mokytis ir motyvuoti.
Ar yra atskirų „fazinių“ ir „toninių“ dopamino signalų su skirtingomis reikšmėmis?
Dažnai teigiama, kad dopamino mokymosi ir motyvaciniai vaidmenys atsiranda skirtingu laiku25. Dopamino ląstelės nuolat („toniškai“) užsidega keletu šuolių per sekundę, kartais trumpais („faziniais“) sprogimais ar pauzėmis. Srautai, ypač jei dirbtinai sinchronizuojami dopamino ląstelėse, skatina greitą priešakinės dopamino greitį26 kurios yra labai trumpalaikės (po antros trukmės27). Atskiras toninių dopamino ląstelių deginimas į smegenų dopamino koncentraciją yra ne toks aiškus. Kai kurie įrodymai rodo, kad šis indėlis yra labai mažas28. Gali užtekti beveik nuolatinės aukštesnio afiniteto D2 receptorių stimuliacijos, leidžiančios sistemai pastebėti trumpas pauzes dopamino ląstelių degimo metu.29 ir naudokite šias pauzes kaip neigiamas prognozavimo klaidas.
Mikrodializė buvo plačiai naudojama tiesiogiai matuoti priešakinio dopamino koncentraciją, nors ir esant mažai laiko raiškai (paprastai vidutiniškai per daugelį minučių). Toks lėtas dopamino matavimas gali būti sudėtingas tiksliai susieti su elgesiu. Nepaisant to, dopamino mikrodializė branduolyje accumbens (NAc; ventralinis / medialinis striatumas) rodo teigiamą koreliaciją su lokomotoriniu aktyvumu30 ir kiti motyvacijos rodikliai5. Tai buvo plačiai laikoma, kad dopamino koncentracija keičiasi lėtai („tonizuoja“) ir kad šie lėtieji pokyčiai perduoda motyvacinį signalą. Konkrečiau, skaičiavimo modeliai pasiūlė, kad toniniai dopamino lygiai seka ilgalaikę vidutinę atlygio normą31 - naudingas motyvacinis kintamasis laiko paskirstymui ir sprendimų priėmimui. Verta pabrėžti, kad labai nedaugelyje straipsnių aiškiai apibrėžtas „tonizuojantis“ dopamino kiekis - paprastai jie tik daro prielaidą, kad dopamino koncentracija lėtai keičiasi per kelias minutes trunkančią mikrodializės skalę.
Tačiau šis „fazinis dopaminas = RPE / mokymasis, toninis dopamino = motyvacijos“ vaizdas susiduria su daugeliu problemų. Pirma, nėra jokių tiesioginių įrodymų, kad toninis dopamino ląstelių deginimas paprastai skiriasi per lėtą laiką. Toniniai šaudymo rodikliai nesikeičia keičiantis motyvacijai32,33. Buvo teigiama, kad toniniai dopamino lygiai keičiasi dėl besikeičiančios aktyvių dopamino ląstelių dalies34,35. Tačiau daugelyje tyrimų, susijusių su nesusijusiais, nesusijusiais gyvūnais, nebuvo pranešta, kad dopamino ląstelės persijungtų tarp tylių ir aktyvių būsenų.
Be to, tai, kad mikrodializė lėtai matuoja dopamino kiekį, nereiškia, kad dopamino kiekis iš tikrųjų keičiasi lėtai. Mes neseniai15 ištyrė žiurkės NAc dopaminą tikimybinio atlygio užduotyje, naudojant tiek mikrodializę, tiek greitai nuskaitytą ciklinį voltammetriją. Patvirtinome, kad mesolimbinis dopaminas, matuojamas mikrodializės būdu, koreliuoja su atlygio norma (nauda / min.). Tačiau, net jei pagerėjo mikrodializės laikinoji skiriamoji geba (1min), dopaminas svyravo taip greitai, kaip mes paėmėme: mes nematėme įrodymų, kad dopamino signalas būdingas lėtai.
Taikant smulkesnę įtampos metinę skiriamąją gebą, mes pastebėjome glaudų ryšį tarp antrinio dopamino svyravimų ir motyvacijos. Kadangi žiurkės atliko veiksmų seką, reikalingą apdovanojimams pasiekti, dopaminas padidėjo ir padidėjo, pasiekdamas smailę, lygiai taip pat, kaip jie gavo atlygį (ir greitai, kai jie suvartojo). Mes parodėme, kad dopaminas stipriai siejasi su momentine būsenos verte, apibrėžta kaip tikėtinas būsimas atlygis, diskontuojant tikėtiną laiką, reikalingą jį gauti. Ši greita dopamino dinamika taip pat gali paaiškinti mikrodializės rezultatus, nesikreipiant į atskirus dopamino signalus skirtingu laiku. Kadangi gyvūnai gauna daugiau naudos, kiekviename bandymų sekos etape jie padidina lūkesčius dėl būsimų atlygių. Užuot lėtai besivystančio vidutinio atlygio normos signalo, koreliacija tarp dopamino ir atlygio normos geriausiai paaiškinama kaip šių sparčiai besivystančių būsenų verčių vidurkis per ilgą mikrodializės mėginio surinkimo laiką.
Šis mesolimbinio dopamino išsiskyrimo reikšmės aiškinimas atitinka kitų tyrimų grupių voltammetrijos rezultatus, kurie ne kartą nustatė, kad dopamino išsiskyrimo rampos padidėja, nes didėja artumas prie atlygio.36-38(Pav 2). Šis motyvacinis signalas nėra iš esmės „lėtas“, bet gali būti pastebimas per visą nuolatinį intervalų diapazoną. Nors dopamino rampos gali trukti kelias sekundes, kai požiūris taip pat trunka kelias sekundes38, tai atspindi elgesio laiką, o ne vidinę dopamino dinamiką. Ryšys tarp mesolimbinio dopamino išsiskyrimo ir svyruojančios vertės yra matomas taip greitai, kaip leidžia įrašymo technika, ty ~ 100ms laiko skalėje su ūminiais voltammetrijos elektrodais15.
Greiti dopamino svyravimai ne tik atspindi motyvaciją, bet ir nedelsdami skatina motyvuotą elgesį. Didesni dopamino ląstelių faziniai atsakai, skatinantys užuominas, prognozuoja trumpesnius reakcijos laikus tame pačiame tyrime39. Optogenetinė VTA dopamino ląstelių stimuliacija daro didesnę tikimybę, kad žiurkės pradės dirbti mūsų tikimybinio atlygio užduotyje15, lyg jie turėtų didesnę lūkesčius. Optimizuota SNc dopamino neuronų arba jų aksonų stimuliacija nugaros striatume padidina judėjimo tikimybę40,41. Kritiškai šie elgesio poveikiai pasireiškia per porą šimtų milisekundžių nuo optogenetinės stimuliacijos pradžios. Gali būti, kad atlygio ir nuspėjamojo užuominų gebėjimas skatinti motyvaciją yra labai greitas dopaminerginis moduliavimas, skatinantis NAc smailių neuronų susijaudinimą.42. Kadangi dopaminas greitai keičiasi ir šie dopamino pokyčiai greitai veikia motyvaciją, dopamino motyvacinės funkcijos geriau apibūdinamos kaip greitai („fazinės“), o ne lėtos („tonizuojančios“).
Be to, atskirų greitų ir lėtų laiko skalių naudojimas pats savaime neišsprendžia iššifravimo problemos, su kuria susiduria neuronai su dopamino receptoriais. Jei dopaminas signalizuoja apie mokymąsi, sinapsinio plastiškumo moduliavimas atrodytų tinkamas ląstelių atsakas. Tačiau betarpiškas poveikis motyvuotam elgesiui reiškia tiesioginį poveikį didėjančiam elgesiui, pvz., Greitai keičiant jaudrumą. Dopaminas gali turėti abu šiuos postsinapsinius efektus (ir dar daugiau), taigi ar tam tikra dopamino koncentracija turi konkrečią prasmę? O gal šią prasmę reikia sukonstruoti, pvz., Lyginant dopamino kiekį per laiką, ar naudojant kitus sutapusius signalus, norint nustatyti, kuri ląstelių technika turi veikti? Ši galimybė aptariama toliau.
Ar dopamino išsiskyrimas perduoda tą pačią informaciją kaip ir dopamino ląstelių deginimas?
Ryšys tarp greito dopamino svyravimų ir motyvacinės vertės atrodo keistas, nes dopamino ląstelių deginimas yra panašus į RPE. Be to, kai kuriuose tyrimuose buvo pranešta apie RPE signalus, susijusius su mezolimbiniu dopamino išskyrimu43. Svarbu atkreipti dėmesį į iššūkį aiškinant kai kurias neuroninių duomenų formas. Vertės signalai ir RPE koreliuoja tarpusavyje - nenuostabu, nes RPE paprastai apibrėžiama kaip vertės pokytis nuo vieno momento prie kito („laiko skirtumas“ RPE). Dėl šios koreliacijos labai svarbu naudoti eksperimentinius planus ir analizes, skiriančias vertę nuo RPE sąskaitų. Problema papildoma, kai naudojama neuroninė priemonė, kuri remiasi santykiniais, o ne absoliučiais signalo pokyčiais. Voltammetrijos analizėse dopaminas tam tikru momentu paprastai lyginamas su „bazine“ epocha, kuri buvo atliekama anksčiau kiekviename bandyme (siekiant pašalinti signalo komponentus, kurie nepriklauso nuo dopamino, įskaitant elektrodų įkrovimą kiekvienoje įtampos juostoje ir dreifą per minučių intervalą). Tačiau atėmus bazinę liniją, vertės signalas gali būti panašus į RPE signalą. Tai mes pastebėjome savo paties voltmetrijos duomenyse (2e). Atlyginimo lūkesčių pokyčiai atsispindėjo dopamino koncentracijos pokyčiuose kiekvieno tyrimo pradžioje, ir šie pokyčiai praleidžiami, jei tik prisiimama pastovi bazinė linija bandymų metu.15. Taigi išvadas apie dopamino išsiskyrimą ir RPE kodavimą reikia vertinti atsargiai. Šis duomenų aiškinimo pavojus taikomas ne tik voltamperui, bet ir bet kokiai analizei, kuri remiasi santykiniais pokyčiais - galbūt įskaitant kai kurias fMRI ir fotometriją44.
Nepaisant to, mes vis dar turime suderinti su dopamino išskyrimu susijusią vertę NAc branduolyje su dopamino neuronų pastoviu vertinimu nesusijusiu būdu13, net per šoninį VTA plotą, kuris suteikia dopamino NAc branduoliui45. Vienas iš galimų veiksnių yra tai, kad dopamino ląstelės paprastai užrašomos galvos atraminiuose gyvūnuose, atliekančiuose klasikines kondicionavimo užduotis, o dopamino išsiskyrimas paprastai matuojamas neribotuose gyvūnuose, aktyviai judančiuose per savo aplinką. Mes siūlėme, kad mesolimbinis dopaminas galėtų konkrečiai nurodyti „darbo“ vertę15 - kad tai atspindi reikalavimą skirti laiko ir pastangų atlygiui gauti. Atsižvelgiant į tai, dopaminas didėja, kai signalai nurodo judėjimą, bet ne su signalais, nurodančiais ramybę, net jei jie rodo panašų būsimą atlygį46. Jei, kaip ir daugelyje klasikinių užduočių, aktyvus „darbas“ neduoda jokios naudos, tada dopaminerginiai pokyčiai, rodantys darbo vertę, gali būti ne tokie akivaizdūs.
Dar svarbiau yra tai, kad dopamino išsiskyrimas gali būti lokaliai kontroliuojamas pačiuose terminaluose, ir tokiu būdu parodo erdvės ir laiko modelius, nepriklausomus nuo ląstelių kūno. Pavyzdžiui, bazolaterinė amygdala (BLA) gali turėti įtakos NAc dopamino išsiskyrimui net tada, kai VTA yra inaktyvuota47. Priešingai, BLA inaktyvavimas sumažina NAc dopamino išsiskyrimą ir atitinkamą motyvuotą elgesį, akivaizdžiai nedarant įtakos VTA šaudymui.48. Dopamino terminaluose yra įvairių neurotransmiterių receptorių, įskaitant glutamatą, opioidus ir acetilcholiną. Nikotino acetilcholino receptoriai leidžia striatų cholinerginiams interneuronams (CIN) greitai kontroliuoti dopamino išsiskyrimą.49,50. Nors jau seniai pastebėta, kad vietinė dopamino išsiskyrimo kontrolė gali būti svarbi7,51, jis nebuvo įtrauktas į dopamino funkcijos skaičiavimo sąskaitas. Siūlau, kad dopamino išsiskyrimo dinamika, susijusi su vertės kodavimu, iš esmės kyla vietinis kontrolė, net jei dopamino ląstelių deginimas suteikia svarbius RPE panašius signalus mokymuisi.
Kaip dopaminas gali sukelti tiek mokymąsi, tiek motyvaciją be painiavos?
Iš esmės vertės signalas yra pakankamas, kad būtų galima perteikti ir RPE, nes laiko skirtumai RPE tiesiog yra greitas vertės pokytis (2B). Pavyzdžiui, atskiri intraceluliniai tikslinių neuronų keliai gali būti skirtingai jautrūs absoliučiai dopamino koncentracijai (atitinkančiai reikšmę), palyginti su sparčiais santykiniais koncentracijos pokyčiais (atstovaujančiais RPE). Ši schema atrodo patikima, turint omenyje kompleksinį dopamino moduliavimą spininio neurono fiziologijoje52 ir jų jautrumas kalcio koncentracijos laikiniesiems modeliams53. Tačiau tai taip pat atrodo šiek tiek nereikalinga. Jei RPE tipo signalas jau egzistuoja dopamino ląstelėse, turėtų būti įmanoma jį naudoti, o ne iš naujo gauti RPE iš vertės signalo.
Norint tinkamai naudoti atskirus RPE ir vertės signalus, dopamino gavėjų grandinės gali aktyviai keisti dopamino interpretaciją. Yra intriguojančių įrodymų, kad acetilcholinas taip pat gali atlikti šį perjungimo vaidmenį. Tuo pačiu metu, kai dopamino ląstelės užsikimš šuolius į netikėtus ženklus, CIN rodo trumpą (~ 150ms) pertraukos šaudymo metu, kurios nėra skalės su RPE54. Šias CIN pauzes gali valdyti VTA GABAerginiai neuronai55 taip pat „nustebinti“ susijusias ląsteles intralaminariniame talame, ir buvo pasiūlyta veikti kaip asocijuotumo signalas, skatinantis mokymąsi56. Morris ir Bergmanas pasiūlė54 kad cholinerginės pauzės apibrėžia laikinus langus, skirtus striatų plastiškumui, per kurį dopaminas gali būti naudojamas kaip mokymosi signalas. Nuo dopamino priklausomo plastiškumo nuolat slopina mechanizmai, įskaitant muskarininius m4 receptorius tiesioginio kelio striatrijos neuronuose.57. Intraceliulinio signalizavimo modeliai rodo, kad per CIN pauzes m4 surišimo nebuvimas gali veikti sinergiškai su faziniais dopamino išsilaisvinimais, kad padidintų PKA aktyvavimą.58, taip skatinant sinaptinius pokyčius.
Taigi striatrijos cholinerginės ląstelės yra gerai išdėstytos, kad dinamiškai pakeistų multipleksuoto dopaminerginio pranešimo reikšmę. CIN pertraukų metu muskarino bloko reljefas per sinaptinį plastiškumą leistų mokytis dopamino. Kitais laikais išleidimas iš dopamino terminalų būtų lokalizuotas, kad paveiktų vykstančius elgesio rezultatus. Šiuo metu šis pasiūlymas yra spekuliacinis ir neišsamus. Buvo pasiūlyta, kad CINs integruotų informaciją iš daugelio aplinkinių smailių neuronų, kad gautų naudingus tinklo lygio signalus, tokius kaip entropija59,60. Tačiau nėra visiškai aišku, kad CIN aktyvumo dinamika gali būti naudojama dopamino vertės signalams generuoti61, taip pat dopamino mokymosi signalų vartai.
Ar dopaminas reiškia tą patį visą priešakinį?
Kaip buvo laikomasi RPE idėjos, buvo manoma, kad dopaminas buvo pasaulinis signalas, transliuodamas klaidos pranešimą per striatalų ir priekinės žievės tikslus. Schultz pabrėžė, kad beždžionių dopamino ląstelės visose VTA ir SNc reakcijose yra labai panašios62. Nustatytų dopamino ląstelių tyrimai taip pat rado gana vienodus RPE panašius atsakus graužikams, bent jau šoniniams VTA neuronams klasikinio kondicionavimo kontekste13. Tačiau dopamino ląstelės yra molekulinės ir fiziologiškai įvairios63-65 ir dabar yra daug pranešimų, kad jie elgiasi su įvairiais šaudymo būdais elgdamiesi su gyvūnais. Tai apima fazinį šaudymo į aversinius įvykius padidėjimą66 ir suaktyvinkite užuominas67 kuri netinkamai atitinka standartinę RPE paskyrą. Daugelis dopamino ląstelių parodo pradinį trumpojo latenso atsaką į jutimo įvykius, kurie atspindi netikėtumą ar „įspėjimą“ daugiau nei konkretus RPE kodavimas68,69. Šis įspėjimo aspektas yra svarbesnis SNc69, kur dopamino ląstelės yra labiau linkusios į „sensorimotorinį“ nugaros / šoninį striatumą (DLS45,63). Taip pat pranešta, kad SNc dopamino ląstelių pogrupiai didėja41 arba sumažinti70 šaudyti kartu su spontaniniais judesiais, net ir be išorinių ženklų.
Kelios grupės naudojo pluošto fotometriją ir kalcio indikatorių GCaMP, kad ištirtų dopamino neuronų pogrupių aktyvumą71,72. Dopamino ląstelės, kurios projektuojasi į nugaros / medialinę striatumą (DMS), parodė trumpalaikį slopinimą netikėtų trumpų sukrėtimų metu, tuo tarpu tie, kurie nukreipė į DLS, padidino aktyvumą71- labiau atitinka perspėjimo atsakymą. Taip pat pastebėti skirtingi dopaminerginiai atsakai skirtinguose priekinių smegenų paregioniuose, naudojant GCaMP, siekiant ištirti dopamino aksonų ir terminalų aktyvumą40,72,73. Naudojant dviejų fotonų vaizdą galvos atramos pelėse, Howe ir Dombeck40 fazinis dopamino aktyvumas, susijęs su spontaniniais judesiais. Tai daugiausia matyti iš atskirų dopamino axonų iš SNc, kurie baigėsi nugaros striatume, o VTA dopamino axonai NAc atsakė labiau už atlygį. Kiti taip pat nustatė su dopaminerginiu poveikiu susijusį atlygį NAc, o DMS labiau susietas su priešpriešiniais veiksmais72 ir užpakalinė striatum uodega, reaguojanti į aversyvius ir naujus stimulus74.
Tiesioginės dopamino išsiskyrimo priemonės taip pat atskleidžia subregionų nevienalytiškumą30,75. Su mikrodializės duomenimis, nustatyta, kad dopaminas siejasi su konkrečia reikšme NAc šerdyje ir ventralinėje medalinėje priekinėje žievėje, o ne kitose striatumo (NAc lukšto, DMS) ar priekinės žievės dalyse. Tai intriguoja, nes atrodo, kad ji gerai susieja su dviem vertės kodavimo „karštais taškais“, nuolat matomais žmogaus fMRI tyrimų metu.76,77. Visų pirma, NAc BOLD signalas, glaudžiai susijęs su dopamino signalizacija78, didėja laukiant atlygio (vertės) - daugiau nei su RPE76.
Ar šie dopamino išsiskyrimo erdviniai modeliai atsiranda dėl atskirų dopamino ląstelių subpopuliacijų, vietinio dopamino išsiskyrimo kontrolės, ar abiejų, jie ginčija pasaulinio dopamino pranešimo idėją. Galima daryti išvadą, kad yra daug skirtingų dopamino funkcijų: (pvz., Dopaminas dorsalinėje stiatumoje), rodantis „judėjimą“ ir dopaminą ventralinėje stiatumoje, signalizuojantį „atlygį“40. Tačiau pritariu kitam konceptualiam požiūriui. Skirtingi striatų subregionai gauna įvestį iš įvairių žievės regionų ir taip apdoros įvairių rūšių informaciją. Tačiau kiekvienas striatų subregionas turi bendrą mikroschemų architektūrą, įskaitant atskirus D1 ir D2 receptorių guolius, turinčius smailius neuronus79, CIN ir pan. Nors įprasta paminėti įvairius striatų subregionus (pvz., DLS, DMS, NAc branduolį), nes jei jie yra atskiros zonos, tarp jų nėra aštrių anatominių ribų (NAc korpusas yra šiek tiek neurochemiškai skirtingas). Vietoj to yra tik švelnūs receptorių tankio, interneurono proporcijų ir tt gradientai, kurie atrodo labiau panašūs į bendro skaičiavimo algoritmo parametrus. Atsižvelgiant į šią bendrą architektūrą, ar galime apibūdinti bendrą dopamino funkciją, kuri būtų atimta nuo konkrečios informacijos, kurią tvarko kiekvienas subregionas?
Striatriškas dopaminas ir ribotų išteklių skyrimas.
Siūlau, kad įvairūs skirtingi dopamino poveikiai vykstančiam elgesiui gali būti suprantami kaip moduliavimas sprendimai dėl išteklių paskirstymo. Konkrečiai kalbant, dopaminas pateikia įvertinimus, kaip verta išleisti ribotą vidinį šaltinį, o ypatingas ištekliai skiriasi tarp striatų subregionų. „Motor“ striatum (~ DLS) išteklius yra judėjimas, kuris yra ribotas, nes juda kainuoja energija ir kadangi daugelis veiksmų yra nesuderinami tarpusavyje80. Dopamino didinimas leidžia greičiau, kad gyvūnas nuspręstų, jog verta praleisti energiją judėti ar judėti greičiau6,40,81. Atkreipkite dėmesį, kad dopamino signalas, koduojantis „judėjimą yra verta“, sukels koreliacijas tarp dopamino ir judėjimo, net be dopamino, koduojančio „judėjimą“ Rep.
„Kognityviniam“ striatumui (~ DMS) ištekliai yra pažintiniai procesai, įskaitant dėmesį (kuris pagal apibrėžtį yra ribotas.82) ir darbo atmintį83. Be dopamino, svarbiausi išoriniai ženklai, kurie paprastai sukelia orientacinius judesius, yra ignoruojami, tarsi būtų laikoma mažiau dėmesio vertinga3. Be to, tyčinis kognityvinių kontrolės procesų organizavimas yra brangus (brangus84). Dopaminas - ypač DMS85 - vaidina pagrindinį vaidmenį sprendžiant, ar verta dėti šias pastangas86,87. Tai gali apimti, ar taikyti daugiau kognityviai reikalingų, deliberatyvių („modelių“) sprendimų strategijų88.
„Motyvaciniam“ striatumui (~ NAc) vienas pagrindinis ribotas išteklius gali būti gyvūno laikas. Mesolimbinis dopaminas nereikalingas, kai gyvūnai atlieka paprastą, fiksuotą veiksmą, kad greitai gautų atlygį89. Tačiau daugelį atlygio formų galima gauti tik užsitęsusiu darbu: pratęstų nepagrįstų veiksmų sekomis, kaip ir pašaruose. Pasirinkimas dirbti reiškia, kad reikia atsisakyti kitų naudingų laiko praleidimo būdų. Dideliu mezolimbiniu dopaminu pažymima, kad verta prisidėti prie trumpalaikio, pastangų reikalaujančio darbo, tačiau, nes sumažėja dopamino, gyvūnai nesivargina ir gali tik pasiruošti miegoti90.
Taigi kiekvienoje cortico-striatros kilpos grandinėje dopamino indėlis į nuolatinį elgesį yra tiek ekonominis (susijęs su išteklių paskirstymu), tiek motyvaciniu (nesvarbu, ar tai yra verta išleisti lėšas81). Šios grandinės nėra visiškai nepriklausomos, bet turi hierarchinę, spiralinę organizaciją: daugiau stuburo ventralinių dalių daro įtaką dopamino ląstelėms, kurios sukelia daugiau nugaros dalių5,91. Tokiu būdu sprendimai užsiimti darbu taip pat gali padėti atgaivinti reikalingus specifinius, trumpesnius judesius. Tačiau apskritai dopaminas teikia „aktyvinimo“ signalus - padidina tikimybę, kad bus priimtas tam tikras sprendimas, o ne „krypties“ signalus, nurodančius kaip išteklius5.
Koks yra skaičiavimo dopamino vaidmuo priimant sprendimus?
Vienas iš būdų galvoti apie šį aktyvų vaidmenį yra sprendimų priėmimo „slenksčių“ požiūriu. Tam tikruose matematinių modelių sprendimuose procesai didėja, kol pasiekia ribinį lygį, kai sistema prisiima įsipareigojimą imtis veiksmų92. Didesnis dopamino kiekis atitiktų mažesnį atstumą iki ribos, kad sprendimai būtų pasiekti greičiau. Ši idėja yra supaprastinta, tačiau atlieka patvirtintas kiekybines prognozes. Judėjimo slenksčių sumažinimas sukeltų specifinį reakcijos laiko pasiskirstymo formos pasikeitimą, tik tai, kas matoma, kai amfetaminas yra infuzuojamas į jutiklinį striatumą.20.
Užuot nustatę ribas, laikui bėgant elgsenos ir nervų duomenys gali būti geriau, nei fiksuotos ribos, o jei sprendimai tampa vis aktualesni. Buvo pasiūlyta bazinė ganglijų išraiška, kad būtų sukurtas dinamiškai besivystantis skubus signalas, kuris pagyvina žievės atrankos mechanizmus93. Skubumas taip pat buvo didesnis, kai ateityje atlyginimai buvo artimesni, todėl ši sąvoka yra panaši į dopamino vertės kodavimą, aktyvų vaidmenį.
Ar toks aktyvus vaidmuo yra pakankamas, kad būtų galima apibūdinti striacinio dopamino veikimo moduliavimo poveikį? Tai susiję su ilgalaikiu klausimu, ar bazinės ganglijos grandinės tiesiogiai pasirenka tarp mokomų veiksmų80 arba tiesiog pagyvinti kitur pasirinktus pasirinkimus93,94. Atrodo, kad dopaminas gali turėti „kryptingesnį“ efektą bent dviem būdais. Pirmasis yra tada, kai dopaminas veikia smegenų subregione, kuris apdoroja natūraliai nukreiptą informaciją. Baziniai ganglijų grandynai atlieka svarbų, iš dalies į šoną nukreiptą vaidmenį orientuojant į potencialų atlygį ir prie jo. Primatų caudatas (~ DMS) yra susijęs su akių judesių judėjimu į kontralaterinius erdvinius laukus95. Dopaminerginis signalas, kad kažką priešingoje erdvėje verta nukreipti, gali atspindėti pastebėtą koreliaciją tarp dopaminerginio aktyvumo DMS ir kontralaterinių judesių.72, taip pat rotacinį elgesį, kurį sukelia dopamino manipuliacijos96. Antroji „dopamino“ „krypties“ įtaka yra akivaizdi, kai (dvišaliai) dopamino pažeidimai žiurkės link mažos pastangos / mažos premijos pasirinkimo, o ne didelės pastangos / didelio atlygio alternatyvos97. Tai gali atspindėti tai, kad kai kurie sprendimai yra nuoseklesni nei lygiagrečiai, kai žiurkės (ir žmonės) vertina galimybes vienu metu.98. Šiuose sprendimų kontekstuose dopaminas vis tiek gali mokėti iš esmės aktyvų vaidmenį, perduodamas šiuo metu svarstomos galimybės vertę, kuri vėliau gali būti priimta, ar ne24.
Aktyvūs gyvūnai priima sprendimus daugeliu lygių, dažnai esant dideliems rodikliams. Be galvoti apie individualius sprendimus, gali būti naudinga apsvarstyti bendrą trajektoriją per valstybių seką (Pav 1). Palengvindamas perėjimą iš vienos būsenos į kitą, dopaminas gali pagreitinti srautą palei išmoktas trajektorijas99. Tai gali būti susijusi su svarbia dopamino įtaka elgesio laikui44,100. Viena iš svarbiausių ateities užduočių ribų - giliau suprasti, kaip toks dopamino poveikis nuolatiniam elgesiui atsiranda mechanistiškai, keičiant informacijos apdorojimą atskirose ląstelėse, mikroschemose ir didelio masto kortikos bazinių ganglijų kilpose. Be to, aš pabrėžiau bendruosius dopamino skaičiavimo vaidmenis įvairiuose striatrijos taikiniuose, bet daugiausia ignoruojantys žievės tikslai, ir dar reikia pamatyti, ar dopamino funkcijos abiejose struktūrose gali būti aprašytos toje pačioje sistemoje.
Apibendrinanttinkamas dopamino aprašymas paaiškintų, kaip dopaminas gali signalizuoti tiek apie mokymąsi, tiek į motyvaciją tuo pačiu greitu laiku, be painiavos. Tai paaiškintų, kodėl dopamino išleidimas į raktus nukreiptas į karius, turinčius atlygio lūkesčius, nors dopamino ląstelių deginimas nėra. Ir tai suteiktų vieningą skaičiavimo sąskaitą apie dopamino veiksmus visoje striatume ir kitur, o tai paaiškina skirtingus elgesio poveikius judėjimui, pažinimui ir laiko nustatymui. Kai kurios čia pateiktos konkrečios idėjos yra spekuliacinės, bet skirtos paskatinti atnaujintas diskusijas, modeliavimą ir naujus eksperimentus.
Padėkos.
Dėkoju daugeliui kolegų, pateikusių įžvalgus komentarus apie ankstesnius teksto projektus, įskaitant Kent Berridge, Peter Dayan, Brian Knutson, Jeff Beeler, Peter Redgrave, John Lisman, Jesse Goldberg ir anoniminius teisėjus. Apgailestauju, kad erdvės apribojimai neleido diskutuoti apie daug svarbių ankstesnių tyrimų. Esminę paramą teikė Nacionalinis neurologinių sutrikimų ir insulto institutas, Nacionalinis psichikos sveikatos institutas ir Nacionalinis piktnaudžiavimo narkotikais institutas.