Kaj pomeni dopamin? (2018)

Minimalizem

Ali je dopamin signal za učenje, motivacijo ali oboje?

Naše razumevanje dopamina se je v preteklosti spremenilo in se spet spreminja. Ključno razlikovanje je med učinki dopamina na tok vedenje (uspešnost) in učinki dopamina na Prihodnost vedenje (učenje). Oba sta resnična in pomembna, v različnih obdobjih pa je bila ena naklonjena, druga pa ne.

Ko je (v „70-ih“ postalo mogoče izvajati selektivne, popolne lezije dopaminskih poti, je bila očitna posledica vedenja močno zmanjšanje gibanja¹. To se ujema z akinetičnimi učinki izgube dopamina pri ljudeh, ki jih povzročajo napredna Parkinsonova bolezen, strupena zdravila ali encefalitis². Kljub temu pa niti podgane niti človeški primeri ne kažejo osnovne nezmožnosti gibanja. Podgane, podvržene podganom, plavajo v hladni vodi³in akinetični bolniki lahko vstanejo in tečejo, če se oglasi požarni alarm ("paradoksalna" kinezija). Prav tako ni osnovnega primanjkljaja pri cenjenju nagrad: podgane, ki so jih dozirali dopamin, bodo zaužili hrano v ustih in pokazali znake uživanja⁴. Namesto tega si ne bodo prizadevali za dejavno pridobivanje nagrad. Ti in številni drugi rezultati so vzpostavili temeljno povezavo med dopaminom in motivacijo⁵. Celo upočasnitev gibanja, opaženo pri manj hudih primerih Parkinsonove bolezni, lahko štejemo za motivacijski primanjkljaj, kar odraža implicitne odločitve, da energije, ki je potrebna za hitrejše premikanje, ni vredno⁶.

Nato so (v '80-ih) prišli pionirski posnetki dopaminskih nevronov v obnašanju opic (na območjih srednjega možganov, ki štrlijo v predel: ventralno tegmentalno območje, VTA / substantia nigra pars compacta, SNc). Med opaženimi vzorci streljanja so bili kratki sunki delovanja dražljajev, ki so sprožili takojšnje premike. To "fazično" odstranjevanje dopamina je bilo na začetku razlagano kot podpiranje "vedenjske aktivacije"⁷ in "motivacijsko vzburjenje"⁸ - z drugimi besedami, kot poživljanje trenutnega vedenja živali.

Pri "90-ih" je prišlo do korenitega premika, pri čemer je reinterpretacija faznih razpokov dopamina kot kodiranje nagradi napake napovedovanja (RPE-ji⁹). To je temeljilo na ključnem opazovanju: dopaminske celice se odzovejo na nepričakovane dražljaje, povezane s prihodnjo nagrado, vendar se pogosto nehajo odzivati, če postanejo ti dražljaji pričakovani¹⁰. Ideja RPE izvira iz zgodnejših teorij učenja, zlasti na takrat razvijajočem se področju učnega računalništva na področju računalništva¹¹. Smisel RPE signala je posodobitev vrednosti(ocene prihodnjih nagrad). Te vrednosti se uporabijo pozneje, da bi se lažje odločile. Ker je odstranjevanje dopaminskih celic podobno RPE-jem, RPE-ji pa se uporabljajo za učenje, je postalo naravno poudarjati vlogo dopamina pri učenju. Kasnejše optogenetske manipulacije so potrdile dopaminergično identiteto RP-kodirnih celic^12,13 in pokazali, da res modulirajo učenje^14,15.

Zamisel, da dopamin zagotavlja učni signal, se lepo ujema z literaturo, ki dopamin modulira sinaptično plastičnost v striatumu, primarni ciljni celici dopamina. Na primer, trojno sovpadanje stimulacije glutamata striatalne dendrite hrbtenice, postsinaptična depolarizacija in sproščanje dopamina povzroči, da hrbtenica raste¹⁶. Dopaminergična modulacija dolgoročnih učnih mehanizmov pomaga razložiti trajne vedenjske učinke odvisnih zdravil, ki imajo lastnost povečanja strijatalnega sproščanja dopamina¹⁷. Celo globoko akinezijo z izgubo dopamina lahko delno pripišemo takšnim učnim mehanizmom¹⁸. Pomanjkanje dopamina se lahko obravnava kot stalno negativni RPE, ki vrednosti postopkov posodablja na nič. Podobne progresivne učinke, podobne izumiranju na vedenje, lahko ustvarijo antagonisti dopamina^19,20.

Vendar ideja, da je dopamin kritično vpleten v tekočo motivacijo, ni nikoli izginila - nasprotno, vedenjski nevroznanstveniki ga imajo za samoumevnega. To je primerno glede na trdne dokaze, da so dopaminske funkcije pri motivaciji / gibanju / poživitvi ločene od učenja^15,20-23. Manj splošno cenjen je izziv pri uskladitvi te motivacijske vloge s teorijo, da DA zagotavlja učni signal RPE.

Motivacija se "veseli": uporablja napovedi prihodnje nagrade (vrednosti), da ustrezno spodbudi trenutno vedenje. Nasprotno pa učenje "gleda nazaj" na stanja in dejanja v bližnji preteklosti ter posodablja njihove vrednosti. To so komplementarne faze cikla: posodobljene vrednosti se lahko uporabijo pri nadaljnjem odločanju, če se ta stanja ponovno srečajo, nato ponovno posodobijo ipd. Toda s katero fazo cikla je vključen dopamin - z uporabo vrednosti za odločanje (uspešnost) ali posodabljanjem vrednosti (učenje)?

V nekaterih okoliščinah si je enostavno predstavljati, da dopamin igrata obe vlogi hkrati.²⁴Nepričakovani nakazi, ki napovedujejo nagrade, so arhetipski dogodki za sprožanje in sproščanje dopaminskih celic, ki ponavadi poživijo vedenje in sprožijo učenje (Slika 1). V tej posebni situaciji se hkrati povečujeta napovedovanje nagrad in napake pri napovedovanju nagrad, vendar to ni vedno tako. Kot samo en primer so ljudje in druge živali pogosto motivirani, da delajo za nagrade, tudi če se zgodi malo ali nič presenetljivega. Morda delajo vedno težje, ko se bližajo nagradi (vrednost narašča, ko se nagrade približujejo). Bistvo je, da sta učenje in motivacija konceptualno, računsko in vedenjsko ločena - in vendar se zdi, da dopamin počne oboje.

Spodaj kritično ocenjujem trenutne ideje o tem, kako dopamin lahko doseže tako učne kot motivacijske funkcije. Predlagam posodobljen model, ki temelji na treh ključnih dejstvih: 1) sproščanje dopamina iz terminalov ne nastane zgolj zaradi izgorevanja dopaminskih celic, ampak ga je mogoče tudi lokalno nadzorovati; 2) dopamin vpliva tako na sinaptično plastičnost kot na razdražljivost ciljnih celic z izrazitimi posledicami za učenje in uspešnost; Vpliv dopamina na plastičnost 3) lahko vklopijo ali izklopijo bližnji elementi vezja. Te lastnosti lahko skupaj omogočijo možganskim vezjem, da preklopijo med dvema različnima dopaminskim sporočilom za učenje in motivacijo.

Ali obstajajo ločeni "fazni" in "tonični" dopaminski signali z različnimi pomeni?

Pogosto se trdi, da se učne in motivacijske vloge dopamina pojavljajo na različnih časovnih lestvicah²⁵. Dopaminske celice sprožijo neprekinjeno ("tonično") z nekaj trni na sekundo, z občasnimi kratkimi ("faznimi") sunki ali pavzami. Pokali, zlasti če so umetno sinhronizirani po celicah dopamina, povzročijo hitro povečanje dopamina sprednjega možgana²⁶ ki so zelo prehodni (trajanje podsekunde²⁷). Ločen prispevek tonskih dopaminskih celic v sprednji možganski koncentraciji dopamina je manj jasen. Nekateri dokazi kažejo, da je ta prispevek zelo majhen²⁸. Morda bo dovolj za kontinuirano stimulacijo receptorjev D2 z višjo afiniteto, kar omogoča sistemu, da opazi kratke pavze pri odstranjevanju dopaminskih celic.²⁹ in uporabite te pavze kot negativne napake napovedovanja.

Mikrodializa se pogosto uporablja za neposredno merjenje ravni dopamina v prednjih možganih, čeprav z nizko časovno ločljivostjo (običajno povprečno v več minutah). Tako počasne meritve dopamina so lahko izzivne, če se natančno nanašajo na vedenje. Kljub temu mikrodijaliza dopamina v jedru jedra (NAc; ventralni / medialni striatum) kaže pozitivne povezave z lokomotorno aktivnostjo³⁰ in drugi indeksi motivacije⁵. To na splošno velja, da se v koncentraciji dopamina pojavljajo počasne („tonične“) spremembe in da te počasne spremembe predstavljajo motivacijski signal. Natančneje, računski modeli so predlagali, da ravni tonika dopamina sledijo dolgoročni povprečni stopnji nagrajevanja³¹ - uporabna motivacijska spremenljivka za odločitve o dodelitvi časa in iskanju hrane. Treba je poudariti, da le redki članki jasno opredeljujejo "tonični" nivo dopamina - ponavadi samo domnevajo, da se koncentracija dopamina počasi spreminja v večminutni časovni lestvici mikrodialize.

Pa vendar se ta pogled "fazni dopamin = RPE / učenje, tonik dopamin = motivacija" sooča s številnimi težavami. Prvič, ni neposrednih dokazov, da se toniranje dopaminskih celic običajno počasi spreminja. Stopnje odstranjevanja tonskih se s spreminjanjem motivacije ne spreminjajo^32,33. Trdili so, da se ravni tonika dopamina spreminjajo zaradi spreminjajočega se deleža aktivnih celic dopamina^34,35. Toda v številnih študijah na neodraščenih, nerazvrščenih živalih dopaminskih celic ni bilo nikoli opisanih, da bi prehajale med tiho in aktivno stanje.

Poleg tega dejstvo, da mikrodijaliza počasi meri raven dopamina, še ne pomeni, da se ravni dopamina počasi spreminjajo. Pred kratkim smo¹⁵ pregledali dopamin NAc podgane pri verjetnostni nagradni nalogi z uporabo mikrodialize in ciklične voltammetrije s hitrim skeniranjem. Potrdili smo, da je mezolimbični dopamin, merjen z mikrodializo, v korelaciji s stopnjo nagrajevanja (nagrade / min). Toda tudi z izboljšano časovno ločljivostjo mikrodialize (1min) je dopamin nihal tako hitro, kot smo ga vzorčili: nismo videli dokazov za prirojeno počasen dopaminski signal.

Z uporabo natančnejše časovne ločljivosti še vedno voltammetrije smo opazili tesno povezavo med nihanji dopamina pod sekundami in motivacijo. Ko so podgane izvajale zaporedje dejanj, potrebnih za dosego nagrad, se je dopamin dvigoval vse višje in višje, dosegajoč vrh, ko so dobile nagrado (in hitro padale, ko so jo zaužile). Pokazali smo, da je dopamin močno povezan s trenutno vrednostjo države, ki je bila določena kot pričakovana prihodnja nagrada, diskontirana s pričakovanim časom, potrebnim za prejem. Ta hitra dinamika dopamina lahko razloži tudi rezultate mikrodialize, ne da bi pri različnih časovnih lestvicah uporabila ločene dopaminske signale. Ker živali doživljajo več nagrad, na vsakem koraku poskusnega zaporedja povečujejo svoja pričakovanja o prihodnjih nagradah. Namesto počasi razvijajočega se signala povprečne stopnje nagrajevanja je razmerje med dopaminom in stopnjo nagrajevanja najbolje razložiti kot povprečje teh vrednosti, ki se hitro razvijajo, v daljšem času odvzema vzorca na mikrodializi.

Ta vrednost interpretacije mezolimbičnega sproščanja dopamina je skladna z rezultati voltammetrije drugih raziskovalnih skupin, ki že večkrat ugotovijo, da se sproščanje dopamina povečuje z večjo bližino nagrajevanja^36-38(Slika 2). Ta motivacijski signal sam po sebi ni "počasen", ampak ga je mogoče opazovati v nenehnem časovnem obdobju. Čeprav dopaminske rampe lahko trajajo nekaj sekund, ko vedenje pristopa traja tudi nekaj sekund³⁸, to odraža časovni potek vedenja, ne pa notranje dinamike dopamina. Razmerje med mezolimbičnim sproščanjem dopamina in nihajočo vrednostjo je vidno tako hitro, kot to omogoča snemalna tehnika, to je na ~ 100ms časovnem merilu z akutnimi voltammetričnimi elektrodami¹⁵.

Hitra nihanja dopamina ne odražajo zgolj motivacije, ampak tudi takoj motivirano vedenje. Večji fazni odzivi dopaminskih celic, da sprožijo napotke, napovedujejo krajše reakcijske čase na istem preskusu³⁹. Optogenetska stimulacija celic dopamina VTA povzroča, da bodo podgane začele delovati pri naši verjetnostni nagradni nalogi¹⁵, tako kot če bi imeli višje pričakovanje nagrade. Optogenetska stimulacija SNc dopaminskih nevronov ali njihovih aksonov v dorzalnem striatumu poveča verjetnost gibanja^40,41. Kritično so ti vedenjski učinki vidni v nekaj sto milisekundah od začetka optogenetske stimulacije. Zdi se, da sposobnost napovedovanja nagrad za povečanje motivacije posreduje zelo hitra dopaminergična modulacija ekscitabilnosti spc nevronov NAc⁴². Ker se dopamin hitro spreminja in te spremembe dopamina hitro vplivajo na motivacijo, so motivacijske funkcije dopamina bolje opisane kot hitre („fazične“), ne počasne („tonične“).

Poleg tega sklicevanje na ločene hitre in počasne časovne lestvice samo po sebi ne reši problema z dekodiranjem, s katerim se soočajo nevroni z dopaminskimi receptorji. Če dopamin signalizira učenje, se zdi modulacija sinaptične plastičnosti ustrezen celični odziv. Toda takojšnji učinki na motivirano vedenje pomenijo takojšnje učinke na konico - npr. S hitrimi spremembami razdražljivosti. Dopamin ima lahko oba ta postsinaptična učinka (in še več), ali ima torej določena koncentracija dopamina poseben pomen? Ali pa je treba ta pomen oblikovati - npr. S primerjavo ravni dopamina skozi čas ali z uporabo drugih naključnih signalov, da določimo, kateri celični stroj naj vključi? Ta možnost je obravnavana v nadaljevanju.

Ali sproščanje dopamina prenaša iste informacije kot odstranjevanje dopaminskih celic?

Razmerje med hitrimi nihanji dopamina in motivacijsko vrednostjo se zdi čudno, saj namesto streljanja dopaminskih celic spominjamo na RPE. Poleg tega so nekatere študije poročale o RPE signalih pri sproščanju mezolimbičnega dopamina⁴³. Pomembno je opozoriti na izziv pri razlagi nekaterih oblik nevronskih podatkov. Signali vrednosti in RPE so medsebojno povezani - ni presenetljivo, saj je RPE običajno opredeljen kot sprememba vrednosti iz enega trenutka v drugega (RPE s časovno razliko). Zaradi te korelacije je ključnega pomena uporaba eksperimentalnih načrtov in analiz, ki ločujejo vrednost od računov RPE. Problem je zapleten pri uporabi nevronske mere, ki je odvisna od relativnih in ne absolutnih sprememb signala. Analize voltametrije običajno primerjajo dopamin v določeni časovni točki z "osnovno" dobo prej v vsakem preskušanju (da se odstranijo signalne komponente, ki niso odvisne od dopamina, vključno z polnjenjem elektrod pri vsakem preklopu napetosti in odnašanju v časovnem obdobju minut). Toda če odštejemo osnovno črto, lahko signal vrednosti spominja na signal RPE. To smo opazili v lastnih podatkih o voltametriji (Slika 2e). Spremembe pričakovanega nagrajevanja so se odrazile na spremembah koncentracije dopamina na začetku vsakega preskušanja, te spremembe pa so zamujene, če je treba v preskušanjih zavzeti konstantno izhodiščno vrednost¹⁵. Sklepe o sproščanju dopamina in kodiranju RPE je zato treba gledati previdno. Ta nevarnost interpretacije podatkov ne velja samo za voltametrijo, temveč za vse analize, ki temeljijo na relativnih spremembah - ki lahko vključujejo nekaj fMRI in fotometrijo⁴⁴.

Kljub temu moramo še vedno uskladiti sproščanje dopamina, povezanega z vrednostjo, v jedru NAc z nenehno odsotnostjo vrednosti, ki jo povzročajo dopaminski nevroni¹³, celo znotraj bočnega območja VTA, ki zagotavlja dopamin jedru NAc⁴⁵. Možen dejavnik je, da se dopaminske celice običajno zabeležijo pri živalih, ki zadržujejo glavo, ki opravljajo klasične kondicijske naloge, medtem ko se sproščanje dopamina običajno meri pri neomejenih živalih, ki se aktivno gibljejo skozi svoje okolje. Predlagali smo, da bi lahko mezolimbični dopamin posebej označeval vrednost "dela"¹⁵ - da odraža potrebo po namenjanju časa in truda za pridobitev nagrade. V skladu s tem se dopamin povečuje s signali, ki ukazujejo gibanju, ne pa tudi s signali, ki ukazujejo miru, tudi kadar kažejo na podobno prihodnjo nagrado⁴⁶. Če - kot pri številnih klasičnih kondicijskih nalogah - aktivno delo ne koristi, potem so lahko dopaminergične spremembe, ki kažejo na vrednost dela, manj očitne.

Še pomembnejše je morda dejstvo, da se sproščanje dopamina lahko lokalno nadzira na samih terminalih in tako pokaže prostorsko-časovne vzorce, neodvisne od špiranja celic v telesu. Na primer, bazolateralna amigdala (BLA) lahko vpliva na sproščanje docamina NAc, tudi kadar je VTA inaktiviran⁴⁷. Obratno pa inaktivacija BLA zmanjša sproščanje docamina NAc in ustrezno motivirano vedenje, ne da bi očitno vplivalo na odstranjevanje VTA⁴⁸. Dopaminski terminali imajo receptorje za vrsto nevrotransmiterjev, vključno z glutamatom, opioidi in acetilholinom. Nikotinski receptorji za acetilkolin omogočajo strijatalnim holinergičnim internevronom (CIN) hiter nadzor sproščanja dopamina^49,50. Čeprav je že dolgo ugotovljeno, da je lokalni nadzor sproščanja dopamina potencialno pomemben^7,51, ni bil vključen v računske račune funkcije dopamina. Predlagam, da se dinamika sproščanja dopamina, povezana z kodiranjem vrednosti, v glavnem pojavlja skozi lokalna nadzor, tudi ko odstranjevanje dopaminskih celic daje pomembnim RPE podobnim signalom za učenje.

Kako lahko dopamin brez zmede pomeni tako učenje kot motivacijo?

Načeloma signal za vrednost zadostuje tudi za posredovanje RPE, saj so časovne razlike RPE preprosto hitre spremembe vrednosti (Slika 2B). Na primer, različne celične poti v ciljnih nevronih so lahko različno občutljive na absolutno koncentracijo dopamina (predstavlja vrednost) v primerjavi s hitrimi relativnimi spremembami koncentracije (ki predstavljajo RPE). Ta shema se zdi verjetna glede na zapleteno modulacijo dopamina v fiziologiji spiny nevronov⁵² in njihova občutljivost na časovne vzorce koncentracije kalcija⁵³. Vendar se tudi to zdi nekoliko odveč. Če signal, podoben RPE, že obstaja v škropljenju dopaminskih celic, bi ga morali uporabiti, ne da bi ponovno izpeljali RPE iz signala vrednosti.

Za ustrezno uporabo ločenih signalov RPE in vrednosti lahko vezja prejemnika dopamina aktivno preklopijo, kako razlagajo dopamin. Obstajajo zanimivi dokazi, da lahko acetilholin služi tudi tej preklopni vlogi. Hkrati, ko dopaminske celice sprožijo razpoke konic na nepričakovane znake, CIN-ji prikažejo kratko (~ 150ms) odmori pri streljanju, ki se ne merijo z RPE-ji⁵⁴. Te CIN pavze lahko poganjajo VTA GABAergični nevroni⁵⁵ kot tudi "presenečene" celice v intralaminarnem talamusu in so bile predlagane, da delujejo kot signal za povezovanje, ki spodbuja učenje⁵⁶. Morris in Bergman sta predlagala⁵⁴ da holinergične pavze določajo časovno okno za prostrano plastičnost, med katero lahko dopamin uporabimo kot učni signal. Dopaminsko odvisna plastičnost neprestano zatira mehanizme, ki vključujejo muskarinske m4 receptorje na striatalne nevrone z direktno potjo⁵⁷. Modeli medcelične signalizacije kažejo, da lahko med odmori CIN odsotnost vezave m4 deluje sinergistično s faznimi poruhi dopamina, da spodbudi aktivacijo PKA⁵⁸, s čimer spodbuja sinaptične spremembe.

Strijatalne holinergične celice so tako dobro postavljene, da dinamično preklopijo pomen multipleksiranega dopaminergičnega sporočila. Med pavzami CIN bi olajšanje muskarinskega bloka zaradi sinaptične plastičnosti omogočilo uporabo dopamina za učenje. V drugih časih bi bilo sproščanje iz terminalov dopamina lokalno narejeno, da bi vplivalo na stalno vedenjsko delovanje. Trenutno je ta predlog špekulativni in nepopoln. Predlagano je bilo, da CIN integrirajo informacije iz številnih okoliških bodičastih nevronov, da pridobijo uporabne signale na ravni omrežja, kot je entropija^59,60. Ni pa povsem jasno, da lahko dinamiko aktivnosti CIN uporabimo za generiranje signalov vrednosti dopamina⁶¹in tudi za prenos signalov za učenje dopamina.

Ali dopamin pomeni isto v celotni prednji možgani?

Ko se je zamisel RPE uresničila, je bilo domnevno, da je dopamin globalni signal, ki oddaja sporočilo o napaki po streličnih in čelnih kortikalnih tarčah. Schultz je poudaril, da imajo opičje celice dopamina v celotni VTA in SNc zelo podobne odzive⁶². Študije identificiranih dopaminskih celic so odkrile tudi precej homogene RPE podobne odzive pri glodalcih, vsaj za stranske VTA nevrone v klasičnih kondicijskih okoliščinah¹³. Kljub temu so celice dopamina molekularno in fiziološko raznolike^63-65 in zdaj obstaja veliko poročil, ki kažejo različne vzorce streljanja v obnašanju živali. Sem spadajo fazna povečanja streljanja na averzivne dogodke⁶⁶ in sprožilec⁶⁷ ki se slabo ujemajo s standardnim računom RPE. Mnoge dopaminske celice kažejo začetni kratkoročni odziv na senzorične dogodke, ki odraža presenečenje ali "opozarjanje" več kot specifično kodiranje RPE^68,69. Ta opozorilni vidik je vidnejši v SNc⁶⁹, kjer dopaminske celice bolj projicirajo na "senzimotorni" hrbtenici / stranski striatum (DLS)^45,63). Poročali so tudi o podpopulacijah SNc dopaminskih celic⁴¹ ali zmanjšati⁷⁰ streljanje v povezavi s spontanimi gibi, tudi brez zunanjih znakov.

Več skupin je uporabljalo fotometrijo vlaken in kalcijev indikator GCaMP za pregled skupne aktivnosti subpopulacij dopaminskih nevronov^71,72. Dopaminske celice, ki štrlijo na dorzalni / medialni striatum (DMS), so pokazale prehodno depresivno aktivnost do nepričakovanih kratkih pretresov, medtem ko so tiste, ki štrlijo na DLS, pokazale povečano aktivnost⁷¹- bolj skladen z opozorilnim odzivom. Prav tako so z uporabo GCaMP opazili izrazite dopaminergične odzive v različnih podregijah možganov, da bi preučili aktivnost dopaminskih aksonov in terminalov.^40,72,73. Uporaba dvofotonskega slikanja pri miših, omejenih na glavo, Howe in Dombeck⁴⁰ poročali o fazni aktivnosti dopamina, povezani s spontanimi gibi. To so večinoma opazili pri posameznih dopaminskih aksonih iz SNc, ki so se končali v dorzalnem striatumu, medtem ko so VPA dopaminski aksoni v NAc odgovorili bolj na nagrado. Drugi so ugotovili, da so dopaminergične aktivnosti povezane z nagradami pri NAc, pri čemer je bil DMS bolj povezan s kontralateralnimi ukrepi⁷² in zadnji rep striatum, ki se odziva na averzivne in nove dražljaje⁷⁴.

Neposredni ukrepi sproščanja dopamina odkrivajo tudi heterogenost med podregijami^30,75. Z mikrodijalizo smo ugotovili, da je dopamin povezan z vrednostjo posebej v jedru NAc in v ventralno-medialni čelni skorji, ne v drugih medialnih delih striatuma (NAc lupina, DMS) ali čelni skorji. To je zanimivo, saj se zdi, da dobro preslikava dve „žariščni točki“ kodiranja vrednosti, ki sta jih dosledno opazili v študijah človeških fMRI^76,77. Zlasti signal NAc BOLD, ki je tesno povezan z dopaminsko signalizacijo⁷⁸, se poveča s pričakovanjem nagrade (vrednost) - bolj kot z RPE⁷⁶.

Ne glede na to, ali ti prostorski vzorci sproščanja dopamina izhajajo iz odstranjevanja različnih podpopulacij dopaminskih celic, lokalnega nadzora sproščanja dopamina ali obojega, izpodbijajo idejo o globalnem sporočilu dopamina. Lahko bi sklepali, da obstaja veliko različnih dopaminskih funkcij, na primer z dopaminom v dorzalnem striatumu, ki signalizira "gibanje", in dopaminom v ventralnem striatumu, ki signalizira "nagrada"⁴⁰. Vendar pa dajem prednost drugemu konceptualnemu pristopu. Različne strijatalne podregije dobivajo vložke iz različnih kortikalnih regij in tako bodo obdelale različne vrste informacij. Kljub temu ima vsaka progastna podregija skupno arhitekturo mikrovezja, vključno z ločenimi D1 proti D2 receptorjem, ki nosijo bodičaste nevrone⁷⁹, CIN in podobno. Čeprav se na različne strijske podregije (npr. DLS, DMS, jedro NAc) običajno sklicujejo, kot da gre za diskretna območja, med njimi ni ostrih anatomskih meja (NAc lupina je nekoliko bolj nevrokemično razločna). Namesto tega obstajajo le nežni gradienti v gostoti receptorjev, deleži interneurona itd., Ki se zdijo bolj podobni parametrom skupnega računalnega algoritma. Ali lahko glede na to skupno arhitekturo opišemo skupno funkcijo dopamina, odvzeto od specifičnih informacij, ki jih obravnava vsaka podregija?

Strialni dopamin in dodeljevanje omejenih virov.

Predlagam, da lahko različne modulacije dopamina na nenehno vedenje razumemo kot modulacijo odločitve o dodelitvi sredstev. Dopamin natančneje podaja ocene, kako smiselno je porabiti omejen notranji vir, pri čemer se posamezen vir razlikuje med strijatalnimi podregijami. Za "motorni" striatum (~ DLS) je vir gibanje, ki je omejeno, ker gibanje stane energije in ker so številna dejanja nezdružljiva med seboj⁸⁰. Povečanje dopamina naredi večjo verjetnost, da se bo žival odločila, da je vredno porabiti energijo za premik ali hitrejše gibanje^6,40,81. Upoštevajte, da bo dopaminski signal, ki kodira "gibanje vredno", ustvaril korelacije med dopaminom in gibanjem, tudi brez dopamina, ki kodira "gibanje" po sebi.

Za „kognitivni“ striatum (~ DMS) so viri kognitivni procesi, vključno s pozornostjo (ki je po definiciji omejena zmogljivost⁸²) in delovni pomnilnik⁸³. Brez dopamina so zanemarjeni vidni zunanji napisi, ki običajno izzovejo orientacijske gibe, kot če bi bili manj vredni pozornosti³. Poleg tega je namerno krmiljenje kognitivnih nadzornih procesov naporno (drago)⁸⁴). Dopamin - zlasti pri DMS⁸⁵ - igra ključno vlogo pri odločanju, ali se je vredno potruditi^86,87. To lahko vključuje, ali uporabljati bolj kognitivno zahtevne, premišljene („zasnovane na modelih“) odločitvene strategije⁸⁸.

Za "motivacijski" striatum (~ NAc) je lahko en ključni omejen vir čas živali. Mezolimbični dopamin ni potreben, kadar živali izvajajo preprosto, fiksno delovanje, da hitro dobijo nagrade⁸⁹. Toda številne oblike nagrajevanja je mogoče pridobiti le z dolgotrajnim delom: podaljšana zaporedja nepreštetih dejanj, kot pri iskanju hrane. Izbira za delo pomeni, da je treba opustiti druge koristne načine preživljanja časa. Visok mezolimbični dopamin kaže na to, da je vključitev v časovno razširjeno, naporno delo smiselno, toda spuščanje dopamina živali ne moti in se lahko samo pripravi na spanje⁹⁰.

Dopamin je tako znotraj vsakega kortiko-progastega kroga prispevek k nenehnemu vedenju tako ekonomski (povezan z razporejanjem virov) kot motivacijski (pa naj bo to vredno porabiti sredstva⁸¹). Ta vezja niso popolnoma neodvisna, temveč imajo hierarhično spiralno organizacijo: več ventralnih odsekov striatumov vpliva na dopaminske celice, ki štrlijo v več hrbtnih odsekov^5,91. Na ta način lahko odločitve za vključitev v delo pomagajo tudi okrepiti zahtevane posebne, kratke gibe. Toda na splošno dopamin zagotavlja "aktivacijske" signale - povečuje verjetnost, da bo sprejeta kakšna odločitev - namesto "usmerjevalnih" signalov, ki določajo kako sredstva je treba porabiti⁵.

Kakšna je računska vloga dopamina pri sprejemanju odločitev?

Eden od načinov razmišljanja o tej aktivacijski vlogi je v smislu pragov odločanja. V nekaterih matematičnih modelih se postopki odločanja povečujejo, dokler ne dosežejo mejne ravni, ko se sistem zaveže dejanja⁹². Višji dopamin bi bil enakovreden nižji razdalji do praga, tako da se odločitve sprejemajo hitreje. Ta ideja je poenostavljena, vendar daje kvantitativne napovedi, ki so bile potrjene. Znižanje pragov za gibanje bi povzročilo posebno spremembo oblike porazdelitve reakcijskega časa, kar je vidno, ko se amfetamin vliva v senzimotorni striatum²⁰.

Namesto fiksnih pragov se vedenjski in nevronski podatki lahko bolje prilegajo, če se pragovi sčasoma znižujejo, kot da odločitve postajajo vedno bolj nujne. Predlagan je izhod bazalnih ganglijev za zagotavljanje dinamično razvijajočega se nujnega signala, ki krepi izbirne mehanizme v skorji⁹³. Nujnost je bila tudi večja, ko so se prihodnje nagrade bližale času, zaradi česar je bil ta koncept podoben vrednosti kodiranja, aktivacijske vloge dopamina.

Ali je takšna aktivacijska vloga zadostna, da opiše učinke, ki spreminjajo uspešnost striatalnega dopamina? To je povezano z dolgoletnim vprašanjem, ali vezja bazalnih ganglijev neposredno izberejo med naučenimi dejanji⁸⁰ ali zgolj poživite odločitve, ki so jih sprejeli drugje^93,94. Obstajata vsaj dva načina, na katera lahko kaže, da ima dopamin bolj »usmerjen« učinek. Prvi je, ko dopamin deluje v možganski podregiji, ki obdeluje inherentno usmerjene informacije. Vezje bazalnih ganglijev imajo pomembno delno lateralizirano vlogo, ki se usmerja k potencialnim nagradam in se približuje njih. Prvotni kaudat (~ DMS) sodeluje pri usmerjanju oči proti kontralateralnim prostorskim poljem⁹⁵. Dopaminergični signal, na katerega se je vredno usmeriti nekaj v kontralateralnem prostoru, lahko predstavlja opaženo povezavo med dopaminergično aktivnostjo v DMS in kontralateralnimi gibi⁷², pa tudi rotacijsko vedenje, ki ga povzročajo manipulacije z dopaminom⁹⁶. Drugi „usmerjeni“ vpliv dopamina je očiten, kadar (dvostranske) dopaminske lezije nagibajo k podpori k izbiri z majhnimi napori / nizkimi nagradami, ne pa k alternativam z velikim naporom / visokimi nagradami⁹⁷. To lahko odraža dejstvo, da so nekatere odločitve bolj serijske kot vzporedne, pri čemer podgane (in ljudje) ocenjujejo možnosti ena za drugo⁹⁸. V teh odločitvah lahko dopamin še vedno prevzame bistveno aktivacijsko vlogo s prenosom vrednosti trenutno obravnavane možnosti, ki jo je nato mogoče sprejeti ali ne²⁴.

Aktivne živali se odločajo na več ravneh, pogosto z visokimi stopnjami. Poleg razmišljanja o posameznih odločitvah bo morda koristno razmisliti o celotni usmeritvi skozi zaporedje stanj (Slika 1). Z olajšanjem prehoda iz enega v drugo stanje lahko dopamin pospeši tok po naučenih poteh⁹⁹. To se lahko nanaša na pomemben vpliv dopamina na čas vedenja^44,100. Ključna meja prihodnjega dela je poglobljeno razumevanje, kako takšni dopaminski učinki na nenehno vedenje nastajajo mehanično, s spreminjanjem obdelave informacij znotraj posameznih celic, mikrovezja in obsežnih kortikalno-bazalnih zank ganglij. Poudaril sem tudi skupne računske vloge dopamina v različnih strijskih tarčah, vendar v veliki meri zanemarjene kortikalne tarče, in še ni treba videti, ali je mogoče funkcije dopamina v obeh strukturah opisati v istem okviru.

V povzetkuustrezen opis dopamina bi razložil, kako lahko dopamin signalizira tako učenje kot motivacijo na istih hitrih časovnih lestvicah, brez zmede. Pojasnilo bi, zakaj dopamin sprošča v ključne ciljne kovare s pričakovanjem nagrade, čeprav odstranjevanje dopaminskih celic ne. Prav tako bi zagotovil enoten računski račun dopaminskih dejanj v celotnem striatumu in drugod, kar pojasnjuje različne vedenjske učinke na gibanje, kognicijo in čas. Nekatere posebne ideje, predstavljene tukaj, so špekulativne, vendar naj bi spodbudile ponovno razpravo, modeliranje in spodbudne nove eksperimente.

Zahvala.

Reference: