Ko nozīmē dopamīns? (2018)

Anotācija

Vai dopamīns ir signāls mācībām, motivācijai vai abiem?

Mūsu izpratne par dopamīnu iepriekš ir mainījusies, un tā atkal mainās. Viena kritiska atšķirība ir starp dopamīna iedarbību uz strāva uzvedība (sniegums) un dopamīna ietekme uz nākotne uzvedība (mācīšanās). Abas ir reālas un svarīgas, taču dažādos laikos viena ir atbalstījusi, otra - nē.

Kad ('70s') kļuva iespējams veikt selektīvus, pilnīgus dopamīna ceļu bojājumus, acīmredzamās uzvedības sekas bija nopietns kustību samazinājums¹. Tas saskan ar progresējošas Parkinsona slimības, toksisku zāļu vai encefalīta izraisītu dopamīna zuduma cilvēkiem ar kinētisko iedarbību². Tomēr ne žurku, ne cilvēku gadījumi neizrāda būtisku nespēju pārvietoties. Dopamīna bojātās žurkas peld aukstā ūdenī³, un akinetiski pacienti var piecelties un palaist, ja atskan ugunsgrēka trauksme (“paradoksālā” kinēzija). Arī atalgojuma novērtēšanai nav pamata deficīta: žurkām, kas bojātas ar dopamīnu, patērēs mutē ievietoto ēdienu un parādīs pazīmes, ka to bauda⁴. Viņi drīzāk neizvēlēsies pielikt pūles, lai aktīvi iegūtu atlīdzību. Šie un daudzi citi rezultāti izveidoja būtisku saikni starp dopamīnu un motivāciju⁵. Pat kustību palēnināšanos mazāk smagos Parkinsona slimības gadījumos var uzskatīt par motivācijas deficītu, atspoguļojot netiešus lēmumus, ka nav vērts tērēt enerģiju, kas nepieciešama ātrākām kustībām⁶.

Pēc tam ('80s') bija pionieriski reģistrēti dopamīna neironi uzvedīgos pērtiķos (smadzeņu vidusdaļās, kurām plānots priekšlaicīgs smadzenes: ventrālā pamatvirsma, VTA / activia nigra pars compacta, SNc). Starp novērotajiem šaušanas modeļiem bija īsi aktivitātes uzliesmojumi stimuliem, kas izraisīja tūlītējas kustības. Šī “fāziskā” dopamīna dedzināšana sākotnēji tika interpretēta kā atbalstoša “uzvedības aktivizēšana”⁷ un “motivācijas uzbudinājums”⁸ - citiem vārdiem sakot, kā dzīvnieka pašreizējās uzvedības uzmundrināšana.

'90s notika radikāla nobīde ar fāzisko dopamīna pārrāvumu atkārtotu interpretāciju kā kodējumu atlīdzību prognozēšanas kļūdas (RPE⁹). Tas balstījās uz galveno novērojumu: dopamīna šūnas reaģē uz negaidītiem stimuliem, kas saistīti ar nākotnes atlīdzību, bet bieži pārstāj reaģēt, ja šie stimuli kļūst gaidāmi¹⁰. RPE ideja radās iepriekšējās mācību teorijās un jo īpaši tolaik attīstītajā datorzinātņu jomā, kas paredzētas pastiprināšanas mācībām¹¹. RPE signāla mērķis ir atjaunināt vērtības(nākotnes atlīdzības aplēses). Šīs vērtības tiek izmantotas vēlāk, lai palīdzētu izdarīt izvēli, kas palielina atlīdzību. Tā kā dopamīna šūnu dedzināšana atgādināja RPE, un RPE tika izmantoti mācībām, kļuva dabiski uzsvērt dopamīna lomu mācībās. Vēlākās optoģenētiskās manipulācijas apstiprināja RPE kodējošo šūnu dopamīnerģisko identitāti^12,13 un parādīja, ka viņi patiešām modulē mācīšanos^14,15.

Ideja, ka dopamīns nodrošina mācīšanās signālu, lieliski iekļaujas literatūrā, kurā teikts, ka dopamīns modulē sinaptisko plastiskumu striatumā, kas ir galvenais dopamīna priekšējās smadzeņu mērķis. Piemēram, mugurkaula striatumālā dendrīta stimulācijas trīskārša sakritība, postsinaptiskā depolarizācija un dopamīna izdalīšanās izraisa mugurkaula augšanu¹⁶. Ilgtermiņa mācīšanās mehānismu dopamīnerģiskā modulācija palīdz izskaidrot atkarību izraisošo zāļu pastāvīgo uzvedības iedarbību, kurām ir kopīgas īpašības, lai uzlabotu striatālā dopamīna izdalīšanos¹⁷. Pat dziļu akinēziju ar dopamīna zudumu daļēji var izskaidrot ar šādiem mācību mehānismiem¹⁸. Dopamīna trūkumu var uzskatīt par pastāvīgi negatīvu RPE, kas pakāpeniski atjaunina darbību vērtības līdz nullei. Dopamīna antagonisti var radīt līdzīgu progresējošu, izzušanai līdzīgu iedarbību uz uzvedību^19,20.

Tomēr ideja, ka dopamīns ir kritiski iesaistīts pastāvīgā motivācijā, nekad nav pazudis - gluži pretēji, uzvedības neirozinātnieki to uzskata par pašsaprotamu. Tas ir piemērots, ņemot vērā pārliecinošos pierādījumus tam, ka dopamīna funkcijas motivācijā / kustībā / uzmundrinājumā nav atkarīgas no mācīšanās^15,20-23. Mazāk novērtēts ir izaicinājums, kas saistīts ar šīs motivācijas lomas saskaņošanu ar teoriju, ka DA nodrošina RPE mācību signālu.

Motivācija “skatās uz priekšu”: tā izmanto nākotnes atalgojuma (vērtību) prognozes, lai atbilstoši aktivizētu pašreizējo uzvedību. Turpretī mācīšanās “atskatās” uz nesenās pagātnes stāvokļiem un darbībām un atjauno to vērtības. Tās ir cikla papildinošās fāzes: atjauninātās vērtības var izmantot turpmākā lēmumu pieņemšanā, ja šie stāvokļi tiek atkārtoti sastopami, pēc tam atkal atjaunināti utt. Bet kurā cikla fāzē ir iesaistīts dopamīns - vērtību izmantošana lēmumu pieņemšanai (sniegums) vai vērtību atjaunināšana (mācīšanās)?

Dažos gadījumos ir vienkārši iedomāties, ka dopamīns spēlē abas lomas vienlaikus.²⁴Negaidīti, atlīdzību prognozējoši norādījumi ir arhetipiski notikumi, kas izraisa dopamīna šūnu izšaušanu un atbrīvošanu, un šādas norādes parasti gan uzmundrina uzvedību, gan izraisa mācīšanos (Fig. 1). Šajā konkrētajā situācijā vienlaikus palielinās gan atlīdzības prognozēšana, gan atlīdzības prognozēšanas kļūdas - taču tas ne vienmēr notiek. Kā tikai viens piemērs ir tas, ka cilvēki un citi dzīvnieki bieži tiek motivēti strādāt atlīdzības labā pat tad, ja notiek maz vai nekas pārsteidzošs. Viņi var strādāt arvien vairāk un vairāk, kad viņi kļūst arvien tuvāk atlīdzībai (vērtība pieaug, kad atlīdzība tuvojas). Lieta ir tāda, ka mācīšanās un motivācija ir konceptuāli, skaitļošanas un uzvedības ziņā atšķirīgas - un tomēr šķiet, ka dopamīns dara abus.

Zemāk es kritiski novērtēju pašreizējās idejas par to, kā dopamīns spēj sasniegt gan mācību, gan motivācijas funkcijas. Es ierosinu atjauninātu modeli, kura pamatā ir trīs galvenie fakti: 1) dopamīna izdalīšanās no termināliem nerodas tikai no dopamīna šūnu sadedzināšanas, bet to var arī kontrolēt uz vietas; 2) dopamīns ietekmē gan mērķa šūnu sinaptisko plastiskumu, gan uzbudināmību ar attiecīgi izteiktām sekām mācībām un veiktspējai; 3) dopamīna iedarbību uz plastiskumu var ieslēgt vai izslēgt tuvumā esošie shēmas elementi. Šīs funkcijas kopā ļauj smadzeņu ķēdēm pārslēgties starp diviem atšķirīgiem dopamīna ziņojumiem attiecīgi mācīšanās un motivācijas nolūkos.

Vai ir atsevišķi “fāziski” un “toniski” dopamīna signāli ar atšķirīgu nozīmi?

Bieži tiek apgalvots, ka dopamīna mācīšanās un motivācijas loma notiek dažādos laika periodos²⁵. Dopamīna šūnas nepārtraukti (“toniski”) izšaujas ar dažiem smailēm sekundē, ar neregulāriem (“fāziskiem”) pārrāvumiem vai pauzēm. Pārrāvumi, it īpaši, ja tie tiek mākslīgi sinhronizēti starp dopamīna šūnām, veicina strauju priekšpuses dopamīna līmeņa paaugstināšanos²⁶ kas ir ļoti īslaicīgas (ilgums sekundē²⁷). Tonizējošo dopamīna šūnu izdalīšanās atsevišķais ieguldījums smadzeņu dopamīna koncentrācijā nav tik skaidrs. Daži pierādījumi liecina, ka šis ieguldījums ir ļoti mazs²⁸. Var būt pietiekami, lai izraisītu gandrīz nepārtrauktas augstākas afinitātes D2 receptoru stimulēšanu, ļaujot sistēmai pamanīt īsas pauzes dopamīna šūnu dedzināšanā.²⁹ un izmantojiet šīs pauzes kā negatīvas prognozēšanas kļūdas.

Mikrodialīze tiek plaši izmantota, lai tieši izmērītu priekšējo smadzeņu dopamīna līmeni, kaut arī ar nelielu laika izšķirtspēju (parasti vidējais rādītājs dažās minūtēs). Šādi lēni dopamīna mērījumi var būt grūti precīzi saistīti ar uzvedību. Neskatoties uz to, dopamīna mikrodialīze kodola kodolos (NAc; ventrālais / mediālais striatums) parāda pozitīvas korelācijas ar lokomotoro aktivitāti³⁰ un citi motivācijas indeksi⁵. Tas tiek plaši pieņemts nozīmēt, ka dopamīna koncentrācijā notiek lēnas (“tonizējošas”) izmaiņas un ka šīs lēnās izmaiņas rada motivācijas signālu. Konkrētāk, skaitļošanas modeļi ir ierosinājuši, ka tonizējošais dopamīna līmenis izseko ilgtermiņa vidējo atalgojuma līmeni³¹ - noderīgs motivācijas mainīgais laika sadalījumam un lēmumu pieņemšanai. Ir vērts uzsvērt, ka ļoti nedaudzi dokumenti skaidri definē “tonizējošo” dopamīna līmeni - parasti viņi tikai pieņem, ka dopamīna koncentrācija mikrodialīzes vairāku minūšu laika skalā lēnām mainās.

Tomēr šis “fāziskais dopamīns = RPE / mācīšanās, tonizējošais dopamīns = motivācija” skatījums sastopas ar daudzām problēmām. Pirmkārt, nav tiešu pierādījumu tam, ka tonizējoša dopamīna šūnu izdalīšanās parasti mainās lēnā laika posmā. Tonizējošie degšanas ātrumi nemainās, mainoties motivācijai^32,33. Tika apgalvots, ka tonizējošā dopamīna līmenis mainās, mainoties aktīvo dopamīna šūnu proporcijai^34,35. Bet daudzos pētījumos ar zālēm, kas nav pakļauti dzīvniekiem, nekad nav ziņots, ka dopamīna šūnas pārslēgtos starp kluso un aktīvo stāvokli.

Turklāt tas, ka mikrodialīze lēnām mēra dopamīna līmeni, nenozīmē, ka dopamīna līmenis faktiski mainās lēnām. Mēs nesen¹⁵ pārbaudīja žurku NAc dopamīnu varbūtības līmeņa atlīdzināšanas uzdevumā, izmantojot gan mikrodialīzi, gan ātras skenēšanas ciklisku voltammetriju. Mēs apstiprinājām, ka mezolimbiskais dopamīns, ko mēra ar mikrodialīzi, korelē ar atalgojuma līmeni (atlīdzības / min). Tomēr pat ar uzlabotu mikrodialīzes laika izšķirtspēju (1min) dopamīns svārstījās tikpat ātri, cik mēs to paraugām: mēs neredzējām pierādījumus par raksturīgi lēna dopamīna signāla parādīšanos.

Izmantojot smalkāku voltammetrijas izšķirtspēju laikā, mēs novērojām ciešu saikni starp sekundē esošajām dopamīna svārstībām un motivāciju. Kad žurkas veica darbību secību, kas nepieciešama atlīdzības sasniegšanai, dopamīns pieauga arvien augstāk un augstāk, sasniedzot maksimumu tieši tad, kad ieguva atlīdzību (un strauji krita, kad viņi to patērēja). Mēs parādījām, ka dopamīns cieši korelē ar pašreizējo stāvokļa vērtību, kas noteikta kā gaidāmā atlīdzība nākotnē, diskontējot ar paredzamo laiku, kas nepieciešams tās saņemšanai. Šī straujā dopamīna dinamika var izskaidrot arī mikrodialīzes rezultātus, neizmantojot atsevišķus dopamīna signālus dažādos laika periodos. Tā kā dzīvnieki saņem lielāku atlīdzību, viņi palielina cerības uz ieguvumiem nākotnē katrā izmēģinājumu secībā. Tā vietā, lai lēnām attīstītos vidējais atalgojuma līmeņa signāls, korelāciju starp dopamīnu un atalgojuma līmeni vislabāk var izskaidrot kā šo strauji mainīgo stāvokļa vērtību vidējo vērtību ilgstošā mikrodialīzes paraugu ņemšanas laikā.

Šī vērtība interpretācija mezolimbiskās dopamīna atbrīvošanu atbilst voltammetry rezultātiem no citām pētniecības grupām, kas ir atkārtoti konstatēts, ka dopamīna izdalīšanās rampas ar pieaugošo tuvumu apbalvot^36-38(Fig. 2). Šis motivācijas signāls pēc būtības nav “lēns”, bet drīzāk to var novērot nepārtrauktā laika diapazonā. Kaut arī dopamīna rampas var ilgt vairākas sekundes, kad arī tuvošanās izturēšanās ilgst vairākas sekundes³⁸, tas atspoguļo uzvedības laika gaitu, nevis raksturīgo dopamīna dinamiku. Attiecības starp mezolimbiskās dopamīna izdalīšanos un svārstīgā vērtība ir redzams tik ātri, kā ierakstu tehniku ​​atļauju, ti, par ~ 100ms termiņā ar akūtu voltammetry elektrodiem¹⁵.

Ātrās dopamīna svārstības ne tikai atspoguļo motivāciju, bet arī nekavējoties virza motivētu uzvedību. Lielākas fāziskas dopamīna šūnu reakcijas, lai izraisītu norādes, tajā pašā izmēģinājumā paredz īsāku reakcijas laiku³⁹. VTA dopamīna šūnu optoģenētiskā stimulēšana ļauj žurkām sākt darbu mūsu varbūtējā atalgojuma uzdevumā¹⁵, tāpat kā tad, ja viņiem būtu lielākas cerības uz atlīdzību. SNc dopamīna neironu vai to aksonu optoģenētiskā stimulācija muguras smadzenēs palielina kustības varbūtību^40,41. Kritiski ir tas, ka šī uzvedība ir redzama pāris simtu milisekundēs pēc optoģenētiskās stimulācijas sākuma. Atalgojuma prognozēšanas norāžu spēja palielināt motivāciju, šķiet, ir saistīta ar ļoti ātru NAc spinālo neironu uzbudināmības dopamīnerģisko modulāciju.⁴². Tā kā dopamīns mainās strauji, un šīs dopamīna izmaiņas ietekmē motivāciju ātri, par motivācijas funkcijas dopamīns ir labāk raksturot kā ātri ( "fāzēs"), nav lēns ( "tonizējoša").

Turklāt atsevišķu ātru un lēnu laika skalu izsaukšana pati par sevi neatrisina dekodēšanas problēmu, ar kuru saskaras neironi ar dopamīna receptoriem. Ja dopamīns signalizē par mācīšanos, sinaptiskās plastikas modulācija šķiet piemērota šūnu reakcija. Bet tūlītēja ietekme uz motivētu uzvedību nozīmē tūlītēju ietekmi uz smaiļošanu - piemēram, straujas uzbudināmības izmaiņas. Dopamīnam var būt abas šīs postsinaptiskās iedarbības (un vairāk), tāpēc vai noteiktai dopamīna koncentrācijai ir īpaša nozīme? Vai arī šī nozīme ir jākonstruē, piemēram, salīdzinot dopamīna līmeni laikā vai izmantojot citus sakritības signālus, lai noteiktu, kura šūnu mašīna ieslēgties? Šī iespēja tiek apspriesta tālāk.

Vai dopamīna izdalīšanās sniedz to pašu informāciju kā dopamīna šūnu dedzināšana?

Saikne starp straujajām dopamīna svārstībām un motivācijas vērtību šķiet dīvaina, ņemot vērā, ka dopamīna šūnu dedzināšana tā vietā atgādina RPE. Turklāt dažos pētījumos ir ziņots par RPE signāliem mezolimbiskā dopamīna atbrīvošanā⁴³. Ir svarīgi atzīmēt izaicinājumu, interpretējot dažas neironu datu formas. Vērtības signāli un RPE ir savstarpēji saistīti - nav pārsteidzoši, ka RPE parasti definē kā vērtības izmaiņas no viena brīža uz otru (“laika starpība” RPE). Šīs korelācijas dēļ ir ļoti svarīgi izmantot eksperimentālos plānojumus un analīzes, kas atšķir vērtību no RPE kontiem. Problēma tiek saasināta, izmantojot neironu mēru, kas balstās uz relatīvām, nevis absolūtām signāla izmaiņām. Voltammetrijas analīzēs dopamīns noteiktā laika posmā parasti tiek salīdzināts ar “bāzes” laikmetu, kas bija agrāk katrā pētījumā (lai noņemtu signāla komponentus, kas nav atkarīgi no dopamīna, ieskaitot elektrodu uzlādi katrā sprieguma slaucīšanā un dažu minūšu laikā novirzās). Bet, atņemot bāzes līniju, vērtības signāls var atgādināt RPE signālu. Tas ir tas, ko mēs novērojām mūsu pašu voltmetrijas datos (2e). Izmaiņas atalgojuma cerībās atspoguļojās dopamīna koncentrācijas izmaiņās katra izmēģinājuma sākumā, un šīs izmaiņas tiek izlaistas, ja pieņem tikai pastāvīgu sākotnējo stāvokli visos pētījumos.¹⁵. Secinājumi par dopamīna izdalīšanos un RPE kodēšanu ir jāuztver piesardzīgi. Šīs datu interpretācijas briesmas attiecas ne tikai uz voltmetriju, bet arī uz jebkuru analīzi, kas balstās uz relatīvām izmaiņām - iespējams, ieskaitot dažus fMRI un fotometriju⁴⁴.

Neskatoties uz to, mums joprojām ir jāsaskaņo ar vērtību saistītā dopamīna izdalīšanās NAc kodolā ar nemainīgo dopamīna neironu vērtības samazināšanos.¹³, pat sānu VTA zonā, kas nodrošina dopamīnu NAc kodolā⁴⁵. Viens potenciālais faktors ir tas, ka dopamīna šūnas parasti reģistrē dzīvniekiem ar ierobežotu galvu, kas veic klasiskus kondicionēšanas uzdevumus, savukārt dopamīna izdalīšanos parasti mēra netraucētiem dzīvniekiem, kas aktīvi pārvietojas pa apkārtējo vidi. Mēs ierosinājām, ka mezolimbiskais dopamīns varētu īpaši norādīt “darba” vērtību¹⁵ - ka tas atspoguļo prasību veltīt laiku un pūles, lai iegūtu atlīdzību. Saskaņā ar to dopamīns palielinās ar signāliem, kas māca kustību, bet ne ar signāliem, kas norāda uz klusumu, pat ja tie norāda uz līdzīgu atlīdzību nākotnē⁴⁶. Ja, tāpat kā daudzos klasiskās kondicionēšanas uzdevumos, aktīvam “darbam” nav nekāda labuma, tad dopamīnerģiskas izmaiņas, kas norāda uz darba vērtību, var būt mazāk acīmredzamas.

Vēl svarīgāks var būt fakts, ka dopamīna izdalīšanos var lokāli kontrolēt pašos termināļos un tādējādi parādīt telpas un laika modeļus neatkarīgi no šūnas ķermeņa parādīšanās. Piemēram, bazolaterālā amigdala (BLA) var ietekmēt NAc dopamīna izdalīšanos pat tad, ja VTA ir inaktivēta⁴⁷. Un otrādi, BLA deaktivizēšana samazina NAc dopamīna izdalīšanos un attiecīgi motivētu uzvedību, acīmredzot neietekmējot VTA dedzināšanu⁴⁸. Dopamīna termināliem ir receptori virknei neirotransmiteru, ieskaitot glutamātu, opioīdus un acetilholīnu. Nikotīna acetilholīna receptori ļauj striatūriski holīnerģiskiem interneuroniem (CIN) ātri kontrolēt dopamīna izdalīšanos^49,50. Lai gan jau sen tika atzīmēts, ka potenciāli svarīga ir vietēja dopamīna izdalīšanās kontrole^7,51, tas nav iekļauts dopamīna funkcijas aprēķina kontos. Es ierosinu, ka dopamīna izdalīšanās dinamika, kas saistīta ar vērtību kodēšanu, galvenokārt rodas vietējs kontroli, pat ja dopamīna šūnu dedzināšana nodrošina svarīgus RPE līdzīgus signālus mācībām.

Kā dopamīns var nozīmēt gan mācīšanos, gan motivāciju bez neskaidrībām?

Principā vērtības signāls ir pietiekams arī RPE nodošanai, jo laika starpības RPE vienkārši ir ātras vērtības izmaiņas (2B). Piemēram, atšķirīgi starpšūnu ceļi mērķa neironos var būt atšķirīgi jutīgi pret dopamīna absolūto koncentrāciju (attēlo vērtību), salīdzinot ar straujajām relatīvajām koncentrācijas izmaiņām (attēlo RPE). Šī shēma šķiet ticama, ņemot vērā spinālo neironu fizioloģijas sarežģīto dopamīna modulāciju⁵² un to jutība pret kalcija koncentrācijas laika modeļiem⁵³. Tomēr tas arī šķiet nedaudz lieks. Ja RPE līdzīgs signāls jau pastāv dopamīna šūnu noteikšanā, vajadzētu būt iespējai to izmantot, nevis atkārtot RPE no vērtības signāla.

Lai pareizi izmantotu atšķirīgus RPE un vērtību signālus, dopamīna-saņēmēja shēmas var aktīvi mainīt to, kā tās interpretē dopamīnu. Ir intriģējoši pierādījumi, ka acetilholīns var kalpot arī šai mainīgajai lomai. Tajā pašā laikā, kad dopamīna šūnas aizdedzina smailītes līdz neparedzētām norādēm, CIN parāda īsu laiku (~ 150ms) pauzes apšaudē, kurai nav mēroga ar RPE⁵⁴. Šīs CIN pauzes var vadīt VTA GABAerģiskie neironi⁵⁵ kā arī ar “pārsteigumu” saistītas šūnas intralaminārajā talamā, un ir ierosināts darboties kā asociācijas signāls, kas veicina mācīšanos⁵⁶. Moriss un Bergmans ieteica⁵⁴ ka holīnerģiskās pauzes nosaka īslaicīgus logus striālas plastiskumam, kura laikā dopamīnu var izmantot kā mācību signālu. No dopamīna atkarīgo plastiskumu nepārtraukti nomāc mehānismi, ieskaitot muskarīna m4 receptorus tiešā ceļa striatūra neironos⁵⁷. Intracelulāras signalizācijas modeļi liecina, ka CIN paužu laikā m4 saistīšanās neesamība var darboties sinerģiski ar fāziskiem dopamīna pārrāvumiem, lai pastiprinātu PKA aktivizāciju⁵⁸, tādējādi veicinot sinaptiskās izmaiņas.

Tādējādi striatālās holīnerģiskās šūnas ir labi novietotas, lai dinamiski mainītu daudzkārtēja dopamīnerģiskā ziņojuma nozīmi. CIN paužu laikā muskarīna bloka atvieglojums pār sinaptisko plastiskumu dopamīnu varētu izmantot mācībām. Citreiz atbrīvošanās no dopamīna termināļiem tiks lokāli veidota tā, lai ietekmētu notiekošo uzvedību. Pašlaik šis ieteikums ir gan spekulatīvs, gan nepilnīgs. Ir ierosināts, ka CIN integrē informāciju no daudziem apkārt esošajiem spīdošajiem neironiem, lai iegūtu noderīgus tīkla līmeņa signālus, piemēram, entropiju^59,60. Bet nepavisam nav skaidrs, vai CIN aktivitātes dinamiku var izmantot, lai ģenerētu dopamīna vērtības signālus⁶¹, kā arī dopamīna mācīšanās signālu novirzīšanai.

Vai dopamīns nozīmē to pašu visā smadzenēs?

Tā kā RPE ideja tika realizēta, tika iedomāts, ka dopamīns ir globāls signāls, kas raidīja kļūdas ziņojumu visā striatālā un frontālajā garozas mērķos. Schultz uzsvēra, ka pērtiķu dopamīna šūnām visā VTA un SNc ir ļoti līdzīgas atbildes⁶². Identificēto dopamīna šūnu pētījumos ir atklātas arī diezgan viendabīgas RPE līdzīgas reakcijas grauzējiem, vismaz attiecībā uz sānu VTA neironiem klasiskās kondicionēšanas kontekstā¹³. Tomēr dopamīna šūnas ir molekulāri un fizioloģiski daudzveidīgas^63-65 un tagad ir daudz ziņojumu, ka tie uzvedībā ar dzīvniekiem parāda atšķirīgus šaušanas modeļus. Tie ietver pakāpenisku pieaugumu šaušanā pret nelabvēlīgiem notikumiem⁶⁶ un aktivizē norādes⁶⁷ kas slikti atbilst standarta RPE kontam. Daudzām dopamīna šūnām ir sākotnēja īslaicīga reakcija uz maņu notikumiem, kas atspoguļo pārsteigumu vai “trauksmi” vairāk nekā specifiska RPE kodēšana^68,69. Šis brīdināšanas aspekts ir pamanāmāks SNc⁶⁹, kur dopamīna šūnas vairāk izliekas uz “sensorimotor” muguras / sānu striatumu (DLS^45,63). Tiek ziņots, ka palielinās arī SNc dopamīna šūnu apakšpopulācijas⁴¹ vai samazināties⁷⁰ šaušana kopā ar spontānām kustībām, pat bez ārējām norādēm.

Vairākas grupas izmantoja šķiedru fotometriju un kalcija indikatoru GCaMP, lai pārbaudītu dopamīna neironu apakšpopulāciju kopējo aktivitāti^71,72. Dopamīna šūnas, kas projicējas uz muguras / vidējo striatumu (DMS), uzrādīja īslaicīgu nomāktu darbību līdz neparedzētiem īsiem satricinājumiem, savukārt tās, kuras projicēja uz DLS, parādīja paaugstinātu aktivitāti⁷¹- saskaņotāka ar trauksmes reakciju. Novērotas atšķirīgas dopamīnerģiskas reakcijas dažādos priekšējo smadzeņu apakšreģionos, izmantojot GCaMP, lai pārbaudītu dopamīna aksonu un terminālu aktivitāti^40,72,73. Izmantojot divu fotonu attēlveidošanu pelēm ar galvu, Howe un Dombeck⁴⁰ ziņots par fāzisku dopamīna aktivitāti, kas saistīta ar spontānām kustībām. To galvenokārt novēroja atsevišķos SNc dopamīna aksonos, kas beidzās muguras striatumā, bet VTA dopamīna aksoni NAc vairāk reaģēja uz atlīdzību par piegādi. Citi arī konstatēja, ka NAc ir saistīta ar atlīdzību saistīta dopamīnerģiskā aktivitāte, bet DMS drīzāk ir saistīta ar kontralaterālām darbībām⁷² un striatum aizmugurējā aste, reaģējot uz aversīviem un jauniem stimuliem⁷⁴.

Tiešie dopamīna izdalīšanās pasākumi atklāj arī neviendabīgumu starp apakšreģioniem^30,75. Veicot mikrodialīzi, mēs atklājām, ka dopamīns ir korelēts ar vērtību, kas raksturīga tieši NAc kodolā un ventrālā-mediālā frontālajā garozā, nevis citās striatuma (NAc apvalks, DMS) vai frontālās garozas mediālajās daļās. Tas ir intriģējoši, jo šķiet, ka tas labi sasaista divus vērtību kodēšanas “karstajos punktos”, ko pastāvīgi novēro cilvēku fMRI pētījumu pētījumos^76,77. Jo īpaši NAc BOLD signāls, kam ir cieša saistība ar dopamīna signālu⁷⁸, palielinās, gaidot atlīdzību (vērtību) - vairāk nekā ar RPE⁷⁶.

Neatkarīgi no tā, vai šie dopamīna izdalīšanās telpiskie modeļi rodas no atsevišķu dopamīna šūnu apakšpopulāciju izšaušanas, dopamīna izdalīšanās lokālas kontroles vai abiem, tie izaicina ideju par globālu dopamīna ziņojumu. Var secināt, ka ir daudz dažādu dopamīna funkciju, piemēram, dopamīns muguras striatum signalizējot “kustību” un dopamīns ventrālajā striatum signalizējot “atlīdzība”.⁴⁰. Tomēr es atbalstu citu konceptuālu pieeju. Dažādi striatūru apakšreģioni saņem datus no dažādiem garozas reģioniem, un tādējādi tiks apstrādāta dažāda veida informācija. Tomēr katram striatūra apakšreģionam ir kopīga mikroshēmu arhitektūra, ieskaitot atsevišķus D1 - pret D2 - receptorus, kuriem ir spīdošie neironi⁷⁹, CIN un tā tālāk. Lai arī ir ierasts atsaukties uz dažādiem striatras apakšreģioniem (piemēram, DLS, DMS, NAc kodols), it kā tie būtu diskrēti apgabali, starp tiem nav asu anatomisku robežu (NAc apvalks ir nedaudz neiroķīmiski atšķirīgāks). Tā vietā ir tikai maigi receptoru blīvuma gradienti, interneurona proporcijas utt., Kas vairāk šķiet kā kopīga aprēķina algoritma parametru korekcijas. Ņemot vērā šo kopējo arhitektūru, vai mēs varam aprakstīt kopīgu dopamīna funkciju, kas ir atdalīta no īpašās informācijas, ar kuru apstrādā katrs apakšreģions?

Striatāls dopamīns un ierobežotu resursu piešķiršana.

Es ierosinu, ka dažādas atšķirīgas dopamīna ietekmes uz pastāvīgu uzvedību var saprast kā modulāciju resursu piešķiršanas lēmumi. Konkrēti, dopamīns sniedz aprēķinus par to, cik ir vērts tērēt ierobežotus iekšējos resursus, jo konkrētais resurss atšķiras starp striatūru apakšreģioniem. “Motor” striatum (~ DLS) resurss ir kustība, kas ir ierobežota tāpēc, ka pārvietošanās maksā enerģiju un tāpēc, ka daudzas darbības nav savietojamas⁸⁰. Palielinot dopamīna daudzumu, ir lielāka iespējamība, ka dzīvnieks nolems, ka ir vērts tērēt enerģiju, lai kustētos vai ātrāk pārvietotos^6,40,81. Ņemiet vērā, ka dopamīna signāls, kas kodē “kustību, ir vērts”, radīs korelācijas starp dopamīnu un kustību, pat bez dopamīna kodēšanas “kustība” per se.

“Kognitīvā” striatuma (~ DMS) resursi ir izziņas procesi, ieskaitot uzmanību (kas pēc definīcijas ir ierobežota kapacitāte)⁸²) un darba atmiņa⁸³. Bez dopamīna tiek novārtā atstātas ievērojamas ārējas norādes, kas parasti provocē orientējošas kustības, it kā tās tiek uzskatītas par mazāk pievilcīgām.³. Turklāt apzināti izziņas kontroles procesu sakārtošana ir intensīva (dārga⁸⁴). Dopamīns - īpaši DMS⁸⁵ - ir galvenā loma, izlemjot, vai ir vērts pielikt šīs pūles^86,87. Tas var ietvert to, vai izmantot kognitīvi prasīgākas, pārdomātākas (“uz modeli balstītas”) lēmumu pieņemšanas stratēģijas⁸⁸.

“Motivējošam” striatum (~ NAc) viens ierobežots resurss var būt dzīvnieka laiks. Mezolimbiskais dopamīns nav nepieciešams, ja dzīvnieki veic vienkāršu, fiksētu darbību, lai ātri iegūtu atlīdzību⁸⁹. Bet daudzas atlīdzības formas var iegūt tikai ar ilgstošu darbu: pagarinātas neatbalstītu darbību secības, tāpat kā barības meklēšanā. Izvēle iesaistīties darbā nozīmē, ka ir jāatsakās no citiem izdevīgiem laika pavadīšanas veidiem. Augsts mezolimbiskais dopamīns norāda, ka ir vērts iesaistīties ilgstošā un intensīvā darbā, taču, pazeminoties dopamīna līmenim, dzīvnieki neuztraucas un var vienkārši sagatavoties gulēšanai.⁹⁰.

Tādējādi katrā kortikostriatīvas cilpas shēmā dopamīna ieguldījums pastāvīgajā uzvedībā ir gan ekonomisks (saistīts ar resursu piešķiršanu), gan motivējošs (neatkarīgi no tā, vai tas ir vērts tērēt resursus⁸¹). Šīs shēmas nav pilnībā neatkarīgas, tām drīzāk ir hierarhiska, spirālveida organizācija: vairāk striatuma ventrālās daļas ietekmē dopamīna šūnas, kuras izvirzās vairāk muguras daļās.^5,91. Šādi lēmumi iesaistīties darbā var arī palīdzēt uzmundrināt nepieciešamās specifiskās, īsākās kustības. Bet kopumā dopamīns nodrošina “aktivācijas” signālus - palielinot varbūtību, ka tiek pieņemts kāds lēmums -, nevis “virziena” signālus, kas norāda cik resursi ir jātērē⁵.

Kāda ir dopamīna skaitļošanas loma lēmumu pieņemšanā?

Viens no domāšanas veidiem par šo aktivizējošo lomu ir lēmumu pieņemšanas “sliekšņi”. Dažos matemātiskos modeļos lēmumu pieņemšanas procesi palielinās, līdz tie sasniedz sliekšņa līmeni, kad sistēma apņemas rīkoties⁹². Augstāks dopamīna daudzums būtu līdzvērtīgs mazākam attālumam līdz slieksnim, lai lēmumi tiktu pieņemti ātrāk. Šī ideja ir vienkāršota, tomēr tajā ir sniegtas apstiprinātas kvantitatīvas prognozes. Kustības sliekšņu pazemināšana izraisītu īpašas izmaiņas reakcijas laika sadalījuma formā, tieši to, kas redzams, kad amfetamīns tiek ievadīts sensora motorā.²⁰.

Nevis fiksēti sliekšņi, bet gan uzvedības un neironu dati varētu būt piemērotāki, ja laika gaitā sliekšņi samazinās, it kā lēmumi kļūst arvien steidzamāki. Ir ierosināts ievadīt gangliju izeju, lai nodrošinātu dinamiski mainīgu steidzamības signālu, kas stimulē atlases mehānismus garozā⁹³. Steidzamība bija lielāka arī tad, ja nākotnes atalgojums bija tuvāks laikā, padarot šo koncepciju līdzīgu vērtību kodēšanai, dopamīna aktivizēšanas lomai.

Vai šāda aktivizēšanas loma ir pietiekama, lai aprakstītu striatālā dopamīna veiktspēju modulējošo iedarbību? Tas ir saistīts ar ilgstošu jautājumu par to, vai bazālo gangliju ķēdes tieši izvēlas starp apgūtajām darbībām⁸⁰ vai vienkārši stimulē citur izdarītu izvēli^93,94. Ir vismaz divi veidi, kā dopamīnam var būt “virziena” efekts. Pirmais ir tas, kad dopamīns darbojas smadzeņu apakšreģionā, kas apstrādā raksturīgo virziena informāciju. Gāzu bazālajām ķēdēm ir svarīga, daļēji sāniska loma, kas orientējas uz potenciālo atlīdzību un tai tuvojas. Primāta caudate (~ DMS) ir iesaistīta acu kustību virzīšanā uz kontralaterālajiem telpiskajiem laukiem⁹⁵. Dopamīnerģisks signāls, ka uz kaut ko kontralaterālā telpā ir vērts orientēties, var izskaidrot novēroto korelāciju starp DMS dopamīnerģisko aktivitāti un kontralaterālajām kustībām⁷², kā arī rotācijas izturēšanos, ko rada manipulācijas ar dopamīnu⁹⁶. Otra dopamīna “virziena” ietekme ir acīmredzama, ja (divpusēji) dopamīns bojā žurkas, izvēloties zemu piepūles / zemu atalgojuma izvēli, nevis lielas piepūles / lielas atlīdzības alternatīvas⁹⁷. Tas var atspoguļot faktu, ka daži lēmumi ir vairāk sērijveida nekā paralēli, žurkām (un cilvēkiem) novērtējot iespējas pa vienam⁹⁸. Šajos lēmumos dopamīnam joprojām var būt fundamentāli aktivizējoša loma, parādot pašreiz apsvērtās iespējas vērtību, kuru pēc tam var pieņemt vai nē.²⁴.

Aktīvie dzīvnieki pieņem lēmumus vairākos līmeņos, bieži vien ar augstu ātrumu. Papildus individuālu lēmumu pieņemšanai var būt noderīgi apsvērt vispārējo trajektoriju, izmantojot virkni stāvokļu (Fig. 1). Atvieglojot pārejas no viena stāvokļa uz otru, dopamīns var paātrināt plūsmu pa apgūtajām trajektorijām⁹⁹. Tas var būt saistīts ar dopamīna būtisko ietekmi uz uzvedības laiku^44,100. Viena no galvenajām nākotnes darba robežām ir iegūt dziļāku izpratni par to, kā šāda dopamīna iedarbība uz notiekošo uzvedību rodas mehāniski, mainot informācijas apstrādi atsevišķās šūnās, mikroshēmas un lielizmēra garozas-garozas garozas cilpas. Es arī uzsvēru dopamīna kopējās skaitļošanas lomas virknē striatūru mērķu, bet lielākoties novārtā atstātos garozas mērķus, un atliek tikai redzēt, vai dopamīna funkcijas abās struktūrās var aprakstīt vienā un tajā pašā ietvarā.

Rezumējot, adekvāts dopamīna apraksts izskaidro, kā dopamīns var signalizēt gan par mācīšanos, gan motivāciju vienādos laika periodos bez neskaidrībām. Tas izskaidrotu, kāpēc dopamīna izdalīšanās galvenajos mērķos ir kovariji ar atlīdzības cerībām, kaut arī dopamīna šūnu izdalīšana to nedara. Un tas sniegtu vienotu skaitlisku pārskatu par dopamīna darbībām visā striatumā un citur, kas izskaidro atšķirīgo uzvedības ietekmi uz kustību, izziņu un laiku. Dažas šeit piedāvātās īpašās idejas ir spekulatīvas, bet ir paredzētas, lai rosinātu atjaunotu diskusiju, modelēšanu un jaunus eksperimentus.

Pateicības.

Norādes: