Čo znamená dopamín? (2018)

abstraktné

Je dopamín signálom na učenie, motiváciu alebo oboje?

Naše chápanie dopamínu sa v minulosti zmenilo a opäť sa mení. Jedno kritické rozlíšenie je medzi dopamínovými účinkami na prúd správanie (výkon) a dopamínové účinky na budúcnosť správanie (učenie). Obidve sú skutočné a dôležité, ale niekedy bol jeden za a druhý nie.

Keď (v 70och) bolo možné vykonať selektívne, úplné lézie dopamínových dráh, zjavným behaviorálnym dôsledkom bolo závažné zníženie pohybu¹, Je to v súlade s akinetickými účinkami straty dopamínu u ľudí, ktorá je spôsobená pokročilou Parkinsonovou chorobou, toxickými drogami alebo encefalitídou.², Prípady potkanov ani ľudí však nepreukazujú zásadnú neschopnosť pohybu. Potkany s poškodením dopamínu plávajú v studenej vode³a akinetickí pacienti môžu vstať a bežať, ak znie požiarny poplach („paradoxná“ kinesia). Neexistuje ani zásadný deficit pri oceňovaní výhod: potkany lézované dopamínom konzumujú jedlo vložené do úst a vykazujú známky toho, že si ho užívajú.⁴, Nebudú sa radšej usilovať aktívne získavať odmeny. Tieto a mnohé ďalšie výsledky preukázali základné spojenie medzi dopamínom a motiváciou⁵, Dokonca aj spomalenie pohybu pozorované v menej závažných prípadoch Parkinsonovej choroby sa môže považovať za motivačný deficit, ktorý odráža implicitné rozhodnutia, že nestojí za to vynaložiť energiu potrebnú na rýchlejšie pohyby.⁶.

Potom (v „80och“) boli priekopnícke záznamy dopamínových neurónov v správaní opíc (v oblastiach stredných mozgov, ktoré majú predbiehať: ventrálna tegmentálna oblasť, VTA / substantia nigra pars compacta, SNc). Medzi pozorovanými vzormi paľby boli krátke výbuchy aktivity, ktoré podnietili okamžité pohyby. Toto „fázové“ vypaľovanie dopamínu bolo pôvodne interpretované ako podporujúce „behaviorálnu aktiváciu“⁷ a „motivačný vzrušenie“⁸ - inými slovami, ako oživenie súčasného správania zvieraťa.

V 90och došlo k radikálnemu posunu s reinterpretáciou fázových dopamínových impulzov ako kódovania. chyby predpovede odmeny (RPEs⁹). Toto bolo založené na kľúčovom pozorovaní: dopamínové bunky reagujú na neočakávané stimuly spojené s budúcou odmenou, ale často prestanú reagovať, ak sa tieto stimuly očakávajú.¹⁰, Myšlienka RPE vznikla v skorších teóriách učenia, a najmä v vtedy sa rozvíjajúcej oblasti počítačovej vedy o posilňovacom vzdelávaní¹¹, Zmyslom signálu RPE je aktualizácia hodnoty(odhady budúcich výnosov). Tieto hodnoty sa používajú neskôr na pomoc pri výbere, ktorý maximalizuje odmenu. Pretože vypaľovanie dopamínových buniek sa podobalo RPE a RPE sa používajú na učenie, stalo sa prirodzeným zdôrazniť úlohu dopamínu v učení. Neskoršie optogenetické manipulácie potvrdili dopaminergnú identitu buniek kódujúcich RPE^12,13 a ukázali, že skutočne modulujú učenie^14,15.

Myšlienka, že dopamín poskytuje učiaci signál, krásne zapadá do literatúry, že dopamín moduluje synaptickú plasticitu v striatu, primárnom prednom mozgovom cieli dopamínu. Napríklad trojitá zhoda glutamátovej stimulácie striatálnej dendritovej chrbtice, postsynaptická depolarizácia a uvoľňovanie dopamínu spôsobujú rast chrbtice.¹⁶, Dopaminergná modulácia mechanizmov dlhodobého učenia pomáha vysvetliť pretrvávajúce behaviorálne účinky návykových liekov, ktoré zdieľajú vlastnosť zvyšovania uvoľňovania striatálneho dopamínu.¹⁷, Dokonca aj hlboká akinézia so stratou dopamínu sa dá čiastočne pripísať takýmto mechanizmom učenia¹⁸, Nedostatok dopamínu možno považovať za neustále negatívny RPE, ktorý progresívne aktualizuje hodnoty účinkov smerom k nule. Podobné progresívne, extinkčné účinky na správanie sa môžu dosiahnuť antagonistami dopamínu^19,20.

Myšlienka, že dopamín je kriticky zapojený do trvalej motivácie, však nikdy nezmizla - naopak, neurológovia v oblasti správania ho považujú za samozrejmosť. Je to vhodné vzhľadom na silné dôkazy o tom, že funkcie dopamínu v motivácii / pohybe / invázii sú oddeliteľné od učenia^15,20-23, Menej oceňovaná je výzva spojená so zosúladením tejto motivačnej úlohy s teóriou, že DA poskytuje vzdelávací signál RPE.

Motivácia „sa teší“: používa predpovede budúcej odmeny (hodnôt) na primerané napájanie súčasného správania. Naopak, učenie „pozerá dozadu“ na stavy a akcie v nedávnej minulosti a aktualizuje ich hodnoty. Sú to komplementárne fázy cyklu: aktualizované hodnoty sa môžu použiť v následnom rozhodovaní, ak sa s týmito stavmi znovu stretneme, potom ich znova aktualizujeme atď. Ale v ktorej fáze cyklu sa dopamín zúčastňuje - pomocou hodnôt na prijímanie rozhodnutí (výkon) alebo aktualizáciou hodnôt (učenie)?

Za určitých okolností je ľahké si predstaviť, že dopamín hrá obe role súčasne.²⁴Neočakávané narážky predpovedajúce odmenu sú archetypické udalosti, ktoré vyvolávajú vypaľovanie a uvoľňovanie dopamínových buniek, a takéto narážky zvyčajne povzbudzujú správanie a vyvolávajú učenie (Obr. 1). V tejto konkrétnej situácii sa predikcia odmeny aj chyby predikcie odmeny zvyšujú súčasne - to však neplatí vždy. Len ako jeden príklad sú ľudia a iné zvieratá často motivovaní pracovať za odmenu, aj keď sa stane málo alebo nič prekvapujúce. Môžu čoraz viac pracovať, keď sa dostanú bližšie a bližšie k odmene (hodnota sa zvyšuje, keď sa odmeny blížia). Jedná sa o to, že učenie a motivácia sú koncepčne, výpočtovo a behaviorálne odlišné - a napriek tomu sa zdá, že dopamín robí oboje.

Ďalej kriticky hodnotím súčasné predstavy o tom, ako je dopamín schopný dosiahnuť vzdelávacie aj motivačné funkcie. Navrhujem aktualizovaný model založený na troch kľúčových faktoch: 1) Uvoľňovanie dopamínu z terminálov nevyplýva iba zo spaľovania dopamínových buniek, ale môže byť tiež lokálne kontrolované; 2) dopamín ovplyvňuje synaptickú plasticitu aj excitabilitu cieľových buniek s výraznými dôsledkami na učenie a výkon; 3) dopamínové účinky na plasticitu je možné zapnúť alebo vypnúť pomocou prvkov v okolí. Tieto vlastnosti môžu spoločne umožniť mozgovým obvodom prepínať sa medzi dvoma odlišnými dopamínovými správami, aby sa učili a motivovali.

Existujú samostatné „fázové“ a „tonické“ dopamínové signály s rôznymi význammi?

Často sa tvrdí, že učebné a motivačné úlohy dopamínu sa vyskytujú v rôznych časových mierkach²⁵, Dopamínové bunky strieľajú nepretržite („tonicky“) rýchlosťou niekoľkých špičiek za sekundu, s občasnými krátkymi („fázovými“) impulzmi alebo prestávkami. Zhluky, najmä ak sú umelo synchronizované naprieč dopamínovými bunkami, vedú k zodpovedajúcemu rýchlemu nárastu dopamínu v prednom mozgu²⁶ ktoré sú vysoko prechodné (trvanie sekundy²⁷). Samostatný príspevok tonických dopamínových buniek k koncentráciám dopamínu v predku je menej jasný. Niektoré dôkazy naznačujú, že tento príspevok je veľmi malý²⁸, Môže stačiť vyvolať takmer nepretržitú stimuláciu receptorov D2 s vyššou afinitou, čo umožní systému zaznamenať krátke pauzy pri odpaľovaní dopamínových buniek.²⁹ a použiť tieto pauzy ako negatívne predikčné chyby.

Mikrodialýza sa často používa na priame meranie hladín dopamínu v prednej časti tela, aj keď s nízkym časovým rozlíšením (typicky spriemerovaním za mnoho minút). Takéto pomalé merania dopamínu môžu byť náročné na presnú súvislosť so správaním. Mikrodialýza dopamínu v nucleus accumbens (NAc; ventrálny / stredný striatum) však vykazuje pozitívnu koreláciu s lokomotorickou aktivitou³⁰ a ďalšie ukazovatele motivácie⁵, To sa všeobecne považuje za to, že dochádza k pomalým („tonickým“) zmenám v koncentrácii dopamínu a že tieto pomalé zmeny prenášajú motivačný signál. Konkrétnejšie, výpočtové modely navrhli, aby tonické hladiny dopamínu sledovali dlhodobú priemernú mieru odmien³¹ - užitočná motivačná premenná pre rozhodnutia o pridelení času a hľadaní potravy. Je potrebné zdôrazniť, že len veľmi málo článkov jasne definuje „tonické“ hladiny dopamínu - zvyčajne iba predpokladajú, že koncentrácia dopamínu sa pomaly mení v priebehu niekoľkominútovej časovej škály mikrodialýzy.

Tento pohľad „fázový dopamín = RPE / učenie, tonický dopamín = motivácia“ však čelí mnohým problémom. Po prvé, neexistuje žiadny priamy dôkaz, že tonické dopamínové bunky sa obvykle menia v pomalých časových mierkach. Sadzby tonických tonov sa nemenia so zmenou motivácie^32,33, Tvrdilo sa, že tonické hladiny dopamínu sa menia v dôsledku meniaceho sa podielu aktívnych dopamínových buniek^34,35, Avšak v mnohých štúdiách na nekrikovaných, nepoškodených zvieratách sa nikdy nezistilo, že by dopamínové bunky prepínali medzi tichým a aktívnym stavom.

Okrem toho skutočnosť, že mikrodialýza meria hladiny dopamínu pomaly, neznamená, že sa hladiny dopamínu skutočne menia pomaly. Nedávno sme¹⁵ skúmali dopamín NAc potkana v úlohe pravdepodobnostnej odmeny za použitia mikrodialýzy a rýchlej skenovacej cyklickej voltametrie. Potvrdili sme, že mezolimbický dopamín, meraný mikrodialýzou, koreluje s mierou odmeňovania (odmeny / min). Avšak aj pri zlepšenom mikrodialyzovanom časovom rozlíšení (1min) dopamín kolísal tak rýchlo, ako sme ho odobrali. Nezistili sme žiaden dôkaz pre prirodzene pomalý dopamínový signál.

Použitím jemnejšieho časového rozlíšenia ešte voltametrie sme pozorovali úzky vzťah medzi fluktuáciami dopamínu a jeho motiváciou za sekundu. Keď potkany vykonávali postupnosť krokov potrebných na dosiahnutie odmien, dopamín stúpal vyššie a vyššie a dosiahol vrchol práve vtedy, keď získal odmenu (a rýchlo klesal, keď ju konzumovali). Ukázali sme, že dopamín silne koreluje s hodnotou okamžitého stavu určenou ako očakávaná budúca odmena, diskontovaná očakávaným časom potrebným na jeho získanie. Táto rýchla dynamika dopamínu môže tiež vysvetliť výsledky mikrodialýzy bez vyvolania samostatných dopamínových signálov v rôznych časových mierkach. Keď zvieratá zažívajú viac odmien, zvyšujú svoje očakávania týkajúce sa budúcich odmien v každom kroku skúšobnej postupnosti. Namiesto pomaly sa vyvíjajúceho signálu priemernej odmeny je korelácia medzi dopamínom a mierou odmeny najlepšie vysvetlená ako priemer týchto rýchlo sa vyvíjajúcich hodnôt stavu v priebehu predĺženého času odberu vzorky mikrodialýzou.

Táto interpretácia hodnoty uvoľňovania mezolimbického dopamínu je v súlade s výsledkami voltametrie z iných výskumných skupín, ktoré opakovane zistili, že uvoľňovanie dopamínu sa zvyšuje s pribúdajúcou odmenou^36-38(Obr. 2). Tento motivačný signál nie je prirodzene „pomalý“, ale skôr ho možno pozorovať v nepretržitom rozsahu časových mierok. Aj keď dopamínové rampy môžu trvať niekoľko sekúnd, keď priblíženie trvá aj niekoľko sekúnd³⁸, odráža to skôr časový priebeh správania ako vnútornú dynamiku dopamínu. Vzťah medzi mezolimbickým uvoľňovaním dopamínu a kolísajúcou hodnotou je viditeľný tak rýchlo, ako to umožňuje technika záznamu, tj na časovom rámci ~ 100ms s elektródami s akútnou voltametriou.¹⁵.

Rýchle fluktuácie dopamínu nie sú iba odrazom motivácie, ale tiež okamžite motivujú motivované správanie. Väčšie fázové reakcie dopamínových buniek na spustenie narážok predpovedajú kratšie reakčné časy v tej istej štúdii³⁹, Optogenetická stimulácia dopamínových buniek VTA zvyšuje pravdepodobnosť, že potkany začnú pracovať v našej úlohe pravdepodobnostnej odmeny¹⁵, akoby očakávali vyššiu odmenu. Optogenetická stimulácia dopamínových neurónov SNc alebo ich axónov v dorzálnom striatu zvyšuje pravdepodobnosť pohybu^40,41, Kriticky sú tieto behaviorálne účinky zjavné do niekoľkých stoviek milisekúnd od začiatku optogenetickej stimulácie. Schopnosť predikčných predikcií zvýšiť motiváciu sa zdá byť sprostredkovaná veľmi rýchlou dopaminergnou moduláciou excitability neurónov NAc ostnatých⁴², Pretože sa dopamín rýchlo mení a tieto dopamínové zmeny ovplyvňujú motiváciu rýchlo, motivačné funkcie dopamínu sa dajú lepšie opísať ako rýchle („fázové“), nie pomalé („tonické“).

Okrem toho vyvolanie samostatnej rýchlej a pomalej časovej stupnice samo o sebe nerieši problém dekódovania, ktorému čelia neuróny s dopamínovými receptormi. Ak dopamín signalizuje učenie, modulácia synaptickej plasticity sa javí ako vhodná bunková odpoveď. Okamžité účinky na motivované správanie však znamenajú okamžité účinky na štípanie - napríklad prostredníctvom rýchlych zmien v excitabilite. Dopamín môže mať obidva tieto postsynaptické účinky (a ďalšie), má teda daná koncentrácia dopamínu konkrétny význam? Alebo je potrebné tento význam skonštruovať - ​​napr. Porovnaním hladín dopamínu v čase alebo použitím iných náhodných signálov na určenie toho, ktoré bunkové mechanizmy sa majú zapojiť? Táto možnosť je uvedená nižšie.

Poskytuje uvoľňovanie dopamínu rovnaké informácie ako pri dopaľovaní dopamínových buniek?

Vzťah medzi rýchlymi fluktuáciami dopamínu a motivačnou hodnotou sa zdá divný, vzhľadom na to, že spaľovanie dopamínových buniek sa podobá RPE. Niektoré štúdie ďalej uvádzajú signály RPE pri uvoľňovaní mezolimbického dopamínu⁴³. Je dôležité si uvedomiť výzvu pri interpretácii niektorých foriem neurálnych údajov. Hodnotové signály a RPE navzájom korelujú - nie je prekvapením, že RPE sa zvyčajne definuje ako zmena hodnoty z jedného okamihu do druhého (RPE s „časovým rozdielom“). Z tohto dôvodu je nevyhnutné použiť experimentálne návrhy a analýzy, ktoré odlišujú hodnotu od účtov RPE. Problém sa zhoršuje, keď sa používa neurálna miera, ktorá sa spolieha skôr na relatívne ako na absolútne zmeny signálu. Voltametrické analýzy zvyčajne porovnávajú dopamín v určitom časovom bode záujmu s „základnou“ epochou skôr v každej štúdii (na odstránenie signálnych zložiek, ktoré nie sú závislé od dopamínu, vrátane nabíjania elektród pri každom prechode napätia a driftu v časovom rozmedzí minút). Ale odčítaním základnej čiary sa môže hodnotový signál podobať signálu RPE. Toto sme pozorovali v našich vlastných údajoch o voltametrii (Obr. 2e). Zmeny v očakávaní odmeny sa odzrkadlili na zmenách koncentrácie dopamínu na začiatku každej štúdie a tieto zmeny sa vynechávajú, ak sa v štúdiách iba predpokladá konštantná základná hodnota.¹⁵. Závery o uvoľňovaní dopamínu a kódovaní RPE je preto potrebné hodnotiť opatrne. Toto nebezpečenstvo interpretácie údajov sa netýka iba voltametrie, ale aj akejkoľvek analýzy, ktorá sa opiera o relatívne zmeny - potenciálne vrátane fMRI a fotometrie.⁴⁴.

Napriek tomu stále potrebujeme zladiť uvoľňovanie dopamínu súvisiaceho s hodnotami v jadre NAc s nepretržitou absenciou hodnotového spikovania dopamínovými neurónmi.¹³, dokonca aj v laterálnej oblasti VTA, ktorá poskytuje dopamín jadru NAc⁴⁵, Jedným z potenciálnych faktorov je to, že dopamínové bunky sa zvyčajne zaznamenávajú u zvierat s obmedzenou hlavou, ktoré vykonávajú klasické kondicionovacie úlohy, zatiaľ čo uvoľňovanie dopamínu sa zvyčajne meria u zvierat bez obmedzenia, ktoré sa aktívne pohybujú svojím prostredím. Navrhli sme, aby mezolimbický dopamín mohol špecificky označovať hodnotu „práce“.¹⁵ - že odráža požiadavku venovať čas a úsilie získaniu odmeny. V súlade s tým sa dopamín zvyšuje so signálmi nariaďujúcimi pohyb, ale nie so signálmi nariaďujúcimi ticho, aj keď naznačujú podobnú budúcu odmenu⁴⁶. Ak - ako pri mnohých klasických úpravných úlohách - nie je prínos pre aktívnu „prácu“, potom môžu byť dopaminergné zmeny naznačujúce hodnotu práce menej zrejmé.

Ešte dôležitejšia môže byť skutočnosť, že uvoľňovanie dopamínu je možné lokálne regulovať na samotných termináloch, a tak vykazovať časopriestorové vzorce nezávislé od rozštiepenia tela tela. Napríklad bazolaterálna amygdala (BLA) môže ovplyvňovať uvoľňovanie dopamínu NAc, aj keď je deaktivovaná VTA.⁴⁷, Naopak, inaktivácia BLA znižuje uvoľňovanie dopamínu NAc a zodpovedajúce motivované správanie, bez toho, aby zjavne ovplyvňovalo vypaľovanie VTA.⁴⁸, Dopamínové terminály majú receptory pre celý rad neurotransmiterov, vrátane glutamátu, opioidov a acetylcholínu. Nikotínové acetylcholínové receptory umožňujú striatálnym cholinergným interneurónom (CIN) rýchlo regulovať uvoľňovanie dopamínu.^49,50, Aj keď sa už dlho uvádza, že lokálna kontrola uvoľňovania dopamínu je potenciálne dôležitá^7,51, nebola zahrnutá do výpočtov dopamínovej funkcie. Navrhujem, aby dynamika uvoľňovania dopamínu súvisiaca s kódovaním hodnoty vznikla prevažne cez miestne kontrola, aj keď spaľovanie dopamínových buniek poskytuje dôležité signály podobné RPE na učenie.

Ako môže dopamín znamenať učenie a motiváciu bez zmätku?

V zásade je hodnotový signál dostatočný aj na prenos RPE, pretože RPE s časovým rozdielom sú jednoducho rýchle zmeny hodnoty (Obrázok 2B). Napríklad odlišné intracelulárne dráhy v cieľových neurónoch môžu byť rôzne citlivé na absolútnu koncentráciu dopamínu (predstavujúca hodnotu) verzus rýchle relatívne zmeny koncentrácie (predstavujúce RPE). Táto schéma sa zdá byť pravdepodobná vzhľadom na komplexnú dopamínovú moduláciu fyziologie ostnatého neurónu⁵² a ich citlivosť na časové vzorce koncentrácie vápnika⁵³, Zdá sa to však tiež trochu zbytočné. Ak už signál RPE podobný pri dopamínových bunkových špičkách existuje, malo by byť možné ho použiť skôr ako opätovné odvodenie RPE z hodnotového signálu.

Na správne použitie odlišných RPE a hodnotových signálov môžu obvody dopamín-príjemca aktívne prepínať, ako interpretujú dopamín. Existujú presvedčivé dôkazy, že acetylcholín môže tiež plniť túto úlohu premeny. V rovnakom čase, keď dopamínové bunky prepaľujú hroty na neočakávané narážky, CIN ukazujú krátke (~ 150ms) prestávky pri streľbe, ktorá nie je v mierke s RPE⁵⁴, Tieto CIN pauzy môžu byť poháňané VTA GABAergickými neurónmi⁵⁵ ako aj „prekvapenie“ spojené bunky v intralaminárnom talame a bolo navrhnuté, aby pôsobili ako signál združovania podporujúci učenie⁵⁶, Morris a Bergman navrhli⁵⁴ že cholinergické pauzy definujú časové okná pre striatálnu plasticitu, počas ktorých sa dopamín môže použiť ako učiaci signál. Plasticita závislá od dopamínu je neustále potláčaná mechanizmami vrátane muskarínových m4 receptorov na striatálnych neurónoch s priamou cestou⁵⁷, Modely intracelulárnej signalizácie naznačujú, že počas pauzy CIN môže neprítomnosť väzby m4 pôsobiť synergicky s fázovými dopamínovými impulzmi na podporu aktivácie PKA.⁵⁸, čím sa podporuje synaptická zmena.

Striatálne cholinergné bunky sú teda dobre umiestnené tak, aby dynamicky menili význam multiplexovanej dopaminergnej správy. Počas prestávok CIN by reliéf muskarínového bloku nad synaptickou plasticitou umožnil použitie dopamínu na učenie. Inokedy by sa uvoľňovanie z dopamínových terminálov lokálne vytvarovalo tak, aby ovplyvnilo pokračujúci behaviorálny výkon. Tento návrh je v súčasnosti špekulatívny a neúplný. Bolo navrhnuté, aby CIN integrovali informácie z mnohých okolitých ostnatých neurónov, aby extrahovali užitočné signály na úrovni siete, ako je entropia.^59,60, Nie je však vôbec jasné, či sa dynamika aktivity CIN môže použiť na generovanie signálov hodnoty dopamínu⁶¹a tiež bráni signálom učenia dopamínu.

Znamená dopamín to isté v prednom mozgu?

Keď sa myšlienka RPE ujala, predstavovalo sa, že dopamín je globálny signál, ktorý vysiela chybové hlásenie v rámci striatálnych a frontálnych kortikálnych cieľov. Schultz zdôraznil, že dopamínové bunky opíc v celej VTA a SNc majú veľmi podobné reakcie⁶², Štúdie identifikovaných dopamínových buniek tiež našli dosť homogénne reakcie podobné RPE u hlodavcov, prinajmenšom pre laterálne neuróny VTA v klasických podmienkach kondicionovania.¹³, Dopamínové bunky sú napriek tomu molekulárne a fyziologicky rozmanité^63-65 a teraz existuje veľa správ o tom, že pri správaní zvierat vykazujú rôzne vzory paľby. Medzi ne patrí postupné zvyšovanie paľby na averzívne udalosti⁶⁶ a spúšťa narážky⁶⁷ ktoré sa zle hodia k štandardnému účtu RPE. Mnoho dopamínových buniek vykazuje počiatočnú krátkodobú odpoveď na senzorické udalosti, ktorá odráža prekvapenie alebo „upozornenie“ viac ako špecifické kódovanie RPE.^68,69, Tento výstražný aspekt je výraznejší v prípade SNc⁶⁹, kde dopamínové bunky vyčnievajú viac na „senzorimotorické“ dorzálne / laterálne striatum (DLS^45,63). Bolo tiež hlásené, že sa zvyšuje populácia dopamínových buniek SNc⁴¹ alebo znížiť⁷⁰ streľba v spojení so spontánnymi pohybmi, dokonca aj bez vonkajších podnetov.

Niekoľko skupín použilo fotometriu vlákna a vápnikový indikátor GCaMP na skúmanie objemovej aktivity subpopulácií dopamínových neurónov^71,72, Dopamínové bunky, ktoré vyčnievajú na dorzálne / stredné striatum (DMS), vykazovali prechodne depresívnu aktivitu k neočakávaným krátkym otrasom, zatiaľ čo tie, ktoré vyčnievali na DLS, vykazovali zvýšenú aktivitu⁷¹- dôslednejšie s výstražnou odpoveďou. Taktiež boli pozorované zreteľné dopaminergné reakcie v rôznych podoblastiach predného mozgu pomocou GCaMP na vyšetrenie aktivity dopamínových axónov a terminálov^40,72,73, Howe a Dombeck používali dvojfotónové zobrazovanie u myší s obmedzenou hlavou⁴⁰ hlásili fázovú dopamínovú aktivitu súvisiacu so spontánnymi pohybmi. Bolo to pozorované predovšetkým u jednotlivých dopamínových axónov zo SNc, ktoré končili dorzálnym striatom, zatiaľ čo dopamínové axóny VTA v NAc reagovali viac na odplatu za doručenie. Iní tiež zistili dopaminergnú aktivitu súvisiacu s odmeňovaním v NAc, pričom DMS namiesto toho viac súvisel s kontralaterálnymi účinkami⁷² a zadný chvost striata reagujúci na averzívne a nové podnety⁷⁴.

Priame merania uvoľňovania dopamínu tiež ukazujú heterogénnosť medzi podoblasťami^30,75, Pri mikrodialýze sme zistili, že dopamín je v korelácii s hodnotou špecificky v jadre NAc a ventrálne mediálnej frontálnej kôre, nie v iných mediálnych častiach striata (NAc shell, DMS) alebo frontálnej kôry. Je to zaujímavé, pretože sa zdá, že dobre mapuje dva „hotspoty“ hodnotového kódovania, ktoré sú dôsledne pozorované v štúdiách humánnych štúdií fMRI.^76,77, Najmä NAc BOLD signál, ktorý má úzky vzťah k dopamínovej signalizácii⁷⁸, rastie s očakávaním odmeny (hodnotou) - viac ako s RPE⁷⁶.

Či tieto priestorové vzorce uvoľňovania dopamínu vychádzajú z pálenia rôznych subpopulácií dopamínových buniek, z lokálnej kontroly uvoľňovania dopamínu alebo z obidvoch, spochybňujú myšlienku globálnej dopamínovej správy. Dalo by sa usúdiť, že existuje veľa rôznych dopamínových funkcií, napríklad (napríklad) dopamín v signalizácii „pohybového dorzálneho striatum“ a dopamín v signalizácii „ventrálneho striatum“ „odmena“.⁴⁰, Podporujem však iný koncepčný prístup. Rôzne striatálne podoblasti získavajú vstupy z rôznych kortikálnych oblastí, a preto budú spracovávať rôzne typy informácií. Napriek tomu každý striatálny subregión zdieľa spoločnú mikroobvodovú architektúru vrátane samostatných ostnatých neurónov D1 verzus D2-receptor⁷⁹, CIN atď. Aj keď je bežné odkazovať na rôzne striatálne podoblasti (napr. DLS, DMS, jadro NAc), akoby išlo o diskrétne oblasti, medzi nimi nie sú žiadne ostré anatomické hranice (ulita NAc je trochu neurochemicky odlišnejšia). Namiesto toho existujú iba mierne gradienty v hustote receptorov, interneurónových pomeroch atď., Ktoré sa zdajú skôr ako vylepšenia parametrov zdieľaného výpočtového algoritmu. Môžeme s ohľadom na túto spoločnú architektúru opísať spoločnú dopamínovú funkciu, ktorá sa oddeľuje od konkrétnych informácií, ktoré spracováva každý subregión?

Striatálny dopamín a pridelenie obmedzených zdrojov.

Navrhujem, že rôzne rozdielne dopamínové účinky na pokračujúce správanie možno chápať ako moduláciu rozhodnutia o pridelení zdrojov, Konkrétne dopamín poskytuje odhady, aké užitočné je vynaložiť obmedzený vnútorný zdroj, pričom konkrétny zdroj sa líši medzi striatálnymi podoblasťami. V prípade „motorického“ striata (~ DLS) je zdrojom pohyb, ktorý je obmedzený, pretože pohyb nákladov stojí energiu a pretože mnohé akcie sú navzájom nekompatibilné⁸⁰, Zvýšenie dopamínu zvyšuje pravdepodobnosť, že zviera rozhodne, že stojí za to vynaložiť energiu na pohyb alebo rýchlejšie^6,40,81, Všimnite si, že dopamínový signál, ktorý kóduje „pohyb má zmysel“, vytvorí korelácie medzi dopamínom a pohybom, dokonca aj bez dopamínového „pohybu“. sama o sebe.

Pre „kognitívne“ striatum (~ DMS) sú zdrojmi kognitívne procesy vrátane pozornosti (čo je podľa definície obmedzená kapacita)⁸²) a pracovnej pamäte⁸³, Bez dopamínu sa zanedbávajú výrazné vonkajšie narážky, ktoré normálne vyvolávajú orientačné pohyby, akoby sa považovali za menej hodné pozornosti³, Okrem toho je úmyselné zhromažďovanie kognitívnych kontrolných procesov náročné (nákladné⁸⁴). Dopamín - najmä v DMS⁸⁵ - hrá kľúčovú úlohu pri rozhodovaní o tom, či je potrebné vynaložiť toto úsilie^86,87, To môže zahŕňať, či sa majú použiť kognitívne náročné a premyslenejšie („založené na modeloch“) stratégie rozhodovania⁸⁸.

Pre „motivačný“ striatum (~ NAc) môže byť kľúčovým obmedzeným zdrojom čas zvieraťa. Mezolimbický dopamín sa nevyžaduje, ak zvieratá vykonávajú jednoduché a pevné kroky na rýchle získanie odmien⁸⁹, Mnohé formy odmien však možno získať iba dlhodobou prácou: predĺženými postupmi bez odmeny, napríklad pri hľadaní potravy. Ak sa rozhodnete pre prácu, znamená to, že sa musia upustiť od iných výhodných spôsobov trávenia času. Vysoký mezolimbický dopamín naznačuje, že zapojenie sa do dočasne dlhej a namáhavej práce je užitočné, ale keďže dopamín je znížený, zvieratá sa neobťažujú a namiesto toho sa môžu pripraviť na spánok.⁹⁰.

V každom cykle kortiko-striatálneho cyklu je teda dopamínový príspevok k pokračujúcemu správaniu tak ekonomický (týka sa prideľovania zdrojov), ako aj motivačný (či už je to hodnotný vynaložiť zdroje⁸¹). Tieto obvody nie sú úplne nezávislé, ale majú hierarchickú špirálovitú organizáciu: viac ventrálnych častí striata ovplyvňuje dopamínové bunky, ktoré vyčnievajú na viac dorzálnych častí.^5,91. Týmto spôsobom môžu rozhodnutia o práci tiež pomôcť oživiť požadované špecifické, rýchlejšie pohyby. Ale celkovo dopamín poskytuje skôr „aktivačné“ signály - čím zvyšuje pravdepodobnosť, že sa urobí nejaké rozhodnutie - skôr ako „smerové“ signály špecifikujúce ako zdroje by sa mali minúť⁵.

Aká je výpočtová úloha dopamínu pri rozhodovaní?

Jedným zo spôsobov premýšľania o tejto aktivačnej úlohe je z hľadiska „prahov“ rozhodovania. V niektorých matematických modeloch sa rozhodovacie procesy zvyšujú, až kým nedosiahnu prahovú úroveň, keď sa systém stane odhodlaný konať⁹², Vyšší dopamín by zodpovedal nižšej medznej vzdialenosti, aby sa rozhodnutia prijímali rýchlejšie. Táto myšlienka je zjednodušená, napriek tomu vytvára kvantitatívne predpovede, ktoré sa potvrdili. Zníženie prahov pre pohyb by spôsobilo špecifickú zmenu tvaru distribúcie reakčného času, presne to, čo sa pozoruje, keď sa amfetamín podáva infúziou do senzimotorického striata.²⁰.

Namiesto pevných prahových hodnôt sa údaje o správaní a nervové údaje môžu lepšie hodiť, ak sa prahové hodnoty v priebehu času znižujú, ako keby rozhodnutia boli čoraz naliehavejšie. Výstup bazálnych ganglií bol navrhnutý tak, aby poskytoval dynamicky sa vyvíjajúci naliehavý signál, ktorý posilňuje mechanizmy výberu v kôre.⁹³, Naliehavosť bola tiež väčšia, keď boli budúce odmeny bližšie v čase, vďaka čomu bol tento koncept podobný hodnotovému kódovaniu, aktivačnej úlohe dopamínu.

Je takáto aktivačná úloha dostatočná na opísanie účinkov modulujúcich výkon striatálneho dopamínu? Súvisí to s dlhoročnou otázkou, či obvody bazálnych ganglií priamo vyberajú spomedzi naučených akcií⁸⁰ alebo iba povzbudiť výber, ktorý sa urobil inde^93,94, Zdá sa, že dopamín môže mať viac „smerový“ účinok najmenej dvoma spôsobmi. Prvým je, keď dopamín pôsobí v mozgovom subregióne, ktorý spracováva inherentne smerové informácie. Obvody bazálnych ganglií majú dôležitú, čiastočne lateralizovanú úlohu, ktorá sa zameriava na potenciálne výhody a blíži sa k nim. Kaudát primátov (~ DMS) sa podieľa na pohybe očí smerom k kontralaterálnym priestorovým poliam⁹⁵, Dopaminergný signál, že niečo v kontralaterálnom priestore stojí za orientáciu, môže zodpovedať pozorovanej korelácii medzi dopaminergnou aktivitou v DMS a kontralaterálnymi pohybmi.⁷², ako aj rotačné správanie spôsobené dopamínovými manipuláciami⁹⁶, Druhý „smerový“ vplyv dopamínu je zrejmý, keď (dvojstranné) dopamínové lézie skreslujú potkany smerom k voľbám s nízkou námahou / nízkou odmenou, skôr ako s alternatívami s veľkou námahou / vysokou odmenou.⁹⁷, Môže to odrážať skutočnosť, že niektoré rozhodnutia sú sériovejšie ako paralelné, pričom potkany (a ľudia) hodnotia možnosti naraz.⁹⁸, V týchto rozhodovacích kontextoch môže dopamín stále platiť zásadne aktivačnú úlohu tým, že sprostredkuje hodnotu práve zvažovanej možnosti, ktorú potom možno prijať alebo nie.²⁴.

Aktívne zvieratá sa rozhodujú na viacerých úrovniach, často vo vysokej miere. Okrem premýšľania o individuálnych rozhodnutiach môže byť užitočné zvážiť celkovú trajektóriu prostredníctvom sledu stavov (Obr. 1). Uľahčením prechodu z jedného stavu do nasledujúceho môže dopamín urýchliť tok pozdĺž naučených trajektórií⁹⁹, Môže to súvisieť s dôležitým vplyvom dopamínu na načasovanie správania^44,100, Jednou z kľúčových hraníc pre budúcu prácu je získať hlbšie pochopenie toho, ako takéto dopamínové účinky na prebiehajúce správanie vznikajú mechanisticky, a to zmenou spracovania informácií v rámci jednotlivých buniek, mikroobvodov a rozsiahlych kortikál-bazálnych slučiek ganglií. Zdôraznil som tiež spoločné výpočtové úlohy dopamínu v celom rade striatálnych cieľov, ale do značnej miery zanedbávané kortikálne ciele, a je potrebné zistiť, či je možné dopamínové funkcie v oboch štruktúrach opísať v rovnakom rámci.

V súhrneprimeraný opis dopamínu by vysvetlil, ako môže dopamín signalizovať učenie a motiváciu v rovnakých rýchlych časových mierkach bez zámeny. Vysvetlilo by to, prečo sa uvoľňovanie dopamínu v kľúčových cieľových skupinách očakáva s odmenou, aj keď to nie je spaľovanie dopamínových buniek. Poskytlo by to jednotný výpočetný výpočet dopamínových akcií po celom striatume a inde, čo vysvetľuje rôzne behaviorálne účinky na pohyb, poznanie a načasovanie. Niektoré tu predstavené konkrétne nápady sú špekulatívne, ich cieľom je však oživiť obnovenú diskusiu, modelovanie a nové experimenty.

Poďakovanie.

Referencie: