Mit jelent a dopamin? (2018)

Absztrakt

Jelzi-e a dopamin a tanulást, a motivációt vagy mindkettőt?

A dopaminról alkotott megértésünk a múltban megváltozott, és ismét megváltozik. Az egyik kritikus különbség a dopamin hatása a jelenlegi viselkedés (teljesítmény) és dopamin hatások a jövő viselkedés (tanulás). Mindkettő valódi és fontos, ám különféle esetekben az egyik támogatta, a másik nem.

Amikor (az '70-ekben) lehetővé vált a dopamin útvonal szelektív, teljes elváltozásainak végrehajtása, a nyilvánvaló viselkedési következménye a mozgás súlyos csökkenése volt.¹. Ez illeszkedik az előrehaladott Parkinson-kór, toxikus gyógyszerek vagy encephalitis által kiváltott dopamin veszteség akinetikus hatásaihoz². Ennek ellenére sem a patkányok, sem az emberek nem mutatnak alapvető mozgásképtelenséget. A dopaminnal sérült patkányok hideg vízben úsznak³, és az akinetikus betegek felkelhetnek és elfuthatnak, ha tűzriasztás szólal meg („paradox” kinesia). Ugyancsak nincs alapvető hiány a jutalmak megítélésében: a dopaminnal sérült patkányok a szájukba helyezett ételt fogyasztanak, és jeleit mutatják, hogy élvezik azt.⁴. Inkább nem úgy döntenek, hogy erőfeszítéseket tesznek a jutalom aktív megszerzése érdekében. Ezek és sok más eredmény alapvető kapcsolatot teremtett a dopamin és a motiváció között⁵. Még a Parkinson-kór kevésbé súlyos eseteiben megfigyelt mozgás is motivációs hiánynak tekinthető, amely tükrözi a hallgatólagos döntéseket, miszerint nem érdemes a gyorsabb mozgásokhoz szükséges energiát költeni.⁶.

Aztán (az '80-ekben) úttörő módon rögzítették a dopamin idegsejteket viselkedő majmokban (az agy középső részén, amely az előtétet tervezi: ventrális testmentális terület, VTA /rodia nigra pars compacta, SNc). A megfigyelt tüzelési minták között szerepelnek az azonnali mozgások ingerjei az azonnali mozgások kiváltására. Ezt a „fázisos” dopaminégetést kezdetben úgy értelmezték, hogy támogatja a „viselkedésbeli aktivációt”⁷ és „motivációs izgalom”⁸ - más szavakkal, mint az állat jelenlegi viselkedésének élénkítése.

Radikális eltolódás történt az '90-ekben, a fázisos dopamin-törések újraértelmezésével kódolásként jutalom-előrejelzési hibák (RPEs⁹). Ez egy kulcsfontosságú megfigyelésen alapult: a dopamin sejtek reagálnak a jövőbeli jutalomhoz kapcsolódó váratlan ingerekre, de gyakran nem reagálnak, ha ezek az ingerek várhatóan válik¹⁰. Az RPE ötlet a korábbi tanulási elméletekből származik, és különösen a megerősítéses tanulás akkoriban fejlődő számítógépes tudomány területén¹¹. Az RPE jel lényege, hogy frissítse értékek(a jövőbeli jutalmak becslései). Ezek az értékek később kerülnek felhasználásra, hogy megkönnyítsék a jutalom maximalizálását. Mivel a dopamin sejtek égetése az RPE-khez hasonlított, és az RPE-ket a tanuláshoz használták, természetesvé vált a dopamin szerepének hangsúlyozása a tanulásban. A későbbi optogenetikus manipulációk megerősítették az RPE-kódoló sejtek dopaminerg identitását^12,13 és megmutatta, hogy valóban modulálják a tanulást^14,15.

Az a gondolat, hogy a dopamin tanulási jelet szolgáltat, jól illeszkedik az irodalomhoz, amely szerint a dopamin modulálja a szinaptikus plaszticitást a striatumban, a dopamin elsődleges elülső célpontjában. Például a striatális dendrit gerinc glutamát stimulációjának hármas egybeesése, a postsynaptic depolarizáció és a dopamin felszabadulás miatt a gerinc növekedni fog¹⁶. A hosszú távú tanulási mechanizmusok dopaminerg modulációja megmagyarázza az addiktív gyógyszerek tartós viselkedésbeli hatásait, amelyek megosztják a striatális dopamin felszabadulás fokozásának tulajdonságát¹⁷. Még a dopamin veszteséggel járó mély akineziát részben meg lehet magyarázni az ilyen tanulási mechanizmusok révén¹⁸. A dopamin hiányát folyamatosan negatív RPE-ként lehet kezelni, amely fokozatosan nulla értékre frissíti az akcióértékeket. Hasonló, progresszív, kihalási szerű hatást gyakorolhat a dopamin antagonisták^19,20.

Mégsem ment el soha az az elképzelés, hogy a dopamin kritikusan részt vesz a folyamatos motivációban - éppen ellenkezőleg, a magatartási idegtudósok széles körben természetesnek veszik. Ez helyénvaló, ha megalapozott bizonyíték van arra, hogy a motivációban / mozgásban / élénkítésben a dopamin funkciók elválaszthatók a tanulástól^15,20-23. Kevésbé értékelik azt a kihívást, hogy összekapcsoljuk ezt a motivációs szerepet azzal az elmélettel, hogy a DA RPE tanulási jelet nyújt.

A „előretekintés” motiváció: a jövőbeli jutalom (értékek) előrejelzéseit használja a jelenlegi viselkedés megfelelő energiájának energiájához. Ezzel szemben a tanulás „visszafelé néz” a közelmúlt állapotaira és tetteire, és frissíti azok értékeit. Ezek egy ciklus kiegészítő fázisai: a frissített értékek felhasználhatók a későbbi döntéshozatalban, ha ezekkel az állapotokkal újra találkoznak, majd ismét frissítik és így tovább. De a ciklus melyik szakaszában vesz részt a dopamin - értékek felhasználása döntések meghozatalához (teljesítmény), vagy értékek frissítése (tanulás)?

Bizonyos körülmények között egyértelmű elképzelni, hogy a dopamin mindkét szerepet egyszerre játssza.²⁴A váratlan, jutalom-előrejelző jelek azok a archetipikus események, amelyek a dopamin-sejtek égetésének és felszabadításának kiváltására hivatkoznak, és ezek a jelek általában mind viselkedést serkentenek, mind pedig tanulást idéznek elő (Ábra 1). Ebben a sajátos helyzetben a jutalom-előrejelzés és a jutalom-előrejelzési hibák egyaránt növekednek - de ez nem mindig így van. Csak egy példaként: az embereket és más állatokat gyakran ösztönzik arra, hogy jutalomért dolgozzanak akkor is, ha kevés vagy semmi meglepő nem történik. Lehet, hogy egyre keményebben dolgoznak, amikor egyre közelebb kerülnek a jutalomhoz (az érték növekszik, ha a jutalmak közelednek). A lényeg az, hogy a tanulás és a motiváció fogalmi, számítási és viselkedési szempontból megkülönböztethető - és úgy tűnik, hogy a dopamin mindkettőt megteszi.

Az alábbiakban kritikusan értékelem a jelenlegi ötleteket arról, hogy a dopamin miként képes elérni mind a tanulást, mind a motivációs funkciókat. Javaslom egy frissített modellt, amely három alapvető tényen alapul: 1) a dopamin felszabadulása a terminálokból nem pusztán a dopamin sejt égetéséből származik, hanem lokálisan is szabályozható; Az 2) a dopamin befolyásolja mind a célsejtek szinaptikus plaszticitását, mind az ingerlékenységet, külön hatással van a tanulásra és a teljesítményre; Az 3) dopamin plaszticitás hatását a közeli áramköri elemek be- és kikapcsolhatják. Ezek a tulajdonságok együttesen lehetővé teszik az agyi körök közötti váltást két különálló dopamin üzenet között, a tanulás és a motiváció érdekében.

Van-e különálló „fázisos” és „tonikus” dopamin jelek, eltérő jelentéssel?

Gyakran azt állítják, hogy a dopamin tanulási és motivációs szerepei különböző idő skálán fordulnak elő²⁵. A dopaminsejtek folyamatosan („hangosan”) tüzelnek másodpercenként néhány tüskén, alkalmi rövid („fázisos”) robbantásokkal vagy szünetekkel. A bursztok, különösen ha a dopamin sejteket mesterségesen szinkronizálják, az előagy dopaminjának megfelelő gyors növekedését idézik elő²⁶ amelyek nagyon átmeneti jellegűek (másodperc szubjektum²⁷). A tonikus dopamin sejtek égetése külön-külön hozzájárul az előagy dopamin koncentrációjához kevésbé egyértelmű. Bizonyos bizonyítékok szerint ez a hozzájárulás nagyon kicsi²⁸. Elegendő lehet a magasabb affinitású D2 receptorok szinte folyamatos stimulálása, lehetővé téve a rendszernek, hogy rövid szünetet észleljen a dopamin sejtek égetése során.²⁹ és használja ezeket a szüneteket negatív előrejelzési hibákként.

A mikrodialízist széles körben használják az elülsõ agy dopamin szintjének közvetlen mérésére, bár alacsony idõbeli felbontással (általában átlagolva több perc alatt). A dopamin ilyen lassú mérése kihívást jelenthet, hogy pontosan kapcsolódjon a viselkedéshez. Ennek ellenére a dopamin mikrodialízise a nucleus activumban (NAc; ventralis / medialis striatum) pozitív korrelációt mutat a mozgásszervi aktivitással kapcsolatban³⁰ és más motivációs mutatók⁵. Ezt széles körben azt értik, hogy a dopamin koncentrációban lassú („tonizáló”) változások történnek, és hogy ezek a lassú változások motivációs jelet közvetítenek. Pontosabban, a számítási modellek azt sugallták, hogy a tonikus dopamin szint a hosszú távú átlagos jutalom mértékét követi nyomon³¹ - hasznos motivációs változó az időosztáshoz és a döntéshozatalhoz. Érdemes hangsúlyozni, hogy nagyon kevés tanulmány határozza meg egyértelműen a „tónusos” dopaminszintet - általában csak azt feltételezik, hogy a dopamin koncentrációja lassan változik a mikrodialízis többperces időskálája alatt.

Ennek a „fázisos dopamin = RPE / tanulás, tonizáló dopamin = motiváció” nézetnek azonban számos problémája van. Először is, nincs közvetlen bizonyíték arra, hogy a tonikus dopaminsejtek égetése általában lassú időtartamban változik. A hangos égetési sebesség nem változik a motiváció megváltozásával^32,33. Azt állították, hogy a tonikus dopamin szint megváltozik az aktív dopamin sejtek változó aránya miatt^34,35. De a nem gyógyszeres, nem állatlan állatokkal végzett számos vizsgálatban a dopamin sejtekről soha nem számoltak be, hogy a csendes és aktív állapotok között váltsanak.

Ezenkívül az a tény, hogy a mikrodialízis lassan méri a dopamin szintet, nem jelenti azt, hogy a dopamin szint valóban lassan változik. Nemrégiben¹⁵ megvizsgálta a patkány NAc dopamint egy valószínűségi jutalom feladatban, mind mikrodialízis, mind gyors letapogatású ciklikus voltammetria alkalmazásával. Megállapítottuk, hogy a mezolimbikus dopamin mikrodialízissel mérve korrelál a jutalom mértékével (jutalom / perc). A dopamin azonban még a továbbfejlesztett mikrodialízis (1min) időbeli felbontása mellett is olyan gyorsan ingadozott, ahogyan a mintát vettük: nem találtunk bizonyítékot eredendően lassú dopamin szignálra.

A voltammetria finomabb ideiglenes felbontása alapján szoros összefüggést tapasztaltunk a másodperc dopamin ingadozások és a motiváció között. Ahogyan a patkányok elvégezték a jutalom eléréséhez szükséges műveletsort, a dopamin egyre magasabbra emelkedett, és elérte a csúcspontot, amikor megszerezték a jutalmat (és gyorsan csökkentek, amikor elfogyasztották). Megmutattuk, hogy a dopamin szorosan korrelált a pillanatnyi állapotértékkel - amelyet a várható jövőbeli jutalom határoz meg, diszkontálva a megszerzéséhez várható idővel. Ez a gyors dopamin-dinamika megmagyarázhatja a mikrodialízis eredményeit anélkül, hogy különálló dopamin szignálokat hívna fel különböző időrendben. Mivel az állatok több jutalmat tapasztalnak, növelik a jövőbeli jutalmakkal kapcsolatos elvárásaikat a kísérleti sorozat minden egyes lépésében. A lassan fejlődő átlagos jutalom mértéke helyett a dopamin és a jutalom mértéke közötti összefüggést lehet a legjobban ezen gyorsan fejlődő állapotértékek átlagával magyarázni a mikrodialízis-mintagyűjtés hosszabb ideje alatt.

A mezolimbikus dopamin felszabadulásnak ez az értelmezése összhangban áll más kutatócsoportok voltammetriai eredményeivel, akik többször megfigyelték, hogy a dopamin felszabadulása növekszik a jutalomhoz való közelség növekedésével^36-38(Ábra 2). Ez a motivációs jel nem önmagában „lassú”, hanem megfigyelhető egy folyamatos időskálán. Bár a dopamin rámpái néhány másodpercig tarthatnak, amikor a megközelítési viselkedés több másodpercig is tart³⁸, ez inkább a viselkedés időbeli lefolyását tükrözi, mint a belső dopamin-dinamikát. A mezolimbikus dopamin felszabadulás és a ingadozó érték közötti kapcsolat olyan gyorsan látható, ameddig a rögzítési technika lehetővé teszi, azaz ~ 100ms időtartamon akut voltammetriai elektródákkal¹⁵.

A dopamin gyors ingadozása nemcsak a motivációt tükrözi, hanem a motivált viselkedést is azonnal vezérli. A dopamin sejtek nagyobb szakaszos reakciói, amelyek kiváltják a jeleket, rövidebb reakcióidőket jósolnak ugyanabban a kísérletben³⁹. A VTA dopamin sejtek optogenetikus stimulációja révén a patkányok nagyobb valószínűséggel kezdik meg a munkát valószínűségi jutalom feladatunkban¹⁵, mintha nagyobb elvárásuk lenne a jutalomért. Az SNc dopamin idegsejtek vagy azok axonjai optogenetikus stimulációja a hátsó striatumban, növeli a mozgás valószínűségét^40,41. Kritikai szempontból ezek a viselkedési hatások az optogenetikus stimuláció kezdetétől számított néhány száz milliszekundum alatt nyilvánvalóak. A jutalom-prediktív jelzések motiváció fokozására való képességét úgy tűnik, hogy a NAc tüskés idegsejtjeinek ingerlékenységének nagyon gyors dopaminerg modulációja közvetíti⁴². Mivel a dopamin gyorsan változik, és ezek a dopamin változások gyorsan befolyásolják a motivációt, a dopamin motivációs funkcióit jobban lehet leírni, mint gyors („fázisos”), nem pedig lassú („tonizáló”).

Ezenkívül a különálló gyors és lassú időskálák meghívása önmagában nem oldja meg a dopaminreceptorokkal rendelkező neuronok dekódolási problémáját. Ha a dopamin jelzi a tanulást, a szinaptikus plaszticitás modulálása megfelelő sejtválasznak tűnik. De a motivált viselkedésre gyakorolt ​​azonnali hatás a spikelésre is hatással van - például az ingerlékenység gyors változásával. A dopaminnak mindkét posztszinaptikus hatása lehet (és még több is), tehát van-e egy adott dopamin-koncentrációnak konkrét jelentése? Vagy fel kell építeni ezt az értelmet - például a dopaminszintek időbeli összehasonlításával, vagy más egybeeső jelek segítségével annak meghatározására, hogy melyik sejtmechanizmus kapcsolódjon be? Ezt a lehetőséget az alábbiakban tárgyaljuk.

A dopamin felszabadulása ugyanazt az információt közvetíti-e, mint a dopamin sejt égetés?

Különösnek tűnik a kapcsolat a dopamin gyors ingadozása és a motivációs érték között, mivel a dopamin sejtek égetése inkább az RPE-re hasonlít. Ezenkívül néhány vizsgálat beszámolt az RPE szignálokról a mezolimbikus dopamin felszabadulásban⁴³. Fontos megjegyezni egy kihívást a neurális adatok egyes formáinak értelmezésében. Az értékjelek és az RPE-k korrelálnak egymással - nem meglepő, hogy az RPE-t általában az egyik pillanatról a másikra bekövetkező értékváltozásként definiálják („időbeli különbség” RPE). Ezen összefüggés miatt kritikus fontosságú olyan kísérleti terveket és elemzéseket használni, amelyek megkülönböztetik az értéket az RPE-számláktól. A probléma súlyosbodik, ha olyan neurális mértéket alkalmazunk, amely a relatív, nem pedig abszolút jelváltozásokra támaszkodik. A voltammetriás elemzések általában összehasonlítják a dopamint valamilyen érdekes időpontban az egyes vizsgálatok korábbi „alapvonalának” korszakával (a nem dopamintól független jelkomponensek eltávolítása érdekében, ideértve az egyes feszültségek söpörésénél az elektróda töltését és a percek skáláját). De levonva egy alapvonalat, az értékjel RPE jelre hasonlíthat. Ezt figyeltük meg saját voltammetriai adatainkban (2e). A jutalomvárakozásban bekövetkezett változások tükröződtek a dopamin-koncentráció változásában az egyes vizsgálatok elején, és ezeket a változásokat ki kell hagyni, ha csak egy állandó kiindulási alapot feltételeznek a vizsgálatok során¹⁵. A dopamin-felszabadítással és az RPE-kódolással kapcsolatos következtetéseket tehát óvatosan kell vizsgálni. Ez az adatértelmezési veszély nemcsak a voltammetriára vonatkozik, hanem minden olyan elemzésre, amely relatív változásokra támaszkodik - potenciálisan beleértve az fMRI-t és a fotometriát⁴⁴.

Ennek ellenére továbbra is össze kell egyeztetnünk az értékfüggő dopamin felszabadulást a NAc magban azzal, hogy a dopamin idegsejtekben nem következik be az értékkel összefüggő kimutatás¹³, még az oldalsó VTA területén is, amely dopamint szolgáltat a NAc magjához⁴⁵. Az egyik potenciális tényező, hogy a dopaminsejteket általában klasszikus kondicionáló feladatokat ellátó, fejfedő állatokban regisztrálják, míg a dopamin felszabadulást általában a környezetükben aktívan mozgó korlátozás nélküli állatokban mérik. Azt javasoltuk, hogy a mezolimbikus dopamin kifejezetten jelezze a „munka” értékét¹⁵ - hogy ez tükrözi a jutalom megszerzéséhez szükséges idő és erőfeszítéseket. Ezzel összhangban a dopamin a mozgást utasító jelekkel növekszik, de a csendet utasító jelekkel még akkor sem, ha hasonló jövőbeni jutalmat jeleznek⁴⁶. Ha - mint sok klasszikus kondicionáló feladat esetében - nincs előnye az aktív „munkának”, akkor a munka értékét jelző dopaminerg változások kevésbé nyilvánvalóak lehetnek.

Még ennél is fontosabb lehet az a tény, hogy a dopamin felszabadulást maguk a terminálok helyileg szabályozhatók, és így térbeli-időbeli mintákat mutatnak, függetlenül a sejttest felpattanásától. Például a bazolaterális amygdala (BLA) befolyásolhatja a NAc dopamin felszabadulását akkor is, ha a VTA inaktiválva van⁴⁷. Ezzel szemben a BLA inaktiválása csökkenti a NAc dopamin felszabadulását és a megfelelő motivált viselkedést anélkül, hogy látszólag befolyásolná a VTA égetését⁴⁸. A dopamin terminálisok receptorok számos neurotranszmitter számára, ideértve a glutamátot, az opioidokat és az acetilkolint. A nikotin-acetilkolin receptorok lehetővé teszik a striatális kolinerg interneuronok (CIN-ek) számára a dopamin felszabadulás gyors szabályozását^49,50. Bár régóta megjegyezték, hogy a dopamin felszabadulás helyi szabályozása potenciálisan fontos^7,51, nem vették figyelembe a dopamin funkció számításos elszámolásaiban. Javaslom, hogy az értékkódolással kapcsolatos dopamin felszabadulási dinamika nagyrészt a felmerüléseken keresztül alakuljon ki helyi a kontroll, még akkor is, ha a dopamin sejtek égetése fontos RPE-szerű jeleket szolgáltat a tanuláshoz.

Hogyan jelentheti a dopamin a tanulást és a motivációt félreértés nélkül?

Alapvetően egy értékjel elegendő az RPE továbbításához, mivel az időbeli különbségű RPE egyszerűen az érték gyors változása (2B). Például, a megkülönböztetett intracelluláris utak a cél idegsejtekben eltérően érzékenyek lehetnek a dopamin abszolút koncentrációjára (az értéket képviselik), szemben a koncentráció gyors relatív változásaival (képviselik az RPE-t). Ez a séma valószínűnek tűnik, figyelembe véve a tüskés idegsejtek fiziológiájának komplex dopamin modulációját⁵² és a kalciumkoncentráció időbeli mintáira való érzékenysége⁵³. De ez szintén kissé feleslegesnek tűnik. Ha egy RPE-szerű jel már létezik a dopamin-sejt spikingben, akkor lehetõvé kell tenni annak használatát, és nem az RPE értékjelbõl való újbóli származtatását.

A különálló RPE és értékjelek megfelelő felhasználásához a dopamin-vevő áramkörök aktívan válthatják a dopamin értelmezésének módját. Érdekes bizonyítékok vannak arra, hogy az acetilkolin ezt a váltó szerepet is szolgálhatja. Ugyanakkor, amikor a dopamin-sejtek tüskék szivárognak váratlan jelekre, a CIN-ek röviden mutatnak (~ 150ms) szünetek tüzelés közben, amelyek nem képesek méretezni az RPE-kkel⁵⁴. Ezeket a CIN-szüneteket a VTA GABAerg neuronok vezethetik⁵⁵ valamint a „meglepetéssel” kapcsolatos sejtek az intralamináris thalamusban, és javasolták, hogy mint asszociációs jel szolgáljanak a tanulás elősegítésére⁵⁶. Morris és Bergman javasolta⁵⁴ hogy a kolinerg szünetek meghatározzák a striatális plaszticitás időbeli ablakait, amelynek során a dopamin felhasználható tanulási jelként. A dopaminfüggő plaszticitást folyamatosan elnyomják olyan mechanizmusok, beleértve a muszkarin m4 receptorokat, amelyek közvetlen útvonal striatális idegsejteken működnek⁵⁷. Az intracelluláris jelátvitel modelljei azt sugallják, hogy a CIN-szünetek alatt az m4-kötés hiánya szinergikusan hathat a fázisos dopaminszorításokkal a PKA-aktiváció fokozására.⁵⁸, ezáltal elősegítve a szinaptikus változást.

A striatalis kolinerg sejtek tehát megfelelő helyzetben vannak, hogy a multiplexált dopaminerg üzenet jelentését dinamikusan megváltoztassák. A CIN-szünetek alatt a muszkarin blokk enyhítése a szinaptikus plaszticitással lehetővé tenné a dopamin felhasználását a tanuláshoz. Más esetekben a dopamin terminálokról való felszabadulás helyben kialakulna, hogy befolyásolja a folyamatos viselkedési teljesítményt. Jelenleg ez a javaslat spekulatív és hiányos. Javasolták, hogy a CIN-k integrálják az információkat számos környező tüskés idegsejtből, hogy hasznos hálózati szintű jeleket, például entrópiát nyerjenek ki.^59,60. De egyáltalán nem világos, hogy a CIN aktivitási dinamikája felhasználható-e a dopamin értékjelek generálására⁶¹, valamint a dopamin tanulási jeleinek átadására.

A dopamin ugyanazt jelenti-e az egész agyban?

Az RPE ötletének tartásakor elképzelhető volt, hogy a dopamin globális jel, amely hibaüzenetet közvetít az egész striatális és elülső kortikális célpontokban. Schultz hangsúlyozta, hogy a majom-dopamin sejtek a VTA-ban és az SNc-ben nagyon hasonló válaszokat mutatnak⁶². Az azonosított dopaminsejtek vizsgálata során meglehetősen homogén RPE-szerű választ találtak rágcsálókban, legalábbis az oldalsó VTA idegsejtek esetében a klasszikus kondicionáló körülmények között¹³. A dopamin sejtek azonban molekulárisan és élettanilag változatosak^63-65 és manapság számos jelentés szerint különböző viselkedésbeli lövöldözős mintákat mutatnak viselkedő állatokban. Ide tartoznak a riasztó események tüzelésének fokozatos növekedése⁶⁶ és indító jelzéseket⁶⁷ amelyek rosszul illenek a szokásos RPE fiókhoz. Sok dopamin sejt kezdeti rövid késleltetési reakciót mutat az érzékszervi eseményekre, amely inkább a meglepetést vagy a „riasztást” tükrözi, mint a specifikus RPE kódolás^68,69. Ez a riasztási szempont jobban megfigyelhető az SNc-ben⁶⁹, ahol a dopamin sejtek jobban kihúzódnak az „érzékelőmotor” hátsó / oldalsó striatumba (DLS^45,63). Az SNc dopamin sejtek alpopulációiról szintén számottevően nőtt⁴¹ vagy csökken⁷⁰ tüzelés spontán mozgásokkal együtt, külső jelek nélkül is.

Számos csoport használt rostfotometriát és a GCaMP kalcium mutatót a dopamin neuronok alpopulációinak tömeges aktivitásának vizsgálatához.^71,72. A dorsalis / medialis striatumba (DMS) kinyúló dopamin sejtek átmenetileg depresszív aktivitást mutattak váratlan rövid sokkokra, míg a DLS-re vetítõ sejtek fokozott aktivitást mutattak.⁷¹- jobban megfelel a riasztó válasznak. Különböző dopaminerg reakciókat figyeltek meg az előagy különböző alrégióiban is a GCaMP alkalmazásával a dopamin axonok és terminálisok aktivitásának vizsgálatára.^40,72,73. Két fotonos képalkotás fejfedéses egerekben, Howe és Dombeck⁴⁰ a spontán mozgásokhoz kapcsolódó fázisos dopamin aktivitásról számoltak be. Ez elsősorban az SNc egyes dopamin axonjain volt megfigyelhető, amelyek a hátsó striatumban végződtek, míg a NAc VTA dopamin axonjai jobban reagáltak a jutalom leadására. Mások jutalomhoz kapcsolódó dopaminerg aktivitást találtak a NAc-ben is, a DMS inkább kontralaterális tevékenységekhez kapcsolódva⁷² és a striatum hátsó faroka, reagálva a riasztó és új ingerekre⁷⁴.

A dopamin felszabadulásának közvetlen intézkedései rávilágítanak az alrégiók közötti heterogenitásra is^30,75. A mikrodialízissel azt találtuk, hogy a dopamin összefüggésben van az értékkel kifejezetten az NAc magban és a ventrális-medialis frontális kéregben, nem pedig a striatum más medialis részeiben (NAc héj, DMS) vagy a frontális kéregben. Ez érdekes, mivel úgy tűnik, hogy jól ábrázolja az értékkódolás két „pontját”, amelyeket következetesen látnak az emberi fMRI tanulmányokban.^76,77. Különösen a NAc BOLD jel, amely szoros kapcsolatban áll a dopamin szignállal⁷⁸, a jutalom várakozásával (értékével) nő - több, mint az RPE-vel⁷⁶.

Függetlenül attól, hogy a dopamin felszabadulásának ezen térbeli mintázatai különböző dopamin sejt alpopulációk kiégéséből, a dopamin felszabadulás helyi ellenőrzéséből vagy mindkettőből származnak, megkérdőjelezik a globális dopamin üzenet gondolatát. Megállapítható, hogy sokféle dopamin funkció létezik, például a dopaminnal a hátsó striatum jelző „mozgásban” és a dopaminnal a ventrális striatumban jelző „jutalommal”.⁴⁰. Ugyanakkor egyetértek egy másik fogalmi megközelítéssel. A különféle striatális alrégiók különböző kortikális régiókból kapnak bemeneteket, és így különféle típusú információkat fognak feldolgozni. Ennek ellenére minden striatális alrégiónak közös mikroáramkör-architektúrája van, ideértve a különálló D1- és a D2-receptort viselő tüskés idegsejteket⁷⁹, CIN-ek és így tovább. Bár a különféle striatális alrégiókra (pl. DLS, DMS, NAc mag) gyakran hivatkoznak, mintha diszkrét területek lennének, nincsenek éles anatómiai határok közöttük (a NAc héj valamivel neurokémiailag megkülönböztethetőbb). Ehelyett csak enyhe gradiensek vannak a receptor sűrűségében, az interneuron arányaiban stb., Amelyek inkább hasonlítanak egy megosztott számítási algoritmus paramétereire. Tekintettel erre a közös architektúrára, leírható-e egy közös dopamin funkció, kivonva az egyes alrégiók által kezelt specifikus információktól?

Striatális dopamin és korlátozott források elosztása.

Azt javaslom, hogy a folyamatos viselkedésre gyakorolt ​​különféle dopaminhatások különféle értelmezéseként értelmezhető legyen erőforrás-elosztási döntések. Pontosabban, a dopamin becsléseket nyújt arra, hogy mennyire érdemes korlátozott belső erőforrásokat költeni, az adott erőforrás különböztetve a striatális alrégiókat. A „motoros” striatum (~ DLS) esetében az erőforrás a mozgás, amely korlátozott, mert a mozgatás költségeket jelent az energiára, és mivel sok művelet nem kompatibilis egymással⁸⁰. A dopaminszint növekedése valószínűbbé teszi, hogy egy állat úgy dönt, hogy érdemes energiát költeni a mozgáshoz, vagy a gyorsabb mozgáshoz^6,40,81. Ne feledje, hogy a „mozgást érdemes” dopamin szignál korrelációt hoz létre a dopamin és a mozgás között, még a „mozgást” kódoló dopamin nélkül is önmagában.

A „kognitív” striatum (~ DMS) esetében az erőforrások kognitív folyamatok, ideértve a figyelmet (ami definíció szerint korlátozott kapacitású)⁸²) és a munkamemória⁸³. Dopamin nélkül elhanyagolják azokat a szembeszökő külső útmutatásokat, amelyek általában orientáló mozgásokat provokálnak, mintha kevésbé figyelmet érdemelnének.³. Ezenkívül a kognitív kontroll folyamatok szándékos rendezése erőfeszítéseket igényel (költséges⁸⁴). Dopamin - különösen a DMS-ben⁸⁵ - kulcsszerepet játszik annak eldöntésében, hogy érdemes-e megtenni ezt az erőfeszítést^86,87. Ez magában foglalhatja azt is, hogy alkalmaznunk-e kognitív szempontból igényesebb, tanácsadó („modell-alapú”) döntési stratégiákat⁸⁸.

A „motivációs” striatum (~ NAc) esetében az egyik kulcsfontosságú korlátozott erőforrás lehet az állat ideje. A mezolimbikus dopamin nem szükséges, ha az állatok egyszerű, rögzített műveletet hajtanak végre a haszon gyors elérése érdekében⁸⁹. De a jutalom sok formája csak meghosszabbított munkával érhető el: a meg nem jutott cselekedetek hosszabb sorozatával, mint a táplálkozáskor. A munkába való bekapcsolódás azt jelenti, hogy el kell hagyni az idő eltöltésének más előnyös módjait. A magas mezolimbikus dopamin azt jelzi, hogy érdemes időben meghosszabbított, erőfeszítő munkát végezni, de mivel a dopamint lecsökkentik, az állatok nem zavarják, hanem inkább aludni készülhetnek.⁹⁰.

Az egyes cortico-striatális hurokáramkörökben tehát a dopamin hozzájárulása a folyamatos viselkedéshez mind gazdasági (az erőforrások elosztásával kapcsolatos), mind motivációs (függetlenül attól, hogy érdemes források felhasználására⁸¹). Ezek az áramkörök nem teljesen függetlenek, inkább hierarchikus, spirális szerveződéssel rendelkeznek: a striatum több ventrális része befolyásolja a dopamin sejteket, amelyek több hátsó részre mutatnak ki.^5,91. Ily módon a munkára vonatkozó döntések elősegíthetik a szükséges specifikus, rövidebb mozgások fellendülését is. De összességében a dopamin „aktivációs” jeleket ad - növelve annak valószínűségét, hogy valamilyen döntés születik - ahelyett, hogy „irányított” jeleket adna meg hogyan forrásokat kell felhasználni⁵.

Mi a dopamin számítási szerepe a döntések meghozatalakor?

Ennek az aktiváló szerepnek az egyik gondolkodási módja a döntéshozatali „küszöbértékek”. Bizonyos matematikai modellekben a döntési folyamatok addig növekednek, amíg el nem érik a küszöbszintet, amikor a rendszer elkötelezett egy cselekvésre⁹². A magasabb dopamin egyenértékű lenne a küszöbhöz viszonyított alacsonyabb távolsággal, így a döntések gyorsabban meghozhatók. Ez az ötlet egyszerű, de kvantitatív előrejelzéseket tesz megerősítésre. A mozgási küszöbök csökkentése a reakcióidő-eloszlás alakjának konkrét változását idézné elő, éppen akkor, amikor az amfetamin infúzióba kerül az sensorimotor striatumba²⁰.

A rögzített küszöbértékek helyett a viselkedési és idegi adatok jobban megfelelnek, ha a küszöbök idővel csökkennek, mintha a döntések egyre sürgetőbbé válnának. Azt javasolták, hogy a bazális ganglionok dinamikusan fejlődő sürgősségi jelet nyújtsanak, amely fellendíti a kéreg kiválasztási mechanizmusait⁹³. A sürgősség akkor is nagyobb volt, ha a jövőbeni jutalmak közelebb álltak az időhez, így ez a koncepció hasonló volt a dopamin értékkódolásához, aktivációs szerepéhez.

Elegendő-e egy ilyen aktivációs szerep a striatális dopamin teljesítmény-moduláló hatásainak leírására? Ez összefügg azzal a régóta fennálló kérdéssel, hogy a bazális ganglionáramkörök közvetlenül választják-e a megtanult tevékenységeket⁸⁰ vagy pusztán a máshol tett döntések élénkítése^93,94. Legalább kétféle módon lehet a dopaminnak „irányosabb” hatása lenni. Az első az, amikor a dopamin egy agyi kistérségben hat, amely velejáróan irányított információkat dolgoz fel. A bazális ganglionáramlások fontos, részlegesen oldalirányú szerepet töltenek be, a potenciális jutalmak felé irányulnak és megközelítik őket. A főemlős caudate (~ DMS) részt vesz a szemmozgások kontralaterális térmezők felé történő irányításában⁹⁵. Az a dopaminerg jel, amelyre valami a kontralaterális térben érdemes orientálni, magyarázhatja a DMS dopaminerg aktivitása és az ellentétes mozgások közötti megfigyelt összefüggést.⁷², valamint a dopamin manipulációk által előidézett rotációs viselkedés⁹⁶. A dopamin második „irányú” hatása akkor nyilvánvaló, amikor a (kétoldalú) dopamin elváltoztatja a patkányokat az alacsony erőfeszítésű / alacsony jutalomú választások felé, nem pedig a nagy erőfeszítésű / nagy jutalomú alternatívák helyett.⁹⁷. Ez tükrözi azt a tényt, hogy néhány döntés sorozatosabb, mint párhuzamos, és a patkányok (és az emberek) egyszerre értékelik a lehetőségeket⁹⁸. Ezekben a döntési összefüggésekben a dopamin továbbra is alapvetően aktiváló szerepet tölthet be azáltal, hogy közvetíti a jelenleg fontolóra vett opció értékét, amely elfogadható vagy nem elfogadható.²⁴.

Az aktív állatok több szinten, gyakran magas ütemben hoznak döntéseket. Az egyéni döntések megfontolása mellett hasznos lehet megfontolni az általános sorozatot egy államok sorozatán keresztül (Ábra 1). Az egyik állapotból a másikba történő átmenet megkönnyítésével a dopamin felgyorsíthatja az áramlást a megtanult pályák mentén⁹⁹. Ez összefügghet a dopaminnak a viselkedés ütemezése során befolyásolt fontos hatással^44,100. A jövőbeni munka egyik kulcsfontosságú hatása az, hogy mélyebben megértsük, hogyan alakulnak az ilyen dopamin hatások a folyamatban lévő viselkedésre mechanikusan, azáltal, hogy megváltoztatják az információfeldolgozást egyetlen cellában, mikroáramkörökben és nagyméretű kortikális-bazális ganglion hurkokban. Hangsúlyoztam továbbá a dopamin közös számítási szerepeit a striatális célok körében, de nagyrészt elhanyagolt kortikális célokat, és továbbra is látni kell, hogy mindkét struktúra dopamin funkciói azonosíthatók-e ugyanazon keretben.

Összefoglalva, a dopamin megfelelő leírása megmagyarázza, hogy a dopamin miként jelezheti mind a tanulást, mind a motivációt ugyanolyan gyors ütemtervben, zavart nélkül. Megmagyarázná, hogy a dopamin felszabadítása a kulcsfontosságú célokra miért jár ovariákkal, bár a dopamin sejtek nem égetnek. És egységes számítási módszert adna a dopamin hatásokról a striatumban és másutt is, amely elmagyarázza a viselkedés eltérő hatásait a mozgásra, a megismerésre és az időzítésre. Néhány itt bemutatott konkrét ötlet spekulatív, de célja a megújult beszélgetés, modellezés és új kísérletek ösztönzése.

Köszönetnyilvánítás.

Referenciák: