Hva betyr dopamin? (2018)

Abstrakt

Er dopamin et signal for læring, for motivasjon, eller begge deler?

Vår forståelse av dopamin har endret seg tidligere, og endrer seg igjen. Et kritisk skille er mellom dopamineffekter på nåværende atferd (ytelse) og dopamineffekter på fremtidig atferd (læring). Begge er reelle og viktige, men til forskjellige tider har den ene vært for og den andre ikke.

Da det (på 70-tallet) ble mulig å utføre selektive, komplette lesjoner av dopaminveier, var den åpenbare atferdsmessige konsekvensen en alvorlig reduksjon i bevegelse ¹ . Dette passet med de akinetiske effektene av dopamin-tap hos mennesker, produsert av avansert Parkinsons sykdom, giftige medisiner eller encefalitt ² . Likevel viser verken rotte- eller mennesketilfeller en grunnleggende manglende evne til å bevege seg. Dopamin-skadede rotter svømmer i kaldt vann ³ , og akinetiske pasienter kan reise seg og løpe hvis en brannalarm går ("paradoksal" kinesi). Det er heller ikke et grunnleggende underskudd i å sette pris på belønninger: dopamin-skadede rotter vil konsumere mat som legges i munnen, og vise tegn til å nyte den ⁴ . Snarere vil de ikke velge å anstrenge seg for aktivt å oppnå belønninger. Disse og mange andre resultater etablerte en grunnleggende sammenheng mellom dopamin og motivasjon ⁵ . Selv bevegelsesnedgangen observert i mindre alvorlige tilfeller av Parkinsons sykdom kan betraktes som et motivasjonsunderskudd, som gjenspeiler implisitte beslutninger om at det ikke er verdt å bruke energien som kreves for raskere bevegelser ⁶.

Så (på 80-tallet) kom banebrytende registreringer av dopaminneuroner hos aper med oppførsel (i områder i mellomhjernen som projiserer til forhjernen: ventral tegmental area, VTA / substantia nigra pars compacta, SNc). Blant observerte avfyringsmønstre var korte utbrudd av aktivitet mot stimuli som utløste umiddelbare bevegelser. Denne «fasiske» dopaminavfyringen ble opprinnelig tolket som støttende «atferdsaktivering» ⁷ og «motivasjonsopphisselse» ⁸ – med andre ord, som en oppkvikker på dyrets nåværende atferd.

Et radikalt skifte skjedde på 90-tallet, med nytolkningen av fasiske dopaminutbrudd som kodende belønningsprediksjonsfeil (RPE-er ⁹ ). Dette var basert på en nøkkelobservasjon: dopaminceller reagerer på uventede stimuli assosiert med fremtidig belønning, men slutter ofte å reagere hvis disse stimuliene blir forventet ¹⁰ . RPE-ideen oppsto i tidligere læringsteorier, og spesielt i det daværende utviklende informatikkfeltet for forsterkningslæring ¹¹ . Poenget med et RPE-signal er å oppdatere verdier (estimater av fremtidig belønning). Disse verdiene brukes senere for å ta valg som maksimerer belønningen. Siden dopamincelleavfyring lignet RPE-er, og RPE-er brukes til læring, ble det naturlig å understreke dopaminens rolle i læring. Senere optogenetiske manipulasjoner bekreftet den dopaminerge identiteten til RPE-kodende celler ^{12 , 13} og viste at de faktisk modulerer læring ^{14 , 15}.

Ideen om at dopamin gir et læringssignal passer perfekt med litteraturen om at dopamin modulerer synaptisk plastisitet i striatum, det primære målet for dopamin i forhjernen. For eksempel fører den trippelkoincidensen av glutamatstimulering av en striatal dendrittryggrad, postsynaptisk depolarisering og dopaminfrigjøring til at ryggraden vokser ^16. Dopaminerg modulering av langsiktige læringsmekanismer bidrar til å forklare de vedvarende atferdseffektene av vanedannende stoffer, som deler egenskapen med å øke striatal dopaminfrigjøring ^17. Selv den dype akinesien med dopamintap kan delvis forklares av slike læringsmekanismer ^18. Mangel på dopamin kan behandles som en konstant negativ RPE, som gradvis oppdaterer handlingsverdier mot null. Lignende progressive, ekstinksjonslignende effekter på atferd kan produseres av dopaminantagonister ^{19 , 20}.

Likevel har ideen om at dopamin er kritisk involvert i kontinuerlig motivasjon aldri forsvunnet – tvert imot, det tas i stor grad for gitt av atferdsnevroforskere. Dette er passende gitt de sterke bevisene for at dopaminfunksjoner i motivasjon/bevegelse/oppkvikkerhet er atskilt fra læring ^{15 , 20–23 . Mindre allment verdsatt er utfordringen forbundet med å forene denne motivasjonsrollen med teorien om at DA gir et RPE -} læringssignal.

Motivasjon “ser fremover”: den bruker forutsigelser om fremtidig belønning (verdier) for å aktivere dagens oppførsel på riktig måte. Derimot, læring "ser bakover" på tilstander og handlinger i den siste tiden, og oppdaterer verdiene deres. Dette er komplementære faser av en syklus: de oppdaterte verdiene kan brukes i påfølgende beslutninger hvis disse statene blir møtt på nytt, og deretter oppdatert igjen, og så videre. Men hvilken fase av syklusen er dopamin involvert i - bruker verdier for å ta beslutninger (ytelse), eller oppdatere verdier (læring)?

Under noen omstendigheter er det enkelt å forestille seg at dopamin spiller begge rollene samtidig. ²⁴ Uventede, belønningsprediktive signaler er de arketypiske hendelsene for å fremkalle dopamincelleavfyring og -frigjøring, og slike signaler stimulerer vanligvis både atferd og fremkaller læring ( fig. 1 ). I denne spesielle situasjonen øker både belønningsprediksjon og belønningsprediksjonsfeil samtidig – men dette er ikke alltid tilfelle. Som bare ett eksempel er mennesker og andre dyr ofte motiverte til å jobbe for belønninger selv når lite eller ingenting overraskende skjer. De kan jobbe hardere og hardere etter hvert som de kommer nærmere og nærmere belønning (verdien øker etter hvert som belønninger nærmer seg). Poenget er at læring og motivasjon er konseptuelt, beregningsmessig og atferdsmessig forskjellige – og likevel ser det ut til at dopamin gjør begge deler.

Nedenfor vurderer jeg kritiske ideer om hvordan dopamin er i stand til å oppnå både lærings- og motivasjonsfunksjoner kritisk. Jeg foreslår en oppdatert modell, basert på tre viktige fakta: 1) frigjøring av dopamin fra terminaler oppstår ikke bare av dopamincellefyring, men kan også kontrolleres lokalt; 2) dopamin påvirker både synaptisk plastisitet og eksitabilitet av målceller, med tydelige konsekvenser for henholdsvis læring og ytelse; 3) dopamineffekter på plastisiteten kan slås av eller på av nærliggende kretselementer. Sammen kan disse funksjonene tillate hjernekretser å veksle mellom to distinkte dopamin-meldinger, for henholdsvis læring og motivasjon.

Er det separate "fasiske" og "toniske" dopaminsignaler, med forskjellige betydninger?

Det hevdes ofte at dopamins lærings- og motivasjonsroller forekommer på forskjellige tidsskalaer ^25. Dopaminceller avfyres kontinuerlig («tonisk») med noen få topper per sekund, med sporadiske korte («fasiske») utbrudd eller pauser. Utbrudd, spesielt hvis de er kunstig synkronisert på tvers av dopaminceller, driver tilsvarende raske økninger i dopamin i forhjernen ²⁶ som er svært forbigående (varighet under et sekund ²⁷ ). Det separate bidraget fra avfyring av toniske dopaminceller til dopaminkonsentrasjoner i forhjernen er mindre tydelig. Noe bevis tyder på at dette bidraget er svært lite ^28. Det kan være tilstrekkelig til å produsere nesten kontinuerlig stimulering av D2-reseptorene med høyere affinitet, slik at systemet kan legge merke til korte pauser i avfyring av dopaminceller ²⁹ og bruke disse pausene som negative prediksjonsfeil.

Mikrodialyse har blitt mye brukt til å måle dopaminnivåer i forhjernen direkte, om enn med lav tidsmessig oppløsning (vanligvis gjennomsnitt over mange minutter). Slike langsomme målinger av dopamin kan være utfordrende å relatere presist til atferd. Ikke desto mindre viser mikrodialyse av dopamin i nucleus accumbens (NAc; ventral/medial striatum) positive korrelasjoner med lokomotorisk aktivitet ³⁰ og andre motivasjonsindekser ⁵ . Dette har blitt mye tolket som at det er langsomme ("toniske") endringer i dopaminkonsentrasjon, og at disse langsomme endringene formidler et motivasjonssignal. Mer spesifikt har beregningsmodeller foreslått at toniske dopaminnivåer sporer den langsiktige gjennomsnittlige belønningsraten ³¹ – en nyttig motivasjonsvariabel for tidsallokering og beslutninger om å finne føde. Det er verdt å understreke at svært få artikler tydelig definerer "toniske" dopaminnivåer – de antar vanligvis bare at dopaminkonsentrasjonen sakte endres over mikrodialyseens tidsskala på flere minutter.

Likevel står dette synet på «fasisk dopamin=RPE/læring, tonisk dopamin=motivasjon» overfor mange problemer. For det første finnes det ingen direkte bevis for at tonisk dopamincelleavfyring normalt varierer over langsomme tidsskalaer. Tonisk avfyringshastighet endres ikke med endret motivasjon ^{32 , 33.} Det har blitt hevdet at tonisk dopaminnivå endres på grunn av en endret andel aktive dopaminceller ^{34 , 35.} Men på tvers av mange studier på umedisinerte, uskadede dyr har det aldri blitt rapportert at dopaminceller bytter mellom stille og aktiv tilstand.

Videre betyr ikke det faktum at mikrodialyse måler dopaminnivåer sakte at dopaminnivåene faktisk endres sakte. Vi undersøkte nylig NAc-dopamin hos ^rotter i en probabilistisk belønningsoppgave, ved bruk av både mikrodialyse og hurtigskanningssyklisk voltammetri. Vi bekreftet at mesolimbisk dopamin, målt ved mikrodialyse, korrelerer med belønningsraten (belønninger/min). Selv med en forbedret tidsmessig oppløsning ved mikrodialyse (1 min) fluktuerte dopamin like raskt som vi tok prøver av det: vi så ingen bevis for et iboende sakte dopaminsignal.

Ved bruk av den finere tidsmessige oppløsningen fremdeles av voltammetri observerte vi en nær sammenheng mellom dopaminsvingninger og motivasjon under andre sekund. Mens rotter utførte handlingssekvensen som var nødvendig for å oppnå belønning, steg dopamin høyere og høyere, og nådde et høydepunkt akkurat når de oppnådde belønningen (og falt raskt når de spiste den). Vi viste at dopamin korrelerte sterkt med øyeblikkelig tilstandsverdi - definert som forventet fremtidig belønning, diskontert med forventet tid som trengs for å motta den. Denne raske dopaminedynamikken kan også forklare mikrodialyseresultatene, uten å påkalle separate dopaminsignaler på forskjellige tidsskalaer. Når dyr opplever flere fordeler, øker de forventningene til fremtidig belønning på hvert trinn i prøvesekvensen. Snarere enn et langsomt utviklende signal for gjennomsnittlig belønningsfrekvens, forklares korrelasjonen mellom dopamin og belønningsgrad best som et gjennomsnitt over de langvarige mikrodialyseprøvene for innsamlingstid for disse raskt utviklende tilstandsverdiene.

Denne verditolkningen av mesolimbisk dopaminfrigjøring er i samsvar med voltammetri-resultater fra andre forskningsgrupper, som gjentatte ganger har funnet at dopaminfrigjøring øker med økende nærhet til belønning ^{36–38 (} fig . 2 ⁾ . Dette motivasjonssignalet er ikke iboende "langsomt", men kan snarere observeres over et kontinuerlig tidsintervall. Selv om dopaminramper kan vare i flere sekunder når en tilnærmingsatferd også varer i flere sekunder ³⁸ , gjenspeiler dette tidsforløpet til atferden, snarere enn den iboende dopamindynamikken. Forholdet mellom mesolimbisk dopaminfrigjøring og fluktuerende verdi er synlig så raskt som opptaksteknikken tillater det, dvs. på en tidsskala på ~100 ms med akutte voltammetrielektroder ¹⁵.

Raske dopaminfluktuasjoner speiler ikke bare motivasjon, de driver også umiddelbart motivert atferd. Større fasiske responser fra dopaminceller på utløsende signaler predikerer kortere reaksjonstider i den samme studien ^39. Optogenetisk stimulering av VTA-dopaminceller gjør det mer sannsynlig at rotter begynner å jobbe i vår sannsynlighetsbaserte belønningsoppgave ¹⁵ , akkurat som om de hadde en høyere forventning om belønning. Optogenetisk stimulering av SNc-dopamin-neuroner, eller deres aksoner i dorsalstriatum, øker sannsynligheten for bevegelse ^{40 , 41.} Avgjørende er at disse atferdseffektene er tydelige innen et par hundre millisekunder etter at optogenetisk stimulering starter. Evnen til belønningsprediktive signaler til å øke motivasjonen ser ut til å være mediert av svært rask dopaminerg modulering av eksitabiliteten til NAc-spiny-neuroner ^42. Siden dopamin endrer seg raskt, og disse dopaminendringene påvirker motivasjonen raskt, beskrives dopamins motivasjonsfunksjoner bedre som raske ("fasiske"), ikke langsomme ("toniske").

Videre løser ikke i seg selv dekoderingsproblemet som nevroner med dopaminreseptorer har, ved å påberope separate raske og langsomme tidsskalaer. Hvis dopamin signaliserer læring, vil modulering av synaptisk plastisitet virke som en passende mobilrespons. Men umiddelbare effekter på motivert atferd innebærer umiddelbare effekter på spiking - f.eks. Gjennom raske endringer i spenning. Dopamin kan ha begge disse postsynaptiske effektene (og mer), så har en gitt dopaminkonsentrasjon en spesifikk betydning? Eller må denne betydningen konstrueres - for eksempel ved å sammenligne dopaminnivåer over tid, eller ved å bruke andre sammenfallende signaler for å bestemme hvilket mobilmaskineri som skal brukes? Denne muligheten blir diskutert nærmere nedenfor.

Frigjør dopamin den samme informasjonen som dopamincellefyring?

Forholdet mellom raske dopaminfluktuasjoner og motivasjonsverdi virker merkelig, gitt at dopamincelleavfyring i stedet ligner RPE. Videre har noen studier rapportert RPE-signaler i mesolimbisk dopaminfrigjøring ^43. Det er viktig å merke seg en utfordring i å tolke noen former for nevrale data. Verdisignaler og RPE-er er korrelert med hverandre – ikke overraskende ettersom RPE vanligvis defineres som endringen i verdi fra ett øyeblikk til det neste («temporal-difference» RPE). På grunn av denne korrelasjonen er det kritisk å bruke eksperimentelle design og analyser som skiller verdi fra RPE-kontoer. Problemet forverres når man bruker et nevralt mål som er avhengig av relative, snarere enn absolutte, signalendringer. Voltammetrianalyser sammenligner vanligvis dopamin på et tidspunkt av interesse med en «baseline»-epoke tidligere i hver prøve (for å fjerne signalkomponenter som ikke er dopaminavhengige, inkludert elektrodelading på hvert spenningssveip og drift over en tidsskala på minutter). Men å trekke fra en baseline kan få et verdisignal til å ligne et RPE-signal. Dette er hva vi observerte i våre egne voltammetridata ( fig. 2e ). Endringer i belønningsforventning gjenspeiles i endringer i dopaminkonsentrasjon tidlig i hver studie, og disse endringene overses hvis man bare antar en konstant baseline på tvers av studiene ^15. Konklusjoner om dopaminfrigjøring og RPE-koding må derfor tas med forsiktighet. Denne faren ved datatolkning gjelder ikke bare voltammetri, men enhver analyse som er avhengig av relative endringer – potensielt inkludert noe fMRI og fotometri ⁴⁴.

Likevel må vi fortsatt forene verdirelatert dopaminfrigjøring i NAc-kjernen med det konsekvente fraværet av verdirelatert økning fra dopaminneuroner ¹³ , selv innenfor det laterale VTA-området som forsyner NAc-kjernen med dopamin ^45. En potensiell faktor er at dopaminceller vanligvis registreres hos hodefastholdte dyr som utfører klassiske betingingsoppgaver, mens dopaminfrigjøring vanligvis måles hos uhemmede dyr som aktivt beveger seg gjennom omgivelsene sine. Vi foreslo at mesolimbisk dopamin spesifikt kan indikere verdien av «arbeid» ¹⁵ – at det gjenspeiler et krav om å bruke tid og krefter på å oppnå belønningen. I samsvar med dette øker dopamin med signaler som instruerer bevegelse, men ikke med signaler som instruerer stillhet, selv når de indikerer lignende fremtidig belønning ^46. Hvis det – som i mange klassiske betingingsoppgaver – ikke er noen fordel med aktivt «arbeid», kan dopaminerge endringer som indikerer verdien av arbeid være mindre tydelige.

Enda viktigere kan være det faktum at dopaminfrigjøring kan kontrolleres lokalt ved selve terminalene, og dermed vise spatio-temporale mønstre uavhengig av cellekroppsstigning. For eksempel kan den basolaterale amygdalaen (BLA) påvirke NAc-dopaminfrigjøring selv når VTA er inaktivert ^47. Motsatt reduserer inaktivering av BLA NAc-dopaminfrigjøring og tilsvarende motivert atferd, uten tilsynelatende å påvirke VTA-avfyring ^48. Dopaminterminaler har reseptorer for en rekke nevrotransmittere, inkludert glutamat, opioider og acetylkolin. Nikotiniske acetylkolinreseptorer lar striatale kolinerge internevroner (CIN) raskt kontrollere dopaminfrigjøring ^{49 , 50.} Selv om det lenge har blitt bemerket at lokal kontroll av dopaminfrigjøring er potensielt viktig ^{7 , 51} , har det ikke blitt inkludert i beregningsmessige regnskaper for dopaminfunksjon. Jeg foreslår at dopaminfrigjøringsdynamikk relatert til verdikoding i stor grad oppstår gjennom lokal kontroll, selv om dopamincelleavfyring gir viktige RPE-lignende signaler for læring.

Hvordan kan dopamin bety både læring og motivasjon uten forvirring?

I prinsippet er et verdisignal tilstrekkelig til å formidle RPE også, siden tidsforskjellige RPE-er ganske enkelt er raske endringer i verdi ( fig. 2B ). For eksempel kan distinkte intracellulære veier i målnevroner være ulikt følsomme for den absolutte konsentrasjonen av dopamin (som representerer verdi) kontra raske relative endringer i konsentrasjon (som representerer RPE). Denne ordningen virker plausibel, gitt den komplekse dopaminmoduleringen av spiny nevronfysiologi ⁵² og deres følsomhet for tidsmessige mønstre av kalsiumkonsentrasjon ^53. Likevel virker dette også noe overflødig. Hvis et RPE-lignende signal allerede eksisterer i dopamincelle-topping, bør det være mulig å bruke det i stedet for å utlede RPE på nytt fra et verdisignal.

For å kunne bruke distinkte RPE- og verdisignaler på riktig måte, kan dopamin-mottakerkretser aktivt endre hvordan de tolker dopamin. Det finnes spennende bevis for at acetylkolin også kan ha denne bytterollen. Samtidig som dopaminceller avfyrer utbrudd av topper på uventede signaler, viser CIN-er korte (~150 ms) pauser i avfyringen, som ikke skaleres med RPE-er ^54. Disse CIN-pausene kan drives av VTA GABAerge nevroner ⁵⁵ så vel som "overraskelses"-relaterte celler i den intralaminære thalamus, og har blitt foreslått å fungere som et assosierbarhetssignal som fremmer læring ^56. Morris og Bergman foreslo ⁵⁴ at kolinerge pauser definerer tidsmessige vinduer for striatal plastisitet, der dopamin kan brukes som et læringssignal. Dopaminavhengig plastisitet undertrykkes kontinuerlig av mekanismer, inkludert muskariniske m4-reseptorer på direkte-bane striatale nevroner ⁵⁷ . Modeller av intracellulær signalering antyder at fraværet av m4-binding under CIN-pauser kan virke synergistisk med fasiske dopaminutbrudd for å øke PKA-aktivering ⁵⁸ , og dermed fremme synaptisk endring.

Striatale kolinerge celler er dermed godt posisjonert til dynamisk å endre betydningen av en multiplekset dopaminerg melding. Under CIN-pauser vil lindring av en muskarinblokkering over synaptisk plastisitet tillate at dopamin brukes til læring. Andre ganger vil frigjøring fra dopaminterminaler være lokalt modellert for å påvirke pågående atferdsmessig ytelse. Foreløpig er dette forslaget både spekulativt og ufullstendig. Det har blitt foreslått at CIN-er integrerer informasjon fra mange omkringliggende spiny nevroner for å trekke ut nyttige signaler på nettverksnivå som entropi ^{59 , 60.} Men det er ikke i det hele tatt klart at CIN-aktivitetsdynamikk kan brukes til å generere dopaminverdisignaler ⁶¹ , og også til å styre dopaminlæringssignaler.

Betyr dopamin det samme i hele hjernen?

Etter hvert som RPE-ideen slo an, ble det antatt at dopamin var et globalt signal som sendte en feilmelding gjennom striatale og frontale kortikale mål. Schultz understreket at dopaminceller fra aper gjennom VTA og SNc har svært like responser ^{62. Studier av identifiserte dopaminceller har også funnet ganske homogene RPE-lignende responser hos gnagere, i hvert fall for laterale VTA -} nevroner innenfor klassiske betingingskontekster ^13. Likevel er dopaminceller molekylært og fysiologisk forskjellige ^{63–65 ,} og det finnes nå mange rapporter om at de viser forskjellige avfyringsmønstre hos dyr som oppfører seg. Disse inkluderer fasiske økninger i avfyring til aversive hendelser ⁶⁶ og triggersignaler ⁶⁷ som passer dårlig med standard RPE-beretning. Mange dopaminceller viser en initial kort latensrespons på sensoriske hendelser som reflekterer overraskelse eller "varsling" mer enn spesifikk RPE-koding ^{68 , 69.} Dette varslingsaspektet er mer fremtredende i SNc ⁶⁹ , der dopaminceller projiserer mer til "sensorimotorisk" dorsal/lateral striatum (DLS ^{45 , 63} ). Det er også rapportert at underpopulasjoner av SNC-dopaminceller øker ^eller reduserer ^avfyring i forbindelse med spontane bevegelser, selv uten eksterne signaler.

Flere grupper brukte fiberfotometri og kalsiumindikatoren GCaMP for å undersøke bulkaktiviteten til subpopulasjoner av dopaminneuroner ^{71 , 72.} Dopaminceller som projiserer til dorsal/medial striatum (DMS) viste forbigående redusert aktivitet ved uventede korte sjokk, mens de som projiserte til DLS viste økt aktivitet ⁷¹ – mer konsistent med en varslingsrespons. Distinkte dopaminerge responser i forskjellige forhjernesubregioner har også blitt observert ved bruk av GCaMP for å undersøke aktiviteten til dopaminaksoner og -terminaler ^{40 , 72 , 73.} Ved bruk av to-fotonavbildning hos mus med hodestøtte rapporterte Howe og Dombeck ⁴⁰ fasisk dopaminaktivitet relatert til spontane bevegelser. Dette ble hovedsakelig sett i individuelle dopaminaksoner fra SNc som endte i dorsal striatum, mens VTA-dopaminaksoner i NAc responderte mer på belønningslevering. Andre fant også belønningsrelatert dopaminerg aktivitet i NAc, med DMS i stedet mer knyttet til kontralaterale handlinger ⁷² og den bakre halen av striatum som responderer på aversive og nye stimuli ⁷⁴.

Direkte målinger av dopaminfrigjøring avslører også heterogenitet mellom subregioner ^{30 , 75.} Med mikrodialyse fant vi at dopamin korrelerte med verdi spesifikt i NAc-kjernen og ventral-medial frontal cortex, ikke i andre mediale deler av striatum (NAc-skallet, DMS) eller frontal cortex. Dette er interessant da det ser ut til å kartlegges godt til to "hotspots" for verdikoding som konsekvent sees i humane fMRI-studier ^{76 , 77.} Spesielt NAc BOLD-signalet, som har et nært forhold til dopaminsignalering ⁷⁸ , øker med belønningsforventning (verdi) – mer enn med RPE ⁷⁶.

Enten disse romlige mønstrene for dopaminfrigjøring oppstår fra aktivering av distinkte dopamincellesubpopulasjoner, lokal kontroll av dopaminfrigjøring, eller begge deler, utfordrer de ideen om en global dopaminmelding. Man kan konkludere med at det finnes mange forskjellige dopaminfunksjoner, der (for eksempel) dopamin i dorsal striatum signaliserer "bevegelse" og dopamin i ventral striatum signaliserer "belønning" ^40. Jeg foretrekker imidlertid en annen konseptuell tilnærming. Ulike striatale subregioner får input fra forskjellige kortikale regioner, og vil derfor behandle forskjellige typer informasjon. Likevel deler hver striatale subregion en felles mikrokretsarkitektur, inkludert separate D1- versus D2-reseptorbærende spiny nevroner ⁷⁹ , CIN-er, og så videre. Selv om det er vanlig å referere til forskjellige striatale subregioner (f.eks. DLS, DMS, NAc-kjerne) som om de er diskrete områder, er det ingen skarpe anatomiske grenser mellom dem (NAc-skallet er litt mer nevrokjemisk distinkt). I stedet er det bare svake gradienter i reseptortetthet, internevronproporsjoner osv., som virker mer som justeringer av parameterne til en delt beregningsalgoritme. Gitt denne felles arkitekturen, kan vi beskrive en felles dopaminfunksjon, abstrahert bort fra den spesifikke informasjonen som håndteres av hver underregion?

Striatal dopamin og tildeling av begrensede ressurser.

Jeg foreslår at en rekke ulike dopamineffekter på pågående atferd kan forstås som modulering av ressursallokeringsbeslutninger . Spesifikt gir dopamin estimater av hvor verdt det er å bruke en begrenset intern ressurs, der den spesifikke ressursen varierer mellom striatale subregioner. For "motorisk" striatum (~DLS) er ressursen bevegelse, som er begrenset fordi bevegelse koster energi, og fordi mange handlinger er inkompatible med hverandre ^80. Økt dopamin gjør det mer sannsynlig at et dyr vil bestemme at det er verdt å bruke energi på å bevege seg, eller bevege seg raskere ^{6 , 40 , 81.} Merk at et dopaminsignal som koder for "bevegelse er verdt" vil produsere korrelasjoner mellom dopamin og bevegelse, selv uten at dopamin koder for "bevegelse" i seg selv.

For «kognitivt» striatum (~DMS) er ressursene kognitive prosesser, inkludert oppmerksomhet (som per definisjon har begrenset kapasitet ⁸² ) og arbeidshukommelse ^83. Uten dopamin blir fremtredende eksterne signaler som normalt provoserer frem orienteringsbevegelser neglisjert, som om de anses som mindre oppmerksomhetsverdige ^{3. Videre er det krevende (kostbart 84} ) å bevisst organisere kognitive kontrollprosesser . Dopamin – spesielt ved DMS ⁸⁵ – spiller en nøkkelrolle i å avgjøre om det er verdt å gjøre denne innsatsen ^{86 , 87.} Dette kan inkludere om man skal bruke mer kognitivt krevende, deliberative («modellbaserte») beslutningsstrategier ⁸⁸.

For «motivasjons» striatum (~NAc) kan en viktig begrenset ressurs være dyrets tid. Mesolimbisk dopamin er ikke nødvendig når dyr utfører en enkel, fast handling for raskt å oppnå belønning ^89. Men mange former for belønning kan bare oppnås gjennom langvarig arbeid: utvidede sekvenser av ubelønnede handlinger, som i å søke etter mat. Å velge å engasjere seg i arbeid betyr at andre fordelaktige måter å bruke tiden på må gis avkall på. Høyt mesolimbisk dopamin indikerer at det er verdt å engasjere seg i tidsmessig langvarig, anstrengende arbeid, men når dopaminen senkes, gidder ikke dyrene, og kan i stedet bare forberede seg på å sove ⁹⁰.

Innenfor hver kortikostriatale løkkekrets er dopamins bidrag til pågående atferd dermed både økonomisk (knyttet til ressursallokering) og motiverende (om det er verdt å bruke ressurser ⁸¹ ). Disse kretsene er ikke helt uavhengige, men har snarere en hierarkisk, spiralformet organisering: flere ventrale deler av striatum påvirker dopaminceller som projiserer til flere dorsale deler ^{5 , 91.} På denne måten kan beslutninger om å engasjere seg i arbeid også bidra til å styrke nødvendige spesifikke, kortere bevegelser. Men totalt sett gir dopamin "aktiverings"-signaler – som øker sannsynligheten for at en beslutning tas – snarere enn "retningsbestemte" signaler som spesifiserer hvordan ressurser skal brukes ⁵.

Hva er beregningsrollen til dopamin når beslutninger tas?

En måte å tenke på denne aktiverende rollen er i form av beslutnings-"terskler". I visse matematiske modeller øker beslutningsprosesser inntil de når et terskelnivå, når systemet blir forpliktet til en handling ^92. Høyere dopaminnivå ville tilsvare en lavere avstand til terskel, slik at beslutninger tas raskere. Denne ideen er forenklet, men gir kvantitative forutsigelser som har blitt bekreftet. Senking av terskler for bevegelse ville forårsake en spesifikk endring i formen på reaksjonstidsfordelingen, akkurat det som sees når amfetamin infunderes i sensorimotorisk striatum ²⁰.

I stedet for faste terskler, kan atferdsmessige og nevrale data være bedre egnet hvis terskler synker over tid, som om beslutninger blir stadig mer presserende. Basalganglienes utgang har blitt foreslått å gi et dynamisk utviklende hastesignal, som styrker seleksjonsmekanismene i cortex ^93. Hastighet var også større når fremtidige belønninger var nærmere i tid, noe som gjør dette konseptet likt dopamins verdikoding, aktiverende rolle.

Er en slik aktiverende rolle tilstrekkelig til å beskrive de prestasjonsmodulerende effektene av striatal dopamin? Dette er relatert til det langvarige spørsmålet om hvorvidt basalganglienes kretser direkte velger blant lærte handlinger ⁸⁰ eller bare styrker valg gjort andre steder ^{93 , 94.} Det er minst to måter dopamin kan se ut til å ha en mer "retningsbestemt" effekt. Den første er når dopamin virker innenfor en hjernesubregion som behandler iboende retningsbestemt informasjon. Basalganglienes kretser har en viktig, delvis lateralisert rolle i å orientere seg mot og nærme seg potensielle belønninger. Primatens caudatus (~DMS) er involvert i å drive øyebevegelser mot kontralaterale romlige felt ^95. Et dopaminergisk signal om at noe i det kontralaterale rommet er verdt å orientere seg mot, kan forklare den observerte korrelasjonen mellom dopaminerg aktivitet i DMS og kontralaterale bevegelser ⁷² , samt den rotasjonsmessige atferden produsert av dopaminmanipulasjoner ⁹⁶ . En annen «retningsbestemt» påvirkning av dopamin er tydelig når (bilaterale) dopaminlesjoner distraherer rotter mot valg med lav innsats/lav belønning, snarere enn alternativer med høy innsats/høy belønning ^97. Dette kan gjenspeile det faktum at noen beslutninger er mer serielle enn parallelle, der rotter (og mennesker) evaluerer alternativer én om gangen ^98. I disse beslutningssammenhengene kan dopamin fortsatt spille en fundamentalt aktiverende rolle ved å formidle verdien av det aktuelle alternativet, som deretter kan aksepteres eller ikke ²⁴.

Aktive dyr tar beslutninger på flere nivåer, ofte med høy hastighet. Utover å tenke på individuelle beslutninger, kan det være nyttig å vurdere en overordnet bane gjennom en sekvens av tilstander ( fig. 1 ). Ved å legge til rette for overganger fra én tilstand til den neste, kan dopamin akselerere flyten langs lærte baner ^99. Dette kan være relatert til den viktige innflytelsen dopamin har på tidspunktet for atferd ^{44 , 100.} En viktig grense for fremtidig arbeid er å få en dypere forståelse av hvordan slike dopamineffekter på pågående atferd oppstår mekanistisk, ved å endre informasjonsbehandling i enkeltceller, mikrokretser og storskala kortikale-basale ganglier. Jeg har også lagt vekt på vanlige beregningsroller for dopamin på tvers av en rekke striatale mål, men i stor grad neglisjert kortikale mål, og det gjenstår å se om dopaminfunksjoner i begge strukturer kan beskrives innenfor samme rammeverk.

Oppsummert vil en tilstrekkelig beskrivelse av dopamin forklare hvordan dopamin kan signalisere både læring og motivasjon på de samme raske tidsskalaene, uten forvirring. Det ville forklare hvorfor dopaminfrigjøring i nøkkelmål samvarierer med belønningsforventning, selv om dopamincelleutløsning ikke gjør det. Og det ville gi en enhetlig beregningsmessig redegjørelse for dopaminvirkninger i striatum og andre steder, noe som forklarer ulike atferdseffekter på bevegelse, kognisjon og timing. Noen spesifikke ideer som presenteres her er spekulative, men er ment å gi liv til fornyet diskusjon, modellering og skarpsindige nye eksperimenter.

Bekreftelser.

Referanser: