Dissocierbar dopamin-dynamikk for læring og motivasjon (2019)

Dopaminprojeksjonen fra ventralt tegmentalt område (VTA) til nucleus accumbens (NAc) er kritisk for motivasjon til å jobbe for belønninger og belønningsdrevet læring. Hvordan dopamin støtter begge funksjonene er uklart. Dopamincellespiking kan kode forutsigelsesfeil, som er viktige læringssignaler i beregningsteorier om adaptiv oppførsel. Derimot ramper frigjøring av dopamin opp når dyr nærmer seg belønninger, noe som speiler forventning om belønning. Denne uoverensstemmelsen kan gjenspeile forskjeller i atferdsmessige oppgaver, langsommere endringer i dopamincellespiking eller pigguavhengig modulering av dopaminfrigjøring. Her sammenligner vi spiking av identifiserte VTA-dopaminceller med NAc-dopaminfrigjøring i samme beslutningstaking. Indikasjoner som indikerer en kommende belønning økte både spiking og release. Imidlertid ble NAc-kjerne-dopaminfrigjøring også samordnet med dynamisk utviklende belønningsforventninger, uten tilsvarende endringer i VTA-dopamincelle-spiking. Våre resultater antyder en grunnleggende forskjell i hvordan dopaminfrigjøring reguleres for å oppnå forskjellige funksjoner: kringkastingssignaler fremmer læring, mens lokal kontroll driver motivasjon.

Dopamin er berømt relatert til 'belønning' - men hvordan nøyaktig? En funksjon innebærer å lære av uventede belønninger. Kort økning i dopamincellefyring koder belønnings prediksjonsfeil (RPE)^1,2,3—Lær signaler for å optimalisere fremtidig motivert oppførsel. Dopaminmanipulasjoner kan påvirke læring som om de endrer RPEer^4,5,6, men de påvirker også motivert atferd umiddelbart, som om dopamin signaliserer forventning (verdi)⁵. Videre eskalerer NAc-dopamin under motivert tilnærming, i samsvar med dopamin-kodingsverdien^7,8,9,10,11.

Med få unntak^2,12,13, dopaminfyring av mellomhjerne har blitt undersøkt under klassisk kondisjonering hos hodefikserte dyr^3,14, i motsetning til frigjøring av dopamin fra forhånd. Vi sammenlignet derfor skyting med løslatelse under de samme forhold. Vi identifiserte VTA dopaminuroner ved bruk av optogenetisk merking^3,13. For å måle NAc-dopaminfrigjøring, brukte vi tre uavhengige metoder - mikrodialyse, voltammetri og den optiske sensoren dLight¹⁵—Med konvergente resultater. Vår primære konklusjon er at selv om RPE-skalert VTA-dopamin-piggsprekker gir brå endringer i dopaminfrigjøring som er passende for læring, oppstår separate NAc-dopaminsvingninger forbundet med motivasjon uavhengig av VTA-dopamincellefyring.

Vi trente rotter i en operant 'banditt' -oppgave⁵ (Fig. 1a, f). Ved hvert forsøk ba belysning av en nese-poke-port ('Light-on') tilnærming og innreise ('Center-in'). Etter en variabel holdeperiode (0.5-1.5 s) førte hvit støy ('Go cue') rotten til å trekke seg ut ('Center-out') og stikke en tilstøtende port ('Side-in'). På belønnede studier ble denne Side-in-hendelsen ledsaget av et mat-hopper-klikk som fikk rotten til å nærme seg en matport ('Food-port-in') for å samle en sukkerpellets. Valg mot venstre og høyre ble belønnet med uavhengige sannsynligheter, som noen ganger endret seg uten varsel. Når rotter var mer sannsynlig å motta belønning, var de mer motivert for å utføre oppgaven. Dette var tydelig i deres 'latens' - tiden mellom Light-on og Center-in-som var følsom for resultatet av de foregående forsøkene (Utvidet data Fig. 1) og derved skalert omvendt med belønningsgrad (fig. 1b).

Vi rapporterte tidligere⁵ en korrelasjon mellom frigjørings- og belønningsgrad for NAc-dopamin, i samsvar med den motiverende rollen til mesolimbisk dopamin¹⁶. Her tok vi først sikte på å avgjøre om dette forholdet er observert i hele forhjernenes mål, i samsvar med 'globalt kringkasting' dopamin-signalering¹⁷, eller er begrenset til spesifikke underregioner. Vi antok videre at disse dopamindynamikkene vil variere mellom striatum og cortex, siden disse strukturene har distinkt dopaminopptak – nedbrytningskinetikk¹⁸ og kan bruke dopamin for forskjellige funksjoner^19,20.

Ved hjelp av mikrodialyse med høy ytelse væskekromatografi – massespektrometri (HPLC – MS), undersøkte vi medial frontal cortex og striatum (fig. 1c, Utvidet data Fig. 1). Vi analyserte samtidig 21 nevrotransmittere og metabolitter med 1-min tidsoppløsning, og brukte regresjon for å sammenligne kjemiske tidsserier med atferdsvariabler (Extended Data Fig. 2).

Vi gjentok sammenhengen mellom belønningsgrad og NAc-dopamin — i motsetning til andre nevrotransmittere (fig. 1c, d). Imidlertid var dette forholdet lokalisert til NAc-kjernen, og holdt ikke i NAc-skallet eller ryggmediale striatum. I motsetning til hypotesen vår observerte vi et lignende romlig mønster i frontal cortex: frigjøring av dopamin korrelert med belønningsgrad i ventral prelimbisk cortex, men ikke i mer rygg eller ventrale subregioner (fig. 1c, e). Selv om det er uventet, har disse to 'hotspots' av verdirelatert dopaminfrigjøring en spennende parallell i menneskelig nevroavbildning: blodets oksygennivåavhengige signal korrelerer med subjektiv verdi, spesielt i NAc og ventral – medial prefrontal cortex²¹.

Vi tok neste spørsmål om denne motivasjonsrelaterte forhjernen dopamin oppstår fra variabel avfyring av dopaminceller i mellomhjernen. NAc-kjernen mottar dopamininngang fra laterale deler av VTA (VTA-l)^6,22,23. Hos hodefiksede mus har VTA-l dopaminneuroner angivelig ensartede, RPE-lignende responser på betingede stimuli³. For å registrere VTA-l dopaminceller infiserte vi VTA med adeno-assosiert virus (AAV) for Cre-avhengig ekspresjon av channelrhodopsin (AAV-DIO-ChR2) i rotter som uttrykker Cre rekombinase under en tyrosinhydroksylase (TH) promoter (se) Metoder). Optroder (fig. 2a, f) registrerte enhetssvar på korte blå-laserpulser (fig. 2c, Utvidede data Fig. 3, 4, Supplerende Fig. 1). Vi fant 27 godt isolerte VTA-l-celler med pålitelige kort-latens pigger, og identifiserte dem som dopamin-neuroner.

Alle dopaminnevroner var tonisk aktive, med relativt lave avfyringshastigheter (gjennomsnitt 7.7 Hz, område 3.7-12.9 Hz; sammenlignet med alle VTA-l-nevroner registrert sammen med dopaminceller, P <0.001 ensidig Mann – Whitney test). De hadde også piggbølgeformer med lengre varighet (P <5 × 10^-6, en-tailed Mann – Whitney-test), selv om det var unntak (fig. 2d), som bekrefter at bølgeformvarighet er en utilstrekkelig markør for dopaminceller in vivo^3,24. En distinkt klynge av VTA-l nevroner (n = 38, fra de samme øktene) med korte bølgeformer og høyere avfyringshastigheter (> 20 Hz; gjennomsnitt 41.3 Hz, område 20.1–97.1 Hz) inkluderte ingen merkede dopaminceller. Vi antar at disse hurtigere avfyrende cellene er GABAergic og / eller glutamatergic^3,25, og referer til dem som 'ikke-dopamin' nedenfor.

Vi registrerte de samme dopamincellene på tvers av flere atferdsoppgaver. VTA-l dopaminceller responderte sterkt på tilfeldig tidsbestemte mat-hopper-klikk, og gradvis mindre kraftig når disse klikkene ble gjort mer forutsigbare ved forrige ledetråder (Utvidet data Fig. 5). Dette er i samsvar med kanonisk RPE-lignende koding av dopaminceller i pavlovske oppgaver^2,3,26.

På grunnlag av bevis fra bedøvede dyr har det tidligere blitt hevdet at endrede dopaminnivåer målt med mikrodialyse skyldes endringer i tonic-avfyringshastigheten til dopaminceller²⁷ og / eller andelen aktive kontra inaktive dopaminuroner²⁸. I bandittoppgaven var imidlertid tonic dopamincellefyring i hver blokk med forsøk likegyldig til belønningsgrad (fig. 2e, g). Det var ingen signifikant endring i skuddhastigheten til individuelle dopaminceller, eller de for andre VTA-l-nevroner, mellom blokker med høyere og lavere belønning (fig. 2f, h; se også ref. ²⁹ for samstemte resultater i hodefiksede mus). Det var heller ingen generell endring i hastigheten som dopaminceller branner sprekker av pigger (Fig. 2i). Videre observerte vi ingen dopaminceller som skiftet mellom aktive og inaktive tilstander. Andelen tid som dopaminceller brukte inaktive (lange inter-piggsintervaller) var veldig lav, og endret ikke mellom blokker med høyere og lavere belønning (fig. 2i).

Anatomien til VTA – NAc-dopamin-projeksjonen er undersøkt intenst^6,22,23, men - gitt dette tilsynelatende funksjonelle misforholdet mellom skyting og løslatelse - bekreftet vi at vi tok opp fra riktig del av VTA. Små injeksjoner av det retrograderte sporstoffkoleratoksinet B (CTb) i NAc-kjernen resulterte i tett merking av TH⁺ nevroner innenfor samme VTA-l-område som optrodeopptakene våre (Utvidet data Fig. 3). Innenfor den omtrentlige opptakssonen, 21% av TH⁺ celler var også CTb⁺, og dette vil sannsynligvis være en undervurdering av brøkdelen av NAc-kjerne-projiserende VTA-l-dopaminceller, da sporstoffinjeksjonene våre ikke fylte NAc-kjernen helt. Dermed vårt utvalg av n = 27 taggede VTA-dopaminceller (pluss mange flere umerkede celler) inkluderer nesten helt sikkert NAc kjerneprosjekterende nevroner. Til slutt, i en ekstra rotte, registrerte vi to merkede VTA-l-dopaminceller etter infusjon av AAV selektivt i NAc-kjernen (Extended Data Fig. 3). Begge retrograd infiserte cellene hadde avfyringsmønstre som lignet de andre merkede dopamincellene i alle henseender, inkludert mangel på toniske avfyringsendringer med varierende belønningshastighet (Supplerende figur 1). Vi konkluderer med at endringer i tonic VTA-l dopamincellefyring ikke er ansvarlige for motivasjonsrelaterte endringer i frigjøring av dopamin for forhjerne.

Slipper NAc-dopamin belønningssats per se, som antydet i noen teorier³⁰, eller er denne korrelasjonen drevet av dynamiske svingninger i dopaminfrigjøring som er for raske til å løse med mikrodialyse? Vi argumenterte for sistnevnte mulighet på grunnlag av voltammetridata⁵, men søkte bekreftelse ved å bruke et uavhengig mål på dopaminfrigjøring som kan spenne over forskjellige tidsskalaer. DLight1-pakken med genetisk kodede optiske dopaminindikatorer ble konstruert ved å sette sirkulært permutert GFP i dopamin D1-reseptorer.¹⁵. Binding av dopamin forårsaker en meget spesifikk økning i fluorescens (fig. 3a). Vi tilførte AAV i NAc for å uttrykke enten dLight1.1 (fire bekreftede NAc-plasseringer fra tre rotter) eller den lysere varianten dLight1.3b (seks bekreftede NAc-plasseringer fra fire rotter) og overvåket fluorescens ved fiberfotometri. Vi observerte klare NAc-dopaminresponser på pavloviske belønningsprediktive signaler, på samme måte som VTA-dopamincellefyring (Extended Data Fig. 5).

For bandittoppgaven undersøkte vi først dLight-signalet i 1-min-binger (fig. 3b) for sammenligning med mikrodialyse. Vi så igjen et tydelig forhold mellom NAc-dopaminfrigjøring og belønningsgrad, både i kryss-korrelasjon og analyse av blokkoverganger (Fig. 3c, d). Vi undersøkte deretter nærmere hvordan dette forholdet oppstår. I stedet for sakte å variere på en tidsperiode på minutter, viste dLight-signalet svært dynamiske svingninger i og mellom hver prøve (fig. 3e). Vi sammenlignet disse svingningene med øyeblikkelige tilstandsverdier og RPE-er estimert fra en forsterknings-læringsmodell (en semi-Markov beslutningsprosess⁵). Som tidligere ble rapportert ved bruk av voltammetri⁵, NA-dopamin øyeblikk-for-øyeblikk viste en sterk korrelasjon med tilstandsverdier (fig. 3f), synlig som ramping opp i forsøk når belønninger var forventet (fig. 3e). Vi så også forbigående økninger med mindre forventede belønningsleveranser, i samsvar med RPE (undersøkt nedenfor). I hver dLight-økt viste dopamin en sterkere korrelasjon med verdier enn verken RPE eller belønningsgrad (Fig. 3h, Utvidet data Fig. 6). Korrelasjoner med både tilstandsverdier og RPE var maksimale med hensyn til dLight-signalet ~ 0.3 s senere, i samsvar med en kort forsinkelse forårsaket av nevral prosessering av signaler og sensor-responstid (fig. 3g; med voltammetri rapporterte vi et forsinkelse på 0.4–0.5 s)⁵.

Vi sammenliknet neste gang dopamincellefyring og løslatelse rundt hendelser med bandittoppgaver. Ekstern stimuli ved Light-on, Go cue og belønnet Side-in (mat-hopper-klikk) fremkalte hver en hurtig skuddøkning (Fig. 4a). Disse svarene ble observert i det store flertallet av dopaminceller (fig. 4c), selv om den relative størrelsen på responsene til forskjellige signaler varierte fra celle til celle (Supplerende Fig. 1). NAc dLight-signalet responderte også raskt og pålitelig på hver av disse fremtredende signalene (fig. 4b, ca.), i samsvar med avfyring av dopaminceller som driver dopaminfrigjøring.

Vi så også klare økninger i NAc-dopaminfrigjøring da rotter nærmet seg startporten (like før Center-in) og matporten (like før Food-port-in). Dette passer godt med den omfattende voltammetri-litteraturen som viser at motivert tilnærmingsatferd er ledsaget av raske økninger i NAc-kjernedopamin^{5,7,8,9,10,11}. Imidlertid viste ikke VTA-l dopamincellepopulasjonen en tilsvarende økning i skyting på disse tidspunktene (fig. 4a; se Utvidede data Fig. 7 for ytterligere sammenligninger, inkludert ikke-dopaminceller).

For å bedre dissosiere cue-fremkalt og tilnærmingsrelatert dopaminaktivitet, separerte vi forsøk med korte (<1 s) og lange (> 2 s) forsinkelser (fig. 4d, e). Økninger i dopamincellefyring ble konsekvent låst til signalet startet ved Light-on, fortrinnsvis for kort-latenstidsforsøk. Alle 25 dopaminceller med betydelig økning i avfyringshastigheten etter lys på var bedre justert til Light-on enn Center-in (Fig. 4e). Derimot skilte økninger i NAc-dopaminfrigjøring før Center-in seg fra cue-fremkalte dopaminfrigjøring (fig. 4d, e). dLight-signaler økte konsekvent før Center-in på forsinkelser med lang latens (ti av ti økter) og før mat-port-in (ni av ti økter), uten tilsvarende økning i dopamin-avfyring (Fig. 4f).

Til slutt vurderte vi hvordan hendelsesrelaterte dopaminsignaler avhenger av nyere belønningshistorikk. Under den tidlige delen av hvert forsøk var avfyring av dopaminceller ikke avhengig av belønningsgrad (Fig. 5a), til tross for påvirkning av belønningstakten på motivasjonen (fig. 5b). Deretter var den fasiske responsen på belønningskuen ved Side-in pålitelig sterkere når belønningsgraden var lavere (fig. 5a), i samsvar med positiv RPE-koding. Da denne belønningskoden ble utelatt, pauset dopaminceller skyte, selv om koding av negative RPE-er var mye svakere eller fraværende, enten de ble undersøkt på populasjonsnivå (fig. 5a, f) eller som individuelle celler (utvidet data Fig. 8). Det har tidligere blitt foreslått at negative RPE-er blir kodet i løpet av dopaminpausene³¹, men dette ble observert i bare 2 av 29 individuelle nevroner. Lignende resultater ble oppnådd hvis forventet belønning ble estimert på andre måter, inkludert prøvebaserte læringsmodeller for forsterkning (skuespillerkritiker og Q-læring) eller ganske enkelt ved å telle nylige belønninger (Extended Data Fig. 8).

Dopaminfrigjøring ved Side-in viste også en klar, forbigående koding av positive RPE-er, men ikke for negative RPE-er (fig. 5c, d). Denne dLight-responsen ble litt forsinket og forlenget sammenlignet med skyting, i samsvar med tiden det tok for frigjøring og gjenopptak³², men forble et subsekundfenomen. I motsetning til avfyring var imidlertid dLightsignaler tidlig i hver prøve større når nyere forsøk hadde blitt belønnet (fig. 5c), i samsvar med verdikoding. Vi observerte denne avhengigheten av belønningshistorie selv når rotten ikke var i bevegelse aktivt, men holdt en nesestikk i midtporten mens vi ventet på Go-køen (Fig. 5d). Totalt sett konkluderer vi med at frigjøring av NAc-dopamin gjenspeiler både reaksjonsfremkalte svar og belønningsforventning, og at bare førstnevnte kan redegjøres godt for ved VTA-l dopamincellefyring.

VTA-l gir den dominerende kilden til dopamin til NAc-kjernen^6,23,24. VTA-l dopaminceller, inkludert de som projiserer til NAc-kjernen, viser konsekvent RPE-kodende burst^3,12. VTA-utbrudd antas å være spesielt viktig for å drive NAc-dopamin³², og vi fant faktisk ut at VTA-utbrudd som ble fremkalt av cue ble matchet av utgivelsen av NAc. Imidlertid fant vi i tillegg verdirelaterte mønstre av NAc-dopaminfrigjøring som ikke ble generert ved avfyring av VTA-l dopaminceller, verken på lange (tonic) eller korte (fasiske) tidsskalaer. Andre underpopulasjoner av dopamin kan ha tydelige signaler^13,33,34, og vi kan ikke utelukke muligheten for at avfyring av dopamincelledelpopulasjoner som ikke er registrert herfra, gir verdirelatert dopamin i NAc-kjerne. Verdirelatert avfyring har imidlertid aldri blitt rapportert for dopaminceller, over et bredt spekter av studier. Resultatene våre antyder at NAc-dopamindynamikk styres på forskjellige måter, til forskjellige tider og for forskjellige funksjoner, og at opptak av dopaminceller er viktig, men ikke tilstrekkelig for å forstå dopaminsignaler³⁵.

Frigjøring fra dopaminterminaler påvirkes kraftig av lokale mekanismer som ikke er pigg^{36,37,38,39,40}. For eksempel moduleres frigjøring av NAc-dopamin av basolateral amygdala, selv når VTA-spiking er farmakologisk undertrykt^41,42. Det har blitt bemerket i flere tiår at lokal kontroll av frigjøring av dopamin kan oppnå funksjoner som er forskjellige fra funksjonene til dopamincelle^36,43, men dette er ikke blitt integrert i teoretiske synspunkter av dopamin. Distinkte striatale subregioner bidrar til forskjellige typer beslutninger, og kan påvirke deres egen dopaminfrigjøring etter behov⁴⁴. Det gjenstår å avgjøre hvor lokalisert denne kontrollen av dopaminfrigjøring kan være. En begrensning som deles av de tre måtene vi målte dopaminfrigivelse på, er at de alle prøver i en romlig skala på minst 3 µm, mens in vivo mikroskopi antyder at dopaminfrigivelse kan være heterogen i betydelig mindre skalaer¹⁵.

Resultatene våre støtter ikke eksistensen av et separat tonisk dopaminsignal som kan formidle motivasjonseffekter av dopamin. I stedet løser dopaminskifter som virker trege hvis de måles sakte (med mikrodialyse), raske svingninger hvis de måles raskt (med voltammetri eller dLight). Videre opptak av identifiserte VTA-dopaminceller av oss selv og andre³⁰ gi sterke bevis mot ideen²⁹ at endringer i tonic dopamin cellefyring driver toniske endringer i dopamin frigjøring. Selv om tonicfyring kan endres av lesjoner eller medikamentmanipulasjoner²⁸, vi er ikke klar over vedvarende endringer i skytefrekvensen i noen atferdsoppgaver. Avfyring kan rampe nedover i en tidsskala på ca. 1 s under forventning om motiverende relevante hendelser^45,46. Imidlertid er denne nedgangen det motsatte av hva som vil være nødvendig for å øke frigjøring av dopamin med belønningsforventning, og ligner i stedet mer på en sekvens av forbigående negative prediksjonsfeil⁴⁷. Selv om vedvarende signaler som koder for løpende belønningsgrad, kan være beregningsdyktig³⁰, dopamin gir i stedet raskt svingende feil- og verdisignaler. Det er fortsatt mulig at vedvarende signaler blir beregnet på et påfølgende trinn ved intracellulære signalveier nedstrøms for dopaminreseptorer.

Mange grupper har observert voldsom frigjøring av dopamin når rotter nærmer seg belønning^{5,7,8,9,10,11}, i samsvar med koding av stigende belønningsforventninger. Noen har hevdet at disse dopaminrampene ganske enkelt gjenspeiler RPE-er, ved å anta at rotter enten glemmer verdier⁴⁸ eller at de har et skjevt sett med statlige representasjoner⁴⁹. Denne sistnevnte ideen støttes ikke av vår observasjon av at ramping raskt moduleres fra prøve til prøve på grunnlag av oppdaterte belønningsforventninger, og blir sterkere innen en kort sekvens av påfølgende belønninger mens RPE-lignende svar på signaler blir svakere (Fig. 3e). Mer generelt kan enhver teori der dopamin bare formidler RPEer (læringssignaler) ikke redegjøre for den meget veletablerte sammenhengen mellom pågående mesolimbisk dopamin og motivasjon¹⁶. NAc-kjernen er ikke nødvendig for høyt trente responser på betingede stimuli, men er spesielt viktig når du bestemmer deg for å utføre tidkrevende arbeid for å oppnå belønning⁵⁰. NAc-kjernedopamin ser ut til å gi et essensielt dynamisk signal om hvor verdt det er å fordele tid og krefter på å jobbe^5,44, selv om dette signalet ikke er til stede i VTA-dopamincellefyring.

dyr

Alle dyreprosedyrer ble godkjent av University of Michigan eller University of California San Francisco Institutional Committee for Use and Care of Animals. Hannrotter (300–500 g, enten vill-type Long-Evans eller TH-Cre⁺ med Long-Evans-bakgrunn⁵²) ble opprettholdt på en omvendt 12: 12 lys: mørk syklus og testet under den mørke fasen. Rotter ble mildt sagt fratatt mat, og mottok 15 g standard laboratorie rotte chow daglig i tillegg til matbelønninger tjent under oppgaveutførelsen. Det ble ikke utført noen forutberegning av prøvestørrelse. Etterforskerne ble ikke blendet for tildeling under eksperimenter og utfallsvurdering.

---

Atferd

Pre-trening og testing ble utført i datastyrte Med Associates operatorkamre (25 cm × 30 cm på bredeste punkt) hver med en fem-hulls nese-poke vegg, som tidligere beskrevet⁵. Bandit-oppgaveøkter brukte følgende parametere: blokklengder var 35-45 studier, tilfeldig valgt for hver blokk; holdperiode før Go-signal var 500 – 1,500 ms (enhetlig distribusjon); sannsynlighet for venstre-høyre belønning var 10, 50 og 90% (for elektrofysiologi, fotometri, voltammetri og tidligere rapporterte mikrodialyserotter⁵) eller 20, 50 og 80% (nylig rapporterte mikrodialyserotter).

Gjeldende belønningsgrad ble estimert ved bruk av en tidsbasert lekker integrator⁵³. Belønningsraten ble økt hver gang en belønning ble mottatt, og forfalt eksponentielt med en hastighet satt av parameter τ (tiden i s for at belønningstakten skal synke med ~ 63%, det vil si 1 − 1 / e). For alle analyser, τ ble valgt på grunnlag av rotteens oppførsel, og maksimerte den (negative) korrelasjonen mellom belønningshastighet og logg (latenstid) i hver økt. Korrelasjonene mellom debamin og forhåndsrate var ikke veldig følsomme for dette valget τ (Utvidet data Fig. 1).

For å klassifisere blokkoverganger som 'økende' eller 'synkende' i belønningsfrekvens, sammenlignet vi den gjennomsnittlige lekk integratorens belønningsrate i de siste 5 minutter av en blokk med den gjennomsnittlige belønningstakten i den første 8 min av den påfølgende blokken.

Rotter brukt til elektrofysiologi og fotometri utførte også en pavlovsk tilnærmingsoppgave, i samme operatørkammer med huslyset på hele økten. Tre auditive signaler (2 kHz, 5 kHz og 9 kHz) var assosiert med forskjellige sannsynligheter for matlevering (motvektet på tvers av rotter). Signaler ble spilt som et tog av tonepips (100 ms på, 50 ms av) i en total varighet på 2.6 s etterfulgt av en forsinkelsesperiode på 500 ms. Indikasjoner og uberegnede belønningsleveranser ble levert i pseudorandom rekkefølge med et variabelt intervall mellom forsøk (15-30 s, jevn fordeling).

---

mikrodialyse

Kirurgi

Rotter ble implantert bilateralt med ledekanyler (CMA, 830 9024) i cortex og striatum. Én gruppe (n = 8) mottok en guidekanyle rettet mot prelimbisk og infralimbisk cortex (anteroposterior (AP) +3.2 mm, mediolateral (ML) 0.6 mm i forhold til bregma; og dorsoventral (DV) 1.4 mm under hjerneoverflaten) og en annen målrettet mot dorsomedial striatum og nucleus accumbens på motsatt halvkule (AP +1.3, ML 1.9 og DV 3.4). Begge implantatene ble vinklet 5 grader fra hverandre langs rostral – kaudalplanet. En annen gruppe (n = 4) mottok en guidekanyle rettet mot fremre cingulatabark (AP +1.6, ML 0.8 og DV 0.8) og en annen målrettet accumbens (kjerne / skall i motsatt halvkule ved AP +1.6, ML 1.4 og DV 5.5 (n = 2) eller AP +1.6, ML 1.9 og DV 5.7 (n = 2). Implantatsidene ble balansert på tvers av rotter. Dyr fikk komme seg i en uke før omskolering.

Kjemikalier

Vann, metanol og acetonitril for mobile faser var av Burdick & Jackson HPLC-kvalitet, kjøpt fra VWR (Radnor). Alle andre kjemikalier ble kjøpt fra Sigma Aldrich med mindre annet er oppgitt. Kunstig cerebrospinalvæske (aCSF) besto av 145 mM NaCl, 2.68 mM KCl, 1.40 mM CaCl₂, 1.01 mM MgSO₄, 1.55 mM Na₂HPO₄ og 0.45 mM NaH₂PO₄, justert pH til 7.4 med NaOH. Askorbinsyre (250 nM sluttkonsentrasjon) ble tilsatt for å redusere oksidasjon av analytter.

Prøvesamling og HPLC-MS

På prøvedagen ble dyr plassert i operatorkammeret med huslyset på. Spesiallagde konsentriske polyakrylonitrilmembranmikrodialysesonder (1-mm dialysering AN69-membran; Hospal) ble satt inn bilateralt i ledekanyle og perfusert kontinuerlig (Chemyx, Fusion 400) med aCSF ved 2 ul / min i 90 min for å tillate likevekt. Etter 5-minutters grunnsamling ble huslyset slukket, noe som ga dyret til rådighet for bandittoppgavene. Prøvesamling fortsatte med 1-minutts intervaller og prøver ble umiddelbart derivatisert⁵⁴ med 1.5 ul natriumkarbonat, 100 mM; 1.5 ul benzoylklorid (2% (volum / volum) benzoylklorid i acetonitril); og 1.5 ul isotopmerket intern standardblanding fortynnet i 50% (v / v) acetonitril inneholdende 1% (v / v) svovelsyre, og tilsatt deuterert ACh og kolin (C / D / N isotoper) til en sluttkonsentrasjon på 20 nM. Samlingen av prøveserier vekslet mellom de to sonder med 30-s intervaller i hver av 26 økter, bortsett fra en økt der en ødelagt membran resulterte i bare en serie (totalt 51 prøveserier). Prøver ble analysert ved hjelp av Thermo Scientific UHPLC-systemer (Accela eller Vanquish Horizon grensesnittet til et Quantum Ultra triple quadrupole massespektrometer utstyrt med en HESI II ESI-sonde), som opererte i flere reaksjonsovervåking. Fem mikroliter prøver ble injisert på en Phenomenex kjerne-skall bifenyl Kinetex HPLC kolonne (2.1 mm x 100 mm). Mobil fase A var 10 mM ammoniumformiat med 0.15% maursyre, og mobil fase B var acetonitril. Den mobile fasen ble gitt en elueringsgradient ved 450 ul / min som følger: initial, 0% B; 0.01 min, 19% B; 1 min, 26% B; 1.5 min, 75% B; 2.5 min, 100% B; 3 min, 100% B; 3.1 min, 5% B; og 3.5 min, 5% B. Thermo Xcalibur QuanBrowser (Thermo Fisher Scientific) ble brukt til automatisk prosessering og integrering av topper. Hver av de> 100,000 toppene ble visuelt inspisert individuelt for å sikre riktig integrering.

Analyse

Alle nevrokjemiske konsentrasjonsdata ble glattet ut med et trepunkts glidende gjennomsnitt (y′ = [0.25 × (y−1) + 0.5y + 0.25 × (y+ 1)]) og z-score normalisert i hver økt for å muliggjøre sammenligninger mellom økter. For hver målregion ble det generert et krysskorrelogram for hver økt, og gjennomsnittet av øktene ble plottet. Én prosent konfidensgrenser ble generert for hver delplott ved å blande en tidsserie 100,000 0.05 ganger og generere en fordeling av korrelasjonskoeffisienter for hver økt. Flere regresjonsmodeller ble generert ved bruk av regresjonsfunksjonen i MATLAB, med nevrokjemisk som utfallsvariabel og atferdsmetoder som prediktorer. Regresjonskoeffisienter ble bestemt signifikant ved tre alfa-nivåer (0.0005, 0.000005 og 21), etter Bonferroni-korreksjon for flere sammenligninger (alfa / (7 kjemikalier × 9 regioner × 3 atferdsmessige regressorer)). For analyse av blokkoverganger ble data bundet inn i XNUMX-minutters epoker, og kastet prøven som inkluderte overgangstiden.

---

elektro~~POS=TRUNC

Rotter (n = 25) ble implantert med spesialdesignede kjørbare optroder, hver bestående av 16 tetroder (konstruert av 12.5 µm nikromtråd, Sandvik) limt på siden av en 200 µm optisk fiber og strekker seg opptil 500 µm under fiberspissen. I løpet av samme operasjon injiserte vi 1 µl AAV2 / 5-EF1a-DIO-ChR2 (H134R) -EYFP i den laterale VTA (AP 5.6, ML 0.8, DV 7.5) eller NAc-kjerne (AP 1.6, ML 1.6, DV 6.4) . Bredbånd (1–9,000 30,000 Hz) hjernesignaler ble samplet (80 XNUMX prøver per s) ved bruk av Intan digitale headstages. Optroder ble senket minst XNUMX um ved slutten av hver innspilling. Individuelle enheter ble isolert offline ved hjelp av en MATLAB-implementering av MountainSort⁵⁵ etterfulgt av nøye manuell inspeksjon.

Klassifisering

For å identifisere om en isolert VTA-l enhet var dopaminerg (TH⁺), brukte vi den stimulusassosierte latenstidstesten⁵⁶. Kort sagt, på slutten av hver eksperimentelle økt koblet vi optroden til en laserdiode og leverte lette pulstog med forskjellige bredder og frekvenser. For at en enhet skulle bli identifisert som lys responsiv, trengte den å nå betydningsnivået på P <0.001 for 5-ms og 10-ms pulstog. Vi sammenlignet også de lysfremkalte bølgeformene (innen 10 ms fra laserpulsutbruddet) til gjennomsnittsgjennomsnitt. alle lysfremkallte enheter hadde en Pearson-korrelasjonskoeffisient på> 0.9. Dopaminneuroner ble registrert med suksess fra fire rotter med VTA-l AAV-infusjoner (IM657, 1 enhet; IM1002, 3 enheter; IM1003, 15 enheter; IM1037, 9 enheter) og en rotte med NAc-kjerne AAV (IM-1078, 2 enheter) . Toppbredde ble definert som full-bredde-til-halv-maksimum for den mest fremtredende negative komponenten av den justerte, gjennomsnittlige piggbølgeformen. Ikke-merkede VTA-nerveceller med økt brennhastighet> 20 Hz og toppbredde <200 µs ble klassifisert som ikke-dopaminceller. For å sikre at vi sammenlignet dopamin- og ikke-dopaminceller i de samme underregionene, analyserte vi bare ikke-dopaminceller registrert under økter med minst en optisk merket dopamincelle.

Analyse

Spike bursts ble oppdaget ved den konvensjonelle '80 / 160 template' tilnærmingen⁵⁷: hver gang et inter-spike-intervall på 80 ms eller mindre forekommer, blir disse og påfølgende pigger betraktet som en del av en burst til det er et intervall på 160 ms eller mer. For sammenligning av 'tonic' -fyring for å belønne, ble dopaminspiker tellet i 1-min. For å undersøke raskere endringer ble piggdensitetsfunksjoner konstruert ved å involvere piggtog med en Gaussisk kjerne med avvik 20 ms. For å bestemme hvor raskt et nevron reagerte på en gitt signal, brukte vi 40-ms kasser (glir i trinn på 20 ms) og brukte en shuffle-test (10,000 shuffles) for hver kasse som sammenlignet skytefrekvensen etter start og startfrekvens i 250 ms rett før køen. Den første søppelkassen som avfyringshastigheten etter signaturen var betydelig (P <0.01, korrigering for flere sammenligninger) større enn avfyring av baseline ble ansett som tiden for å gi respons.

Toppfyringshastighet ble beregnet som den maksimale (Gauss-utjevne) skytefrekvensen for hver prøve i et 250-ms-vindu etter side-inn for belønnet forsøk, og dalen ble beregnet som den minste skytefrekvens i et 2-s-vindu, med start ett sekund etter side-inn for uovertrufne forsøk.

For å beregne en rampevinkel under tilnærmingsatferd, glattet vi ut avfyringshastigheter med en Gaussisk kjerne 50-ms, oppdaget maksimalt / minimum av det resulterende signalet i et 0.5-s-vindu før hver hendelse (center-in eller food-port-in ) og målte den signerte vinkelen som forbinder de to ekstremene. For å sammenligne skytefrekvenser i 'høye' og 'lave' belønningsblokker, utførte vi for hver økt en median splitt av gjennomsnittlig lekk integrator-belønningsrate i hver blokk.

---

Voltammetri og beregningsmodell

Rask-skannede sykliske voltammetri-resultater vist her, analyserer data som tidligere er presentert i detalj⁵. Estimater i løpet av prøven av tilstanden til verdi og belønning prediksjon feil ble beregnet ved hjelp av en semi-Markov beslutningsprosess forsterkning læringsmodell, nøyaktig som tidligere beskrevet⁵.

---

fotometri

Vi brukte en viral tilnærming for å uttrykke den genetisk kodede optiske dopaminsensoren dLight¹⁵. Under isofluranbedøvelse, 1 ul AAV9-CAG-dLight (1 × 10¹² virale genomer per ml; UC Davis-vektorkjernen) ble langsomt (100 nl / min) injisert (Nanoject III, Drummond) gjennom en 30 µm glassmikropipette i ventral striatum bilateralt (AP: 1.7 mm, ML: 1.7 mm, DV: -7.0 mm). I løpet av den samme operasjonen ble optiske fibre (400 µm kjerne, 430 µm total diameter) festet til en metallhylse (Doric) satt inn (måldybde 200 µm høyere enn AAV) og sementert på plass. Data ble samlet inn> tre uker senere, for å tillate dLight-uttrykk.

For dLight-eksitasjon ble blå (470 nm) og fiolett (405 nm; kontroll) LED-moduler sinusformet med forskjellige frekvenser (henholdsvis 211 Hz og 531 Hz⁵⁸). Både eksitasjons- og utslippssignaler som ble sendt gjennom minikubefiltre (Doric) og bulkfluorescens ble målt med en femtowatt-detektor (Newport, modell 2151) prøvetaking ved 10 kHz. Demodulering produserte separate 470 nm (dopamin) og 405 nm (kontroll) signaler, som deretter ble omskalert til hverandre via en minst kvadratisk passform⁵⁸. Fraksjonelt fluorescenssignal (dF/F) ble deretter definert som (470–405_fit) / 405_fit. For alle analyser ble dette signalet nedprøvd til 50 Hz og jevnet ut med et fempunkts medianfilter. For presentasjon av 470 nm og 405 nm signaler separat, se utvidet data Fig. 7.

Data fra en optisk fiberplassering ble inkludert i analyser om fiberspissen var i NAc, og fluorescensresponsen til minst en oppgavekue hadde en z-score av> 1. Disse kriteriene ekskluderte en rotte, og ga tre rotter / fire plasseringer (IM1065-venstre, IM1066-bilateral, IM1089-høyre) for dLight1.1, og fire rotter / seks plasseringer (IM1088-bilateral, IM1105-høyre, IM1106-bilateral, IM1107-høyre) for dLight1.3b. Lignende resultater ble oppnådd for dLight1.1 og dLight1.3 (Extended Data Fig. 7), så data ble kombinert.

For å beregne en rampevinkel under tilnærmingsatferd oppdaget vi maksimum / minimum av det resulterende signalet i et 0.5-s-vindu før hver hendelse (center-in eller food-port-in) og målte den signerte vinkelen som forbinder de to ekstremene.

---

Affinitet og molekylær spesifisitet av dLight1.3b

In vitro målinger ble utført som tidligere beskrevet¹⁵. I korte trekk ble HEK293T (ATCC CRL # 1573) celler dyrket og transfektert med plasmider som koder for dlight1.3b drevet av en CMV-promoter, og vasket med HBSS (Life Technologies) supplert med Ca²⁺ (4mM) og Mg²⁺ (2 mM) før avbildning. Bildebehandling ble utført ved hjelp av et 40 × oljebasert mål på et invertert Zeiss Observer LSN710 konfokalmikroskop med 488 nm / 513 nm (eksitasjon / utslipp) bølgelengder. For å teste sensorens fluorescensresponser ble nevrotransmittere direkte påført badekaret under tidsforløpsbilder, i minst to uavhengige eksperimenter. Titreringer av dopamin og noradrenalin ble oppnådd ved å utføre ti ganger seriefortynninger for å oppnå åtte forskjellige konsentrasjoner. Alle andre nevrotransmittere ble testet ved tre sekvensielle konsentrasjoner (100 nM, 1 uM og 10 uM). Alle nevrotransmitterkonsentrasjoner ble oppnådd ved fortynning fra en 1 mM stamkonsentrasjon i HBSS, fremstilt frisk. Rå fluorescensintensiteter fra tidsforløpsbilder ble kvantifisert på Fiji; hver avkastning ble trukket manuelt på membranen til individuelle celler. Fluorescerende foldendring (ΔF/F) ble beregnet som F topp (gjennomsnittlig fluorescensintensitet på fire bilder) - F basal (gjennomsnittlig fluorescensintensitet på fire rammer før tilsetning av ligander) /F basal. Grafer og statistisk analyse ble utført ved bruk av GraphPad Prism 6. Datapunkter ble analysert med en ett-sted-spesifikk bindingskurve som var tilpasset å oppnå K_d verdier. I plater for kasse-og-visp, dekker boksen 25% til 75% -området, og vispekors strekker seg fra minimum til maksimumverdier.

---

Rapporteringssammendrag

Mer informasjon om forskningsdesign er tilgjengelig i Sammendrag av rapportering om naturforskning knyttet til dette papiret.

AAV.Synapsin.dLight1.3b-viruset som ble brukt i denne studien, er blitt deponert hos Addgene (nr. 125560; http://www.addgene.org). All data vil være tilgjengelig via datadelingsnettstedet Collaborative Research in Computational Neuroscience (https://doi.org/110.6080/K0VQ30V9).

Tilpasset MATLAB-kode er tilgjengelig på forespørsel fra JDB

Forlagets merknad: Springer Nature forblir nøytral med hensyn til jurisdiksjonelle krav i publiserte kart og institusjonelle tilknytninger.

Vi takker P. Dayan, H. Fields, L. Frank, C. Donaghue og T. Faust for deres kommentarer til en tidlig versjon av manuskriptet, og V. Hetrick, R. Hashim og T. Davidson for teknisk assistanse og råd. Dette arbeidet ble støttet av National Institute on Drug Abuse, National Institute of Mental Health, National Institute on Neurological Disorders and Stroke, University of Michigan, Ann Arbor og University of California, San Francisco.

Informasjon om anmelder

Natur takker Margaret Rice og de andre anonyme anmelderne for deres bidrag til fagfellevurderingen av dette arbeidet.

Forfatternotater

1. Disse forfatterne bidro like: Ali Mohebi, Jeffrey R. Pettibone

tilknytninger

1. Institutt for nevrologi, University of California, San Francisco, San Francisco, CA, USA

   • Ali Mohebi
   • , Jeffrey R. Pettibone
   •  & Joshua D. Berke

2. Institutt for nevrovitenskap, Brown University, Providence, RI, USA

   • Arif A. Hamid

3. Institutt for kjemi, University of Michigan, Ann Arbor, MI, USA

   • Jenny-Marie T. Wong
   •  & Robert T. Kennedy

4. Neuroscience Graduate Program, University of California, San Francisco, San Francisco, CA, USA

   • Leah T. Vinson
   •  & Joshua D. Berke

5. Institutt for biokjemi og molekylær medisin, School of Medicine, University of California, Davis, Davis, CA, USA

   • Tommaso Patriarchi
   •  & Lin Tian

6. Weill Institute for Neurosciences og Kavli Institute for Fundamental Neuroscience, University of California, San Francisco, San Francisco, USA

   • Joshua D. Berke

Bidrag

AM utførte og analyserte elektrofysiologien og fotometrien, og anvendte beregningsmodellen. JRP utførte og analyserte mikrodialysen med hjelp fra J.-MTW og tilsyn av RTKAAH utviklet atferdsoppgaven og den første fotometrioppsettet, og utførte voltammetri. LTV utførte retrograd sporing og analyse. TP og LT utviklet dLight-sensoren og delte kompetanse. JDB designet og overvåket studien, og skrev manuskriptet.

Konkurrerende interesser

Forfatterne erklærer ingen konkurrerende interesser.

Tilsvarende forfatter

Korrespondanse til Joshua D. Berke.