Dinamično ločevanje dopamina za učenje in motivacijo (2019)

https://www.nature.com/articles/s41586-019-1235-y

Minimalizem

Projekcija dopamina iz ventralnega tegmentalnega območja (VTA) na nucleus accumbens (NAc) je ključnega pomena za motivacijo za delo za nagrade in učenje, ki temelji na nagrajevanju. Kako dopamin podpira obe funkciji, ni jasno. Zvišanje dopaminskih celic lahko kodira napake napovedovanja, ki so ključni učni signali v računskih teorijah prilagodljivega vedenja. Nasprotno pa se sproščanje dopamina povečuje, ko se živali približujejo nagradam, kar odraža pričakovanja o nagradi. Ta neusklajenost lahko odraža razlike v vedenjskih nalogah, počasnejše spremembe dopiranja dopaminskih celic ali neodvisno modulacijo sproščanja dopamina. Tu primerjamo povečanje identificiranih VTA dopaminskih celic s sproščanjem NAc dopamina pri isti nalogi odločanja. Znaki, ki kažejo na prihajajočo nagrado, so povečali tako povečanje kot sprostitev. Vendar pa se sproščanje dopamina v jedru NAc spreminja tudi z dinamično razvijajočimi se pričakovanji o nagradi brez ustreznih sprememb v povečanju dopaminskih celic VTA. Naši rezultati kažejo na temeljno razliko v načinu reguliranja sproščanja dopamina, da se dosežejo različne funkcije: oddajanje rafalnih signalov spodbuja učenje, lokalni nadzor pa spodbuja motivacijo.

Glavne

Dopamin je slavno povezan z "nagrado" - ampak kako natančno? Ena funkcija vključuje učenje iz nepričakovanih nagrad. Kratek porast pri odstranjevanju dopaminskih celic kodira napake napovedovanja nagrade (RPE)1,2,3—Spoznavanje signalov za optimizacijo prihodnjega motiviranega vedenja. Dopaminske manipulacije lahko vplivajo na učenje, kot da spreminjajo RPE4,5,6, vendar vplivajo tudi na motivirano vedenje takoj, kot da dopamin signale nagrajuje pričakovanje (vrednost)5. Poleg tega NAc dopamin eskalira med motiviranim pristopom, skladno z vrednostjo kodiranja dopamina7,8,9,10,11.

Z nekaj izjemami2,12,13, odstranjevanje dopamina srednjega možganov je bilo pregledano med klasičnim kondicioniranjem na živalih, pritrjenih z glavo3,14za razliko od spredaj sproščenega dopamina. Zato smo primerjali streljanje s sproščanjem pod enakimi pogoji. Identificirali smo dotaminske nevrone VTA z uporabo optogenetskega označevanja3,13. Za merjenje sproščanja docamina NAc smo uporabili tri neodvisne metode - mikrodializo, voltammetrijo in optični senzor dLight15- s konvergentnimi rezultati. Naš primarni sklep je, da čeprav izbruhi spake VTA dopamina povzročajo nagle spremembe sproščanja dopamina, ki so primerne za učenje, ločena nihanja docamina NAc, povezana z motivacijo, nastanejo neodvisno od odstranjevanja celic dopaminskih VTA.

Dopamin sledi motivaciji v ključnih lokusih

Podgane smo trenirali v operacijski 'bandit' nalogi5 (Sl. 1a, b). Pri vsakem preskusu je osvetlitev vrat z nosom ("Light-on") pozvala pristop in vstop ("Center-in"). Po spremenljivem zadrževalnem obdobju (0.5–1.5 s) se je beli šum („Go cue“) privedel do tega, da se je podgana umaknila („Center-out“) in zaskočila sosednja vrata („Side-in“). Na nagrajenih preizkušnjah je ta Side-in dogodek spremljal klik koša za hrano, ki je spodbudil podgano, da se je približala živilskemu pristanišču ('Food-port-in'), da bi zbrala sladkorne pelete. Izbire levo in desno so bile nagrajene z neodvisnimi verjetnostmi, ki so se občasno spreminjale brez opozorila. Kadar so podgane bolj verjetno prejele nagrade, so bile bolj motivirane za izvedbo naloge. To se je pokazalo v njihovi "latenci" - času med prižganom svetlobo in središčem -ki je bil občutljiv za izid prejšnjih nekaj preskusov (razširjeni podatki Sl. 1) in s tem obratno spremenjena s stopnjo nagrajevanja (sl. 1b).

Slika 1: Kovarije sproščanja dopamina s stopnjo nagrajevanja, posebej v jedru NAc in ventralni prelimbični skorji.
figura1

a, Prireditve med banditi. b, Primer seje. Zgornja vrstica, verjetnost nagrajevanja v vsakem bloku (levo: desno); v drugi vrstici klopi označujejo izid vsakega poskusa (visok, nagrajen; kratek, nenagrajen); tretja vrstica, puščajoča integratorska ocena stopnje nagrajevanja (črna) in tekoče povprečje zakasnitve (cian; obrnjena lestvica); spodnja vrstica, jedro NAc dopamin v isti seji (1-minutni vzorci). DA, dopamin. c, Vrh, lokacije za mikrodializo v medialni čelni skorji in striatumu (glej tudi razširjeni podatki Sl. 1). n = 51 lokacij sonde pri 12 podganah, vsaka z dvema sondama za mikrodializo, ki sta bili med seansama spuščeni. Barvna črta označuje povezavo med dopaminom in stopnjo nagrajevanja. ACC, sprednja cingulasta skorja; dPL, hrbtna prelimbična skorja; vPL, ventralna prelimbična skorja; IL, infralimbična skorja; DMS, hrbtno-medialni striatum. Srednji, povprečni navzkrižni korelogrami med dopaminom in stopnjo nagrajevanja. Rdeče črte označujejo 2% interval zaupanja od premešanih časovnih vrst. Spodaj, odnosi med nevrokemikalijami in stopnjo nagrajevanja (večkratna regresija). NA, noradrenalin; 99-HT, serotonin; ACh, acetilholin; GABA, y-aminomaslena kislina; Glu, glutamat; NM, normetadrenalin; DOPAC, 5-dihidroksifenilocetna kislina; 3,4-MT, 3-metoksitramin; HVA, homovanilna kislina; 3-HIAA, 5-hidroksiindoleocetna kislina. d, Vpliv blokovskih prehodov na stopnjo nagrajevanja (levo), latenco (sredina) in NAc jedro dopamina (desno). Prehodi so bili razvrščeni glede na to, ali se je izkušena stopnja nagrad zvišala (n = 25) ali zmanjšano (n = 33). Podatki so iz vseh 14 sej, v katerih je bil izmerjen jedrni dopamin NAc (ena na podgano, ki združuje podatke iz novih in predhodno sporočenih5 živali) in se nariše kot povprečje ± sem e, Sestavljeni zemljevidi korelacij med dopaminom in stopnjo nagrajevanja (n = 19 podgan, 33 sej, 58 umestitev sonde). Obrisi atlanov možganov na tej sliki so bili reproducirani z dovoljenjem Paxinos in Watson, 200551.

Prej smo poročali5 korelacija med sproščanjem docamina NAc in stopnjo nagrajevanja, ki je skladna z motivacijsko vlogo mesolimbičnega dopamina16. Tu smo najprej želeli ugotoviti, ali je to razmerje opaziti skozi cilje sprednjih možganov, skladno z "globalno oddajano" dopaminsko signalizacijo17ali je omejena na posebne podregije. Nadalje smo domnevali, da bi se ta dinamika dopamina razlikovala med striatumom in skorjo, saj imajo te strukture izrazito kinetiko privzema dopamina in razgradnjo.18 in lahko uporablja dopamin za različne funkcije19,20.

Z mikrodijalizo z visokozmogljivo tekočinsko kromatografijo in masno spektrometrijo (HPLC – MS) smo raziskovali medialno čelno skorjo in striatum (sl. 1c, Razširjeni podatki Sl. 1). Hkrati smo analizirali 21 nevrotransmiterje in presnovke z 1-min časovno ločljivostjo ter uporabili regresijo za primerjavo kemijskih časovnih vrst z vedenjskimi spremenljivkami (razširjeni podatki sl. 2).

Ponovili smo povezavo med stopnjo nagrajevanja in NAc dopaminom - v nasprotju z drugimi nevrotransmiterji (sl. 1c, d). Vendar je bil ta odnos lokaliziran v jedru NAc in se ni zadrževal v lupini NAc ali dorzalno-medialnem striatumu. V nasprotju z našo hipotezo smo opazili podoben prostorski vzorec v čelni skorji: sproščanje dopamina je povezano s stopnjo nagrajevanja v ventralni prelimbični skorji, ne pa v več hrbtnih ali ventralnih podregijah (sl. 1c, e). Čeprav so nepričakovani, imajo dvojna "žarišča" vrednosti, povezane z sproščanjem dopamina, intrigantno vzporedje pri človeškem neuradnem slikanju: signal, odvisen od nivoja kisika v krvi, je v korelaciji s subjektivno vrednostjo, zlasti v NAc in prefrontalni skorji ventralno-medialnega korteksa21.

VTA streljanje ni povezano z motivacijo

Nato smo obravnavali, ali ta motivacijski dopamin izvira iz spremenljivega odstranjevanja celic dopamina v srednjem možganu. Jedro NAc dobi vnos dopamina iz stranskih delov VTA (VTA-l)6,22,23. Pri miših, ki so pritrjene na glavo, imajo dopaminski nevroni VTA-1 enakomerne, RPE podobne odzive na pogojene dražljaje3. Za snemanje celic dopamina VTA-l smo okužili VTA z adeno povezanim virusom (AAV) za Cre-odvisno izražanje kanalhodopsina (AAV-DIO-ChR2) pri podganah, ki izražujejo Cre rekombinazo pod promotorjem tirozin hidroksilaze (TH) (glejte Metode). Optrode (sl. 2a, b) zabeležili odzive posameznih enot na kratke modro-laserske impulze (sl. 2c, Razširjene podatkovne slike 3, 4, Dodatna slika 1). Našli smo 27 dobro izolirane celice VTA-l z zanesljivimi kratkoročnimi konicami in jih identificirali kot dopaminske nevrone.

Slika 2: Dejavnost določenih dopaminskih nevronov VTA se s stopnjo nagrajevanja ne spreminja.
figura2

a, Leva, shema optrode s 16 tetrodami optičnih vlaken s premerom približno 200 µm. Desno, primer namestitve optrode znotraj bočnega VTA. Lestvica, 1 mm. Rdeča, dopaminski celični marker tirozin hidroksilaza; zelena, ChR2 – EYFP; rumena, prekrivajoča se. Za vse umestitve glejte Razširjeni podatki Fig. 3. b, Konice dotaminskih celic VTA. Rdeče palice označujejo odkrite porušitve in število konic v vsakem poruhu (glej Metode). Lestvica, 0.5 s, 0.5 mV. c, Primer odziva nevronov na laserske impulze z naraščajočim trajanjem. d, Hitrost streljanja po celotni seji glede na širino konice (pri polovici največ) za vsako celico VTA. Modre, označene celice dopamina; vijolična, izrazita skupina domnevnih ne-dopaminskih nevronov. Vstavki, primeri povprečnih valovnih oblik (negativna napetost navzgor). e, Hitrost streljanja (modra; 1-minutne posode) dopaminskega nevrona VTA med razbojniško nalogo. Latentne (cian) kovarije s stopnjo nagrajevanja, stopnja streljanja pa ne. f, Stopnja vžiga za vse nevrone VTA (modra, dopamin; vijolična, ne-dopamin; siva, nerazvrščena) v nizkih v primerjavi z visokimi stopnjami nagrajevanja. Nobena ni pokazala pomembnih razlik (Wilcoxon je podpisal testni test z uporabo 1-min zabojnikov, vse P > 0.05 po popravku za večkratne primerjave). g, Povprečna navzkrižna korelacija med odstranjevanjem dopaminskih celic in stopnjo nagrajevanja ne kaže pomembne povezave. h, Analiza hitrosti izgorevanja dopamina pri prehodnih blokih (enak format kot Sl. 1d). n = 95 se nagrada poveča, 76 zmanjša. i. Porazdelitve intervalov med preskoki (ISI, levo) in špični razpoki (desno) so nespremenjene med višjimi in nižjimi stopnjami nagrajevanja (statistika Kolmogorov – Smirnov: ISI, 0.138, P = 0.92; rafali, 0.165, P = 0.63).

Vsi dopaminski nevroni so bili tonično aktivni, z relativno nizko hitrostjo streljanja (povprečno 7.7 Hz, razpon 3.7–12.9 Hz; v primerjavi z vsemi nevroni VTA-l, zabeleženimi skupaj z dopaminskimi celicami P <0.001 enostranski Mann – Whitneyev test). Imeli so tudi daljše valovne oblike (P <5 × 10-6Manno-Whitneyjev test z enim repom), čeprav so bile izjeme (sl. 2d), kar potrjuje, da je trajanje valovne oblike nezadosten marker dopaminskih celic in vivo3,24. Razločen skupek nevronov VTA-l (n = 38, iz istih sej) s kratkimi valovnimi oblikami in višjimi hitrostmi streljanja (> 20 Hz; povprečje 41.3 Hz, razpon 20.1–97.1 Hz) ni vključevalo označenih dopaminskih celic. Predvidevamo, da so te hitrejše celice GABAergične in / ali glutamatergične3,25in jih spodaj navedite kot "ne-dopamin".

Zabeležili smo iste celice dopamina v več vedenjskih opravilih. Dopaminske celice VTA-l so se močno odzvale na naključno tempirane klike v hranilniku in postopno manj močno, ko so bili ti kliki bolj predvidljivi s predhodnimi znaki (razširjeni podatki sl. 5). To je skladno s kanonskim RPE-podobnim kodiranjem dopaminskih celic pri Pavlovijskih nalogah2,3,26.

Na podlagi dokazov anesteziranih živali se je že prej trdilo, da spremenjene ravni dopamina, izmerjene z mikrodijalizo, izhajajo iz sprememb v tonični hitrosti streljanja dopaminskih celic27 in / ali delež aktivnih in neaktivnih dopaminskih nevronov28. Vendar pa je bilo pri banditski nalogi odstranjevanje toničnih dopaminskih celic v vsakem bloku preskušanja ravnodušno glede na stopnjo nagrajevanja (sl. 2e, g). Med stopnjami odstranjevanja posameznih celic dopamina ali števila drugih nevronov VTA-1 ni bilo pomembnih sprememb med višjimi in nižjimi nagradnimi bloki (sl. 2f, h; glej tudi ref. 29 za skladne rezultate pri miših, ki so postavili glavo. Prav tako ni prišlo do splošne spremembe hitrosti, s katero dopaminske celice sprožijo razpoke konic (sl. 2i). Poleg tega nismo opazili nobenih dopaminskih celic, ki bi prehajale med aktivnimi in neaktivnimi stanji. Delež časovnih dopaminskih celic, ki so bile neaktivne (dolgi intervali med konicami), je bil zelo nizek in se ni spreminjal med višjimi in nižjimi nagradnimi bloki (sl. 2i).

Anatomija projekcije dopamina VTA – NAc se intenzivno preučuje6,22,23, vendar - glede na to očitno funkcionalno neskladje med streljanjem in izpustitvijo - smo ponovno potrdili, da snemamo s pravilnega dela VTA. Majhne injekcije retrogradnega sledilnega toksina kolere B (CTb) v jedro NAc so povzročile gosto označevanje TH+ nevroni znotraj istega območja VTA-l kot naši posnetki optrode (razširjeni podatki Sl. 3). V približnem območju snemanja je 21% TH+ celice so bile tudi CTb+, in to je verjetno podcenjevanje deleža dopaminskih celic VTA-1, ki štrlijo v NAc, saj naše sledilne injekcije niso popolnoma napolnile jedra NAc. Tako je naš vzorec n = 27 označenih dopaminskih celic VTA (in veliko več neoznačenih celic) skoraj zagotovo vključuje nevrone, ki projicirajo jedro NAc. Na koncu smo pri dodatnih podganah zabeležili dve označeni dopaminski celici VTA-XNUMX po selektivni infuziji AAV v jedro NAc (razširjeni podatki sl. 3). Obe retrogradno okuženi celici sta imeli vzorce streljanja, ki so bili v vseh pogledih zelo podobni drugim označenim dopaminskim celicam, vključno s pomanjkanjem sprememb toničnega streljanja z različno stopnjo nagrajevanja (Dodatna slika 1). Zaključujemo, da spremembe pri odstranjevanju dopaminskih celic v toniku VTA niso odgovorne za motivacijske spremembe pri sproščanju dopamina prednjih možganov.

Sledenje izdaji v več časovnih lestvicah

Ali NAc dopamin sam sprosti stopnjo nagrajevanja, kot je predlagano v nekaterih teorijah30ali to korelacijo poganjajo dinamična nihanja v sproščanju dopamina, ki se z mikrodializo prehitro razrešijo? Slednjo možnost smo zagovarjali na podlagi podatkov voltammetrije5, vendar je iskal potrditev z neodvisnim ukrepom sproščanja dopamina, ki lahko traja v različnih časovnih obdobjih. Paket dLight1 gensko kodiranih optičnih indikatorjev dopamina je bil izdelan tako, da je v dopaminske D1 receptorje vstavil krožno permutirani GFP15. Vezava dopamina povzroči zelo specifično povečanje fluorescence (sl. 3a). AAV smo vlili v NAc, da smo izrazili bodisi dLight1.1 (štiri preverjene umestitve NAc pri treh podganah) bodisi svetlejšo varianto dLight1.3b (šest preverjenih umestitev NAc iz štirih podgan) in spremljali fluorescenco s fotometrijo vlaken. Opazili smo jasne odzive NAc dopamina na Pavlovianove napovedne napotke, podobno kot pri VTA dopaminskih celicah (razširjeni podatki sl. 5).

Slika 3: Premostitev časovnih meril za merjenje dopamina.
figura3

a, Fluorescenčni odziv dLight1.3b. Vnos, titracije dopamina (n = 15 zanimivih regij (ROI)) in noradrenalin (n = 9). Glavna slika, nevrotransmiterji, ki se uporabljajo v kopeli (vsi n = 12 donosnosti naložbe). Njegov, histamin. b, Vzorčna bandit seja, ki vključuje normaliziran NAc dLight1.3b signal (1-min zabojnikov). c, signal svetlobe se spremeni s prehodi blokov. n = 35 stopnja nagrajevanja se poveča, 45 zniža. d, Navzkrižna korelacija med dLight in stopnjo nagrajevanja. e, Bližji pogled na senčen del b. Puščice: črna, sredinsko v nos; svetlo rdeča, Side-in (nagrajena); svetlo modra, Side-in (nenagrajena); temno rdeča, hrana za vhod (nagrajena); temno modra, vhodna hrana (nenagrajena). Naslednje vrstice: puščajoča integracijska ocena stopnje nagrajevanja; dLuč pri nizki ločljivosti (1 min); dLučka pri visoki ločljivosti (50 Hz, zelena; pet-točkovno srednje filtrirano, črno); vrednosti stanja modela (cyan); in RPE (magenta). Po nekaj nenagrajenih preskušanjih so državne vrednosti na začetku preskušanja nizke, nato pa oddaja nagrad povzroči pozitiven RPE in spremlja močan porast dopamina. Zaporedni nagrajeni poskusi zmanjšajo RPE, vendar povečajo vrednosti stanja, ki jih spremlja povečanje dopamina. f, Kroskorelacije kratkih časovnih lestvic kažejo tesno povezavo med dLight in vrednostjo in manjšim razmerjem do RPE. g, Korelacije med preskusnimi spremenljivkami modela in dLight z različnimi zamiki; korelacija tako z vrednostjo kot z RPE je najmočnejša do dLight približno 0.3 s kasneje. h, V vseh sejah je bila največja korelacija za vrednost kot za RPE ali stopnjo nagrajevanja.

Za nalogo bandita smo najprej pregledali signal dLight v 1-min zabojnikih (sl. 3b) za primerjavo z mikrodializo. Ponovno smo videli jasno povezavo med sproščanjem dopamina NAc in stopnjo nagrajevanja, tako v navzkrižni korelaciji kot v analizi bločnih prehodov (sl. 3c, d). Nato smo podrobneje preučili, kako nastane ta odnos. Signal dLight je namesto počasnega spreminjanja v časovnem merilu minut pokazal zelo dinamična nihanja med in med vsakim preskusom (sl. 3e). Ta nihanja smo primerjali s trenutnimi vrednostmi stanja in RPE-ji, ocenjenimi iz učnega modela okrepitve (polovični Markov postopek odločanja)5). Kot smo že poročali z uporabo voltammetrije5, trenutni trenutek NAc dopamina je pokazal močno povezavo z vrednostmi stanja (sl. 3f), vidno kot povečanje med preizkušnjami, ko so bile pričakovane nagrade (sl. 3e). Opazili smo tudi prehodna povečanja z manj pričakovanimi dostavami nagrad, skladno z RPE (preučeno spodaj). V vsaki seji dLight je dopamin pokazal močnejšo korelacijo z vrednostmi kot RPE ali stopnja nagrajevanja (sl. 3h, Razširjeni podatki Sl. 6). Korelacije tako z vrednostmi stanja kot z RPE so bile največje glede na signal dLight ~ 0.3 s kasneje, skladno s kratkim zamikom, ki ga je povzročila nevronska obdelava znakov in odzivni čas senzorja (slika. 3g; z voltametrijo smo poročali o zaostanku 0.4–0.5 s)5.

Odstranjevanje dopamina ne pojasnjuje sproščanja

Nato smo primerjali streljanje dopaminskih celic in se sprostili okoli dogodkov z razbojniki. Zunanji dražljaji pri Light-on, Go-nu in nagrajeni Side-in (kliki v hranilniku) so sprožili hitro povečanje ognja (sl. 4a). Ti odzivi so bili opaženi pri veliki večini dopaminskih celic (sl. 4c), čeprav je bila relativna velikost odzivov na različne signale različna od celice do celice (Dodatna slika 1). Signal NAc dLight se je prav tako hitro in zanesljivo odzval na vsakega od teh vidnih znakov (sl. 4b, c), kar je skladno z rafalom dopaminskih celic, ki povzročajo sproščanje dopamina.

Slika 4: Fazično odstranjevanje dopamina VTA ne upošteva dinamike dopamina NAc.
figura4

a, Dejavnost dopaminskih celic VTA-l, prilagojena dogodkom. Zgoraj, špičasti rastri za eno reprezentativno celico; dno, povprečna hitrost konice (n = 29). V vseh podoknih pasovi napak označujejo ± sem b, Prilagojeno NAc dLight. Vrh, reprezentativno zasedanje; dno, povprečno (n = 10), normalizirano na najvišji odziv Side-in-response. Na tej sliki so prikazani signali dLight glede na 2-sekundno "osnovno" obdobje, ki se konča 1 s pred središčem. Opomba se poveča (puščice) tik pred središčem in vhodom za hrano. c, Kumulativna porazdelitev časa, potrebnega za celice dopamina (trdna; n = 29), dLight (črtkano; n = 10), za povečanje po naslednjih začetkih (preskus premešanja v primerjavi z izhodiščem, 10,000 premestitev, P <0.01, popravljene več primerjav). Za Light-on so vključene samo zakasnitve <1 s; za Side-in samo nagrajene preizkušnje. Srednje zakasnitve (od sigmoidnega prileganja): prižgana, streljanje 152 ms, dLight 266 ms; Pojdi, sproži 67 ms, dLight 212 ms; Side-in, streljanje 85 ms, dLight 129 ms. Celice, ki niso dopaminske, so bile navadno brezbrižne do začetkov iztočnic (razširjeni podatki, sl. 8). d, Ločeno sproščanje dopamina, povezano z izrezom. Vrhunsko povprečno odstranjevanje dopaminskih celic (n = 29); srednja, povprečna dLight (n = 10); dno, voltametrija (n = 6), normalizirano na največjo kratkotrajno odzivnost Light-on. Leva plošča, zakasnitve <1 s, desna, zakasnitve> 2 s. Podatki so poravnani na Light-on (neprekinjeno) ali Center-in (pikčasto); rdeča črtkana črta, srednja zakasnitev. Pri daljših zakasnitvah se streljanje v bližini Center-in ne poveča, vendar dLight in voltametrija kažeta izrazito povečanje. e, Skica sketra, ki primerja vrhove signalov, poravnanih na Light-on (y os) ali v sredini (x os). Za vsako celico vrstice, povezane s sejo, prikazujejo podatke za različna območja zakasnitve (<1 s,> 2 s). Vžiganje dopamina (zgoraj) dosledno prikazuje svetlobni odziv pri preskusih s kratko latenco (dvosmerna analiza variance (ANOVA), interakcija med poravnavo in zakasnitvijo, F = 7.47, P = 0.0008). signali dLight (sredina), voltametrija (spodaj) so vedno bolje usklajeni s središčem (dvosmerna ANOVA za dLight: poravnava × latenca, F = 9.28, P = 0.0043). f, Dopamin se med pristopom poveča, količinsko opredeljen kot kota rampe (glej Metode). Krogi označujejo posamezne dopaminske celice (n = 29), dLight seje (n = 10).

Opazili smo tudi povečano sproščanje docamina NAc, ko so se podgane približale začetnemu pristanišču (tik pred Center-in) in pristanišču za hrano (tik pred Food-port). To se dobro ujema z obsežno literaturo o voltammetriji, ki kaže, da motivirano vedenje spremlja hitro povečanje dopamina v jedru NAc5,7,8,9,10,11. Vendar populacija dopaminskih celic VTA-l v teh časih ni pokazala ustreznega povečanja streljanja (sl. 4a; glej razširjene podatke Sl. 7 za dodatne primerjave, vključno s celicami, ki niso dopaminske).

Da bi bolje ločili aktivnost dopamina, ki jo povzročajo iztočnice in povezana s pristopom, smo preskuse ločili s kratkimi (<1 s) in dolgimi (> 2 s) zakasnitvami (slika XNUMX). 4d, npr). Povečanje odstranjevanja dopaminskih celic je bilo pri Light-on dosledno zaklenjeno na izhodu, prednostno za preskušanja s krajšim latencami. Vse dopaminske celice 25 s pomembnim povečanjem hitrosti streljanja po svetlobnem vklopu so bile bolje prilagojene Light-on kot Center-in (sl. 4e). V nasprotju s tem so se povečanja sproščanja docamina NAc pred Center-in razlikovala od izločanja dopamina s cue (sl. 4d, npr). Signali dLight so se stalno povečevali pred preskusom z dolgo vmesnimi obdobji (deset od desetih sej) in pred vnosom hrane (devet od desetih sej), ne da bi se ustrezno povečala odstranjevanje dopamina (sl. 4f).

Na koncu smo razmislili, kako so dopaminski signali povezani z dogodki odvisni od nedavne zgodovine nagrad. V zgodnjem delu vsakega preskušanja odstranjevanje dopaminskih celic ni bilo odvisno od stopnje nagrajevanja (sl. 5a), kljub vplivu stopnje nagrajevanja na motivacijo (sl. 5b). Kasneje je bil fazni odziv na nagrado pri Side-inu zanesljivo močnejši, ko je bila stopnja nagrajevanja nižja (sl. 5a), skladno s pozitivnim kodiranjem RPE. Ko je bila ta nagrada izpuščena, so dopaminske celice prekinile streljanje, čeprav je bilo kodiranje negativnih RPE veliko šibkejše ali odsotno, ne glede na to, ali smo jih pregledali na populacijski ravni (sl. 5a, b) ali kot posamezne celice (razširjeni podatki sl. 8). Pred tem je bilo predlagano, da se negativni RPE kodirajo med trajanjem dopaminskih pavz31, vendar so to opazili le v 2 od 29 posameznih nevronov. Podobne rezultate smo dobili, če bi pričakovanje o nagradi ocenili na druge načine, vključno s preizkusnimi učnimi modeli okrepitve (igralec-kritik in Q-učenje) ali preprosto s štetjem nedavnih nagrad (razširjeni podatki sl. 8).

Slika 5: Zgodovina nagrajevanja vpliva na odstranjevanje VTA dopaminskih celic in NAc sproščanje dopamina različno.
figura5

a, Vrh, povprečna hitrost odstrela dopaminskih celic (n = 29) poravnano s Side-in, razčlenjeno po stopnji nagrajevanja (tercili, izračunani ločeno za vsako celico). Pred Side-inom aktivnost ni odvisna od pričakovanja nagrade. Po Side-in nagrajeni (rdeči) in nenagrajeni (modri) preskusi so prikazani ločeno. Odziv na klik na hrano je močnejši, kadar je stopnja nagrajevanja nizka, kar ustreza kodiranju pozitivnih RPE. Spodnji del posameznih dopaminskih celic s hitrostjo streljanja, ki se v vsakem trenutku znatno razlikuje glede na stopnjo nagrajevanja P <0.01, popravljene večkratne primerjave). Oznake na vrhu označujejo trenutke, ko je bil ta delež bistveno višji od naključja (binom, P <0.01). Po Side-in se preskušajo samo negativne korelacije - to je potencialno kodiranje RPE. b, Regresijske parcele za seje s posnetimi dopaminskimi celicami, ki prikazujejo učinek nedavne zgodovine nagrad na (log-) latenco (zgoraj) in dopaminsko povečanje. Zvezdice kažejo na veliko regresijsko maso (t-test, P <0.05). Med 0.5 s pred iztokom Go (medtem ko mora podgana ohranjati enakomeren pomik v nosu, da lahko poskus nadaljuje) na dopamin ne vpliva zgodovina nagrad (sredina). To se spremeni, ko se razkrije rezultat (spodaj; ocena vrha ali najnižje aktivnosti v 0.5 s po Side-inu), vendar le za nagrajene preskuse. c, d, Enako kot zgoraj, razen dLight (normalizirano do najvišjega odziva Side-in). Sprostitev dopamina se zanesljivo poveča s stopnjo nagrajevanja, še preden se pojavi Side-in.

Sproščanje dopamina pri Side-in je pokazalo tudi jasno, prehodno kodiranje pozitivnih RPE, ne pa tudi negativnih RPE (sl. 5c, d). Ta odziv dLight se je v primerjavi s streljanjem nekoliko upočasnil in podaljšal, kar je skladno s časom, potrebnim za sproščanje in ponovno zajem32, vendar je ostal podsekunda. Za razliko od streljanja pa so bili signali dLight zgodaj v vsaki preizkušnji večji, ko so bile zadnje preizkušnje nagrajene (sl. 5c), skladno s kodiranjem vrednosti. Opazili smo to odvisnost od zgodovine nagrad, tudi če se podgana ni aktivno gibala, ampak je med čakanjem na iztočnico Go ohranjala nos v središčnem pristanišču (sl. 5d). Na splošno sklepamo, da sproščanje docamina NAc odraža tako odzivne odzive kot pričakovanje nagrajevanja in da lahko z odstranjevanjem dopaminskih celic VTA-1 dobro upoštevamo le prvo.

Razprava

VTA-l zagotavlja prevladujoč vir dopamina v jedru NAc6,23,24. VTA-l dopaminske celice, vključno s tistimi, ki štrlijo v jedro NAc, dosledno prikazujejo razpoke, ki kodirajo RPE3,12. Šteje se, da so porušitve VTA še posebej pomembne za vožnjo docamina NAc32in res smo ugotovili, da se vtični izzivi VTA, ki jih povzroči iztočnica, ujemajo s sproščanjem NAc. Vendar smo poleg tega našli vrednosti, povezane z vrednostmi, vzorce sproščanja docamina NAc, ki niso bili ustvarjeni z odstranjevanjem celic dopamina VTA-l, bodisi na dolgih (toničnih) bodisi kratkih (faznih) časovnih lestvicah. Druge subpopulacije dopamina lahko prenašajo različne signale13,33,34in ne moremo izključiti možnosti, da sprožanje subpopulacij dopaminskih celic, ki niso zabeležene od tu, povzroči dopamin, povezan z vrednostjo, v jedru NAc. Vendar pa v številnih študijah ni bilo poročanja o vrednostih, povezanih z odpuščanjem, za nobeno dopaminsko celico. Naši rezultati kažejo, da se dinamika NAc dopamina nadzoruje na različne načine, ob različnih časih in za različne funkcije ter da je snemanje dopaminskih celic pomembno, vendar ne zadošča za razumevanje dopaminskih signalov35.

Na sproščanje iz terminalov dopamina močno vplivajo lokalni mehanizmi, ki ne spikejo36,37,38,39,40. Izpust dopamina NAc na primer bazolateralno amigdalo modulira, tudi kadar je spiranje VTA farmakološko zatirano41,42. Že desetletja je bilo ugotovljeno, da lahko lokalna kontrola sproščanja dopamina doseže funkcije, ki se razlikujejo od tistih pri dopaminskih celicah36,43, vendar to ni bilo vključeno v teoretična stališča dopamina. Različne strizijske podregije prispevajo k različnim odločitvam in glede na potrebe lahko vplivajo na njihovo sproščanje dopamina44. Treba je še določiti, kako lokaliziran je lahko ta nadzor sproščanja dopamina. Ena od omejitev, ki jih delijo trije načini, kako smo izmerili sproščanje dopamina, je, da vsi vzorčijo na prostorski lestvici vsaj 3 µm, medtem ko mikroskopija in vivo kaže, da je lahko sproščanje dopamina heterogeno v bistveno manjših merilih.15.

Naši rezultati ne podpirajo obstoja ločenega toničnega dopaminskega signala, ki bi lahko posredoval motivacijske učinke dopamina. Namesto tega se dopaminski premiki, ki se zdijo počasni, če jih merimo počasi (z mikrodializo), hitro izmerijo (z voltammetrijo ali dLight). Poleg tega posnetki identificiranih VTA dopaminskih celic pri nas in drugih30 predložijo trdne dokaze proti ideji29 da se spremembe v odstranjevanju toničnih dopaminskih celic poženejo v tonik spremembe pri sproščanju dopamina. Čeprav se tonično streljanje lahko spremeni z lezijami ali manipulacijami z zdravili28, se pri nobeni vedenjski nalogi ne zavedamo stalnih sprememb hitrosti streljanja. Med pričakovanjem motivacijsko pomembnih dogodkov se lahko streljanje zmanjša v časovnem obdobju približno 1 s45,46. Vendar je to upadanje nasprotno od tistega, kar bi bilo potrebno za povečanje sproščanja dopamina s pričakovanjem nagrajevanja, namesto tega pa je bolj podobno zaporedju prehodnih napak negativnih napovedi47. Čeprav so lahko trajni signali, ki kodirajo stalno stopnjo nagrajevanja, računsko koristni30, namesto tega dopamin zagotavlja hitro nihajoče signale o napaki in vrednosti. Še vedno je mogoče, da se trajni signali izračunajo na naslednjem koraku po celičnih signalnih poteh navzdol od dopaminskih receptorjev.

Številne skupine so opazile naraščanje sproščanja dopamina, ko se podgane prigradijo5,7,8,9,10,11skladno s kodiranjem stopnjevajočih pričakovanj o nagradi. Nekateri trdijo, da te dopaminske rampe preprosto odražajo RPE, tako da domnevajo, da podgane hitro pozabijo na vrednosti48 ali da imajo izkrivljen niz državnih predstavništev49. Naše opazovanje ni podprto z našim opažanjem, da se rampanje hitro spreminja od preizkusa do preskušanja na podlagi posodobljenih pričakovanj o nagradi in postane močnejši v kratkem zaporedju zaporednih nagrad, medtem ko odzivi, podobni RPE, na odzive postanejo šibkejši (sl. 3e). Na splošno velja, da nobena teorija, v kateri dopamin prenaša samo RPE (učne signale), ne more pojasniti zelo dobro vzpostavljene povezave med tekočim mesolimbičnim dopaminom in motivacijo16. Jedro NAc ni potrebno za visoko usposobljene odzive na pogojene dražljaje, vendar je še posebej pomembno pri odločitvi za zamudno delo za pridobitev nagrade50. Zdi se, da je osnovni dopamin NAc bistven dinamični signal, kako smiselno je nameniti čas in trud za delo5,44, čeprav ta signal ni prisoten pri izstrelitvi VTA dopaminskih celic.

Metode

živali

Vse postopke za živali je odobril institucionalni odbor za uporabo in nego živali Univerze v Michiganu ali Univerze v Kaliforniji v San Franciscu. Samci podgan (300–500 g, bodisi divji tip Long-Evans ali TH-Cre+ z ozadjem Long-Evans52) so bili vzdrževani na vzvratni svetlobi 12: 12: temen cikel in testirani med temno fazo. Podgane so rahlo prikrajšane za hrano, dnevno pa so prejemale 15 g standardnega laboratorija za podgane, poleg nagrad za hrano, ki so jih zaslužile med opravljanjem nalog. Predkalkulacija velikosti vzorca ni bila izvedena. Preiskovalci niso bili zaslepljeni pri dodeljevanju med poskusi in oceno rezultatov.


Vedenje

Predobdelava in testiranje sta bila izvedena v računalniško vodenih operacijskih komorah Med Associates (25 cm × 30 cm na najširši točki), vsaka s steno s petimi luknjami, kot je bilo že opisano5. Seje razpravljalnih nalog so uporabljale naslednje parametre: dolžine blokov so bile preizkuse 35-45, naključno izbrane za vsak blok; obdobje zadržanja pred Go cue je bilo 500 – 1,500 ms (enotna porazdelitev); verjetnost nagrajevanja levo-desno so bile 10, 50 in 90% (za elektrofiziologijo, fotometrijo, voltammetrijo in predhodno poročane mikrodializijske podgane5) ali 20, 50 in 80% (novo prijavljene podgane za mikrodializo).

Trenutna stopnja nagrajevanja je bila ocenjena z uporabo časovno utemeljenega integratorja53. Stopnja nagrajevanja se je vsakič, ko je bila prejeta nagrada, povečevala in razpadala eksponentno s hitrostjo, določeno s parametrom τ (čas v s, da se stopnja nagrajevanja zmanjša za ~ 63%, to je 1 − 1 / e). Za vse analize oz. τ je bil izbran na podlagi vedenja podgan, kar je v vsaki seji maksimiralo (negativno) korelacijo med stopnjo nagrajevanja in dnevnikom (latenco). Korelacije med dopaminom sprednjega mozga in stopnjo nagrajevanja niso bile zelo občutljive na to izbiro τ (Razširjeni podatki Sl. 1).

Za razvrstitev prehodov blokov kot "povečanje" ali "zmanjšanje" stopnje nagrajevanja smo primerjali povprečno stopnjo nagrajevanja neprepustnega integratorja v zadnjih min 5 bloka s povprečno stopnjo nagrajevanja v prvih min 8 naslednjega bloka.

Podgane, ki so se uporabljale za elektrofiziologijo in fotometrijo, so tudi ves čas seje izvajale nalogo Pavlovianovega pristopa v isti operantni komori s prižgano sobno lučjo. Trije slušni znaki (2 kHz, 5 kHz in 9 kHz) so bili povezani z različnimi verjetnostmi dostave hrane (protiutež pri podganah). Iztočnice so se predvajale kot niz tonskih slikovnih pik (100 ms vključeno, 50 ms izključeno) v skupnem trajanju 2.6 s, čemur je sledila zakasnitev 500 ms. Znaki in nepredvidene oddaje nagrad so bili dostavljeni v psevdonaključnem vrstnem redu s spremenljivim intervalnim intervalom (15–30 s, enakomerna porazdelitev).


Mikrodializa

Surgery

Podgane so vsadile dvostransko z vodilnimi kanili (CMA, 830 9024) v korteksu in striatumu. Ena skupina (n = 8) je prejel eno vodilno kanilo, usmerjeno na prelimbično in infralimbično skorjo (anteroposteriorna (AP) +3.2 mm, mediolateralna (ML) 0.6 mm glede na bregmo; in dorsoventralna (DV) 1.4 mm pod možgansko površino) in druga, usmerjena na dorsomedial striatum in nucleus accumbens na nasprotni polobli (AP +1.3, ML 1.9 in DV 3.4). Oba vsadka sta bila nagnjena 5 stopinj drug od drugega vzdolž rostralno-kavdalne ravnine. Druga skupina (n = 4) je prejel eno vodilno kanilo, ki cilja na sprednjo cingulatno skorjo (AP +1.6, ML 0.8 in DV 0.8) in drugo ciljno akumulirano (jedro / lupina na nasprotni polobli pri AP +1.6, ML 1.4 in DV 5.5n = 2) ali AP +1.6, ML 1.9 in DV 5.7 (n = 2). Strani implantata so bile uravnotežene pri podganah. Živali so lahko en teden okrevale pred prekvalifikacijo.

Kemikalije

Voda, metanol in acetonitril za mobilne faze so bili Burdick & Jackson HPLC, kupljeni pri VWR (Radnor). Vse druge kemikalije so bile kupljene pri Sigmi Aldrich, razen če ni drugače navedeno. Umetna cerebrospinalna tekočina (aCSF) je vsebovala 145 mM NaCl, 2.68 mM KCl, 1.40 mM CaCl2, 1.01 mM MgSO4, 1.55 mM Na2HPO4 in 0.45 mM NaH2PO4, nastavljen pH na 7.4 z NaOH. Za zmanjšanje oksidacije analitov smo dodali askorbinsko kislino (končna koncentracija 250 nM).

Odvzem vzorcev in HPLC-MS

Na dan testiranja so bile živali nameščene v preiskovalni komori s prižgano hišno lučjo. Po meri izdelane koncentrične mikrodializacijske poliakrilonitrilne membranske sonde (1-mm dializna AN69 membrana; Hospal) so bile dvostransko vstavljene v vodilno kanilo in neprestano perfuzirane (Chemyx, Fusion 400) z aCSF pri 2 µl / min za 90 min, da se omogoči ravnotežje. Potem, ko je 5-min odvzel osnovno črto, se je hišna luč ugasnila in žival je privedla do razpoložljivosti. Odvzem vzorcev se je nadaljeval v intervalih 1-min in vzorci so bili takoj derivatizirani54 z 1.5 ul natrijevega karbonata, 100 mM; 1.5 µl benzoil klorida (2% (v / v) benzoil klorida v acetonitrilu); in 1.5 µl izotopsko označene zmesi notranjega standarda, razredčene v 50% (v / v) acetonitrila, ki vsebuje 1% (v / v) žveplove kisline, in dodane z deutiranim ACh in holinom (C / D / N izotopi) do končne koncentracije 20 nM. Zbiranje serij vzorcev se je menjavalo med sondama v 30-sekundnih intervalih v vsaki od 26 sej, razen ene seje, pri kateri je zlomljena membrana povzročila le eno serijo (skupaj 51 serij vzorcev). Vzorci so bili analizirani z uporabo sistemov Thermo Scientific UHPLC (Accela ali Vanquish Horizon, povezani s Quantum Ultra trojnim kvadrupolnim masnim spektrometrom, opremljenim s sondo HESI II ESI), ki delujejo v sistemu za spremljanje več reakcij. Pet mikrolitrov vzorcev smo vbrizgali v kolono Phenomenex z lupino bifenil Kinetex HPLC (2.1 mm × 100 mm). Mobilna faza A je bila 10 mM amonijevega formata z 0.15% mravljične kisline, mobilna faza B pa acetonitril. V mobilni fazi smo dobili gradient elucije pri 450 µl / min, kot sledi: začetno, 0% B; 0.01 min, 19% B; 1 min, 26% B; 1.5 min, 75% B; 2.5 min, 100% B; 3 min, 100% B; 3.1 min, 5% B; in 3.5 min, 5% B. Termo Xcalibur QuanBrowser (Thermo Fisher Scientific) je bil uporabljen za samodejno obdelavo in integracijo vrhov. Vsakega od> 100,000 vrhov smo vizualno pregledali, da smo zagotovili pravilno integracijo.

Analiza

Vsi podatki o nevrokemični koncentraciji so zglajeni s tritočkovnim drsečim povprečjem (y′ = [0.25 × (y-1) + 0.5y + 0.25 × (y+ 1)]) in z-rezultat, normaliziran v vsaki seji, da olajša primerjave med sejami. Za vsako ciljno regijo je bil za vsako sejo ustvarjen navzkrižni korelogram in izrisano povprečje sej. Za vsak podplos so bile ustvarjene enodstotne meje zaupanja s 100,000-kratnim premeščanjem ene časovne serije in generiranjem porazdelitve korelacijskih koeficientov za vsako sejo. Z uporabo regresijske funkcije v MATLAB so bili ustvarjeni večkratni regresijski modeli, pri čemer je bila nevrokemična spremenljivka izida, vedenjske metrike pa napovedovalci. Regresijski koeficienti so bili ugotovljeni pomembni na treh ravneh alfa (0.05, 0.0005 in 0.000005) po Bonferronijevi korekciji za večkratne primerjave (alfa / (21 kemikalij × 7 regij × 9 vedenjskih regresorjev)). Za analizo blokovskih prehodov so bili podatki razdeljeni v 3-minutne epohe, pri čemer se je vzorec, ki je vključeval prehodni čas, zavrgel.


Elektrofiziologija

Podgane (n = 25) so bili implantirani po meri zasnovanih pogonskih optrod, od katerih je vsaka sestavljena iz 16 tetrod (izdelanih iz 12.5 µm nikromske žice, Sandvik), prilepljenih na stran 200 µm optičnega vlakna in segajočih do 500 µm pod konico vlaken. Med isto operacijo smo v bočno jedro VTA (AP 1, ML 2, DV 5) ali NAc (AP 1, ML 2, DV 134) vbrizgali 5.6 µl AAV0.8 / 7.5-EF1.6a-DIO-ChR1.6 (H6.4R) -EYFP. . Širokopasovni (1–9,000 30,000 Hz) možganski signali so bili vzorčeni (80 XNUMX vzorcev na s) z uporabo Intan digitalnih oder. Optrode so bile na koncu vsakega snemanja znižane za vsaj XNUMX µm. Posamezne enote so bile izolirane brez povezave z uporabo MATLAB implementacije MountainSort55 čemur sledi skrben ročni pregled.

Razvrstitev

Za ugotavljanje, ali je bila izolirana enota VTA-l dopaminergična (TH+), uporabili smo test zakasnitve, ki je povezan z dražljaji56. Na kratko, na koncu vsake poskusne seje smo optrodo povezali z lasersko diodo in oddali svetlobne impulzne vlake različnih širin in frekvenc. Da bi enota prepoznala kot odzivno na svetlobo, bi morala doseči stopnjo pomembnosti P <0.001 za impulzne vlake 5 ms in 10 ms. Primerjali smo tudi valovne oblike, ki jih povzročajo svetlobe (znotraj 10 ms od začetka laserskega impulza), in povprečja za celotno sejo; vse enote z lučjo so imele Pearsonov koeficient korelacije> 0.9. Dopaminski nevroni so bili uspešno zabeleženi pri štirih podganah z infuzijami VTA-l AAV (IM657, 1 enota; IM1002, 3 enote; IM1003, 15 enot; IM1037, 9 enot) in ene podgane z NAc jedrom AAV (IM-1078, 2 enoti) . Najvišja širina je bila definirana kot polna širina na polovici maksimuma najvidnejše negativne komponente poravnane, povprečene konice valov. Neoznačeni nevroni VTA s hitrostjo sprožitve v celotni seji> 20 Hz in širino vrha <200 µs so bili razvrščeni kot nedopaminske celice. Da bi zagotovili primerjavo dopaminskih in nedopaminskih celic v istih podregijah, smo analizirali le nedopaminske celice, zabeležene med sejami, z vsaj eno optično označeno dopaminsko celico.

Analiza

Napake spike so bile zaznane s konvencionalnim pristopom "80 / 160"57: vsakič, ko pride do intervala med konicami 80 ms ali manj, se te in naslednje konice štejejo za del porušitve, dokler ni interval 160 ms ali več. Za primerjavo 'toničnega' streljanja in stopnje nagrajevanja so v 1-minutnih zabojih prešteli konice dopamina. Da bi preučili hitrejše spremembe, so bile funkcije gostote konic izdelane z vrtljivimi konicami z Gaussovim jedrom z varianco 20 ms. Da bi ugotovili, kako hitro se je nevron odzval na določeno iztočnico, smo uporabili 40-ms zaboje (drsanje v korakih po 20 ms) in uporabili preskus premešanja (10,000 premešanj) za vsak časovni zaboj, ki je primerjal hitrost streljanja po nastopu iztoka s hitrostjo streljanja v 250 ms neposredno pred znakom. Prva posoda, pri kateri je bila stopnja žganja po vrvi znatno (P <0.01, popravek za večkratne primerjave), ki je bil večji od izhodiščnega streljanja, se je upošteval kot čas za odziv.

Največja hitrost streljanja je bila izračunana kot največja (zglajena) Gaussova hitrost vsakega preskusa v oknu 250-ms po stranskih vlogah za nagrajene poskuse, dolina pa je bila izračunana kot najmanjša hitrost streljanja v oknu 2-a, začenši eno sekundo po spremljanju neodobrenih preskusov.

Za izračun kota rampe med vedenjem pristopa smo zgladili srednje hitrosti streljanja z Gaussovim jedrom 50-ms, pred vsakim dogodkom zaznali največji / najnižji rezultat signala v oknu 0.5-a (center-in ali food-port-in) ) in izmeril podpisan kot, ki povezuje oba ekstrema. Za primerjavo stopenj odpuščanja v 'visokih' in 'nizkih' nagradnih blokih smo za vsako sejo izvedli srednjo razdelitev povprečne stopnje nagrajevanja neprepustnega integratorja v vsakem bloku.


Voltammetrija in računski model

Prikazani rezultati ciklične voltammetrije s hitrim skeniranjem ponovno analizirajo predhodno predstavljene podatke5. V preizkusnih ocenah vrednosti državne napovedi in napak pri napovedovanju nagrad so bile izračunane po modelu učenja o krepitvi polovičnega Markova odločitve, natančno tako, kot je opisano prej5.


Fotometrija

Za izražanje gensko kodiranega optičnega dopaminskega senzorja dLight smo uporabili virusni pristop15. V anesteziji z izofluranom 1 μl AAV9-CAG-dLight (1 × 1012 virusni genomi na ml; Vektorsko jedro UC Davis) smo počasi (100 nl / min) injicirali (Nanoject III, Drummond) skozi 30 µm stekleno mikropipeto v ventralni striatum dvostransko (AP: 1.7 mm, ML: 1.7 mm, DV: -7.0 mm). Med isto operacijo so bila vstavljena optična vlakna (jedro 400 µm, skupni premer 430 µm), pritrjena na kovinsko obročko (Doric) (ciljna globina 200 µm večja od AAV), in zacementirana. Podatki so bili zbrani> tri tedne kasneje, da se omogoči izražanje dLight.

Za vzbujanje dLight so bile modre (470 nm) in vijolične (405 nm; nadzor) LED sinusno modulirane na različnih frekvencah (211 Hz in 531 Hz)58). Tako vzbujevalni kot emisijski signali, prepuščeni skozi minikubne filtre (dorski), in fluorescenco v razsutem stanju smo merili z vzorčenjem detektorja femtowatt (Newport, model 2151) pri 10 kHz. Demodulacija je povzročila ločena signala 470 nm (dopamin) in 405 nm (nadzor), ki sta bila nato medsebojno merjena z najmanj kvadratnim prileganjem58. Frakcijski fluorescenčni signal (dF/F) je bil nato opredeljen kot (470–405_fit) / 405_fit. Za vse analize je bil ta signal znižan na 50 Hz in izravnan s pettočkovnim srednjim filtrom. Za ločeno predstavitev 470 nm in 405 nm signalov glejte Razširjeni podatki Fig. 7.

Podatki iz umestitve optičnih vlaken so bili vključeni v analize, če je vrh vlaken v NAc in je fluorescenčni odziv na vsaj eno nalogo opravil z-rezultat> 1. Ta merila so izključila eno podgano in dala tri podgane / štiri namestitve (IM1065-levo, IM1066-dvostransko, IM1089-desno) za dLight1.1 in štiri podgane / šest umestitev (IM1088-dvostransko, IM1105-desno, IM1106-dvostransko, IM1107-desno) za dLight1.3b. Podobni rezultati so bili pridobljeni za dLight1.1 in dLight1.3 (razširjeni podatki sl. 7), zato so bili podatki združeni.

Za izračun kota rampe med vedenjem pristopa smo pred vsakim dogodkom (center-in ali food-port-in) zaznali največji / najnižji rezultat signala v oknu 0.5 in izmerili podpisani kot, ki povezuje oba ekstrema.


Afiniteta in molekularna specifičnost dLight1.3b

In vitro meritve so bile izvedene, kot je opisano prej15. Na kratko, celice HEK293T (ATCC CRL # 1573) gojijo in transficirajo s plazmidi, ki kodirajo dlight1.3b, ki jih poganja CMV promotor in sperejo s HBSS (Life Technologies), dopolnjenim s Ca2+ (4mM) in Mg2+ (2 mM) pred slikanjem. Slikanje je bilo izvedeno z uporabo 40-kratnega oljnega objektiva na obrnjenem konfokalnem mikroskopu Zeiss Observer LSN710 z valovnimi dolžinami 488 nm / 513 nm (vzbujanje / oddajanje). Za preizkušanje fluorescenčnih odzivov senzorja so bili nevrotransmiterji neposredno uporabljeni v kopeli med slikanjem s časovnim zamikom, v vsaj dveh neodvisnih poskusih. Titracije dopamina in noradrenalina smo dobili z izvedbo desetkratnih serijskih razredčitev, da smo dosegli osem različnih koncentracij. Vsi drugi nevrotransmiterji so bili testirani v treh zaporednih koncentracijah (100 nM, 1 µM in 10 µM). Vse koncentracije nevrotransmiterjev smo dobili z redčenjem iz 1 mM zaloge v HBSS, pripravljeni sveži. Intenzivnost surove fluorescence iz slikanja s časovnim zamikom je bila količinsko opredeljena na Fidžiju; vsak ROI je bil ročno izrisan na membrani posameznih celic. Sprememba fluorescentne gube (ΔF/F) je bilo izračunano kot F vrh (povprečna intenzivnost fluorescence štirih sličic) - F bazalna (povprečna intenziteta fluorescence štirih okvirjev pred dodatkom ligandov) /F bazalni. Grafe in statistično analizo smo izvedli z uporabo GraphPad Prism 6. Podatkovne točke smo analizirali z eno lokacijsko specifično vezavno krivuljo Kd vrednosti. Na ploskvah s škatlami in viski škatla pokriva razpon 25 do 75% in viski segajo od minimalnih do največjih vrednosti.


Povzetek poročanja

Dodatne informacije o oblikovanju raziskav so na voljo v Povzetek poročanja o naravoslovnih raziskavah povezan s tem prispevkom.

Razpoložljivost podatkov

Virus AAV.Synapsin.dLight1.3b, uporabljen v tej raziskavi, je bil deponiran pri Addgeneu (št. 125560; http://www.addgene.org). Vsi podatki bodo na voljo na spletnem mestu Skupne raziskave v računalniški nevroznanosti (https://doi.org/110.6080/K0VQ30V9).

Razpoložljivost kode

Koda MATLAB po meri je na zahtevo na voljo pri JDB

Dodatne informacije

Opomba založnika: Springer Nature ostaja nevtralna glede trditev o sodnih pristojnostih v objavljenih zemljevidih ​​in institucionalnih povezavah.

Reference

  1. 1.

    Schultz, W., Dayan, P. in Montague, PR Nevronski substrat napovedovanja in nagrade. Znanost 2751593-1599 (1997).

  2. 2.

    Pan, WX, Schmidt, R., Wickens, JR & Hyland, BI Dopaminske celice se odzivajo na predvidene dogodke med klasičnim pogojevanjem: dokazi o sledovih upravičenosti v mreži za učenje nagrad. J. Neurosci. 256235-6242 (2005).

  3. 3.

    Cohen, JY, Haesler, S., Vong, L., Lowell, BB & Uchida, N. Signali za nagrado in kaznovanje v ventralnem tegmentalnem območju, značilni za nevronske tipe. Narava 48285-88 (2012).

  4. 4.

    Steinberg, EE et al. Vzročna povezava med napovednimi napakami, dopaminskimi nevroni in učenjem. Nat. Neurosci. 16966-973 (2013).

  5. 5.

    Hamid, AA in sod. Mesolimbični dopamin signalizira vrednost dela. Nat. Neurosci. 19117-126 (2016).

  6. 6.

    Saunders, BT, Richard, JM, Margolis, EB & Janak, PH Dopaminski nevroni ustvarjajo pavlovske pogojene dražljaje z motivacijskimi lastnostmi, določenimi v krogu. Nat. Neurosci. 211072-1083 (2018).

  7. 7.

    Phillips, PE, Stuber, GD, Heien, ML, Wightman, RM & Carelli, RM Subsekundno sproščanje dopamina spodbuja iskanje kokaina. Narava 422614-618 (2003).

  8. 8.

    Roitman, MF, Stuber, GD, Phillips, PE, Wightman, RM & Carelli, RM Dopamin deluje kot podsekundarni modulator iskanja hrane. J. Neurosci. 241265-1271 (2004).

  9. 9.

    Wassum, KM, Ostlund, SB & Maidment, NT Fazično mezolimbično dopaminsko signaliziranje pred in napove izvedbo naloge samoiniciativnega zaporedja dejanj. Biol. Psihiatrija 71846-854 (2012).

  10. 10.

    Howe, MW, Tierney, PL, Sandberg, SG, Phillips, PE & Graybiel, AM Dolgotrajno signaliziranje dopamina v striatumu signalizira bližino in vrednost oddaljenih nagrad. Narava 500575-579 (2013).

  11. 11.

    Syed, EC et al. Začetek akcije oblikuje mezolimbično dopaminsko kodiranje prihodnjih nagrad. Nat. Neurosci. 1934-36 (2016).

  12. 12.

    Morris, G., Nevet, A., Arkadir, D., Vaadia, E. in Bergman, H. Dopaminski nevroni Midbrain kodirajo odločitve za prihodnje ukrepanje. Nat. Neurosci. 91057-1063 (2006).

  13. 13.

    da Silva, JA, Tecuapetla, F., Paixão, V. in Costa, RM Aktivnost dopaminskega nevrona pred zagonom akcije in poživi prihodnja gibanja. Narava 554244-248 (2018).

  14. 14.

    Fiorillo, CD, Tobler, PN & Schultz, W. Diskretno kodiranje verjetnosti in negotovosti nagrade s strani dopaminskih nevronov. Znanost 2991898-1902 (2003).

  15. 15.

    Patriarchi, T., Cho, JR, Merten, K., Howe, MW et al. Izredno hitro nevronsko slikanje dinamike dopamina z zasnovanimi genetsko kodiranimi senzorji. Znanost 360, eaat4422 (2018).

  16. 16.

    Salamone, JD & Correa, M. Skrivnostne motivacijske funkcije mezolimbičnega dopamina. Nevron 76470-485 (2012).

  17. 17.

    Schultz, W. Napovedni nagradni signal dopaminskih nevronov. J. Neurophysiol. 801-27 (1998).

  18. 18.

    Garris, PA in Wightman, RM Različna kinetika ureja dopaminergični prenos v amigdali, prefrontalni skorji in striatumu: voltametrična študija in vivo. J. Neurosci. 14442-450 (1994).

  19. 19.

    Frank, MJ, Doll, BB, Oas-Terpstra, J. in Moreno, F. Prefrontalni in striatalni dopaminergični geni napovedujejo posamezne razlike pri raziskovanju in izkoriščanju. Nat. Neurosci. 121062-1068 (2009).

  20. 20.

    St Onge, JR, Ahn, S., Phillips, AG & Floresco, SB Dinamična nihanja izliva dopamina v predfrontalni skorji in v jedru v času odločanja na podlagi tveganja. J. Neurosci. 3216880-16891 (2012).

  21. 21.

    Bartra, O., McGuire, JT & Kable, JW Sistem vrednotenja: metaanaliza eksperimentov BOLD fMRI na osnovi koordinat, ki preučujejo nevronske korelate subjektivne vrednosti. Neuroimage 76412-427 (2013).

  22. 22.

    Ikemoto, S. Dopamin nagradno vezje: dva projekcijska sistema od ventralnega srednjega možganov do kompleksa jedra-vohalnega tuberkla. Brain Res. Brain Res. Rev. 5627-78 (2007).

  23. 23.

    Breton, JM et al. Relativni prispevki in preslikava dopamina in nevronov GABA v ventralnem tegmentalnem območju s projekcijskim ciljem pri podganah. J. Comp. Neurol. (2018).

  24. 24.

    Ungless, MA, Magill, PJ & Bolam, JP Enakomerna inhibicija dopaminskih nevronov v ventralnem tegmentalnem območju z averzivnimi dražljaji. Znanost 3032040-2042 (2004).

  25. 25.

    Morales, M. in Margolis, EB Ventralno tegmentalno območje: celična heterogenost, povezanost in vedenje. Nat. Rev. Neurosci. 1873-85 (2017).

  26. 26.

    Morris, G., Arkadir, D., Nevet, A., Vaadia, E. in Bergman, H. Naključna, a različna sporočila dopamina srednjega možganov in striatnih tonično aktivnih nevronov. Nevron 43133-143 (2004).

  27. 27.

    Floresco, SB, West, AR, Ash, B., Moore, H. & Grace, AA Aferentna modulacija sproščanja dopaminskega nevrona različno uravnava tonični in fazni prenos dopamina. Nat. Neurosci. 6968-973 (2003).

  28. 28.

    Grace, AA Disregulacija dopaminskega sistema v patofiziologiji shizofrenije in depresije. Nat. Rev. Neurosci. 17524-532 (2016).

  29. 29.

    Cohen, JY, Amoroso, MW in Uchida, N. Serotonergični nevroni signalizirajo nagrado in kazen v več časovnih okvirih. ELIFE 4, e06346 (2015).

  30. 30.

    Niv, Y., Daw, N. in Dayan, P. Kako hitro delati: moč odziva, motivacija in tonik dopamin. Adv. Inf. Proces. Syst. 181019 (2006).

  31. 31.

    Bayer, HM, Lau, B. in Glimcher, PW Statistika vlakov dopaminskega nevronskega konicnega vlaka v budnem primatu. J. Neurophysiol. 981428-1439 (2007).

  32. 32.

    Chergui, K., Suaud-Chagny, MF & Gonon, F. Nelinearna povezava med impulznim tokom, sproščanjem dopamina in izločanjem dopamina v možganih podgan in vivo. Nevroznanost 62641-645 (1994).

  33. 33.

    Parker, NF in sod. Kodiranje nagrade in izbire v terminalih dopaminskih nevronov srednjega mozga je odvisno od strijnega cilja. Nat. Neurosci. 19845-854 (2016).

  34. 34.

    Menegas, W., Babayan, BM, Uchida, N. in Watabe-Uchida, M. Nasprotno inicializiranje na nove znake v signalizaciji dopamina v ventralnem in zadnjem striatumu pri miših. ELIFE 6, e21886 (2017).

  35. 35.

    Trulson, ME Sočasno snemanje nevronov substantia nigra in voltammetrično sproščanje dopamina v kavratu obnašanja mačk. Brain Res. Bull. 15221-223 (1985).

  36. 36.

    Glowinski, J., Chéramy, A., Romo, R. in Barbeito, L. Presinaptična regulacija dopaminergičnega prenosa v striatumu. Celica. Mol. Neurobiol. 87-17 (1988).

  37. 37.

    Zhou, FM, Liang, Y. in Dani, JA Endogena nikotinska holinergična aktivnost uravnava sproščanje dopamina v striatumu. Nat. Neurosci. 41224-1229 (2001).

  38. 38.

    Threlfell, S. et al. Strijalno sproščanje dopamina sproži sinhronizirana aktivnost holinergičnih internevronov. Nevron 7558-64 (2012).

  39. 39.

    Cachope, R. et al. Selektivna aktivacija holinergičnih internevronov poveča akumbalno fazno sproščanje dopamina: nastavitev tona za predelavo nagrade. Poročila o celicah 233-41 (2012).

  40. 40.

    Sulzer, D., Cragg, SJ & Rice, ME Striatalna dopaminska nevrotransmisija: regulacija sproščanja in privzema. Basal Ganglia 6123-148 (2016).

  41. 41.

    Floresco, SB, Yang, CR, Phillips, AG & Blaha, CD Stimulacija bazolateralne amigdale sproži odtok dopamina, odvisen od glutamatnih receptorjev, v jedru kopičenja anesteziranih podgan. EUR. J. Neurosci. 101241-1251 (1998).

  42. 42.

    Jones, JL in sod. Bazolateralna amigdala modulira končno sproščanje dopamina v jedru in se pogojuje z odzivanjem. Biol. Psihiatrija 67737-744 (2010).

  43. 43.

    Schultz, W. Odzivi nevronov srednjih možganov na vedenjske sprožilne dražljaje pri opicah. J. Neurophysiol. 561439-1461 (1986).

  44. 44.

    Berke, JD Kaj pomeni dopamin? Nat. Neurosci. 21787-793 (2018).

  45. 45.

    Bromberg-Martin, ES, Matsumoto, M. in Hikosaka, O. Izrazita tonična in fazna predvidevalna aktivnost v stranskih habenulah in dopaminskih nevronih. Nevron 67144-155 (2010).

  46. 46.

    Pasquereau, B. in Turner, RS Dopaminski nevroni kodirajo napake pri napovedovanju pojava sprožilca gibanja. J. Neurophysiol. 1131110-1123 (2015).

  47. 47.

    Fiorillo, CD, Newsome, WT & Schultz, W. Časovna natančnost napovedovanja nagrade v dopaminskih nevronih. Nat. Neurosci. 11966-973 (2008).

  48. 48.

    Morita, K. in Kato, A. Striatalno rampanje dopamina lahko kaže na prožno učenje ojačitve z pozabljanjem v kortiko-bazalnih ganglijih. Spredaj. Nevronska vezja 836 (2014).

  49. 49.

    Gershman, SJ Dopaminske rampe so posledica napak pri napovedovanju nagrad. Nevronski računalnik. 26467-471 (2014).

  50. 50.

    Nicola, SM Hipoteza fleksibilnega pristopa: poenotenje napora in hipoteze, ki se odzivajo z vlogo hipoteze dopamina v akumuliranem jedru pri aktiviranju vedenja, ki išče nagrado. J. Neurosci. 3016585-16600 (2010).

  51. 51.

    Paxinos, G. in Watson, C. Možgani podgan v stereotaksičnih koordinatah 5th edn (Elsevier Academic, 2005).

  52. 52.

    Witten, IB in sod. Linija podgan rekombinaze - orodja, tehnike in optogenetska uporaba za ojačitev, ki jo posreduje dopamin. Nevron 72721-733 (2011).

  53. 53.

    Sugrue, LP, Corrado, GS & Newsome, WT Ujemanje vedenja in predstavitev vrednosti v temenski skorji. Znanost 3041782-1787 (2004).

  54. 54.

    Wong, JM in sod. Derivatizacija benzoilklorida s tekočinsko kromatografijo-masno spektrometrijo za ciljno metabolomijo nevrokemičnih snovi v bioloških vzorcih. J. Chromatogr. A 144678-90 (2016).

  55. 55.

    Chung, JE in sod. Popolnoma avtomatiziran pristop k razvrščanju konic. Nevron 951381-1394 (2017).

  56. 56.

    Kvitsiani, D. et al. Izrazita vedenjska in mrežna korelata dveh internevronskih vrst v predfrontalni skorji. Narava 498363-366 (2013).

  57. 57.

    Grace, AA in Bunney, BS Nadzor vzorca streljanja v nigral dopaminskih nevronih: razpočno streljanje. J. Neurosci. 42877-2890 (1984).

  58. 58.

    Lerner, TN in sod. Analize nepoškodovanih možganov razkrivajo različne informacije, ki jih prenašajo SNc dopaminska vezja. Celica 162635-647 (2015).

Prenesite reference

Priznanja

P. Dayan, H. Fields, L. Frank, C. Donaghue in T. Faust se zahvaljujemo za njihove komentarje na zgodnjo različico rokopisa ter V. Hetrick, R. Hashim in T. Davidson za tehnično pomoč in nasvete. To delo so podprli Nacionalni inštitut za zlorabo drog, Nacionalni inštitut za duševno zdravje, Nacionalni inštitut za nevrološke motnje in možgansko kap, Univerza v Michiganu, Ann Arbor in Univerza v Kaliforniji v San Franciscu.

Informacije o recenzentu

Narava zahvaljujem se Margaret Rice in drugim anonimnim recenzentom za njihov prispevek k strokovnemu pregledu tega dela.

Podatki o avtorju

AM je izvedel in analiziral elektrofiziologijo in fotometrijo ter uporabil računski model. JRP je s pomočjo J.-MTW izvedel in analiziral mikrodilizo, nadzor RTKAAH pa je razvil vedenjsko nalogo in začetno nastavitev fotometrije ter opravil voltammetrijo. LTV je opravil retrogradno sledenje in analizo. TP in LT sta razvila senzor dLight in si delila strokovno znanje. JDB je zasnovala in nadzirala študijo ter napisala rokopis.

Konkurenčni interesi

Avtorji ne razkrivajo nobenih konkurenčnih interesov.

Korespondenca z Joshua D. Berke.