Disociační dynamika dopaminu pro učení a motivaci (2019)

https://www.nature.com/articles/s41586-019-1235-y

Abstraktní

Dopaminová projekce z ventrální tegmentální oblasti (VTA) do nucleus accumbens (NAc) je zásadní pro motivaci pracovat pro odměny a učení založené na odměnách. Jak dopamin podporuje obě funkce, není jasné. Dopaminování buněčných buněk dopaminu může zakódovat chyby predikce, což jsou zásadní signály učení ve výpočetních teoriích adaptivního chování. Naproti tomu uvolňování dopaminu narůstá, jak se zvířata přibližují k odměnám, což odráží očekávání odměny. Tento nesoulad může odrážet rozdíly v behaviorálních úkolech, pomalejší změny v dopaminových buňkách nebo modulace uvolňování dopaminu nezávislou na špičce. Zde porovnáváme stouply identifikovaných VTA dopaminových buněk s uvolňováním NAc dopaminu ve stejné rozhodovací úloze. Podněty, které označují nadcházející odměnu, se zvýšily jak urychlením, tak uvolněním. Uvolňování NAc jádra dopaminu však také kolísalo s dynamicky se vyvíjejícími očekáváními odměny, aniž by došlo k odpovídajícím změnám v nárůstu dopaminových buněk VTA. Naše výsledky naznačují zásadní rozdíl v tom, jak je regulováno uvolňování dopaminu, aby se dosáhlo odlišných funkcí: signály roztržení vysílání podporují učení, zatímco místní řízení motivuje.

Hlavní

Dopamin je skvěle spojen s „odměnou“ - ale jak přesně? Jedna funkce zahrnuje učení se od neočekávaných odměn. Krátké zvýšení palby dopaminových buněk kóduje chyby predikce odměn (RPE)1,2,3—Naučovací signály pro optimalizaci budoucího motivovaného chování. Manipulace s dopaminem mohou ovlivnit učení, jako by měnily RPE4,5,6, ale také okamžitě ovlivňují motivovaná chování, jako by dopamin signalizoval očekávání odměny (hodnota)5. Kromě toho NAc dopamin eskaluje během motivovaného přístupu, v souladu s hodnotou kódování dopaminu7,8,9,10,11.

Až na několik výjimek2,12,13, vypalování dopaminu midbrain bylo zkoumáno během klasického kondicionování u zvířat s fixací hlavy3,14, na rozdíl od uvolňování dopaminu předního mozku. Proto jsme porovnávali střelbu s uvolněním za stejných podmínek. Identifikovali jsme dopaminové neurony VTA pomocí optogenetického značení3,13. K měření uvolňování dopaminu NAc jsme použili tři nezávislé metody - mikrodialýza, voltametrie a optický senzor dLight15- s konvergentními výsledky. Náš primární závěr je, že ačkoli RTA měřítko VTA dopaminových špiček poskytuje náhlé změny v uvolňování dopaminu vhodné pro učení, samostatné NAc dopaminové fluktuace spojené s motivací vznikají nezávisle na vypalování dopaminových buněk VTA.

Dopamin sleduje motivaci v klíčových lokusech

Cvičili jsme krysy v operním úkolu bandita5 (Obr. 1a, b). U každého pokusu osvětlení portu s nosem („Light-on“) vedlo k přiblížení a vstupu („Center-in“). Po proměnlivé době zdržení (0.5–1.5 s) vedl bílý šum („Go cue“) krysu k ústupu („Center-out“) a vystrčení sousedního portu („Side-in“). Na zkouškách s odměnou byla tato akce Side-in doprovázena klikáním na násypku jídla, které přimělo krysu, aby se přiblížila k potravinovému portu („Food-port-in“), aby shromáždila cukrovou peletu. Levá i pravá volba byly odměněny nezávislými pravděpodobnostmi, které se občas bez varování měnily. Když krysy častěji dostávaly odměny, byly více motivovány k provedení úkolu. To bylo patrné z jejich „latence“ - času mezi rozsvícením a vycentrováním-což bylo citlivé na výsledek několika předcházejících pokusů (Extended Data Obr. 1) a tím nepřímo měřítko odměnou (obr. 1b).

Obr. 1: Dopaminy uvolňují covaries s odměnou specificky v jádru NAc a ventrální předimbické kůře.
figure1

a, Bandit-task events. b, Příklad relace. Horní řada, pravděpodobnosti odměn v každém bloku (vlevo: vpravo); řádek dva, zaškrtnutí označují výsledek každého hodnocení (vysoký, odměněný; krátký, bez odměny); řádek tři, odhad propustnosti integrátoru (černá) a klouzavý průměr latence (azurová; stupnice obráceného logu); spodní řádek, NAc jádrový dopamin ve stejné relaci (1minutové vzorky). DA, dopamin. c, Top, mikrodialýza v mediální frontální kůře a striatu (viz také rozšířená data Obr. 1). n = 51 umístění sondy od 12 krys, každá se 2 mikrodialyzačními sondami, které byly mezi relacemi sníženy. Barva sloupce označuje korelaci mezi dopaminem a mírou odměny. ACC, přední cingulární kůra; dPL, hřbetní prelimbická kůra; vPL, ventrální prelimbická kůra; IL, infralimbická kůra; DMS, dorzálně-mediální striatum. Střední průměrované křížové korelogramy mezi dopaminem a mírou odměny. Červené pruhy označují 99% interval spolehlivosti ze zamíchané časové řady. Spodní část, vztahy mezi neurochemikáliemi a míra odměny (vícenásobná regrese). NA, noradrenalin; 5-HT, serotonin; ACh, acetylcholin; GABA, kyselina y-aminomáselná; Glu, glutamát; NM, normetadrenalin; DOPAC, kyselina 3,4-dihydroxyfenyloctová; 3-MT, 3-methoxytyramin; HVA, kyselina homovanilová; 5-HIAA, 5-hydroxyindoloctová kyselina. dVliv blokových přechodů na míru odměny (vlevo), latence (uprostřed) a dopaminového jádra NAc (vpravo). Přechody byly klasifikovány podle toho, zda se zvýšila zkušební sazba (n = 25) nebo sníženo (n = 33). Data pocházejí ze všech 14 relací, ve kterých byl měřen dopamin jádra NAc (jedna na krysu, kombinující data z nových a dříve hlášených)5 zvířata) a vyneseny jako průměr ± sem e, Složené mapy korelace mezi dopaminem a odměnou (n = 19 krys, 33 sezení, 58 umístění sondy). Obrysy atlasu mozku na tomto obrázku byly reprodukovány se svolením Paxinos a Watson, 200551.

Dříve jsme ohlásili5 korelace mezi uvolňováním dopaminu NAc a mírou odměny, v souladu s motivační úlohou mezolimbického dopaminu16. Zde jsme se nejprve zaměřili na to, abychom zjistili, zda je tento vztah pozorován ve všech cílech předního mozku, v souladu s „globálně vysílanou“ dopaminovou signalizací17, nebo je omezeno na konkrétní podoblasti. Dále jsme předpokládali, že tato dynamika dopaminu se bude lišit mezi striatem a kůrou, protože tyto struktury mají výraznou kinetiku absorpce a degradace dopaminu18 a může používat dopamin pro odlišné funkce19,20.

Pomocí mikrodialýzy s vysokoúčinnou kapalinovou chromatografií - hmotnostní spektrometrií (HPLC – MS) jsme zkoumali střední čelní kůru a striatum (Obr. 1c, Rozšířená data Obr. 1). Současně jsme testovali neurotransmitery a metabolity 21 s časovým rozlišením 1-min a pomocí regrese jsme porovnávali chemické časové řady s behaviorálními proměnnými (Extended Data Obr. 2).

Na rozdíl od jiných neurotransmiterů jsme replikovali korelaci mezi odměnou a NAc dopaminem (Obr. 1c, d). Tento vztah však byl lokalizován do jádra NAc a nedržel se ve skořápce NAc nebo v dorzálně-mediálním striatu. Na rozdíl od naší hypotézy jsme pozorovali podobný prostorový vzorec ve frontální kůře: uvolňování dopaminu korelovalo s mírou odměny ve ventrálním předimbickém kortexu, ale ne ve více dorzálních nebo ventrálních podoblastech (Obr. 1c, e). Ačkoli neočekávané, tyto dvojité „horké body“ uvolňování dopaminu závislé na hodnotě mají zajímavou paralelu v lidském neuroimagingu: signál závislý na hladině kyslíku v krvi koreluje se subjektivní hodnotou, konkrétně v NAc a ventrálně-mediální prefrontální kůře21.

Palba VTA nesouvisí s motivací

Dále jsme se zabývali tím, zda tento dopamin dopaminu související s motivací pochází z proměnlivého odpalování dopaminových buněk midbrainu. Jádro NAc přijímá dopaminový vstup z postranních částí VTA (VTA-l)6,22,23. U myší s fixovanou hlavou mají dopaminové neurony VTA-1 údajně jednotné reakce podobné RPE na kondicionované podněty3. Abychom zaznamenali dopaminové buňky VTA-1, infikovali jsme VTA adeno-asociovaným virem (AAV) pro Cre-dependentní expresi channelrhodopsinu (AAV-DIO-ChR2) u potkanů, které exprimují Cre rekombinázu pod promotorem tyrosinhydroxylázy (TH) (viz viz. Metody). Optrody (obr. 2a, b) zaznamenaly odezvy jednotlivých jednotek na krátké modré laserové impulzy (obr. 2c, Rozšířené údaje Obr. 3, 4, Doplňkový obrázek 1). Našli jsme 27 dobře izolované VTA-1 buňky se spolehlivými krátkodobými špičkami a identifikovali jsme je jako dopaminové neurony.

Obr. 2: Aktivita identifikovaných dopaminových neuronů VTA se nemění sazbou odměny.
figure2

a„Vlevo, schéma optrody s 16 tetrodami o průměru optického vlákna o průměru 200 μm. Vpravo, příklad umístění optrode v bočním VTA. Měřítko, 1 mm. Červený, dopaminový buněčný marker tyrosin hydroxyláza; zelená, ChR2 – EYFP; žlutá, překrytí. Pro všechna umístění viz Rozšířená data Obr. 3. b, Hroty dopaminových buněk VTA. Červené pruhy označují detekované shluky a počet špiček v každém shluku (viz Metody). Stupnice, 0.5 s, 0.5 mV. cPříklad neuronové odpovědi na laserové pulzy s rostoucí dobou trvání. d, Rychlost střelby po celé relaci versus šířka hrotu (na polovinu maxima) pro každou buňku VTA. Modré, značené dopaminové buňky; fialová, zřetelná skupina předpokládaných nepaminových neuronů. Vložky, příklady průměrných průběhů (záporné napětí nahoru). eRychlost střelby (modrá, 1minutové koše) neuronu VTA dopaminu během úlohy banditů. Latence (azurová) se mění s mírou odměny, ale rychlost střelby nikoli. f, Rychlost vypalování pro všechny neurony VTA (modrá, dopamin; fialová, nep dopaminová; šedá, nezařazená) v blocích s nízkou versus vysokou odměnou. Žádný z nich nevykazoval významné rozdíly (Wilcoxon podepsal test pořadí s použitím zásobníků 1-min, všechny P > 0.05 po opravě pro více srovnání). gPrůměrná vzájemná korelace mezi odpalováním dopaminových buněk a mírou odměny nevykazuje žádný významný vztah. hAnalýza rychlosti vypalování dopaminu při blokových přechodech (stejný formát jako na Obr. 1d). n = 95 zvýšení odměny, 76 snížení. i. Rozložení intervalů mezi hroty (ISI, vlevo) a výkyvy hrotů (vpravo) se mezi bloky s vyšší a nižší odměnou nezmění (Kolmogorov – Smirnovova statistika: ISI, 0.138, P = 0.92; dávky, 0.165, P = 0.63 XNUMX).

Všechny dopaminové neurony byly tonicky aktivní s relativně nízkou rychlostí střelby (průměr 7.7 Hz, rozmezí 3.7–12.9 Hz; ve srovnání se všemi neurony VTA-l zaznamenanými společně s dopaminovými buňkami, P <0.001 jednostranný Mann – Whitneyův test). Měli také delší průběhy špičkových vln (P <5 × 10-6, jednostranný Mann – Whitney test), i když existují výjimky (Obr. 2d), který potvrzuje, že doba trvání vlny je nedostatečným markerem dopaminových buněk in vivo3,24. Zřetelný shluk neuronů VTA-l (n = 38, ze stejných relací) s krátkými průběhy vln a vyššími rychlostmi střelby (> 20 Hz; průměr 41.3 Hz, rozsah 20.1–97.1 Hz) neobsahovaly žádné značené dopaminové buňky. Předpokládáme, že tyto rychle spalující buňky jsou GABAergní a / nebo glutamatergické3,25a označte je níže jako „non-dopamin“.

Zaznamenali jsme stejné dopaminové buňky napříč několika behaviorálními úkoly. Buňky dopaminu VTA-l silně reagovaly na náhodně načasovaná kliknutí na jídlo a postupně méně silně, když byla tato kliknutí díky předběžným narážkám lépe předvídatelná (Extended Data Obr. 5). To je v souladu s kanonickým RPE-like kódováním dopaminovými buňkami v Pavlovianových úlohách2,3,26.

Na základě důkazů od anestetizovaných zvířat se dříve tvrdilo, že změněné hladiny dopaminu měřené mikrodialýzou vznikají ze změn rychlosti tonického vypalování dopaminových buněk27 a / nebo podíl aktivních versus neaktivních dopaminových neuronů28. Avšak v úkolu banditů bylo tonické dopaminové vypalování buněk v každém bloku pokusů lhostejné k míře odměny (Obr. 2e, g). Mezi bloky s vyššími a nižšími odměnami nedošlo k žádné významné změně rychlosti střelby jednotlivých dopaminových buněk ani jiných VTA-l neuronů (Obr. 2f, h; viz také ref. 29 pro shodné výsledky u myší s fixovanou hlavou). Rovněž nedošlo k žádné celkové změně rychlosti, jakou dopaminové buňky střílejí hroty (Obr. 2i). Kromě toho jsme nepozorovali žádné dopaminové buňky přepínající mezi aktivním a neaktivním stavem. Poměr času stráveného dopaminovými buňkami (dlouhé intervaly mezi hroty) byl velmi nízký a mezi bloky s vyšší a nižší odměnou se nezměnil (Obr. 2i).

Anatomie projekce dopaminu VTA – NAc byla intenzivně zkoumána6,22,23, ale - vzhledem k tomuto zjevnému funkčnímu nesouladu mezi odpálením a uvolněním - jsme znovu potvrdili, že nahráváme ze správné části VTA. Malé injekce retrográdního značkovacího toxinu cholery toxinu B (CTb) do jádra NAc vedly k hustému značení TH+ neurony ve stejné oblasti VTA-l jako naše optrodové záznamy (Extended Data Obr. 3). V přibližné zóně záznamu je 21% TH+ buňky byly také CTb+, a to bude pravděpodobně podceňovat frakci dopaminových buněk VTA-1 s promítáním jádra NAc, protože naše stopovací injekce zcela nenaplnily jádro NAc. Takže náš vzorek n = 27 značených VTA dopaminových buněk (plus mnoho dalších neoznačených buněk) téměř určitě zahrnuje NAc jádrové projektující neurony. Nakonec jsme u dalšího potkana zaznamenali dva značené dopaminové buňky VTA-XNUMX po selektivní infuzi AAV do jádra NAc (Extended Data Obr. 3). Obě retrográdně infikované buňky měly vypalovací vzorce, které se ve všech ohledech velmi podobaly ostatním označeným dopaminovým buňkám, včetně nedostatku změn tonického vypalování s různou mírou odměny (Doplňkový obrázek 1). Došli jsme k závěru, že změny v tonickém vypalování dopaminových buněk VTA-l nejsou odpovědné za změny související s motivací v uvolňování dopaminu v předním mozku.

Sledování vydání ve více časových intervalech

Uvolňuje dopamin NAc sledování míry odměny per se, jak je naznačeno v některých teoriích30, nebo je tato korelace vedena dynamickými výkyvy v uvolňování dopaminu, které jsou příliš rychlé na to, aby se vyřešily mikrodialýzou? Obhajovali jsme druhou možnost na základě údajů o voltammetrii5, ale hledali potvrzení pomocí nezávislého měření uvolňování dopaminu, které může pokrývat různé časové úseky. Sada geneticky kódovaných optických dopaminových indikátorů dLight1 byla zkonstruována vložením cirkulárně permutované GFP do dopaminových D1 receptorů15. Vazba dopaminu způsobuje vysoce specifické zvýšení fluorescence (Obr. 3a). Infuzovali jsme AAV do NAc, abychom exprimovali buď dLight1.1 (čtyři ověřená umístění NAc od tří krys), nebo jasnější variantu dLight1.3b (šest ověřených umístění NAc od čtyř krys) a sledovali fluorescenci pomocí fotometrie vláken. Pozorovali jsme jasné NAc dopaminové reakce na Pavlovian odměny prediktivní odměny, podobně jako při vypalování dopaminových buněk VTA (Extended Data Obr. 5).

Obr. 3: Překlenovací časové limity měření dopaminu.
figure3

a, Fluorescenční odezva dLight1.3b. Inset, titrace dopaminu (n = 15 regionů zájmu (ROI)) a noradrenalin (n = 9). Hlavní postava, neurotransmitery aplikované v lázni (všechny n = 12 ROI). Jeho, histamin. b, Ukázka relace banditů včetně normalizovaného NAc dLight1.3b signálu (1-min přihrádky). c, dLight signál se mění s blokovými přechody. n = 35 odměn se zvyšuje, 45 snižuje. d, Křížová korelace mezi dLight a odměnou. e, Bližší pohled na stínovanou část b. Šipky: černé, se středovým nosem; světle červená, Side-in (odměna); světle modrá, Side-in (bez odměny); tmavě červená, Food-port-in (odměna); tmavě modrá, Food-port-in (bez odměny). Další řádky: netěsný integrátor odhad míry odměny; dLight při nízkém rozlišení (1 min); dLight při vysokém rozlišení (50 Hz, zelená; pětibodový filtr s mediánem, černá); hodnoty stavu modelu (azurová); a RPE (purpurová). Po několika nevděčených studiích jsou stavové hodnoty na začátku studie nízké, poté doručení odměny vyvolá pozitivní RPE a doprovází prudký nárůst dopaminu. Postupné odměněné studie snižují RPE, ale zvyšují hodnoty stavu doprovázené narůstajícím dopaminem. f„Krátké časové korelace ukazují úzký vztah mezi dLight a hodnotou a menší vztah k RPE. g„V rámci pokusu korelace mezi proměnnými modelu a dLight s různými zpožděními; korelace k hodnotě i RPE je nejsilnější k dLight asi o 0.3 s později. h„Ve všech relacích byla maximální korelace vyšší pro hodnotu než pro RPE nebo sazbu odměny.

Pro úkol banditů jsme nejprve zkoumali signál dLight v koších 1-min (Obr. 3b) pro srovnání s mikrodialýzou. Znovu jsme viděli jasný vztah mezi uvolňováním dopaminu NAc a mírou odměny, a to jak v křížové korelaci, tak v analýze blokových přechodů (Obr. 3c, d). Dále jsme podrobněji zkoumali, jak tento vztah vzniká. Spíše než pomalu se měnící v časovém měřítku minut, signál dLight vykazoval vysoce dynamické fluktuace uvnitř a mezi každou zkouškou (Obr. 3e). Tyto fluktuace jsme porovnali s hodnotami okamžitého stavu a RPE odhadovanými z modelu posilování a učení (proces rozhodování semi-Markov)5). Jak bylo dříve hlášeno pomocí voltametrie5, moment dopředu NAc dopamin vykazoval silnou korelaci s hodnotami stavu (Obr. 3f), viditelné jako stoupající během pokusů, kdy se očekávaly odměny (Obr. 3e). Také jsme zaznamenali přechodné zvýšení s méně očekávanými odměnami, které jsou v souladu s RPE (zkoumáno níže). V každé relaci dLight vykazoval dopamin silnější korelaci s hodnotami než RPE nebo míra odměny (Obr. 3h, Rozšířená data Obr. 6). Korelace s hodnotami stavu a RPE byly maximální s ohledem na signál dLight o 0.3 s později, v souladu s krátkým zpožděním způsobeným neurálním zpracováním podnětů a dobou odezvy senzoru (obr. 3g; u voltametrie jsme zaznamenali zpoždění 0.4–0.5 s)5.

Dopaminová palba nevysvětluje uvolnění

Dále jsme porovnávali vypalování a uvolňování dopaminových buněk kolem událostí banditů. Externí podněty při rozsvícení, go cue a odměněné Side-in (cvaknutí násypky) každý vyvolaly prudký nárůst palby (Obr. 4a). Tyto reakce byly pozorovány u velké většiny dopaminových buněk (Obr. 4c), ačkoli relativní velikost odpovědí na různé narážky se lišila od buňky k buňce (Doplňkový obrázek 1). Signál NAc dLight také rychle a spolehlivě reagoval na každou z těchto význačných podnětů (Obr. 4b, c), v souladu s výbuchem dopaminových buněk, které řídí uvolňování dopaminu.

Obr. 4: Fázické vypalování dopaminu VTA nezohledňuje dynamiku dopaminu NAc.
figure4

a, Aktivita VTA-1 dopaminových buněk přizpůsobená událostem. Špičkové špičkové rastry pro jednu reprezentativní buňku; dolní, průměrná hodnota špice (n = 29). Ve všech panelech indikují pásma chyby ± sem b, NAC dLight se zaměřením na události. Nahoru, reprezentativní zasedání; dolní, průměr (n = 10), normalizováno na maximální odměnu Side-in odezvy. Na tomto obrázku jsou dLight signály zobrazeny ve vztahu k „základní“ epochě 2 s končící 1 s před středem. Zvýšení not (šipky) krátce před Center-in a Food-port-in. cKumulativní rozdělení času potřebného pro dopaminové buňky (pevná látka; n = 29), dLight (přerušovaná; n = 10), ke zvýšení následných startů tága (test náhodného přehrávání ve srovnání s výchozí hodnotou, 10,000 XNUMX náhodných P <0.01, opraveno více srovnání). Pro Light-on, pouze latence <1 s v ceně; pro Side-in pouze odměněné zkoušky. Medián latence (od sigmoid fit): Light-on, střelba 152 ms, dLight 266 ms; Přejít na start, střelba 67 ms, dLight 212 ms; Side-in, střelba 85 ms, dLight 129 ms. Nepopaminové buňky byly obvykle lhostejné k počátečnímu náběhu (rozšířená data, obr. 8). dVýrazné uvolnění dopaminu související s přístupem. Horní, průměrné vypalování dopaminových buněk (n = 29); střední, průměrná dLight (n = 10); dno, voltametrie (n = 6), normalizováno na špičkovou krátkou latenci odezvy na světlo. Levé panely, latence <1 s, vpravo, latence> 2 s. Data jsou zarovnána na Light-on (plná) nebo Center-in (tečkovaná); červená přerušovaná čára, střední latence. U delších latencí nedochází ke zvýšení střelby poblíž Center-in, ale dLight a voltametrie vykazují výrazný nárůst. e, Scatterův graf porovnávající vrcholové signály zarovnané na Light-on (y osa) nebo Center-in (x osa). Pro každou buňku linky spojené s relací označují data pro odlišné rozsahy latence (<1 s,> 2 s). Dopaminová palba (nahoře) trvale ukazuje odezvu na světlo u zkoušek s krátkou latencí (obousměrná analýza rozptylu (ANOVA), zarovnání × interakce latence, F = 7.47, P = 0.0008). Signály dLight (uprostřed), voltametrie (dole) jsou trvale lépe srovnány se středem (obousměrná ANOVA pro dLight: zarovnání × latence interakce, F = 9.28, P = 0.0043 XNUMX). fDopamin se zvyšuje při přibližování, kvantifikovaný jako úhel rampy (viz Metody). Kruhy označují jednotlivé dopaminové buňky (n = 29), relace dLight (n = 10 XNUMX).

Také jsme viděli jasné zvýšení uvolňování dopaminu NAc, když se krysy přiblížily ke startovnímu portu (těsně před Center-in) a potravinovému portu (těsně před Food-port-in). To dobře odpovídá rozsáhlé voltametrické literatuře, která ukazuje, že chování s motivovaným přístupem je doprovázeno rychlým nárůstem dopaminu v jádru NAc5,7,8,9,10,11. Populace buněčných dopaminových buněk VTA-1 však v těchto časech neprokázala odpovídající nárůst palby (Obr. 4a; viz Rozšířená data Obr. 7 pro další srovnání, včetně buněk bez dopaminu).

Abychom lépe disociovali aktivitu dopaminu vyvolanou tágem a související s přístupem, oddělili jsme pokusy krátkou (<1 s) a dlouhou (> 2 s) latencí (obr. 4d, e). Zvýšení vypalování dopaminových buněk bylo důsledně blokováno na začátku startu při Light-on, přednostně pro krátkodobé testy. Všechny dopaminové buňky 25 se signifikantním zvýšením rychlosti vypalování po rozsvícení byly lépe vyrovnány se rozsvícením než vycentrování (Obr. 4e). Naproti tomu zvýšení uvolňování dopaminu NAc před Center-in bylo odlišné od uvolňování dopaminu vyvolaného narážkou (Obr. 4d, e). dLight signály se neustále zvyšovaly před Cent-in na dlouhotrvajících pokusech (deset z deseti sezení) a před vstupem do jídla (devět z deseti sezení), bez odpovídajícího zvýšení palby dopaminem (Obr. 4f).

Nakonec jsme zvážili, jak dopaminové signály související s událostí závisejí na nedávné historii odměňování. Během první části každého pokusu nebylo vypalování dopaminových buněk závislé na míře odměny (Obr. 5a), navzdory vlivu odměn na motivaci (obr. 5b). Následně byla fázová odezva na tágo odměn na Side-in spolehlivě silnější, když byla míra odměny nižší (obr. 5a), v souladu s pozitivním kódováním RPE. Když byla tato odměna vynechána, dopaminové buňky přestaly střílet, ačkoli kódování negativních RPE bylo mnohem slabší nebo chybějící, ať už byly zkoumány na úrovni populace (Obr. 5a, b) nebo jako jednotlivé buňky (Extended Data Obr. 8). Již dříve bylo navrženo, že negativní RPE jsou kódovány v době dopaminových pauz31, ale toto bylo pozorováno pouze u 2 z 29 jednotlivých neuronů. Podobné výsledky byly získány, pokud bylo očekávání odměny odhadnuto jinými způsoby, včetně modelů učení založených na zkušebním posílení (herec-kritik a Q-učení) nebo jednoduše spočítáním nedávných odměn (Extended Data Obr. 8).

Obr. 5: Historie odměn ovlivňuje vypalování dopaminových buněk VTA a uvolňování dopaminu NAc odlišně.
figure5

a, Top, průměrné rychlosti vypalování dopaminových buněk (n = 29) zarovnáno na Side-in, rozděleno podle míry odměny (terciles, počítáno zvlášť pro každou buňku). Před aktivitou Side-in nezávisí aktivita na očekávání odměny. Po Side-in odměněném (červeném) a neodměněném (modrém) jsou zkoušky zobrazeny samostatně. Odezva kliknutí na jídlo je silnější, když je míra odměny nízká, což je v souladu s kódováním pozitivních RPE. Dno, zlomek jednotlivých dopaminových buněk s rychlostí střelby, která se významně mění s mírou odměny v každém okamžiku (náhodný test, P <0.01, opraveno více srovnání). Značky nahoře označují časy, kdy byl tento zlomek výrazně vyšší než náhoda (binomická, P <0.01). Po Side-in jsou testovány pouze negativní korelace - tj. Potenciální RPE kódování. b, Regresní grafy pro relace se zaznamenanými dopaminovými buňkami, ukazující účinek nedávné historie odměn na (log-) latenci (nahoře) a dopaminový nárůst. Hvězdičky označují významné regresní hmotnosti (t-test, P <0.05). Během 0.5 s před narážkou Go (zatímco krysa musí udržovat stálý výběžek v nose, aby mohla pokračovat) není dopaminový šplhání ovlivněn historií odměny (uprostřed). To se změní, jakmile je odhalen výsledek (dole; hodnocení vrcholu nebo koryta aktivity za 0.5 s po Side-in), ale pouze u testů s odměnou. c, d, Stejné jako výše, s výjimkou dLight (normalizováno na maximální reakci Side-in). Uvolňování dopaminu spolehlivě škáluje odměnu dokonce ještě před Side-in.

Uvolnění dopaminu na Side-in také ukázalo jasné, přechodné kódování pozitivních RPE, ale nikoli negativních RPE (Obr. 5c, d). Tato odezva dLight byla ve srovnání s palbou mírně zpožděna a prodloužena, což odpovídá času potřebnému k uvolnění a zpětnému vychytávání32, ale zůstal podsekundovým jevem. Na rozdíl od střelby však byly signály dLight na začátku každé studie větší, když byly nedávné zkoušky odměněny (Obr. 5c), v souladu s kódováním hodnot. Pozorovali jsme tuto závislost na historii odměn, i když se krysa aktivně nepohybovala, ale během čekání na narážku Go udržovala nos ve středu portu (obr. 5d). Celkově jsme dospěli k závěru, že uvolňování dopaminu NAc odráží jak podněty vyvolané, tak očekávání odměny, a že pouze první z nich může být dobře vysvětleno vypalováním dopaminových buněk VTA-l.

Diskuse

VTA-l poskytuje převládající zdroj dopaminu do jádra NAc6,23,24. Buňky dopaminu VTA-l, včetně těch, které promítají do jádra NAc, trvale vykazují shluky kódující RPE3,12. VTA výbuchy jsou považovány za zvláště důležité pro řízení NAc dopaminu32, a skutečně jsme zjistili, že impulsy vyvolané VTA vyvolané VTA byly shodné s vydáním NAc. Kromě toho jsme však zjistili hodnotově závislé vzorce uvolňování dopaminu NAc, které nebyly generovány vypalováním dopaminových buněk VTA-l, a to buď na dlouhém (tonickém) nebo krátkém (fázovém) časovém rámci. Jiné dopaminové subpopulace mohou nést odlišné signály13,33,34, a nemůžeme vyloučit možnost, že pálení subpopulací dopaminových buněk, které zde nejsou zaznamenány, produkuje v jádru NAc hodnotový dopamin. Napálení související s hodnotou však nikdy nebylo hlášeno u žádných dopaminových buněk v celé řadě studií. Naše výsledky naznačují, že dynamika dopaminu NAc je řízena různými způsoby, v různých dobách a pro různé funkce a že záznam dopaminových buněk je důležitý, ale nestačí pro pochopení dopaminových signálů35.

Uvolňování z dopaminových terminálů je silně ovlivněno lokálními, nespikujícími mechanismy36,37,38,39,40. Například uvolňování dopaminu NAc je modulováno bazolaterální amygdalou, i když je farmakologicky potlačeno zvýšení VTA41,42. Po celá desetiletí bylo zjištěno, že lokální kontrola uvolňování dopaminu by mohla dosáhnout funkcí odlišných od funkcí dopaminu v dopaminových buňkách36,43, ale toto nebylo zahrnuto do teoretických názorů na dopamin. Výrazné striatální podoblasti přispívají k různým typům rozhodnutí a mohou podle potřeby ovlivňovat jejich vlastní uvolňování dopaminu44. Zbývá určit, jak lokalizovaná může být tato kontrola uvolňování dopaminu. Jedno omezení sdílené třemi způsoby, kterými jsme měřili uvolňování dopaminu, je to, že všechny vzorky v prostorovém měřítku alespoň 3 µm, zatímco mikroskopie in vivo naznačuje, že uvolňování dopaminu může být heterogenní v podstatně menších měřítcích15.

Naše výsledky nepodporují existenci samostatného tonického dopaminového signálu, který by mohl zprostředkovat motivační účinky dopaminu. Místo toho se dopaminové posuny, které se zdají pomalé, pokud se měří pomalu (s mikrodialýzou), rozkládají na rychlé fluktuace, pokud se měří rychle (s voltametrií nebo dLight). Dále, záznamy identifikovaných dopaminových buněk VTA sami a dalšími30 poskytnout silný důkaz proti této myšlence29 že změny v tonických dopaminových buňkách vedou k tonickým změnám v uvolňování dopaminu. Přestože tonikum může být změněno lézemi nebo manipulací s drogami28, nevíme o trvalých změnách rychlosti střelby v žádném úkolu chování. Střelba může během očekávání motivačně relevantních událostí stoupat dolů v časovém měřítku přibližně 1 s45,46. Tento pokles je však opakem toho, co by se vyžadovalo pro zvýšení uvolňování dopaminu s očekáváním odměny, a místo toho nese větší podobnost s řadou přechodných negativních chyb predikce.47. Přestože trvalé signály kódující průběžnou odměnu, mohou být výpočetně užitečné30, dopamin místo toho poskytuje rychle kolísající signály chyb a hodnot. Je možné, že trvalé signály jsou počítány v následném kroku, intracelulárními signálními cestami za dopaminovými receptory.

Mnoho skupin pozorovalo uvolňování dopaminu na rampě, když se krysy přiblíží5,7,8,9,10,11, v souladu s očekáváním zvyšování odměny v kódování. Někteří argumentovali, že tyto dopaminové rampy jednoduše odrážejí RPE tím, že předpokládají, že krysy buď rychle zapomenou na hodnoty48 nebo že mají pokřivenou sadu státních prohlášení49. Naše poslední myšlenka není podporována naším pozorováním, že rampování je rychle modulováno od pokusu k soudu na základě aktualizovaných očekávání odměn, přičemž v krátké sekvenci po sobě jdoucích odměn je silnější, zatímco reakce typu RPE na narážky jsou slabší (obr. 3e). Obecněji řečeno, žádná teorie, ve které dopamin pouze zprostředkovává RPE (učící signály), nemůže odpovídat za velmi dobře zavedené spojení mezi probíhajícím mezolimbickým dopaminem a motivací.16. Jádro NAc není potřeba pro vysoce trénované reakce na podmíněné podněty, ale je zvláště důležité při rozhodování o provedení časově náročné práce k získání odměn50. Zdá se, že hlavní dopamin NAc poskytuje základní dynamický signál o tom, jak hodnotné je věnovat čas a úsilí práci5,44, přestože tento signál není přítomen při vypalování dopaminových buněk VTA.

Metody

Zvířata

Všechny postupy na zvířatech byly schváleny Institucionálními výbory pro používání a péči o zvířata na University of Michigan nebo University of California v San Francisku. Samci krys (300–500 g, buď divokého typu Long-Evans nebo TH-Cre+ s pozadím Long-Evans52) byly udržovány na reverzním cyklu 12: 12 světlo: tma a testovány během temné fáze. Krysy byly mírně zbaveny potravy a dostávaly denně 15 g standardní laboratorní krysy pro krmení navíc k odměnám získaným při plnění úkolů. Nebyla provedena žádná předběžná kalkulace velikosti vzorku. Výzkumníci nebyli slepí k alokaci během experimentů a hodnocení výsledků.


Chování

Předtrénování a testování byly prováděny v počítačově řízených operačních komorách společnosti Med Associates (25 cm × 30 cm v nejširším místě), každá s pětotvorovou stěnou nosu, jak bylo popsáno výše5. Relace banditů používaly následující parametry: délky bloků byly studie 35-45, náhodně vybrané pro každý blok; doba zdržení před Go Cue byla 500 – 1,500 ms (rovnoměrné rozdělení); Pravděpodobnost odměny zleva doprava byla 10, 50 a 90% (pro elektrofyziologii, fotometrii, voltametrii a dříve uváděné mikrodialyzační krysy5) nebo 20, 50 a 80% (nově hlášené mikrodialyzační krysy).

Aktuální míra odměn byla odhadnuta pomocí časově založeného netěsného integrátora53. Sazba odměny byla zvýšena pokaždé, když byla odměna přijata, a exponenciálně se rozpadla rychlostí stanovenou parametrem τ (čas v s pro snížení odměn o ~ 63%, tj. 1 − 1 / e). Pro všechny analýzy τ byl vybrán na základě chování potkana, maximalizace (negativní) korelace mezi odměnou a logem (latence) v každé relaci. Korelace mezi dopaminem předního mozku a mírou odměny nebyly na tento výběr vysoce citlivé τ (Rozšířená data Obr. 1).

Za účelem klasifikace blokových přechodů jako „zvyšování“ nebo „snižování“ sazby odměn jsme porovnávali průměrnou odměnu netěsného integrátoru v poslední 5 min bloku s průměrnou odměnou v prvních 8 min následujícího bloku.

Krysy používané pro elektrofyziologii a fotometrii také prováděly úkol pavlovianského přístupu ve stejné komoře operanta se zapnutým domácím osvětlením po celou dobu relace. Tři sluchové podněty (2 kHz, 5 kHz a 9 kHz) byly spojeny s různými pravděpodobnostmi dodávky potravy (vyvážené mezi potkany). Podněty byly přehrávány jako sled tónových pipů (100 ms zapnuto, 50 ms vypnuto) po celkovou dobu 2.6 s následovanou periodou zpoždění 500 ms. Podněty a neočekávané dodávky odměn byly doručeny v pseudonáhodném pořadí s variabilním intervalem mezi pokusy (15–30 s, rovnoměrné rozdělení).


Mikrodialýza

Chirurgie

Krysy byly implantovány bilaterálně vodícími kanyly (CMA, 830 9024) do kůry a striata. Jedna skupina (n = 8) obdržela jednu vodicí kanylu zaměřenou na prelimbickou a infralimbickou kůru (anteroposteriorní (AP) +3.2 mm, mediolaterální (ML) 0.6 mm vzhledem k bregmě; a dorsoventrální (DV) 1.4 mm pod povrchem mozku) a další cílenou na dorsomediální striatum a nucleus accumbens na opačné hemisféře (AP +1.3, ML 1.9 a DV 3.4). Oba implantáty byly skloněny 5 stupňů od sebe podél rostrální-kaudální roviny. Druhá skupina (n = 4) obdržela jednu vodicí kanylu zaměřenou na přední cingulární kůru (AP +1.6, ML 0.8 a DV 0.8) a další zaměřovací accumbens (jádro / obal na opačné hemisféře v AP +1.6, ML 1.4 a DV 5.5 (n = 2) nebo AP +1.6, ML 1.9 a DV 5.7 (n = 2). Boky implantátu byly vyváženy mezi krysami. Zvířata se nechala zotavit po dobu jednoho týdne před rekvalifikací.

Chemikálie

Voda, methanol a acetonitril pro mobilní fáze byly HPLC podle Burdick & Jackson, zakoupené od VWR (Radnor). Všechny ostatní chemikálie byly zakoupeny od Sigma Aldrich, pokud není uvedeno jinak. Umělá mozkomíšní tekutina (aCSF) obsahovala 145 mM NaCl, 2.68 mM KCl, 1.40 mM CaCl21.01 mM MgSO4, 1.55 mM Na2HPO4 a 0.45 mM NaH2PO4, upraví se pH na 7.4 pomocí NaOH. K redukci oxidace analytů byla přidána kyselina askorbová (konečná koncentrace 250 nM).

Odběr vzorků a HPLC-MS

V den testování byla zvířata umístěna v komoře operátora se zapnutým osvětlením. Mikrodialyzační sondy s koncentrickou polyakrylonitrilovou membránou (1-mm dialyzační AN69 membrána; Hospal) byly vloženy bilaterálně do vodicí kanyly a kontinuálně perfundovány (Chemyx, Fusion 400) s aCSF při 2 µl / min pro 90 min, aby se umožnila rovnováha. Po sběru základní linie 5-min byl hašení domácnosti zhasnut a odůvodnil zvíře k dostupnosti banditů. Sběr vzorků pokračoval v 1minutových intervalech a vzorky byly okamžitě derivatizovány54 s 1.5 ul uhličitanu sodného, ​​100 mM; 1.5 ul benzoylchloridu (2% (obj./obj.) Benzoylchloridu v acetonitrilu); a 1.5 ul izotopově značené směsi vnitřního standardu zředěné v 50% (v / v) acetonitrilu obsahujícím 1% (v / v) kyselinu sírovou a obohacené deuterovaným ACh a cholinem (C / D / N izotopy) na konečnou koncentraci 20 nM. Odběr série vzorků se střídal mezi dvěma sondami v 30s intervalech v každé z 26 relací, s výjimkou jedné relace, při které zlomená membrána vedla pouze k jedné sérii (celkem 51 sérií vzorků). Vzorky byly analyzovány pomocí systémů Thermo Scientific UHPLC (Accela nebo Vanquish Horizon propojené s trojitým kvadrupólovým hmotnostním spektrometrem Quantum Ultra vybaveným sondou HESI II ESI), které fungovaly při monitorování více reakcí. Vzorky pěti mikrolitrů byly nastříknuty na HPLC kolonu Phenomenex core-shell bifenyl Kinetex (2.1 mm x 100 mm). Mobilní fází A byl 10 mM mravenčan amonný s 0.15% kyselinou mravenčí a mobilní fází B byl acetonitril. Mobilní fázi byl dodán eluční gradient při 450 ul / min následujícím způsobem: počáteční, 0% B; 0.01 min, 19% B; 1 min, 26% B; 1.5 min, 75% B; 2.5 min, 100% B; 3 minuty, 100% B; 3.1 min, 5% B; a 3.5 minuty, 5% B. K automatickému zpracování a integraci píku byl použit Thermo Xcalibur QuanBrowser (Thermo Fisher Scientific). Každý z> 100,000 XNUMX vrcholů byl vizuálně zkontrolován jednotlivě, aby byla zajištěna správná integrace.

Analýza

Všechny údaje o neurochemické koncentraci byly vyhlazeny tříbodovým klouzavým průměrem (y′ = [0.25 × (y-1) + 0.5y + 0.25 × (y+ 1)]) a z-skóre normalizované v rámci každé relace, aby se usnadnilo srovnání mezi relacemi. Pro každou cílovou oblast byl vygenerován křížový korelogram pro každou relaci a byl vynesen průměr relací. Jednopercentní hranice spolehlivosti byly vygenerovány pro každý dílčí graf zamícháním jedné časové řady 100,000 0.05krát a generováním distribuce korelačních koeficientů pro každou relaci. Více regresních modelů bylo generováno pomocí regresní funkce v MATLABu, přičemž neurochemická jako výstupní proměnná a behaviorální metriky jako prediktory. Regresní koeficienty byly stanoveny významné při třech hladinách alfa (0.0005, 0.000005 a 21) po Bonferroniho korekci pro více srovnání (alfa / (7 chemikálií × 9 oblastí × 3 behaviorálních regresorů)). Pro analýzu blokových přechodů byla data spojena do XNUMXminutových epoch, zahodila vzorek, který zahrnoval dobu přechodu.


Elektrofyziologie

Potkani (n = 25) byly implantovány na zakázku navrženými pojízdnými optrody, z nichž každá sestávala ze 16 tetrod (zkonstruovaných z nichromového drátu o průměru 12.5 um, Sandvik) přilepených na stranu 200 um optického vlákna a zasahujících až do 500 um pod špičkou vlákna. Během stejné operace jsme injikovali 1 ul AAV2 / 5-EF1a-DIO-ChR2 (H134R) -EYFP do laterálního VTA (AP 5.6, ML 0.8, DV 7.5) nebo NAc jádra (AP 1.6, ML 1.6, DV 6.4) . Širokopásmové (1–9,000 30,000 Hz) mozkové signály byly vzorkovány (80 XNUMX vzorků za s) pomocí digitálních ústředen Intan. Optrody byly na konci každé relace záznamu sníženy alespoň o XNUMX um. Jednotlivé jednotky byly izolovány offline pomocí MATLAB implementace MountainSort55 následuje pečlivá ruční kontrola.

Klasifikace

K identifikaci, zda izolovaná jednotka VTA-l byla dopaminergní (TH+), použili jsme latenční test spojený se stimulací56. Stručně řečeno, na konci každé experimentální relace jsme spojili optrodu s laserovou diodou a dodali světelné pulzní vlaky různých šířek a frekvencí. Aby byla jednotka identifikována jako reagující na světlo, musela dosáhnout úrovně významnosti P <0.001 pro pulzní sledy 5 ms a 10 ms. Rovněž jsme porovnali vlnové křivky vyvolané světlem (do 10 ms od nástupu laserového pulzu) s průměrem celé relace; všechny jednotky vyvolané světlem měly korelační koeficient Pearson> 0.9. Dopaminové neurony byly úspěšně zaznamenány u čtyř potkanů ​​s infuzí AAV VTA-l (IM657, 1 jednotka; IM1002, 3 jednotky; IM1003, 15 jednotek; IM1037, 9 jednotek) a jedné krysy s NAc jádrem AAV (IM-1078, 2 jednotky) . Šířka špičky byla definována jako plná šířka v polovině maxima nejvýznamnější negativní složky zarovnaného zprůměrovaného tvaru špičky. Neoznačené VTA neurony s rychlostí střelby v celé relaci> 20 Hz a šířkou píku <200 us byly klasifikovány jako nedopaminové buňky. Abychom zajistili, že porovnáváme dopaminové a nedopaminové buňky ve stejných podoblastech, analyzovali jsme pouze nedopaminové buňky zaznamenané během relací s alespoň jednou opticky značenou dopaminovou buňkou.

Analýza

Výboje špiček byly detekovány konvenčním přístupem „šablony 80 / 160“57: pokaždé, když dojde k intervalu mezi hroty 80 ms nebo méně, jsou tyto a následující hroty považovány za součást shluku, dokud nenastane interval 160 ms nebo více. Pro srovnání „tonické“ palby s mírou odměny byly dopaminové špičky počítány do 1minutových košů. Abychom prozkoumali rychlejší změny, byly funkce hustoty špiček konstruovány konvolucí špičkových vlaků s Gaussovým jádrem s rozptylem 20 ms. Abychom zjistili, jak rychle neuron reagoval na danou narážku, použili jsme 40 ms přihrádky (klouzání v krocích po 20 ms) a použili jsme test náhodného míchání (10,000 250 zamíchání) pro každý časový interval porovnávající rychlost střelby po začátku narážky s rychlostí střelby v XNUMX ms bezprostředně předcházejících tágu. První zásobník, u kterého byla rychlost střelby po startu významně (P <0.01, oprava pro vícenásobná srovnání) větší než základní střelba byla považována za čas do reakce.

Vrcholová rychlost střelby byla vypočtena jako maximální (Gaussovsky vyhlazená) rychlost střelby každé zkoušky v okně 250-ms po postranním vstupu pro odměněné pokusy a údolí bylo vypočteno jako minimální rychlost střelby v okně 2, počínaje jednu sekundu po postranním úderu pro nevyžádané zkoušky.

Abychom vypočítali úhel rampy během chování při přiblížení, vyhladili jsme střední rychlost střelby pomocí Gaussovského jádra 50-ms, detekovali jsme maximum / minimum výsledného signálu v okně 0.5-s před každou událostí (středový vstup nebo port potravy) ) a změřili podepsaný úhel spojující dva extrémy. Pro srovnání sazeb střelby v blocích „vysoké“ a „nízké“ odměny jsme pro každou relaci provedli střední rozdělení průměrné odměny za únikový integrátor v každém bloku.


Voltametrie a výpočetní model

Rychlé výsledky cyklické voltametrie, které jsou zde uvedeny, rychle analyzují dříve prezentovaná data5. V rámci pokusů byly odhady hodnot stavu a chyb predikce odměn vypočteny za použití modelu učení s posíleným rozhodováním v polo-Markově, přesně tak, jak bylo dříve popsáno.5.


Fotometrie

Použili jsme virový přístup k expresi geneticky kódovaného optického dopaminového senzoru dLight15. V anestezii isofluranem 1 μl AAV9-CAG-dLight (1 × 1012 virové genomy na ml; UC Davis vektorové jádro) bylo pomalu (100 nl / min) injikováno (Nanoject III, Drummond) přes 30 um skleněnou mikropipetu ve ventrálním striatu bilaterálně (AP: 1.7 mm, ML: 1.7 mm, DV: -7.0 mm). Během stejného chirurgického zákroku byla zavedena optická vlákna (jádro 400 um, celkový průměr 430 um) připojená ke kovové objímce (Doric) (hloubka cíle o 200 um vyšší než AAV) a na místo nalepena. Data byla shromážděna> o tři týdny později, aby bylo možné vyjádřit dLight.

U dLight excitace modré (470 nm) a fialové (405 nm; kontrolní) byly LED diody sinusově modulovány na různých frekvencích (211 Hz, respektive 531 Hz)58). Jak excitační, tak emisní signály procházející filtry minicube (Doric) a objemová fluorescence byly měřeny pomocí femtowattového detektoru (Newport, model 2151) vzorkování při 10 kHz. Demodulace vyprodukovala oddělené signály 470 nm (dopamin) a 405 nm (kontrolní), které pak byly navzájem změněny přes měřítko nejméně čtverce58. Frakční fluorescenční signál (dF/F) byl poté definován jako (470–405_fit) / 405_fit. U všech analýz byl tento signál převzorkován na 50 Hz a vyhlazen pětibodovým středním filtrem. Prezentace signálů 470 nm a 405 nm samostatně, viz Rozšířená data Obr. 7.

Data z umístění optických vláken byla zahrnuta do analýz, pokud byl hrot vlákna v NAc a fluorescenční odpověď na alespoň jednu úlohu narážky měla z- skóre> 1. Tato kritéria vylučovala jednu krysu a poskytla tři krysy / čtyři umístění (IM1065 vlevo, IM1066 oboustranně, IM1089 vpravo) pro dLight1.1 a čtyři krysy / šest umístění (IM1088 oboustranně, IM1105 vpravo, IM1106 oboustranně, IM1107-vpravo) pro dLight1.3b. Podobné výsledky byly získány pro dLight1.1 a dLight1.3 (Extended Data Obr. 7), takže data byla kombinována.

Pro výpočet úhlu rampy během chování při přiblížení jsme detekovali maximum / minimum výsledného signálu v okně 0.5u před každou událostí (střed-in nebo port potravy) a změřili podepsaný úhel spojující dva extrémy.


Afinita a molekulární specificita dLight1.3b

Měření in vitro byla prováděna, jak bylo popsáno výše15. Stručně řečeno, buňky HEK293T (ATCC CRL # 1573) byly kultivovány a transfektovány plasmidy kódujícími dlight1.3b řízenými promotorem CMV a promyty HBSS (Life Technologies) doplněné Ca2+ (4mM) a Mg2+ (2 mM) před zobrazením. Zobrazování bylo prováděno za použití objektivu na bázi oleje 40x na obráceném konfokálním mikroskopu Zeiss Observer LSN710 s vlnovými délkami 488 nm / 513 nm (excitace / emise). Pro testování fluorescenčních odpovědí senzoru byly neurotransmitery přímo aplikovány na lázeň během časosběrného zobrazování, alespoň ve dvou nezávislých experimentech. Titrace dopaminu a noradrenalinu byly získány provedením desetinásobného sériového ředění k dosažení osmi různých koncentrací. Všechny ostatní neurotransmitery byly testovány ve třech postupných koncentracích (100 nM, 1 uM a 10 uM). Všechny koncentrace neurotransmiteru byly získány zředěním z 1 mM zásobní koncentrace v HBSS, připravené čerstvé. Intenzity surové fluorescence z časosběrného zobrazení byly kvantifikovány na Fidži; každá ROI byla ručně nakreslena na membránu jednotlivých buněk. Změna zářivky (ΔF/F) byla vypočtena jako F peak (průměrná intenzita fluorescence čtyř snímků) - F bazální (průměrná intenzita fluorescence čtyř snímků před přidáním ligandů) /F bazální. Grafy a statistická analýza byly provedeny pomocí GraphPad Prism 6. Datové body byly analyzovány pomocí vazebné křivky specifické pro jedno místo k získání Kd hodnoty. V grafech „box-and-whisker“ pokrývá pole rozsah 25% až 75% a vousy sahají od minimálních po maximální hodnoty.


Souhrn hlášení

Další informace o výzkumu jsou k dispozici v internetovém obchodě Shrnutí zpráv o výzkumu přírody související s tímto článkem.

Dostupnost dat

Virus AAV.Synapsin.dLight1.3b použitý v této studii byl uložen v Addgene (č. 125560; http://www.addgene.org). Veškerá data budou k dispozici na webu pro sdílení dat Collaborative Research in Computational Neuroscience (https://doi.org/110.6080/K0VQ30V9).

Dostupnost kódu

Vlastní kód MATLAB je k dispozici na vyžádání od JDB

Další informace

Poznámka vydavatele: Springer Nature zůstává neutrální, pokud jde o jurisdikční nároky v publikovaných mapách a institucionálních vztazích.

Reference

  1. 1.

    Schultz, W., Dayan, P. & Montague, PR Neurální substrát predikce a odměny. Věda 275, 1593-1599 (1997).

  2. 2.

    Pan, WX, Schmidt, R., Wickens, JR & Hyland, BI Dopaminové buňky reagují na předvídané události během klasického kondicionování: důkazy o stopách způsobilosti v síti odměňování. J. Neurosci. 25, 6235-6242 (2005).

  3. 3.

    Cohen, JY, Haesler, S., Vong, L., Lowell, BB & Uchida, N. Neuronové signály specifické pro odměnu a trest ve ventrální tegmentální oblasti. Příroda 482, 85-88 (2012).

  4. 4.

    Steinberg, EE a kol. Příčinná souvislost mezi chybami predikce, dopaminovými neurony a učením. Nat. Neurosci. 16, 966-973 (2013).

  5. 5.

    Hamid, AA a kol. Mezolimbický dopamin signalizuje hodnotu práce. Nat. Neurosci. 19, 117-126 (2016).

  6. 6.

    Saunders, BT, Richard, JM, Margolis, EB a Janak, PH Dopaminové neurony vytvářejí pavlovské podmíněné stimuly s obvodově definovanými motivačními vlastnostmi. Nat. Neurosci. 21, 1072-1083 (2018).

  7. 7.

    Phillips, PE, Stuber, GD, Heien, ML, Wightman, RM & Carelli, RM Subsekundové uvolňování dopaminu podporuje hledání kokainu. Příroda 422, 614-618 (2003).

  8. 8.

    Roitman, MF, Stuber, GD, Phillips, PE, Wightman, RM & Carelli, RM Dopamin působí jako subsekundový modulátor vyhledávání potravin. J. Neurosci. 24, 1265-1271 (2004).

  9. 9.

    Wassum, KM, Ostlund, SB & Maidment, NT Fázová mezolimbická dopaminová signalizace předchází a předpovídá provedení samoiniciovaného úkolu akční sekvence. Biol. Psychiatrie 71, 846-854 (2012).

  10. 10.

    Howe, MW, Tierney, PL, Sandberg, SG, Phillips, PE & Graybiel, AM Prodloužená dopaminová signalizace ve striatu signalizuje blízkost a hodnotu vzdálených odměn. Příroda 500, 575-579 (2013).

  11. 11.

    Syed, EC a kol. Iniciační akce formuje mezolimbické dopaminové kódování budoucích odměn. Nat. Neurosci. 19, 34-36 (2016).

  12. 12.

    Morris, G., Nevet, A., Arkadir, D., Vaadia, E. & Bergman, H. Midbrain dopaminové neurony kódují rozhodnutí pro budoucí opatření. Nat. Neurosci. 9, 1057-1063 (2006).

  13. 13.

    da Silva, JA, Tecuapetla, F., Paixão, V. & Costa, RM Dopaminová aktivita neuronů před zahájením akce brání a oživuje budoucí pohyby. Příroda 554, 244-248 (2018).

  14. 14.

    Fiorillo, CD, Tobler, PN & Schultz, W. Diskrétní kódování pravděpodobnosti a nejistoty odměny dopaminovými neurony. Věda 299, 1898-1902 (2003).

  15. 15.

    Patriarchi, T., Cho, JR, Merten, K., Howe, MW, a kol. Ultrarychlé neuronální zobrazování dopaminové dynamiky s navrženými geneticky kódovanými senzory. Věda 360, eaat4422 (2018).

  16. 16.

    Salamone, JD & Correa, M. Tajemné motivační funkce mezolimbického dopaminu. Neuron 76, 470-485 (2012).

  17. 17.

    Schultz, W. Prediktivní signál odměny dopaminových neuronů. J. Neurophysiol. 80, 1-27 (1998).

  18. 18.

    Garris, PA & Wightman, RM Různá kinetika řídí dopaminergní přenos v amygdale, prefrontální kůře a striatu: in vivo voltametrická studie. J. Neurosci. 14, 442-450 (1994).

  19. 19.

    Frank, MJ, Doll, BB, Oas-Terpstra, J. & Moreno, F. Prefrontální a striatální dopaminergní geny předpovídají individuální rozdíly v průzkumu a vykořisťování. Nat. Neurosci. 12, 1062-1068 (2009).

  20. 20.

    St Onge, JR, Ahn, S., Phillips, AG & Floresco, SB Dynamické fluktuace odtoku dopaminu v prefrontální kůře a nucleus accumbens během rozhodování na základě rizika. J. Neurosci. 32, 16880-16891 (2012).

  21. 21.

    Bartra, O., McGuire, JT & Kable, JW Oceňovací systém: souřadnicová metaanalýza experimentů BOLD fMRI zkoumající neurální koreláty subjektivní hodnoty. Neuroimage 76, 412-427 (2013).

  22. 22.

    Ikemoto, S. Dopamine, obvody odměn: dva projekční systémy od ventrálního středního mozku po jádro accumbens-olfaktorický tubercle komplex. Brain Res. Brain Res. Rev. 56, 27-78 (2007).

  23. 23.

    Breton, JM a kol. Relativní příspěvky a mapování dopaminových a GABA neuronů ventrální tegmentální oblasti podle projekčního cíle u krysy. J. Comp. Neurol. (2018).

  24. 24.

    Ungless, MA, Magill, PJ & Bolam, JP Jednotná inhibice dopaminových neuronů ve ventrální tegmentální oblasti averzivními podněty. Věda 303, 2040-2042 (2004).

  25. 25.

    Morales, M. & Margolis, EB Ventrální tegmentální oblast: buněčná heterogenita, konektivita a chování. Nat. Rev. Neurosci. 18, 73-85 (2017).

  26. 26.

    Morris, G., Arkadir, D., Nevet, A., Vaadia, E. & Bergman, H. Náhodné, ale odlišné zprávy o dopaminu středního mozku a striatálních tonicky aktivních neuronech. Neuron 43, 133-143 (2004).

  27. 27.

    Floresco, SB, West, AR, Ash, B., Moore, H. & Grace, AA Aferentní modulace spalování dopaminových neuronů odlišně reguluje tonický a fázový přenos dopaminu. Nat. Neurosci. 6, 968-973 (2003).

  28. 28.

    Grace, AA Dysregulace dopaminového systému v patofyziologii schizofrenie a deprese. Nat. Rev. Neurosci. 17, 524-532 (2016).

  29. 29.

    Cohen, JY, Amoroso, MW & Uchida, N. Serotonergní neurony signalizují odměnu a trest ve více časových intervalech. eLife 4, e06346 (2015).

  30. 30.

    Niv, Y., Daw, N. & Dayan, P. Jak rychle pracovat: vitalita reakce, motivace a tonický dopamin. Adv. Neural Inf. Proces. Syst. 18, 1019 (2006).

  31. 31.

    Bayer, HM, Lau, B. & Glimcher, PW Statistiky špiček neuronů dopaminu ve středním mozku u vzhůru primátů. J. Neurophysiol. 98, 1428-1439 (2007).

  32. 32.

    Chergui, K., Suaud-Chagny, MF & Gonon, F. Nelineární vztah mezi impulzním tokem, uvolňováním dopaminu a eliminací dopaminu v mozku krysy in vivo. Neurovědy 62, 641-645 (1994).

  33. 33.

    Parker, NF a kol. Kódování odměn a výběru v terminálech dopaminových neuraminů středního mozku závisí na striatálním cíli. Nat. Neurosci. 19, 845-854 (2016).

  34. 34.

    Menegas, W., Babayan, BM, Uchida, N. & Watabe-Uchida, M. Opačná inicializace nových podnětů v dopaminové signalizaci ve ventrálním a zadním striatu u myší. eLife 6, e21886 (2017).

  35. 35.

    Trulson, ME Současné zaznamenávání neuronů substantia nigra a voltametrického uvolňování dopaminu v kaudátu chovaných koček. Brain Res. Býk. 15, 221-223 (1985).

  36. 36.

    Glowinski, J., Chéramy, A., Romo, R. & Barbeito, L. Presynaptická regulace dopaminergního přenosu ve striatu. Buňka. Mol. Neurobiol. 8, 7-17 (1988).

  37. 37.

    Zhou, FM, Liang, Y. & Dani, JA Endogenní nikotinová cholinergní aktivita reguluje uvolňování dopaminu ve striatu. Nat. Neurosci. 4, 1224-1229 (2001).

  38. 38.

    Threlfell, S. a kol. Striatální uvolňování dopaminu je spouštěno synchronizovanou aktivitou v cholinergních interneuronech. Neuron 75, 58-64 (2012).

  39. 39.

    Cachope, R. a kol. Selektivní aktivace cholinergních interneuronů zvyšuje akumbální uvolňování fázového dopaminu: nastavuje tón pro zpracování odměny. Zprávy Cell 2, 33-41 (2012).

  40. 40.

    Sulzer, D., Cragg, SJ & Rice, ME Striatální dopaminová neurotransmise: regulace uvolňování a absorpce. Basal Ganglia 6, 123-148 (2016).

  41. 41.

    Floresco, SB, Yang, CR, Phillips, AG & Blaha, CD Stimulace bazolaterální amygdaly evokuje na dopaminu závislý glutamátový odtok dopaminu v nucleus accumbens anestetizované krysy. Eur. J. Neurosci. 10, 1241-1251 (1998).

  42. 42.

    Jones, JL a kol. Basolaterální amygdala moduluje terminální uvolňování dopaminu v nucleus accumbens a podmíněně reaguje. Biol. Psychiatrie 67, 737-744 (2010).

  43. 43.

    Schultz, W. Reakce neuronů dopaminu midbrain na behaviorální spouštěcí stimuly u opice. J. Neurophysiol. 56, 1439-1461 (1986).

  44. 44.

    Berke, JD Co znamená dopamin? Nat. Neurosci. 21, 787-793 (2018).

  45. 45.

    Bromberg-Martin, ES, Matsumoto, M. & Hikosaka, O. Zřetelná tonická a fázická předvídatelná aktivita v laterálním habenulu a dopaminových neuronech. Neuron 67, 144-155 (2010).

  46. 46.

    Pasquereau, B. & Turner, RS Dopaminové neurony kódují chyby v předpovědi výskytu spouštěcího pohybu. J. Neurophysiol. 113, 1110-1123 (2015).

  47. 47.

    Fiorillo, CD, Newsome, WT & Schultz, W. Časová přesnost predikce odměny v dopaminových neuronech. Nat. Neurosci. 11, 966-973 (2008).

  48. 48.

    Morita, K. & Kato, A. Striatální dopaminová rampa může naznačovat flexibilní posilování učení se zapomenutím v obvodech kortiko-bazálních ganglií. Přední. Neurální obvody 8, 36 (2014).

  49. 49.

    Gershman, SJ dopaminové rampy jsou důsledkem chyb predikce odměn. Neurální výpočet. 26, 467-471 (2014).

  50. 50.

    Nicola, SM Hypotéza flexibilního přístupu: sjednocení úsilí a hypotézy reagující na roli jádra accumbens dopaminu v aktivaci chování při hledání odměn. J. Neurosci. 30, 16585-16600 (2010).

  51. 51.

    Paxinos, G. & Watson, C. Krysa mozku ve stereotaxických souřadnicích 5th edn (Elsevier Academic, 2005).

  52. 52.

    Witten, IB a kol. Linie potkanů ​​s rekombinázou: nástroje, techniky a optogenetické aplikace na zesílení zprostředkované dopaminem. Neuron 72, 721-733 (2011).

  53. 53.

    Sugrue, LP, Corrado, GS & Newsome, WT Matching behavior and the representation of value in the parietal cortex. Věda 304, 1782-1787 (2004).

  54. 54.

    Wong, JM a kol. Derivace benzoylchloridu kapalinovou chromatografií-hmotnostní spektrometrií pro cílenou metabolomiku neurochemikálií v biologických vzorcích. J. Chromatogr. A 1446, 78-90 (2016).

  55. 55.

    Chung, JE a kol. Plně automatizovaný přístup k třídění hrotů. Neuron 95, 1381-1394 (2017).

  56. 56.

    Kvitsiani, D. a kol. Odlišné behaviorální a síťové koreláty dvou interneuronových typů v prefrontální kůře. Příroda 498, 363-366 (2013).

  57. 57.

    Grace, AA & Bunney, BS Řízení vzplanutí v neuronech dopaminových dopaminů: nárazová palba. J. Neurosci. 4, 2877-2890 (1984).

  58. 58.

    Lerner, TN a kol. Analýzy neporušeného mozku odhalují odlišné informace nesené dopaminovými podjednotkami SNc. Buňka 162, 635-647 (2015).

Stáhnout odkazy

Poděkování

Děkujeme P. Dayanovi, H. Fieldsovi, L. Frankovi, C. Donaghueovi a T. Faustovi za jejich připomínky k dřívější verzi rukopisu a V. Hetrickovi, R. Hashimovi a T. Davidsonovi za technickou pomoc a radu. Tato práce byla podporována Národním institutem pro zneužívání drog, Národním institutem duševního zdraví, Národním institutem pro neurologické poruchy a mrtvice, University of Michigan, Ann Arbor a Kalifornskou univerzitou v San Franciscu.

Informace recenzenta

Příroda děkuje Margaret Rice a dalším anonymním recenzentům za jejich příspěvek k vzájemnému hodnocení této práce.

Informace o autorovi

AM provedl a analyzoval elektrofyziologii a fotometrii a použil výpočetní model. JRP provedl a analyzoval mikrodialýzu s pomocí J.-MTW a dozor RTKAAH vyvinul behaviorální úlohu a počáteční nastavení fotometrie a provedl voltametrii. LTV provedl retrográdní sledování a analýzu. Společnost TP a LT vyvinula senzor dLight a sdílela odborné znalosti. JDB navrhl a dohlížel na studii a psal rukopis.

Konkurenční zájmy

Autoři neprohlašují žádné konkurenční zájmy.

Korespondence na Joshua D. Berke.