Disociačná dynamika dopamínu pre učenie a motiváciu (2019)

Projekcia dopamínu z ventrálnej tegmentálnej oblasti (VTA) do nucleus accumbens (NAc) je rozhodujúca pre motiváciu pracovať pre odmeny a učenie zamerané na odmenu. Ako dopamín podporuje obe funkcie, nie je jasné. Dopamínové doplnenie buniek môže kódovať chyby predikcie, ktoré sú životne dôležitými signálmi učenia vo výpočtových teóriách adaptívneho správania. Naopak, uvoľňovanie dopamínu sa zvyšuje, keď sa zvieratá blížia k odmenám, čo odráža očakávanie odmeny. Tento nesúlad môže odrážať rozdiely v behaviorálnych úlohách, pomalšie zmeny v množení dopamínových buniek alebo modulácia uvoľňovania dopamínu nezávislá od hrotu. Tu porovnávame postupovanie identifikovaných VTA dopamínových buniek s uvoľňovaním NAc dopamínu v rámci rovnakej rozhodovacej úlohy. Náznaky, ktoré naznačujú nadchádzajúcu odmenu, sa zvýšili ako stúpanie, tak uvoľnenie. Uvoľňovanie NAc jadra dopamínu však tiež kolísalo s dynamicky sa rozvíjajúcimi očakávaniami odmien bez zodpovedajúcich zmien v narastaní dopamínových buniek VTA. Naše výsledky naznačujú zásadný rozdiel v tom, ako je regulované uvoľňovanie dopamínu, aby sa dosiahli odlišné funkcie: signály vysielaného výbuchu podporujú učenie, zatiaľ čo lokálna kontrola poháňa motiváciu.

Dopamín sa skvele spája s „odmenou“ - ale ako presne? Jedna funkcia zahŕňa učenie sa od neočakávaných odmien. Krátke zvýšenie paľby dopamínových buniek kóduje chyby predikcie odmeny (RPE)^1,2,3—Zaznamenávacie signály na optimalizáciu budúceho motivovaného správania. Manipulácia s dopamínom môže ovplyvniť učenie, akoby mení RPE^4,5,6, ale tiež okamžite ovplyvňujú motivované správanie, akoby dopamín signalizoval očakávanie odmeny (hodnota)⁵, Naviac, dopamín NAc eskaluje počas motivovaného prístupu, čo je v súlade s hodnotou kódovania dopamínu^7,8,9,10,11.

Až na pár výnimiek^2,12,13, streľba dopamínom v strednom mozgu sa skúmala počas klasického kondicionovania u zvierat fixovaných na hlave^3,14, na rozdiel od uvoľňovania dopamínu z predného mozgu. Preto sme porovnávali paľbu s prepustením za rovnakých podmienok. Identifikovali sme dopamínové neuróny VTA pomocou optogenetického značenia^3,13, Na meranie uvoľňovania dopamínu NAc sme použili tri nezávislé metódy - mikrodialýzu, voltametriu a optický senzor dLight.¹⁵- s konvergentnými výsledkami. Náš primárny záver je, že aj keď výbuchy dopamínových špičiek VTA v mierke RPE poskytujú náhle zmeny v uvoľňovaní dopamínu vhodné na učenie, samostatné výkyvy dopamínu NAc spojené s motiváciou vznikajú nezávisle od spaľovania dopamínových buniek VTA.

Trénovali sme potkanov v úlohe operného bandita⁵ (Obr. La, b). Pri každej skúške bolo pri osvetlení portu s výbežkom („Light-on“) vyvolané priblíženie a vstup („v strede“). Po variabilnej perióde zadržania (0.5–1.5 s) viedol biely šum („Go cue“) potkana k stiahnutiu („Center-out“) a vystrčeniu susedného portu („Side-in“). Pri testoch s odmenou bola táto udalosť typu Side-in sprevádzaná klikaním v zásobníku, ktoré viedlo krysu k prístupu k potravinovému portu („Food-port-in“), aby zhromaždil cukrovú peletu. Každá voľba zľava a doprava bola odmenená nezávislými pravdepodobnosťami, ktoré sa občas menili bez varovania. Keď bolo pravdepodobnejšie, že potkany dostanú odmenu, mali väčšiu motiváciu vykonať danú úlohu. Bolo to zrejmé z ich „latencie“ - času medzi rozsvietením a stredom-ktorý bol citlivý na výsledok niekoľkých predchádzajúcich pokusov (Extended Data Obr. 1) a tým nepriamo upravená mierou odmien (obr. 1b).

a, Bandit-task events. b, Ukážka relácie. Horný riadok, pravdepodobnosti odmien v každom bloku (vľavo: vpravo); riadok dva, kliešte označujú výsledok každého pokusu (vysoký, odmenený; krátky, bez odmeny); riadok tri, odhad netesného integrátora v miere odmeňovania (čierny) a kĺzavý priemer latencie (azúrový; stupnica obráteného protokolu); spodný riadok, NAc jadrový dopamín v tej istej relácii (1-min. vzorky). DA, dopamín. c, Vrchné mikrodialýzne miesta v mediálnej frontálnej kôre a striatu (pozri tiež Rozšírené údaje Obr. 1). n = 51 umiestnení sondy od 12 potkanov, každá s 2 mikrodialyzačnými sondami, ktoré boli medzi sedeniami znížené. Farba stĺpca naznačuje koreláciu medzi dopamínom a mierou odmeny. ACC, predný cingulárny kortex; dPL, dorzálna prelimbická kôra; vPL, ventrálna prelimbická kôra; IL, infralimbická kôra; DMS, dorzálno-mediálne striatum. Stredný priemerovaný krížový korelogram medzi dopamínom a mierou odmeny. Červené pruhy označujú 99% interval spoľahlivosti zo zamiešanej časovej rady. Dno, vzťahy medzi neurochemikáliami a miera odmien (viacnásobná regresia). NA, noradrenalín; 5-HT, serotonín; ACh, acetylcholín; GABA, kyselina y-aminomaslová; Glu, glutamát; NM, normetadrenalín; DOPAC, kyselina 3,4-dihydroxyfenyloctová; 3-MT, 3-metoxytyramín; HVA, kyselina homovanilová; Kyselina 5-HIAA, 5-hydroxyindoloctová. dÚčinok blokových prechodov na mieru odmeňovania (vľavo), latenciu (stred) a dopamínu NAc v jadre (vpravo). Prechody boli klasifikované podľa toho, či sa zvýšila skúsená miera odmien (n = 25) alebo znížená (n = 33). Údaje pochádzajú zo všetkých 14 relácií, pri ktorých sa meral NAc jadrový dopamín (jedno na potkana, kombinujúce údaje z nových a predtým hlásených)⁵ zvieratá), a vynesené ako priemer ± sem e, Kompozitné mapy korelácií medzi dopamínom a mierou odmeňovania (n = 19 potkanov, 33 sedení, 58 umiestnení sondy). Obrysy atlasu mozgu na tomto obrázku boli reprodukované so súhlasom Paxinos a Watson, 2005⁵¹.

Obrázok v plnej veľkosti

Už sme predtým nahlásili⁵ korelácia medzi uvoľňovaním dopamínu NAc a mierou odmeňovania, v súlade s motivačnou úlohou mezolimbického dopamínu¹⁶, Tu sme sa najprv zamerali na zistenie, či je tento vzťah pozorovaný v cieľoch predného mozgu, čo je v súlade s globálne vysielanou dopamínovou signalizáciou¹⁷, alebo je obmedzené na konkrétne podoblasti. Ďalej sme predpokladali, že táto dynamika dopamínu sa bude líšiť medzi striatom a kôrou, pretože tieto štruktúry majú odlišnú kinetiku absorpcie a degradácie dopamínu.¹⁸ a môže používať dopamín na odlišné funkcie^19,20.

Pomocou mikrodialýzy s vysokoúčinnou kvapalinovou chromatografiou - hmotnostnou spektrometriou (HPLC – MS) sme skúmali strednú čelnú kôru a striatum (obr. 1c, Rozšírené údaje Obr. 1). Súčasne sme analyzovali neurotransmitery a metabolity 21 s časovým rozlíšením 1-min a pomocou regresie sme porovnávali chemické časové rady s behaviorálnymi premennými (Extended Data Obr. 2).

Na rozdiel od iných neurotransmiterov sme replikovali koreláciu medzi odmenou a NAc dopamínom (obr. 1c, d). Tento vzťah bol však lokalizovaný do jadra NAc a nedržal sa v škrupine NAc alebo v dorzálno-strednom striatume. Na rozdiel od našej hypotézy sme pozorovali podobný priestorový model vo frontálnom kortexe: uvoľňovanie dopamínu korelovalo s mierou odmeňovania vo ventrálnom predimbickom kortexe, ale nie v dorzálnych alebo ventrálnych podoblastiach (Obr. 1c, napr). Aj keď sú tieto dvojča hotspoty hodnotového uvoľňovania dopamínu neočakávané, majú pri neuroimaginge človeka zaujímavú paralelu: signál závislý od hladiny kyslíka v krvi koreluje so subjektívnou hodnotou, konkrétne v NAc a ventrálne-mediálnej prefrontálnej kôre.²¹.

Ďalej sme sa zaoberali otázkou, či tento dopamínový predný mozog súvisiaci s motiváciou vzniká z variabilného spaľovania dopamínových buniek midbrain. Jadro NAc prijíma dopamínový vstup z bočných častí VTA (VTA-l)^6,22,23, U myší s fixovanou hlavou majú dopamínové neuróny VTA-1 údajne jednotné reakcie podobné RPE na podmienené stimuly³, Aby sme zaznamenali dopamínové bunky VTA-1, infikovali sme VTA adeno-asociovaným vírusom (AAV) na Cre-dependentnú expresiu channelrhodopsínu (AAV-DIO-ChR2) u potkanov, ktoré exprimujú Cre rekombinázu pod promótorom tyrozínhydroxylázy (TH) (pozri viď. Metódy). Optródy (obr. La, b) zaznamenali odozvy jednotlivých jednotiek na krátke modro-laserové impulzy (obr. 2c, Rozšírené dáta Obr. 3, 4, Doplnkový obrázok 1). Našli sme 27 dobre izolované bunky VTA-1 so spoľahlivými krátkodobými špičkami a identifikovali sme ich ako dopamínové neuróny.

a, Vľavo, schéma optródy s 16 tetrodami okolo optického vlákna s priemerom 200 μm. Vpravo, príklad umiestnenia optrode v bočnej VTA. Mierka, 1 mm. Červený marker dopamínových buniek tyrozínhydroxyláza; zelená, ChR2-EYFP; žltá, prekrývajú sa. Všetky umiestnenia nájdete v časti Rozšírené údaje Obr. 3. b, Hroty dopamínových buniek VTA. Červené stĺpce označujú zistené zhluky a počet špičiek v každom zhluku (pozri Metódy). Stupnica, 0.5 s, 0.5 mV. cPríklad neurónovej odpovede na laserové impulzy so zvyšujúcim sa trvaním. d, Rýchlosť vypaľovania v celej relácii v porovnaní so šírkou hrotu (na polovicu maxima) pre každú bunku VTA. Modré značkované dopamínové bunky; fialová, zreteľná skupina predpokladaných nedopamínových neurónov. Vložky, príklady priemerných priebehov (záporné napätie hore). e, Rýchlosť streľby (modrá; 1-minútové koše) VTA dopamínového neurónu počas úlohy banditov. Latencia (azúrová) sa mení s mierou odmeny, ale rýchlosť streľby nie. f, Rýchlosť vypaľovania pre všetky neuróny VTA (modrá, dopamín; purpurová, nep dopamínová; sivá, nezaradená) v blokoch s nízkou verziou s vysokou hodnotou Žiadny z nich nepreukázal významné rozdiely (Wilcoxon podpísal pozičný test s použitím košov 1-min., Všetky P > 0.05 po oprave pre viacnásobné porovnanie). gPriemerná krížová korelácia medzi vypaľovaním dopamínových buniek a mierou odmeňovania nevykazuje žiadny významný vzťah. hAnalýza rýchlosti spaľovania dopamínu pri blokových prechodoch (rovnaký formát ako na obr. 1d). n = 95 zvýšení odmeny, 76 zníženie. i, Rozdelenie intervalov medzi bodmi (ISI, vľavo) a impulzov s bodmi (vpravo) sa medzi blokmi s vyššou a nižšou sadzbou nezmenilo (štatistika Kolmogorov – Smirnov: ISI, 0.138, P = 0.92; dávky, 0.165, P = 0.63).

Obrázok v plnej veľkosti

Všetky dopamínové neuróny boli tonicky aktívne s relatívne nízkou rýchlosťou streľby (priemer 7.7 Hz, rozsah 3.7–12.9 Hz; v porovnaní so všetkými neurónmi VTA-l zaznamenanými spolu s dopamínovými bunkami, P <0.001 jednostranný Mann – Whitneyov test). Mali tiež dlhšie hrotové krivky (P <5 × 10^-6, jednostranný Mann – Whitney test), aj keď existujú výnimky (obr. 2d), ktorý potvrdzuje, že trvanie krivky je nedostatočný marker dopamínových buniek in vivo^3,24, Výrazný zhluk neurónov VTA-l (n = 38, z rovnakých relácií) s krátkymi vlnovými formami a vyššími rýchlosťami streľby (> 20 Hz; priemer 41.3 Hz, rozsah 20.1–97.1 Hz) nezahŕňali žiadne označené dopamínové bunky. Predpokladáme, že tieto rýchlejšie sa spaľujúce bunky sú GABAergické a / alebo glutamatergické^3,25a ďalej ich označujte ako „non-dopamín“.

Zaznamenali sme rovnaké dopamínové bunky pri viacerých behaviorálnych úlohách. Bunky dopamínu VTA-1 silne reagovali na náhodne načasované kliknutia na potravu a postupne menej silne, keď sa tieto kliknutia urobili predvídateľnejšie predchádzajúcimi narážkami (Extended Data Obr. 5). To je v súlade s kanonickým kódovaním podobným RPE dopamínovými bunkami pri Pavlovianových úlohách^2,3,26.

Na základe dôkazov od anestetizovaných zvierat sa už predtým tvrdilo, že zmenené hladiny dopamínu merané mikrodialýzou vznikajú zo zmien rýchlosti tonického vypaľovania dopamínových buniek.²⁷ a / alebo pomer aktívnych verzus neaktívnych dopamínových neurónov²⁸, Avšak pri úlohe banditov bolo tonické dopamínové bunkové vypaľovanie v každom bloku pokusov nezmenené. 2e, g). Medzi blokmi s vyššou a nižšou odmenou nedošlo k žiadnej významnejšej zmene rýchlosti vypaľovania jednotlivých dopamínových buniek alebo iných VTA-l neurónov (obr. 2f, h; pozri tiež ref. ²⁹ pre konzistentné výsledky u myší s fixovanou hlavou). Taktiež nedošlo k žiadnym celkovým zmenám v rýchlosti, akou dopamínové bunky prepaľujú hroty (obr. 2i). Ďalej sme nepozorovali žiadne dopamínové bunky prepínajúce sa medzi aktívnym a neaktívnym stavom. Pomer času stráveného dopamínovými bunkami (dlhé intervalové intervaly) bol veľmi nízky a medzi blokmi s vyššou a nižšou hodnotou sa nezmenil (obr. 2i).

Anatómia projekcie dopamínu VTA – NAc bola intenzívne skúmaná^6,22,23, ale - vzhľadom na tento zjavný funkčný nesúlad medzi prepustením a prepustením - sme opätovne potvrdili, že nahrávame zo správnej časti VTA. Malé injekcie retrográdneho stopového toxínu cholery toxínu B (CTb) do jadra NAc viedli k hustému značeniu TH⁺ neuróny v tej istej oblasti VTA-l ako naše záznamy z optród (Extended Data Obr. 3). V rámci približnej záznamovej zóny je 21% TH⁺ bunky boli tiež CTb⁺a to bude pravdepodobne podhodnotené množstvo frakcie dopamínových buniek VTA-l projekujúcich jadro NAc, pretože naše stopovacie injekcie úplne nenaplnili jadro NAc. Naša vzorka n = 27 značených VTA dopamínových buniek (plus mnoho ďalších neoznačených buniek) takmer určite obsahuje NAc jadro vyčnievajúce neuróny. Nakoniec sme u ďalšieho potkana zaznamenali dva označené VTA-XNUMX dopamínové bunky po selektívnom infúzii AAV do jadra NAc (Extended Data Obr. 3). Obidve retrográdne infikované bunky mali strelecké vzorce, ktoré sa vo všetkých ohľadoch veľmi podobali ostatným označeným dopamínovým bunkám, vrátane nedostatku zmien tonického vypaľovania s rôznou mierou odmeny (Doplnkový obrázok 1). Dospeli sme k záveru, že zmeny v tonickom dopade dopamínových buniek VTA-l nie sú zodpovedné za zmeny súvisiace s motiváciou pri uvoľňovaní dopamínu v prednom mozgu.

Sleduje NAc dopamín rýchlosť odmeňovania per se, ako sa uvádza v niektorých teóriách³⁰alebo je táto korelácia vyvolaná dynamickými výkyvmi v uvoľňovaní dopamínu, ktoré sú príliš rýchle na to, aby sa dali vyriešiť pomocou mikrodialýzy? Obhajovali sme túto možnosť na základe údajov o voltammetrii⁵, ale požadovali potvrdenie pomocou nezávislej miery uvoľňovania dopamínu, ktorá môže preklenúť rôzne časové obdobia. Súbor geneticky kódovaných optických dopamínových indikátorov dLight1 sa skonštruoval vložením cirkulárne permutovanej GFP do dopamínových D1 receptorov.¹⁵, Väzba dopamínu spôsobuje vysoko špecifické zvýšenie fluorescencie (obr. 3a). Infúziu AAV sme vložili do NAc, aby sme exprimovali buď dLight1.1 (štyri overené umiestnenia NAc od troch potkanov) alebo jasnejší variant dLight1.3b (šesť overených umiestnení NAc od štyroch potkanov) a monitorovali fluorescenciu pomocou fotometrie vlákien. Pozorovali sme jasné NAc dopamínové reakcie na Pavloviánske odmeňovacie predikcie, podobne ako pri vypaľovaní dopamínových buniek VTA (Extended Data Obr. 5).

a, Fluorescenčná reakcia dLight1.3b. Inset, titrácia dopamínu (n = 15 záujmových oblastí (NI)) a noradrenalín (n = 9). Hlavná postava, neurotransmitery aplikované kúpeľom (všetky n = 12 NI). Jeho, histamín. b, Vzorová bandita relácie vrátane normalizovaného NAc dLight1.3b signálu (1-min zásobníky). c, dLight signál sa mení s blokovými prechodmi. n = 35 sadzieb odmien sa zvyšuje, 45 klesá. d, Krížová korelácia medzi sadzbou dLight a odmenou. e, Bližší pohľad na zatienenú časť b. Šípky: čierne, so stredovým nosom; svetlo červená, Side-in (odmenený); svetlo modrá, Side-in (bez odmeny); tmavo červená, Food-port-in (odmenená); tmavo modrá, Food-port-in (bez odmeny). Ďalšie riadky: netesný integrátor odhad odmeny; dLight pri nízkom rozlíšení (1 min); dLight pri vysokom rozlíšení (50 Hz, zelená; päťbodový medián filtrovaný, čierna); hodnoty stavu modelu (azúrová); a RPE (purpurová). Po niekoľkých neodmenených štúdiách sú hodnoty na začiatku štúdie nízke, potom doručenie odmeny vyvoláva pozitívny RPE a sprievodné prudké zvýšenie dopamínu. Postupné skúšky s odmenou znižujú RPE, ale zvyšujú hodnoty stavu sprevádzané zvyšovaním dopamínu. f, Krátke časové krížové korelácie ukazujú úzky vzťah medzi dLight a hodnotou a menší vzťah k RPE. g„Korelácie v rámci pokusu medzi modelovými premennými a dLight s rôznymi oneskoreniami; korelácia s hodnotou aj RPE je najsilnejšia k dLight asi o 0.3 s neskôr. h, Vo všetkých reláciách bola maximálna korelácia väčšia pre hodnotu ako pre RPE alebo sadzbu odmeny.

Obrázok v plnej veľkosti

Pre úlohu banditov sme najskôr skúmali signál dLight v koši 1-min (obr. 3b) na porovnanie s mikrodialýzou. Opäť sme videli jasný vzťah medzi uvoľňovaním dopamínu NAc a mierou odmeňovania, a to tak v krížovej korelácii, ako aj v analýze blokových prechodov (Obr. 3c, d). Ďalej sme podrobnejšie skúmali, ako tento vzťah vzniká. Skôr ako pomaly sa meniaci časový interval v minútach ukazoval signál dLight vysoko dynamické fluktuácie v rámci každej skúšky a medzi nimi (obr. 3e). Tieto fluktuácie sme porovnali s hodnotami okamžitého stavu a RPE odhadovanými na základe modelu zosilnenia a učenia (proces rozhodovania v semi-Markove).⁵). Ako už bolo uvedené skôr pomocou voltametrie⁵, moment dopade NAc dopamín vykazoval silnú koreláciu s hodnotami stavu (obr. 3f), viditeľné ako rampa v pokusoch, keď sa očakávali odmeny (obr. 3e). Zaznamenali sme tiež prechodné zvýšenia s menej očakávanými dodávkami odmien, ktoré sú v súlade s RPE (skúmané nižšie). V každej relácii dLight dopamín vykazoval silnejšiu koreláciu s hodnotami ako RPE alebo miera odmeňovania (obr. 3h, Rozšírené údaje Obr. 6). Korelácie s hodnotami stavu a RPE boli maximálne vzhľadom na signál dLight o 0.3 s neskôr, v súlade s krátkym oneskorením spôsobeným neurálnym spracovaním podnetov a časom odozvy senzora (obr. 3g; pri voltametrii sme zaznamenali oneskorenie 0.4–0.5 s)⁵.

Ďalej sme porovnávali vypaľovanie a uvoľňovanie dopamínových buniek pri udalostiach banditov. Vonkajšie podnety pri rozsvietení, spustení a odmenení systémom Side-in (kliknutie na jedlo) vyvolali rýchle zvýšenie paľby (obr. 4a). Tieto reakcie boli pozorované vo veľkej väčšine dopamínových buniek (obr. 4c), hoci sa relatívna veľkosť reakcií na rôzne narážky líšila od bunky k bunke (Doplnkový obrázok 1). Signál NAc dLight tiež rýchlo a spoľahlivo reagoval na každú z týchto dôležitých podnetov (obr. 4b, c), v súlade s výbuchom dopamínových buniek, ktoré poháňajú uvoľňovanie dopamínu.

a, Aktivita VTA-1 dopamínových buniek podľa udalosti. Špičkové rastrové hroty pre jednu reprezentatívnu bunku; spodná, priemerná miera špice (n = 29). Na všetkých paneloch indikujú chybové pásma ± sem b, NAC dLight zarovnané na udalosti. Vrcholové, reprezentatívne zasadnutie; dno, priemer (n = 10), normalizované na najvyššiu odmenu Side-in reakcie. Na celom tomto obrázku sú signály dLight zobrazené vo vzťahu k 2-s „základnej“ epoche končiacej 1 s pred Center-in. Zväčšenie noty (šípky) krátko pred vycentrovaním a vložením jedla. cKumulatívne rozdelenie času dopamínových buniek (pevné; n = 29), dLight (prerušované; n = 10), zvýšiť po nástupe tága (test náhodného porovnania v porovnaní s východiskovou hodnotou, 10,000 XNUMX náhodných striedaní, P <0.01, opravené viacnásobné porovnania). Pri zapnutom osvetlení zahrnuté iba latencie <1 s; pre skúšobné verzie s odmenou iba pre Side-in. Stredné latencie (od sigmoidného uloženia): zapnuté, streľba 152 ms, dLight 266 ms; Choď na streľbu, streľba 67 ms, dLight 212 ms; Side-in, streľba 85 ms, dLight 129 ms. Nepopamínové bunky boli typicky ľahostajné k počiatočným nástupom (rozšírené údaje, obr. 8). dVýrazné uvoľňovanie dopamínu súvisiace s prístupom. Horné, priemerné vypaľovanie dopamínových buniek (n = 29); stredná, priemerná dLight (n = 10); dno, voltametria (n = 6), normalizované na špičkovú krátku latenciu odozvy na svetlo. Ľavé panely, latencie <1 s, pravý, latencie> 2 s. Údaje sú zarovnané na svetlo zapnuté (plné) alebo na stred (bodkované); červená prerušovaná čiara, stredná latencia. Pri dlhších latenciách nedochádza k nárastu streľby blízko stredu, ale dLight a voltametria vykazujú výrazný nárast. e, Bodový graf porovnávajúci špičkové signály zarovnané pri zapnutí (y os) alebo Center-in (x os). Pre každú bunku riadky spojené s reláciou označujú údaje pre odlišné rozsahy latencie (<1 s,> 2 s). Dopamínový výboj (hore) neustále ukazuje odozvu na svetlo pri skúškach s krátkou latenciou (obojsmerná analýza odchýlky (ANOVA), interakcia × interakcia latencie F = 7.47, P = 0.0008). dLight (stred), voltametria (spodok) signály sú neustále lepšie zarovnané na Center-in (obojsmerná ANOVA pre dLight: zarovnanie × interakcia latencie, F = 9.28, P = 0.0043). fDopamín sa počas priblíženia zvyšuje, kvantifikovaný ako uhol rampy (pozri Metódy). Kruhy označujú jednotlivé dopamínové bunky (n = 29), relácie dLight (n = 10).

Obrázok v plnej veľkosti

Zaznamenali sme tiež zreteľné zvýšenie uvoľňovania dopamínu NAc, keď sa potkany priblížili k počiatočnému portu (tesne pred centrom) a potravinovému portu (tesne pred portom Food-port). To dobre zapadá do rozsiahlej voltametrickej literatúry, ktorá ukazuje, že správanie s motivovaným prístupom je sprevádzané rýchlym nárastom dopamínu NAc v jadre.^{5,7,8,9,10,11}, Populácia dopamínových buniek VTA-l však v týchto časoch nepreukázala zodpovedajúce zvýšenie pálenia (obr. 4a; pozri Rozšírené údaje Obr. 7 na ďalšie porovnávanie, vrátane buniek bez dopamínu).

Pre lepšiu disociáciu aktivity dopamínu vyvolanej tágom a súvisiacu s prístupom sme separovali pokusy krátkou (<1 s) a dlhou (> 2 s) latenciou (obr. 4d, napr). Nárast vypaľovania dopamínových buniek bol dôsledkom blokovania nástupu impulzu pri zapnutí, prednostne pri pokusoch s nízkou latenciou. Všetky dopamínové bunky 25 so signifikantným zvýšením rýchlosti vypaľovania po zapnutí boli lepšie zarovnané so zapnutím ako zapálením (obr. 4e). Naopak, zvýšenie uvoľňovania dopamínu NAc pred Cent-in bolo odlišné od uvoľňovania dopamínu vyvolaného narážkou (Obr. 4d, napr). dLight signály sa neustále zvyšovali pred Cent-in pri dlhotrvajúcich pokusoch (desať z desiatich sedení) a pred vstupom potravy (deväť z desiatich sedení), bez zodpovedajúceho zvýšenia pálenia dopamínom (obr. 4f).

Nakoniec sme zvážili, ako dopamínové signály súvisiace s udalosťami závisia od nedávnej histórie odmeňovania. V počiatočnej časti každej skúšky nebolo spaľovanie dopamínových buniek závislé od miery odmeňovania (obr. 5a), napriek vplyvu miery odmeňovania na motiváciu (obr. 5b). Následne bola fázová odpoveď na odmenné znamenie v Side-in spoľahlivo silnejšia, keď bola miera odmien nižšia (obr. 5a), v súlade s pozitívnym kódovaním RPE. Keď bolo toto odmeňovacie narážanie vynechané, dopamínové bunky prestali strieľať, hoci kódovanie negatívnych RPE bolo oveľa slabšie alebo neprítomné, či už boli skúmané na úrovni populácie (obr. La, b) alebo ako jednotlivé bunky (rozšírené údaje obr. 8). Predtým sa navrhovalo, aby boli negatívne RPE kódované počas trvania dopamínových prestávok³¹, ale toto bolo pozorované iba u 2 z 29 jednotlivých neurónov. Podobné výsledky sa dosiahli, ak sa očakávaná odmena odhadovala inými spôsobmi, vrátane skúšobných modelov posilnenia výučby (herec-kritik a Q-učenie) alebo jednoducho spočítaním nedávnych odmien (rozšírené údaje obr. 8).

a, Najvyššie spriemerované rýchlosti spaľovania dopamínových buniek (n = 29) zarovnané na Side-in, rozdelené podľa sadzby odmien (terciá, počítané osobitne pre každú bunku). Pred programom Side-in nezávisí aktivita od očakávania odmeny. Po Side-in testoch s odmenou (červená) a bez odmeny (modrá) sú zobrazené osobitne. Odozva na kliknutie na jedlo je silnejšia, keď je miera odmeny nízka, v súlade s kódovaním pozitívnych RPE. Spodná časť, frakcia jednotlivých dopamínových buniek s rýchlosťou streľby, ktorá sa významne mení s mierou odmeny v každom okamihu (náhodný test, P <0.01, opravené viacnásobné porovnania). Značky v hornej časti označujú časy, keď bol tento zlomok výrazne vyšší ako náhoda (binomická, P <0.01). Po Side-in sa testujú iba negatívne korelácie - to znamená potenciálne RPE kódovanie. b, Regresné grafy pre relácie so zaznamenanými dopamínovými bunkami, ukazujúce vplyv nedávnej histórie odmeňovania na (log-) latenciu (hore) a dopamínové obohatenie. Hviezdičky označujú významné regresné hmotnosti (t-test, P <0.05). Počas 0.5 s pred signálom Go (zatiaľ čo krysa musí udržiavať stabilný výčnelok v nose, aby mohla pokračovať), nie je ovplyvnenie dopamínu ovplyvnené históriou odmien (uprostred). Toto sa zmení, akonáhle sa odhalí výsledok (spodná časť; vyhodnotenie maxima alebo minima aktivity za 0.5 s po Side-in), ale iba pri testoch s odmenou. c, d, Rovnaké ako vyššie, s výnimkou dLight (normalizované na najvyššiu odozvu Side-in). Uvoľňovanie dopamínu spoľahlivo prispôsobuje mieru odmeňovania ešte pred zavedením.

Obrázok v plnej veľkosti

Uvoľňovanie dopamínu pri Side-in tiež ukázalo jasné, prechodné kódovanie pozitívnych RPE, ale nie negatívnych RPE (Obr. 5c, d). Táto dLight reakcia bola mierne oneskorená a predĺžená v porovnaní s paľbou, čo je konzistentné s časom potrebným na uvoľnenie a spätné vychytávanie³², ale zostal vedľajším javom. Na rozdiel od odpaľovania však signály dLight na začiatku každej skúšky boli väčšie, keď boli posledné štúdie odmenené (obr. 5c), v súlade s kódovaním hodnoty. Pozorovali sme túto závislosť na histórii odmien, aj keď sa krysa aktívne nehýbala, ale počas čakania na tágo udržiavala nos v strede portu, obr. 5d). Celkovo sme dospeli k záveru, že uvoľňovanie dopamínu NAc odráža narážky vyvolané odpoveďami a očakávania odmien, a že iba tie prvé sa dajú spoľahlivo vysvetliť spaľovaním dopamínových buniek VTA-l.

VTA-1 poskytuje prevládajúci zdroj dopamínu do jadra NAc^6,23,24, VTA-l dopamínové bunky, vrátane tých, ktoré vyčnievajú na jadro NAc, dôsledne vykazujú zhluky kódujúce RPE^3,12, Zhluky VTA sa považujú za zvlášť dôležité pre riadenie dopamínu NAc³²a skutočne sme zistili, že impulzy vyvolané VTA vyvolané cue sa zhodovali s vydaním NAc. Ďalej sme však zistili hodnotové vzorce uvoľňovania dopamínu NAc, ktoré neboli generované vypaľovaním dopamínových buniek VTA-l, buď na dlhom (tonickom) alebo krátkom (fázovom) časovom rámci. Iné subaminácie dopamínu môžu prenášať zreteľné signály^13,33,34, a nemôžeme vylúčiť možnosť, že spaľovanie subpopulácií dopamínových buniek, ktoré tu nie sú zaznamenané, produkuje v jadre NAc hodnotový dopamín. Napálenie súvisiace s hodnotou však nikdy nebolo hlásené pre žiadne dopamínové bunky v širokom spektre štúdií. Naše výsledky naznačujú, že dynamika dopamínu NAc je riadená rôznymi spôsobmi, v rôznych časoch a pre rôzne funkcie a že zaznamenávanie dopamínových buniek je síce dôležité, ale nie dostatočné na pochopenie dopamínových signálov.³⁵.

Uvoľňovanie z dopamínových terminálov je silne ovplyvnené miestnymi mechanizmami, ktoré nevyžadujú prudký nárast^{36,37,38,39,40}, Napríklad uvoľňovanie dopamínu NAc je modulované bazolaterálnou amygdalou, aj keď je farmakologicky potlačené štiepenie VTA.^41,42, Už desaťročia je známe, že lokálna kontrola uvoľňovania dopamínu by mohla dosiahnuť funkcie odlišné od funkcií dopamínových buniek^36,43, ale toto nebolo začlenené do teoretických názorov na dopamín. Odlišné striatálne podoblasti prispievajú k rôznym typom rozhodnutí a môžu podľa potreby ovplyvňovať ich vlastné uvoľňovanie dopamínu⁴⁴. Zostáva určiť, ako lokalizovaná môže byť táto kontrola uvoľňovania dopamínu. Jedným z obmedzení, ktoré zdieľajú 3 spôsoby, ako sme merali uvoľňovanie dopamínu, je to, že všetky vzorkujú v priestorovej mierke najmenej 100 μm, zatiaľ čo mikroskopia in vivo naznačuje, že uvoľňovanie dopamínu môže byť heterogénne v podstatne menších mierkach¹⁵.

Naše výsledky nepodporujú existenciu samostatného tonického dopamínového signálu, ktorý by mohol sprostredkovať motivačné účinky dopamínu. Namiesto toho sa posuny dopamínu, ktoré sa zdajú pomalé, ak sa merajú pomaly (s mikrodialýzou), rozpadnú na rýchle kolísania, ak sa merajú rýchlo (s voltametriou alebo dLight). Ďalej, záznamy identifikovaných dopamínových buniek VTA sami a ďalšími³⁰ poskytnúť silný dôkaz proti tejto myšlienke²⁹ že zmeny v tonických dopamínových bunkách spôsobujú tonické zmeny v uvoľňovaní dopamínu. Hoci tonické vypaľovanie sa môže zmeniť léziami alebo manipuláciou s drogami²⁸„Nie sme si vedomí trvalých zmien rýchlosti streľby pri žiadnej úlohe správania. Počas očakávania motivačne významných udalostí môže streľba stúpať smerom nadol v časovom horizonte asi 1 s^45,46, Tento pokles je však opakom toho, čo by sa vyžadovalo na zvýšenie uvoľňovania dopamínu s očakávaním odmeny, a namiesto toho má väčšiu podobnosť so sekvenciou prechodných negatívnych predikčných chýb.⁴⁷, Hoci trvalé signály kódujúce pokračujúcu mieru odmeňovania by mohli byť výpočtovo užitočné³⁰, dopamín namiesto toho poskytuje rýchlo kolísavé signály chýb a hodnôt. Je možné, že trvalé signály sa vypočítajú v nasledujúcom kroku intracelulárnymi signálnymi cestami po dopamínových receptoroch.

Mnoho skupín pozorovalo uvoľňovanie dopamínu na rampu, keď sa potkany priblížili^{5,7,8,9,10,11}, v súlade s kódovaním zvyšujúcich sa očakávaní odmien. Niektorí tvrdia, že tieto dopamínové rampy jednoducho odrážajú RPE, predpokladajúc, že ​​potkany buď rýchlo zabudnú na hodnoty⁴⁸ alebo že majú zdeformovanú množinu štátnych vyhlásení⁴⁹, Túto poslednú myšlienku nepodporuje naše pozorovanie, že rampa sa rýchlo moduluje z pokusu na pokus na základe aktualizovaných očakávaní odmien, čím sa stáva silnejšou v rámci krátkej postupnosti odmien, zatiaľ čo reakcie podobné RPE na narážky sú slabšie (obr. 3e). Všeobecnejšie povedané, žiadna teória, v ktorej dopamín iba sprostredkuje RPE (vzdelávacie signály), nemôže zodpovedať za veľmi dobre zavedené spojenie medzi pokračujúcim mezolimbickým dopamínom a motiváciou.¹⁶, Jadro NAc nie je potrebné pre vysoko trénované reakcie na podmienené stimuly, ale je obzvlášť dôležité pri rozhodovaní o vykonaní časovo náročnej práce na získanie odmien⁵⁰, Zdá sa, že jadrový dopamín NAc poskytuje zásadný dynamický signál o tom, aké užitočné je venovať čas a úsilie na prácu^5,44, aj keď tento signál nie je prítomný pri vypaľovaní dopamínových buniek VTA.

zver

Všetky postupy na zvieratách boli schválené inštitucionálnymi výbormi pre používanie a starostlivosť o zvieratá na University of Michigan alebo University of California v San Franciscu. Samce potkanov (300 - 500 g, buď divoký typ Long-Evans, alebo TH-Cre⁺ s pozadím Long-Evans⁵²) boli udržiavané na reverznom cykle 12: 12 svetlo: tma a testované počas tmavej fázy. Potkany boli mierne zbavené potravy a každý deň dostávali 15 g štandardnej laboratórnej potkanovej potravy okrem potravinových odmien získaných počas výkonu úlohy. Neuskutočnila sa žiadna predbežná kalkulácia veľkosti vzorky. Vyšetrovatelia neboli zaslepení pri prideľovaní počas experimentov a hodnotenia výsledku.

správanie

Predpríprava a testovanie sa uskutočňovali v počítačom riadených operačných komorách spoločnosti Med Associates (25 cm × 30 cm v najširšom mieste), každá s päťdierkovou stenou s otvorom v nose, ako už bolo opísané⁵, Relácie banditových úloh použili nasledujúce parametre: dĺžky blokov boli 35-45 štúdie, náhodne vybrané pre každý blok; doba zdržania pred prechodom Go bola 500 – 1,500 ms (rovnomerné rozdelenie); Pravdepodobnosť odmeny zľava doprava bola 10, 50 a 90% (v prípade elektrofyziológie, fotometrie, voltametrie a predtým zaznamenaných mikrodialyzovaných krýs⁵) alebo 20, 50 a 80% (novo hlásené potkany s mikrodialýzou).

Súčasná miera odmeňovania bola odhadnutá pomocou netesného integrátora založeného na čase⁵³, Sadzba odmeny sa zvyšovala vždy, keď bola prijatá odmena, a exponenciálne sa rozpadala pri sadzbe stanovenej parametrom τ (čas v s, aby sa miera odmeňovania znížila o ~ 63%, to znamená, 1-1 / e). Pre všetky analýzy τ bol vybraný na základe správania potkana, pričom sa maximalizovala (negatívna) korelácia medzi mierou odmeňovania a logom (latencia) v každej relácii. Korelácie medzi dopamínom predného mozgu a mierou odmeňovania neboli na tento výber veľmi citlivé τ (Rozšírené údaje Obr. 1).

Aby sme klasifikovali prechody blokov ako „zvyšujúce sa“ alebo „znižujúce sa“ v miere odmeňovania, porovnali sme priemernú mieru odmeňovania integrovaného integrátora v posledných 5 min. Bloku s priemernou sadzbou v prvom 8 min. Nasledujúceho bloku.

Potkany používané na elektrofyziológiu a fotometriu tiež vykonávali úlohu pavlovovského prístupu v tej istej operatívnej komore so zapnutým domácim svetlom po celú dobu relácie. Tri sluchové signály (2 kHz, 5 kHz a 9 kHz) boli spojené s rôznymi pravdepodobnosťami dodania potravy (vyvážené medzi potkanmi). Podnety sa hrali ako sled tónových pipov (100 ms zapnutý, 50 ms vypnutý) po celkovú dobu trvania 2.6 s, po ktorej nasledovala doba oneskorenia 500 ms. Náznaky a doručenie nepredvídaných odmien boli doručené v náhodnom poradí s variabilným intervalom medzi pokusmi (15–30 s, rovnomerné rozdelenie).

Microdialysis

chirurgia

Potkanom sa bilaterálne implantovali vodiace kanyly (CMA, 830 9024) v kôre a striatu. Jedna skupina (n = 8) dostala jednu vodiacu kanylu zameranú na prelimbickú a infralimbickú kôru (anteroposteriorná (AP) +3.2 mm, mediolaterálna (ML) 0.6 mm vzhľadom na bregmu; a dorsoventrálna (DV) 1.4 mm pod povrchom mozgu) a ďalšiu zameranú na dorsomediálne striatum a nucleus accumbens na opačnej pologuli (AP +1.3, ML 1.9 a DV 3.4). Oba implantáty boli zahnuté 5 stupňov od seba pozdĺž rostrálno-kaudálnej roviny. Druhá skupina (n = 4) dostala jednu vodiacu kanylu zameranú na prednú cingulárnu kôru (AP +1.6, ML 0.8 a DV 0.8) a ďalšiu zameranú na accumbens (jadro / plášť na opačnej pologuli pri AP +1.6, ML 1.4 a DV 5.5 (n = 2) alebo AP +1.6, ML 1.9 a DV 5.7 (n = 2). Bočné strany implantátu boli vyvážené medzi potkanmi. Zvieratá sa nechali zotaviť jeden týždeň pred preškolením.

chemikálie

Voda, metanol a acetonitril pre mobilné fázy boli HPLC kvality Burdick & Jackson, zakúpené od VWR (Radnor). Všetky ďalšie chemikálie boli zakúpené od Sigma Aldrich, pokiaľ nie je uvedené inak. Umelá mozgovomiechová tekutina (aCSF) obsahovala 145 mM NaCI, 2.68 mM KCl, 1.40 mM CaCI₂1.01 mM MgS04₄, 1.55 mM Na₂HPO₄ a 0.45 mM NaH₂PO₄, pH bolo upravené na 7.4 pomocou NaOH. K redukcii oxidácie analytov bola pridaná kyselina askorbová (konečná koncentrácia 250 nM).

Odber vzoriek a HPLC-MS

V deň testu sa zvieratá umiestnili do komory pre operátorov so zapnutým svetlom. Mikrodialýzne sondy koncentrovanej polyakrylonitrilovej membrány (1-mm dialyzujúca AN69 membrána; Hospal) sa vložili bilaterálne do vodiacej kanyly a kontinuálne sa perfúzovali (Chemyx, Fusion 400) s aCSF pri 2 ul / min počas 90 min, aby sa umožnila rovnováha. Po odbere základnej línie 5-min sa zhasol domáci pokoj a narobil zviera podľa dostupnosti banditov. Odber vzoriek pokračoval v 1minutových intervaloch a vzorky boli okamžite derivatizované⁵⁴ s 1.5 ul uhličitanu sodného, ​​100 mM; 1.5 ul benzoylchloridu (2% (obj./obj.) Benzoylchloridu v acetonitrile); a 1.5 ul izotopovo značenej zmesi vnútorného štandardu zriedenej v 50% (v / v) acetonitrile obsahujúcom 1% (v / v) kyselinu sírovú a obohatené deuterovaným ACh a cholínom (C / D / N izotopy) na konečnú koncentráciu 20 nM. Odber série vzoriek sa striedal medzi dvoma sondami v 30-sekundových intervaloch v každom z 26 sedení, s výnimkou jedného sedenia, v ktorom zlomená membrána viedla iba k jednej sérii (spolu 51 sérií vzoriek). Vzorky sa analyzovali pomocou systémov Thermo Scientific UHPLC (Accela alebo Vanquish Horizon prepojených s trojitým kvadrupólovým hmotnostným spektrometrom Quantum Ultra vybaveným sondou HESI II ESI), ktoré fungovali na viacnásobnom monitorovaní reakcie. Vzorky piatich mikrolitrov sa vstrekli na HPLC kolónu Phenomenex core-shell bifenyl Kinetex (2.1 mm x 100 mm). Mobilnou fázou A bol 10 mM mravčan amónny s 0.15% kyselinou mravčou a mobilnou fázou B bol acetonitril. Mobilná fáza bola opatrená elučným gradientom 450 ul / min nasledujúcim spôsobom: počiatočná, 0% B; 0.01 min, 19% B; 1 min, 26% B; 1.5 min, 75% B; 2.5 minúty, 100% B; 3 minúty, 100% B; 3.1 min, 5% B; a 3.5 minúty, 5% B. Na automatické spracovanie a integráciu vrcholov sa použil Thermo Xcalibur QuanBrowser (Thermo Fisher Scientific). Každý z> 100,000 XNUMX vrcholov bol individuálne vizuálne skontrolovaný, aby sa zaistila správna integrácia.

Analýza

Všetky údaje o neurochemických koncentráciách boli vyhladené trojbodovým kĺzavým priemerom (y′ = [0.25 × (y-1) + 0.5y + 0.25 × (y+ 1)]) a z-skóre normalizované v rámci každej relácie, aby sa uľahčilo porovnanie medzi reláciami. Pre každú cieľovú oblasť sa vygeneroval krížový korelogram pre každú reláciu a vyniesol sa priemer relácií. Jednopercentné hranice spoľahlivosti boli vygenerované pre každý čiastkový graf 100,000-násobným premiešaním jednej časovej série a vygenerovaním distribúcie korelačných koeficientov pre každú reláciu. Viaceré regresné modely boli vygenerované pomocou regresnej funkcie v MATLABe, pričom neurochemická bola výsledná premenná a behaviorálne metriky boli prediktory. Regresné koeficienty boli stanovené významné pri troch hladinách alfa (0.05, 0.0005 a 0.000005) po Bonferroniho korekcii pre viacnásobné porovnanie (alfa / (21 chemikálií × 7 oblastí × 9 behaviorálnych regresorov)). Na analýzu blokových prechodov sa dáta spojili do 3-minútových epoch a vzorka, ktorá obsahovala čas prechodu, sa vyhodili.

elektrofyziológie

Potkany (n = 25) boli implantované na mieru navrhnutými ovládateľnými optródami, z ktorých každá pozostávala zo 16 tetród (skonštruovaných z 12.5 um nichrómového drôtu, Sandvik) prilepených na stranu 200 um optického vlákna a siahajúcich až do 500 um pod špičkou vlákna. Počas toho istého chirurgického zákroku sme injikovali 1 ul AAV2 / 5-EF1a-DIO-ChR2 (H134R) -EYFP do laterálneho jadra VTA (AP 5.6, ML 0.8, DV 7.5) alebo NAc (AP 1.6, ML 1.6, DV 6.4) . Širokopásmové (1–9,000 30,000 Hz) mozgové signály sa vzorkovali (80 XNUMX vzoriek za s) pomocou digitálnych headendov Intan. Na konci každej relácie záznamu boli optódy znížené najmenej o XNUMX um. Jednotlivé jednotky boli izolované offline pomocou MATLAB implementácie MountainSort⁵⁵ potom dôkladná manuálna kontrola.

Klasifikácia

Na identifikáciu toho, či bola izolovaná jednotka VTA-1 dopaminergná (TH⁺), použili sme test latencie spojený s podnetom⁵⁶, Stručne povedané, na konci každej experimentálnej relácie sme spojili optródu s laserovou diódou a dodali svetelné impulzové súpravy rôznej šírky a frekvencie. Na to, aby bolo možné jednotku identifikovať ako reagujúcu na svetlo, je potrebné dosiahnuť hladinu významnosti P <0.001 pre sledy impulzov 5 ms a 10 ms. Tiež sme porovnali vlnové tvary vyvolané svetlom (do 10 ms od začiatku laserového pulzu) s priemermi celej relácie; všetky jednotky vyvolané svetlom mali Pearsonov korelačný koeficient> 0.9. Dopamínové neuróny boli úspešne zaznamenané od štyroch potkanov s infúziou AAV VTA-l (IM657, 1 jednotka; IM1002, 3 jednotky; IM1003, 15 jednotiek; IM1037, 9 jednotiek) a jednej potkany s NAc jadrom AAV (IM-1078, 2 jednotky) . Šírka vrcholu bola definovaná ako maximálna šírka a polovica maxima najvýraznejšej negatívnej zložky zarovnaného, ​​spriemerovaného tvaru špice. Neznačené VTA neuróny s rýchlosťou vypaľovania v rámci celej relácie> 20 Hz a šírkou píku <200 us boli klasifikované ako nedopamínové bunky. Aby sme zaistili, že porovnávame dopamínové a nedopamínové bunky v rovnakých podoblastiach, analyzovali sme iba nedopamínové bunky zaznamenané počas relácií s najmenej jednou opticky označenou dopamínovou bunkou.

Analýza

Burstové impulzy boli detekované konvenčným prístupom „šablóna 80 / 160“⁵⁷: zakaždým, keď dôjde k intervalu medzi hrotmi 80 ms alebo menej, tieto a nasledujúce hroty sa považujú za súčasť série, až kým nenastane interval 160 ms alebo viac. Pre porovnanie „tonického“ streľby s mierou odmeny sa dopamínové skoky počítali do 1-minútových zásobníkov. Na preskúmanie rýchlejších zmien boli funkcie hustoty hrotov skonštruované konvertovaním hrotových vláčikov s Gaussovým jadrom s odchýlkou ​​20 ms. Aby sme určili, ako rýchlo neurón odpovedal na dané znamenie, použili sme 40 ms koše (kĺzavé v krokoch po 20 ms) a pre každý časový interval sme použili test premiešania (10,000 250 zamiešaní) porovnávajúci rýchlosť streľby po začiatku cue s rýchlosťou streľby v XNUMX ms bezprostredne pred tágom. Prvý zásobník, pri ktorom bola rýchlosť streľby po cue významne (P <0.01, korekcia pre viacnásobné porovnanie) vyššia ako východisková hodnota streľby sa považovala za čas do reakcie.

Maximálna rýchlosť vypaľovania bola vypočítaná ako maximálna (Gaussovsky vyhladená) rýchlosť vypaľovania každej skúšky v okne 250-ms po bočnom vstupe pre odmenené skúšky a údolie bolo vypočítané ako minimálna rýchlosť vypaľovania v okne 2, počnúc jednu sekundu po bočnom vstupe na nezodpovedané skúšky.

Aby sme vypočítali uhol rampy počas správania pri priblížení, vyhladili sme stredné rýchlosti paľby pomocou Gaussovského jadra 50-ms, detegovali maximum / minimum výsledného signálu v okne 0.5-s pred každou udalosťou (vstup do stredu alebo do vstupu potravín). ) a zmeral podpísaný uhol spájajúci dva extrémy. Na porovnanie sadzieb paľby v blokoch s „vysokou“ a „nízkou“ platnosťou sme pre každú reláciu vykonali strednú hodnotu priemernej miery odmeňovania integrovaného integrátora v každom bloku.

Voltametria a výpočtový model

Tu uvedené výsledky rýchleho skenovania cyklickej voltametrie analyzujú údaje, ktoré boli predtým podrobne uvedené⁵, Odhady predikcie hodnoty stavu a odmeňovania v rámci pokusu sa vypočítali pomocou modelu vzdelávania na základe zlepšenia procesu semi-Markov, presne tak, ako to bolo predtým opísané.⁵.

fotometria

Na expresiu geneticky kódovaného optického dopamínového senzora dLight sme použili vírusový prístup¹⁵. V anestézii izofluránom sa 1 μl AAV9-CAG-dLight (1 × 10¹² vírusové genómy na ml; UC Davis vektorové jadro) sa pomaly (100 nl / min) injektovalo (Nanoject III, Drummond) cez 30 um sklenenú mikropipetu vo ventrálnom striate obojstranne (AP: 1.7 mm, ML: 1.7 mm, DV: -7.0 mm). Počas toho istého chirurgického zákroku boli zavedené optické vlákna (jadro 400 um, celkový priemer 430 um) pripojené ku kovovej objímke (Doric) (cieľová hĺbka o 200 um vyššia ako AAV) a nalepené na miesto. Dáta sa zbierali> o tri týždne neskôr, aby sa umožnila expresia dLight.

Pre dLight excitáciu boli modré (470 nm) a fialové (405 nm; kontrolné) LED diódy sinusovo modulované pri odlišných frekvenciách (211 Hz, respektíve 531 Hz)⁵⁸). Ako excitačné, tak emisné signály prechádzajúce cez filtre s malými rúrkami (Doric) a objemová fluorescencia sa merali pomocou femtowattového detektora (Newport, model 2151), ktorý odoberal vzorky pri 10 kHz. Demodulácia vyprodukovala samostatné signály 470 nm (dopamín) a 405 nm (kontrolné), ktoré sa potom navzájom zmenšili mierkou pomocou najmenšieho štvorca⁵⁸, Frakčný fluorescenčný signál (dF/F) potom bolo definované ako (470–405_fit) / 405_fit. Pri všetkých analýzach bol tento signál prevzorkovaný na 50 Hz a vyhladený päťbodovým stredným filtrom. Pre samostatnú prezentáciu 470 nm a 405 nm signálov pozri rozšírené údaje obr. 7.

Dáta z umiestnenia optického vlákna boli zahrnuté do analýz, ak bol koniec vlákna v NAc a fluorescenčná reakcia na najmenej jedno narážanie úlohy mala z-skóre> 1. Tieto kritériá vylučovali jedného potkana a poskytli tri potkany / štyri umiestnenia (IM1065-ľavý, IM1066-bilaterálny, IM1089-pravý) pre dLight1.1 a štyri potkany / šesť umiestnení (IM1088-bilaterálny, IM1105-pravý, IM1106-bilaterálny, IM1107-vpravo) pre dLight1.3b. Podobné výsledky boli získané pre dLight1.1 a dLight1.3 (rozšírené údaje obr. 7), takže údaje boli kombinované.

Aby sme vypočítali uhol rampy počas správania pri priblížení, detegovali sme maximum / minimum výsledného signálu v okne 0.5-u pred každou udalosťou (stredový otvor alebo potravinový port) a zmerali sme signálny uhol spájajúci dva extrémy.

Afinita a molekulárna špecifickosť dLight1.3b

Merania in vitro sa uskutočňovali, ako už bolo opísané¹⁵, Stručne povedané, bunky HEK293T (ATCC CRL # 1573) boli kultivované a transfektované plazmidmi kódujúcimi dlight1.3b riadenými promótorom CMV a premyté pomocou HBSS (Life Technologies) doplneného o Ca²⁺ (4mM) a Mg²⁺ (2 mM) pred zobrazením. Zobrazovanie sa uskutočňovalo pomocou 40-násobného objektívu na báze oleja na inverznom konfokálnom mikroskope Zeiss Observer LSN710 s vlnovými dĺžkami 488 nm / 513 nm (excitácia / emisia). Na testovanie fluorescenčných reakcií senzora sa neurotransmitery priamo aplikovali na kúpeľ počas časozberného zobrazovania, a to najmenej v dvoch nezávislých experimentoch. Titrácie dopamínu a noradrenalínu sa získali uskutočnením desaťnásobného sériového riedenia na dosiahnutie ôsmich rôznych koncentrácií. Všetky ďalšie neurotransmitery sa testovali v troch postupných koncentráciách (100 nM, 1 uM a 10 uM). Všetky koncentrácie neurotransmiterov sa získali zriedením z 1 mM zásobnej koncentrácie v HBSS, pripravenom čerstvo. Intenzity surovej fluorescencie z časozberného zobrazovania sa kvantifikovali na Fidži; každý ROI bol ručne nakreslený na membránu jednotlivých buniek. Zmena fluorescenčného záhybu (ΔF/F) sa vypočítalo ako F peak (priemerná intenzita fluorescencie štyroch snímok) - F bazálna (priemerná intenzita fluorescencie štyroch snímok pred pridaním ligandov) /F bazálnej. Grafy a štatistická analýza sa uskutočňovali pomocou GraphPad Prism 6. Dátové body sa analyzovali pomocou väzbovej krivky špecifickej pre jedno miesto, aby sa získala K_d hodnôt. V grafoch „box-and-whisker“ pokrýva rám rozsah 25% až 75% a fúzy sa rozširujú z minimálnych na maximálne hodnoty.

Súhrn výkazov

Ďalšie informácie o výskumnom pláne sú k dispozícii na internete Zhrnutie správ o výskume v prírode súvisí s týmto dokumentom.

Vírus AAV.Synapsin.dLight1.3b použitý v tejto štúdii bol uložený v Addgene (č. 125560; http://www.addgene.org). Všetky údaje budú k dispozícii na webovej stránke Collaborative Research in Computational Neuroscience zdieľanie údajov (https://doi.org/110.6080/K0VQ30V9).

Vlastný kód MATLAB je k dispozícii na požiadanie od JDB

Poznámka vlastníka: Spoločnosť Springer Nature zostáva neutrálna, pokiaľ ide o jurisdikčné tvrdenia v publikovaných mapách a inštitucionálnych vzťahoch.

Ďakujeme P. Dayanovi, H. Fieldsovi, L. Frankovi, C. Donaghueovi a T. Faustovi za ich pripomienky k skorej verzii rukopisu a V. Hetrickovi, R. Hashimovi a T. Davidsonovi za technickú pomoc a poradenstvo. Túto prácu podporili Národný inštitút pre zneužívanie drog, Národný inštitút duševného zdravia, Národný inštitút neurologických porúch a mozgovej mŕtvice, Michiganská univerzita, Ann Arbor a Kalifornská univerzita v San Franciscu.

Informácie o recenzentovi

príroda ďakuje Margaret Rice a iným anonymným recenzentom za príspevok k vzájomnému preskúmaniu tejto práce.

Poznámky autora

1. Autori prispeli rovnako: Ali Mohebi, Jeffrey R. Pettibone

Medzinárodná spolupráca

1. Katedra neurológie, Kalifornská univerzita, San Francisco, San Francisco, Kalifornia, USA

   • Ali Mohebi
   • , Jeffrey R. Pettibone
   •  & Joshua D. Berke

2. Katedra neurovedy, Brown University, Providence, RI, USA

   • Arif A. Hamid

3. Katedra chémie, Michiganská univerzita, Ann Arbor, MI, USA

   • Jenny-Marie T. Wong
   •  & Robert T. Kennedy

4. Neurovedný postgraduálny program, Kalifornská univerzita, San Francisco, San Francisco, Kalifornia, USA

   • Leah T. Vinson
   •  & Joshua D. Berke

5. Katedra biochémie a molekulárnej medicíny, Lekárska fakulta, Kalifornská univerzita, Davis, Davis, CA, USA

   • Tommaso patriarcha
   •  & Lin Tian

6. Weillský inštitút pre neurovedy a Kavliho inštitút pre základné neurovedy, Kalifornská univerzita, San Francisco, San Francisco, USA

   • Joshua D. Berke

Príspevky

AM vykonal a analyzoval elektrofyziológiu a fotometriu a použil výpočtový model. JRP vykonal a analyzoval mikrodialýzu s pomocou J.-MTW a dozor RTKAAH vyvinul behaviorálnu úlohu a počiatočné nastavenie fotometrie a vykonal voltametriu. LTV vykonala spätné sledovanie a analýzu. Spoločnosti TP a LT vyvinuli senzor dLight a zdieľali odborné znalosti. JDB štúdiu navrhol a dohliadal na ňu a písal rukopis.

Konkurenčné záujmy

Autori neuvádzajú žiadne konkurenčné záujmy.

zodpovedajúci Autor

Korešpondencia Joshua D. Berke.