Dissociable dopamine dynamics vir leer en motivering (2019)

https://www.nature.com/articles/s41586-019-1235-y

Abstract

Die dopamienprojeksie van ventrale tegmentale area (VTA) na nucleus accumbens (NAc) is van kritieke belang vir motivering om te werk vir belonings en beloningsgedrewe leer. Hoe dopamien beide funksies ondersteun, is onduidelik. Dopamiensel-spieking kan voorspellingsfoute kodeer, wat noodsaaklike leerseine is in berekeningsteorieë van aanpasbare gedrag. Daarenteen neem dopamienvrystelling toe namate diere belonings nader, wat beloningsverwagting weerspieël. Hierdie wanverhouding kan verskille in gedragstake weerspieël, stadiger veranderinge in dopamiensel-spieking of piek-onafhanklike modulasie van dopamienvrystelling. Hier vergelyk ons ​​spiking van geïdentifiseerde VTA dopamien selle met NAc dopamien vrystelling in dieselfde besluitneming taak. Aanwysings wat 'n komende beloning aandui, het beide spiking en vrystelling verhoog. NAc kern dopamien vrystelling het egter ook saamgewissel met dinamies ontwikkelende beloningsverwagtinge, sonder ooreenstemmende veranderinge in VTA dopamien sel spiking. Ons resultate dui op 'n fundamentele verskil in hoe dopamienvrystelling gereguleer word om verskillende funksies te bereik: uitsaai-uitbarstingseine bevorder leer, terwyl plaaslike beheer motivering dryf.

Main

Dopamien is beroemd verwant aan 'beloning' - maar hoe presies? Een funksie behels om uit onverwagte belonings te leer. Kort toenames in dopamienselvuur kodeer beloningsvoorspellingsfoute (RPE's)1,2,3-leer seine vir die optimalisering van toekomstige gemotiveerde gedrag. Dopamienmanipulasies kan leer beïnvloed asof dit RPE's verander4,5,6, maar hulle beïnvloed ook gemotiveerde gedrag onmiddellik, asof dopamienseine verwagting (waarde) beloon5. Verder eskaleer NAc dopamien tydens gemotiveerde benadering, in ooreenstemming met dopamienkoderingswaarde7,8,9,10,11.

Met min uitsonderings2,12,13, is middelbrein dopamienvuur ondersoek tydens klassieke kondisionering in kop-gefixeerde diere3,14, anders as voorbrein dopamien vrystelling. Ons het dus vuur met vrylating onder dieselfde toestande vergelyk. Ons het VTA-dopamienneurone geïdentifiseer met behulp van optogenetiese etikettering3,13. Om NAc dopamien vrystelling te meet, het ons drie onafhanklike metodes gebruik—mikrodialise, voltammetrie en die optiese sensor dLight15- met konvergente resultate. Ons primêre gevolgtrekking is dat alhoewel RPE-geskaalde VTA-dopamienpiekuitbarstings skielike veranderinge in dopamienvrystelling verskaf wat geskik is vir leer, aparte NAc-dopamienfluktuasies wat met motivering geassosieer word, ontstaan ​​onafhanklik van VTA-dopamienselvuur.

Dopamien volg motivering in sleutel lokusse

Ons het rotte opgelei in 'n operante 'bandiet' taak5 (Fig. 1a, b). Op elke proef het die verligting van 'n neussteekpoort ('Lig-aan') nadering en toegang ('Sentrum-in') aangespoor. Na 'n veranderlike houperiode (0.5–1.5 s), het wit geraas ('Go cue') die rot gelei om te onttrek ('Centre-out') en 'n aangrensende poort ('Side-in') te steek. Op beloonde proewe is hierdie Side-in-geleentheid vergesel van 'n kos-hopper-klik wat die rot aangespoor het om 'n voedselpoort ('Food-port-in') te nader om 'n suikerkorrel te versamel. Linkswaartse en regswaartse keuses is elk beloon met onafhanklike waarskynlikhede, wat soms sonder waarskuwing verander het. Wanneer rotte meer geneig was om belonings te ontvang, was hulle meer gemotiveerd om die taak uit te voer. Dit was duidelik in hul 'latency'—die tyd tussen Light-on en Centre-in-wat sensitief was vir die uitslag van die voorafgaande paar proewe (Uitgebreide Data Fig. 1) en daardeur omgekeerd afgeskaal met beloningskoers (Fig. 1b).

Fig. 1: Dopamienvrystelling wissel met beloningskoers spesifiek in NAc-kern en ventrale prelimbiese korteks.
figure1

a, Bandiet-taak gebeure. b, Voorbeeldsessie. Boonste ry, beloningswaarskynlikhede in elke blokkie (links:regs); ry twee, regmerkies dui die uitkoms van elke proef aan (lang, beloon; kort, onbeloon); ry drie, lekkende-integreerder skatting van beloning koers (swart) en lopende gemiddelde van latensie (sian; omgekeerde log skaal); onderste ry, NAc kern dopamien in dieselfde sessie (1-min monsters). DA, dopamien. c, Top, mikrodialise-liggings in mediale frontale korteks en striatum (sien ook Uitgebreide Data Fig. 1). n = 51 sonde-liggings van 12 rotte, elk met 2 mikrodialise-probes wat tussen sessies verlaag is. Staafkleur dui korrelasie tussen dopamien en beloningskoers aan. ACC, anterior cingulate korteks; dPL, dorsale prelimbiese korteks; vPL, ventrale prelimbiese korteks; IL, infralimbiese korteks; DMS, dorsale-mediale striatum. Middel, gemiddelde kruiskorrelogramme tussen dopamien en beloningskoers. Rooi stawe dui 99% vertrouensinterval van geskommelde tydreekse aan. Onder, verwantskappe tussen neurochemikalieë en beloningskoers (meervoudige regressie). NA, noradrenalien; 5-HT, serotonien; ACh, asetielcholien; GABA, y-aminobottersuur; Glu, glutamaat; NM, normetadrenalien; DOPAC, 3,4-dihidroksifenielasynsuur; 3-MT, 3-metoksietiramien; HVA, homovanilliensuur; 5-HIAA, 5-hidroksiindoolasynsuur. d, Effek van blokoorgange op beloningskoers (links), latensie (middel) en NAc-kern dopamien (regs). Oorgange is geklassifiseer deur of die ervare beloningskoers toegeneem het (n = 25) of verminder (n = 33). Data is van al 14 sessies waarin NAc kern dopamien gemeet is (een per rot, kombineer data van nuwe en voorheen gerapporteerde5 diere), en as gemiddelde ± sem e, Saamgestelde kaarte van korrelasies tussen dopamien en beloningskoers (n = 19 rotte, 33 sessies, 58 sondeplasings). Breinatlas-omtreksels in hierdie figuur is weergegee met toestemming van Paxinos en Watson, 200551.

Ons het voorheen berig5 'n korrelasie tussen NAc dopamien vrystelling en beloning koers, in ooreenstemming met die motiverende rol van mesolimbiese dopamien16. Hier het ons eers daarop gemik om te bepaal of hierdie verhouding regdeur die voorbrein-teikens waargeneem word, in ooreenstemming met 'globale uitgesaaide' dopamiensein.17, of is beperk tot spesifieke substreke. Ons het verder veronderstel dat hierdie dopamiendinamika tussen striatum en korteks sou verskil, aangesien hierdie strukture duidelike dopamienopname-afbraakkinetika het18 en mag dopamien vir afsonderlike funksies gebruik19,20.

Met behulp van mikrodialise met hoëprestasie vloeistofchromatografie-massaspektrometrie (HPLC-MS), het ons mediale frontale korteks en striatum ondersoek (Fig. 1c, Uitgebreide Data Fig. 1). Ons het gelyktydig 21 neuro-oordragstowwe en metaboliete met 1-min tydresolusie getoets, en regressie gebruik om chemiese tydreekse met gedragsveranderlikes te vergelyk (Uitgebreide Data Fig. 2).

Ons het die korrelasie tussen beloningskoers en NAc dopamien herhaal - in teenstelling met ander neurotransmitters (Fig. 1c, d). Hierdie verhouding was egter gelokaliseer na NAc-kern, en het nie in die NAc-dop of dorsale-mediale striatum gehou nie. In teenstelling met ons hipotese, het ons 'n soortgelyke ruimtelike patroon in frontale korteks waargeneem: dopamienvrystelling gekorreleer met beloningskoers in ventrale prelimbiese korteks, maar nie in meer dorsale of ventrale substreke nie (Fig. 1c, e). Alhoewel onverwags, het hierdie tweeling 'brandpunte' van waardeverwante dopamienvrystelling 'n interessante parallel in menslike neurobeelding: bloed suurstofvlak-afhanklike sein korreleer met subjektiewe waarde, spesifiek in NAc en ventrale-mediale prefrontale korteks21.

VTA-vuur hou nie verband met motivering nie

Ons het vervolgens aangespreek of hierdie motivering-verwante voorbrein dopamien ontstaan ​​uit veranderlike afvuur van middelbrein dopamien selle. Die NAc-kern ontvang dopamieninsette van laterale gedeeltes van VTA (VTA-l)6,22,23. In kop-gefixeerde muise het VTA-l dopamienneurone na bewering eenvormige, RPE-agtige reaksies op gekondisioneerde stimuli3. Om VTA-l dopamienselle aan te teken, het ons die VTA geïnfekteer met adeno-geassosieerde virus (AAV) vir Cre-afhanklike uitdrukking van kanaalrodopsien (AAV-DIO-ChR2) in rotte wat Cre rekombinase uitdruk onder 'n tyrosienhidroksilase (TH) promotor (sien Metodes). Optrodes (Fig. 2a, b) aangeteken enkel-eenheid reaksies op kort blou-laser pulse (Fig. 2c, Uitgebreide Data Fig. 3, 4, Aanvullende Fig. 1). Ons het 27 goed-geïsoleerde VTA-l-selle gevind met betroubare kort-latency spykers, en hulle geïdentifiseer as dopamien neurone.

Fig. 2: Aktiwiteit van geïdentifiseerde VTA dopamienneurone verander nie met beloningskoers nie.
figure2

a, Links, optrode skematies met 16 tetrodes rondom 200-µm-deursnee optiese vesel. Regs, voorbeeld van optrode-plasing binne laterale VTA. Skaalstaaf, 1 mm. Rooi, dopamienselmerker tyrosienhidroksilase; groen, ChR2–EYFP; geel, oorvleuel. Vir alle plasings, sien Uitgebreide Data Fig. 3. b, VTA dopamien sel spykers. Rooi stawe dui bespeurde sarsies en die aantal spykers in elke sarsie aan (sien Metodes). Skaal, 0.5 s, 0.5 mV. c, Voorbeeld neuronreaksie op laserpulse van toenemende duur. d, Sessiewye vuurtempo teenoor spykerwydte (teen halfmaksimum) vir elke VTA-sel. Blou, gemerkte dopamien selle; pers, 'n duidelike groep van veronderstelde nie-dopamien neurone. Insetsels, voorbeelde van gemiddelde golfvorms (negatiewe spanning opwaarts). e, Vuurtempo (blou; 1-min-bakke) van 'n VTA-dopamienneuron tydens 'n bandiettaak. Latency (sian) wissel met beloningskoers, maar vuurtempo nie. f, Vuurtempo vir alle VTA-neurone (blou, dopamien; pers, nie-dopamien; grys, ongeklassifiseerd) in lae versus hoë beloningskoersblokke. Nie een het beduidende verskille getoon nie (Wilcoxon het rangtoets onderteken met 1-min-bakke, almal P > 0.05 na regstelling vir veelvuldige vergelykings). g, Gemiddelde kruiskorrelasie tussen dopamienselvuur en beloningskoers toon geen beduidende verband nie. h, Ontleding van dopamienvuurtempo by blokoorgange (dieselfde formaat as Fig. 1d). n = 95 beloning styg, 76 daal. i. Verspreidings van inter-spit-intervalle (ISI's, links) en piek-uitbarstings (regs) is onveranderd tussen hoër en laer beloningskoersblokke (Kolmogorov-Smirnov-statistieke: ISI's, 0.138, P = 0.92; bars, 0.165, P = 0.63).

Alle dopamienneurone was tonies aktief, met relatief lae vuurtempo's (gemiddeld 7.7 Hz, reeks 3.7–12.9 Hz; in vergelyking met alle VTA-l neurone wat saam met dopamienselle aangeteken is, P < 0.001 eenstert Mann-Whitney toets). Hulle het ook langdurige piekgolfvorms gehad (P < 5 × 10-6, eenstert Mann-Whitney-toets), hoewel daar uitsonderings was (Fig. 2d), wat bevestig dat golfvormduur 'n onvoldoende merker van dopamienselle in vivo is3,24. 'n Afsonderlike groep VTA-l neurone (n = 38, van dieselfde sessies) met kort golfvorms en hoër vuurtempo's (>20 Hz; gemiddelde 41.3 Hz, reeks 20.1-97.1 Hz) het geen gemerkte dopamienselle ingesluit nie. Ons neem aan dat hierdie vinniger-vuur selle GABAergies en/of glutamatergies is3,25, en verwys daarna as 'nie-dopamien' hieronder.

Ons het dieselfde dopamienselle oor verskeie gedragstake aangeteken. VTA-l dopamien selle het sterk gereageer op ewekansige tydige voedsel-hopper-klikke, en progressief minder sterk wanneer hierdie klikke meer voorspelbaar gemaak is deur voorafgaande leidrade (Uitgebreide Data Fig. 5). Dit stem ooreen met kanonieke RPE-agtige kodering deur dopamienselle in Pavloviaanse take2,3,26.

Op grond van bewyse van verdoofde diere is daar voorheen aangevoer dat veranderde dopamienvlakke gemeet met mikrodialise ontstaan ​​as gevolg van veranderinge in die tonikumvuurtempo van dopamienselle27 en/of die verhouding van aktiewe versus onaktiewe dopamienneurone28. In die bandiettaak was toniese dopamienselvuur in elke blok proewe egter onverskillig teenoor die beloningskoers (Fig. 2e, g). Daar was geen beduidende verandering in die vuurtempo's van individuele dopamienselle, of dié van enige ander VTA-l neurone, tussen hoër- en laerbeloningsblokke nie (Fig. 2f,h; sien ook verw. 29 vir ooreenstemmende resultate in kopvaste muise). Daar was ook geen algehele verandering in die tempo waarteen dopamienselle uitbarstings van spykers afvuur nie (Fig. 2i). Verder het ons geen dopamienselle waargeneem wat tussen aktiewe en onaktiewe toestande wissel nie. Die verhouding van die tyd wat dopamienselle onaktief spandeer het (lang inter-spieke intervalle) was baie laag, en het nie verander tussen hoër- en laerbeloningsblokke nie (Fig. 2i).

Die anatomie van die VTA-NAc dopamienprojeksie is intensief ondersoek6,22,23, maar - gegewe hierdie oënskynlike funksionele wanverhouding tussen afvuur en vrylating - het ons herbevestig dat ons van die korrekte gedeelte van die VTA opneem. Klein inspuitings van die retrograde tracer cholera toksien B (CTb) in NAc kern het gelei tot digte etikettering van TH+ neurone binne dieselfde VTA-l area as ons optrode opnames (Uitgebreide Data Fig. 3). Binne die benaderde opnamesone, 21% van TH+ selle was ook CTb+, en dit sal waarskynlik 'n onderskatting wees van die fraksie van NAc-kern-projekterende VTA-l dopamienselle, aangesien ons spoorinspuitings nie die NAc-kern heeltemal gevul het nie. Dus, ons voorbeeld van n = 27 gemerkte VTA dopamien selle (plus baie meer ongemerkte selle) sluit byna seker NAc kern-projeksie neurone in. Ten slotte, in 'n bykomende rot het ons twee gemerkte VTA-l dopamienselle aangeteken nadat ons AAV selektief in die NAc-kern infuseer het (Extended Data Fig. 3). Albei retrograde-geïnfekteerde selle het vuurpatrone gehad wat in alle opsigte baie soos die ander gemerkte dopamienselle gelyk het, insluitend 'n gebrek aan tonikumvuurveranderinge met wisselende beloningskoers (Aanvullende Fig. 1). Ons kom tot die gevolgtrekking dat veranderinge in toniese VTA-l dopamienselvuur nie verantwoordelik is vir motiveringverwante veranderinge in voorbrein dopamien vrystelling nie.

Volg vrystelling op verskeie tydskale

Stel NAc-dopamien vrystelling van beloningskoers per se vry, soos voorgestel in sommige teorieë30, of word hierdie korrelasie gedryf deur dinamiese fluktuasies in dopamienvrystelling wat te vinnig is om met mikrodialise op te los? Ons het aan die hand van voltammetriedata vir laasgenoemde moontlikheid geargumenteer5, maar het bevestiging gesoek met behulp van 'n onafhanklike maatstaf van dopamienvrystelling wat verskillende tydskale kan strek. Die dLight1-reeks van geneties-gekodeerde optiese dopamien-aanwysers is ontwerp deur sirkelvormig gepermuteerde GFP in dopamien D1-reseptore in te voeg15. Binding van dopamien veroorsaak 'n hoogs spesifieke toename in fluoressensie (Fig. 3a). Ons het AAV in NAc ingevoeg om óf dLight1.1 (vier geverifieerde NAc-plasings van drie rotte) óf die helderder variant dLight1.3b (ses geverifieerde NAc-plasings van vier rotte) uit te druk en fluoressensie deur veselfotometrie gemonitor. Ons het duidelike NAc-dopamienreaksies op Pavloviaanse beloning-voorspellende leidrade waargeneem, soortgelyk aan VTA-dopamienselvuur (Uitgebreide Data Fig. 5).

Fig. 3: Oorbruggingstydskale van dopamienmeting.
figure3

a, Fluoresensie reaksie van dLight1.3b. Insetsel, titrasies van dopamien (n = 15 streke van belang (ROI's)) en noradrenalien (n = 9). Hooffiguur, bad-toegepaste neurotransmitters (almal n = 12 ROI's). Syne, histamien. b, Monster bandiet sessie insluitend genormaliseerde NAc dLight1.3b sein (1-min bakkies). c, dLight sein verander met blok oorgange. n = 35 beloningskoersverhogings, 45 dalings. d, Kruiskorrelasie tussen dLight en beloningskoers. e, Nader aansig van die skadu gedeelte van b. Pyltjies: swart, middel-neus-in; ligrooi, Side-in (beloon); ligblou, Side-in (onbeloon); donkerrooi, Food-port-in (beloon); donkerblou, Food-port-in (onbeloon). Volgende rye: lekkende-integrator skatting van beloning koers; dLig teen lae resolusie (1 min); dLig met hoë resolusie (50 Hz, groen; vyfpunt mediaan-gefiltreer, swart); modeltoestandwaardes (sian); en RPE's (magenta). Na verskeie onbeloonde proewe is staatswaardes vroeg in die proef laag, dan ontlok beloningslewering 'n positiewe RPE en gepaardgaande skerp toename in dopamien. Opeenvolgende beloonde proewe verminder RPE's, maar verhoog toestandswaardes, gepaardgaande met oplopende dopamien. f, Kort tydskaal kruiskorrelasies toon noue verwantskap tussen dLight en waarde, en kleiner verwantskap met RPE. g, Binne-proef korrelasies tussen modelveranderlikes en dLight met verskillende vertragings; korrelasie met beide waarde en RPE is die sterkste tot dLight ongeveer 0.3 s later. h, In alle sessies was maksimum korrelasie groter vir waarde as vir RPE of beloningskoers.

Vir die bandiet-taak het ons eers die dLight-sein in 1-min-bakke ondersoek (Fig. 3b) vir vergelyking met mikrodialise. Ons het weer 'n duidelike verband tussen NAc dopamienvrystelling en beloningskoers gesien, in beide kruiskorrelasie en analise van blokoorgange (Fig. 3c, d). Ons het vervolgens nader ondersoek hoe hierdie verhouding ontstaan. Eerder as om stadig op 'n tydskaal van minute te wissel, het die dLight-sein hoogs dinamiese fluktuasies binne en tussen elke proef getoon (Fig. 3e). Ons het hierdie fluktuasies vergelyk met oombliklike toestandswaardes en RPE's wat beraam word vanaf 'n versterkingsleermodel ('n semi-Markov-besluitproses5). Soos voorheen gerapporteer met behulp van voltammetrie5, oomblik-vir-oomblik NAc dopamien het 'n sterk korrelasie met toestandwaardes getoon (Fig. 3f), sigbaar as 'n toename binne proewe wanneer belonings verwag is (Fig. 3e). Ons het ook verbygaande verhogings gesien met minder verwagte beloningslewerings, in ooreenstemming met RPE (hieronder ondersoek). In elke dLight-sessie het dopamien 'n sterker korrelasie met waardes getoon as óf RPE's óf beloningskoers (Fig. 3h, Uitgebreide Data Fig. 6). Korrelasies met beide toestandwaardes en RPE was maksimaal ten opsigte van die dLight-sein ~0.3 s later, in ooreenstemming met 'n kort vertraging wat veroorsaak word deur neurale verwerking van leidrade en sensor-responstyd (Fig. 3g; met voltammetrie het ons 'n vertraging van 0.4–0.5 s gerapporteer)5.

Dopamienvuur verklaar nie vrystelling nie

Ons het vervolgens dopamienselvuur en vrystelling rondom bandiet-taakgebeurtenisse vergelyk. Eksterne stimuli by Light-on, Go cue en beloonde Side-in (kos-hopper-klik) het elk 'n vinnige vuurtoename veroorsaak (Fig. 4a). Hierdie reaksies is in die groot meerderheid dopamienselle waargeneem (Fig. 4c), hoewel die relatiewe omvang van reaksies op verskillende leidrade van sel tot sel gewissel het (Aanvullende Fig. 1). Die NAc dLight-sein het ook vinnig en betroubaar gereageer op elk van hierdie opvallende leidrade (Fig. 4b, c), in ooreenstemming met die uitbarsting van dopamienselle wat dopamienvrystelling aandryf.

Fig. 4: Fasiese VTA dopamienvuur maak nie rekening met NAc dopamien dinamika nie.
figure4

a, Gebeurtenis-belynde aktiwiteit van VTA-l dopamien selle. Top, spike rasters vir een verteenwoordigende sel; onderste, gemiddelde stygkoers (n = 29). In alle panele dui foutbande ± sem b, Gebeurtenis-belynde NAc dLight. Top, verteenwoordigende sessie; onderste, gemiddeld (n = 10), genormaliseer tot piekbeloonde Kant-in-reaksie. Dwarsdeur hierdie figuur word dLight-seine getoon relatief tot 'n 2-s 'basislyn' epog wat eindig 1 s voor Sentrum-in. Let op toenames (pyle) kort voor Sentrum-in en Food-port-in. c, Kumulatiewe verdelings van tyd wat vir dopamienselle geneem word (vast; n = 29), dLig (gestreep; n = 10), om te vermeerder na aanvang van aanwysings (skuifeltoets in vergelyking met basislyn, 10,000 XNUMX skuifels, P < 0.01, veelvuldige vergelykings reggestel). Vir Lig-aan, slegs vertragings <1 s ingesluit; vir Side-in slegs beloonde proewe. Mediaan latensies (vanaf sigmoid-pas): Lig aan, vuur 152 ms, dLig 266 ms; Go cue, skiet 67 ms, dLight 212 ms; Kant-in, vuur 85 ms, dLight 129 ms. Nie-dopamien selle was tipies onverskillig teenoor die aanvang van leidrade (Uitgebreide Data Fig. 8). d, Distinct cue-opgewekte, benadering-verwante dopamien vrystelling. Top, gemiddelde dopamienselvuur (n = 29); middel, gemiddelde dLight (n = 10); onderkant, voltammetrie (n = 6), genormaliseer tot piek kort-latency Lig-aan reaksie. Linkerpanele, latensies <1 s, regs, latensies >2 s. Data word in lyn gebring op Lig-aan (solied) of Sentrum-in (stippel); rooi stippellyn, mediaan latency. Vir langer latensies is daar geen toename in vuur naby Centre-in nie, maar dLight en voltammetrie toon 'n merkbare toename. e, Verspreidingsplot wat piekseine vergelyk wat op Lig-aan belyn is (y as) of Sentraal-in (x as). Vir elke sel dui sessiegekoppelde lyne data aan vir afsonderlike latensiereekse (<1 s, > 2 s). Dopamienvuur (bo) toon konsekwent lig-aan-reaksie vir kort-latency proewe (twee-rigting analise van variansie (ANOVA), belyning × latensie interaksie, F = 7.47, P = 0.0008). dLight (middel), voltammetrie (onder) seine is konsekwent beter in lyn met Centre-in (tweerigting ANOVA vir dLight: belyning × latensie interaksie, F = 9.28, P = 0.0043). f, Dopamien neem toe tydens nadering, gekwantifiseer as oprithoek (sien Metodes). Sirkels dui individuele dopamienselle aan (n = 29), dLig sessies (n = 10).

Ons het ook duidelike toenames in NAc-dopamienvrystelling gesien namate rotte die beginpoort (net voor Centre-in) en die voedselpoort (net voor Food-port-in) nader. Dit pas goed by die uitgebreide voltammetrie literatuur wat toon dat gemotiveerde benaderingsgedrag gepaard gaan met vinnige toenames in NAc kern dopamien5,7,8,9,10,11. Die VTA-l dopamien sel populasie het egter nie 'n ooreenstemmende toename in vuur op hierdie tye getoon nie (Fig. 4a; sien Uitgebreide Data Fig. 7 vir bykomende vergelykings, insluitend met nie-dopamien selle).

Om leidraad-opgewekte en benadering-verwante dopamienaktiwiteit beter te dissosieer, het ons proewe geskei deur kort (<1 s) en lang (> 2 s) latensies (Fig. 4d, e). Toenames in dopamienselvuur was konsekwent gesluit by die aanvang van die lig by Light-on, verkieslik vir kort-latency proewe. Al 25 dopamienselle met beduidende vuurtempo-toenames na Light-on was beter in lyn met Light-on as Centre-in (Fig. 4e). Daarenteen was toenames in NAc-dopamienvrystelling voor Centre-in verskil van dopamienvrystelling (Fig. 4d, e). dLight-seine het konsekwent toegeneem voor Centre-in op lang-latency proewe (tien uit tien sessies) en voor voedsel-port-in (nege uit tien sessies), sonder ooreenstemmende toenames in dopamienvuur (Fig. 4f).

Ten slotte het ons oorweeg hoe gebeurtenisverwante dopamienseine afhang van onlangse beloningsgeskiedenis. Tydens die vroeë deel van elke verhoor was dopamienselvuur nie afhanklik van die beloningskoers nie (Fig. 5a), ten spyte van die invloed van beloningskoers op motivering (Fig. 5b). Vervolgens was die fasiese reaksie op die beloningsteken by Side-in betroubaar sterker wanneer die beloningskoers laer was (Fig. 5a), in ooreenstemming met positiewe RPE-kodering. Toe hierdie beloningsaanwysing weggelaat is, het dopamienselle die afvuur onderbreek, alhoewel die kodering van negatiewe RPE's baie swakker of afwesig was, of dit nou op bevolkingsvlak ondersoek is (Fig. 5a, b) of as individuele selle (Uitgebreide Data Fig. 8). Daar is voorheen voorgestel dat negatiewe RPE's gekodeer word in die duur van dopamienpouses31, maar dit is in net 2 uit 29 individuele neurone waargeneem. Soortgelyke resultate is verkry as beloningsverwagting op ander maniere beraam is, insluitend proefgebaseerde versterkingsleermodelle (akteur-kritikus en Q-leer) of bloot deur onlangse belonings te tel (Uitgebreide Data Fig. 8).

Fig. 5: Beloningsgeskiedenis beïnvloed VTA dopamienselvuur en NAc dopamienvrystelling anders.
figure5

a, Top, gemiddelde vuurtempo's van dopamienselle (n = 29) in lyn met Side-in, afgebreek volgens beloningskoers (tersiles, afsonderlik vir elke sel bereken). Voor Side-in hang aktiwiteit nie af van beloningsverwagting nie. Na Side-in word beloonde (rooi) en onbeloonde (blou) proewe afsonderlik getoon. Voedsel-klik-reaksie is sterker wanneer die beloningskoers laag is, in ooreenstemming met die enkodering van positiewe RPE's. Onder, fraksie van individuele dopamienselle met 'n vuurtempo wat op elke oomblik aansienlik verskil met beloningskoers (skuifeltoets, P < 0.01, veelvuldige vergelykings reggestel). Regmerkies boaan dui tye aan wanneer hierdie breuk aansienlik hoër as toeval was (binomiaal, P < 0.01). Na Side-in word slegs negatiewe korrelasies getoets - dit wil sê potensiële RPE-kodering. b, Regressie plotte vir sessies met aangetekende dopamien selle, wat die effek van onlangse beloning geskiedenis op (log-) latency (bo) en dopamien spiking toon. Asterisks dui beduidende regressiegewigte aan (tToets, P < 0.05). Gedurende die 0.5 s voor Go cue (terwyl rotte 'n bestendige neussteek moet handhaaf vir verhoor om voort te gaan) word dopamien-spieking onaangeraak deur beloningsgeskiedenis (middel). Dit verander sodra die uitkoms geopenbaar word (onder; assessering van piek of laagtepunt van aktiwiteit in die 0.5 s na Side-in), maar slegs vir beloonde proewe. c, d, Dieselfde as hierbo, behalwe vir dLight (genormaliseer tot piek Side-in-reaksie). Dopamienvrystelling skaal betroubaar met beloningskoers selfs voor Side-in.

Dopamienvrystelling by Side-in het ook 'n duidelike, verbygaande enkodering van positiewe RPE's getoon, maar nie van negatiewe RPE's nie (Fig. 5c, d). Hierdie dLight-reaksie was effens vertraag en verleng in vergelyking met vuur, in ooreenstemming met die tyd wat geneem is vir vrylating en heropname32, maar het 'n subtweede verskynsel gebly. In teenstelling met vuur, was dLight seine vroeg in elke proef egter groter toe onlangse proewe beloon is (Fig. 5c), in ooreenstemming met waardekodering. Ons het hierdie afhanklikheid van beloningsgeskiedenis waargeneem, selfs wanneer die rot nie aktief beweeg het nie, maar 'n neussteek in die middelpoort behou het terwyl hy vir die Go-aanwyser gewag het (Fig. 5d). In die algemeen kom ons tot die gevolgtrekking dat NAc-dopamienvrystelling beide reaksies wat opgeroep is en beloningsverwagting weerspieël, en dat slegs eersgenoemde goed verantwoord kan word deur VTA-l dopamienselvuur.

Bespreking

VTA-l verskaf die oorheersende bron van dopamien aan die NAc-kern6,23,24. VTA-l-dopamienselle, insluitend dié wat na die NAc-kern projekteer, vertoon konsekwent RPE-koderende sarsies3,12. Daar word vermoed dat VTA-uitbarstings veral belangrik is vir die bestuur van NAc-dopamien32, en ons het inderdaad gevind dat cue-opgewekte VTA-uitbarstings ooreenstem met NAc-vrystelling. Ons het egter ook waardeverwante patrone van NAc-dopamienvrystelling gevind wat nie gegenereer is deur die afvuur van VTA-l-dopamienselle nie, hetsy op lang (toniese) of kort (fasiese) tydskale. Ander dopamien subpopulasies kan duidelike seine dra13,33,34, en ons kan nie die moontlikheid uitsluit dat die afvuur van dopamiensel-subpopulasies wat nie van hier af aangeteken is waardeverwante dopamien in NAc-kern produseer nie. Waardeverwante afvuur is egter nog nooit aangemeld vir enige dopamienselle nie, oor 'n wye reeks studies. Ons resultate dui daarop dat NAc dopamiendinamika op verskillende maniere, op verskillende tye en vir verskillende funksies beheer word, en dat die opname van dopamienselle belangrik maar nie voldoende is om dopamien seine te verstaan ​​nie.35.

Vrystelling van dopamienterminale word kragtig beïnvloed deur plaaslike, nie-spitsmeganismes36,37,38,39,40. Byvoorbeeld, NAc dopamien vrystelling word gemoduleer deur die basolaterale amygdala, selfs wanneer VTA spiking farmakologies onderdruk word41,42. Daar is al dekades lank opgemerk dat plaaslike beheer van dopamienvrystelling funksies kan bereik wat verskil van dié van dopamiensel-spyking36,43, maar dit is nie in teoretiese sienings van dopamien opgeneem nie. Afsonderlike striatale substreke dra by tot verskillende tipes besluite, en kan hul eie dopamienvrystelling beïnvloed volgens behoefte44. Dit moet nog bepaal word hoe gelokaliseerd hierdie beheer van dopamienvrystelling kan wees. Een beperking wat gedeel word deur die 3 maniere waarop ons dopamienvrystelling gemeet het, is dat hulle almal op 'n ruimtelike skaal van ten minste 100 µm monster, terwyl in vivo mikroskopie daarop dui dat dopamienvrystelling heterogeen kan wees op aansienlik kleiner skale15.

Ons resultate ondersteun nie die bestaan ​​van enige afsonderlike toniese dopamiensein wat motiveringseffekte van dopamien kan bemiddel nie. In plaas daarvan, sal dopamienverskuiwings wat stadig voorkom as dit stadig gemeet word (met mikrodialise) oplos in vinnige fluktuasies as dit vinnig gemeet word (met voltammetrie of dLight). Verder, opnames van geïdentifiseerde VTA dopamien selle deur onsself en ander30 lewer sterk bewyse teen die idee29 dat veranderinge in toniese dopamienselvuur toniese veranderinge in dopamienvrystelling aandryf. Alhoewel tonikumvuur deur letsels of dwelmmanipulasies verander kan word28, is ons nie bewus van volgehoue ​​veranderinge in vuurtempo in enige gedragstaak nie. Vuur kan afwaarts oploop op 'n tydskaal van ongeveer 1 s tydens afwagting van motiverend relevante gebeurtenisse45,46. Hierdie afname is egter die teenoorgestelde van wat nodig sou wees om dopamienvrystelling met beloningverwagting 'n hupstoot te gee, en het eerder meer ooreenkomste met 'n reeks kortstondige negatiewe voorspellingsfoute47. Alhoewel volgehoue ​​seine wat deurlopende beloningskoers enkodeer, rekenaarmatig nuttig kan wees30, verskaf dopamien eerder vinnig wisselende fout- en waardeseine. Dit bly moontlik dat volgehoue ​​seine in 'n volgende stap bereken word deur intrasellulêre seinpaaie stroomaf van dopamienreseptore.

Baie groepe het waargeneem hoe dopamien vrygestel word namate rotte belonings nader5,7,8,9,10,11, in ooreenstemming met die kodering van stygende beloningsverwagtinge. Sommige het aangevoer dat hierdie dopamien-opritte bloot RPE's weerspieël deur te veronderstel dat rotte óf vinnig waardes vergeet48 of dat hulle 'n verdraaide stel staatsvertoë het49. Laasgenoemde idee word nie ondersteun deur ons waarneming dat oploop vinnig van proef tot proef gemoduleer word op grond van opgedateerde beloningsverwagtinge nie, en word sterker binne 'n kort reeks opeenvolgende belonings terwyl RPE-agtige reaksies op leidrade swakker word (Fig. 3e). Meer algemeen, enige teorie waarin dopamien slegs RPE's (leerseine) oordra, kan nie die baie goed gevestigde verband tussen voortdurende mesolimbiese dopamien en motivering verantwoord nie.16. Die NAc-kern is nie nodig vir hoogs opgeleide reaksies op gekondisioneerde stimuli nie, maar is veral belangrik wanneer besluit word om tydrowende werk uit te voer om belonings te verkry50. NAc-kern dopamien blyk 'n noodsaaklike dinamiese sein te gee van hoe die moeite werd is om tyd en moeite aan werk toe te wys5,44, alhoewel hierdie sein nie teenwoordig is in VTA-dopamienselvuur nie.

Metodes

diere

Alle diereprosedures is goedgekeur deur die Universiteit van Michigan of Universiteit van Kalifornië San Francisco Institusionele Komitees oor Gebruik en Versorging van Diere. Manlike rotte (300–500 g, óf wildtipe Long-Evans óf TH-Cre+ met 'n Long-Evans agtergrond52) is op 'n omgekeerde 12:12 lig:donker siklus gehandhaaf en tydens die donker fase getoets. Rotte was effens voedsel ontneem, en het daagliks 15 g standaard laboratorium rotvoedsel ontvang bykomend tot voedselbelonings wat tydens taakverrigting verdien is. Geen steekproefgrootte voorafberekening is uitgevoer nie. Die ondersoekers was nie verblind vir toekenning tydens eksperimente en uitkomsbepaling nie.


Gedrag

Vooropleiding en toetsing is uitgevoer in rekenaarbeheerde Med Associates operante kamers (25 cm × 30 cm op die breedste punt) elk met 'n vyf-gat neussteekwand, soos voorheen beskryf5. Bandiet-taaksessies het die volgende parameters gebruik: bloklengtes was 35-45 proewe, lukraak gekies vir elke blok; houperiode voor Go-aanwysing was 500–1,500 10 ms (eenvormige verspreiding); links-regs beloning waarskynlikhede was 50, 90 en XNUMX% (vir elektrofisiologie, fotometrie, voltammetrie en voorheen gerapporteerde mikrodialise rotte5) of 20, 50 en 80% (nuut aangemelde mikrodialise-rotte).

Huidige beloningskoers is beraam met behulp van 'n tydgebaseerde lekkende integrator53. Beloningskoers is verhoog elke keer as 'n beloning ontvang is, en het eksponensieel verval teen 'n koers wat deur parameter bepaal is τ (die tyd in s vir die beloningskoers om met ~63% te verminder, dit wil sê 1−1/e). Vir alle ontledings, τ is gekies op grond van die rot se gedrag, wat die (negatiewe) korrelasie tussen beloningskoers en log(latency) in elke sessie maksimeer. Die korrelasies tussen voorbrein dopamien en beloning koers was nie hoogs sensitief vir hierdie keuse van τ (Uitgebreide data Fig. 1).

Om blokoorgange te klassifiseer as 'toenemend' of 'afname' in beloningskoers, het ons die gemiddelde lekkende-integreer-beloningkoers in die laaste 5 minute van 'n blok vergelyk met die gemiddelde beloningskoers in die eerste 8 minute van die daaropvolgende blok.

Rotte wat vir elektrofisiologie en fotometrie gebruik is, het ook 'n Pavloviaanse benaderingstaak uitgevoer, in dieselfde operante kamer met die huislig aan regdeur die sessie. Drie ouditiewe leidrade (2 kHz, 5 kHz en 9 kHz) is geassosieer met verskillende waarskynlikhede van voedselaflewering (teengebalanseerd oor rotte). Cue is gespeel as 'n reeks toonpitte (100 ms aan, 50 ms af) vir 'n totale duur van 2.6 s, gevolg deur 'n vertragingsperiode van 500 ms. Aanwysings en onvoorspelbare beloning aflewerings is in pseudo-willekeurige volgorde gelewer met 'n veranderlike inter-proef interval (15-30 s, eenvormige verspreiding).


Microdialysis

Chirurgie

Rotte is bilateraal ingeplant met gidskanules (CMA, 830 9024) in korteks en striatum. Een groep (n = 8) het een gidskanule ontvang wat gerig was op prelimbiese en infralimbiese korteks (anteroposterior (AP) +3.2 mm, mediolaterale (ML) 0.6 mm relatief tot bregma; en dorsoventrale (DV) 1.4 mm onder breinoppervlak) en 'n ander gerig op dorsomediale striatum en nucleus accumbens in die teenoorgestelde halfrond (AP +1.3, ML 1.9 en DV 3.4). Albei inplantings was 5 grade weg van mekaar langs die rostraal-kaudale vlak gedraai. 'n Tweede groep (n = 4) het een gidskanule ontvang wat die anterior cingulate korteks teiken (AP +1.6, ML 0.8 en DV 0.8) en 'n ander teiken accumbens (kern/dop in die teenoorgestelde halfrond by AP +1.6, ML 1.4 en DV 5.5 (n = 2) of AP +1.6, ML 1.9 en DV 5.7 (n = 2). Die kante van die inplanting is oor rotte gebalanseer. Diere is toegelaat om vir een week te herstel voor heropleiding.

Chemicals

Water, metanol en asetonitriel vir mobiele fases was Burdick & Jackson HPLC graad, gekoop van VWR (Radnor). Alle ander chemikalieë is by Sigma Aldrich gekoop, tensy anders vermeld. Kunsmatige serebrospinale vloeistof (aCSF) het 145 mM NaCl, 2.68 mM KCl, 1.40 mM CaCl2, 1.01 mM MgSO4, 1.55 mM Na2HPO4 en 0.45 mM NaH2PO4, aangepas pH tot 7.4 met NaOH. Askorbiensuur (250 nM finale konsentrasie) is bygevoeg om oksidasie van analiete te verminder.

Monsterversameling en HPLC-MS

Op toetsdag is diere in die operante kamer geplaas met die huislig aan. Pasgemaakte konsentriese poliakrielonitriel membraan mikrodialise probes (1-mm dialiserende AN69 membraan; Hospal) is bilateraal in die gidskanule geplaas en deurlopend (Chemyx, Fusion 400) met aCSF teen 2 µl/min vir 90 minute geperfuseer om ekwilibrasie moontlik te maak. Na 5-min basislynversameling is die huislig geblus, wat die dier aangespoor het tot die beskikbaarheid van bandiet-taak. Monsterversameling het met intervalle van 1 minuut voortgegaan en monsters is onmiddellik gederivatiseer54 met 1.5 µl natriumkarbonaat, 100 mM; 1.5 µl benzoielchloried (2% (v/v) benzoylchloried in asetonitril); en 1.5 µl isotopies gemerkte interne standaardmengsel verdun in 50% (v/v) asetonitril wat 1% (v/v) swaelsuur bevat, en met gedeutereerde ACh en cholien (C/D/N isotope) tot 'n finale konsentrasie van 20 nM. Monsterreeksversameling het in elk van 30 sessies met intervalle van 26 sekondes tussen die twee probes afgewissel, behalwe vir een sessie waarin 'n gebreekte membraan net een reeks tot gevolg gehad het (totaal 51 monsterreekse). Monsters is ontleed deur gebruik te maak van Thermo Scientific UHPLC-stelsels (Accela, of Vanquish Horizon gekoppel aan 'n Quantum Ultra drievoudige kwadrupool massaspektrometer toegerus met 'n HESI II ESI-sonde), wat in veelvuldige reaksiemonitering werk. Vyf-mikroliter monsters is op 'n Phenomenex kern-dop bifeniel Kinetex HPLC kolom (2.1 mm × 100 mm) ingespuit. Mobiele fase A was 10 mM ammoniumformiaat met 0.15% mieresuur, en mobiele fase B was asetonitriel. Die mobiele fase is soos volg 'n elueringsgradiënt teen 450 µl/min afgelewer: aanvanklike, 0% B; 0.01 min, 19% B; 1 min, 26% B; 1.5 min, 75% B; 2.5 min, 100% B; 3 min, 100% B; 3.1 min, 5% B; en 3.5 min, 5% B. Thermo Xcalibur QuanBrowser (Thermo Fisher Scientific) is gebruik om pieke outomaties te verwerk en te integreer. Elkeen van die >100,000 XNUMX pieke is individueel visueel geïnspekteer om behoorlike integrasie te verseker.

Analise

Alle neurochemiese konsentrasiedata is glad gemaak met 'n driepunt bewegende gemiddelde (y′ = [0.25 × (y−1) + 0.5y + 0.25 × (y+1)]) en z-telling genormaliseer binne elke sessie om vergelykings tussen sessies te vergemaklik. Vir elke teikenstreek is 'n kruiskorrelogram vir elke sessie gegenereer en die gemiddelde van die sessies is geplot. Een persent vertrouensgrense is vir elke subplot gegenereer deur een tydreeks 100,000 0.05 keer te skommel en 'n verspreiding van korrelasiekoëffisiënte vir elke sessie te genereer. Veelvuldige regressiemodelle is gegenereer deur die regressiefunksie in MATLAB te gebruik, met die neurochemiese as die uitkomsveranderlike en gedragsmetrieke as voorspellers. Regressiekoëffisiënte is beduidend bepaal op drie alfa-vlakke (0.0005, 0.000005 en 21), na Bonferroni-korreksie vir veelvuldige vergelykings (alfa/(7 chemikalieë × 9 streke × 3 gedragsregressors)). Vir ontleding van blokoorgange is data in XNUMX-min-tydperke ingegooi, wat die monster wat die oorgangstyd ingesluit het, weggegooi is.


elektrofisiologie

Rotte (n = 25) is ingeplant met pasgemaakte bestuurbare optrodes, wat elk bestaan ​​uit 16 tetrodes (gebou uit 12.5-µm nichroomdraad, Sandvik) wat aan die kant van 'n 200-µm optiese vesel vasgeplak is en tot 500 µm onder die veselpunt strek. Tydens dieselfde operasie het ons 1 µl AAV2/5-EF1a-DIO-ChR2(H134R)-EYFP in die laterale VTA (AP 5.6, ML 0.8, DV 7.5) of NAc-kern (AP 1.6, ML 1.6, DV 6.4) ingespuit. . Breëband (1–9,000 30,000 Hz) breinseine is gemonster (80 XNUMX monsters per s) met behulp van Intan digitale hoofverhoog. Optrodes is aan die einde van elke opnamesessie ten minste XNUMX µm verlaag. Individuele eenhede is vanlyn geïsoleer deur 'n MATLAB-implementering van MountainSort te gebruik55 gevolg deur noukeurige manuele inspeksie.

Klassifikasie

Om te identifiseer of 'n geïsoleerde VTA-l-eenheid dopaminergies was (TH+), het ons die stimulus-geassosieerde latensietoets gebruik56. Kortliks, aan die einde van elke eksperimentele sessie het ons die optrode aan 'n laserdiode gekoppel en ligpulstreine van verskillende breedtes en frekwensies afgelewer. Vir 'n eenheid om as ligresponsief geïdentifiseer te word, moes dit die betekenisvlak van bereik P < 0.001 vir 5-ms en 10-ms polstreine. Ons het ook die lig opgewekte golfvorms (binne 10 ms van laserpuls aanvang) vergelyk met sessiewye gemiddeldes; alle lig-opgewekte eenhede het 'n Pearson-korrelasiekoëffisiënt van >0.9 gehad. Dopamienneurone is suksesvol aangeteken van vier rotte met VTA-l AAV infusies (IM657, 1 eenheid; IM1002, 3 eenhede; IM1003, 15 eenhede; IM1037, 9 eenhede) en een rot met NAc kern AAV (IM-1078, 2 eenhede) . Piekwydte is gedefinieer as die volle breedte-by-half-maksimum van die mees prominente negatiewe komponent van die belynde, gemiddelde piekgolfvorm. Nie-gemerkte VTA neurone met sessiewye vuurtempo >20 Hz en piekwydte <200 µs is as nie-dopamien selle geklassifiseer. Om te verseker dat ons dopamien- en nie-dopamien-selle binne dieselfde substreke vergelyk, het ons slegs nie-dopamien-selle ontleed wat tydens sessies aangeteken is met ten minste een opties-gemerkte dopamiensel.

Analise

Spitsbarste is opgespoor deur die konvensionele '80/160-sjabloon'-benadering57: elke keer as 'n tussenpunt-interval van 80 ms of minder voorkom, word hierdie en daaropvolgende spykers as deel van 'n sarsie beskou totdat daar 'n interval van 160 ms of meer is. Vir 'n vergelyking van 'tonika'-vuur met 'n beloningskoers, is dopamienpunte in 1-min-bakke getel. Om vinniger veranderinge te ondersoek, is spykerdigtheidfunksies gekonstrueer deur spykertreine met 'n Gaussiese kern met variansie 20 ms te konvoleer. Om te bepaal hoe vinnig 'n neuron op 'n gegewe leidraad gereageer het, het ons 40 ms-bakke gebruik (gly in stappe van 20 ms) en 'n skuiftoets (10,000 250 skuifels) gebruik vir elke tydbak wat die afvuurtempo na aanvang van leidrade vergelyk met vuurtempo in die XNUMX ms wat die teken onmiddellik voorafgaan. Die eerste bak waarteen die post-cue-vuurtempo aansienlik was (P < 0.01, regstelling vir veelvuldige vergelykings) groter as basislynvuur is beskou as die tyd om reaksie te gee.

Piek vuurtempo is bereken as die maksimum (Gaussiese gladde) vuurtempo van elke proef in 'n 250 ms-venster na sy-in vir beloonde proewe, en die vallei is bereken as die minimum vuurtempo in 'n 2-s-venster, begin een sekonde na kant-in vir onbeloonde proewe.

Om 'n oprithoek tydens naderingsgedrag te bereken, het ons die gemiddelde vuurtempo's glad gemaak met 'n 50 ms Gaussiese kern, die maksimum/minimum van die gevolglike sein in 'n 0.5-s-venster voor elke gebeurtenis (sentrum-in of voedsel-poort-in) opgespoor ) en gemeet die getekende hoek wat die twee uiterstes verbind. Om afvuurkoerse in 'hoë' en 'lae' beloningsblokke te vergelyk, het ons vir elke sessie 'n mediaanverdeling van die gemiddelde lekkende-integreerbeloningsyfer in elke blok uitgevoer.


Voltammetrie en berekeningsmodel

Vinnige skandering sikliese voltammetrie resultate wat hier gewys word, herontleed data wat voorheen in detail aangebied is5. Binne-verhoor skattings van toestand waarde en beloning voorspelling foute is bereken met behulp van 'n semi-Markov besluit proses versterking leer model, presies soos voorheen beskryf5.


fotometrie

Ons het 'n virale benadering gebruik om die geneties gekodeerde optiese dopamiensensor dLight uit te druk15. Onder isofluraan-narkose, 1 μl AAV9-CAG-dLight (1 × 10)12 virale genome per ml; UC Davis vektorkern) is stadig (100 nl/min) ingespuit (Nanoject III, Drummond) deur 'n 30-µm glas mikropipet in ventrale striatum bilateraal (AP: 1.7 mm, ML: 1.7 mm, DV: -7.0 mm). Tydens dieselfde operasie is optiese vesels (400-µm kern, 430-µm totale deursnee) wat aan 'n metaalhulsing (Dories) vasgemaak is (teikendiepte 200 µm hoër as AAV) ingesit en in plek vasgesement. Data is > drie weke later ingesamel om dLight-uitdrukking moontlik te maak.

Vir dLight-opwekking is blou (470 nm) en violet (405 nm; beheer) LED's sinusvormig gemoduleer teen verskillende frekwensies (211 Hz en 531 Hz, onderskeidelik58). Beide opwekking en emissie seine het deur minikubus filters (Dories) gegaan en grootmaat fluoressensie is gemeet met 'n femtowatt detektor (Newport, Model 2151) monsterneming by 10 kHz. Demodulasie het afsonderlike 470 nm (dopamien) en 405 nm (kontrole) seine geproduseer, wat dan na mekaar herskaal is via 'n kleinste-kwadraat-passing58. Fraksionele fluoressensie sein (dF/F) is toe gedefinieer as (470–405_fit)/405_fit. Vir alle ontledings is hierdie sein afgesteek na 50 Hz en glad gemaak met 'n vyf-punt mediaan filter. Vir die aanbieding van 470 nm en 405 nm seine afsonderlik, sien Uitgebreide Data Fig. 7.

Data van 'n optiese veselplasing is by ontledings ingesluit as die veselpunt in NAc was, en die fluoressensierespons op ten minste een taakaanwysing het 'n z-telling van >1. Hierdie kriteria het een rot uitgesluit en drie rotte/vier plasings (IM1065-links, IM1066-bilaterale, IM1089-regs) vir dLight1.1 en vier rotte/ses plasings (IM1088-bilaterale, IM1105-regs, IM1106-bilaterale, IM1107-regs) vir dLight1.3b. Soortgelyke resultate is verkry vir dLight1.1 en dLight1.3 (Uitgebreide Data Fig. 7), sodat data gekombineer is.

Om 'n oprithoek tydens naderingsgedrag te bereken, het ons die maksimum/minimum van die gevolglike sein in 'n 0.5-s-venster voor elke gebeurtenis (sentrum-in of voedsel-poort-in) opgespoor en die getekende hoek gemeet wat die twee ekstrema verbind.


Affiniteit en molekulêre spesifisiteit van dLight1.3b

In vitro metings is uitgevoer soos voorheen beskryf15. Kortliks, HEK293T (ATCC CRL#1573)-selle is gekweek en getransfekteer met plasmiede wat kodeer vir dlight1.3b, aangedryf deur 'n CMV-promotor, en gewas met HBSS (Life Technologies) aangevul met Ca2+ (4mM) en Mg2+ (2 mM) voor beelding. Beeldvorming is uitgevoer met behulp van 'n 40× olie-gebaseerde objektief op 'n omgekeerde Zeiss Observer LSN710 konfokale mikroskoop met 488 nm/513 nm (opwekking/emissie) golflengtes. Om die sensor se fluoressensie-reaksies te toets, is neuro-oordragstowwe direk op die bad toegedien tydens tydsverloopbeelding, in ten minste twee onafhanklike eksperimente. Titrasies van dopamien en noradrenalien is verkry deur tienvoudige reeksverdunnings uit te voer om agt verskillende konsentrasies te bereik. Alle ander neurotransmitters is getoets teen drie opeenvolgende konsentrasies (100 nM, 1 µM en 10 µM). Alle neurotransmitterkonsentrasies is verkry deur verdunning uit 'n 1 mM voorraadkonsentrasie in HBSS, vars voorberei. Rou fluoressensie-intensiteite vanaf tydsverloopbeelding is op Fidji gekwantifiseer; elke ROI is met die hand op die membraan van individuele selle geteken. Fluorescerende vouverandering (ΔF/F) is bereken as F piek (gemiddelde fluoressensie-intensiteit van vier rame) − F basaal (gemiddelde fluoressensie-intensiteit van vier rame voor byvoeging van ligande)/F basaal. Grafieke en statistiese analise is uitgevoer met behulp van GraphPad Prism 6. Datapunte is ontleed met 'n eenplek spesifieke bindingskrommepassing om te verkry Kd waardes. In boks-en-snor erwe dek die boks die 25% tot 75% reeks en snorre strek van minimum tot maksimum waardes.


Verslagopsomming

Verdere inligting oor navorsingsontwerp is beskikbaar in die Opsomming van Natuurnavorsingsverslagdoening gekoppel aan hierdie vraestel.

Data beskikbaarheid

Die AAV.Synapsin.dLight1.3b-virus wat in hierdie studie gebruik is, is gedeponeer by Addgene (nr. 125560; http://www.addgene.org). Alle data sal beskikbaar wees deur die Collaborative Research in Computational Neuroscience data sharing webwerf (https://doi.org/110.6080/K0VQ30V9).

Kode beskikbaarheid

Pasgemaakte MATLAB-kode is beskikbaar op versoek van JDB

Bykomende inligting

Uitgewer se nota: Springer Nature bly neutraal ten opsigte van jurisdiksie-eise in gepubliseerde kaarte en institusionele affiliasies.

Verwysings

  1. 1.

    Schultz, W., Dayan, P. & Montague, PR 'n Neurale substraat van voorspelling en beloning. Wetenskap 275, 1593-1599 (1997).

  2. 2.

    Pan, WX, Schmidt, R., Wickens, JR & Hyland, BI Dopamienselle reageer op voorspelde gebeure tydens klassieke kondisionering: bewyse vir geskiktheidsspore in die beloning-leernetwerk. J. Neurosci. 25, 6235-6242 (2005).

  3. 3.

    Cohen, JY, Haesler, S., Vong, L., Lowell, BB & Uchida, N. Neuron-tipe-spesifieke seine vir beloning en straf in die ventrale tegmentale area. Aard 482, 85-88 (2012).

  4. 4.

    Steinberg, EE et al. 'n Oorsaaklike verband tussen voorspellingsfoute, dopamienneurone en leer. Nat. Neurosci. 16, 966-973 (2013).

  5. 5.

    Hamid, AA et al. Mesolimbiese dopamien dui die waarde van werk aan. Nat. Neurosci. 19, 117-126 (2016).

  6. 6.

    Saunders, BT, Richard, JM, Margolis, EB & Janak, PH Dopamienneurone skep Pavloviaanse gekondisioneerde stimuli met kringgedefinieerde motiveringseienskappe. Nat. Neurosci. 21, 1072-1083 (2018).

  7. 7.

    Phillips, PE, Stuber, GD, Heien, ML, Wightman, RM & Carelli, RM. Subsekonde dopamienvrystelling bevorder kokaïensoek. Aard 422, 614-618 (2003).

  8. 8.

    Roitman, MF, Stuber, GD, Phillips, PE, Wightman, RM & Carelli, RM Dopamien werk as 'n subsekonde modulator van voedselsoek. J. Neurosci. 24, 1265-1271 (2004).

  9. 9.

    Wassum, KM, Ostlund, SB & Maidment, NT Fasiese mesolimbiese dopamiensein gaan vooraf en voorspel prestasie van 'n selfgeïnisieerde aksievolgorde-taak. Biol. Psigiatrie 71, 846-854 (2012).

  10. 10.

    Howe, MW, Tierney, PL, Sandberg, SG, Phillips, PE & Graybiel, AM Langdurige dopamiensein in striatum seine nabyheid en waarde van verre belonings. Aard 500, 575-579 (2013).

  11. 11.

    Syed, EC et al. Aksie-inisiasie vorm mesolimbiese dopamienkodering van toekomstige belonings. Nat. Neurosci. 19, 34-36 (2016).

  12. 12.

    Morris, G., Nevet, A., Arkadir, D., Vaadia, E. & Bergman, H. Midbrain dopamienneurone kodeer besluite vir toekomstige optrede. Nat. Neurosci. 9, 1057-1063 (2006).

  13. 13.

    da Silva, JA, Tecuapetla, F., Paixão, V. & Costa, RM Dopamienneuronaktiwiteit voor aksie-inisiasiehekke en verkwik toekomstige bewegings. Aard 554, 244-248 (2018).

  14. 14.

    Fiorillo, CD, Tobler, PN & Schultz, W. Diskrete kodering van beloning waarskynlikheid en onsekerheid deur dopamien neurone. Wetenskap 299, 1898-1902 (2003).

  15. 15.

    Patriarchi, T., Cho, JR, Merten, K., Howe, MW, et al. Ultravinnige neuronale beelding van dopamiendinamika met ontwerpte geneties gekodeerde sensors. Wetenskap 360, eaat4422 (2018).

  16. 16.

    Salamone, JD & Correa, M. Die geheimsinnige motiveringsfunksies van mesolimbiese dopamien. Neuron 76, 470-485 (2012).

  17. 17.

    Schultz, W. Voorspellende beloning sein van dopamienneurone. J. Neurophysiol. 80, 1-27 (1998).

  18. 18.

    Garris, PA & Wightman, RM Verskillende kinetika beheer dopaminerge transmissie in die amygdala, prefrontale korteks en striatum: 'n in vivo voltammetriese studie. J. Neurosci. 14, 442-450 (1994).

  19. 19.

    Frank, MJ, Doll, BB, Oas-Terpstra, J. & Moreno, F. Prefrontale en striatale dopaminergiese gene voorspel individuele verskille in eksplorasie en ontginning. Nat. Neurosci. 12, 1062-1068 (2009).

  20. 20.

    St Onge, JR, Ahn, S., Phillips, AG & Floresco, SB Dinamiese fluktuasies in dopamien-uitvloeiing in die prefrontale korteks en nucleus accumbens tydens risiko-gebaseerde besluitneming. J. Neurosci. 32, 16880-16891 (2012).

  21. 21.

    Bartra, O., McGuire, JT & Kable, JW Die waardasiestelsel: 'n koördinaat-gebaseerde meta-analise van BOLD fMRI eksperimente wat neurale korrelate van subjektiewe waarde ondersoek. Neuro Image 76, 412-427 (2013).

  22. 22.

    Ikemoto, S. Dopamienbeloningkringe: twee projeksiestelsels van die ventrale middelbrein na die nucleus accumbens-olfaktoriese tuberkelkompleks. Brein Res. Brein Res. Ds. 56, 27-78 (2007).

  23. 23.

    Breton, JM et al. Relatiewe bydraes en kartering van ventrale tegmentale area dopamien en GABA neurone deur projeksie teiken in die rot. J. Comp. Neurol. (2018).

  24. 24.

    Ungless, MA, Magill, PJ & Bolam, JP Uniforme inhibisie van dopamienneurone in die ventrale tegmentale area deur aversiewe stimuli. Wetenskap 303, 2040-2042 (2004).

  25. 25.

    Morales, M. & Margolis, EB Ventrale tegmentale area: sellulêre heterogeniteit, konnektiwiteit en gedrag. Nat. Ds. Neurosci. 18, 73-85 (2017).

  26. 26.

    Morris, G., Arkadir, D., Nevet, A., Vaadia, E. & Bergman, H. Toevallige maar duidelike boodskappe van middelbrein dopamien en striatale tonies aktiewe neurone. Neuron 43, 133-143 (2004).

  27. 27.

    Floresco, SB, West, AR, Ash, B., Moore, H. & Grace, AA Afferente modulasie van dopamienneuronvuur reguleer differensieel toniese en fasiese dopamienoordrag. Nat. Neurosci. 6, 968-973 (2003).

  28. 28.

    Grace, AA Disregulering van die dopamienstelsel in die patofisiologie van skisofrenie en depressie. Nat. Ds. Neurosci. 17, 524-532 (2016).

  29. 29.

    Cohen, JY, Amoroso, MW & Uchida, N. Serotonergiese neurone sein beloning en straf op verskeie tydskale. eLife 4, e06346 (2015).

  30. 30.

    Niv, Y., Daw, N. & Dayan, P. Hoe vinnig om te werk: reaksiekrag, motivering en tonikum dopamien. Adv. Neurale Inf. Proses. Syst. 18, 1019 (2006).

  31. 31.

    Bayer, HM, Lau, B. & Glimcher, PW Statistiek van middelbrein dopamien neuron piek treine in die wakker primaat. J. Neurophysiol. 98, 1428-1439 (2007).

  32. 32.

    Chergui, K., Suaud-Chagny, MF & Gonon, F. Nie-lineêre verhouding tussen impulsvloei, dopamienvrystelling en dopamien-eliminasie in die rotbrein in vivo. Neurowetenskap 62, 641-645 (1994).

  33. 33.

    Parker, NF et al. Beloning en keuse enkodering in terminale van middelbrein dopamien neurone hang af van striatale teiken. Nat. Neurosci. 19, 845-854 (2016).

  34. 34.

    Menegas, W., Babayan, BM, Uchida, N. & Watabe-Uchida, M. Teenoor inisialisering van nuwe leidrade in dopamiensein in ventrale en posterior striatum in muise. eLife 6, e21886 (2017).

  35. 35.

    Trulson, ME Gelyktydige opname van substantia nigra neurone en voltammetriese vrystelling van dopamien in die caudate van katte wat optree. Brein Res. Bul. 15, 221-223 (1985).

  36. 36.

    Glowinski, J., Chéramy, A., Romo, R. & Barbeito, L. Presinaptiese regulering van dopaminerge transmissie in die striatum. Sel. Mol. Neurobiol. 8, 7-17 (1988).

  37. 37.

    Zhou, FM, Liang, Y. & Dani, JA Endogene nikotiniese cholinergiese aktiwiteit reguleer dopamienvrystelling in die striatum. Nat. Neurosci. 4, 1224-1229 (2001).

  38. 38.

    Threlfell, S. et al. Striatale dopamienvrystelling word veroorsaak deur gesinchroniseerde aktiwiteit in cholinergiese interneurone. Neuron 75, 58-64 (2012).

  39. 39.

    Cachope, R. et al. Selektiewe aktivering van cholinergiese interneurone verhoog akkumbale fasiese dopamienvrystelling: stel die toon vir beloningverwerking. Verslae Cell 2, 33-41 (2012).

  40. 40.

    Sulzer, D., Cragg, SJ & Rice, ME Striatale dopamien-neurotransmissie: regulering van vrystelling en opname. Basale Ganglia 6, 123-148 (2016).

  41. 41.

    Floresco, SB, Yang, CR, Phillips, AG & Blaha, CD Basolaterale amygdala-stimulasie ontlok glutamaatreseptor-afhanklike dopamien-uitvloeiing in die nucleus accumbens van die verdoofde rot. EUR. J. Neurosci. 10, 1241-1251 (1998).

  42. 42.

    Jones, JL et al. Basolaterale amygdala moduleer terminale dopamienvrystelling in die nucleus accumbens en gekondisioneerde reaksie. Biol. Psigiatrie 67, 737-744 (2010).

  43. 43.

    Schultz, W. Reaksies van middelbrein dopamienneurone op gedragssnellerstimuli in die aap. J. Neurophysiol. 56, 1439-1461 (1986).

  44. 44.

    Berke, JD Wat beteken dopamien? Nat. Neurosci. 21, 787-793 (2018).

  45. 45.

    Bromberg-Martin, ES, Matsumoto, M. & Hikosaka, O. Afsonderlike toniese en fasiese antisipatoriese aktiwiteit in laterale habenula en dopamienneurone. Neuron 67, 144-155 (2010).

  46. 46.

    Pasquereau, B. & Turner, RS Dopamienneurone kodeer foute in die voorspelling van bewegingsnellervoorkoms. J. Neurophysiol. 113, 1110-1123 (2015).

  47. 47.

    Fiorillo, CD, Newsome, WT & Schultz, W. Die tydelike akkuraatheid van beloningsvoorspelling in dopamienneurone. Nat. Neurosci. 11, 966-973 (2008).

  48. 48.

    Morita, K. & Kato, A. Striatale dopamienoploop kan buigsame versterkingsleer aandui met vergeet in die kortiko-basale ganglia-kringe. Front. Neurale stroombane 8, 36 (2014).

  49. 49.

    Gershman, SJ Dopamien-opritte is 'n gevolg van beloningsvoorspellingsfoute. Neurale rekenaar. 26, 467-471 (2014).

  50. 50.

    Nicola, SM Die buigsame benadering hipotese: vereniging van inspanning en cue-reagerende hipoteses vir die rol van nucleus accumbens dopamien in die aktivering van beloning-soekende gedrag. J. Neurosci. 30, 16585-16600 (2010).

  51. 51.

    Paxinos, G. & Watson, C. Die Rat Brein in Stereotaksiese Koördinate 5de uitg (Elsevier Academic, 2005).

  52. 52.

    Witten, IB et al. Rekombinase-drywer rotlyne: gereedskap, tegnieke en optogenetiese toepassing op dopamien-gemedieerde versterking. Neuron 72, 721-733 (2011).

  53. 53.

    Sugrue, LP, Corrado, GS & Newsome, WT Pasgedrag en die voorstelling van waarde in die pariëtale korteks. Wetenskap 304, 1782-1787 (2004).

  54. 54.

    Wong, JM et al. Benzoylchloriedderivatisering met vloeistofchromatografie-massaspektrometrie vir geteikende metabolomika van neurochemikalieë in biologiese monsters. J. Chromatogr. A 1446, 78-90 (2016).

  55. 55.

    Chung, JE et al. 'n Voloutomatiese benadering tot spykersortering. Neuron 95, 1381-1394 (2017).

  56. 56.

    Kvitsiani, D. et al. Afsonderlike gedrags- en netwerkkorrelate van twee interneurontipes in prefrontale korteks. Aard 498, 363-366 (2013).

  57. 57.

    Grace, AA & Bunney, BS Die beheer van afvuurpatroon in nigrale dopamienneurone: uitbarstingsvuur. J. Neurosci. 4, 2877-2890 (1984).

  58. 58.

    Lerner, TN et al. Ongeskonde-brein-ontledings openbaar duidelike inligting wat deur SNc dopamien subkringe gedra word. Cell 162, 635-647 (2015).

Laai verwysings af

Bedankings

Ons bedank P. Dayan, H. Fields, L. Frank, C. Donaghue en T. Faust vir hul kommentaar op 'n vroeë weergawe van die manuskrip, en V. Hetrick, R. Hashim en T. Davidson vir tegniese bystand en advies. Hierdie werk is ondersteun deur die Nasionale Instituut vir Dwelmmisbruik, die Nasionale Instituut vir Geestesgesondheid, die Nasionale Instituut vir Neurologiese Afwykings en Beroerte, die Universiteit van Michigan, Ann Arbor, en die Universiteit van Kalifornië, San Francisco.

Beoordelaar inligting

Aard bedank Margaret Rice en die ander anonieme beoordelaar(s) vir hul bydrae tot die ewekniebeoordeling van hierdie werk.

inligting oor die outeur

AM het die elektrofisiologie en fotometrie uitgevoer en ontleed, en die berekeningsmodel toegepas. JRP het die mikrodialise uitgevoer en ontleed met hulp van J.-MTW en toesig deur RTKAAH het die gedragstaak en aanvanklike fotometrie-opstelling ontwikkel en die voltammetrie uitgevoer. LTV het retrograde opsporing en analise uitgevoer. TP en LT het die dLight-sensor ontwikkel en kundigheid gedeel. JDB het die studie ontwerp en toesig gehou, en die manuskrip geskryf.

Mededingende belange

Die outeurs verklaar geen mededingende belange nie.

Korrespondensie aan Joshua D. Berke.