Dysocjacyjna dynamika dopaminy dla uczenia się i motywacji (2019)

Projekcja dopaminy z brzusznego obszaru nakrywkowego (VTA) do jądra półleżącego (NAc) ma kluczowe znaczenie dla motywacji do pracy na nagrody i uczenia się opartego na nagrodach. Nie jest jasne, w jaki sposób dopamina wspiera obie funkcje. Skoki dopaminy w komórkach mogą kodować błędy przewidywania, które są istotnymi sygnałami uczenia się w obliczeniowych teoriach zachowania adaptacyjnego. Z kolei uwalnianie dopaminy wzrasta, gdy zwierzęta zbliżają się do nagrody, odzwierciedlając oczekiwania nagrody. To niedopasowanie może odzwierciedlać różnice w zadaniach behawioralnych, wolniejsze zmiany w skokach komórek dopaminy lub niezależną od skoków modulację uwalniania dopaminy. Tutaj porównujemy wybijanie zidentyfikowanych komórek dopaminy VTA z uwalnianiem dopaminy NAc w tym samym zadaniu decyzyjnym. Wskazówki wskazujące na nadchodzącą nagrodę zwiększyły zarówno wzrost, jak i uwolnienie. Jednak uwalnianie rdzenia dopaminy NAc również współzmieniało się z dynamicznie zmieniającymi się oczekiwaniami dotyczącymi nagrody, bez odpowiednich zmian w skokach komórek dopaminy VTA. Nasze wyniki sugerują fundamentalną różnicę w sposobie regulacji uwalniania dopaminy w celu osiągnięcia różnych funkcji: wysyłane sygnały impulsowe promują uczenie się, podczas gdy lokalna kontrola napędza motywację.

Dopamina jest słynnie powiązana z „nagrodą” – ale jak dokładnie? Jedna funkcja polega na uczeniu się na podstawie nieoczekiwanych nagród. Krótkie wzrosty wypalania komórek dopaminy kodują błędy przewidywania nagrody (RPE)^1,2,3— sygnały uczenia się w celu optymalizacji przyszłych motywowanych zachowań. Manipulacje dopaminą mogą wpływać na uczenie się tak, jakby zmieniały RPE^4,5,6, ale wpływają również natychmiast na motywowane zachowania, tak jakby dopamina sygnalizowała oczekiwaną nagrodę (wartość)⁵. Co więcej, dopamina NAc nasila się podczas motywowanego podejścia, zgodnie z wartością kodowania dopaminy^7,8,9,10,11.

Z nielicznymi wyjątkami^2,12,13, wypalanie dopaminy w śródmózgowiu zostało zbadane podczas warunkowania klasycznego u zwierząt z unieruchomioną głową^3,14, w przeciwieństwie do uwalniania dopaminy w przodomózgowiu. Dlatego porównaliśmy strzelanie z uwalnianiem w tych samych warunkach. Zidentyfikowaliśmy neurony dopaminowe VTA za pomocą znakowania optogenetycznego^3,13. Aby zmierzyć uwalnianie dopaminy NAc, zastosowaliśmy trzy niezależne metody — mikrodializę, woltamperometrię i czujnik optyczny dLight¹⁵— ze zbieżnymi wynikami. Naszym głównym wnioskiem jest to, że chociaż wybuchy skoków dopaminy VTA w skali RPE zapewniają nagłe zmiany w uwalnianiu dopaminy odpowiednie do uczenia się, oddzielne fluktuacje dopaminy NAc związane z motywacją powstają niezależnie od odpalania komórek dopaminy VTA.

Szkoliliśmy szczury w zadaniu operanta „bandyty”.⁵ (Figa. 1a, b). W każdej próbie oświetlenie portu wtykania w nos („Światło włączone”) zachęcało do podejścia i wejścia („Centre-in”). Po zmiennym okresie wstrzymania (0.5–1.5 s) biały szum („Go cue”) doprowadził szczura do wycofania się („Centre-out”) i szturchnięcia sąsiedniego portu („side-in”). W próbach z nagrodą temu wydarzeniu Side-in towarzyszyło kliknięcie kosza na jedzenie, które skłoniło szczura do zbliżenia się do portu z jedzeniem („Food-port-in”) w celu pobrania granulki cukru. Wybory w lewo iw prawo były nagradzane niezależnymi prawdopodobieństwami, które czasami zmieniały się bez ostrzeżenia. Kiedy szczury częściej otrzymywały nagrody, były bardziej zmotywowane do wykonania zadania. Było to widoczne w ich „opóźnieniu” — czasie między włączeniem światła a wejściem środkowym-który był wrażliwy na wynik kilku poprzednich prób (dane rozszerzone ryc. 1) i tym samym skalowane odwrotnie do stopy nagrody (ryc. 1b).

a, Wydarzenia związane z zadaniami bandytów. b, Przykładowa sesja. Górny rząd, prawdopodobieństwa nagrody w każdym bloku (lewa: prawa); wiersz drugi, zaznaczenia oznaczają wynik każdej próby (wysoki, nagrodzony; niski, nienagrodzony); wiersz trzeci, oszacowanie wskaźnika nagrody przez nieszczelny integrator (czarny) i średnia ruchoma opóźnienia (cyjan; odwrócona skala logarytmiczna); dolny rząd, dopamina rdzenia NAc w tej samej sesji (próbki 1-minutowe). DA, dopamina. c, Top, lokalizacje mikrodializy w przyśrodkowej korze czołowej i prążkowiu (patrz także dane rozszerzone ryc. 1). n = 51 lokalizacji sond od 12 szczurów, każda z 2 sondami do mikrodializy, które były opuszczane między sesjami. Kolor słupka wskazuje korelację między dopaminą a wskaźnikiem nagrody. ACC, przednia kora zakrętu obręczy; dPL, grzbietowa kora prelimbiczna; vPL, brzuszna kora prelimbiczna; IL, kora infralimbiczna; DMS, prążkowie grzbietowo-przyśrodkowe. Środkowe, uśrednione korelogramy krzyżowe między dopaminą a wskaźnikiem nagrody. Czerwone słupki wskazują 99% przedział ufności z przetasowanych szeregów czasowych. Dół, relacje między neurochemikaliami a wskaźnikiem nagrody (regresja wielokrotna). NA, noradrenalina; 5-HT, serotonina; ACh, acetylocholina; GABA, kwas γ-aminomasłowy; Glu, glutaminian; NM, normetadrenalina; DOPAC, kwas 3,4-dihydroksyfenylooctowy; 3-MT, 3-metoksytyramina; HVA, kwas homowanilowy; 5-HIAA, kwas 5-hydroksyindolooctowy. d, Wpływ przejść blokowych na wskaźnik nagrody (po lewej), opóźnienie (w środku) i dopaminę rdzenia NAc (po prawej). Przejścia zostały sklasyfikowane według tego, czy doświadczona stopa nagrody wzrosła (n = 25) lub zmniejszone (n = 33). Dane pochodzą ze wszystkich 14 sesji, w których mierzono dopaminę rdzenia NAc (jedna na szczura, łącząc dane z nowych i wcześniej zgłoszonych⁵ zwierząt) i wykreślono jako średnią ± sem e, Złożone mapy korelacji między dopaminą a wskaźnikiem nagrody (n = 19 szczurów, 33 sesje, 58 rozmieszczeń sondy). Zarysy atlasu mózgu na tym rysunku zostały odtworzone za zgodą Paxinos i Watson, 2005⁵¹.

Obraz w pełnym rozmiarze

Wcześniej informowaliśmy⁵ korelacja między uwalnianiem dopaminy NAc a szybkością nagrody, zgodna z motywacyjną rolą mezolimbicznej dopaminy¹⁶. Tutaj najpierw chcieliśmy ustalić, czy ta zależność jest obserwowana w celach przodomózgowia, zgodnie z „globalną transmisją” sygnalizacji dopaminy¹⁷lub jest ograniczony do określonych podregionów. Postawiliśmy ponadto hipotezę, że ta dynamika dopaminy różniłaby się między prążkowiem a korą, ponieważ struktury te mają odrębną kinetykę wychwytu i degradacji dopaminy¹⁸ i może wykorzystywać dopaminę do różnych funkcji^19,20.

Stosując mikrodializę z wysokosprawną chromatografią cieczową-spektrometrią mas (HPLC-MS), zbadaliśmy przyśrodkową korę czołową i prążkowie (ryc. 1c, Dane rozszerzone Ryc. 1). Jednocześnie zbadaliśmy 21 neuroprzekaźników i metabolitów z 1-minutową rozdzielczością czasową i wykorzystaliśmy regresję do porównania chemicznych szeregów czasowych ze zmiennymi behawioralnymi (dane rozszerzone, ryc. 2).

Powtórzyliśmy korelację między wskaźnikiem nagrody a dopaminą NAc - w przeciwieństwie do innych neuroprzekaźników (ryc. 1c, d). Jednak związek ten był zlokalizowany w rdzeniu NAc i nie utrzymywał się w powłoce NAc ani w prążkowiu grzbietowo-przyśrodkowym. W przeciwieństwie do naszej hipotezy zaobserwowaliśmy podobny wzór przestrzenny w korze czołowej: uwalnianie dopaminy korelowało z szybkością nagrody w brzusznej korze prelimbicznej, ale nie w bardziej grzbietowych lub brzusznych podregionach (ryc. 1c, e). Choć nieoczekiwane, te bliźniacze „gorące punkty” uwalniania dopaminy związanego z wartością mają intrygującą analogię w neuroobrazowaniu człowieka: sygnał zależny od poziomu tlenu we krwi koreluje z wartością subiektywną, szczególnie w NAc i brzuszno-przyśrodkowej korze przedczołowej²¹.

Następnie zajęliśmy się tym, czy ta dopamina przodomózgowia związana z motywacją powstaje w wyniku zmiennego wypalania komórek dopaminowych śródmózgowia. Rdzeń NAc otrzymuje dopaminę z bocznych części VTA (VTA-XNUMX)^6,22,23. U myszy z unieruchomioną głową neurony dopaminowe VTA-XNUMX mają podobno jednolite reakcje podobne do RPE na bodźce warunkowe³. Aby zarejestrować komórki dopaminy VTA-2, zainfekowaliśmy VTA wirusem związanym z adenowirusami (AAV) w celu zależnej od Cre ekspresji rodopsyny kanałowej (AAV-DIO-ChRXNUMX) u szczurów, które wyrażają rekombinazę Cre pod promotorem hydroksylazy tyrozynowej (TH) (patrz Metody). Oprody (ryc. 2a, b) zarejestrował odpowiedzi pojedynczej jednostki na krótkie impulsy niebieskiego lasera (ryc. 2c, Rozszerzone dane ryc. 3, 4, Uzupełnienie Rys. 1). Znaleźliśmy 27 dobrze izolowanych komórek VTA-XNUMX z niezawodnymi skokami o krótkim opóźnieniu i zidentyfikowaliśmy je jako neurony dopaminowe.

a, Po lewej, schemat optrody z 16 tetrodami światłowodu o średnicy około 200 µm. Po prawej, przykład umieszczenia optrody w obrębie bocznego VTA. Pasek skali, 1 mm. Czerwony, dopaminowy marker komórkowy hydroksylaza tyrozynowa; zielony, ChR2-EYFP; żółty, nakładający się. Dla wszystkich miejsc docelowych patrz Dane rozszerzone Ryc. 3. b, Skoki komórek dopaminy VTA. Czerwone słupki wskazują wykryte impulsy i liczbę impulsów w każdym impulsie (patrz Metody). Skala, 0.5 s, 0.5 mV. c, Przykład odpowiedzi neuronów na impulsy laserowe o coraz dłuższym czasie trwania. d, Szybkość wypalania w całej sesji w porównaniu z szerokością kolca (przy połowie maksimum) dla każdej komórki VTA. Niebieskie, oznakowane komórki dopaminy; fioletowy, wyraźna grupa przypuszczalnie neuronów innych niż dopamina. Wstawki, przykłady przebiegów średnich (napięcie ujemne w górę). e, Szybkość wystrzeliwania (niebieski; 1-minutowe pojemniki) neuronu dopaminowego VTA podczas zadania bandyty. Opóźnienie (cyjan) współzmienia się z szybkością nagrody, ale szybkość odpalania nie. f, Szybkość wypalania dla wszystkich neuronów VTA (niebieski, dopamina; fioletowy, nie-dopaminowy; szary, niesklasyfikowany) w blokach o niskim i wysokim współczynniku nagrody. Żaden nie wykazał znaczących różnic (test rang podpisanych przez Wilcoxona przy użyciu przedziałów 1-minutowych, wszystkie P > 0.05 po uwzględnieniu wielokrotnych porównań). g, Średnia korelacja krzyżowa między odpalaniem komórek dopaminy a wskaźnikiem nagrody nie wykazuje istotnego związku. h, Analiza szybkości wypalania dopaminy w przejściach blokowych (taki sam format jak ryc. 1d). n = 95 wzrostów nagrody, 76 spadków. i. Rozkłady interwałów między skokami (ISI, po lewej) i impulsów szczytowych (po prawej) pozostają niezmienione między blokami o wyższej i niższej stopie nagrody (statystyki Kołmogorowa – Smirnowa: ISI, 0.138, P = 0.92; wybuchy, 0.165, P = 0.63).

Obraz w pełnym rozmiarze

Wszystkie neurony dopaminowe były aktywne tonicznie, ze stosunkowo niskimi szybkościami wypalania (średnia 7.7, 3.7 Hz, zakres 12.9, XNUMX–XNUMX, XNUMX Hz; w porównaniu do wszystkich neuronów VTA-XNUMX zarejestrowanych razem z komórkami dopaminowymi, P < 0.001 jednostronny test Manna-Whitneya). Mieli również dłuższe przebiegi szczytowe (P < 5 × 10^-6, jednostronny test Manna-Whitneya), chociaż zdarzały się wyjątki (ryc. 2d), co potwierdza, że ​​czas trwania fali jest niewystarczającym markerem komórek dopaminowych in vivo^3,24. Wyraźne skupisko neuronów VTA-XNUMX (n = 38, z tych samych sesji) z krótkimi przebiegami i wyższymi szybkościami wyładowań (> 20 Hz; średnia 41.3 Hz, zakres 20.1–97.1 Hz) nie obejmowało oznakowanych komórek dopaminy. Przypuszczamy, że te szybciej strzelające komórki są GABAergiczne i/lub glutaminergiczne^3,25i określaj je poniżej jako „nie-dopaminowe”.

Zarejestrowaliśmy te same komórki dopaminy w wielu zadaniach behawioralnych. Komórki dopaminy VTA-XNUMX silnie reagowały na losowo ustawione kliknięcia pojemnika na żywność i stopniowo słabiej, gdy te kliknięcia były bardziej przewidywalne dzięki poprzedzającym wskazówkom (dane rozszerzone, ryc. 5). Jest to zgodne z kanonicznym kodowaniem podobnym do RPE przez komórki dopaminy w zadaniach Pawłowa^2,3,26.

Na podstawie dowodów ze znieczulonych zwierząt wcześniej argumentowano, że zmienione poziomy dopaminy mierzone za pomocą mikrodializy wynikają ze zmian w szybkości wyładowań tonicznych komórek dopaminowych²⁷ i/lub proporcję aktywnych i nieaktywnych neuronów dopaminowych²⁸. Jednak w zadaniu bandytów toniczne wystrzeliwanie komórek dopaminy w każdym bloku prób było obojętne na wskaźnik nagrody (ryc. 2e, g). Nie było znaczącej zmiany w szybkości wypalania poszczególnych komórek dopaminy lub innych neuronów VTA-XNUMX, między blokami o wyższej i niższej nagrodzie (ryc. 2f, godz; patrz także ref. ²⁹ dla zgodnych wyników u myszy z unieruchomioną głową). Nie było również ogólnej zmiany w szybkości, z jaką komórki dopaminy wystrzeliwują serie kolców (ryc. 2i). Ponadto nie zaobserwowaliśmy żadnych komórek dopaminy przełączających się między stanami aktywnymi i nieaktywnymi. Odsetek czasu, w którym komórki dopaminy spędzały nieaktywne (długie interwały między skokami) był bardzo niski i nie zmieniał się między blokami o wyższej i niższej nagrodzie (ryc. 2i).

Anatomia projekcji dopaminy VTA – NAc była intensywnie badana^6,22,23, ale – biorąc pod uwagę tę pozorną funkcjonalną niezgodność między odpaleniem a zwolnieniem – ponownie potwierdziliśmy, że nagrywamy z właściwej części VTA. Małe wstrzyknięcia wstecznej znacznikowej toksyny cholery B (CTb) do rdzenia NAc spowodowały gęste znakowanie TH⁺ neurony w tym samym obszarze VTA-XNUMX, co nasze nagrania optrode (dane rozszerzone ryc. 3). W przybliżonej strefie rejestracji 21% TH⁺ komórki były również CTb⁺, i prawdopodobnie będzie to niedoszacowanie frakcji komórek dopaminowych VTA-XNUMX wystających z rdzenia NAc, ponieważ nasze wstrzyknięcia znacznika nie wypełniły całkowicie rdzenia NAc. W ten sposób nasza próbka n = 27 oznakowanych komórek dopaminowych VTA (plus wiele innych nieoznakowanych komórek) prawie na pewno obejmuje neurony wystające z rdzenia NAc. Wreszcie, u dodatkowego szczura zarejestrowaliśmy dwie znakowane komórki dopaminy VTA-XNUMX po selektywnym wlewie AAV do rdzenia NAc (dane rozszerzone, ryc. 3). Obie zakażone wstecznie komórki miały wzorce wypalania, które pod każdym względem bardzo przypominały inne znakowane komórki dopaminy, w tym brak zmian wypalania tonicznego z różną szybkością nagrody (Rysunek uzupełniający 1). Doszliśmy do wniosku, że zmiany w tonicznym odpalaniu komórek dopaminy VTA-XNUMX nie są odpowiedzialne za zmiany związane z motywacją w uwalnianiu dopaminy w przodomózgowiu.

Czy uwalnianie dopaminy NAc samo w sobie śledzi wskaźnik nagrody, jak sugerują niektóre teorie³⁰, czy też ta korelacja jest napędzana przez dynamiczne fluktuacje uwalniania dopaminy, które są zbyt szybkie, aby rozwiązać je za pomocą mikrodializy? Argumentowaliśmy za tą drugą możliwością na podstawie danych woltamperometrii⁵, ale szukali potwierdzenia za pomocą niezależnej miary uwalniania dopaminy, która może obejmować różne skale czasowe. Zestaw dLight1 genetycznie zakodowanych optycznych wskaźników dopaminy został zaprojektowany przez wstawienie kołowo permutowanego GFP do receptorów dopaminy D1¹⁵. Wiązanie dopaminy powoduje wysoce specyficzny wzrost fluorescencji (ryc. 3a). Wprowadziliśmy AAV do NAc, aby wyrazić dLight1.1 (cztery zweryfikowane rozmieszczenia NAc od trzech szczurów) lub jaśniejszy wariant dLight1.3b (sześć zweryfikowanych rozmieszczeń NAc od czterech szczurów) i monitorowaliśmy fluorescencję za pomocą fotometrii światłowodowej. Zaobserwowaliśmy wyraźne odpowiedzi dopaminy NAc na wskazówki przewidujące nagrodę Pawłowa, podobnie jak odpalanie komórek dopaminy VTA (dane rozszerzone ryc. 5).

a, Odpowiedź fluorescencji dLight1.3b. Wstawka, miareczkowanie dopaminy (n = 15 regionów zainteresowania (ROI)) i noradrenaliny (n = 9). Główna postać, neuroprzekaźniki stosowane w kąpieli (wszystkie n = 12 ROI). Jego, histamina. b, Przykładowa sesja bandyty zawierająca znormalizowany sygnał NAc dLight1.3b (przedziały 1-minutowe). c, d Zmiana sygnału świetlnego wraz z przejściami między blokami. n = 35 podwyżek stawki nagrody, 45 obniżek. d, Korelacja krzyżowa między dLight a wskaźnikiem nagrody. e, Bliższy widok zacienionej części b. Strzały: czarne, skierowane do środka; jasnoczerwony, Side-in (nagrodzony); jasnoniebieski, Side-in (bez nagrody); ciemnoczerwony, Food-port-in (nagrodzony); ciemnoniebieski, jedzenie-port-in (bez nagrody). Kolejne wiersze: oszacowanie wskaźnika nagrody przez nieszczelny integrator; dŚwiatło przy niskiej rozdzielczości (1 min); dŚwiatło w wysokiej rozdzielczości (50 Hz, kolor zielony; pięciopunktowy filtr z medianą, kolor czarny); wartości stanu modelu (cyjan); i RPE (purpurowy). Po kilku nienagradzanych próbach wartości stanu na początku próby są niskie, następnie dostarczenie nagrody wywołuje dodatnie RPE i towarzyszący mu gwałtowny wzrost dopaminy. Kolejne nagradzane próby zmniejszają RPE, ale zwiększają wartości stanu, czemu towarzyszy wzrost dopaminy. f, Korelacje krzyżowe w krótkiej skali czasowej pokazują bliski związek między dLight a wartością oraz mniejszy związek z RPE. g, Korelacje wewnątrz próby między zmiennymi modelu a dLight z różnymi opóźnieniami; korelacja zarówno z wartością, jak i RPE jest najsilniejsza dla dLight około 0.3 s później. h, We wszystkich sesjach maksymalna korelacja była większa dla wartości niż dla wskaźnika RPE lub nagrody.

Obraz w pełnym rozmiarze

W przypadku zadania bandyty najpierw zbadaliśmy sygnał dLight w pojemnikach 1-minutowych (ryc. 3b) dla porównania z mikrodializą. Ponownie zauważyliśmy wyraźny związek między uwalnianiem dopaminy NAc a szybkością nagrody, zarówno w korelacji krzyżowej, jak i analizie przejść blokowych (ryc. 3c, d). Następnie zbadaliśmy dokładniej, jak powstaje ten związek. Zamiast powoli zmieniać się w skali czasu wynoszącej kilka minut, sygnał dLight wykazywał wysoce dynamiczne fluktuacje w ramach każdej próby i pomiędzy nią (ryc. 3e). Porównaliśmy te fluktuacje z chwilowymi wartościami stanu i RPE oszacowanymi na podstawie modelu uczenia się przez wzmacnianie (proces decyzyjny semi-Markowa⁵). Jak wcześniej informowano przy użyciu woltamperometrii⁵, dopamina NAc z chwili na chwilę wykazywała silną korelację z wartościami stanu (ryc. 3f), widoczny jako wzrost w próbach, gdy oczekiwano nagród (ryc. 3e). Zaobserwowaliśmy również przejściowe wzrosty przy mniej oczekiwanych dostawach nagród, zgodne z RPE (zbadane poniżej). W każdej sesji dLight dopamina wykazywała silniejszą korelację z wartościami niż RPE lub wskaźnik nagrody (ryc. 3h, Dane rozszerzone Ryc. 6). Korelacje zarówno z wartościami stanu, jak i RPE były maksymalne w odniesieniu do sygnału dLight ~ 0.3, XNUMX s później, zgodnie z krótkim opóźnieniem spowodowanym przetwarzaniem neuronowym wskazówek i czasem odpowiedzi czujnika (ryc. 3g; z woltamperometrią zgłosiliśmy opóźnienie 0.4–0.5 s)⁵.

Następnie porównaliśmy odpalanie i uwalnianie komórek dopaminy wokół zdarzeń bandytów. Bodźce zewnętrzne w Light-on, Go cue i nagradzane Side-in (kliknięcie pojemnika na jedzenie) wywołały szybki wzrost wypalania (ryc. 4a). Odpowiedzi te obserwowano w zdecydowanej większości komórek dopaminowych (ryc. 4c), chociaż względna wielkość odpowiedzi na różne sygnały różniła się w zależności od komórki (Uzupełnienie Rys. 1). Sygnał NAc dLight również reagował szybko i niezawodnie na każdy z tych istotnych sygnałów (ryc. 4b, c), zgodne z wyzwalaniem serii komórek dopaminy napędzających uwalnianie dopaminy.

a, Dostosowana do zdarzenia aktywność komórek dopaminy VTA-XNUMX. Górne, szpiczaste rastry dla jednej reprezentatywnej komórki; najniższy, średni wskaźnik skoków (n = 29). We wszystkich panelach przedziały błędów wskazują ± sem b, NAc dLight wyrównany do zdarzenia. Górna, reprezentacyjna sesja; dno, średnia (n = 10), znormalizowane do szczytowej nagrodzonej odpowiedzi Side-in. Na tym rysunku sygnały dLight są pokazane w stosunku do epoki „linii bazowej” trwającej 2 s, kończącej się 1 s przed wejściem środkowym. Uwaga wzrasta (strzałki) na krótko przed wejściem środkowym i wejściem do środka żywności. c, Skumulowane rozkłady czasu potrzebnego komórkom dopaminy (stałe; n = 29), dLight (przerywana; n = 10), aby zwiększyć kolejne początki cue (test tasowania w porównaniu z linią bazową, 10,000 XNUMX tasowań, P < 0.01, poprawione wielokrotne porównania). W przypadku Light-on uwzględniane są tylko opóźnienia <1 s; tylko dla nagradzanych prób Side-in. Mediana latencji (z dopasowania sigmoidalnego): Light-on, odpalanie 152 ms, dLight 266 ms; Go cue, strzelanie 67 ms, dLight 212 ms; Side-in, strzelanie 85 ms, dLight 129 ms. Komórki inne niż dopamina były zazwyczaj obojętne na początki cue (dane rozszerzone, ryc. 8). d, Wyraźne wywołane sygnałem uwalnianie dopaminy związane z podejściem. Górne, średnie wypalanie komórek dopaminy (n = 29); średni, średni dLight (n = 10); dno, woltamperometria (n = 6), znormalizowane do szczytowej odpowiedzi na światło o krótkim opóźnieniu. Lewe panele, opóźnienia <1 s, prawe, opóźnienia > 2 s. Dane są wyrównane na Light-on (pełne) lub Center-in (kropkowane); czerwona przerywana linia, średnie opóźnienie. W przypadku dłuższych opóźnień nie ma wzrostu odpalania w pobliżu środka, ale dLight i woltamperometria wykazują wyraźny wzrost. e, Wykres punktowy porównujący sygnały szczytowe wyrównane przy włączonym świetle (y oś) lub Środek do środka (x oś). Dla każdej komórki linie połączone sesją wskazują dane dla różnych zakresów latencji (<1 s, > 2 s). Wypalanie dopaminy (u góry) konsekwentnie pokazuje odpowiedź Light-on dla prób z krótkim opóźnieniem (dwukierunkowa analiza wariancji (ANOVA), wyrównanie × interakcja latencji, F = 7.47, P = 0.0008). Sygnały dLight (środek), woltamperometria (dół) są konsekwentnie lepiej dopasowane do środka (dwukierunkowa ANOVA dla dLight: wyrównanie × interakcja opóźnienia, F = 9.28, P = 0.0043). f, Dopamina wzrasta podczas zbliżania się, wyrażona ilościowo jako kąt nachylenia (patrz Metody). Kółka wskazują poszczególne komórki dopaminy (n = 29), sesje dLight (n = 10).

Obraz w pełnym rozmiarze

Zaobserwowaliśmy również wyraźny wzrost uwalniania dopaminy NAc, gdy szczury zbliżały się do portu początkowego (tuż przed wejściem środkowym) i portu żywnościowego (tuż przed wejściem do żywności). To dobrze pasuje do obszernej literatury dotyczącej woltamperometrii pokazującej, że zmotywowanym zachowaniom związanym z podejściem towarzyszy szybki wzrost dopaminy w rdzeniu NAc^{5,7,8,9,10,11}. Jednak populacja komórek dopaminowych VTA-XNUMX nie wykazała odpowiedniego wzrostu wypalania w tych czasach (ryc. 4a; patrz rozszerzone dane Ryc. 7 dla dodatkowych porównań, w tym z komórkami innymi niż dopamina).

Aby lepiej oddzielić aktywność dopaminy wywołaną sygnałem i związaną z podejściem, oddzieliliśmy próby krótkimi (<1 s) i długimi (> 2 s) opóźnieniami (ryc. 4d, e). Wzrost odpalania dopaminy w komórkach był konsekwentnie blokowany na początku sygnału przy włączonym świetle, preferencyjnie w przypadku prób z krótkim opóźnieniem. Wszystkie 25 komórek dopaminy o znacznym wzroście szybkości wypalania po włączeniu światła były lepiej dopasowane do włączenia światła niż w środku (ryc. 4e). W przeciwieństwie do tego, wzrosty uwalniania dopaminy NAc przed Centre-in różniły się od uwalniania dopaminy wywołanego sygnałem (ryc. 4d, e). Sygnały dLight konsekwentnie wzrastały przed wprowadzeniem środka w próbach z długim opóźnieniem (dziesięć na dziesięć sesji) i przed wejściem do żywności (dziewięć na dziesięć sesji), bez odpowiedniego wzrostu wypalania dopaminy (ryc. 4f).

Na koniec zastanowiliśmy się, w jaki sposób sygnały dopaminy związane z wydarzeniem zależą od najnowszej historii nagród. Podczas wczesnej części każdej próby wypalanie komórek dopaminy nie było zależne od szybkości nagrody (ryc. 5a), pomimo wpływu stopy nagrody na motywację (ryc. 5b). Następnie reakcja fazowa na sygnał nagrody w Side-in była niezawodnie silniejsza, gdy wskaźnik nagrody był niższy (ryc. 5a), zgodne z pozytywnym kodowaniem RPE. Kiedy ta wskazówka nagrody została pominięta, komórki dopaminy wstrzymały strzelanie, chociaż kodowanie negatywnych RPE było znacznie słabsze lub nieobecne, niezależnie od tego, czy badano je na poziomie populacji (ryc. 5a, b) lub jako pojedyncze komórki (Dane rozszerzone Ryc. 8). Wcześniej sugerowano, że ujemne RPE są kodowane w czasie trwania przerw dopaminowych³¹, ale zaobserwowano to tylko w 2 z 29 pojedynczych neuronów. Podobne wyniki uzyskano, jeśli oczekiwaną nagrodę oszacowano w inny sposób, w tym oparte na próbach modele uczenia się wzmacniającego (aktor-krytyk i Q-learning) lub po prostu licząc ostatnie nagrody (dane rozszerzone, ryc. 8).

a, Górne, uśrednione szybkości wypalania komórek dopaminowych (n = 29) wyrównane do Side-in, w podziale na stopę nagrody (tercyle, obliczane osobno dla każdej komórki). Przed Side-in aktywność nie zależy od oczekiwanej nagrody. Próby nagradzane (czerwone) i nienagradzane (niebieskie) po Side-in są pokazane oddzielnie. Reakcja na kliknięcie żywności jest silniejsza, gdy wskaźnik nagrody jest niski, zgodnie z kodowaniem pozytywnych RPE. Dół, frakcja pojedynczych komórek dopaminy z szybkością wyładowań, która znacząco zmienia się wraz z szybkością nagrody w każdym momencie (test losowania, P < 0.01, poprawione wielokrotne porównania). Znaczniki na górze wskazują czasy, kiedy ten ułamek był znacznie wyższy niż przypadek (dwumianowy, P < 0.01). Po Side-in testowane są tylko korelacje ujemne, czyli potencjalne kodowanie RPE. b, Wykresy regresji dla sesji z zarejestrowanymi komórkami dopaminy, pokazujące wpływ ostatniej historii nagrody na (log-) opóźnienie (u góry) i skoki dopaminy. Gwiazdki wskazują znaczące wagi regresji (t-test, P < 0.05). Podczas 0.5 s przed sygnałem Go (podczas gdy szczur musi utrzymywać stałe szturchanie nosem, aby próba mogła być kontynuowana) na skoki dopaminy nie ma wpływu historia nagrody (w środku). Zmienia się to po ujawnieniu wyniku (na dole; ocena szczytu lub dołka aktywności w ciągu 0.5 s po Side-in), ale tylko w przypadku nagradzanych prób. c, d, Tak samo jak powyżej, z wyjątkiem dLight (znormalizowane do szczytowej odpowiedzi Side-in). Uwolnienie dopaminy niezawodnie skaluje się z szybkością nagrody nawet przed Side-in.

Obraz w pełnym rozmiarze

Uwalnianie dopaminy w Side-in również wykazało wyraźne, przejściowe kodowanie pozytywnych RPE, ale nie negatywnych RPE (ryc. 5c, d). Ta odpowiedź dLight była nieco opóźniona i przedłużona w porównaniu z wypalaniem, zgodnie z czasem potrzebnym do uwolnienia i ponownego wychwytu³², ale pozostał zjawiskiem subsekundowym. Jednak w przeciwieństwie do strzelania, sygnały dLight na początku każdej próby były większe, gdy ostatnie próby zostały nagrodzone (ryc. 5c), zgodne z kodowaniem wartości. Zaobserwowaliśmy tę zależność od historii nagród, nawet gdy szczur nie poruszał się aktywnie, ale utrzymywał szturchanie nosa w środkowym porcie, czekając na sygnał Go (ryc. 5d). Podsumowując, dochodzimy do wniosku, że uwalnianie dopaminy NAc odzwierciedla zarówno reakcje wywołane sygnałem, jak i oczekiwanie na nagrodę, i że tylko te pierwsze można dobrze wytłumaczyć wypalaniem komórek dopaminy VTA-XNUMX.

VTA-XNUMX stanowi główne źródło dopaminy dla rdzenia NAc^6,23,24. Komórki dopaminy VTA-XNUMX, w tym te, które wystają do rdzenia NAc, konsekwentnie wyświetlają impulsy kodujące RPE^3,12. Uważa się, że wybuchy VTA są szczególnie ważne dla napędzania dopaminy NAc³²i rzeczywiście odkryliśmy, że wybuchy VTA wywołane cue były dopasowane do wydania NAc. Jednak dodatkowo znaleźliśmy powiązane z wartością wzorce uwalniania dopaminy NAc, które nie zostały wygenerowane przez odpalanie komórek dopaminy VTA-XNUMX, ani w długich (tonicznych), ani krótkich (fazowych) skalach czasowych. Inne subpopulacje dopaminy mogą przenosić różne sygnały^13,33,34i nie możemy wykluczyć możliwości, że wypalanie subpopulacji komórek dopaminy, które nie zostały tutaj zarejestrowane, wytwarza dopaminę związaną z wartością w rdzeniu NAc. Jednak wypalanie związane z wartością nigdy nie zostało zgłoszone dla żadnych komórek dopaminy w szerokim zakresie badań. Nasze wyniki sugerują, że dynamika dopaminy NAc jest kontrolowana na różne sposoby, w różnym czasie i dla różnych funkcji, oraz że rejestrowanie komórek dopaminy jest ważne, ale niewystarczające do zrozumienia sygnałów dopaminy³⁵.

Na uwalnianie z zakończeń dopaminy duży wpływ mają lokalne, nieskokujące mechanizmy^{36,37,38,39,40}. Na przykład uwalnianie dopaminy NAc jest modulowane przez podstawno-boczne ciało migdałowate, nawet gdy skoki VTA są farmakologicznie tłumione^41,42. Od dziesięcioleci zauważono, że lokalna kontrola uwalniania dopaminy może osiągnąć funkcje odmienne od tych związanych ze skokami komórek dopaminy^36,43, ale nie zostało to uwzględnione w teoretycznych poglądach na dopaminę. Wyraźne podregiony prążkowia przyczyniają się do różnego rodzaju decyzji i mogą wpływać na własne uwalnianie dopaminy w zależności od potrzeb⁴⁴. Pozostaje do ustalenia, jak zlokalizowana może być ta kontrola uwalniania dopaminy. Jedno ograniczenie wspólne dla 3 sposobów, w jakie mierzyliśmy uwalnianie dopaminy, polega na tym, że wszystkie one pobierają próbki w skali przestrzennej co najmniej 100 µm, podczas gdy mikroskopia in vivo sugeruje, że uwalnianie dopaminy może być niejednorodne w znacznie mniejszych skalach¹⁵.

Nasze wyniki nie potwierdzają istnienia żadnego oddzielnego tonicznego sygnału dopaminy, który mógłby pośredniczyć w motywacyjnym działaniu dopaminy. Zamiast tego, przesunięcia dopaminy, które wydają się powolne, jeśli są mierzone powoli (z mikrodializą), zamieniają się w szybkie fluktuacje, jeśli są mierzone szybko (z woltamperometrią lub dLight). Ponadto nagrania zidentyfikowanych komórek dopaminowych VTA przez nas samych i innych³⁰ dostarczyć mocnych dowodów przeciwko pomysłowi²⁹ że zmiany w tonicznym uwalnianiu dopaminy napędzają zmiany toniczne w uwalnianiu dopaminy. Chociaż wypalanie toniczne może być zmienione przez zmiany chorobowe lub manipulacje lekami²⁸, nie jesteśmy świadomi trwałych zmian szybkości strzelania w jakimkolwiek zadaniu behawioralnym. Wypalanie może zmniejszać się w skali czasowej około 1 s podczas przewidywania zdarzeń istotnych motywacyjnie^45,46. Jednak ten spadek jest przeciwieństwem tego, co byłoby wymagane do zwiększenia uwalniania dopaminy z oczekiwaniem nagrody, a zamiast tego bardziej przypomina sekwencję przejściowych negatywnych błędów przewidywania⁴⁷. Chociaż trwałe sygnały kodujące stałą stopę nagrody mogą być przydatne obliczeniowo³⁰zamiast tego dopamina zapewnia szybko zmieniające się sygnały błędów i wartości. Pozostaje możliwe, że trwałe sygnały są obliczane na kolejnym etapie przez wewnątrzkomórkowe szlaki sygnałowe poniżej receptorów dopaminy.

Wiele grup zaobserwowało gwałtowne uwalnianie dopaminy, gdy szczury zbliżają się do nagrody^{5,7,8,9,10,11}, zgodne z kodowaniem eskalacji oczekiwań dotyczących nagrody. Niektórzy argumentowali, że te rampy dopaminy po prostu odzwierciedlają RPE, zakładając, że szczury albo szybko zapominają wartości⁴⁸ lub że mają wypaczony zestaw reprezentacji państwowych⁴⁹. Ten ostatni pomysł nie jest poparty naszą obserwacją, że rampowanie jest szybko modulowane z próby na próbę na podstawie zaktualizowanych oczekiwań dotyczących nagrody, stając się silniejsze w krótkiej sekwencji kolejnych nagród, podczas gdy reakcje podobne do RPE na sygnały stają się słabsze (ryc. 3e). Mówiąc bardziej ogólnie, żadna teoria, w której dopamina przekazuje wyłącznie RPE (sygnały uczenia się), nie może wyjaśnić bardzo dobrze ugruntowanego związku między trwającą dopaminą mezolimbiczną a motywacją¹⁶. Rdzeń NAc nie jest potrzebny do wysoce wytrenowanych reakcji na bodźce warunkowe, ale jest szczególnie ważny przy podejmowaniu decyzji o wykonaniu czasochłonnej pracy w celu uzyskania nagrody⁵⁰. Wydaje się, że dopamina w rdzeniu NAc dostarcza istotnego dynamicznego sygnału, jak warto poświęcić czas i wysiłek na pracę^5,44, mimo że ten sygnał nie jest obecny w odpalaniu komórek dopaminowych VTA.

Zwierzęta

Wszystkie procedury na zwierzętach zostały zatwierdzone przez Instytucjonalne Komitety ds. Użytkowania i Opieki nad Zwierzętami Uniwersytetu Michigan lub Uniwersytetu Kalifornijskiego w San Francisco. Samce szczurów (300–500 g, typu dzikiego Long-Evans lub TH-Cre⁺ z pochodzeniem Long-Evansa⁵²) utrzymywano w odwrotnym cyklu 12:12 światło:ciemność i testowano w fazie ciemności. Szczury były lekko pozbawione pożywienia, otrzymując codziennie 15 g standardowej laboratoryjnej karmy dla szczurów oprócz nagród żywnościowych zdobytych podczas wykonywania zadania. Nie przeprowadzono wstępnych obliczeń wielkości próby. Badacze nie byli zaślepieni co do alokacji podczas eksperymentów i oceny wyników.

Zachowanie

Wstępne szkolenie i testy przeprowadzono w sterowanych komputerowo komorach operacyjnych Med Associates (25 cm × 30 cm w najszerszym miejscu), każda z pięciootworową ścianą nosową, jak opisano wcześniej⁵. Sesje z zadaniami bandytów wykorzystywały następujące parametry: długości bloków wynosiły 35-45 prób, losowo wybranych dla każdego bloku; okres wstrzymania przed Go cue wynosił 500–1,500 ms (równomierny rozkład); prawdopodobieństwo nagrody od lewej do prawej wynosiło 10, 50 i 90% (dla elektrofizjologii, fotometrii, woltamperometrii i wcześniej zgłoszonych szczurów poddanych mikrodializie⁵) lub 20, 50 i 80% (nowo zgłoszone szczury do mikrodializy).

Obecna stopa nagrody została oszacowana przy użyciu nieszczelnego integratora opartego na czasie⁵³. Współczynnik nagrody był zwiększany za każdym razem, gdy otrzymywano nagrodę, i spadał wykładniczo w tempie określonym przez parametr τ (czas w s, w którym stopa nagrody spada o ~ 63%, czyli 1−1/e). Do wszystkich analiz τ został wybrany na podstawie zachowania szczura, maksymalizując (ujemną) korelację między wskaźnikiem nagrody a log (opóźnieniem) w każdej sesji. Korelacje między dopaminą w przodomózgowiu a wskaźnikiem nagrody nie były bardzo wrażliwe na ten wybór τ (Dane rozszerzone rys. 1).

Aby sklasyfikować przejścia blokowe jako „rosnące” lub „malejące” w stopie nagrody, porównaliśmy średnią stopę nagrody nieszczelnego integratora w ciągu ostatnich 5 minut bloku ze średnią stawką nagrody w pierwszych 8 minutach kolejnego bloku.

Szczury używane do elektrofizjologii i fotometrii wykonywały również zadanie podejścia Pawłowa, w tej samej komorze operanta z włączonym światłem domowym przez całą sesję. Trzy sygnały dźwiękowe (2 kHz, 5 kHz i 9 kHz) były powiązane z różnymi prawdopodobieństwami dostarczenia pożywienia (zrównoważone u szczurów). Sygnały były odtwarzane jako ciąg pisków tonowych (100 ms włączone, 50 ms wyłączone) przez całkowity czas 2.6 s, po którym następował okres opóźnienia 500 ms. Wskazówki i nieprzewidziane dostawy nagród były dostarczane w pseudolosowej kolejności ze zmiennym odstępem między próbami (15–30 s, jednolity rozkład).

Mikrodializa

Chirurgia

Szczurom wszczepiono obustronnie kaniule prowadzące (CMA, 830 9024) w korze i prążkowiu. Jedna grupa (n = 8) otrzymał jedną kaniulę prowadzącą celującą w korę przedkońcową i podlimbiczną (przednio-tylną (AP) +3.2 mm, przyśrodkowo-boczną (ML) 0.6 mm w stosunku do brgma; i grzbietowo-brzuszną (DV) 1.4 mm poniżej powierzchni mózgu), a drugą celującą w prążkowie grzbietowo-przyśrodkowe i jądro półleżące na przeciwnej półkuli (AP +1.3, ML 1.9 i DV 3.4). Oba implanty były ustawione pod kątem 5 stopni względem siebie wzdłuż płaszczyzny dziobowo-ogonowej. Druga grupa (n = 4) otrzymał jedną kaniulę prowadzącą celującą w przednią korę zakrętu obręczy (AP +1.6, ML 0.8 i DV 0.8) i drugą celującą w półleżącą (rdzeń/powłoka w przeciwnej półkuli w AP +1.6, ML 1.4 i DV 5.5 (n = 2) lub AP +1.6, ML 1.9 i DV 5.7 (n = 2). Boki implantu były zrównoważone u szczurów. Zwierzętom pozwolono wyzdrowieć przez tydzień przed ponownym szkoleniem.

Chemikalia

Woda, metanol i acetonitryl dla faz ruchomych były jakości Burdick & Jackson HPLC, zakupione od VWR (Radnor). Wszystkie inne chemikalia zakupiono od Sigma Aldrich, o ile nie zaznaczono inaczej. Sztuczny płyn mózgowo-rdzeniowy (aCSF) zawierał 145 mM NaCl, 2.68 mM KCl, 1.40 mM CaCl₂, 1.01 mM MgSO4₄, 1.55 mM Na₂HPO₄ i 0.45 mM NaH₂PO₄pH doprowadzono do 7.4 za pomocą NaOH. Dodano kwas askorbinowy (końcowe stężenie 250 nM) w celu zmniejszenia utleniania analitów.

Pobieranie próbek i HPLC-MS

W dniu testu zwierzęta umieszczano w komorze operanta z włączonym światłem dziennym. Wykonane na zamówienie koncentryczne sondy do mikrodializy z membraną poliakrylonitrylową (1 mm dializująca membrana AN69; Hospal) wprowadzono obustronnie do kaniuli prowadzącej i poddano ciągłej perfuzji (Chemyx, Fusion 400) z aCSF przy 2 µl/min przez 90 min, aby umożliwić zrównoważenie. Po 5-minutowym zbieraniu linii podstawowej światło w domu zgasło, sygnalizując zwierzęciu dostępność zadania bandyty. Pobieranie próbek kontynuowano w odstępach 1-minutowych i próbki natychmiast derywatyzowano⁵⁴ z 1.5 ul węglanu sodu, 100 mM; 1.5 ul chlorku benzoilu (2% (obj./obj.) chlorku benzoilu w acetonitrylu); i 1.5 µl znakowanej izotopowo mieszaniny standardów wewnętrznych rozcieńczonej w 50% (v/v) acetonitrylu zawierającym 1% (v/v) kwasu siarkowego i wzbogaconej deuterowanym ACh i choliną (izotopy C/D/N) do końcowego stężenia 20 nM. Pobieranie serii próbek odbywało się naprzemiennie między dwiema sondami w odstępach 30-sekundowych w każdej z 26 sesji, z wyjątkiem jednej sesji, w której pęknięta membrana skutkowała tylko jedną serią (łącznie 51 serii próbek). Próbki analizowano przy użyciu systemów Thermo Scientific UHPLC (Accela lub Vanquish Horizon połączonych z potrójnym kwadrupolowym spektrometrem masowym Quantum Ultra wyposażonym w sondę HESI II ESI), pracujących w trybie monitorowania wielu reakcji. Pięć mikrolitrów próbek wstrzyknięto na kolumnę Phenomenex core-shell biphenyl Kinetex HPLC (2.1 mm x 100 mm). Fazę ruchomą A stanowił 10 mM mrówczan amonu z 0.15% kwasem mrówkowym, a fazę ruchomą B stanowił acetonitryl. Fazę ruchomą dostarczano w gradiencie elucji przy 450 ul/min w następujący sposób: początkowa, 0% B; 0.01 minuty, 19% B; 1 minuta, 26% B; 1.5 minuty, 75% B; 2.5 minuty, 100% B; 3 minuty, 100% B; 3.1 minuty, 5% B; i 3.5 minuty, 5% B. Thermo Xcalibur QuanBrowser (Thermo Fisher Scientific) zastosowano do automatycznego przetwarzania i integracji pików. Każdy z >100,000 XNUMX pików został indywidualnie sprawdzony wizualnie w celu zapewnienia właściwej integracji.

Analiza

Wszystkie dane dotyczące stężenia neurochemicznego zostały wygładzone trzypunktową średnią ruchomą (y′ = [0.25 × (y−1) + 0.5y + 0.25 × (y+1)]) i z-score znormalizowany w ramach każdej sesji, aby ułatwić porównania między sesjami. Dla każdego regionu docelowego wygenerowano korelogram krzyżowy dla każdej sesji i wykreślono średnią z sesji. Jednoprocentowe granice ufności zostały wygenerowane dla każdego wątku pobocznego poprzez tasowanie jednej serii czasowej 100,000 0.05 razy i wygenerowanie rozkładu współczynników korelacji dla każdej sesji. Modele regresji wielokrotnej zostały wygenerowane przy użyciu funkcji regresji w programie MATLAB, z neurochemią jako zmienną wyniku i metrykami behawioralnymi jako predyktorami. Współczynniki regresji określono jako istotne na trzech poziomach alfa (0.0005, 0.000005 i 21), po korekcie Bonferroniego dla wielokrotnych porównań (alfa/(7 związków chemicznych × 9 regionów × 3 regresorów behawioralnych)). Do analizy przejść blokowych dane podzielono na XNUMX-minutowe epoki, odrzucając próbkę zawierającą czas przejścia.

Elektrofizjologia

Szczury (n = 25) wszczepiono specjalnie zaprojektowane napędzane optrody, z których każda składała się z 16 tetrod (zbudowanych z drutu nichromowego 12.5 µm, Sandvik) przyklejonych do boku światłowodu 200 µm i rozciągających się do 500 µm poniżej końcówki włókna. Podczas tej samej operacji wstrzyknęliśmy 1 µl AAV2/5-EF1a-DIO-ChR2(H134R)-EYFP do bocznego rdzenia VTA (AP 5.6, ML 0.8, DV 7.5) lub rdzenia NAc (AP 1.6, ML 1.6, DV 6.4) . Próbkowano szerokopasmowe (1–9,000 30,000 Hz) sygnały mózgowe (80 XNUMX próbek na sekundę) przy użyciu cyfrowych głowic Intan. Optrody obniżano o co najmniej XNUMX µm pod koniec każdej sesji rejestracyjnej. Poszczególne jednostki zostały odizolowane w trybie offline przy użyciu implementacji MountainSort w MATLAB⁵⁵ a następnie dokładnej kontroli ręcznej.

Klasyfikacja

Aby określić, czy wyizolowana jednostka VTA-XNUMX była dopaminergiczna (TH⁺), zastosowaliśmy test latencji związany z bodźcem⁵⁶. Krótko mówiąc, na koniec każdej sesji eksperymentalnej podłączaliśmy optrodę do diody laserowej i dostarczaliśmy ciągi impulsów świetlnych o różnych szerokościach i częstotliwościach. Aby jednostka została zidentyfikowana jako reagująca na światło, musiała osiągnąć poziom istotności P < 0.001 dla ciągów impulsów 5 ms i 10 ms. Porównaliśmy również kształty fal wywołanych światłem (w ciągu 10 ms od początku impulsu laserowego) ze średnimi z całej sesji; wszystkie jednostki wywołane światłem miały współczynnik korelacji Pearsona >0.9. Neurony dopaminy z powodzeniem zarejestrowano u czterech szczurów z infuzjami VTA-657 AAV (IM1, 1002 jednostka; IM3, 1003 jednostki; IM15, 1037 jednostek; IM9, 1078 jednostek) i jednego szczura z rdzeniem NAc AAV (IM-2, 20 jednostki) . Szerokość piku została zdefiniowana jako maksymalna szerokość w połowie najbardziej widocznego ujemnego składnika wyrównanego, uśrednionego kształtu fali szczytowej. Nieoznakowane neurony VTA z szybkością wypalania w całej sesji> 200 Hz i szerokością piku <XNUMX µs zostały sklasyfikowane jako komórki nie-dopaminowe. Aby upewnić się, że porównujemy komórki dopaminowe i inne niż dopaminowe w tych samych podregionach, analizowaliśmy tylko komórki inne niż dopaminowe zarejestrowane podczas sesji z co najmniej jedną optycznie oznakowaną komórką dopaminową.

Analiza

Wybuchy kolców zostały wykryte przy użyciu konwencjonalnego podejścia „matrycy 80/160”.⁵⁷: za każdym razem, gdy wystąpi interwał między skokami wynoszący 80 ms lub mniej, te i kolejne skoki są uważane za część impulsu, dopóki nie nastąpi przerwa wynosząca 160 ms lub więcej. W celu porównania wypalania „tonicznego” z szybkością nagrody, skoki dopaminy zliczono w pojemnikach 1-minutowych. Aby zbadać szybsze zmiany, skonstruowano funkcje gęstości pików poprzez splot ciągów kolców z jądrem Gaussa o wariancji 20 ms. Aby określić, jak szybko neuron zareagował na daną wskazówkę, użyliśmy przedziałów 40-ms (przesuwając się w krokach co 20 ms) i zastosowaliśmy test tasowania (10,000 250 przetasowań) dla każdego przedziału czasu, porównując szybkość odpalania po początku cue z szybkością odpalania w XNUMX ms bezpośrednio poprzedzające cue. Pierwszy przedział, w którym szybkość odpalania post-cue była znacząco (P < 0.01, z poprawką na wielokrotne porównania) większe niż wyzwalanie linii bazowej uznano za czas do odpowiedzi na sygnał.

Szczytowa szybkość wypalania została obliczona jako maksymalna (wygładzona gaussowska) szybkość wystrzeliwania każdej próby w oknie 250 ms po bocznej stronie dla nagrodzonych prób, a dolina została obliczona jako minimalna szybkość wypalania w oknie 2-s, zaczynając jedna sekunda po side-in dla nienagrodzonych prób.

Aby obliczyć kąt nachylenia podczas podejścia, wygładziliśmy średnie szybkości strzelania za pomocą jądra Gaussa 50 ms, wykryliśmy maksimum/minimum wynikowego sygnału w oknie 0.5 s przed każdym zdarzeniem (centrowanie lub wejście do środka ) i zmierzyłem podpisany kąt łączący dwa ekstrema. Aby porównać wskaźniki wypalania w blokach „wysokich” i „niskich” nagród, dla każdej sesji przeprowadziliśmy medianę podziału średniego wskaźnika nagrody nieszczelnego integratora w każdym bloku.

Woltamperometria i model obliczeniowy

Przedstawione tutaj wyniki woltamperometrii cyklicznej z szybkim skanowaniem stanowią ponowną analizę danych przedstawionych wcześniej szczegółowo⁵. Oszacowania wartości stanu i błędów przewidywania nagrody w ramach próby zostały obliczone przy użyciu modelu uczenia się procesu wzmacniania procesu decyzyjnego semi-Markowa, dokładnie tak, jak opisano wcześniej⁵.

Fotometria

Zastosowaliśmy wirusowe podejście do ekspresji genetycznie zakodowanego optycznego czujnika dopaminy dLight¹⁵. W znieczuleniu izofluranem 1 μl AAV9-CAG-dLight (1 × 10¹² genomy wirusowe na ml; Rdzeń wektora UC Davis) wstrzykiwano powoli (100 nl/min) (Nanoject III, Drummond) przez 30-µm szklaną mikropipetę w prążkowiu brzusznym obustronnie (AP: 1.7 mm, ML: 1.7 mm, DV: -7.0 mm). Podczas tej samej operacji wprowadzono włókna światłowodowe (rdzeń 400 µm, średnica całkowita 430 µm) przymocowane do metalowej skuwki (doryckiej) (docelowa głębokość o 200 µm większa niż AAV) i zacementowano na miejscu. Dane zebrano > trzy tygodnie później, aby umożliwić ekspresję dLight.

Dla wzbudzenia dLight niebieskie (470 nm) i fioletowe (405 nm; kontrola) diody LED były modulowane sinusoidalnie przy różnych częstotliwościach (odpowiednio 211 Hz i 531 Hz⁵⁸). Oba sygnały wzbudzenia i emisji przepuszczone przez filtry minisześcianu (dorycki) i zmierzono fluorescencję masową za pomocą femtowatowego detektora (Newport, Model 2151) próbkującego przy 10 kHz. Demodulacja wytworzyła oddzielne sygnały 470 nm (dopamina) i 405 nm (kontrola), które następnie zostały przeskalowane do siebie za pomocą dopasowania metodą najmniejszych kwadratów⁵⁸. Frakcyjny sygnał fluorescencyjny (dF/F) został następnie zdefiniowany jako (470–405_fit)/405_fit. We wszystkich analizach sygnał ten próbkowano w dół do 50 Hz i wygładzano pięciopunktowym filtrem medianowym. Aby oddzielnie przedstawić sygnały 470 nm i 405 nm, patrz Dane rozszerzone Ryc. 7.

Dane z rozmieszczenia włókien światłowodowych zostały uwzględnione w analizach, jeśli końcówka włókna znajdowała się w NAc, a odpowiedź fluorescencji na co najmniej jedną wskazówkę dotyczącą zadania miała z-wynik >1. Kryteria te wykluczyły jednego szczura i dały trzy szczury / cztery miejsca (IM1065-lewe, IM1066-dwustronne, IM1089-prawe) dla dLight1.1 i cztery szczury / sześć miejsc (IM1088-dwustronne, IM1105-prawe, IM1106-dwustronne, IM1107-prawo) dla dLight1.3b. Podobne wyniki uzyskano dla dLight1.1 i dLight1.3 (dane rozszerzone ryc. 7), więc dane zostały połączone.

Aby obliczyć kąt nachylenia podczas podejścia, wykryliśmy maksimum/minimum wynikowego sygnału w 0.5-sekundowym oknie przed każdym zdarzeniem (środek do środka lub wejście do środka żywności) i zmierzyliśmy kąt ze znakiem łączący dwa ekstrema.

Powinowactwo i swoistość molekularna dLight1.3b

Pomiary in vitro przeprowadzono jak opisano wcześniej¹⁵. W skrócie, komórki HEK293T (ATCC CRL#1573) hodowano i transfekowano plazmidami kodującymi dlight1.3b kierowanymi przez promotor CMV i przemywano HBSS (Life Technologies) uzupełnionym Ca²⁺ (4 mM) i Mg²⁺ (2 mM) przed obrazowaniem. Obrazowanie przeprowadzono przy użyciu 40-krotnego obiektywu na bazie oleju na odwróconym mikroskopie konfokalnym Zeiss Observer LSN710 o długości fali 488 nm/513 nm (wzbudzenie/emisja). Aby przetestować reakcje fluorescencji czujnika, neuroprzekaźniki zostały bezpośrednio zastosowane do kąpieli podczas obrazowania poklatkowego, w co najmniej dwóch niezależnych eksperymentach. Miareczkowanie dopaminy i noradrenaliny uzyskano przez wykonanie dziesięciokrotnych seryjnych rozcieńczeń w celu uzyskania ośmiu różnych stężeń. Wszystkie inne neuroprzekaźniki badano w trzech kolejnych stężeniach (100 nM, 1 uM i 10 uM). Wszystkie stężenia neuroprzekaźników uzyskano przez rozcieńczenie 1 mM roztworu podstawowego w HBSS, przygotowanym na świeżo. Surowe intensywności fluorescencji z obrazowania poklatkowego określono ilościowo na Fidżi; każdy ROI został ręcznie narysowany na błonie poszczególnych komórek. Zmiana fałdu fluorescencyjnego (ΔF/F) obliczono jako F pik (średnia intensywność fluorescencji z czterech ramek) − F podstawowa (uśredniona intensywność fluorescencji z czterech ramek przed dodaniem ligandów)/F podstawowy. Wykresy i analizę statystyczną wykonano przy użyciu GraphPad Prism 6. Punkty danych analizowano z dopasowaniem krzywej wiązania specyficznego dla jednego miejsca, aby uzyskać K_d wartości. Na wykresach typu pudełko i wąsy pudełko obejmuje zakres od 25% do 75%, a wąsy rozciągają się od wartości minimalnych do maksymalnych.

Podsumowanie raportowania

Dalsze informacje na temat projektu badań są dostępne w Podsumowanie raportowania badań przyrodniczych powiązany z tym artykułem.

Wirus AAV.Synapsin.dLight1.3b użyty w tym badaniu został zdeponowany w Addgene (nr 125560; http://www.addgene.org). Wszystkie dane będą dostępne za pośrednictwem witryny udostępniania danych Collaborative Research in Computational Neuroscience (https://doi.org/110.6080/K0VQ30V9).

Niestandardowy kod MATLAB jest dostępny na żądanie w JDB

Uwaga wydawcy: Springer Nature pozostaje neutralny w odniesieniu do roszczeń jurysdykcyjnych w opublikowanych mapach i powiązaniach instytucjonalnych.

Dziękujemy P. Dayanowi, H. Fieldsowi, L. Frankowi, C. Donaghue i T. Faustowi za ich uwagi dotyczące wczesnej wersji manuskryptu oraz V. Hetrickowi, R. Hashimowi i T. Davidsonowi za pomoc techniczną i porady. Ta praca była wspierana przez National Institute on Drug Abuse, National Institute of Mental Health, National Institute on Neurological Disorders and Stroke, University of Michigan, Ann Arbor i University of California, San Francisco.

Informacje o recenzencie

Natura dziękuje Margaret Rice i pozostałym anonimowym recenzentom za ich wkład w recenzowanie tej pracy.

Notatki autora

1. Ci autorzy wnieśli równy wkład: Ali Mohebi, Jeffrey R. Pettibone

przynależność

1. Klinika Neurologii, Uniwersytet Kalifornijski, San Francisco, San Francisco, Kalifornia, USA

   • Ali Mohebi
   • , Jeffrey R. Pettibone
   •  & Joshua D. Berke

2. Wydział Neuronauki, Brown University, Providence, RI, USA

   • Arif A. Hamid

3. Wydział Chemii, University of Michigan, Ann Arbor, MI, USA

   • Jenny-Marie T. Wong
   •  i Roberta T. Kennedy'ego

4. Program dla absolwentów neuronauki, Uniwersytet Kalifornijski, San Francisco, San Francisco, Kalifornia, USA

   • Leah T. Vinson
   •  & Joshua D. Berke

5. Wydział Biochemii i Medycyny Molekularnej, Szkoła Medyczna Uniwersytetu Kalifornijskiego, Davis, Davis, Kalifornia, USA

   • Tommaso Patriarcha
   •  & Lin Tian

6. Weill Institute for Neurosciences i Kavli Institute for Fundamental Neuroscience, University of California, San Francisco, San Francisco, USA

   • Joshua D. Berke

Wpłaty na siódmą tradycję

AM wykonał i przeanalizował elektrofizjologię i fotometrię oraz zastosował model obliczeniowy. JRP przeprowadził i przeanalizował mikrodializę z pomocą J.-MTW i pod nadzorem RTKAAH opracował zadanie behawioralne i wstępną konfigurację fotometrii oraz wykonał woltamperometrię. Firma LTV przeprowadziła wsteczne śledzenie i analizę. Firmy TP i LT opracowały czujnik dLight i podzieliły się wiedzą specjalistyczną. JDB zaprojektował i nadzorował badanie oraz napisał manuskrypt.

Konkurencyjnymi interesami

Autorzy nie deklarują konkurencyjnych interesów.

Odpowiedni autor

Korespondencja do Joshua D. Berke.