Przewidujący sygnał nagrody dla neuronów dopaminowych (1998)

J Neurophysiol. 1998 Jul;80(1):1-27.

Schultz W1.

Abstrakcyjny

Skutki zmian chorobowych, blokowania receptorów, samostymulacji elektrycznej i narkotyków sugerują, że układy dopaminowe śródmózgowia są zaangażowane w przetwarzanie informacji o nagrodzie i zachowania w podejściu do uczenia się. Większość neuronów dopaminowych wykazuje fazowe aktywacje po pierwotnych nagrodach płynnych i pokarmowych oraz warunkowych, przewidujących nagrody bodźcach wzrokowych i słuchowych. Wykazują dwufazowe, aktywacyjno-depresyjne odpowiedzi po bodźcach, które przypominają bodźce przewidujące nagrody lub są nowe lub szczególnie istotne. Jednak tylko nieliczne aktywacje fazowe podążają za bodźcami awersyjnymi. Tak więc neurony dopaminowe znakują bodźce środowiskowe wartością apetyczną, przewidują i wykrywają nagrody oraz sygnalizują i motywują zdarzenia. Nie rozróżniając różnych nagród, neurony dopaminowe wydają się emitować ostrzeżenie o zaskakującej obecności lub braku nagród. Wszystkie odpowiedzi na bodźce nagrody i przewidywania nagrody zależą od przewidywalności zdarzeń. Neurony dopaminowe są aktywowane przez nagradzanie zdarzeń, które są lepsze niż przewidywano, pozostają niezależne od zdarzeń, które są tak dobre, jak przewidywano, i są obniżone przez zdarzenia, które są gorsze niż przewidywano. Sygnalizując nagrody zgodnie z błędem przewidywania, reakcje dopaminy mają formalne cechy sygnału nauczania postulowanego przez teorie uczenia się przez wzmacnianie. Odpowiedzi dopaminowe przenoszą się podczas uczenia się od nagród podstawowych do bodźców przewidujących nagrodę. Może to przyczynić się do neuronalnych mechanizmów leżących u podstaw wstecznego działania nagród, jednej z głównych zagadek w uczeniu się o wzmocnieniu. Odpowiedź impulsowa uwalnia krótki impuls dopaminy na wielu dendrytach, nadając w ten sposób raczej globalny sygnał wzmacniający neuronom postsynaptycznym. Sygnał ten może poprawić zachowanie podejścia poprzez dostarczenie informacji z wyprzedzeniem o nagrodzie przed wystąpieniem zachowania i może przyczynić się do uczenia się poprzez modyfikację transmisji synaptycznej. Sygnał nagrody dopaminy jest uzupełniany przez aktywność w neuronach prążkowia, kory czołowej i ciała migdałowatego, które przetwarzają specyficzne informacje o nagrodzie, ale nie emitują globalnego sygnału błędu przewidywania nagrody. Współpraca między różnymi sygnałami nagrody może zapewnić wykorzystanie określonych nagród za selektywne wzmacnianie zachowań. Wśród innych systemów projekcyjnych, neurony noradrenaliny służą głównie mechanizmom uwagi i neuronom jądra podstawnego kodu niejednorodnie. Włókna wspinające się na móżdżek sygnalizują błędy w działaniu silnika lub błędy w przewidywaniu zdarzeń awersyjnych dla komórek Purkinjego w móżdżku. Większość deficytów po uszkodzeniach zubożających dopaminę nie jest łatwo wyjaśniona przez wadliwy sygnał nagrody, ale może odzwierciedlać brak ogólnej funkcji umożliwiającej toniczne poziomy dopaminy zewnątrzkomórkowej. Zatem układy dopaminowe mogą pełnić dwie funkcje, fazową transmisję informacji o nagrodzie i toniczne umożliwianie neuronów postsynaptycznych.

WPROWADZENIE

Kiedy organizmy wielokomórkowe powstały w wyniku ewolucji samoodtwarzających się cząsteczek, rozwinęły endogenne, autoregulacyjne mechanizmy zapewniające zaspokojenie ich potrzeb w zakresie dobrostanu i przetrwania. Podmioty angażują się w różne formy zbliżania się, aby uzyskać środki do utrzymania równowagi homeostatycznej i rozmnażania się. Jedną klasę zasobów nazywa się nagrodami, które wywołują i wzmacniają zachowania związane z podejściem. Funkcje nagród rozwinęły się dalej podczas ewolucji wyższych ssaków, aby wspierać bardziej wyrafinowane formy zachowań indywidualnych i społecznych. Zatem potrzeby biologiczne i poznawcze określają naturę nagród, a ich dostępność determinuje niektóre podstawowe parametry warunków życia podmiotu.

Nagrody mają różne formy fizyczne, są bardzo zmienne w czasie i zależą od konkretnego środowiska podmiotu. Pomimo ich znaczenia, nagrody nie wpływają na mózg poprzez dedykowane receptory obwodowe dostrojone do ograniczonego zakresu modalności fizycznych, tak jak w przypadku pierwotnych systemów sensorycznych. Informacja o nagrodzie jest raczej pobierana przez mózg z dużej różnorodności bodźców wieloczynnikowych, niejednorodnych i niestałych za pomocą określonych mechanizmów neuronalnych. Wysoce zmienna natura nagród wymaga wysokiego stopnia adaptacji w przetwarzających je systemach neuronalnych.

Jednym z głównych systemów neuronalnych zaangażowanych w przetwarzanie informacji o nagrodzie wydaje się być układ dopaminowy. Badania behawioralne pokazują, że projekcje dopaminy do prążkowia i kory czołowej odgrywają główną rolę w pośredniczeniu w skutkach nagród w zachowaniu podejścia i uczeniu się. Wyniki te pochodzą z wybiórczych uszkodzeń różnych składników układów dopaminowych, ogólnoustrojowego i domózgowego podawania leków pośrednich i agonistycznych receptora dopaminy i antagonistów, samoistnej stymulacji elektrycznej i samodzielnego podawania głównych narkotyków, takich jak kokaina, amfetamina, opiaty, alkohol i nikotyna (Beninger i Hahn 1983; Di Chiara 1995; Fibiger i Phillips 1986; Robbins i Everitt 1992; Robinson i Berridge 1993; Wise 1996; Wise i Hoffman 1992; Wise i in. 1978).

Niniejszy artykuł podsumowuje ostatnie badania dotyczące sygnalizacji bodźców motywujących środowisko przez neurony dopaminowe i ocenia potencjalne funkcje tych sygnałów do modyfikowania reakcji behawioralnych poprzez odniesienie do organizacji anatomicznej, teorii uczenia się, sztucznych modeli neuronalnych, innych układów neuronalnych i deficytów po zmianach. Zostaną opisane wszystkie znane charakterystyki odpowiedzi neuronów dopaminowych, ale przeważnie odpowiedzi na bodźce związane z nagrodami będą konceptualizowane, ponieważ są one obecnie najlepiej zrozumiałe. Z powodu dużej ilości danych dostępnych w literaturze, głównym omawianym systemem będzie projekcja dopaminy nigrostriatalnej, ale projekcje z neuronów dopaminowych śródmózgowia do brzusznego prążkowia i kory czołowej również będą brane pod uwagę, o ile pozwala na to obecna wiedza.

NAGRODY I PRZEWIDYWANIA

Funkcje nagród

Niektóre obiekty i zdarzenia w środowisku mają szczególne znaczenie motywacyjne ze względu na ich wpływ na dobrostan, przetrwanie i reprodukcję. Zgodnie z wywoływanymi reakcjami behawioralnymi, wartość motywacyjna obiektów środowiskowych może być apetyczna (nagradzająca) lub awersyjna (karająca). (Zauważ, że „apetyczny” jest używany jako „nagradzanie”, ale nie „przygotowanie”.) Obiekty apetyczne mają trzy oddzielne podstawowe funkcje. W swojej pierwszej funkcji nagradza wzbudzone podejście i konsumujące zachowanie. Wynika to z tego, że obiekty są oznakowane wartością apetyczną dzięki wrodzonym mechanizmom lub, w większości przypadków, uczeniu się. W swojej drugiej funkcji nagrody zwiększają częstotliwość i intensywność zachowań prowadzących do takich obiektów (uczenie się) i utrzymują wyuczone zachowanie, zapobiegając wyginięciu. Nagrody służą jako pozytywne wzmocnienie zachowania w klasycznych i instrumentalnych procedurach warunkujących. W ogólnym uczeniu się motywacyjnym bodźce środowiskowe nabierają wartości apetycznej po klasycznie uwarunkowanych związkach bodźca-nagrody i indukują zachowanie podejścia (Bindra 1968). W warunkowaniu instrumentalnym nagrody „wzmacniają” zachowania poprzez wzmocnienie powiązań między bodźcami a reakcjami behawioralnymi (Prawo Efektu: Thorndike 1911). To jest istota „powrotu po więcej” i wiąże się z powszechnym pojęciem, że nagrody są osiągane za to, że coś zrobili dobrze. W instrumentalnej formie uczenia się motywacyjnego nagrody są „zachętami” i służą jako cele zachowania wynikające z powiązań między reakcjami behawioralnymi a wynikami (Dickinson i Balleine 1994). W swojej trzeciej funkcji nagrody wywołują subiektywne uczucia przyjemności (hedonia) i pozytywne stany emocjonalne. Bodźce awersyjne działają w przeciwnych kierunkach. Indukują reakcje wycofania i działają jako wzmacniacze negatywne, zwiększając i utrzymując zachowanie unikania przy powtarzanej prezentacji, zmniejszając w ten sposób wpływ szkodliwych zdarzeń. Ponadto wywołują wewnętrzne stany emocjonalne gniewu, strachu i paniki.

Funkcje prognoz

Prognozy dostarczają zaawansowanych informacji na temat przyszłych bodźców, zdarzeń lub stanów systemu. Zapewniają one podstawową zaletę uzyskiwania czasu na reakcje behawioralne. Niektóre formy przewidywań przypisują wartości motywacyjne bodźcom środowiskowym poprzez skojarzenie z określonymi wynikami, identyfikując w ten sposób obiekty o istotnym znaczeniu i odróżniając je od mniej wartościowych przedmiotów. Inne formy kodują fizyczne parametry przewidywanych obiektów, takie jak położenie przestrzenne, prędkość i waga. Prognozy pozwalają organizmowi ocenić przyszłe zdarzenia, zanim one rzeczywiście wystąpią, pozwolić na wybór i przygotowanie reakcji behawioralnych oraz zwiększyć prawdopodobieństwo zbliżenia się lub unikania obiektów oznaczonych wartościami motywacyjnymi. Na przykład powtarzające się ruchy obiektów w tej samej sekwencji umożliwiają przewidywanie nadchodzących pozycji i już przygotowują następny ruch podczas ścigania obecnego obiektu. Skraca to czas reakcji między poszczególnymi celami, przyspiesza ogólną wydajność i skutkuje wcześniejszym wynikiem. Przewidujące ruchy gałek ocznych poprawiają zachowanie behawioralne dzięki wcześniejszemu skupianiu się (Kwiaty i Downing 1978).

Na bardziej zaawansowanym poziomie zaawansowane informacje dostarczane przez prognozy pozwalają na podejmowanie decyzji między alternatywami w celu osiągnięcia określonych stanów systemu, zbliżania się do rzadko występujących obiektów celu lub unikania nieodwracalnych skutków ubocznych. Aplikacje przemysłowe używają kontroli modelu wewnętrznego do przewidywania i reagowania na stany systemu, zanim faktycznie wystąpią (Garcia i in. 1989). Na przykład technika „fly-by-wire” we współczesnym lotnictwie oblicza przewidywalne przyszłe stany samolotów. Decyzje dotyczące manewrów w locie uwzględniają te informacje i pomagają uniknąć nadmiernego obciążenia elementów mechanicznych samolotu, zmniejszając w ten sposób wagę i zwiększając zasięg działania.

Wykorzystanie informacji predykcyjnych zależy od charakteru reprezentowanych przyszłych zdarzeń lub stanów systemu. Proste reprezentacje bezpośrednio dotyczą pozycji nadchodzących celów i wynikającej z nich reakcji behawioralnej, zmniejszając w ten sposób czas reakcji w dość automatyczny sposób. Wyższe formy prognoz oparte są na reprezentacjach pozwalających na wnioskowanie logiczne, do których można uzyskać dostęp i traktować je z różnym stopniem intencjonalności i wyboru. Często są one przetwarzane świadomie u ludzi. Przed wystąpieniem przewidywanych zdarzeń lub stanów systemu i przeprowadzeniem reakcji behawioralnych, takie przewidywania pozwalają na mentalną ocenę różnych strategii poprzez integrację wiedzy z różnych źródeł, projektowanie różnych sposobów reakcji i porównywanie zysków i strat z każdej możliwej reakcji.

Kondycjonowanie behawioralne

Asocjacyjne uczenie się apetyczne polega na powtarzalnym i warunkowym parowaniu pomiędzy dowolnym bodźcem a nagrodą pierwotną (ryc. 1). Skutkuje to coraz częstszym zachowaniem podejścia indukowanym przez „uwarunkowany” bodziec, który częściowo przypomina zachowanie podejścia wywoływane przez główną nagrodę, a także ma wpływ na charakter warunkowanego bodźca. Wydaje się, że uwarunkowany bodziec służy jako predyktor nagrody i często na podstawie odpowiedniego napędu ustanawia wewnętrzny stan motywacyjny prowadzący do reakcji behawioralnej. Podobieństwo reakcji podejścia sugeruje, że niektóre z ogólnych, przygotowawczych składników odpowiedzi behawioralnej są przenoszone z pierwotnej nagrody do najwcześniejszego warunkowego bodźca przewidującego nagrodę. Tak więc bodziec warunkowy działa częściowo jako motywacyjny substytut bodźca pierwotnego, prawdopodobnie poprzez naukę Pawłowa (Dickinson 1980).

Rys.. 1. 

Przetwarzanie bodźców apetycznych podczas uczenia się. Arbitralny bodziec wiąże się z główną nagrodą pokarmową lub płynną poprzez wielokrotne, warunkowe parowanie. Ten uwarunkowany, przewidujący nagrodę bodziec wywołuje wewnętrzny stan motywacyjny, wywołując oczekiwanie nagrody, często na podstawie odpowiadającego mu głodu lub pragnienia, i wywołuje reakcję behawioralną. Schemat ten jest powtórzeniem podstawowych pojęć motywacyjnej motywacji opracowanej przez Bindra (1968) i Bolles (1972). Dotyczy to warunkowania klasycznego, gdzie nagroda jest automatycznie dostarczana po warunkowym bodźcu i warunkowaniu instrumentalnym (operantowi), gdzie dostarczanie nagrody wymaga reakcji podmiotu na warunkowy bodziec. Schemat ten stosuje się również do uwarunkowań awersyjnych, które nie są dalej opracowywane ze względu na zwięzłość.

Wiele tzw. „Bezwarunkowych” żywności i płynnych nagród jest prawdopodobnie zdobywanych dzięki doświadczeniu, co może potwierdzić każdy odwiedzający zagranicę. Podstawową nagrodą może być wtedy smak doznawany, gdy obiekt aktywuje receptory smakowe, ale można się tego nauczyć. Ostateczny efekt nagradzania obiektów odżywczych polega prawdopodobnie na ich specyficznym wpływie na podstawowe zmienne biologiczne, takie jak stężenie elektrolitu, glukozy lub aminokwasów w osoczu i mózgu. Zmienne te są zdefiniowane przez potrzeby wegetatywne organizmu i powstają w wyniku ewolucji. Zwierzęta unikają składników odżywczych, które nie wpływają na ważne zmienne wegetatywne, na przykład żywności pozbawionej takich niezbędnych aminokwasów jak histydyna (Rogers i Harper 1970), treonina (Hrupka i in. 1997; Wang i in. 1996) lub metionina (Delaney i Gelperin 1986). Kilka podstawowych nagród może być zdeterminowanych przez wrodzone instynkty i wspierać początkowe zachowanie i spożycie we wczesnym życiu, podczas gdy większość nagród można by się nauczyć podczas późniejszego doświadczenia życiowego podmiotu. Fizyczny wygląd nagród może być następnie wykorzystany do przewidywania znacznie wolniejszych efektów wegetatywnych. To znacznie przyspieszyłoby wykrywanie nagród i stanowiło istotną zaletę dla przetrwania. Nauka nagród pozwala również badanym na wykorzystanie znacznie większej różnorodności składników odżywczych jako skutecznych nagród, a tym samym zwiększa ich szanse na przeżycie w strefach ograniczonych zasobów.

ADAPTACYJNE ODPOWIEDZI NA NASTĘPUJĄCE STIMULI

Ciała komórkowe neuronów dopaminowych są zlokalizowane głównie w grupach śródmózgowia A8 (grzbietowa do bocznej istoty czarnej), A9 (pars compacta istoty czarnej) i A10 (brzuszny obszar nakrywkowy środkowy do istoty czarnej). Neurony te uwalniają neurotransmiter dopaminę z impulsami nerwowymi z żylaków aksonalnych w prążkowiu (jądro ogoniaste, skorupa i prążkowate brzuszne, w tym jądro półleżące) i kora czołowa, aby wymienić najważniejsze miejsca. Rejestrujemy aktywność impulsową z ciał komórkowych pojedynczych neuronów dopaminowych w okresach 20 – 60 min z ruchomymi mikroelektrodami z pozycji pozakomórkowych, podczas gdy małpy uczą się lub wykonują zadania behawioralne. Charakterystyczne polifazowe, stosunkowo długie impulsy wyładowywane przy niskich częstotliwościach sprawiają, że neurony dopaminowe łatwo odróżniają się od innych neuronów śródmózgowia. Zastosowane paradygmaty behawioralne obejmują zadania w zakresie czasu reakcji, zadania z bezpośrednim i opóźnionym przejściem bez wyjścia, przestrzenne opóźnione odpowiedzi i zadania naprzemienne, zadania związane z unikaniem powietrza i soli fizjologicznej, operant i klasycznie uwarunkowane zadania dyskryminacji wizualnej, ruchy inicjowane przez siebie i nieprzewidziane dostarczanie nagroda w przypadku braku formalnego zadania. Informacje o neuronach dopaminowych 100 – 250 są badane w każdej sytuacji behawioralnej, a ułamki neuronów modulowanych zadaniami odnoszą się do tych próbek.

Wstępne badania rejestracyjne poszukiwały korelatów motorycznego i poznawczego deficytu parkinsonowskiego w neuronach dopaminowych, ale nie udało się znaleźć wyraźnych współzależności z ruchami ramienia i oka (DeLong i in. 1983; Schultz i Romo 1990; Schultz i in. 1983) lub z mnemonicznymi lub przestrzennymi składnikami zadań opóźnionej odpowiedzi (Schultz i in. 1993). Natomiast stwierdzono, że neurony dopaminowe były aktywowane w bardzo wyraźny sposób dzięki nagradzającym cechom szerokiego zakresu bodźców somatosensorycznych, wzrokowych i słuchowych.

Aktywacja za pomocą pierwotnych bodźców apetycznych

O 75% neuronów dopaminowych wykazuje fazowe aktywacje, gdy zwierzęta dotykają małego kawałka ukrytego pożywienia podczas ruchów eksploracyjnych przy braku innych bodźców fazowych, bez aktywacji przez sam ruch (Romo i Schultz 1990). Pozostałe neurony dopaminowe nie reagują na żaden z badanych bodźców środowiskowych. Neurony dopaminowe są również aktywowane przez kroplę cieczy dostarczanej do jamy ustnej poza jakimkolwiek zadaniem behawioralnym lub podczas uczenia się takich różnych paradygmatów, jak zadania czasowe reakcji wzrokowych lub słuchowych, przestrzenna opóźniona odpowiedź lub naprzemienne i dyskryminacja wzrokowa, często u tego samego zwierzęcia (ryc. . 2 Top) (Hollerman i Schultz 1996; Ljungberg i in. 1991, 1992; Mirenowicz i Schultz 1994; Schultz i in. 1993). Odpowiedzi na nagrody występują niezależnie od kontekstu uczenia się. Zatem neurony dopaminowe nie wydają się rozróżniać między różnymi obiektami żywnościowymi i nagrodami płynnymi. Jednak ich reakcje rozróżniają nagrody od obiektów nieprzyznanych (Romo i Schultz 1990). Tylko 14% neuronów dopaminowych wykazuje aktywacje fazowe, gdy prezentowane są pierwotne bodźce awersyjne, takie jak podmuch powietrza do dłoni lub hipertoniczny roztwór soli do ust, a większość aktywowanych neuronów reaguje również na nagrody (Mirenowicz i Schultz 1996). Choć nie są szkodliwe, bodźce te są awersyjne, ponieważ zakłócają zachowanie i wywołują aktywne reakcje unikania. Neurony dopaminowe nie są jednak całkowicie niewrażliwe na bodźce awersyjne, o czym świadczą powolne depresje lub sporadyczne powolne aktywacje po szczypaniu bodźców u znieczulonych małp (Schultz i Romo 1987) oraz zwiększone uwalnianie dopaminy z prążkowia po porażeniu elektrycznym i uszczypnięciu ogona u obudzonych szczurów (Abercrombie i in. 1989; Doherty i Gratton 1992; Louilot i in. 1986; Young i in. 1993). Sugeruje to, że odpowiedzi fazowe neuronów dopaminowych preferencyjnie raportują bodźce środowiskowe z pierwotną wartością apetyczną, podczas gdy zdarzenia awersyjne mogą być sygnalizowane znacznie wolniejszym przebiegiem czasu.

Rys.. 2. 

Neurony dopaminy zgłaszają nagrody zgodnie z błędem w przewidywaniu nagrody. Topy: występuje kropla cieczy, chociaż w tym czasie nie przewiduje się żadnej nagrody. Występowanie nagrody stanowi zatem pozytywny błąd w przewidywaniu nagrody. Neuron dopaminowy jest aktywowany przez nieprzewidziane występowanie cieczy. Środkowy: bodziec warunkowy przewiduje nagrodę, a nagroda następuje zgodnie z przewidywaniem, stąd brak błędu w przewidywaniu nagrody. Neuron dopaminy nie jest aktywowany przez przewidywaną nagrodę (dobrze). Pokazuje również aktywację po bodźcu przewidującym nagrodę, która występuje niezależnie od błędu w przewidywaniu późniejszej nagrody (lewo). Dolny: bodziec warunkowy przewiduje nagrodę, ale nagroda nie pojawia się z powodu braku reakcji zwierzęcia. Aktywność neuronu dopaminy jest obniżona dokładnie w momencie, w którym nastąpiłaby nagroda. Zwróć uwagę na depresję występującą> 1 s po bodźcu warunkowym bez żadnych bodźców interweniujących, ujawniającą wewnętrzny proces oczekiwania na nagrodę. Aktywność neuronalna na 3 wykresach jest zgodna z równaniem: odpowiedź dopaminy (nagroda) = wystąpiła nagroda - przewidywana nagroda. CS, bodziec warunkowy; R, główna nagroda. Przedruk z Schultz i in. (1997) za zgodą American Association for the Advancement of Science.

Nieprzewidywalność nagrody

Ważną cechą reakcji dopaminowych jest ich zależność od nieprzewidywalności zdarzenia. Aktywacje następujące po nagrodach nie występują, gdy nagrody żywności i płynów są poprzedzone bodźcami fazowymi, które zostały uwarunkowane do przewidzenia takich nagród (ryc. 2, środkowy) (Ljungberg i in. 1992; Mirenowicz i Schultz 1994; Romo i Schultz 1990). Jedną z istotnych różnic między uczeniem się a zachowaniem w pełni uzyskanym jest stopień nieprzewidywalności nagrody. Neurony dopaminowe są aktywowane przez nagrody podczas fazy uczenia się, ale przestają reagować po pełnym przejęciu zadań czasu reakcji wzrokowej i słuchowej (Ljungberg i in. 1992; Mirenowicz i Schultz 1994), zadania z opóźnioną odpowiedzią przestrzenną (Schultz i in. 1993) i równoczesne wizualne dyskryminacje (Hollerman i Schultz 1996). Utrata odpowiedzi nie jest spowodowana rozwijającą się ogólną niewrażliwością na nagrody, ponieważ aktywacje następujące po nagrodach realizowanych poza zadaniami nie zmniejszają się podczas kilku miesięcy eksperymentów (Mirenowicz i Schultz 1994). Znaczenie nieprzewidywalności obejmuje czas nagrody, o czym świadczą przemijające aktywacje następujące po nagłych nagłych dostarczeniach wcześniej lub później niż przewidywano (Hollerman i Schultz 1996). Podsumowując, występowanie nagrody, w tym jej czas, musi być nieprzewidywalne, aby aktywować neurony dopaminowe.

Depresja przez pominięcie przewidywanej nagrody

Neurony dopaminowe są obniżane dokładnie w czasie zwykłego występowania nagrody, gdy w pełni przewidywana nagroda nie występuje, nawet przy braku bezpośrednio poprzedzającego bodźca (ryc. 2, dolny). Jest to obserwowane, gdy zwierzętom nie udaje się uzyskać nagrody z powodu błędnego zachowania, gdy przepływ cieczy jest zatrzymywany przez eksperymentatora pomimo prawidłowego zachowania, lub gdy zawór otwiera się słyszalnie bez dostarczania cieczy (Hollerman i Schultz 1996; Ljungberg i in. 1991; Schultz i in. 1993). Gdy dostawa nagrody jest opóźniona dla 0.5 lub 1.0, depresja aktywności neuronalnej następuje w zwykłym czasie nagrody, a aktywacja następuje po nagraniu w nowym czasie (Hollerman i Schultz 1996). Obie odpowiedzi pojawiają się tylko podczas kilku powtórzeń, dopóki nowy czas dostarczenia nagrody nie zostanie ponownie przewidziany. Natomiast dostarczenie nagrody wcześniejszej niż zwykła skutkuje aktywacją w nowym czasie nagrody, ale nie wywołuje depresji w zwykłym czasie. Sugeruje to, że niezwykle wczesna dostawa nagrody anuluje przewidywanie nagrody dla zwykłego czasu. Zatem neurony dopaminowe monitorują zarówno występowanie, jak i czas nagrody. W przypadku braku bodźców bezpośrednio poprzedzających pominiętą nagrodę, wgłębienia nie stanowią prostej odpowiedzi neuronalnej, ale odzwierciedlają proces oczekiwania oparty na wewnętrznym zegarze śledzącym dokładny czas przewidywanej nagrody.

Aktywacja przez uwarunkowane bodźce przewidujące nagrodę

O 55 – 70% neuronów dopaminowych jest aktywowanych przez uwarunkowane bodźce wzrokowe i słuchowe w różnych klasycznie lub instrumentalnie uwarunkowanych zadaniach opisanych wcześniej (ryc. 2, środkowy i dolny) (Hollerman i Schultz 1996; Ljungberg i in. 1991, 1992; Mirenowicz i Schultz 1994; Schultz 1986; Schultz i Romo 1990; P. Waelti, J. Mirenowicz i W. Schultz, dane niepublikowane). Pierwsze reakcje dopaminy na światło warunkowe zostały opisane przez Miller i in. (1981) u szczurów leczonych haloperidolem, które zwiększały częstość występowania i spontaniczną aktywność neuronów dopaminowych, ale skutkowały bardziej długotrwałymi odpowiedziami niż u zwierząt bez fałd. Chociaż reakcje występują blisko reakcji behawioralnych (Nishino i in. 1987), nie są one związane z ruchami ramienia i oka, ponieważ występują również po tej samej stronie co ruchome ramię i podczas prób bez ruchów ręki lub oka (Schultz i Romo 1990). Uwarunkowane bodźce są nieco mniej skuteczne niż pierwotne nagrody pod względem wielkości odpowiedzi i uaktywnionych frakcji neuronów. Neurony dopaminowe reagują tylko na początek bodźców warunkowych, a nie na ich przesunięcie, nawet jeśli przesunięcie bodźca przewiduje nagrodę (Schultz i Romo 1990). Neurony dopaminowe nie rozróżniają modalności wzrokowych i słuchowych bodźców warunkowych apetytu. Jednakże rozróżniają bodźce apetyczne i neutralne lub awersyjne, o ile są wystarczająco odmienne fizycznie (Ljungberg i in. 1992; P. Waelti, J. Mirenowicz i W. Schultz, dane niepublikowane). Tylko 11% neuronów dopaminowych, w większości z reakcjami apetycznymi, wykazuje typowe aktywacje fazowe również w odpowiedzi na uwarunkowane awersyjne bodźce wzrokowe lub słuchowe w czynnych zadaniach unikania, w których zwierzęta uwalniają klucz, aby uniknąć podmuchu powietrza lub kropli soli hipertonicznej (Mirenowicz i Schultz 1996), chociaż takie unikanie może być postrzegane jako „nagradzanie”. Te kilka aktywacji nie jest wystarczająco silne, aby wywołać średnią odpowiedź populacji. Zatem reakcje fazowe neuronów dopaminowych preferencyjnie raportują bodźce środowiskowe o apetytowej wartości motywacyjnej, ale bez rozróżniania różnych modalności sensorycznych.

Przeniesienie aktywacji

W trakcie uczenia się neurony dopaminowe stają się stopniowo aktywowane przez uwarunkowane bodźce przewidujące nagrodę i stopniowo tracą swoje reakcje na podstawowe pożywienie lub płynne nagrody, które są przewidywane (Hollerman i Schultz 1996; Ljungberg i in. 1992; Mirenowicz i Schultz 1994) (Ryc. 2 i 3). Podczas przejściowego okresu uczenia się zarówno nagrody, jak i bodźce warunkowe wywołują aktywacje dopaminy. Ten transfer z pierwotnej nagrody do warunkowego bodźca następuje natychmiastowo w pojedynczych neuronach dopaminowych testowanych w dwóch dobrze wyuczonych zadaniach, wykorzystujących, odpowiednio, nieprzewidziane i przewidywane nagrody (Romo i Schultz 1990).

Rys.. 3. 

Przeniesienie odpowiedzi dopaminy na najwcześniejszy bodziec prognostyczny. Odpowiedzi na nieprzewidziany podstawowy transfer nagrody na stopniowo wcześniejsze bodźce przewidujące nagrodę. Wszystkie wyświetlacze przedstawiają histogramy populacji uzyskane przez uśrednienie znormalizowanych histogramów czasu dla wszystkich neuronów dopaminowych zarejestrowanych w wskazanych sytuacjach behawioralnych, niezależnie od obecności lub braku odpowiedzi. Topy: poza jakimkolwiek zadaniem behawioralnym, nie ma odpowiedzi populacji w neuronach 44 testowanych małym światłem (dane z Ljungberg i in. 1992), ale przeciętna reakcja występuje w 35 neuronach na kroplę płynu dostarczoną do ustnika znajdującego się przed pyskiem zwierzęcia (Mirenowicz i Schultz 1994). Środkowy: odpowiedź na bodziec wyzwalający przewidywanie nagrody w zadaniu przestrzennego wyboru 2, ale brak odpowiedzi na nagrodę dostarczoną podczas ustalonej wydajności zadania w tych samych neuronach 23 (Schultz i in. 1993). Dolny: odpowiedź na wskazówkę instrukcji poprzedzającą bodziec wyzwalający przewidujący nagrodę o ustalony interwał 1 w poleconym zadaniu dotarcia przestrzennego (neurony 19) (Schultz i in. 1993). Podstawa czasu jest dzielona z powodu różnych odstępów między bodźcami warunkowymi a nagrodą. Przedruk z Schultz i in. (1995b) za zgodą MIT Press.

Nieprzewidywalność bodźców warunkowych

Aktywacje po uwarunkowanych bodźcach przewidujących nagrodę nie występują, gdy same bodźce są poprzedzone w ustalonym odstępie fazowymi bodźcami warunkowymi w całkowicie ustalonych sytuacjach behawioralnych. Tak więc w przypadku seryjnych bodźców warunkowych neurony dopaminowe są aktywowane przez najwcześniejszy bodziec przewidujący nagrodę, podczas gdy wszystkie bodźce i nagrody następujące po przewidywalnych chwilach później są nieskuteczne (ryc. 3) (Schultz i in. 1993). Tylko losowo rozmieszczone sekwencyjne bodźce wywołują indywidualne odpowiedzi. Rozległe przetrenowanie z wysoce stereotypowymi zadaniami osłabia reakcje na bodźce warunkowe, prawdopodobnie dlatego, że bodźce są przewidywane przez zdarzenia z poprzedniej próby (Ljungberg i in. 1992). Sugeruje to, że nieprzewidywalność bodźca jest powszechnym wymogiem dla wszystkich bodźców aktywujących neurony dopaminowe.

Depresja przez pominięcie przewidywanych bodźców warunkowych

Wstępne dane z poprzedniego eksperymentu (Schultz i in. 1993) sugerują, że neurony dopaminowe są również obniżone, gdy warunkowy bodziec przewidujący nagrodę jest przewidziany sam w ustalonym czasie przez poprzedni bodziec, ale nie występuje z powodu błędu zwierzęcia. Podobnie jak w przypadku nagród pierwotnych, depresje występują w czasie zwykłego występowania bodźca warunkowego, bez bezpośredniego wywołania przez poprzedni bodziec. Tak więc depresja wywołana pominięciem może być uogólniona na wszystkie zdarzenia apetyczne.

Depresja aktywacyjna z uogólnieniem odpowiedzi

Neurony dopaminowe reagują również na bodźce, które nie przewidują nagród, ale ściśle przypominają bodźce przewidujące nagrody występujące w tym samym kontekście. Odpowiedzi te składają się głównie z aktywacji, po której następuje natychmiastowa depresja, ale czasami mogą polegać na czystej aktywacji lub czystej depresji. Aktywacje są mniejsze i rzadsze niż te, które następują po bodźcach przewidujących nagrody, a depresje są obserwowane w 30 – 60% neuronów. Neurony dopaminowe reagują na bodźce wzrokowe, po których nie następuje nagroda, ale ściśle przypominają bodźce przewidujące nagrodę, pomimo prawidłowej dyskryminacji behawioralnej (Schultz i Romo 1990). Otwarcie pustego pudełka nie aktywuje neuronów dopaminowych, ale staje się skuteczne w każdej próbie, gdy tylko pudełko czasami zawiera żywność (Ljungberg i in. 1992; Schultz 1986; Schultz i Romo 1990) lub gdy sąsiadujące, identyczne pudełko zawierające zawsze żywność otwiera się losowo (Schultz i Romo 1990). Puste pudełko wywołuje słabsze aktywacje niż pudełko z przynętą. Zwierzęta wykonują masowe reakcje orientacji oka na każde pudełko, ale zbliżają się do pudełka przynęty ręką. Podczas nauki neurony dopaminowe nadal reagują na uprzednio uwarunkowane bodźce, które tracą przewidywanie nagrody, gdy zmieniają się przypadki nagrody (Schultz i in. 1993) lub reagować na nowe bodźce przypominające uprzednio uwarunkowane bodźce (Hollerman i Schultz 1996). Odpowiedzi pojawiają się nawet na bodźce awersyjne prezentowane losowo na przemian z fizycznie podobnymi, uwarunkowanymi bodźcami apetytywnymi o tej samej modalności sensorycznej, a reakcja awersyjna jest słabsza niż apetytowa (Mirenowicz i Schultz 1996). Odpowiedzi uogólniają nawet na behawioralnie wygaszone bodźce apetyczne. Najwyraźniej odpowiedzi neuronalne generalizują się na bodźce nieapetyczne z powodu ich fizycznego podobieństwa do bodźców apetycznych.

Nowatorskie odpowiedzi

Nowe bodźce wywołują aktywacje w neuronach dopaminy, po których często następuje depresja i utrzymują się tak długo, jak długo zachodzą reakcje orientacji behawioralnej (np. Sakkady oczne). Aktywacje ustępują wraz z reakcjami orientacyjnymi po kilku powtórzeniach bodźca, w zależności od fizycznego oddziaływania bodźców. Podczas gdy małe diody elektroluminescencyjne prawie nie wywołują nowatorskich odpowiedzi, błyski światła i szybkie wizualne i słuchowe otwieranie małego pudełka wywołują aktywacje, które stopniowo zanikają do poziomu podstawowego podczas <100 prób (Ljungberg i in. 1992). Głośne kliknięcia lub duże obrazy bezpośrednio przed zwierzęciem wywołują silne, nowatorskie odpowiedzi, które zanikają, ale nadal wywołują mierzalne aktywacje przy> 1,000 próbach (Hollerman i Schultz 1996; Horvitz i in. 1997; Steinfels i in. 1983). Postać 4 pokazuje schematycznie różne wielkości odpowiedzi z nowymi bodźcami o różnym znaczeniu fizycznym. Odpowiedzi zanikają stopniowo przy powtarzającym się narażeniu, ale mogą utrzymywać się przy zmniejszonych wielkościach z bardzo istotnymi bodźcami. Wielkości odpowiedzi zwiększają się ponownie, gdy te same bodźce są uwarunkowane apetytem. Natomiast reakcje na nowe, nawet duże bodźce gwałtownie ustępują, gdy bodźce są wykorzystywane do warunkowania czynnego unikania (Mirenowicz i Schultz 1996). Bardzo niewiele neuronów (<5%) reaguje w więcej niż kilku próbach na widoczne, ale fizycznie słabe bodźce, takie jak kruszenie się papieru lub rażące ruchy rąk eksperymentatora.

Rys.. 4. 

Przebiegi czasowe aktywacji neuronów dopaminowych do bodźców nowatorskich, alarmujących i warunkowych. Aktywacje po nowych bodźcach zmniejszają się z powtarzaną ekspozycją w kolejnych próbach. Ich wielkość zależy od fizycznego znaczenia bodźców, ponieważ silniejsze bodźce wywołują wyższe aktywacje, które czasami przekraczają te po bodźcach warunkowych. Szczególnie istotne bodźce nadal aktywują neurony dopaminowe z ograniczoną wielkością, nawet po utracie ich nowości bez połączenia z nagrodami pierwotnymi. Spójne aktywacje pojawiają się ponownie, gdy bodźce zostają powiązane z nagrodami pierwotnymi. Ten schemat został stworzony przez Jose Contreras-Vidal.

Jednorodny charakter odpowiedzi

Dotychczasowe eksperymenty wykazały, że większość neuronów w grupach komórek dopaminowych śródmózgowia A8, A9 i A10 wykazuje bardzo podobne aktywacje i depresje w danej sytuacji behawioralnej, podczas gdy pozostałe neurony dopaminowe w ogóle nie reagują. Występuje tendencja do wyższych frakcji neuronów odpowiadających w bardziej przyśrodkowych obszarach śródmózgowia, takich jak brzuszny obszar nakrywkowy i środkowa istota czarna, w porównaniu z większymi regionami bocznymi, które czasami osiągają istotność statystyczną (Schultz 1986; Schultz i in. 1993). Opóźnienia odpowiedzi (50–110 ms) i czas trwania (<200 ms) są podobne w przypadku nagród pierwotnych, bodźców warunkowych i nowych bodźców. Zatem odpowiedź dopaminowa stanowi stosunkowo jednorodny, skalarny sygnał populacji. Jego wielkość jest oceniana na podstawie reakcji poszczególnych neuronów i odsetka odpowiadających neuronów w populacji.

Podsumowanie 1: odpowiedzi adaptacyjne podczas epizodów uczenia się

Charakterystykę reakcji dopaminy na bodźce związane z nagrodami najlepiej ilustrują epizody uczenia się, podczas których nagrody są szczególnie ważne dla uzyskania odpowiedzi behawioralnych. Sygnał nagrody dopaminy podlega systematycznym zmianom podczas postępu uczenia się i zachodzi do najwcześniejszego bodźca związanego z nagrodą, będącego albo główną nagrodą, albo bodźcem przewidującym nagrodę (Ljungberg i in. 1992; Mirenowicz i Schultz 1994). Podczas uczenia się nowe, samoistnie neutralne bodźce przejściowo indukują reakcje, które wkrótce słabną i znikają (ryc. 4). Nagrody pierwotne występują nieprzewidywalnie podczas początkowego parowania z takimi bodźcami i wywołują aktywacje neuronalne. Przy powtarzanym parowaniu nagrody są przewidywane przez bodźce warunkowe. Aktywacje po nagrodzie zmniejszają się stopniowo i są przenoszone do warunkowego bodźca przewidującego nagrodę. Jeśli jednak przewidywana nagroda nie wystąpi z powodu błędu zwierzęcia, neurony dopaminowe są obniżane w momencie, gdy nagroda miałaby miejsce. Podczas wielokrotnego uczenia się zadań (Schultz i in. 1993) lub komponenty zadania (Hollerman i Schultz 1996), najwcześniej uwarunkowane bodźce aktywują neurony dopaminowe we wszystkich fazach uczenia się z powodu uogólnienia na wcześniej poznane, podobne bodźce, podczas gdy kolejne uwarunkowane bodźce i nagrody pierwotne aktywują neurony dopaminowe tylko przejściowo, gdy są niepewne i ustalane są nowe przygodności.

Podsumowanie 2: skuteczne bodźce dla neuronów dopaminowych

Odpowiedzi dopaminowe są wywoływane przez trzy kategorie bodźców. Pierwsza kategoria obejmuje nagrody podstawowe i bodźce, które stały się ważnymi predyktorami nagrody poprzez wielokrotne i warunkowe parowanie z nagrodami. Bodźce te tworzą wspólną klasę wyraźnych bodźców przewidujących nagrodę, ponieważ nagrody pierwotne służą jako predyktory efektów wegetatywnego nagradzania. Efektywne bodźce najwyraźniej mają komponent ostrzegawczy, ponieważ skuteczne są tylko bodźce z wyraźnym początkiem. Neurony dopaminowe wykazują czyste aktywacje po wyraźnych bodźcach przewidujących nagrodę i są obniżane, gdy przewidywana, ale pominięta nagroda nie występuje (ryc. 5, Top).

Rys.. 5. 

Schematyczne przedstawienie reakcji neuronów dopaminowych na typy bodźców warunkowych 2. Topy: prezentacja wyraźnego bodźca przewidującego nagrodę prowadzi do aktywacji po bodźcu, braku odpowiedzi na przewidywaną nagrodę i depresji, gdy przewidywana nagroda nie występuje. Dolny: prezentacja bodźca bardzo podobnego do warunkowego bodźca przewidującego nagrodę prowadzi do aktywacji, po której następuje depresja, aktywacja po nagrodzie i brak reakcji, gdy nie ma nagrody. Aktywacja po bodźcu prawdopodobnie odzwierciedla generalizację odpowiedzi z powodu podobieństwa fizycznego. Ten bodziec nie przewiduje wyraźnie nagrody, ale jest związany z nagrodą poprzez jej podobieństwo do bodźca przewidującego nagrodę. W porównaniu z wyraźnymi bodźcami przewidującymi nagrodę, aktywacje są niższe i często następują depresje, rozróżniając tym samym bodźce warunkowe nagradzane (CS +) i niewyleczone (CS−). Ten schemat podsumowuje wyniki poprzednich i bieżących eksperymentów (Hollerman i Schultz 1996; Ljungberg i in. 1992; Mirenowicz i Schultz 1996; Schultz i Romo 1990; Schultz i in. 1993; P. Waelti i W. Schultz, wyniki niepublikowane).

Druga kategoria obejmuje bodźce, które wywołują uogólnione odpowiedzi. Bodźce te nie przewidują wyraźnie nagród, ale są skuteczne ze względu na ich fizyczne podobieństwo do bodźców, które stały się jawnymi predyktorami nagrody poprzez warunkowanie. Bodźce te indukują aktywacje o mniejszej wielkości i angażują mniej neuronów, w porównaniu z wyraźnymi bodźcami przewidującymi nagrodę (ryc. 5, dolny). Po nich często następują natychmiastowe depresje. Podczas gdy początkowa aktywacja może stanowić uogólnioną reakcję apetyczną, która sygnalizuje możliwą nagrodę, późniejsza depresja może odzwierciedlać przewidywanie braku nagrody w ogólnym kontekście przewidywania nagrody i anulować błędne założenie nagrody. Brak wyraźnego przewidywania nagrody jest dalej sugerowany przez obecność aktywacji po pierwotnej nagrodzie i brak depresji bez nagrody. Wraz z odpowiedziami na bodźce przewidujące nagrodę wydaje się, że aktywacje dopaminy zgłaszają apetytowy „znacznik” przytwierdzony do bodźców związanych z nagrodami.

Trzecia kategoria obejmuje nowe lub szczególnie istotne bodźce, które niekoniecznie są związane z konkretnymi nagrodami. Poprzez wywoływanie behawioralnych reakcji orientacyjnych, bodźce te są alarmujące i wymagają uwagi. Mają jednak także motywujące funkcje i mogą być satysfakcjonujące (Fujita 1987). Nowe bodźce są potencjalnie apetyczne. Nowe lub szczególnie istotne bodźce wywołują aktywacje, po których często następują depresje, podobne do reakcji na bodźce uogólniające.

Zatem reakcje fazowe neuronów dopaminowych zgłaszają zdarzenia z pozytywnymi i potencjalnie pozytywnymi efektami motywującymi, takimi jak pierwotne nagrody, bodźce przewidujące nagrodę, zdarzenia przypominające nagrodę i bodźce alarmujące. Nie wykrywają jednak w znacznym stopniu zdarzeń o negatywnych efektach motywujących, takich jak bodźce awersyjne.

Podsumowanie 3: sygnał błędu przewidywania nagrody dopaminy

Odpowiedzi dopaminy na wyraźne zdarzenia związane z nagrodami można najlepiej konceptualizować i rozumieć w kategoriach formalnych teorii uczenia się. Neurony dopaminy zgłaszają nagrody w stosunku do ich przewidywań, a nie bezwarunkowo sygnalizują nagrody podstawowe (ryc. 2). Odpowiedź dopaminy jest dodatnia (aktywacja), gdy nagrody podstawowe występują bez przewidywania. Odpowiedź jest zerowa, gdy nagrody następują zgodnie z przewidywaniami. Odpowiedź jest negatywna (depresja), gdy przewidywane nagrody są pomijane. Zatem neurony dopaminowe zgłaszają pierwotne nagrody zgodnie z różnicą między zdarzeniem a przewidywaniem nagrody, którą można określić jako błąd w przewidywaniu nagrody (Schultz i in. 1995b, 1997) i jest wstępnie sformalizowany jako

DopamineResponse (Nagradzać)=RewardOccurred-Nagroda Przewidywana

Równanie 1 Ta sugestia może zostać rozszerzona na uwarunkowane zdarzenia apetyczne, które również są zgłaszane przez neurony dopaminowe w stosunku do przewidywania. Zatem neurony dopaminowe mogą zgłaszać błąd w przewidywaniu wszystkich zdarzeń apetycznych i Równ. 1 można podać w bardziej ogólnej formie

DopamineResponse (Zdarzenie)=ApEventOccurred-ApEventPredicted

Równanie 2To uogólnienie jest zgodne z ideą, że większość nagród faktycznie jest bodźcami warunkowymi. Dzięki kilku kolejnym, dobrze ustalonym zdarzeniom przewidującym nagrody, tylko pierwsze zdarzenie jest nieprzewidywalne i wywołuje aktywację dopaminy.

ŁĄCZNOŚĆ NEOPONÓW DOPAMINY

Pochodzenie odpowiedzi na dopaminę

Jakie wkłady anatomiczne mogą być odpowiedzialne za selektywność i wieloczynnikowy charakter reakcji dopaminy? Które działanie wejściowe może prowadzić do kodowania błędów prognozowania, wywołać adaptacyjny transfer odpowiedzi do najwcześniejszego nieprzewidzianego zdarzenia apetycznego i oszacować czas nagrody?

DORSAL I WENTRALNY STRIATUM.

Neurony GABAergiczne w striosomach (plamach) prążkowia projektują się w szeroko topograficzny i częściowo nakładający się, przenikający się sposób do neuronów dopaminowych w prawie całych pars compacta istoty czarnej, podczas gdy neurony znacznie większej macierzy prążkowia kontaktują się głównie z neuronami niedopaminowymi pars reticulata istoty czarnej, poza ich rzutem na gałkę bladą (Gerfen 1984; Hedreen i DeLong 1991; Holstein i in. 1986; Jimenez-Castellanos i Graybiel 1989; Selemon i Goldman-Rakic ​​1990; Smith i Bolam 1991). Neurony w prążkowiu brzusznym projektowane są w sposób nieopograficzny zarówno na pars compacta, jak i pars reticulata środkowej istoty czarnej i do brzusznego obszaru nakrywkowego (Berendse i in. 1992; Haber i in. 1990; Lynd-Balta i Haber 1994; Somogyi i in. 1981). GABAergiczna projekcja striatonigralna może wywierać dwa wyraźnie różne wpływy na neurony dopaminowe, bezpośrednie hamowanie i pośrednią aktywację (Grace i Bunney 1985; Smith i Grace 1992; Tepper i in. 1995). W tym ostatnim pośredniczy zahamowanie prążkowia neuronów pars reticulata i późniejsze zahamowanie GABAergiczne z miejscowych kolaterów aksonów neuronów wyjściowych pars retikulata na neurony dopaminowe. Stanowi to podwójne połączenie hamujące i powoduje aktywację netto neuronów dopaminowych przez prążkowie. Zatem striosomy i prążkowia brzuszne mogą hamować monosynaptycznie, a matryca może pośrednio aktywować neurony dopaminowe.

Grzbietowe i brzuszne neurony prążkowia wykazują szereg aktywacji, które mogą przyczyniać się do reakcji nagrody dopaminy, a mianowicie odpowiedzi na podstawowe nagrody (Apicella i in. 1991a; Williams i in. 1993), odpowiedzi na bodźce przewidujące nagrodę (Hollerman i in. 1994; Romo i in. 1992) i trwałe aktywacje podczas oczekiwania na bodźce przewidujące nagrodę i nagrody podstawowe (Apicella i in. 1992; Schultz i in. 1992). Jednak pozycje tych neuronów w stosunku do striosomów i macierzy są nieznane, a aktywacje prążkowia odzwierciedlające czas oczekiwanej nagrody nie zostały jeszcze zgłoszone.

Reakcje nagród wieloczynnikowych mogą być wynikiem ekstrakcji cech w obszarach stowarzyszenia korowego. Opóźnienia odpowiedzi 30 – 75 ms w pierwotnej i asocjacyjnej korze wzrokowej (Maunsell i Gibson 1992; Miller i in. 1993) może łączyć się z szybkim przewodzeniem do prążkowia i podwójnym hamowaniem istoty czarnej w celu wywołania krótkich opóźnień odpowiedzi dopaminowej <100 ms. Podczas gdy aktywność związana z nagrodą nie została opisana w tylnej korze asocjacyjnej, neurony w grzbietowo-bocznej i oczodołowej korze przedczołowej reagują na pierwotne nagrody i bodźce przewidujące nagrodę i wykazują trwałe aktywacje podczas oczekiwania na nagrodę (Rolls i in. 1996; Thorpe i in. 1983; Tremblay i Schultz 1995; Watanabe 1996). Niektóre reakcje nagrody w korze czołowej zależą od nieprzewidywalności nagrody (Matsumoto i in. 1995; L. Tremblay i W. Schultz, wyniki niepublikowane) lub odzwierciedlają błędy behawioralne lub pominięte nagrody (Niki i Watanabe 1979; Watanabe 1989). Wpływ korowy na neurony dopaminowe byłby nawet szybszy dzięki bezpośredniej projekcji, pochodzącej z kory przedczołowej u szczurów (Gariano i Groves 1988; Sesack i Pickel 1992; Tong i in. 1996) ale słaba u małp (Künzle 1978).

NUCLEUS PEDUNCULOPONTINUS.

Krótkie opóźnienia odpowiedzi nagrody mogą pochodzić z adaptacyjnych mechanizmów przetwarzania cech w pniu mózgu. Jądro pedunculopontinus jest ewolucyjnym prekursorem istoty czarnej. U kręgowców bez ssaków zawiera neurony dopaminowe i projekty do paleostriatum (Lohman i Van Woerden-Verkley 1978). U ssaków to jądro wysyła silne wpływy pobudzające, cholinergiczne i glutaminergiczne na dużą część neuronów dopaminowych z opóźnieniami ∼7 ms (Bolam i in. 1991; Clarke i in. 1987; Futami i in. 1995; Scarnati i in. 1986). Aktywacja projekcji szypułkowo-dopaminowej wywołuje zachowanie krążące (Niijima i Yoshida 1988), sugerując funkcjonalny wpływ na neurony dopaminowe.

MIGDAŁ.

Masywny, prawdopodobnie pobudzający wkład do neuronów dopaminowych powstaje z różnych jąder ciała migdałowatego (Gonzalez i Chesselet 1990; Price i Amaral 1981). Neurony Amygdala reagują na pierwotne nagrody i bodźce wzrokowe i słuchowe przewidujące nagrodę. Znane dotychczas odpowiedzi neuronalne są niezależne od nieprzewidywalności bodźców i nie rozróżniają dobrze między zdarzeniami apetycznymi i awersyjnymi (Nakamura i in. 1992; Nishijo i in. 1988). Większość odpowiedzi pokazuje opóźnienia 140 – 310 ms, które są dłuższe niż w neuronach dopaminowych, chociaż kilka odpowiedzi pojawia się w opóźnieniach 60 – 100 ms.

DORSAL RAPHÉ.

Monosynaptyczna projekcja z grzbietowego raphé (Corvaja i in. 1993; Nedergaard i in. 1988) ma depresyjny wpływ na neurony dopaminowe (Fibiger i in. 1977; Trent i Tepper 1991). Neurony Raphé wykazują aktywację krótkich latencji po intensywnych bodźcach środowiskowych (Heym i in. 1982), umożliwiając im udział w reakcjach dopaminowych po nowych lub szczególnie istotnych bodźcach.

SYNTEZA.

Kilka dobrze znanych struktur wejściowych jest najbardziej prawdopodobnymi kandydatami do pośredniczenia w odpowiedziach dopaminowych, chociaż mogą istnieć dodatkowe dane wejściowe. Aktywacje neuronów dopaminowych za pomocą pierwotnych nagród i bodźców przewidujących nagrodę mogą być pośredniczone przez podwójny hamujący, aktywujący siatkę sygnał wejściowy z macierzy prążkowia (dla uproszczonego diagramu patrz ryc. 6). Aktywacje mogą również wynikać z jądra szypułkowego lub ewentualnie z aktywności związanej z oczekiwaniem nagrody w neuronach jądra podwzgórza, przenoszących się na neurony dopaminowe (Hammond i in. 1983; Matsumura i in. 1992; Smith i in. 1990). Brak aktywacji z całkowicie przewidywanymi nagrodami może być wynikiem monosynaptycznego hamowania od striosomów, anulując jednocześnie aktywację wejścia macierzy. Depresje w czasie pominiętej nagrody mogą być pośredniczone przez wejścia hamujące z neuronów w prążkowiu prążkowia (Houk i in. 1995) lub globus pallidus (Haber i in. 1993; Hattori i in. 1975; Y. Smith i Bolam 1990, 1991). Zbieżność między różnymi danymi wejściowymi przed lub na poziomie neuronów dopaminowych może skutkować raczej złożonym kodowaniem błędów przewidywania nagrody i przeniesieniem odpowiedzi adaptacyjnej z nagród pierwotnych na bodźce przewidujące nagrodę.

Rys.. 6. 

Uproszczony schemat wejść do neuronów dopaminowych śródmózgowia potencjalnie pośredniczących w odpowiedziach dopaminowych. Ze względu na prostotę przedstawiono jedynie dane wejściowe od ogoniastego do istoty czarnej (SN) pars compacta i reticulata. Aktywacje mogą wynikać z podwójnego hamującego wpływu netto aktywacji neuronów macierzy GABAergicznej w jądrze ogoniastym i skorupie przez neurony GABAergiczne SN parsowate do neuronów dopaminowych SN pars compacta. W aktywacjach mogą także uczestniczyć pobudzające cholinergiczne lub zawierające aminokwasy projekcje z jądra pedunculopontinus. Depresje mogą być spowodowane monosynaptycznymi projekcjami GABAergicznymi ze striosomów (łat) w jądrze ogoniastym i skorupie do neuronów dopaminowych. Podobne prognozy istnieją od brzusznego prążkowia do neuronów dopaminowych w środkowej SN pars compacta i grupy A10 w brzusznym obszarze nakrywkowym i od prążkowia grzbietowego do grupowania A8 neuronów dopaminowych grzbietowo-bocznych do SN (Lynd-Balta i Haber 1994). Ciężkie koło reprezentuje neurony dopaminowe. Projekcje te reprezentują najbardziej prawdopodobne dane wejściowe leżące u podstaw reakcji dopaminowych, bez wykluczania danych wejściowych z globusu bladego i jądra podwodnego.

Fazowa dopamina wpływa na struktury docelowe

GLOBALNA NATURA SYGNAŁU DOPAMINY.

Rozbieżne prognozy. W każdej istocie czarnej szczurów występują neurony dopaminowe „8,000” (Oorschot 1996) i 80,000 – 116,000 u makaków (German i in. 1988; Percheron i in. 1989). Każde prążkowie zawiera million2.8 milionów neuronów u szczurów i 31 milionów u makaków, co powoduje nigrostriatalny współczynnik rozbieżności 300 – 400. Każdy akson dopaminy rozgałęzia się obficie w ograniczonym obszarze końcowym w prążkowiu i ma żylaki prążkowia N500,000, z których uwalniana jest dopamina (Andén i in. 1966). Powoduje to wejście dopaminy do prawie każdego neuronu prążkowia (Groves i in. 1995) i umiarkowanie topograficzna projekcja nigrostriatalna (Lynd-Balta i Haber 1994). Korowe unerwienie dopaminy u małp jest najwyższe na obszarach 4 i 6, jest nadal znaczące w płatach czołowych, ciemieniowych i skroniowych, i jest najniższe w płacie potylicznym (Berger i in. 1988; Williams i Goldman-Rakic ​​1993). Korowe synapsy dopaminy znajdują się głównie w warstwach I i V – VI, kontaktując się tam z dużą częścią neuronów korowych. Dane te, wraz z raczej jednorodną naturą odpowiedzi, sugerują, że odpowiedź dopaminowa postępuje jako jednoczesna, równoległa fala aktywności od śródmózgowia do prążkowia i kory czołowej (ryc. 7).

Rys.. 7. 

Globalny sygnał dopaminy w kierunku prążkowia i kory. Stosunkowo jednorodną odpowiedź populacji większości neuronów dopaminowych na bodźce apetyczne i ostrzegawcze oraz jej przejście z istoty czarnej do struktur postsynaptycznych można zobaczyć schematycznie jako falę synchronicznej, równoległej aktywności postępującej z prędkością 1 – 2 m / s (Schultz i Romo 1987) wzdłuż rozbieżnych projekcji od śródmózgowia do prążkowia (jądra ogoniastego i skorupy) i kory mózgowej. Odpowiedzi są jakościowo nie do odróżnienia między neuronami istoty czarnej (SN) pars compacta i brzusznym obszarem nakrywkowym (VTA). Unieruchomienie dopaminy wszystkich neuronów w prążkowiu i wielu neuronach w korze czołowej umożliwiłoby sygnałowi wzmocnienia dopaminy wywieranie raczej globalnego efektu. Fala została skompresowana, aby podkreślić równoległą naturę.

Uwalnianie dopaminy. Impulsy neuronów dopaminowych w odstępach 20 – 100 ms prowadzą do znacznie wyższego stężenia dopaminy w prążkowiu niż ta sama liczba impulsów w odstępach 200 ms (Garris i Wightman 1994; Gonon 1988). Ta nieliniowość wynika głównie z szybkiego nasycenia transportera wychwytu zwrotnego dopaminy, który usuwa uwolnioną dopaminę z regionu pozasynaptycznego (Chergui i in. 1994). Ten sam efekt obserwuje się w jądrze półleżącym (Wightman i Zimmerman 1990) i występuje nawet z dłuższymi przerwami impulsowymi z powodu rzadszych miejsc wychwytu zwrotnego (Garris i in. 1994b; Marshall i in. 1990; Stamford i in. 1988). Uwolnienie dopaminy po wyładowaniu impulsowym <300 ms jest zbyt krótkie, aby aktywować redukcję uwalniania za pośrednictwem autoreceptorów (Chergui i in. 1994) lub nawet wolniejsza degradacja enzymatyczna (Michael i in. 1985). Zatem pęknięcie odpowiedzi dopaminowej jest szczególnie skuteczne w uwalnianiu dopaminy.

Szacunki oparte na woltamperometrii in vivo sugerują, że pojedynczy impuls uwalnia cząsteczki dopaminy N1,000 w synapsach w prążkowiu i jądrze półleżącym. Prowadzi to do natychmiastowych synaptycznych stężeń dopaminy 0.5 – 3.0 μM (Garris i in. 1994a; Kawagoe i in. 1992). W 40 μs po rozpoczęciu uwalniania> 90% dopaminy opuściło synapsę, a część reszty jest później wydalana przez wychwyt zwrotny synaps (połowę czasu początku 30–37 ms). W 3–9 ms po rozpoczęciu uwalniania, stężenie dopaminy osiąga wartość szczytową ~ 250 nM, gdy wszystkie sąsiednie żylaki jednocześnie uwalniają dopaminę. Stężenia są jednorodne w obrębie kuli o średnicy 4 μm (Gonon 1997), która jest średnią odległością między żylakami (Doucet i in. 1986; Groves i in. 1995). Maksymalna dyfuzja jest ograniczona do 12 µm przez transporter wychwytu zwrotnego i osiągnięta w 75 ms po rozpoczęciu uwalniania (czas początku połowy transportera 30–37 ms). Stężenia byłyby nieco niższe i mniej jednorodne w regionach z mniejszą liczbą żylaków lub gdy <100% neuronów dopaminy jest aktywowanych, ale są dwa do trzech razy wyższe w przypadku wyładowań impulsowych. Zatem wywołane nagrodą, lekko synchroniczne, wybuchowe aktywacje w około 75% neuronów dopaminy mogą prowadzić do raczej jednorodnych pików stężeń rzędu 150–400 nM. Całkowity wzrost pozakomórkowej dopaminy trwa 200 ms po pojedynczym impulsie i 500–600 ms po wielu impulsach o odstępach 20–100 ms w czasie 100–200 ms (Chergui i in. 1994; Dugast i in. 1994). Pozasynaptyczny transporter wychwytu zwrotnego (Nirenberg i in. 1996) następnie sprowadza stężenia dopaminy z powrotem do wartości wyjściowych 5 – 10 nM (Herrera-Marschitz i in. 1996). Zatem, w przeciwieństwie do klasycznej, ściśle synaptycznej neurotransmisji, uwalniana synaptycznie dopamina dyfunduje szybko w bezpośrednim obszarze sąsiednim i osiąga krótkie piki regionalnych jednorodnych stężeń zewnątrzkomórkowych.

Receptory. Spośród dwóch głównych typów receptorów dopaminowych, receptory D1 aktywujące cyklazę adenylanową stanowią ∼80% receptorów dopaminy w prążkowiu. Spośród tych 80% jest w stanie niskiego powinowactwa 2 – 4 μM i 20% w stanie wysokiego powinowactwa 9 – 74 nM (Richfield i in. 1989). Pozostałe 20% receptorów dopaminowych prążkowia należą do typu D2 hamującego cyklazę adenylazową, z czego 10 – 0% znajduje się w stanie niskiego powinowactwa, a 80 – 90% w stanie wysokiego powinowactwa, z podobnym powinowactwem jak receptory D1. Zatem receptory D1 ogólnie mają N100 razy mniejsze powinowactwo niż receptory D2. Receptory prążkowia D1 są zlokalizowane głównie na neuronach wystających do wewnętrznej bladości i istoty czarnej siateczki siateczkowej, podczas gdy receptory prążkowia D2 są zlokalizowane głównie na neuronach wystających na zewnętrzną bladość (Bergson i in. 1995; Gerfen i in. 1990; Hersch i in. 1995; Levey i in. 1993). Jednak różnice w czułości receptora mogą nie odgrywać roli poza transdukcją sygnału, zmniejszając w ten sposób różnice w czułości dopaminy między dwoma typami neuronów wyjściowych prążkowia.

Dopamina jest uwalniana do 30 – 40% z synaptycznych i 60 – 70% z żylaków pozasynaptycznych (Descarries i in. 1996). Synaptycznie uwalniana dopamina działa na postsynaptyczne receptory dopaminy w czterech odrębnych anatomicznie miejscach w prążkowiu, a mianowicie wewnątrz synaps dopaminowych, bezpośrednio przylegających do synaps dopaminowych, wewnątrz synaps synchrotyczno-glutaminianowych oraz w miejscach pozasynaptycznych odległych od miejsc uwalniania (ryc. 8) (Levey i in. 1993; Sesack i in. 1994; Yung i in. 1995). Receptory D1 są zlokalizowane głównie poza synapsami dopaminowymi (Caillé i in. 1996). Wysokie przejściowe stężenia dopaminy po fazowych impulsach impulsowych aktywowałyby receptory D1 w bezpośrednim sąsiedztwie miejsc aktywnego uwalniania i aktywowały, a nawet nasycały receptory D2 wszędzie. Receptory D2 pozostałyby częściowo aktywowane, gdy otaczające stężenie dopaminy powróci do wartości wyjściowych po fazowych wzrostach.

Rys.. 8. 

Wpływ uwalniania dopaminy na typowe średnie neurony kolczaste w prążkowiu grzbietowym i brzusznym. Dopamina uwalniana przez impulsy z żylaków synaptycznych aktywuje kilka receptorów synaptycznych (prawdopodobnie typu D2 w stanie niskiego powinowactwa) i dyfunduje szybko z synapsy, aby dotrzeć do receptorów typu D1 o niskim powinowactwie (D1?), Które znajdują się w pobliżu, w synapsach kortykostriatalnych lub w ograniczonej odległości. Fazowo zwiększona dopamina aktywuje pobliskie receptory D2 o wysokim powinowactwie do nasycenia (D2?). Receptory D2 pozostają częściowo aktywowane przez otaczające stężenia dopaminy po fazowo zwiększonym uwalnianiu. Pozasynaptycznie uwalniana dopamina może zostać rozcieńczona przez dyfuzję i aktywować receptory D2 o wysokim powinowactwie. Należy zauważyć, że w przeciwieństwie do tego schematu, większość receptorów D1 i D2 znajduje się na różnych neuronach. Glutaminian uwalniany z końców kortykostriatalnych dociera do receptorów postsynaptycznych znajdujących się na tych samych kolcach dendrytycznych, co żylaki dopaminy. Glutaminian dociera również do presynaptycznych żylaków dopaminy, gdzie kontroluje uwalnianie dopaminy. Wpływ dopaminy na neurony kolczaste w korze czołowej jest porównywalny pod wieloma względami.

Podsumowanie. Obserwowana, umiarkowanie pękająca, krótkotrwała, niemal synchroniczna odpowiedź większości neuronów dopaminowych prowadzi do optymalnego, jednoczesnego uwalniania dopaminy z większości blisko rozmieszczonych żylaków prążkowia. Odpowiedź neuronalna indukuje krótki podmuch dopaminy, która jest uwalniana z miejsc pozasynaptycznych lub dyfunduje szybko z synaps do obszaru przeciwstawnego. Dopamina szybko osiąga regionalnie jednorodne stężenia, które mogą wpływać na dendryty prawdopodobnie wszystkich prążkowia i wielu neuronów korowych. W ten sposób komunikat nagrody w 60 – 80% neuronów dopaminowych jest transmitowany jako rozbieżny, raczej globalny sygnał wzmacniający do prążkowia, jądra półleżącego i kory czołowej, zapewniając wpływ fazowy na maksymalną liczbę synaps zaangażowanych w przetwarzanie bodźców i działań prowadzących do nagrody (ryc. 7). Dopamina uwalniana przez aktywacje neuronalne po bodźcach nagrody i przewidywania nagrody wpłynie na juxtasynaptyczne receptory D1 na neurony prążkowia wystające do wewnętrznej bladości i istoty czarnej retikulaty i wszystkie receptory D2 na neuronach wystających na zewnętrzną bladość. Zmniejszenie uwalniania dopaminy wywołane przez depresje z pominiętymi bodźcami nagradzającymi i przewidującymi nagrody zmniejszyłoby toniczną stymulację receptorów D2 przez otaczającą dopaminę. Zatem pozytywne błędy przewidywania nagrody miałyby wpływ na wszystkie typy neuronów wyjściowych prążkowia, podczas gdy błąd przewidywania ujemnego może w przeważającym stopniu wpływać na neurony wystające na bladość zewnętrzną.

Potencjalne mechanizmy kokainy. Blokada transportera wychwytu zwrotnego dopaminy za pomocą leków takich jak kokaina lub amfetamina zwiększa i przedłuża fazowe wzrosty stężeń dopaminy (Church et al. 1987a; Giros i in. 1996; Suaud-Chagny i in. 1995). Wzmocnienie byłoby szczególnie wyraźne, gdy gwałtowny wzrost stężenia dopaminy, wywołany przez impuls, osiągnął pik, zanim regulacja sprzężenia zwrotnego stanie się skuteczna. Mechanizm ten prowadziłby do znacznie wzmocnionego sygnału dopaminy po pierwotnych nagrodach i bodźcach przewidujących nagrodę. Zwiększyłoby to również nieco słabszy sygnał dopaminowy po bodźcach przypominających nagrody, nowe bodźce, a szczególnie istotne bodźce, które mogą być częste w życiu codziennym. Wzmocnienie przez kokainę pozwoliłoby tym niewymiernym bodźcom wydawać się silniejsze lub nawet silniejsze niż naturalne nagrody bez kokainy. Neurony postsynaptyczne mogą błędnie interpretować taki sygnał jako szczególnie istotne zdarzenie związane z nagrodą i ulegają długoterminowym zmianom w transmisji synaptycznej.

DZIAŁANIA MEMBRANOWE DOPAMINY.

Działania dopaminy na neurony prążkowia zależą od typu aktywowanego receptora, są związane ze stanami potencjałów błonowych depolaryzowanych i hiperpolaryzowanych i często obejmują receptory glutaminianowe. Aktywacja receptorów dopaminowych D1 zwiększa pobudzenie wywołane aktywacją N-metylo-d-asparaginianowe (NMDA) receptory po wejściach korowych przez L-typ Ca2+ kanały, gdy potencjał błony znajduje się w stanie zdepolaryzowanym (Cepeda i in. 1993, 1998; Hernandez-Lopez i in. 1997; Kawaguchi i in. 1989). Natomiast aktywacja D1 wydaje się zmniejszać wzbudzone wzbudzenia, gdy potencjał błonowy jest w stanie hiperpolaryzowanym (Hernandez-Lopez i in. 1997). Jonoforeza dopaminy in vivo i stymulacja aksonalna wywołują pobudzenia za pośrednictwem D1 trwające 100 – 500 ms poza uwalnianiem dopaminy (Gonon 1997; Williams i Millar 1991). Aktywacja receptorów dopaminowych D2 zmniejsza Na+ i Ca typu N2+ prądy i osłabiają wzbudzenia wywoływane przez aktywację receptorów NMDA lub α-amino-3-hydroksy-5-metylo-4-kwasu izoksazolepropionowego (AMPA) w dowolnym stanie błony (Cepeda i in. 1995; Yan i in. 1997). Na poziomie systemów dopamina wywiera efekt ogniskowania, dzięki czemu tylko najsilniejsze wejścia przechodzą przez prążkowie do zewnętrznej i wewnętrznej bladości, podczas gdy słabsza aktywność jest tracona (Brown i Arbuthnott 1983; Filion i in. 1988; Toan i Schultz 1985; Yim i Mogenson 1982). Tak więc dopamina uwalniana przez odpowiedź dopaminową może prowadzić do natychmiastowego ogólnego zmniejszenia aktywności prążkowia, chociaż za pośrednictwem receptorów D1 może pośredniczyć wpływ na pobudzenia wywołane przez korę. Poniższa dyskusja pokaże, że skutki neurotransmisji dopaminy nie mogą ograniczać się do zmian w polaryzacji błony.

TWORZENIE ZALEŻNE OD DOPAMINY.

Elektryczna stymulacja tężcowa korowych lub limbicznych wejść prążkowia i jądra półleżącego indukuje depresje postetaniczne trwające kilkadziesiąt minut w plastrach (Calabresi i in. 1992a; Lovinger i in. 1993; Pennartz et al. 1993; Walsh 1993; Wickens i in. 1996). Ta manipulacja zwiększa również pobudliwość końców korowo-prążkowanych (Garcia-Munoz i in. 1992). Potentaniczne wzmocnienie o podobnym czasie trwania obserwuje się w prążkowiu i jądrze półleżącym, gdy depolaryzacja postsynaptyczna jest ułatwiona przez usunięcie magnezu lub zastosowanie antagonistów kwasu γ-aminomasłowego (GABA) (Boeijinga i in. 1993; Calabresi i in. 1992b; Pennartz et al. 1993). Antagoniści receptora dopaminowego D1 lub D2 lub nokaut receptora D2 znoszą depresję kortykostriatalną poporodową (Calabresi i in. 1992a; Calabresi i in. 1997; Garcia-Munoz i in. 1992) ale nie wpływają na wzmocnienie w jądrze półleżącym (Pennartz et al. 1993). Zastosowanie dopaminy przywraca prążkowatą depresję poporodową w skrawkach od szczurów uszkodzonych dopaminą (Calabresi i in. 1992a), ale nie modyfikuje wzmocnienia postetanicznego (Pennartz et al. 1993). Krótkie impulsy dopaminy (5 – 20 ms) wywołują długotrwałe wzmocnienie w skrawkach prążkowia po jednoczesnym zastosowaniu stymulacji kortykostriatalnej tężcowej i depolaryzacji postsynaptycznej, zgodnie z zasadą uczenia się trzech czynników wzmacniających (Wickens i in. 1996).

Dalsze dowody na plastyczność synaptyczną związaną z dopaminą można znaleźć w innych strukturach mózgu lub różnymi metodami. W hipokampie nasilenie posttankowe zwiększa się dzięki zastosowaniu agonistów D1 w kąpieli (Otmakhova i Lisman 1996) i upośledzona przez blokadę receptora D1 i D2 (Frey i in. 1990). Zdarzenie warunkowe, ale nie wybuchające, niekonsekwentne lokalne zastosowania dopaminy i agonistów dopaminy zwiększają pękanie neuronów w skrawkach hipokampa (Stein i in. 1994). W siatkówce ryb aktywacja receptorów dopaminowych D2 indukuje ruchy fotoreceptorów w nabłonku pigmentowym lub poza nim (Rogawski 1987). Późniejsze wstrzyknięcia amfetaminy i agonistów dopaminy do jądra ogoniastego szczura poprawiają wydajność zadań pamięciowych (Packard i White 1991). Odnerwienia dopaminowe w prążkowiu zmniejszają liczbę kolców dendrytycznych (Arbuthnott i Ingham 1993; Anglade i in. 1996; Ingham i in. 1993), sugerując, że unerwienie dopaminy ma trwały wpływ na synapsy kortykostriatalne.

PRZETWARZANIE W STRIATALNYCH NEURONACH.

Szacowane końcówki korowe 10,000 i żylaki dopaminy 1,000 kontaktują się z kolcami dendrytycznymi każdego neuronu prążkowiaDoucet i in. 1986; Groves i in. 1995; Wilson 1995). Gęste unerwienie dopaminy staje się widoczne jako kosze przedstawiające poszczególne perikarya w paleostriatum gołębi (Wynne i Güntürkün 1995). Żylaki dopaminowe tworzą synapsy na tych samych kolcach dendrytycznych neuronów prążkowia, które stykają się z korowymi glutaminianowymi aferentami (ryc. 8) (Bouyer i in. 1984; Freund i in. 1984; Pickel i in. 1981; Smith i in. 1994), a niektóre receptory dopaminy znajdują się w synapsach kortykostriatalnych (Levey i in. 1993; Yung i in. 1995). Duża liczba wejść korowych do neuronów prążkowia, zbieżność między dopaminą i wejściami glutaminianu w grzbietach neuronów prążkowia i w dużej mierze jednorodny sygnał dopaminy docierający prawdopodobnie do wszystkich neuronów prążkowia są idealnymi substratami dla zależnych od dopaminy zmian synaptycznych w kolcach neuronów prążkowia . Może to również dotyczyć kory, w której kolce dendrytyczne stykają się z wejściami synaptycznymi zarówno z dopaminy, jak i neuronów korowych (Goldman-Rakic ​​i in. 1989), chociaż dopamina prawdopodobnie nie wpływa na każdy neuron korowy.

Zwoje podstawy są połączone otwartymi i zamkniętymi pętlami z korą i podkorowymi strukturami limbicznymi. Prążkowie otrzymuje w różnym stopniu wkład ze wszystkich obszarów korowych. Wyjścia zwojów podstawy są skierowane głównie w kierunku czołowych obszarów korowych, ale również docierają do płata skroniowego (Middleton i Strick 1996). Wiele wejść z funkcjonalnie niejednorodnych obszarów korowych do prążkowia jest zorganizowanych w segregowanych, równoległych kanałach, podobnie jak wyjścia z wewnętrznej bladości skierowane do różnych obszarów korowych silnika (Alexander i in. 1986; Hoover i Strick 1993). Jednak doprowadzające z funkcjonalnie powiązanych, ale anatomicznie różnych obszarów korowych mogą zbiegać się w neuronach prążkowia. Na przykład projekcje z somatotopowo powiązanych obszarów pierwotnego projektu somatosensorycznego i kory ruchowej do powszechnych regionów prążkowia (Flaherty i Graybiel 1993, 1994). Projekcje kortykostriatalne rozchodzą się w oddzielne „matrisomy” prążkowia i ponownie łączą się w bladość, zwiększając tym samym „powierzchnię” synaptyczną dla modulacyjnych interakcji i skojarzeń (Graybiel i in. 1994). Ten anatomiczny układ pozwoliłby sygnałowi dopaminy określić skuteczność wysoce ustrukturyzowanych, specyficznych dla zadania wkładów korowych do neuronów prążkowia i wywierać szeroki wpływ na ośrodki przodomózgowia zaangażowane w kontrolę działania behawioralnego.

KORZYSTANIE Z SYGNAŁU BŁĘDU DOPAMINE REWARD PREDICTION

Neurony dopaminowe wydają się zgłaszać apetyczne zdarzenia zgodnie z błędem przewidywania (Równania 1 i 2 ). Obecne teorie uczenia się i modele neuronalne pokazują kluczowe znaczenie błędów prognozowania dla uczenia się.

Teorie uczenia się

MODEL RESCORLA-WAGNER.

Teorie uczenia się behawioralnego formalizują nabywanie powiązań między dowolnymi bodźcami a pierwotnymi wydarzeniami motywującymi w klasycznych paradygmatach warunkowania. Bodźce zyskują siłę skojarzenia w kolejnych próbach, będąc wielokrotnie łączonym z głównym wydarzeniem motywującym

ΔV=αβ(λ-V)

Równanie 3 gdzie V jest obecną siłą asocjacyjną bodźca, λ jest maksymalną siłą asocjacyjną prawdopodobnie podtrzymywaną przez pierwotne zdarzenie motywujące, α i β są stałymi odzwierciedlającymi odpowiednio istotność bodźców warunkowych i nieuwarunkowanych, odpowiednio (Dickinson 1980; Mackintosh 1975; Pearce i Hall 1980; Rescorla i Wagner 1972). (Λ-V) termin wskazuje stopień, w jakim pierwotne zdarzenie motywujące występuje nieprzewidywalnie i stanowi błąd w przewidywaniu wzmocnienia. Określa szybkość uczenia się, ponieważ siła asocjacyjna wzrasta, gdy warunek błędu jest dodatni, a bodziec warunkowy nie przewiduje w pełni wzmocnienia. Gdy V = λ, bodziec warunkowy w pełni przewiduje wzmocnienie, i V nie będzie się dalej zwiększać. Zatem uczenie się ma miejsce tylko wtedy, gdy pierwotne zdarzenie motywujące nie jest w pełni przewidywane przez warunkowy bodziec. Interpretację tę sugeruje zjawisko blokowania, zgodnie z którym bodziec nie zyskuje siły asocjacyjnej, gdy jest prezentowany razem z innym bodźcem, który sam w pełni przewiduje wzmocnienie (Kamin 1969). (Λ-V) termin błędu staje się ujemny, gdy przewidywane wzmocnienie nie występuje, co prowadzi do utraty siły asocjacyjnej bodźca warunkowego (wygaszania). Należy zauważyć, że modele te używają terminu „wzmocnienie” w szerokim znaczeniu, zwiększając częstotliwość i intensywność określonego zachowania i nie odnosząc się do żadnego konkretnego typu uczenia się.

ZASADA DELTA.

Model Rescorla-Wagner odnosi się do ogólnej zasady uczenia się napędzanej błędami między pożądanym a rzeczywistym wyjściem, takimi jak procedura błędu najmniejszego średniego kwadratu (Kalman 1960; Widrow i Sterns 1985). Zasada ta została zastosowana do neuronowych modeli sieci w regule Delta, zgodnie z którymi wagi synaptyczne (ω) są regulowane przez

Δω=η(t-a)x

Równanie 4 gdzie t jest pożądane (docelowe) wyjście sieci, a jest rzeczywistym wyjściem, a η i x są odpowiednio szybkością uczenia się i aktywacją wejścia (Rumelhart i in. 1986; Widrow i Hoff 1960). Żądane wyjście (t) jest analogiczny do wyniku (λ), rzeczywistej wydajności (a) jest analogiczna do prognozy zmodyfikowanej podczas nauki (V) i termin błędu delta (δ = t - a) jest równoznaczne z błędnym określeniem wzmocnienia (λ-V) zasady Rescorla-Wagner (Równ. 3) (Sutton i Barto 1981).

Ogólna zależność od nieprzewidywalności wyniku wiąże się intuicyjnie z samą istotą uczenia się. Jeśli uczenie się wymaga zdobycia lub zmiany przewidywań wyniku, nie ma zmian w przewidywaniach, a zatem nie nastąpi uczenie się, gdy wynik jest doskonale przewidziany. Ogranicza to uczenie się do bodźców i reakcji behawioralnych, które prowadzą do zaskakujących lub zmienionych wyników, a zbędne bodźce poprzedzające wyniki już przewidziane przez inne zdarzenia nie są uczone. Oprócz roli, jaką odgrywają w uczeniu się, wzmacniacze mają drugą, wyraźnie inną funkcję. Po zakończeniu nauki w pełni przewidywane wzmacniacze są kluczowe dla zachowania wyuczonego zachowania i zapobiegania wyginięciu.

Wiele form uczenia się może obejmować zmniejszenie błędów prognozowania. W ogólnym sensie systemy te przetwarzają zdarzenie zewnętrzne, generują prognozy tego zdarzenia, obliczają błąd między zdarzeniem a jego przewidywaniem oraz modyfikują zarówno wydajność, jak i przewidywanie zgodnie z błędem przewidywania. To nie może ograniczać się do systemów uczenia się zajmujących się wzmacniaczami biologicznymi, ale dotyczy znacznie większej liczby operacji neuronalnych, takich jak rozpoznawanie wzrokowe w korze mózgowej (Rao i Ballard 1997).

Algorytmy zbrojenia

BEZWARUNKOWE ZBROJENIE.

Modele sieci neuronowych można szkolić za pomocą prostych sygnałów wzmacniających, które emitują sygnał niezależny od predykcji, gdy reakcja behawioralna jest prawidłowo wykonywana, ale brak sygnału z błędną reakcją. Nauka w tych w dużej mierze instrumentalnych modelach uczenia się polega na zmianie masy synaptycznej (ω) neuronów modelowych zgodnie z

Δω=ɛrxy

Równanie 5where ɛ to szybkość uczenia się, r jest wzmocnieniem i x i y są aktywacjami odpowiednio neuronów przed- i postsynaptycznych, zapewniając, że modyfikowane są tylko synapsy uczestniczące we wzmocnionym zachowaniu. Popularnym przykładem jest asocjacyjny model kary karnej (Barto i Anandan 1985). Modele te uzyskują odpowiedzi szkieletowe lub okulomotoryczne, uczą się sekwencji i wykonują test sortowania kart Wisconsin (Arbib i Dominey 1995; Dehaene i Changeux 1991; Dominey i in. 1995; Fagg i Arbib 1992). Jednostki przetwarzania w tych modelach uzyskują podobne właściwości jak neurony w korze skojarzeń ciemieniowych (Mazzoni i in. 1991).

Jednak utrzymywanie się sygnału nauczania po nauce wymaga dodatkowych algorytmów zapobiegających ucieczce mocy synaptycznych (Montague i Sejnowski 1994) i unikanie pozyskiwania zbędnych bodźców prezentowanych wraz z bodźcami przewidującymi wzmocnienie. Uprzednio wyuczone zachowanie trwa, gdy zmieniają się przypadki, ponieważ pominięte wzmocnienie nie wywołuje negatywnego sygnału. Szybkość uczenia się można zwiększyć, dodając zewnętrzne informacje od nauczyciela (Ballard 1997) oraz poprzez włączenie informacji o wynikach z przeszłości (McCallum 1995).

CZASOWE UCZENIE SIĘ RÓŻNICY.

W szczególnie skutecznej klasie algorytmów wzmacniania (Sutton 1988; Sutton i Barto 1981) wagi synaptyczne są modyfikowane zgodnie z błędem przewidywania wzmocnienia obliczonym w kolejnych krokach czasowych (t) w każdej próbie

rˆ(t)=r(t)+P(t)-P(t-l)

Równanie 6 gdzie r to wzmocnienie i P jest przewidywanie wzmocnienia. P (t) jest zwykle mnożony przez współczynnik dyskontowy γ, przy czym 0 ≤ γ <1, aby uwzględnić malejący wpływ coraz bardziej odległych nagród. Ze względu na prostotę γ jest tutaj ustawione na 1. W przypadku pojedynczego bodźca przewidującego pojedynczy wzmacniacz, przewidywanie P(t - 1) istnieje przed czasem t wzmocnienia, ale kończy się w momencie wzmocnienia [P (t) = 0]. Prowadzi to do skutecznego sygnału wzmocnienia w tym czasie (T) wzmocnienia

rˆ (t)=r(t)-P(t-l)

Równanie 6aW ramach projektu (t) termin wskazuje różnicę między rzeczywistym a przewidywanym wzmocnieniem. Podczas uczenia wzmocnienie nie jest całkowicie przewidywane, termin błędu jest dodatni, gdy zachodzi wzmocnienie, a wagi synaptyczne są zwiększone. Po nauce wzmocnienie jest w pełni przewidywane przez poprzedni bodziec [P(t - 1) = r(t)], termin błędu jest zerowy na prawidłowe zachowanie, a wagi synaptyczne pozostają niezmienione. Gdy zbrojenie zostanie pominięte z powodu nieodpowiedniej wydajności lub zmienionych okoliczności, błąd jest ujemny, a wagi synaptyczne są zmniejszone. The (t) termin jest analogiczny do (λ-V) termin błędu modelu Rescorla-Wagner (Równ. 4 ). Dotyczy to jednak poszczególnych kroków czasowych (t) w ramach każdej próby, a nie prognozy ewoluujące w kolejnych próbach. Te czasowe modele wzmocnienia wykorzystują fakt, że uzyskane prognozy obejmują dokładny czas wzmocnienia (Dickinson i in. 1976; Gallistel 1990; Smith 1968).

Algorytmy różnic czasowych (TD) wykorzystują również nabyte prognozy dla zmiany wag synaptycznych. W przypadku nieprzewidzianego, pojedynczego warunkowego bodźca przewidującego pojedyncze wzmocnienie, przewidywanie P (t) zaczyna się w czasie (t), nie ma wcześniejszej prognozy [P(t - 1) = 0], a wzmocnienie jeszcze nie nastąpiło [r(t) = 0]. Według Równ. 6, model emituje w tym czasie czysto predykcyjny skuteczny sygnał wzmacniający (t) prognozy

rˆ=P(t)

Równanie 6bW przypadku wielu kolejnych bodźców predykcyjnych, ponownie ze wzmocnieniem nieobecnym w czasie przewidywań, skuteczny sygnał wzmocnienia w tym czasie (T) prognozy odzwierciedla różnicę między bieżącą prognozą P (t) i poprzednia prognoza P(t - 1)

rˆ=P(t)-P(t-l)

Równanie 6cStanowi to termin błędu wzmocnienia wyższego rzędu. Podobnie jak w przypadku całkowicie przewidywanych wzmacniaczy, wszystkie bodźce predykcyjne, które są w pełni przewidywane same, są anulowane [P(t - 1) = P(t)], w wyniku czego = 0 w tamtych czasach (T) tych bodźców. Tylko najwcześniejszy bodziec prognostyczny przyczynia się do skutecznego sygnału wzmacniającego, jak ten bodziec P (t) nie przewiduje innego bodźca [P(t - 1) = 0]. Powoduje to to samo = P (t) wtedy (T) pierwszej prognozy, jak w przypadku pojedynczej prognozy (Równ. 6b).

Rys.. 9. 

Podstawowe architektury modeli sieci neuronowych wdrażających algorytmy różnic czasowych w porównaniu z łącznością zwojów podstawy mózgu. A: w pierwotnej implementacji skuteczny sygnał nauczania y - ȳ jest obliczany w neuronie modelowym A i wysyłane do presynaptycznych terminali wejść x do neuronu B, wpływając w ten sposób xB przetwarzanie i zmiana ciężarów synaptycznych w xB synapsa. Neuron B wpływa na wyjście behawioralne przez akson y a jednocześnie przyczynia się do adaptacyjnych właściwości neuronu A, mianowicie jego reakcja na bodźce przewidujące wzmocnienie. Nowsze implementacje tej prostej architektury wykorzystują neuron A zamiast neuronu B do emitowania wyjścia O modelu (Montague i in. 1996; Schultz i in. 1997). Przedruk z Sutton and Barto (1981) za zgodą American Psychological Association. B: ostatnia implementacja oddziela komponent nauczania A, zwany krytykiem (dobrze), z komponentu wyjściowego składającego się z kilku jednostek przetwarzania B, określany jako aktor (lewo). Efektywny sygnał wzmocnienia (t) jest obliczany przez odjęcie różnicy czasowej w ważonej prognozie wzmocnienia γP(t) - P(t - 1) ze zbrojenia podstawowego r(t) otrzymane ze środowiska (γ jest czynnikiem dyskontowym obniżającym wartość bardziej odległych wzmacniaczy). Przewidywanie wzmacniacza jest obliczane w oddzielnej jednostce predykcji C, który jest częścią krytyka i tworzy zamkniętą pętlę z elementem nauczania A, podczas gdy wzmocnienie pierwotne wchodzi do krytyka za pomocą oddzielnego wejścia rt. Efektywny sygnał wzmacniający wpływa na masę synaptyczną na wchodzących aksonach w aktorze, która pośredniczy w produkcji iw jednostce predykcyjnej adaptacyjnej krytyka. Przedruk z Barto (1995) za zgodą MIT Press. C: podstawowa łączność zwojów podstawy ujawnia uderzające podobieństwa z architekturą aktora-krytyka. Projekcja dopaminy emituje sygnał wzmacniający do prążkowia i jest porównywalna z jednostką A w częściach A i B, prążkowie limbiczne (lub łata prążkowia) zajmuje pozycję jednostki predykcji C w krytyku, a prążkowie (lub matryca) czuciowo-ruchowa przypomina jednostki aktorskie B. W oryginalnym modelu (ZA), pojedyncze duże odchylenie od ustalonej anatomii zwojów podstawy mózgu polega na wpływie neuronu A skierowane na końcówki presynaptyczne, podczas gdy synapsy dopaminy znajdują się na postsynaptycznych dendrytach neuronów prążkowia (Freund i in. 1984). Przedruk z Smith and Bolam (1990) za zgodą Elsevier Press.

Podsumowując, skuteczny sygnał wzmacniający (Równ. 6 ) składa się z pierwotnego wzmocnienia, które maleje wraz z pojawiającymi się prognozami (Równ. 6a) i jest stopniowo zastępowany przez nabyte prognozy (Równania 6b i 6c). Przy kolejnych bodźcach predykcyjnych skuteczny sygnał wzmacniający porusza się wstecz w czasie od pierwotnego wzmocnienia do najwcześniejszego bodźca przewidującego wzmocnienie. Przeniesienie wsteczne powoduje bardziej specyficzne przypisanie kredytu do zaangażowanych synaps, ponieważ prognozy występują bliżej czasu bodźców i reakcji behawioralnych, które mają być uwarunkowane, w porównaniu ze wzmocnieniem na końcu próby (Sutton i Barto 1981).

Wdrożenia algorytmów uczenia się ze wzmocnieniem wykorzystują błąd predykcji na dwa sposoby, do zmiany wag synaptycznych dla danych wyjściowych behawioralnych i do uzyskania samych prognoz, aby stale obliczać błąd predykcji (rys. 9 A) (McLaren 1989; Sutton i Barto 1981). Te dwie funkcje są rozdzielone w ostatnich implementacjach, w których błąd przewidywania jest obliczany w adaptacyjnym komponencie krytycznym i zmienia wagę synaptyczną w składniku czynnika pośredniczącym w wynikach behawioralnych (rys. 9 B) (Barto 1995). Dodatni błąd zwiększa przewidywanie wzmocnienia przez krytyka, podczas gdy ujemny błąd z pominiętego wzmocnienia zmniejsza przewidywanie. Sprawia to, że skuteczny sygnał wzmacniający jest wysoce adaptacyjny.

Neurobiologiczne implementacje uczenia się różnic czasowych

PORÓWNANIE ODPOWIEDZI DOPAMINY Z MODELAMI WZMACNIAJĄCYMI.

Odpowiedź dopaminy kodująca błąd w przewidywaniu nagrody (Równ. 1 ) ściśle przypomina skuteczny termin błędu zasad uczenia się zwierząt (λ-V; Równ. 4 ) i skuteczny sygnał wzmocnienia algorytmów TD w tym czasie (t) zbrojenia [r(t) - P(t - 1); Równ. 6a], jak wspomniano wcześniej (Montague i in. 1996). Podobnie błąd przewidywania zdarzeń apetycznych dopaminy (Równ. 2 ) przypomina wyższy błąd wzmocnienia TD [P(t) - P(t - 1); Równ. 6c]. Charakter rozległych, rozbieżnych projekcji neuronów dopaminowych do prawdopodobnie wszystkich neuronów w prążkowiu i wielu neuronach w korze czołowej jest zgodny z pojęciem globalnego sygnału wzmocnienia TD, który jest emitowany przez krytyka za wpływanie na wszystkie neurony modelowe w aktorze (porównaj rys. 7 z rys. 9 B). Architektura krytyka-aktora jest szczególnie atrakcyjna dla neurobiologii ze względu na oddzielne moduły nauczania i wydajności. W szczególności przypomina on ściśle połączenia zwojów podstawy mózgu, w tym wzajemność projekcji prążkowatych (ryc. 9 C), jak pierwszy raz zauważył Houk i in. (1995). Krytyk symuluje neurony dopaminowe, przewidywanie nagrody wchodzi w skład projekcji striosomalnych prążkowatych, a aktor przypomina neurony macierzy prążkowia z plastycznością zależną od dopaminy. Co ciekawe, zarówno odpowiedź na dopaminę, jak i teoretyczne terminy błędów zależą od znaku. Różnią się one od terminów błędu wartościami bezwzględnymi, które nie rozróżniają między pozyskiwaniem a wygaszaniem i powinny mieć głównie wpływ uwagi.

ZASTOSOWANIA DO PROBLEMÓW NEUROBIOLOGICZNYCH.

Chociaż pierwotnie opracowano je na podstawie modelu klasycznego warunkowania Rescorla-Wagnera, modele wykorzystujące algorytmy TD uczą się wielu różnorodnych zadań behawioralnych poprzez zasadniczo instrumentalne formy warunkowania. Zadania te sięgają od wyważenia słupa na kole wózka (Barto i in. 1983) do gry w światowej klasy backgammon (Tesauro 1994). Roboty wykorzystujące algorytmy TD uczą się poruszać po dwuwymiarowej przestrzeni i unikać przeszkód, docierać i chwytać (Fagg 1993) lub włóż kołek do otworu (Gullapalli i in. 1994). Użycie sygnału wzmocnienia TD do bezpośredniego wpływania i wyboru zachowania (Rys. 9 A), Modele TD replikują zachowania żerowania pszczół miodnych (Montague i in. 1995) i symulować podejmowanie decyzji przez ludzi (Montague i in. 1996). Modele TD z wyraźną architekturą krytyka-aktora stanowią bardzo potężne modele, które skutecznie uczą się ruchów oczu (Friston i in. 1994; Montague i in. 1993), ruchy sekwencyjne (rys. 10) i ukierunkowanie reakcji (Contreras-Vidal i Schultz 1996). Niedawny model dodał aktywizująco-depresyjne sygnały nowości w celu poprawy sygnału dydaktycznego, wykorzystał bodźce i ślady akcji u krytyka i aktora, a także zastosował zasady „zwycięzca bierze wszystko”, aby poprawić sygnał nauczania i wybrać neurony aktorskie o największej aktywacji. Powtórzyło to bardzo szczegółowo zarówno reakcje neuronów dopaminowych, jak i uczenie się zwierząt w zadaniach o opóźnionej odpowiedzi (Suri i Schultz 1996). Szczególnie interesujące jest to, że nauczanie sygnałów z wykorzystaniem błędów predykcji powoduje szybsze i pełniejsze uczenie się w porównaniu z bezwarunkowymi sygnałami wzmacniającymi (ryc. 10) (Friston i in. 1994).

Rys.. 10. 

Zalety predykcyjnych sygnałów wzmacniających do nauki. Model różnic czasowych z architekturą aktora krytycznego i śladem kwalifikowalności w aktorze został przeszkolony w sekwencyjnym zadaniu wyboru 2 step-3 (wstawiony górny lewy). Uczenie się postępowało szybciej i osiągało wyższą wydajność, gdy jako sygnał do nauczania wykorzystywany był predykcyjny sygnał wzmacniający (krytyk adaptacyjny, Top) w porównaniu z użyciem bezwarunkowego sygnału wzmacniającego na końcu procesu (dolny). Efekt ten staje się coraz wyraźniejszy przy dłuższych sekwencjach. Porównywalna wydajność z bezwarunkowym sygnałem wzmocnienia wymagałaby znacznie dłuższego śladu kwalifikowalności. Dane uzyskano z symulacji 10 (R. Suri i W. Schultz, niepublikowane obserwacje). Podobną poprawę w uczeniu się ze wzmocnieniem predykcyjnym stwierdzono w modelu zachowania okulomotorycznego (Friston i in. 1994).

Możliwe mechanizmy uczenia się przy użyciu sygnału dopaminy

W poprzedniej części wykazano, że formalny sygnał błędu prognozowania emitowany przez odpowiedź dopaminową może stanowić szczególnie odpowiedni sygnał do uczenia modelu. Poniższe sekcje opisują, w jaki sposób biologiczna odpowiedź na dopaminę może być potencjalnie wykorzystana do uczenia się przez struktury zwojów podstawy mózgu i sugerować możliwe do przetestowania hipotezy.

POSTSYNAPTYCZNA PLASTIKA PIELĘGNOWANA SYGNAŁEM NAGRODY PREDYKCYJNEJ.

Nauka przebiegałaby w dwóch etapach. Pierwszy krok polega na uzyskaniu odpowiedzi przewidującej nagrodę dopaminy. W kolejnych próbach predykcyjny sygnał dopaminowy wzmacniałby specyficznie synaptyczne masy (ω) synaps synapsych typu hebrajskiego, które są aktywne w czasie bodźca przewidującego nagrodę, podczas gdy nieaktywne synapsy kortykostriatalne pozostają niezmienione. Powoduje to regułę uczenia się trzech czynników

Δω=ɛ rˆ i o

Równanie 8 gdzie jest sygnał wzmocnienia dopaminy, i jest działaniem wejściowym, o jest aktywnością wyjściową, a ɛ jest szybkością uczenia się.

W uproszczonym modelu cztery wejścia korowe (i1 – i4) kontaktują się z kolcami dendrytycznymi trzech średnich kolczastych neuronów prążkowia (o1 – o3; ryc. 11). Wejścia korowe zbiegają się w neuronach prążkowia, każde wejście styka się z innym kręgosłupem. Te same kolce są nieselektywnie kontaktowane przez wspólne wejście dopaminy R. Aktywacja wejścia dopaminy R wskazuje, że nieprzewidziany bodziec przewidywania nagrody pojawił się w środowisku, bez dostarczania dalszych szczegółów (sygnał dobroci). Załóżmy, że wejście korowe i2 jest aktywowane jednocześnie z neuronami dopaminowymi i koduje jeden z kilku specyficznych parametrów tego samego bodźca przewidującego nagrodę, takich jak jego modalność sensoryczna, strona ciała, kolor, tekstura i pozycja lub określony parametr ruchu wywołany przez bodziec. Zestaw parametrów tego zdarzenia byłby kodowany przez zestaw wejść korowych i2. Wejścia korowe i1, i3 i i4 niezwiązane z bieżącymi bodźcami i ruchami są nieaktywne. Odpowiedź dopaminy prowadzi do nieselektywnego uwalniania dopaminy przy wszystkich żylakach, ale selektywnie wzmacnia tylko aktywne synapsy kortykostriatalne i2 – o1 i i2 – o2, pod warunkiem, że wejścia korowe są wystarczająco silne, aby aktywować neurony prążkowia O1 i O2.

Rys.. 11. 

Różnicowe wpływy globalnego sygnału wzmocnienia dopaminy na selektywną aktywność kortykostriatalną. Kolce dendrytyczne średniej wielkości kolczastych neuronów prążkowia 3, o1, o2 i o3 są kontaktowane przez wejścia korowe 4 i1, i2, i3 i i4 oraz przez żylaki aksonalne od pojedynczego neuronu dopaminowego R (lub z populacji homogenicznie aktywowanych neuronów dopaminowych ). Każdy neuron prążkowia otrzymuje wejścia dopaminy ∼10,000 korowej i 1,000. W pojedynczych kolcach dendrytycznych różne wejścia korowe zbiegają się z wejściem dopaminy. W wersji modelu 1 sygnał dopaminy wzmacnia jednocześnie aktywną transmisję kortykostriatalną w stosunku do transmisji nieaktywnej. Na przykład wejście dopaminy R jest aktywne w tym samym czasie, co wejście korowe i2, podczas gdy i1, i3, i4 są nieaktywne. Prowadzi to do modyfikacji transmisji i2 → o1 i i2 → o2, ale pozostawia niezmienione transmisje i1 → o1, i3 → o2, i3 → o3 i i4 → o3. W wersji modelu wykorzystującej plastyczność, synaptyczne masy synapsy kortykostriatalnej są długoterminowo modyfikowane przez sygnał dopaminy zgodnie z tą samą regułą. Może to nastąpić, gdy reakcje dopaminy na warunkowy bodziec działają na synapsy kortykostriatalne, które również są aktywowane przez ten bodziec. W innej wersji wykorzystującej plastyczność odpowiedzi dopaminy na pierwotną nagrodę mogą działać wstecz w czasie na synapsy kortykostriatalne, które były wcześniej aktywne. Synapsy te zostałyby zakwalifikowane do modyfikacji przez hipotetyczny postsynaptyczny ślad neuronowy pozostały z tej aktywności. Porównując strukturę zwojów podstawy z najnowszym modelem TD z ryc. 9 B, wejście dopaminy R replikuje krytyka z neuronem A, prążkowie z neuronami O1 – o3 replikuje aktora z neuronem B, wejścia korowe i1 – i4 odtwarzają dane wejściowe aktora, a rozbieżna projekcja neuronów dopaminowych R na wielu kolcach wielu neuronów prążkowia o1 – o3 odtwarza globalny wpływ krytyka na aktora. Podobne porównanie dokonał Houk i in. (1995). Ten rysunek jest oparty na danych anatomicznych wg Freund i in. (1984), Smith and Bolam (1990), Flaherty i Graybiel (1993), Smith i in. (1994).

Ten mechanizm uczenia wykorzystuje nabytą odpowiedź dopaminową w czasie bodźca przewidującego nagrodę jako sygnał do indukowania długotrwałych zmian synaptycznych (ryc. 12 A). Nauka bodźca predykcyjnego lub ruchu wywołanego jest oparta na wykazanym nabyciu odpowiedzi dopaminy na bodziec przewidujący nagrodę, wraz z plastycznością zależną od dopaminy w prążkowiu. Zmiany plastyczności mogą występować alternatywnie w strukturach korowych lub podkorowych poniżej prążkowia po krótkoterminowym wzmocnieniu transmisji synaptycznej w prążkowiu za pośrednictwem dopaminy. Retroaktywny wpływ nagród na bodźce i ruchy poprzedzające nagrodę pośredniczy w przekazywaniu odpowiedzi do najwcześniejszego bodźca przewidującego nagrodę. Odpowiedź na dopaminę na przewidywaną lub pominiętą nagrodę pierwotną nie jest wykorzystywana do zmian plastyczności w prążkowiu, ponieważ nie występuje jednocześnie ze zdarzeniami, które mają być uwarunkowane, chociaż może być zaangażowana w obliczanie odpowiedzi dopaminy na bodziec przewidujący nagrodę analogicznie do architektura i mechanizm modeli TD.

Rys.. 12. 

Wpływ sygnału wzmocnienia dopaminy na możliwe mechanizmy uczenia się w prążkowiu. A: predykcyjna odpowiedź nagrody dopaminowej na bodziec warunkowy (CS) ma bezpośredni efekt wzmacniający lub plastyczny na neurotransmisję prążkowia związaną z tym bodźcem. B: odpowiedź dopaminy na pierwotną nagrodę ma wsteczny efekt plastyczności na neurotransmisję prążkowia związaną z poprzedzającym bodźcem warunkowym. Mechanizm ten jest mediowany przez ślad kwalifikowalności przewyższający aktywność prążkowia. Stałe strzałki wskazują bezpośredni wpływ sygnału dopaminy na neurotransmisję prążkowia () lub ślad kwalifikowalności (B), mała strzałka w B wskazuje pośredni wpływ na neurotransmisję prążkowia poprzez ślad kwalifikowalności.

POSTSYNAPTYCZNA RAZEM TWORZYW SZTUCZNYCH Z SYNAPTYCZNYM ŚLEDZENIEM.

Nauka może wystąpić w jednym kroku, jeśli sygnał nagrody dopaminy działa wstecz na synapsy prążkowia. Wymaga to hipotetycznych śladów aktywności synaptycznej, które trwają do momentu wzmocnienia i sprawiają, że synapsy te mogą zostać zmodyfikowane przez sygnał nauczania, który był aktywny przed wzmocnieniem (Hull 1943; Klopf 1982; Sutton i Barto 19811). Wagi synaptyczne (ω) są zmieniane zgodnie z

Δω=ɛ rˆ h (i,o)

Równanie 9 gdzie jest sygnał wzmocnienia dopaminy, h (i, o) jest śladem kwalifikowalności połączonej aktywności wejścia i wyjścia, a ɛ jest szybkością uczenia się. Potencjalne substraty fizjologiczne śladów kwalifikowalności polegają na długotrwałych zmianach stężenia wapnia (Wickens i Kötter 1995), tworzenie zależnej od kalmoduliny kinazy białkowej II (Houk i in. 1995) lub trwałej aktywności neuronalnej często występującej w prążkowiu (Schultz i in. 1995a) i kora.

Plastyczność zależna od dopaminy, obejmująca ślady kwalifikowalności, stanowi elegancki mechanizm do uczenia się sekwencji wstecz w czasie (Sutton i Barto 1981). Na początek odpowiedź dopaminowa na nieprzewidzianą pierwotną nagrodę pośredniczy w behawioralnym uczeniu się bezpośrednio poprzedzającego zdarzenia poprzez modyfikację skuteczności synaptycznej kortykostriatalnej (ryc. 11). Jednocześnie reakcja dopaminy przenosi się do zdarzenia przewidującego nagrodę. Depresja w czasie pominiętej nagrody uniemożliwia poznanie błędnych reakcji. W następnym etapie odpowiedź dopaminy na nieprzewidziane zdarzenie przewidujące nagrodę pośredniczy w uczeniu się bezpośrednio poprzedzającego zdarzenia predykcyjnego, a odpowiedź na dopaminę również przenosi się z powrotem na to zdarzenie. Ponieważ dzieje się to wielokrotnie, reakcja dopaminy przesuwa się wstecz w czasie, aż nie wystąpią żadne dalsze zdarzenia, pozwalając na każdym etapie poprzedzające zdarzenie uzyskać prognozę nagrody. Ten mechanizm byłby idealnie dostosowany do tworzenia sekwencji behawioralnych prowadzących do ostatecznej nagrody.

Ten mechanizm uczenia w pełni wykorzystuje błąd dopaminy w przewidywaniu zdarzeń apetycznych jako retroaktywny sygnał uczący indukujący długotrwałe zmiany synaptyczne (ryc. 12 B). Wykorzystuje plastyczność zależną od dopaminy wraz ze śladami eliptyczności prążkowia, których przydatność biologiczna do nauki pozostaje do zbadania. Powoduje to bezpośrednie uczenie się przez wynik, zasadniczo zgodne z wpływem sygnału nauczania na aktora modeli TD. Pokazany wsteczny ruch odpowiedzi dopaminy jest wykorzystywany do uczenia się wcześniejszych i wcześniejszych bodźców.

ALTERNATYWNY MECHANIZM: WPŁYW ZAPALENIA SYGNAŁU PRZEWIDYWALNEGO DOPAMINY.

Oba opisane powyżej mechanizmy wykorzystują odpowiedź dopaminową jako sygnał dydaktyczny do modyfikacji neurotransmisji w prążkowiu. Ponieważ wkład zależnej od dopaminy plastyczności prążkowia do uczenia się nie jest całkowicie zrozumiały, inny mechanizm może opierać się na wykazanej plastyczności odpowiedzi dopaminy bez konieczności plastyczności prążkowia. W pierwszym etapie neurony dopaminowe uzyskują odpowiedzi na bodźce przewidujące nagrodę. W kolejnym etapie odpowiedzi predykcyjne mogą być wykorzystane do zwiększenia wpływu wejść korowych, które występują jednocześnie w tych samych kolcach dendrytycznych neuronów prążkowia. Aktywność postsynaptyczna zmieniałaby się zgodnie z

Δdziałalność=δrˆ i

Równanie 10 gdzie jest sygnał wzmocnienia dopaminy, i jest aktywnością wejściową, a δ jest stałą wzmocnienia. Przewidująca odpowiedź na dopaminę, zamiast stanowić sygnał dydaktyczny, stanowi sygnał wzmacniający lub motywujący dla neurotransmisji prążkowia w czasie bodźca przewidującego nagrodę. W przypadku współzawodniczących bodźców, wejścia neuronalne występujące jednocześnie z przewidującym nagrodę sygnałem dopaminowym byłyby przetwarzane preferencyjnie. Reakcje behawioralne skorzystałyby na wcześniejszych informacjach i stawały się częstsze, szybsze i bardziej precyzyjne. Ułatwiający wpływ informacji z wyprzedzeniem jest wykazany w eksperymentach behawioralnych poprzez sparowanie bodźca warunkowego z naciśnięciem dźwigniLovibond 1983).

Możliwy mechanizm może wykorzystywać efekt ogniskowania dopaminy. W uproszczonym modelu Ryc. 11, dopamina globalnie redukuje wszystkie wpływy korowe. Pozwala to tylko najsilniejszym wejściom przejść do neuronów prążkowia, podczas gdy inne, słabsze wejścia stają się nieskuteczne. Wymaga to nieliniowego mechanizmu zwiększającego kontrast, takiego jak próg generowania potencjałów czynności. Porównywalne wzmocnienie najsilniejszych wejść może wystąpić w neuronach, które byłyby głównie wzbudzane przez dopaminę.

Mechanizm ten wykorzystuje nabytą, przewidującą nagrodę odpowiedź dopaminową jako sygnał odchylający lub selekcyjny wpływający na przetwarzanie postsynaptyczne (ryc. 12 A). Poprawiona wydajność opiera się całkowicie na wykazanej plastyczności odpowiedzi dopaminy i nie wymaga plastyczności zależnej od dopaminy w neuronach prążkowia. Odpowiedzi na nieprzewidziane lub pominięte nagrody pojawiają się zbyt późno, aby wpłynąć na przetwarzanie prążkowia, ale mogą pomóc w obliczeniu predykcyjnej odpowiedzi dopaminowej analogicznie do modeli TD.

Elektryczna stymulacja neuronów dopaminowych jako bodźca bezwarunkowego

Elektryczna stymulacja ograniczonych obszarów mózgu niezawodnie służy jako wzmocnienie dla zdobywania i podtrzymywania zachowania podejścia (Olds i Milner 1954). Niektóre bardzo skuteczne miejsca autostymulacji pokrywają się z ciałami komórek dopaminy i wiązkami aksonów w śródmózgowiu (Corbett i Wise 1980), jądro półleżące (Phillips i in. 1975), prążkowie (Phillips i in. 1976) i kora przedczołowa (Mora i Myers 1977; Phillips i in. 1979), ale także w strukturach niezwiązanych z układami dopaminy (Biały i Milner 1992). Elektryczna autostymulacja obejmuje aktywację neuronów dopaminowych (Fibiger i Phillips 1986; Wise and Rompré 1989) i jest zredukowany przez wywołane przez 6-hydroksydopaminę uszkodzenia aksonów dopaminy (Fibiger i in. 1987; Phillips i Fibiger 1978), hamowanie syntezy dopaminy (Edmonds i Gallistel 1977), inaktywacja depolaryzacji neuronów dopaminowych (Rompré i Wise 1989) i antagoniści receptora dopaminy podawani ogólnoustrojowo (Furiezos i Wise 1976) lub w jądro półleżące (Mogenson i in. 1979). Samostymulacja jest ułatwiona przez indukowany kokainą lub amfetaminą wzrost pozakomórkowej dopaminy (Colle i Wise 1980; Stein 1964; Wauquier 1976). Samostymulacja bezpośrednio zwiększa wykorzystanie dopaminy w jądrze półleżącym, prążkowiu i korze czołowej (Fibiger i in. 1987; Mora i Myers 1977).

Intrygujące jest wyobrażenie sobie, że elektrycznie wywołane impulsy dopaminowe i uwalnianie mogą służyć jako bezwarunkowy bodziec w uczeniu asocjacyjnym, podobnie jak stymulacja neuronów oktopaminowych u pszczół miodnych, ucząc się odruchu trądzikowego (Młotek 1993). Jednak samostymulacja związana z dopaminą różni się co najmniej trzema ważnymi aspektami od naturalnej aktywacji neuronów dopaminowych. Zamiast tylko aktywować neurony dopaminowe, naturalne nagrody zazwyczaj aktywują równolegle kilka systemów neuronalnych i umożliwiają rozproszone kodowanie różnych składników nagrody (patrz dalszy tekst). Po drugie, stymulacja elektryczna jest stosowana jako wzmocnienie bezwarunkowe bez odzwierciedlenia błędu w przewidywaniu nagrody. Po trzecie, stymulacja elektryczna jest dostarczana tylko jako nagroda po reakcji behawioralnej, a nie w czasie bodźca przewidującego nagrodę. Interesujące byłoby zastosowanie samo-stymulacji elektrycznej dokładnie w taki sam sposób, w jaki neurony dopaminowe emitują swój sygnał.

Deficyty uczenia się z zaburzeniami neurotransmisji dopaminy

W wielu badaniach badano zachowanie zwierząt z zaburzoną neurotransmisją dopaminy po miejscowym lub ogólnoustrojowym zastosowaniu antagonistów receptora dopaminy lub zniszczenie aksonów dopaminy w brzusznym śródmózgowiu, jądrze półleżącym lub prążkowiu. Oprócz obserwacji deficytów ruchowych i poznawczych przypominających parkinsonizm, badania te ujawniły upośledzenie w przetwarzaniu informacji o nagrodach. Najwcześniejsze badania argumentowały za brakiem subiektywnego, hedonicznego postrzegania nagród (Wise 1982; Wise i in. 1978). Dalsze eksperymenty ujawniły upośledzone korzystanie z pierwotnych nagród i warunkowych bodźców apetycznych do podejścia i zachowania konsumpcyjnego (Beninger i in. 1987; Ettenberg 1989; Miller i in. 1990; Salamone 1987; Ungerstedt 1971; Wise i Colle 1984; Wise and Rompre 1989). Wiele badań opisywało upośledzenie procesów motywacyjnych i uwagowych leżących u podstaw uczenia się apetycznego (Beninger 1983, 1989; Beninger i Hahn 1983; Fibiger i Phillips 1986; LeMoal i Simon 1991; Robbins i Everitt 1992, 1996; Biały i Milner 1992; Wise 1982). Większość zaburzeń uczenia się jest związana z upośledzoną neurotransmisją dopaminy w jądrze półleżącym, podczas gdy zaburzenia prążkowia grzbietowego prowadzą do deficytów sensomotorycznych (Amalric i Koob 1987; Robbins i Everitt 1992; Biały 1989). Jednak nauka o instrumentalnych zadaniach w ogólności i szczególnie dyskryminacyjnych właściwościach bodźców wydaje się być często oszczędzana, i nie do końca jest rozstrzygnięte, czy niektóre z widocznych deficytów uczenia się mogą być zakłócane przez deficyty sprawności ruchowej (Salamone 1992).

Degeneracja neuronów dopaminowych w chorobie Parkinsona prowadzi również do wielu deklaratywnych i proceduralnych deficytów uczenia się, w tym uczenia asocjacyjnego (Linden i in. 1990; Sprengelmeyer i in. 1995). Deficyty występują w procesie prób i błędów z natychmiastowym wzmocnieniem (Vriezen i Moscovitch 1990) i kojarząc wyraźne bodźce z różnymi wynikami (Knowlton i in. 1996), nawet we wczesnych stadiach choroby Parkinsona bez atrofii kory (Canavan i in. 1989). Pacjenci cierpiący na chorobę Parkinsona wykazują również zaburzenia percepcji czasu (Pastor i in. 1992). Wszystkie te deficyty występują w obecności leczenia L-Dopa, które przywraca toniczne poziomy dopaminy w prążkowiu bez przywracania fazowych sygnałów dopaminy.

Badania te sugerują, że neurotransmisja dopaminy odgrywa ważną rolę w przetwarzaniu nagród za zachowanie podejścia oraz w formach uczenia się obejmujących związki między bodźcami a nagrodami, podczas gdy zaangażowanie w bardziej instrumentalne formy uczenia się może być kwestionowane. Nie jest jasne, czy deficyty te odzwierciedlają bardziej ogólną inaktywację behawioralną z powodu tonicznie zmniejszonej stymulacji receptora dopaminy, a nie braku fazowego sygnału nagrody dopaminy. Aby rozwiązać to pytanie, a także bardziej szczegółowo wyjaśnić rolę dopaminy w różnych formach uczenia się, pomocne byłoby zbadanie uczenia się w sytuacjach, w których fazowa reakcja dopaminy na bodźce apetytywne rzeczywiście występuje.

Formy uczenia się, w których prawdopodobnie pośredniczy sygnał dopaminy

Charakterystyka reakcji dopaminowych i potencjalny wpływ dopaminy na neurony prążkowia mogą pomóc w nakreśleniu niektórych form uczenia się, w które mogą być zaangażowane neurony dopaminowe. Preferencyjne reakcje na zdarzenia apetyczne, a nie na awersyjne, sprzyjałyby zaangażowaniu w uczenie się zachowania podejścia i pośredniczeniu w pozytywnych efektach wzmacniających, a nie wycofywaniu się i karaniu. Reakcje na nagrody podstawowe poza zadaniami i kontekstami uczenia się pozwoliłyby neuronom dopaminowym odgrywać rolę w stosunkowo szerokim spektrum uczenia się, obejmującego nagrody podstawowe, zarówno w warunkowaniu klasycznym, jak i instrumentalnym. Odpowiedzi na bodźce przewidujące nagrodę odzwierciedlają skojarzenia z bodźcami i byłyby zgodne z oczekiwaniem na nagrodę leżącym u podstaw ogólnego uczenia się motywacyjnego (Bindra 1968). Natomiast reakcje dopaminowe nie kodują bezpośrednio nagród jako obiektów celu, ponieważ raportują tylko błędy w przewidywaniu nagrody. Wydają się również być niewrażliwi na stany motywacyjne, tym samym nie zgadzając się na szczególną rolę w zależnym od państwa uczeniu się zachowań ukierunkowanych na cel (Dickinson i Balleine 1994). Brak wyraźnych powiązań z ruchami ramion i oczu byłby niekorzystny dla roli pośrednika bezpośrednio w reakcjach behawioralnych, które podążają za bodźcami motywacyjnymi. Jednak porównania między zrzutami poszczególnych neuronów a uczeniem się całych organizmów są z natury trudne. Na poziomie synaptycznym uwolniona fazowo dopamina dociera do wielu dendrytów na prawdopodobnie każdym neuronie prążkowia, a zatem może wywierać wpływ na plastyczność dużej różnorodności składników behawioralnych związanych z prążkowiem, co może obejmować uczenie się ruchów.

Specyficzne warunki, w których fazowe sygnały dopaminowe mogą odgrywać rolę w uczeniu się, są określane przez rodzaje bodźców, które skutecznie indukują odpowiedź dopaminową. W laboratorium zwierzęcym reakcje dopaminy wymagają fazowego występowania apetycznych, nowych lub szczególnie istotnych bodźców, w tym nagród podstawowych składników odżywczych i bodźców przewidujących nagrody, podczas gdy bodźce awersyjne nie odgrywają głównej roli. Odpowiedzi dopaminowe mogą występować we wszystkich sytuacjach behawioralnych kontrolowanych przez wyniki fazowe i wyraźne, chociaż bodźce warunkowe wyższego rzędu i wzmocnienia wtórne nie były jeszcze testowane. Fazowe reakcje dopaminowe prawdopodobnie nie odegrałyby roli w formach uczenia się, w których nie pośredniczą występujące fazowo wyniki, a odpowiedź predykcyjna nie byłaby w stanie przyczynić się do uczenia się w sytuacjach, w których nie występują bodźce predykcyjne fazowe, takie jak stosunkowo powolne zmiany kontekstu . Prowadzi to do interesującego pytania, czy oszczędzanie niektórych form uczenia się przez uszkodzenia dopaminowe lub neuroleptyki może po prostu odzwierciedlać brak fazowych odpowiedzi dopaminowych, ponieważ nie były wykorzystywane skuteczne bodźce je wywołujące.

Zaangażowanie sygnałów dopaminowych w uczenie się można zilustrować za pomocą przykładu teoretycznego. Wyobraź sobie reakcje dopaminy podczas uzyskiwania zadania czasu reakcji seryjnej, gdy właściwa reakcja nagle prowadzi do nagrody odżywczej. Reakcja nagrody jest następnie przenoszona na stopniowo wcześniejsze bodźce przewidujące nagrodę. Czasy reakcji ulegają dalszej poprawie dzięki długotrwałej praktyce, ponieważ pozycje przestrzenne celów stają się coraz bardziej przewidywalne. Chociaż neurony dopaminowe nadal reagują na bodźce przewidujące nagrodę, dalsza poprawa behawioralna może wynikać głównie z nabycia predykcyjnego przetwarzania pozycji przestrzennych przez inne układy neuronalne. Tak więc reakcje dopaminy wystąpiłyby podczas początkowej, motywującej części uczenia się, w której badani dochodzą do przedmiotów i uzyskują wyraźne nagrody podstawowe, a być może warunkowe. Będą mniej zaangażowani w sytuacje, w których postęp nauki wykracza poza indukcję zachowania podejścia. Nie ograniczałoby to roli dopaminy do początkowych etapów uczenia się, ponieważ wiele sytuacji wymaga początkowego uczenia się na przykładach, a dopiero później uczenia się przez wyraźne wyniki.

WSPÓŁPRACA MIĘDZY SYGNAŁAMI NAGRODOWYMI

Błąd przewidywania

Sygnał błędu prognozowania neuronów dopaminowych byłby doskonałym wskaźnikiem apetycznej wartości zdarzeń środowiskowych w stosunku do przewidywania, ale nie rozróżnia pokarmów, płynów i bodźców przewidujących nagrody oraz między modalnościami wzrokowymi, słuchowymi i somatosensorycznymi. Sygnał ten może stanowić komunikat ostrzegawczy o nagrodzie, dzięki któremu neurony postsynaptyczne są informowane o zaskakującym wyglądzie lub pominięciu nagradzającego lub potencjalnie satysfakcjonującego zdarzenia bez wskazywania dalej jego tożsamości. Posiada wszystkie cechy formalne potężnego sygnału wzmacniającego do nauki. Informacje o specyficznym charakterze nagród mają jednak kluczowe znaczenie dla określenia, do których obiektów należy podejść iw jaki sposób. Na przykład głodne zwierzę powinno przede wszystkim podchodzić do jedzenia, ale nie do płynu. Aby odróżnić istotne od nieistotnych nagród, sygnał dopaminy musi zostać uzupełniony o dodatkowe informacje. Ostatnie eksperymenty dializy in vivo wykazały wyższe uwalnianie dopaminy wywołane pożywieniem w głodzie niż u nasyconych szczurów (Wilson i in. 1995). Ta zależność od uwalniania dopaminy nie może obejmować odpowiedzi impulsowych, ponieważ nie udało nam się znaleźć wyraźnej zależności od napędu z odpowiedziami dopaminowymi, porównując wczesne i późne okresy poszczególnych sesji eksperymentalnych, podczas których zwierzęta stały się nasycone płynem (JL Contreras-Vidal i W. Schultz, dane niepublikowane).

Szczegóły nagrody

Informacje dotyczące nagród płynnych i pokarmowych przetwarzane są również w strukturach mózgu innych niż neurony dopaminowe, takich jak prążkowie grzbietowe i brzuszne, jądro podwzgórza, ciało migdałowate, kora przedczołowa grzbietowo-boczna, kora oczodołowo-czołowa i kora obręczy przedniej. Jednakże struktury te nie wydają się emitować globalnego sygnału błędu prognozowania nagrody podobnego do neuronów dopaminowych. U naczelnych te struktury przetwarzają nagrody jako 1) przejściowe odpowiedzi po dostarczeniu nagrody (Apicella i in. 1991a,b, 1997; Bowman i in. 1996; Hikosaka i in. 1989; Niki i Watanabe 1979; Nishijo i in. 1988; Tremblay i Schultz 1995; Watanabe 1989), 2) przejściowe odpowiedzi na sygnały przewidujące nagrodę (Aosaki i in. 1994; Apicella i in. 1991b; 1996; Hollerman i in. 1994; Nishijo i in. 1988; Thorpe i in. 1983; Tremblay i Schultz 1995; Williams i in. 1993), 3) ciągłe aktywacje podczas oczekiwania na nadchodzące nagrody (Apicella i in. 1992; Hikosaka i in. 1989; Matsumura i in. 1992; Schultz i in. 1992; Tremblay i Schultz 1995), A 4) modulacje aktywacji związanych z zachowaniem przez przewidywaną nagrodę (Hollerman i in. 1994; Watanabe 1990, 1996). Wiele z tych neuronów dobrze różnicuje różne nagrody żywnościowe i różne nagrody płynne. W ten sposób przetwarzają specyficzny charakter nagradzanego wydarzenia i mogą służyć postrzeganiu nagród. Niektóre reakcje na nagrodę zależą od nieprzewidywalności nagrody i są zmniejszone lub nieobecne, gdy nagrodę przewiduje przewidywany bodziec (Apicella i in. 1997; Matsumoto i in. 1995; L. Tremblay i W. Schultz, dane niepublikowane). Mogą przetwarzać prognozy dla konkretnych nagród, chociaż nie jest jasne, czy sygnalizują one błędy prognoz, ponieważ ich odpowiedzi na pominięte nagrody są nieznane.

Utrzymanie ustalonej wydajności

Trzy mechanizmy neuronowe wydają się być ważne dla utrzymania ustalonej wydajności behawioralnej, a mianowicie wykrywanie pominiętych nagród, wykrywanie bodźców przewidujących nagrodę i wykrywanie przewidywanych nagród. Neurony dopaminowe są obniżane, gdy przewidywane nagrody są pomijane. Sygnał ten może zmniejszyć skuteczność synaptyczną związaną z błędnymi reakcjami behawioralnymi i zapobiec ich powtórzeniu. Odpowiedź dopaminy na bodźce przewidujące nagrodę jest utrzymywana podczas ustalonego zachowania, a zatem nadal służy jako informacja wyprzedzająca. Chociaż w pełni przewidywane nagrody nie są wykrywane przez neurony dopaminowe, są one przetwarzane przez wspomniane powyżej niedopaminergiczne układy korowe i podkorowe. Byłoby to ważne dla uniknięcia wymierania wyuczonego zachowania.

Podsumowując, wydaje się, że przetwarzanie określonych nagród za uczenie się i zachowanie zachowania przyniosłoby znaczne korzyści ze współpracy między neuronami dopaminowymi sygnalizującymi nieprzewidziane wystąpienie lub pominięcie nagrody i neuronów w innych strukturach jednocześnie, co wskazuje na specyficzną naturę nagrody.

PORÓWNANIA Z INNYMI SYSTEMAMI PROJEKCYJNYMI

Neurony noradrenaliny

Prawie cała populacja neuronów noradrenaliny w locus coeruleus u szczurów, kotów i małp wykazuje raczej jednorodne, dwufazowe reakcje aktywujące-depresyjne na bodźce wzrokowe, słuchowe i somatosensoryczne wywołujące reakcje orientacyjne (Aston-Jones i Bloom 1981; Foote i in. 1980; Rasmussen i in. 1986). Szczególnie skuteczne są rzadkie zdarzenia, na które zwracają uwagę zwierzęta, takie jak bodźce wzrokowe w dziwacznym zadaniu dyskryminacyjnym (Aston-Jones i in. 1994). Neurony noradrenaliny bardzo dobrze rozróżniają zdarzenia pobudzające lub motywujące i neutralne. Szybko uzyskują odpowiedzi na nowe bodźce docelowe podczas odwracania i tracą odpowiedzi na poprzednie cele przed zakończeniem odwrócenia zachowania (Aston-Jones i in. 1997). Odpowiedzi pojawiają się, aby uwolnić płyn poza jakimkolwiek zadaniem i przenieść się do przewidywalnych bodźców przewidujących nagrodę w ramach zadania, jak również do pierwotnych i warunkowych bodźców awersyjnych (Aston-Jones i in. 1994; Foote i in. 1980; Rasmussen i Jacobs 1986; Sara i Segal 1991). Odpowiedzi są często przemijające i wydają się odzwierciedlać zmiany w występowaniu lub znaczeniu bodźców. Aktywacje mogą wystąpić tylko w kilku próbach z powtarzanymi prezentacjami obiektów spożywczych (Vankov i in. 1995) lub z uwarunkowanymi bodźcami słuchowymi związanymi z nagrodą płynną, awersyjnym zaciągnięciem się powietrza lub wstrząsem elektrycznym (Rasmussen i Jacobs 1986; Sara i Segal 1991). Podczas warunkowania pojawiają się odpowiedzi na kilka pierwszych prezentacji nowych bodźców i pojawiają się przejściowo, gdy zmiany warunkowe wzmacniają się podczas akwizycji, odwracania i wymierania (Sara i Segal 1991).

Reasumując, reakcje neuronów noradrenaliny przypominają reakcje neuronów dopaminowych pod kilkoma względami, aktywowane przez pierwotne nagrody, bodźce przewidujące nagrodę oraz nowe bodźce i przenoszenie odpowiedzi z pierwotnych na uwarunkowane zdarzenia apetyczne. Neurony noradrenaliny różnią się jednak od neuronów dopaminowych, odpowiadając na znacznie większą różnorodność pobudzających bodźców, odpowiadając dobrze na pierwotne i uwarunkowane bodźce awersyjne, dobrze rozróżniając bodźce obojętne, gwałtownie podążając za odwróceniami behawioralnymi i pokazując malejące odpowiedzi z powtarzanym bodźcem prezentacja, która może wymagać testów 100 w celu uzyskania solidnych odpowiedzi apetycznych (Aston-Jones i in. 1994). Reakcje noradrenaliny są silnie związane z pobudzającymi lub przyciągającymi uwagę właściwościami bodźców wywołujących reakcje orientacyjne, podczas gdy są znacznie mniej skoncentrowane na właściwościach bodźców apetycznych, jak większość neuronów dopaminowych. Są one prawdopodobnie napędzane bardziej przez przyciąganie uwagi niż motywujące elementy apetycznych wydarzeń.

Neurony serotoninowe

Aktywność w różnych jądrach szwu ułatwia wydolność motoryczną poprzez ustawienie napięcia mięśniowego i stereotypowej aktywności motorycznej (Jacobs i Fornal 1993). Grzbietowe neurony zgryzu u kotów wykazują fazowe, niehumanitarne reakcje na bodźce wzrokowe i słuchowe bez szczególnego znaczenia behawioralnego (Heym i in. 1982; LeMoal i Olds 1979). Odpowiedzi te przypominają reakcje neuronów dopaminowych na nowe i szczególnie istotne bodźce. Dalsze porównania wymagałyby bardziej szczegółowych eksperymentów.

Jądro basalis Meynert

Podstawowe neurony przodomózgowia naczelnych są aktywowane fazowo przez wiele różnych zdarzeń behawioralnych, w tym bodźce warunkowe, przewidujące nagrody i nagrody podstawowe. Wiele aktywacji zależy od pamięci i skojarzeń ze wzmocnieniem w dyskryminacji i zadaniami opóźnionej odpowiedzi. Aktywacje odzwierciedlają znajomość bodźców (Wilson i Rolls 1990a), stają się ważniejsze z bodźcami i ruchami występującymi bliżej czasu nagrody (Richardson i DeLong 1990), dobrze rozróżniać bodźce wzrokowe na podstawie skojarzeń apetycznych i awersyjnych (Wilson i Rolls 1990b) i zmień w ciągu kilku prób podczas cofania (Wilson i Rolls 1990c). Neurony są również aktywowane przez bodźce awersyjne, przewidywane bodźce wzrokowe i słuchowe oraz ruchy. Często odpowiadają na w pełni przewidywane nagrody w dobrze ustalonych zadaniach behawioralnych (Mitchell i in. 1987; Richardson i DeLong 1986, 1990), choć odpowiedzi na nieprzewidziane nagrody są bardziej obfite w niektórych badaniach (Richardson i DeLong 1990) ale nie w innych (Wilson i Rolls 1990a-c). W porównaniu z neuronami dopaminowymi, są one aktywowane przez znacznie większe spektrum bodźców i zdarzeń, w tym zdarzeń awersyjnych, i nie pokazują raczej jednorodnej odpowiedzi populacji na nieprzewidziane nagrody i jej przeniesienie na bodźce przewidujące nagrodę.

Włókna wspinaczkowe z móżdżku

Prawdopodobnie pierwszy oparty na błędach sygnał nauczania w mózgu wymagał projekcji włókien wspinaczkowych z niższej oliwki do neuronów Purkinjego w korze móżdżku (Marr 1969), a wiele badań dotyczących uczenia się móżdżku opiera się na tej koncepcji (Houk i in. 1996; Ito 1989; Kawato i Gomi 1992; Llinas i Welsh 1993). Wspinanie się wejść światłowodowych do neuronów Purkinje przejściowo zmienia swoją aktywność, gdy zmieniają się obciążenia dla ruchów lub przyrostów między ruchami i wizualnym sprzężeniem zwrotnym, a małpy dostosowują się do nowej sytuacji (Gilbert i Thach 1977; Ojakangas i Ebner 1992). Większość z tych zmian polega na zwiększonej aktywności, a nie na aktywacji i odpowiedzi na depresję obserwowanych z błędami w przeciwnych kierunkach w neuronach dopaminowych. Jeśli aktywacja włókien wspinaczkowych miałaby służyć jako sygnał dydaktyczny, łączna aktywacja włókien równoległych równolegle do włókien powinna prowadzić do zmian równoległego wejścia włókien do neuronów Purkinjego. Występuje to rzeczywiście jako długotrwałe obniżenie równoległego wkładu włókien, głównie w preparatach in vitro (Ito 1989). Jednak porównywalne równoległe zmiany włókien są trudniejsze do znalezienia w sytuacjach uczenia się behawioralnego (Ojakangas i Ebner 1992), pozostawiając konsekwencje potencjalnych sygnałów wychodzących z włókna światłowodowego.

Drugi argument przemawiający za rolą włókien wspinaczkowych w uczeniu się polega na awersyjnym warunkowaniu klasycznym. Część włókien wspinaczkowych jest aktywowana przez awersyjne napływy powietrza do rogówki. Odpowiedzi te są tracone po kondycjonowaniu powieki Pavlovian za pomocą bodźca słuchowego (Sears i Steinmetz 1991), sugerując związek z nieprzewidywalnością pierwotnych awersyjnych zdarzeń. Po kondycjonowaniu neurony w jądrze międzyzębowym móżdżku odpowiadają warunkowemu bodźcowi (Berthier i Moore 1990; McCormick i Thompson 1984). Uszkodzenia tego jądra lub wstrzyknięcia bicukuliny antagonisty GABA do gorszej oliwki zapobiegają utracie gorszych odpowiedzi zaciągnięcia się powietrza oliwkowego po kondycjonowaniu, co sugeruje, że monosynaptyczne lub polisynaptyczne hamowanie od interpositus do niższej oliwki tłumi reakcje po warunkowaniu (Thompson i Gluck 1991). Może to umożliwić obniżenie poziomu neuronów oliwnych niższych w przypadku braku przewidywanych bodźców awersyjnych, a tym samym zgłosić negatywny błąd w przewidywaniu zdarzeń awersyjnych podobnych do neuronów dopaminowych.

Zatem włókna wspinaczkowe mogą zgłaszać błędy w wydajności silnika i błędy w przewidywaniu zdarzeń awersyjnych, chociaż nie zawsze może to obejmować zmiany dwukierunkowe, jak w przypadku neuronów dopaminowych. Włókna wspinaczkowe nie wydają się uzyskiwać odpowiedzi na uwarunkowane bodźce awersyjne, ale takie odpowiedzi znajdują się w jądrze interpositus. Obliczanie błędnych predykcji może obejmować zstępujące sygnały hamujące do niższych neuronów oliwnych, analogicznie do projekcji prążkowia do neuronów dopaminowych. Tak więc obwody móżdżku przetwarzają sygnały błędów, aczkolwiek inaczej niż neurony dopaminowe i modele TD, i mogą implementować reguły uczenia się błędów, takie jak reguła Rescorla-Wagnera (Thompson i Gluck 1991) lub formalnie równoważna reguła Widrow-Hoffa (Kawato i Gomi 1992).

DOPAMINOWY SYGNAŁ NAGRODY WOBEC NIEPEŁNOSPRAWNYCH PARKINSONII

Upośledzona neurotransmisja dopaminy z chorobą Parkinsona, zmianami eksperymentalnymi lub leczeniem neuroleptycznym wiąże się z wieloma zaburzeniami behawioralnymi (akinezja, drżenie, sztywność), poznawaniem (uwaga, bradyfrenia, planowanie, uczenie się) i motywacją (zmniejszone reakcje emocjonalne, depresja). Zakres deficytów wydaje się zbyt szeroki, aby można je było po prostu wytłumaczyć nieprawidłowym działaniem sygnału nagrody dopaminy. Większość deficytów ulega znacznemu złagodzeniu poprzez ogólnoustrojową terapię prekursorem dopaminy lub agonistą receptora, chociaż nie może to w prosty sposób zastąpić fazowego przekazywania informacji przez impulsy neuronalne. Jednak terapia ta nie przywraca wielu deficytów apetytu, takich jak deficyty dyskryminacji wywołane farmakologicznie (Ahlenius 1974) i deficyty w nauce parkinsonizmu (Canavan i in. 1989; Knowlton i in. 1996; Linden i in. 1990; Sprengelmeyer i in. 1995; Vriezen i Moscovitch 1990).

Z tych rozważań wynika, że ​​neurotransmisja dopaminy odgrywa dwie odrębne funkcje w mózgu, fazowe przetwarzanie informacji apetycznych i alarmujących oraz toniczne włączanie szerokiego zakresu zachowań bez kodowania czasowego. Deficyty w podobnej podwójnej funkcji dopaminy mogą leżeć u podstaw patofizjologii schizofrenii (Grace 1991). Warto zauważyć, że zmiany fazowe aktywności dopaminy mogą wystąpić w różnych skalach czasowych. Podczas gdy reakcje na nagrody następują w czasie rzędu dziesiątek i setek milisekund, badania uwalniania dopaminy z woltamperometrią i mikrodializą dotyczą skali czasu minut i ujawniają znacznie szersze spektrum funkcji dopaminy, w tym przetwarzanie nagród, karmienie, picie, kary, stres i zachowania społeczne (Abercrombie i in. 1989; Church et al. 1987b; Doherty i Gratton 1992; Louilot i in. 1986; Young i in. 1992, 1993). Wydaje się, że neurotransmisja dopaminy następuje co najmniej w trzech skalach czasowych z coraz szerszymi rolami w zachowaniu, od szybkiej, raczej ograniczonej funkcji przekazywania sygnałów i bodźców alarmujących poprzez wolniejszą funkcję przetwarzania znacznego zakresu pozytywnie i negatywnie motywujących zdarzeń do funkcji tonicznej umożliwienia dużej różnorodności procesów motorycznych, poznawczych i motywacyjnych.

Toniczna funkcja dopaminy opiera się na niskich, długotrwałych, pozakomórkowych stężeniach dopaminy w prążkowiu (5-10 nM) i innych obszarach unerwionych dopaminą, które są wystarczające do stymulacji pozasynaptycznych, głównie receptorów dopaminy typu D2 w stanie wysokiego powinowactwa (9-74 nM; 8) (Richfield i in. 1989). Stężenie to jest regulowane lokalnie w wąskim zakresie przez przepełnienie synaptyczne i pozasynaptyczne uwalnianie dopaminy indukowane przez toniczną spontaniczną aktywność impulsów, transport zwrotny, metabolizm, autoreceptorowe uwalnianie i kontrolę syntezy oraz presynaptyczny wpływ glutaminianu na uwalnianie dopaminy (Chesselet 1984). Znaczenie otaczających stężeń dopaminy wykazano eksperymentalnie przez szkodliwe skutki niefizjologicznych poziomów stymulacji receptora. Zmniejszona stymulacja receptora dopaminowego po uszkodzeniach doprowadzających dopaminy lub miejscowego podawania antagonistów dopaminy w korze przedczołowej prowadzi do upośledzonego wykonywania zadań opóźnionej odpowiedzi przestrzennej u szczurów i małp (Brozoski i in. 1979; Sawaguchi i Goldman-Rakic ​​1991; Simon i in. 1980). Co ciekawe, wzrost obrotu przedczołowego dopaminy wywołuje podobne upośledzenia (Elliott i in. 1997; Murphy i in. 1996). Najwyraźniej toniczna stymulacja receptorów dopaminowych nie powinna być ani zbyt niska, ani zbyt wysoka, aby zapewnić optymalną funkcję danego regionu mózgu. Zmiana wpływu dobrze uregulowanej, otaczającej dopaminy zagroziłaby prawidłowemu funkcjonowaniu neuronów prążkowia i korowego. Różne regiony mózgu mogą wymagać specyficznych poziomów dopaminy do pośredniczenia w określonych funkcjach behawioralnych. Można spekulować, że otaczające stężenia dopaminy są również niezbędne do utrzymania plastyczności synaptycznej prążkowia indukowanej przez sygnał nagrody dopaminy. Rola tonicznej dopaminy w plastyczności synaptycznej sugerowana jest przez szkodliwy wpływ blokady receptora dopaminowego lub nokautu receptora D2 na depresję poporodową (Calabresi i in. 1992a, 1997).

Liczne inne neuroprzekaźniki istnieją również w niskich stężeniach w otoczeniu płynu pozakomórkowego, takich jak glutaminian w prążkowiu (0.9 μM) i kora (0.6 μM) (Herrera-Marschitz i in. 1996). Może to być wystarczające do stymulacji bardzo wrażliwych receptorów NMDA (Sands i Barish 1989) ale nie inne typy receptorów glutaminianowych (Kiskin i in. 1986). Otoczony glutaminian ułatwia potencjalną aktywność poprzez stymulację receptora NMDA w hipokampie (Sah i in. 1989) i aktywuje receptory NMDA w korze mózgowej (Blanton i Kriegstein 1992). Poziom tonicznego glutaminianu jest regulowany przez wychwyt w móżdżku i zwiększa się podczas filogenezy, wpływając na migrację neuronów poprzez stymulację receptora NMDA (Rossi i Slater 1993). Inne neuroprzekaźniki istnieją również w niskich stężeniach otoczenia, takich jak asparaginian i GABA w prążkowiu i korze czołowej (odpowiednio 0.1 μM i 20 nM) (Herrera-Marschitz i in. 1996) i adenozyna w hipokampie, gdzie bierze udział w hamowaniu presynaptycznym (Manzoni i in. 1994). Chociaż lista ta jest niekompletna, sugeruje, że neurony w wielu strukturach mózgu są trwale skąpane w zupie neuroprzekaźników, która ma silne, specyficzne, fizjologiczne działanie na pobudliwość neuronów.

Biorąc pod uwagę ogólne znaczenie tonikalnych pozakomórkowych stężeń neuroprzekaźników, wydaje się, że szeroki zakres objawów parkinsonowskich nie byłby spowodowany niedostatecznym przekazywaniem informacji o nagrodzie przez neurony dopaminowe, ale odzwierciedlał wadliwe działanie neuronów prążkowia i korowych z powodu upośledzenia umożliwiającego zmniejszenie dopaminy w otoczeniu . Neurony dopaminowe nie byłyby aktywnie zaangażowane w szeroki zakres procesów z niedoborem parkinsonizmu, ale po prostu dostarczają tło stężenia dopaminy niezbędnego do utrzymania prawidłowego funkcjonowania neuronów prążkowia i korowych zaangażowanych w te procesy.

Podziękowanie

Dziękuję dr. Dana Ballard, Anthony Dickinson, Francois Gonon, David D. Potter, Traverse Slater, Roland E. Suri, Richard S. Sutton i R. Mark Wightman za pouczające dyskusje i komentarze, a także dwóch anonimowych sędziów za obszerne komentarze.

Prace eksperymentalne były wspierane przez Szwajcarską Narodową Fundację Naukową (obecnie 31.43331.95), Kapitał Ludzki i Mobilność oraz programy Biomed 2 Wspólnoty Europejskiej za pośrednictwem Szwajcarskiego Biura Edukacji i Nauki (CHRX-CT94 – 0463 przez 93.0121 i BMH4-CT95 –0608 przez 95.0313 – 1), Fundację Jamesa S. McDonnella, Roche Research Foundation, United Parkinson Foundation (Chicago) i British Council.

LITERATURA

    1. Abercrombie ED,
    2. Keefe KA,
    3. DiFrischia DS,
    4. Zigmond MJ

    (1989) Różnicowy wpływ stresu na uwalnianie dopaminy in vivo w prążkowiu, jądrze półleżącym i przyśrodkowej korze czołowej. J. Neurochem. 52: 1655-1658.

    1. Ahlenius S.

    (1974) Wpływ niskich i wysokich dawek L-dopy na tetrabenazynę lub indukowane α-metylotyrozyną tłumienie zachowania w kolejnym zadaniu rozróżniania. Psychofarmakologia 39: 199-212.

    1. Alexander GE,
    2. DeLong MR,
    3. Strick PL

    (1986) Równoległa organizacja funkcjonalnie segregowanych obwodów łączących zwoje podstawowe i korę. Annu. Ks. Neurosci. 9: 357-381.

    1. Amalric M.,
    2. Koob GF

    (1987) Zmniejszenie dopaminy w jądrze ogoniastym, ale nie w jądrze półleżącym osłabia wydajność czasu reakcji. J. Neurosci. 7: 2129-2134.

    1. Andén NE,
    2. Fuxe K.,
    3. Hamberger B.,
    4. Hökfelt T. A

    (1966) badanie ilościowe na neuronach dopaminowych nigro-neostriatal. Acta Physiol. Scand. 67: 306-312.

    1. Anglade P.,
    2. Mouatt-Prigent A.,
    3. Agid Y.,
    4. Hirsch EC

    (1996) Plastyczność synaps w jądrze ogoniastym pacjentów z chorobą Parkinsona. Neurodegeneracja 5: 121-128.

    1. Aosaki T.,
    2. Tsubokawa H.,
    3. Ishida A.,
    4. Watanabe K.,
    5. Graybiel AM,
    6. Kimura M.

    (1994) Reakcje tonicznie aktywnych neuronów w prążkowiu naczelnych ulegają systematycznym zmianom podczas behawioralnego warunkowania sensomotorycznego. J. Neurosci. 14: 3969-3984.

    1. Apicella P.,
    2. Legallet E.,
    3. Trouche E.

    (1996) Odpowiedzi tonicznie rozładowujących neuronów w prążkowiu małpy na bodźce wzrokowe prezentowane w warunkach pasywnych i podczas wykonywania zadań. Neurosci. Łotysz. 203: 147-150.

    1. Apicella P.,
    2. Legallet E.,
    3. Trouche E.

    (1997) Odpowiedzi tonicznie rozładowujących neuronów w prążkowiu małpy na nagrody pierwotne dostarczane podczas różnych stanów behawioralnych. Exp. Brain Res. 116: 456-466.

    1. Apicella P.,
    2. Ljungberg T.,
    3. Scarnati E.,
    4. Schultz W.

    (1991a) Odpowiedzi na nagrodę w grzbietowym i brzusznym prążkowiu małpy. Exp. Brain Res. 85: 491-500.

    1. Apicella P.,
    2. Scarnati E.,
    3. Ljungberg T.,
    4. Schultz W.

    (1992) Aktywność neuronów w prążkowiu małpy związana z oczekiwaniem przewidywalnych zdarzeń środowiskowych. J. Neurophysiol. 68: 945-960.

    1. Apicella P.,
    2. Scarnati E.,
    3. Schultz W.

    (1991b) Tonicznie rozładowujące się neurony prążkowia małpy reagują na bodźce przygotowawcze i nagradzające. Exp. Brain Res. 84: 672-675.

    1. Arbib MA,
    2. Dominey PF

    (1995) Modelowanie ról jąder podstawy w synchronizacji i sekwencjonowaniu ruchów sakadycznych oczu. w modelach przetwarzania informacji w basal ganglia, red. Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 149 – 162.

    1. Arbuthnott GW,
    2. Ingham CA.

    (1993) Drażliwy problem tego, co dopamina robi w chorobie psychicznej. Wałówka. Brain Res. 99: 341-350.

    1. Aston-Jones G.,
    2. Bloom FE

    (1981) Locus coeruleus zawierające norepinefrynę u zachowujących się szczurów wykazują wyraźne odpowiedzi na nieszkodliwe bodźce środowiskowe. J. Neurosci. 1: 887-900.

    1. Aston-Jones G.,
    2. Rajkowski J.,
    3. Kubiak P.

    (1997) Uwarunkowane odpowiedzi neuronów locus coeruleus małp przewidują nabycie zachowania dyskryminacyjnego w zadaniu czujności. Neuroscience 80: 697-716.

    1. Aston-Jones G.,
    2. Rajkowski J.,
    3. Kubiak P.,
    4. Alexinsky T.

    (1994) Neurony locus coeruleus u małpy są selektywnie aktywowane przez kontrolowane sygnały w zadaniu czujności. J. Neurosci. 14: 4467-4480.

    1. Ballard DH

    (1997) Wprowadzenie do obliczeń neuronowych. (MIT Press, Cambridge, MA).

    1. Barto AG

    (1995) Adaptacyjni krytycy i zwoje podstawy. w modelach przetwarzania informacji w basal ganglia, red. Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 215 – 232.

    1. Barto AG,
    2. Anandan P.

    (1985) Stochastyczne automaty do rozpoznawania wzorców. IEEE Trasnact. Syst. Człowiek Cybern. 15: 360-375.

    1. Barto AG,
    2. Sutton RS,
    3. Anderson CW

    (1983) Neuronopodobne elementy adaptacyjne, które mogą rozwiązać trudne problemy z uczeniem się. IEEE Trans Syst. Człowiek Cybernet. 13: 834-846.

    1. Beninger RJ

    (1983) Rola dopaminy w aktywności lokomotorycznej i uczeniu się. Brain Res. Obrót silnika. 6: 173-196.

    1. Beninger RJ

    (1989) Dysocjacja efektów zmienionej funkcji dopaminergicznej na wydajność i naukę. Brain Res. Byk. 23: 365-371.

    1. Beninger RJ,
    2. Cheng M.,
    3. Hahn BL,
    4. Hoffman DC,
    5. Mazurski EJ

    (1987) Skutki wyginięcia, pimozyd, SCH 23390 i metoklopramid na odpowiedź szczurów na nagradzane pokarmem operanty. Psychopharmacology 92: 343-349.

    1. Beninger RJ,
    2. Hahn BL

    (1983) Pimozide blokuje zakładanie, ale nie wyraża warunkowania środowiskowego wytwarzanego przez amfetaminę. nauka 220: 1304-1306.

    1. Berendse HW,
    2. Groenewegen HJ,
    3. Lohman AHM

    (1992) Rozkład przedziałowy brzusznych neuronów prążkowia wystających do śródmózgowia u szczura. J. Neurosci. 12: 2079-2103.

    1. Berger B.,
    2. Trottier S.,
    3. Verney C.,
    4. Gaspar P.,
    5. Alvarez C.

    (1988) Regionalny i laminarny rozkład unerwienia dopaminy i serotoniny w makakowej korze mózgowej: badanie radioautograficzne. J. Comp. Neurol. 273: 99-119.

    1. Bergson C.,
    2. Mrzljak L.,
    3. Smiley JF,
    4. Pappy M.,
    5. Levenson R.,
    6. Goldman-Rakic ​​PS

    (1995) Regionalne, komórkowe i subkomórkowe zmiany w rozkładzie D1 i D5 receptory dopaminy w mózgu naczelnych. J. Neurosci. 15: 7821-7836.

    1. Berthier NE,
    2. Moore JW

    (1990) Aktywność głębokich komórek jądrowych móżdżku podczas klasycznego warunkowania wydłużania błony komórkowej u królików. Exp. Brain Res. 83: 44-54.

    1. Bindra D.

    (1968) Neuropsychologiczna interpretacja skutków motywacji i motywacji do ogólnej aktywności i zachowań instrumentalnych. Psychol. Obrót silnika. 75: 1-22.

    1. Blanton MG,
    2. Kriegstein AR

    (1992) Właściwości receptorów neuroprzekaźników aminokwasowych embrionalnych neuronów korowych po aktywacji przez egzogennych i endogennych agonistów. J. Neurophysiol. 67: 1185-1200.

    1. Boeijinga PH,
    2. Mulder AB,
    3. Pennartz CMA,
    4. Manshanden I.,
    5. Lopes da Silva FH

    (1993) Odpowiedzi jądra półleżącego po stymulacji fornix / fimbria u szczura. Identyfikacja i długotrwałe wzmocnienie szlaków mono- i polisynaptycznych. Neuroscience 53: 1049-1058.

    1. Bolam JP,
    2. Franciszek CM,
    3. Henderson Z.

    (1991) Cholinergiczny wkład do neuronów dopaminowych w istocie czarnej: podwójne badanie immunocytochemiczne. Neuroscience 41: 483-494.

    1. Bolles RC

    (1972) Wzmocnienie, oczekiwanie i nauka. Psychol. Obrót silnika. 79: 394-409.

    1. Bowman EM,
    2. Aigner TG,
    3. Richmond BJ

    (1996) Sygnały neuronalne w prążkowiu małpy brzusznej związane z motywacją do otrzymywania soków i kokainy. J. Neurophysiol. 75: 1061-1073.

    1. Bouyer JJ,
    2. Park DH,
    3. Joh TH,
    4. Pickel VM

    (1984) Analiza chemiczna i strukturalna zależności między wejściami korowymi a końcówkami zawierającymi hydroksylazę tyrozynową w neostriatum szczura. Brain Res. 302: 267-275.

    1. Brown JR,
    2. Arbuthnott GW

    (1983) Elektrofizjologia dopaminy (D2) receptory: badanie działania dopaminy na transmisję kortykostriatalną. Neuroscience 10: 349-355.

    1. Brozoski TJ,
    2. Brown RM,
    3. Rosvold HE,
    4. Goldman PS

    (1979) Deficyt poznawczy spowodowany regionalnym wyczerpaniem dopaminy w korze przedczołowej małpy rezus. nauka 205: 929-932.

    1. Caillé I.,
    2. Dumartin B.,
    3. Bloch B.

    (1996) Ultrastrukturalna lokalizacja immunoreaktywności receptora dopaminowego D1 w neuronach prążkowatych szczura i jego związek z unerwieniem dopaminergicznym. Brain Res. 730: 17-31.

    1. Calabresi P.,
    2. Maj R.,
    3. Pisani A.,
    4. Mercuri NB,
    5. Bernardi G.

    (1992a) Długotrwała depresja synaptyczna w prążkowiu: charakterystyka fizjologiczna i farmakologiczna. J. Neurosci. 12: 4224-4233.

    1. Calabresi P.,
    2. Pisani A.,
    3. Mercuri NB,
    4. Bernardi G.

    (1992b) Długotrwałe wzmocnienie w prążkowiu zostaje zdemaskowane poprzez usunięcie zależnego od napięcia bloku magnezowego kanałów receptora NMDA. Eur. J. Neurosci. 4: 929-935.

    1. Calabresi P.,
    2. Saiardi A.,
    3. Pisani A.,
    4. Baik JH,
    5. Centonze D.,
    6. Mercuri NB,
    7. Bernardi G.,
    8. Borelli E.

    (1997) Nieprawidłowa plastyczność synaptyczna w prążkowiu myszy pozbawionych receptorów dopaminy D2. J. Neurosci. 17: 4536-4544.

    1. Canavan AGM,
    2. Passingham RE,
    3. Płyta Marsdena,
    4. Quinn N.,
    5. Wyke M.,
    6. Polkey CE

    (1989) Przedstawienie zadań związanych z uczeniem się pacjentów we wczesnych stadiach choroby Parkinsona. Neuropsychologia 27: 141-156.

    1. Cepeda C.,
    2. Buchwald NA,
    3. Levine MS

    (1993) Neuromodulacyjne działanie dopaminy w neostriatum zależy od aktywowanych podtypów pobudzającego receptora kwasu aminao. Proc. Natl. Acad. Sci. USA 90: 9576-9580.

    1. Cepeda C.,
    2. Chandler SH,
    3. Shumate LW,
    4. Levine MS

    (1995) Trwałe Na+ przewodnictwo w średnich rozmiarach neuronów prążkowia: charakterystyka za pomocą wideomikroskopii w podczerwieni i nagrań z użyciem patch-clamp całego komórki. J. Neurophysiol. 74: 1343-1348.

    1. Cepeda C.,
    2. Colwell CS,
    3. Itri JN,
    4. Chandler SH,
    5. Levine MS

    (1998) Modulacja dopaminergiczna indukowanych NMDA prądów całych komórek w neuronach prążkowia w skrawkach: udział przewodników wapniowych. J. Neurophysiol. 79: 82-94.

    1. Chergui K.,
    2. Suaud-Chagny MF,
    3. Gonon F.

    (1994) Nieliniowa zależność między przepływem impulsu, uwalnianiem dopaminy i eliminacją dopaminy w mózgu szczura in vivo. Neurocience 62: 641-645.

    1. Chesselet MF

    (1984) Presynaptyczna regulacja uwalniania neuroprzekaźnika w mózgu: fakty i hipotezy. Neuroscience 12: 347-375.

    1. Kościół WH,
    2. Justice JB Jr.,
    3. Byrd LD

    (1987) Pozakomórkowa dopamina w prążkowiu szczura po zahamowaniu wychwytu przez kokainę, nomifensynę i benztropinę. Eur. J. Pharmacol. 139: 345-348.

    1. Kościół WH,
    2. Justice JB Jr.,
    3. Neill DB

    (1987) Wykrywanie istotnych behawioralnie zmian w pozakomórkowej dopaminie za pomocą mikrodializy. Brain Res. 412: 397-399.

    1. Clarke PBS,
    2. Hommer DW,
    3. Pert A.,
    4. Skirboll LR

    (1987) Inwazja neuronów istoty czarnej przez cholinergiczne doprowadzające jądra z jądra szypułkowego u szczurów: dowody neuroanatomiczne i elektrofizjologiczne. Neuroscience 23: 1011-1019.

    1. Colle WM,
    2. Mądry RA

    (1980) Wpływ jądra półleżącego na amfetaminę na nagrodę za stymulację mózgu w bocznym podwzgórzu. Brain Res. 459: 356-360.

    1. Contreras-Vidal JL,
    2. Schultz W. A.

    (1996) model sieci neuronowej uczenia się, motywacji i zachowania orientacyjnego związanego z nagrodami. Soc. Neurosci. Abstr. 22: 2029.

    1. Corbett D.,
    2. Mądry RA

    (1980) Samo-stymulacja wewnątrzczaszkowa w odniesieniu do wstępujących układów dopaminergicznych śródmózgowia: ruchome badanie mikroelektrod. Brain Res. 185: 1-15.

    1. Corvaja N.,
    2. Doucet G.,
    3. Bolam JP

    (1993) Ultrastruktura i synaptyczne cele projekcji rzepakowej u szczura. Neuroscience 55: 417-427.

    1. Dehaene S.,
    2. Changeux J.-P.

    (1991) Test sortowania kart Wisconsin: analiza teoretyczna i modelowanie w sieci neuronowej. Cerebr. Kora 1: 62-79.

    1. Delaney K.,
    2. Gelperin A.

    (1986) Pożerająca nauka niechęci do jedzenia do diety z niedoborem aminokwasów przez ślimaka lądowego Limax maximus. J. Comp. Physiol. [ZA] 159: 281-295.

    1. DeLong MR,
    2. Crutcher MD,
    3. Georgopoulos AP

    (1983) Relacje między ruchem a wydzielaniem pojedynczych komórek w istocie czarnej zachowującej się małpy. J. Neurosci. 3: 1599-1606.

    1. Di Chiara G.

    (1995) Rola dopaminy w narkomanii widziana z perspektywy jej roli w motywacji. Drug Alcohol Depend. 38: 95-137.

    1. Dickinson A.

    (1980) Współczesna teoria uczenia się zwierząt. (Cambridge Univ. Press, Cambridge, UK).

    1. Dickinson A.,
    2. Balleine B.

    (1994) Motywacyjna kontrola działania ukierunkowanego na cel. Anim. Uczyć się. Behav. 22: 1-18.

    1. Dickinson A.,
    2. Hala G.,
    3. Mackintosh NJ

    (1976) Niespodzianka i tłumienie blokowania. J. Exp. Psychol. Anim. Behav. Proc. 2: 313-322.

    1. MD Doherty,
    2. Gratton A.

    (1992) Szybkie pomiary chronoamperometryczne uwalniania dopaminy mezolimbicznej i nigrostriatalnej związane z powtarzanym codziennym stresem. Brain Res. 586: 295-302.

    1. Dominey P.,
    2. Arbib M.,
    3. Joseph J.-P. ZA

    (1995) model plastyczności kortykostriatalnej do uczenia się skojarzeń i sekwencji okulomotorycznych. J. Cognit. Neurosci. 7: 311-336.

    1. Doucet G.,
    2. Descarries L.,
    3. Garcia S.

    (1986) Kwantyfikacja unerwienia dopaminy w dorosłym prążkowiu szczura. Neuroscience 19: 427-445.

    1. Dugast C.,
    2. Suaud-Chagny MF,
    3. Gonon F.

    (1994) Ciągłe monitorowanie in vivo wywołanego uwalniania dopaminy w jądrze szczura półleżącego przez amperometrię. Neuroscience 62: 647-654.

    1. Edmonds DE,
    2. Gallistel CR

    (1977) Nagroda a wydajność w samo-stymulacji: specyficzne dla elektrody efekty α-metylo-p-tyrozyny na nagrodę u szczura. J. Comp. Physiol. Psychol. 91: 962-974.

    1. Elliott R.,
    2. Sahakian BJ,
    3. Matthews K.,
    4. Bannerjea A.,
    5. Rimmer J.,
    6. Robbins TW

    (1997) Wpływ metylofenidatu na przestrzenną pamięć roboczą i planowanie u zdrowych młodych dorosłych. Psychopharmacology 131: 196-206.

    1. Ettenberg A.

    (1989) Dopamina, neuroleptyki i wzmocnione zachowanie. Neurosci. Biobehav. Obrót silnika. 13: 105-111.

    1. Fagg AH

    (1993) Uczenie się zbrojenia w celu osiągnięcia i uchwycenia robota. w nowych perspektywach w kontrolowaniu ruchu sięgania do ręki, red. Bennet KMB, Castiello U. (Północna Holandia, Amsterdam), pp 281 – 308.

    1. Fagg AH,
    2. Arbib MA A

    (1992) model uczenia się warunkowo-ruchowego naczelnych. Przystosować się. Behav. 1: 3-37.

    1. Fibiger HC,
    2. LePiane FG,
    3. Jakubovic A.,
    4. Phillips AG

    (1987) Rola dopaminy w wewnątrzczaszkowej samo-stymulacji brzusznego obszaru nakrywkowego. J. Neurosci. 7: 3888-3896.

    1. Fibiger HC,
    2. Miller JJ

    (1977) Anatomiczne i elektrofizjologiczne badanie projekcji serotonergicznej z grzbietowego jądra raphé do istoty czarnej u szczura. Neuroscience 2: 975-987.

    1. Fibiger HC,
    2. Phillips AG

    Nagroda, motywacja, poznanie: psychobiologia mesotelencefalicznych układów dopaminowych. Podręcznik fizjologii. Układ nerwowy. Wewnętrzne systemy regulacji Brain.1986Am. Physiol. Soc.Bethesda, MA, sekty. 1, obj. IV, str. 647 – 675.

    1. Filion M.,
    2. Tremblay L.,
    3. Bédard PJ

    (1988) Nieprawidłowe wpływy biernego ruchu kończyn na aktywność globusowych bladych neuronów małpy parkinsonowskiej. Brain Res. 444: 165-176.

    1. Flaherty AW,
    2. Graybiel A.

    (1993) Dwa systemy wejściowe do reprezentacji ciała w macierzy prążkowia naczelnych: dowody eksperymentalne u małpy wiewiórki. J. Neurosci. 13: 1120-1137.

    1. Flaherty AW,
    2. Graybiel A.

    (1994) Organizacja wejścia-wyjścia prążkowia sensomotorycznego u małpy wiewiórki. J. Neurosci. 14: 599-610.

    1. Kwiaty K.,
    2. Downing AC

    (1978) Predykcyjna kontrola ruchów oczu w chorobie Parkinsona. Ann. Neurol. 4: 63-66.

    1. Foote SL,
    2. Aston-Jones G.,
    3. Bloom FE

    (1980) Aktywność impulsów neuronów locus coeruleus u obudzonych szczurów i małp jest funkcją stymulacji sensorycznej i pobudzenia. Proc. Natl. Acad. Sci. USA 77: 3033-3037.

    1. Freund TF,
    2. Powell JF,
    3. Smith AD

    (1984) Boutony immunoreaktywne z hydroksylazą tyrozynową w kontakcie synaptycznym ze zidentyfikowanymi neuronami prążkowatymi, ze szczególnym uwzględnieniem kolców dendrytycznych. Neuroscience 13: 1189-1215.

    1. Frey U.,
    2. Schroeder H.,
    3. Matthies H.

    (1990) Antagoniści dopaminergiczni zapobiegają długotrwałemu utrzymaniu posttanicznego LTP w regionie CA1 skrawków hipokampa. Brain Res. 522: 69-75.

    1. Friston KJ,
    2. Tononi G.,
    3. Reeke GN Jr.,
    4. Sporns O.,
    5. Edelman GM

    (1994) Wybór zależny od wartości w mózgu: symulacja w syntetycznym modelu neuronowym. Neuroscience 59: 229-243.

    1. Fujita K.

    (1987) Rozpoznawanie gatunków przez pięć makaków. Naczelne ssaki 28: 353-366.

    1. Furiezos G.,
    2. Mądry RA

    (1976) Wywołanie pimozydu samoistnej stymulacji wewnątrzczaszkowej: wzorce odpowiedzi wykluczają deficyty motoryczne lub wydajnościowe. Brain Res. 103: 377-380.

    1. Futami T.,
    2. Takakusaki K.,
    3. Kitai ST

    (1995) Wejścia glutaminergiczne i cholinergiczne z jądra nakłucia szypułkowego do neuronów dopaminowych w istocie czarnej pars compacta. Neurosci. Res. 21: 331-342.

    1. Gallistel CR

    (1990) Organizacja nauki. (MIT Press, Cambridge, MA).

    1. Garcia CE,
    2. Prett DM,
    3. Morari M.

    (1989) Kontrola predykcyjna modelu: teoria i praktyka - ankieta. Automatica 25: 335-348.

    1. Garcia-Munoz M.,
    2. Young SJ,
    3. Gaje P.

    (1992) Presynaptyczne długoterminowe zmiany w pobudliwości szlaku korowo-prążkowanego. Neuroreport 3: 357-360.

    1. Gariano RF,
    2. Groves PM

    (1988) Wypalanie impulsowe w neuronach dopaminowych śródmózgowia poprzez stymulację przyśrodkowej przedczołowej i przedniej obręczy obręczy. Brain Res. 462: 194-198.

    1. Garris PA,
    2. Ciołkowski EL,
    3. Pastore P.,
    4. Wightman RM

    (1994a) Wypływ dopaminy z szczeliny synaptycznej w jądrze półleżącym mózgu szczura. J. Neurosci. 14: 6084-6093.

    1. Garris PA,
    2. Ciołkowski EL,
    3. Wightman RM

    (1994b) Heterogeniczność wywołanego przepełnienia dopaminą w regionach prążkowia i prążkowato-gdaloidowych. Neuroscience 59: 417-427.

    1. Garris PA,
    2. Wightman RM

    (1994) Różne kinetyki regulują transmisję dopaminergiczną w ciele migdałowatym, korze przedczołowej i prążkowiu: badanie woltamperometryczne in vivo. J. Neurosci. 14: 442-450.

    1. Gerfen CR

    (1984) Mozaika prążkowia: podział przedziałów kortykostriatalnych i striatonigralnych. Natura 311: 461-464.

    1. Gerfen CR,
    2. Engber TM,
    3. Mahan LC,
    4. Susel Z.,
    5. Chase TN,
    6. Monsma FJ Jr.
    7. Sibley DR

    (1990) D1 i D2 regulowana przez receptor dopaminy ekspresja genów neuronów striatonigralnych i striatopallidalnych. nauka 250: 1429-1432.

    1. Niemiecki DC,
    2. Dubach M.,
    3. Askari S.,
    4. Speciale SG,
    5. Bowden DM

    (1988) Zespół Parkinsona indukowany przez 1-metylo-4-fenyl-1,2,3,6-tetrahydropirydynę (MPTP) u macaca fascicularis: które neurony dopaminergiczne śródmózgowia są utracone? Neuroscience 24: 161-174.

    1. Gilbert PFC,
    2. Thach WT

    (1977) Aktywność komórek Purkinjego podczas uczenia motorycznego. Brain Res. 128: 309-328.

    1. Giros B.,
    2. Jaber M.,
    3. Jones SR,
    4. Wightman RM,
    5. Caron MG

    (1996) Hiperlokulacja i obojętność na kokainę i amfetaminę u myszy pozbawionych transportera dopaminy. Natura 379: 606-612.

    1. Goldman-Rakic ​​PS,
    2. Leranth C.,
    3. Williams MS,
    4. Mons N.,
    5. Geffard M.

    (1989) Kompleks synaptyczny dopaminy z neuronami piramidowymi w korze mózgowej naczelnych. Proc. Natl. Acad. Sci. USA 86: 9015-9019.

    1. Gonon F.

    (1988) Nieliniowa zależność między przepływem impulsu a dopaminą uwalnianą przez neurony dopaminergiczne śródmózgowia szczura, jak badano w elektrochemii in vivo. Neuroscience 24: 19-28.

    1. Gonon F.

    (1997) Przedłużone i pozasynaptyczne działanie pobudzające dopaminy za pośrednictwem receptorów D1 w prążkowiu szczura in vivo. J. Neurosci. 17: 5972-5978.

    1. Gonzales C.,
    2. Chesselet M.-F.

    (1990) Amygdalonigral ścieżka: Anterograde badanie u szczura z Phaseolus vulgaris Leukoaglutynina (PHA-L). J. Comp. Neurol. 297: 182-200.

    1. Grace AA

    (1991) Fazowe i toniczne uwalnianie dopaminy i modulacja odpowiedzi układu dopaminowego: hipoteza etiologii schizofrenii. Neuroscience 41: 1-24.

    1. Grace AA,
    2. Bunney BS

    (1985) Przeciwstawne działanie szlaków sprzężenia zwrotnego prążatonigry na aktywność komórek dopaminy w śródmózgowiu. Brain Res. 333: 271-284.

    1. Graybiel AM,
    2. Aosaki T.,
    3. Flaherty AW,
    4. Kimura M.

    (1994) Zwoje podstawy i adaptacyjna kontrola motoryczna. nauka 265: 1826-1831.

    1. Groves PM,
    2. Garcia-Munoz M.,
    3. Linder JC,
    4. Manley MS,
    5. Martone ME,
    6. Young SJ

    (1995) Elementy wewnętrznej organizacji i przetwarzania informacji w neostriatum. w modelach przetwarzania informacji w basal ganglia, red. Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 51 – 96.

  • Gullapalli, V., Barto, A. G. i Grupen, R. A. Uczenie mapowania dopuszczalności dla zespołu kierowanego siłą. W: Materiały z międzynarodowej konferencji 1994 na temat robotyki i automatyzacji. Los Alamitos, CA: Computer Society Press, 1994, str. 2633 – 2638.
    1. Haber SN,
    2. Lynd E.,
    3. Klein C.,
    4. Groenewegen HJ

    (1990) Organizacja topograficzna brzusznych projekcji prążkowia w małpie rezus: badanie śledzenia autoradiograficznego. J. Comp. Neurol. 293: 282-298.

    1. Haber S.,
    2. Lynd-Balta E.,
    3. Mitchell SJ

    (1993) Organizacja zstępujących brzusznych projekcji palidalnych u małpy. J. Comp. Neurol. 329: 111-128.

    1. Hammer M.

    (1993) Zidentyfikowany neuron pośredniczy w bezwarunkowym bodźcu w asocjacyjnym uczeniu się węchu u pszczół miodnych. Natura 366: 59-63.

    1. Hammond C.,
    2. Shibazaki T.,
    3. Rouzaire-Dubois B.

    (1983) Rozgałęzione neurony wyjściowe jądra podwzgórza szczura: badanie elektrofizjologiczne efektów synaptycznych na zidentyfikowanych komórkach w dwóch głównych jądrach docelowych, jądrze śródpodstawowym i istocie czarnej. Neuroscience 9: 511-520.

    1. Hattori T.,
    2. Fibiger HC,
    3. McGeer PL

    (1975) Wykazanie projekcji palidonigralnej unerwiającej neurony dopaminergiczne. J. Comp. Neurol. 162: 487-504.

    1. Hedreen JC,
    2. DeLong MR

    (1991) Organizacja projekcji striatopallidalnych, prążkowatych i nigrostriatalnych w makaku. J. Comp. Neurol. 304: 569-595.

    1. Hernandez-Lopez S.,
    2. Bargas J.,
    3. Surmeier DJ,
    4. Reyes A.,
    5. Galarraga E.

    (1997) Aktywacja receptora D1 wzmaga wywołane wydzielanie w neuronalnych średnich kolczastych neuronach poprzez modulację Ca typu L2+ przewodnictwo. J. Neurosci. 17: 3334-3342.

    1. Herrera-Marschitz M.,
    2. Ty ZB,
    3. Goiny M.,
    4. Meana JJ,
    5. Silveira R.,
    6. Godukhin OV,
    7. Chen Y.,
    8. Espinoza S.,
    9. Pettersson E.,
    10. Loidl CF,
    11. Lubec G.,
    12. Andersson K.,
    13. Nylander I.,
    14. Terenius L.,
    15. Ungerstedt U.

    (1996) W sprawie pochodzenia pozakomórkowych poziomów glutaminianu monitorowanych w zwojach podstawy mózgu szczura poprzez mikrodializę in vivo. J. Neurochem. 66: 1726-1735.

    1. Hersch SM,
    2. Ciliax BJ,
    3. Gutekunst C.-A.
    4. Rees HD,
    5. Heilman CJ,
    6. Yung KKL,
    7. Bolam JP,
    8. Ince E.,
    9. Yi H.,
    10. Levey AI

    (1995) Analiza za pomocą mikroskopu elektronowego białek receptora dopaminy D1 i D2 w prążkowiu grzbietowym i ich związki synaptyczne z aferentami ruchowo-korowymi. J. Neurosci. 15: 5222-5237.

    1. Heym J.,
    2. Trulson ME,
    3. Jacobs BL

    (1982) Aktywność jednostkowa Raphe u swobodnie poruszających się kotów: wpływ fazowych bodźców słuchowych i wzrokowych. Brain Res. 232: 29-39.

    1. Hikosaka O.,
    2. Sakamoto M.,
    3. Usui S.

    (1989) Właściwości funkcjonalne małpich neuronów ogoniastych. III. Działania związane z oczekiwaniem na cel i nagrodę. J. Neurophysiol. 61: 814-832.

    1. Hollerman JR,
    2. Schultz W.

    (1996) Aktywność neuronów dopaminowych podczas uczenia się w znanym kontekście zadania. Soc. Neurosci. Abstr. 22: 1388.

    1. Hollerman JR,
    2. Tremblay L.,
    3. Schultz W.

    (1994) Zależność nagradzania kilku rodzajów aktywności neuronalnej w prążkowiu prymasa. Soc. Neurosci. Abstr. 20: 780.

    1. Holstein GR,
    2. Pasik P.,
    3. Hamori J.

    (1986) Synapsy między immunoreaktywnymi elementami aksonalnymi i dendrytycznymi GABA w istocie małpiej nigra. Neurosci. Łotysz. 66: 316-322.

    1. Hoover JE,
    2. Strick PL

    (1993) Wiele kanałów wyjściowych w zwojach podstawy mózgu. nauka 259: 819-821.

    1. Horvitz JC,
    2. Stewart T.,
    3. Jacobs BL

    (1997) Aktywność wybuchu brzusznych neuronów dopaminowych brzusznych jest wywoływana przez bodźce czuciowe w przebudzonym kocie. Brain Res. 759: 251-258.

    1. Houk JC,
    2. Adams JL,
    3. Barto AG A

    (1995) model tworzenia zwojów podstawy mózgu i wykorzystywania sygnałów neuronowych, które przewidują wzmocnienie. w modelach przetwarzania informacji w basal ganglia, red. Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 249 – 270.

    1. Houk JC,
    2. Buckingham JT,
    3. Barto AG

    (1996) Modele móżdżku i uczenia motorycznego. Behav. Mózg Sci. 19: 368-383.

    1. Hrupka BJ,
    2. Lin YM,
    3. Gietzen DW,
    4. Rogers QR

    (1997) Niewielkie zmiany stężenia niezbędnych aminokwasów zmieniają wybór diety u szczurów z niedoborem aminokwasów. J. Nutr. 127: 777-784.

    1. Kadłub CL

    (1943) Zasady zachowania. (Appleton-Century-Crofts, Nowy Jork).

    1. Ingham CA,
    2. Hood SH,
    3. Weenink A.,
    4. Van Maldegem B.,
    5. Arbuthnott GW

    (1993) Zmiany morfologiczne w neostriatum szczura po jednostronnym wstrzyknięciu 6-hydroksydopaminy w szlak nigrostriatalny. Exp. Brain Res. 93: 17-27.

    1. Ito M.

    (1989) Długotrwała depresja. Annu. Ks. Neurosci. 12: 85-102.

    1. Jacobs BL,
    2. Fornal CA.

    (1993) 5-HT i sterowanie silnikiem: hipoteza. Trendy Neurosci. 16: 346-352.

    1. Jimenez-Castellanos J.,
    2. Graybiel AM

    (1989) Dowody, że histochemicznie różne strefy istoty czarnej naczelnych naczelnych są związane ze wzorzystymi rozkładami neuronów projekcji nigrostriatalnej i włókien prążkowatych. Exp. Brain Res. 74: 227-238.

    1. Kalman RE A

    (1960) nowe podejście do liniowego filtrowania i problemów z prognozowaniem. J. Basic Eng. Trans. JAK JA 82: 35-45.

  • Kamin, L. J. Selektywne skojarzenia i uwarunkowania. W: Podstawowe zagadnienia w nauczaniu instrumentalnym, pod redakcją N. J. Mackintosha i W. K. Honiga. Halifax, Kanada: Dalhousie University Press, 1969, s. 42 – 64.
    1. Kawagoe KT,
    2. Garris PA,
    3. Wiedemann DJ,
    4. Wightman RM

    (1992) Regulacja przejściowych gradientów stężenia dopaminy w mikrośrodowisku otaczającym zakończenia nerwowe w prążkowiu szczura. Neuroscience 51: 55-64.

    1. Kawaguchi Y.,
    2. Wilson CJ,
    3. Emson PC

    (1989) Wewnątrzkomórkowe rejestrowanie zidentyfikowanej łaty neostriatalnej i komórek kolczastych macierzy w preparacie plastra z zachowaniem wkładów korowych. J. Neurophysiol. 62: 1052-1068.

    1. Kawato M.,
    2. Gomi H.

    (1992) Modele uczenia się móżdżku i VOR / OKR. Trendy Neurosci. 15: 445-453.

    1. Kiskin NI,
    2. Krishtal OA,
    3. Tsyndrenko AY

    (1986) Pobudzające receptory aminokwasów w neuronach hipokampa: kainat nie powoduje ich odczulenia. Neurosci. Łotysz. 63: 225-230.

    1. Klopf AH

    (1982) Hedonistyczny neuron: teoria pamięci, uczenia się i inteligencji. (Hemisphere, Washington, DC).

    1. Knowlton BJ,
    2. Mangels JA,
    3. Squire LR A

    (1996) system uczenia się neostriatalnego u ludzi. nauka 273: 1399-1402.

    1. Künzle H.

    (1978) Analiza autoradiograficzna połączeń odprowadzających z przedotorowych i sąsiednich obszarów przedczołowych (obszary 6 i 9) w Macaca fascicularis. Brain Behav. Evol. 15: 185-234.

    1. LeMoal M.,
    2. Olds ME

    (1979) Peryferyjny sygnał dźwiękowy do obszaru limbicznego śródmózgowia i powiązanych struktur. Brain Res. 167: 1-17.

    1. LeMoal M.,
    2. Simon H.

    (1991) Mesocorticolimbic sieć dopaminergiczna: funkcje i funkcje regulacyjne. Physiol. Obrót silnika. 71: 155-234.

    1. Levey AI,
    2. Hersch SM,
    3. Żyto DB,
    4. Sunahara RK,
    5. Niznik HB,
    6. Kitt CA,
    7. Cena DL,
    8. Maggio R.,
    9. Brann MR,
    10. Ciliax BJ

    (1993) Lokalizacja receptorów dopaminy D1 i D2 w mózgu z przeciwciałami swoistymi dla podtypu. Proc. Natl. Acad. Sci. USA 90: 8861-8865.

    1. Linden A.,
    2. Bracke-Tolkmitt R.,
    3. Lutzenberger W.,
    4. Canavan AGM,
    5. Scholz E.,
    6. Diener HC,
    7. Birbaumer N.

    (1990) Powolne potencjały korowe u pacjentów z chorobą Parkinsona w trakcie zadania uczenia się asocjacyjnego. J. Psychophysiol. 4: 145-162.

    1. Ljungberg T.,
    2. Apicella P.,
    3. Schultz W.

    (1991) Odpowiedzi neuronów dopaminowych małpiego śródmózgowia podczas opóźnionej wydajności przemian. Brain Res. 586: 337-341.

    1. Ljungberg T.,
    2. Apicella P.,
    3. Schultz W.

    (1992) Odpowiedzi małpich neuronów dopaminowych podczas uczenia się reakcji behawioralnych. J. Neurophysiol. 67: 145-163.

    1. Llinas R.,
    2. Walijski JP

    (1993) O móżdżku i uczeniu się motorycznym. Curr. Opin. Neurobiol. 3: 958-965.

    1. Lohman AHM,
    2. Van Woerden-Verkley I.

    (1978) Wznoszące się połączenia do przodomózgowia w jaszczurce tegu. J. Comp. Neurol. 182: 555-594.

    1. Louilot A.,
    2. LeMoal M.,
    3. Simon H.

    (1986) Różnicowa reaktywność neuronów dopaminergicznych w jądrze półleżącym w odpowiedzi na różne sytuacje behawioralne. Badanie woltamperometryczne in vivo na swobodnie poruszających się szczurach. Brain Res. 397: 395-400.

    1. Lovibond PF

    (1983) Ułatwienie zachowania instrumentalnego przez apolityczny bodziec warunkowy Pawłowa. J. Exp. Psychol. Anim. Behav. Proc. 9: 225-247.

    1. Lovinger DM,
    2. Tyler EC,
    3. Merritt A.

    (1993) Krótko- i długoterminowa depresja synaptyczna w prążkowiu szczura. J. Neurophysiol. 70: 1937-1949.

    1. Lynd-Balta E.,
    2. Haber SN

    (1994) Projekcje prążkowia prymasowego: porównanie prążkowia związanego z czuciowo-ruchowym i prążkowia brzusznego. J. Comp. Neurol. 345: 562-578.

    1. Mackintosh NJ A

    (1975) teoria uwagi: zmiany w asocjatywności bodźca ze wzmocnieniem. Psychol. Obrót silnika. 82: 276-298.

    1. Manzoni OJ,
    2. Manabe T.,
    3. Nicoll RA

    (1994) Uwalnianie adenozyny przez aktywację receptorów NMDA w hipokampie. nauka 265: 2098-2101.

    1. Marr D. A

    (1969) teoria kory móżdżku. J. Physiol. (Lond.) 202: 437-470.

    1. Marshall JF,
    2. O'Dell SJ,
    3. Navarrete R.,
    4. Rosenstein AJ

    (1990) Topografia miejsca transportu dopaminy o wysokim powinowactwie w mózgu szczura: główne różnice między grzbietowym i brzusznym prążkowiem. Neuroscience 37: 11-21.

  • Matsumoto, K., Nakamura, K., Mikami, A. i Kubota, K. Odpowiedź na nieprzewidywalne dostarczanie wody do ust reagujących wzrokowo neuronów w korze oczodołowo-czołowej małp. Abstr. Satellite Symp. Spotkanie IBR na cześć prof. Kuboty, Inuyamy, Japonia, P-14, 1995.
    1. Matsumura M.,
    2. Kojima J.,
    3. Gardiner TW,
    4. Hikosaka O.

    (1992) Funkcje wzrokowe i okulomotoryczne małpiego jądra podwzgórza. J. Neurophysiol. 67: 1615-1632.

    1. Maunsell JHR,
    2. Gibson JR

    (1992) Opóźnienia odpowiedzi wizualnej w korze prążkowanej małpy makaka. J. Neurophysiol. 68: 1332-1344.

    1. Mazzoni P.,
    2. Andersen RA,
    3. Jordan MI A

    (1991) bardziej biologicznie wiarygodna reguła uczenia się niż wsteczna propagacja zastosowana do modelu sieciowego obszaru korowego 7. Cereb. Kora 1: 293-307.

  • McCallum, A. K. Uczenie się zbrojenia z selektywną percepcją i stanami ukrytymi (Rozprawa doktorska). Rochester, NY: Univ. Rochester, 1995.
    1. McCormick DA,
    2. Thompson RF

    (1984) Reakcje neuronalne móżdżku królika podczas nabywania i osiągania klasycznie warunkowanej odpowiedzi nictitating błon-powieki. J. Neurosci. 4: 2811-2822.

    1. McLaren I.

    (1989) Jednostka obliczeniowa jako zespół neuronów: implementacja algorytmu uczenia się z korekcją błędów. w The Computing Neuron, red. Durbin R., Miall C., Mitchison G. (Addison-Wesley, Amsterdam), pp 160 – 178.

    1. Michael AC,
    2. Justice JB Jr.,
    3. Neill DB

    (1985) Woltamperometryczne oznaczanie kinetyki metabolizmu dopaminy u szczura. Neurosci. Łotysz. 56: 365-369.

    1. Middleton FA,
    2. Strick PL

    (1996) Płat skroniowy jest celem wyjścia ze zwojów podstawy. Proc. Natl. Acad. Sci. USA 93: 8683-8687.

    1. Miller EK,
    2. Li L.,
    3. Desimone R.

    (1993) Aktywność neuronów w przedniej dolnej korze skroniowej podczas zadania pamięci krótkotrwałej. J. Neurosci. 13: 1460-1478.

    1. Miller JD,
    2. Sanghera MK,
    3. Niemiecki DC

    (1981) Aktywność dopaminergiczna jednostki śródmózgowia w warunkowo behawioralnym szczurze. Life Sci. 29: 1255-1263.

    1. Miller R.,
    2. Wickens JR,
    3. Beninger RJ

    (1990) Receptory dopaminy D-1 i D-2 w odniesieniu do nagrody i wydajności: przypadek receptora D-1 jako głównego miejsca terapeutycznego działania leków neuroleptycznych. Wałówka. Neurobiol. 34: 143-183.

    1. Mirenowicz J.,
    2. Schultz W.

    (1994) Znaczenie nieprzewidywalności dla odpowiedzi nagrody w neuronach dopaminowych naczelnych. J. Neurophysiol. 72: 1024-1027.

    1. Mirenowicz J.,
    2. Schultz W.

    (1996) Preferencyjna aktywacja neuronów dopaminowych śródmózgowia raczej przez bodźce apetyczne niż awersyjne. Natura 379: 449-451.

    1. Mitchell SJ,
    2. Richardson RT,
    3. Baker FH,
    4. DeLong MR

    (1987) Globus pallidus naczelnych: aktywność neuronalna związana z kierunkiem ruchu. Exp. Brain Res. 68: 491-505.

    1. Mogenson GJ,
    2. Takigawa M.,
    3. Robertson A.,
    4. Wu M.

    (1979) Samostymulacja jądra półleżącego i brzusznego obszaru nakrywkowego Tsai osłabiona przez mikroiniekcje spiroperidolu do jądra półleżącego. Brain Res. 171: 247-259.

    1. Montague PR,
    2. Dayan P.,
    3. Nowlan SJ,
    4. Pouget A.,
    5. Sejnowski TJ

    (1993) Wykorzystanie aperiodycznego wzmocnienia do ukierunkowanej samoorganizacji podczas rozwoju. w Neural Information Processing Systems 5, red. Hanson SJ, Cowan JD, Giles CL (Morgan Kaufmann, San Mateo, CA), pp 969 – 976.

    1. Montague PR,
    2. Dayan P.,
    3. Osoba C.,
    4. Sejnowski TJ

    (1995) Pszczoły żerujące w niepewnych środowiskach z wykorzystaniem predykcyjnego hebbijskiego uczenia się. Natura 377: 725-728.

    1. Montague PR,
    2. Dayan P.,
    3. Sejnowski TJ A

    (1996) struktura dla systemów dopaminowych śródmózgowiowych opartych na predykcyjnym uczeniu się Hebbana. J. Neurosci. 16: 1936-1947.

    1. Montague PR,
    2. Sejnowski TJ

    (1994) Mózg predykcyjny: koincydencja czasowa i kolejność czasowa w synaptycznych mechanizmach uczenia się. Uczyć się. Pamięć 1: 1-33.

    1. Mora F.,
    2. Myers RD

    (1977) Samostymulacja mózgu: bezpośredni dowód na udział dopaminy w korze przedczołowej. nauka 197: 1387-1389.

    1. Murphy BL,
    2. Arnsten AF,
    3. Goldman-Rakic ​​PS,
    4. Roth RH

    (1996) Zwiększony obrót dopaminy w korze przedczołowej upośledza wydajność pamięci roboczej u szczurów i małp. Proc. Natl. Acad. Sci. USA 93: 1325-1329.

    1. Nakamura K.,
    2. Mikami A.,
    3. Kubota K.

    (1992) Aktywność pojedynczych neuronów w ciele migdałowatym małpy podczas wykonywania zadania dyskryminacji wzrokowej. J. Neurophysiol. 67: 1447-1463.

    1. Nedergaard S.,
    2. Bolam JP,
    3. Greenfield SA

    (1988) Ułatwienie przewodzenia dendrytycznego wapnia przez 5-hydroksytryptaminę w istocie czarnej. Natura 333: 174-177.

    1. Niijima K.,
    2. Yoshida M.

    (1988) Aktywacja neuronów dopaminowych śródmózgowia przez chemiczną stymulację jądra tegmenti pedunculopontinus pars compacta. Brain Res. 451: 163-171.

    1. Niki H.,
    2. Watanabe M.

    (1979) Aktywność jednostki przedczołowej i zakrętu obręczy podczas zachowania w czasie u małpy. Brain Res. 171: 213-224.

    1. Nirenberg MJ,
    2. Vaughan RA,
    3. Uhl GR,
    4. Kuhar MJ,
    5. Pickel VM

    (1996) Transporter dopaminy jest zlokalizowany w dendrytycznych i aksonalnych błonach plazmowych nigrostriatalnych neuronów dopaminergicznych. J. Neurosci. 16: 436-447.

    1. Nishijo H.,
    2. O nie.,
    3. Nishino H.

    (1988) Rozkład topograficzny specyficznych dla modalności neuronów amigdalarnych w małpie alarmowej. J. Neurosci. 8: 3556-3569.

    1. Nishino H.,
    2. O nie.,
    3. Muramoto KI,
    4. Fukuda M.,
    5. Sasaki K.

    (1987) Aktywność neuronalna w brzusznym obszarze nakrywkowym (VTA) podczas motywowanego karmienia prętem u małpy. Brain Res. 413: 302-313.

    1. Ojakangas CL,
    2. Ebner TJ

    (1992) Kompleks komórek Purkinjego i proste zmiany kolca podczas dobrowolnego zadania uczenia się ruchu ramienia u małpy. J. Neurophysiol. 68: 2222-2236.

    1. Olds J.,
    2. Milner P.

    (1954) Wzmocnienie dodatnie wytwarzane przez stymulację elektryczną obszaru przegrody i innych obszarów mózgu szczura. J. Comp. Physiol. Psychol. 47: 419-427.

    1. Otmakhova NA,
    2. Lisman JE

    (1996) D1 / D5 aktywacja reketora dopaminy zwiększa wielkość wczesnego długotrwałego wzmocnienia w synapsach hipokampa CA1. J. Neurosci. 16: 7478-7486.

    1. Packard MG,
    2. Biały NM

    (1991) Dysocjacja systemów pamięci hipokampa i jądra ogoniastego przez po treningu wstrzyknięcie domózgowe agonistów dopaminy. Behav. Neurosci. 105: 295-306.

    1. Pastor MA,
    2. Artieda J.,
    3. Jahanshahi M.,
    4. Obeso JA

    (1992) Szacowanie czasu i rozmnażanie są nieprawidłowe w chorobie Parkinsona. Mózg 115: 211-225.

    1. Pearce JM,
    2. Hala G. A

    (1980) model warunkowania Pawłowskiego: zmiany skuteczności bodźców uwarunkowanych, ale nie warunkowych. Psychol. Obrót silnika. 87: 532-552.

    1. Pennartz CMA,
    2. Ameerun RF,
    3. Groenewegen HJ,
    4. Lopes da Silva FH

    (1993) Plastyczność synaptyczna w preparacie plastrów in vitro jądra półleżącego szczura. Eur. J. Neurosci. 5: 107-117.

  • Percheron, G., Francois, C., Yelnik, J., i Fenelon, G. System naczelnych nigro-striato-pallido-nigral. Nie zwykła pętla. W: Mechanizmy nerwowe w zaburzeniach ruchu, pod redakcją A. R. Crossmana i M. A. Sambrooka. Londyn: John Libbey, 1989, str. 103 – 109.
    1. Phillips AG,
    2. Brooke SM,
    3. Fibiger HC

    (1975) Wpływ izomerów amfetaminy i neuroleptyków na autostymulację z jądra półleżącego i grzbietowej wiązki noradrenergicznej. Brain Res. 85: 13-22.

    1. Phillips AG,
    2. Carter DA,
    3. Fibiger HC

    (1976) Dopaminergiczne substraty wewnątrzczaszkowej auto-stymulacji w jądrze ogoniastym. Brain Res. 104: 221-232.

    1. Phillips AG,
    2. Fibiger HC

    (1978) Rola dopaminy w pośredniczeniu w autostymulacji w brzusznej nakrywce, jądrze półleżącym i przyśrodkowej korze przedczołowej. Mogą. J. Psychol. 32: 58-66.

    1. Phillips AG,
    2. Mora F.,
    3. Rolls ET

    (1979) Samoczynna stymulacja wewnątrzczaszkowa w korze oczodołowo-czołowej i jądrze ogoniastym małpy rezus: wpływ apomorfiny, pimozydu i spiroperidolu. Psychopharmacology 62: 79-82.

    1. Pickel VM,
    2. Beckley SC,
    3. Joh TH,
    4. Reis DJ

    (1981) Ultrastrukturalna lokalizacja immunocytochemiczna hydroksylazy tyrozynowej w prążkowiu. Brain Res. 225: 373-385.

    1. Cena JL,
    2. DG Amaral

    (1981) Badanie autoradiograficzne projekcji centralnego jądra ciała migdałowatego małpy. J. Neurosci. 1: 1242-1259.

    1. Rao RPN,
    2. Ballard DH

    (1997) Dynamiczny model rozpoznawania wizualnego przewiduje właściwości odpowiedzi nerwowej w korze wzrokowej. Neural Computat. 9: 721-763.

    1. Rasmussen K.,
    2. Jacobs BL

    (1986) Pojedyncza aktywność neuronów locus coeruleus w swobodnie poruszającym się kocie. II. Badania kondycjonujące i farmakologiczne. Brain Res. 371: 335-344.

    1. Rasmussen K.,
    2. Morilak DA,
    3. Jacobs BL

    (1986) Pojedyncza aktywność neuronów locus coeruleus w swobodnie poruszającym się kocie. I. Podczas zachowań naturalistycznych iw odpowiedzi na proste i złożone bodźce. Brain Res. 371: 324-334.

    1. Rescorla RA,
    2. Wagner AR A

    (1972) teoria warunkowania Pawłowa: różnice w skuteczności wzmocnienia i niewzmocnienia. w Classical Conditioning II: Aktualne badania i teoria, red. Black AH, Prokasy WF (Appleton Century Crofts, Nowy Jork), pp 64 – 99.

    1. Richardson RT,
    2. DeLong MR

    (1986) Podstawa jądra aktywności neuronalnej Meynert podczas zadania z opóźnioną odpowiedzią u małpy. Brain Res. 399: 364-368.

    1. Richardson RT,
    2. DeLong MR

    (1990) Zależne od kontekstu odpowiedzi neuronów jądra podstawnego naczelnych w zadaniu go / no-go. J. Neurosci. 10: 2528-2540.

    1. Richfield EK,
    2. Pennney JB,
    3. Young AB

    (1989) Porównanie stanu anatomicznego i powinowactwa między receptorami dopaminy D1 i D2 w centralnym układzie nerwowym szczura. Neuroscience 30: 767-777.

    1. Robbins TW,
    2. Everitt BJ

    (1992) Funkcje dopaminy w prążkowiu grzbietowym i brzusznym. Semin. Neurosci. 4: 119-128.

    1. Robbins TW,
    2. Everitt BJ

    (1996) Neurobehawioralne mechanizmy nagrody i motywacji. Curr. Opin. Neurobiol. 6: 228-236.

    1. Robinson TE,
    2. Berridge KC

    (1993) Neuralna podstawa głodu narkotykowego: teoria uzależnienia motywacyjno-uwrażliwiająca. Brain Res. Obrót silnika. 18: 247-291.

    1. Rogawski MA

    (1987) Nowe kierunki działania neuroprzekaźników: dopamina dostarcza pewnych ważnych wskazówek. Trendy Neurosci. 10: 200-205.

    1. QR Rogers,
    2. Harper AE

    (1970) Wybór roztworu zawierającego histydynę przez szczury karmione dietą niezrównoważoną histydyną. J. Comp. Physiol. Psychol. 72: 66-71.

    1. Rolls ET,
    2. Critchley HD,
    3. Mason R.,
    4. Wakeman EA

    (1996) Neurony kory oczodołowo-czołowej: rola w uczeniu się skojarzeń węchowych i wizualnych. J. Neurophysiol. 75: 1970-1981.

    1. Romo R.,
    2. Scarnati E.,
    3. Schultz W.

    (1992) Rola zwojów podstawnych naczelnych i kory czołowej w wewnętrznym generowaniu ruchów: porównania w neuronach prążkowia aktywowane podczas inicjacji i egzekucji wywołanej bodźcem. Exp. Brain Res. 91: 385-395.

    1. Romo R.,
    2. Schultz W.

    (1990) Neurony dopaminowe śródmózgowia małpy: nieprzewidziane reakcje na aktywny dotyk podczas samoczynnych ruchów ramion. J. Neurophysiol. 63: 592-606.

    1. Rompré P.-P.
    2. Mądry RA

    (1989) Dowody behawioralne na inaktywację depolaryzacji dopaminy w śródmózgowiu. Brain Res. 477: 152-156.

    1. Rossi DJ,
    2. Slater NT

    (1993) Rozwój aktywności kanału receptora NMDA podczas migracji neuronów. Neuropharmacology 32: 1239-1248.

    1. Rumelhart DE,
    2. Hinton GE,
    3. Williams RJ

    (1986) Uczenie się wewnętrznych reprezentacji poprzez propagację błędów. w równoległym rozproszonym przetwarzaniu I, eds Rumelhart DE, McClelland JL (MIT Press, Cambridge, MA), pp 318 – 362.

    1. Sah P.,
    2. Hestrin S.,
    3. Nicoll RA

    (1989) Tonizująca aktywacja receptorów NMDA przez otaczający glutaminian zwiększa pobudliwość neuronów. nauka 246: 815-818.

    1. Salamone JD

    (1987) Działania leków neuroleptycznych na apetytowe zachowania instrumentalne. w Podręcznik psychofarmakologii, red. Iversen LL, Iversen SD, Snyder SH (Plenum, Nowy Jork), 19: 576 – 608.

    1. Salamone JD

    (1992) Złożone funkcje motoryczne i sensomotoryczne dopaminy prążkowia i półleżącej: zaangażowanie w procesy zachowań instrumentalnych. Psychopharmacology 107: 160-174.

    1. Sands SB,
    2. Barish ME A

    (1989) ilościowy opis reakcji neurotransmiterów pobudzających aminokwasów na hodowanych ambrionalnych neuronach rdzeniowych Jenopusa. Brain Res. 502: 375-386.

    1. Sara SJ,
    2. Segal M.

    (1991) Plastyczność reakcji czuciowych neuronów locus coeruleus w zachowującym się szczurze: implikacje dla poznania. Wałówka. Brain Res. 88: 571-585.

    1. Sawaguchi T.,
    2. Goldman-Rakic ​​PS

    (1991) D1 Receptory dopaminy w korze przedczołowej: udział w pamięci roboczej. nauka 251: 947-950.

    1. Scarnati E.,
    2. Proia A.,
    3. Campana E.,
    4. Pacitti C. A

    (1986) badanie mikrodetoforetyczne nad naturą domniemanego neuroprzekaźnika synaptycznego biorącego udział w szlaku pobudzającym szczurów u psów z rodziny prącia kolczystego i istoty czarnej. Exp. Brain Res. 62: 470-478.

    1. Schultz W.

    (1986) Odpowiedzi neuronów dopaminowych śródmózgowia na behawioralne bodźce wyzwalające u małpy. J. Neurophysiol. 56: 1439-1462.

    1. Schultz W.,
    2. Apicella P.,
    3. Ljungberg T.

    (1993) Odpowiedzi małpich neuronów dopaminowych na nagradzanie i warunkowanie bodźców podczas kolejnych etapów uczenia się zadania z opóźnioną odpowiedzią. J. Neurosci. 13: 900-913.

    1. Schultz W.,
    2. Apicella P.,
    3. Romo R.,
    4. Scarnati E.

    (1995a) Aktywność zależna od kontekstu w prążkowiu prymasa odzwierciedlająca przeszłe i przyszłe zdarzenia behawioralne. w modelach przetwarzania informacji w basal ganglia, red. Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 11 – 28.

    1. Schultz W.,
    2. Apicella P.,
    3. Scarnati E.,
    4. Ljungberg T.

    (1992) Aktywność neuronalna w prążkowiu małpim brzusznym związana z oczekiwaniem nagrody. J. Neurosci. 12: 4595-4610.

    1. Schultz W.,
    2. Dayan P.,
    3. Montague RR A

    (1997) neuronowy substrat predykcji i nagrody. nauka 275: 1593-1599.

    1. Schultz W.,
    2. Romo R.

    (1987) Odpowiedzi nigrostriatalnych neuronów dopaminowych na stymulację somatosensoryczną o wysokiej intensywności u znieczulonej małpy. J. Neurophysiol. 57: 201-217.

    1. Schultz W.,
    2. Romo R.

    (1990) Neurony dopaminowe śródmózgowia małpy: nieprzewidziane reakcje na bodźce wywołujące natychmiastowe reakcje behawioralne. J. Neurophysiol. 63: 607-624.

    1. Schultz W.,
    2. Romo R.,
    3. Ljungberg T.,
    4. Mirenowicz J.,
    5. Hollerman JR,
    6. Dickinson A.

    (1995b) Sygnały związane z nagrodami przenoszone przez neurony dopaminowe. w Modelach przetwarzania informacji w Basal Ganglia, red. Houk JC, Davis JL, Beiser DG (MIT Press, Cambrdige, MA), pp 233 – 248.

    1. Schultz W.,
    2. Ruffieux A.,
    3. Aebischer P.

    (1983) Aktywność neuronów zwartych pars istoty czarnej małpy w odniesieniu do aktywacji motorycznej. Exp. Brain Res. 51: 377-387.

    1. Sears LL,
    2. Steinmetz JE

    (1991) Grzbietowa dolna aktywność oliwkowa zmniejsza się podczas nabywania królika uwarunkowanej klasycznie odpowiedzi powiek. Brain Res. 545: 114-122.

    1. Selemon LD,
    2. Goldman-Rakic ​​PS

    (1990) Topograficzne przenikanie neuronów prążkowatych i striatopallidalnych w małpach rezus. J. Comp. Neurol. 297: 359-376.

    1. Sesack SR,
    2. Aoki C.,
    3. Pickel VM

    (1994) Ultrastrukturalna lokalizacja immunoreaktywności podobnej do receptora D2 w neuronach dopaminowych śródmózgowia i ich celach prążkowia. J. Neurosci. 14: 88-106.

    1. Sesack SR,
    2. Pickel VM

    (1992) Eferente kory przedczołowej w synapsie szczura na nieznakowanych celach neuronowych końców katecholamin w jądrze półleżącym septi i neuronach dopaminowych w brzusznym obszarze nakrywkowym. J. Comp. Neurol. 320: 145-160.

    1. Simon H.,
    2. Scatton B.,
    3. LeMoal M.

    (1980) Dopaminergiczne neurony A10 biorą udział w funkcjach poznawczych. Natura 286: 150-151.

    1. Smith AD,
    2. Bolam JP

    (1990) Sieć neuronowa zwojów podstawy, ujawniona przez badanie połączeń synaptycznych zidentyfikowanych neuronów. Trendy Neurosci. 13: 259-265.

    1. Smith ID,
    2. Grace AA

    (1992) Rola jądra podwzgórza w regulacji aktywności neuronów dopaminowych w nigral. Synapse 12: 287-303.

    1. Smith MC

    (1968) Interwał CS-US i intensywność US w klasycznym warunkowaniu odpowiedzi błonowej królika. J. Comp. Physiol. Psychol. 66: 679-687.

    1. Smith Y.,
    2. Bennett BD,
    3. Bolam JP,
    4. Rodzic A.,
    5. Sadikot AF

    (1994) Relacje synaptyczne między dopaminergicznymi aferentami a korowym lub wzgórzowym wejściem na terytorium sensomotorycznym prążkowia u małpy. J. Comp. Neurol. 344: 1-19.

    1. Smith Y.,
    2. Bolam JP

    (1990) Wyjściowe neurony i neurony dopaminergiczne istoty czarnej otrzymują wkład zawierający GABA z gałki bladej u szczura. J. Comp. Neurol. 296: 47-64.

    1. Smith Y.,
    2. Bolam JP

    (1991) Zbieżność synaptycznych danych wejściowych z prążkowia i globus pallidus na zidentyfikowanych komórkach drobnokomórkowych u szczura: badanie podwójnego znakowania wstecznego. Neuroscience 44: 45-73.

    1. Smith Y.,
    2. Hazrati L.-N.,
    3. Rodzic A.

    (1990) Skuteczne rzuty jądra podtaktycznego u małpy wiewiórki, badane metodą śledzenia wstecznego PHA-L. J. Comp. Neurol. 294: 306-323.

    1. Somogyi P.,
    2. Bolam JP,
    3. Totterdell S.,
    4. Smith AD

    (1981) Monosynaptyczny wkład z jądra półleżącego - brzusznego obszaru prążkowia do retrogradowanych neuronów nigrostriatalnych. Brain Res. 217: 245-263.

    1. Sprengelmeyer R.,
    2. Canavan AGM,
    3. Lange HW,
    4. Hömberg V.

    (1995) Asocjacyjne uczenie się w degeneracyjnych zaburzeniach neostriatalnych: kontrasty w jawnym i niejawnym zapamiętywaniu między pacjentami z chorobą Parkinsona i Huntingtona. Mov. Disord. 10: 85-91.

    1. Surmeier DJ,
    2. Eberwine J.,
    3. Wilson CJ,
    4. Stefani A.,
    5. Kitai ST

    (1992) Podtypy receptorów dopaminowych kolokalizują w neuronach prążkowo-nerwowych szczura. Proc. Natl. Acad. Sci. USA 89: 10178-10182.

    1. Stamford JA,
    2. Kruk ZL,
    3. Palij P.,
    4. Millar J.

    (1988) Dyfuzja i pobieranie dopaminy w jądrze szczurzym i jądrze półleżącym w porównaniu z zastosowaniem szybkiej woltamperometrii cyklicznej. Brain Res. 448: 381-385.

    1. Stein L.

    (1964) Samostymulacja mózgu i centralne stymulujące działanie amfetaminy. Federacja Proc. 23: 836-841.

    1. Stein L.,
    2. Xue BG,
    3. Belluzzi JD

    (1994) Wzmocnienie pękania hipokampu in vitro: poszukiwanie atomów zachowania Skinnera. J. Exp. Analny. Behav. 61: 155-168.

    1. Steinfels GF,
    2. Heym J.,
    3. Strecker RE,
    4. Jacobs BL

    (1983) Korelacje behawioralne aktywności jednostki dopaminergicznej u swobodnie poruszających się kotów. Brain Res. 258: 217-228.

    1. Suaud-Chagny MF,
    2. Dugast C.,
    3. Chergui K.,
    4. Msghina M.,
    5. Gonon F.

    (1995) Wychwyt dopaminy uwalnianej przez przepływ impulsów w układzie mezolimbicznym i prążkowia szczura in vivo. J. Neurochem. 65: 2603-2611.

    1. Suri RE,
    2. Schultz W. A.

    (1996) model uczenia neuronowego oparty na aktywności naczelnych neuronów dopaminowych. Soc. Neurosci. Abstr. 22: 1389.

    1. Sutton RS

    (1988) Nauka przewidywania metodą różnic czasowych. Uczenie maszynowe. 3: 9-44.

    1. Sutton RS,
    2. Barto AG

    (1981) W kierunku nowoczesnej teorii sieci adaptacyjnych: oczekiwanie i przewidywanie. Psychol. Obrót silnika. 88: 135-170.

    1. Tepper J. M,
    2. Martin LP,
    3. Anderson DR

    (1995) GABAA hamowane przez receptor hamowanie neuronów dopaminergicznych istoty szczurów przez neurony projekcyjne pars reticulata. J. Neurosci. 15: 3092-3103.

    1. Tesauro G.

    (1994) TD-Gammon, samouczący się program backgammon, osiąga poziom mistrzowski. Neural Comp. 6: 215-219.

    1. Thompson RF,
    2. Gluck MA

    (1991) Mózgowe substraty podstawowej asocjacyjnego uczenia się i pamięci. w Perspectives on Cognitive Neuroscience, red. Lister RG, Weingartner HJ (Oxford Univ. Press, Nowy Jork), pp. 25 – 45.

    1. Thorndike EL

    (1911) Inteligencja zwierząt: badania eksperymentalne. (MacMillan, Nowy Jork).

    1. Thorpe SJ,
    2. Rolls ET,
    3. Maddison S.

    (1983) Kora oczodołowo-czołowa: aktywność neuronalna u zachowującej się małpy. Exp. Brain Res. 49: 93-115.

    1. Toan DL,
    2. Schultz W.

    (1985) Odpowiedzi szczurzych komórek pallidum na stymulację kory mózgowej i skutki zmienionej aktywności dopaminergicznej. Neuroscience 15: 683-694.

    1. Tremblay L.,
    2. Schultz W.

    (1995) Przetwarzanie informacji związanych z nagrodami w neuronach orbitowo-czołowych naczelnych. Soc. Neurosci. Abstr. 21: 952.

    1. Trent F.,
    2. Tepper JM

    (1991) Pobudzenie rdzenia grzbietowego modyfikuje wywołaną prążkowaniem iniekcję antidromową neuronów dopaminy w nigral in vivo. Exp. Brain Res. 84: 620-630.

  • Ungerstedt, U. Adipsia i afagia po 6-hydroksydopaminie wywołały zwyrodnienie nigro-prążkowia układu dopaminowego. Acta Physiol. Scand. Suppl. 367: 95 – 117, 1971.
    1. Vankov A.,
    2. Hervé-Minvielle A.,
    3. Sara SJ

    (1995) Odpowiedź na nowość i jej szybkie przyzwyczajenie w neuronach locus coeruleus swobodnie eksplorującego szczura. Eur. J. Neurosci. 7: 1180-1187.

    1. Vriezen ER,
    2. Moscovitch M.

    (1990) Pamięć dla porządku czasowego i warunkowego uczenia asocjacyjnego u pacjentów z chorobą Parkinsona. Neuropsychologia 28: 1283-1293.

    1. Walsh JP

    (1993) Depresja pobudzającego sygnału synaptycznego w neuronach prążkowanych szczura. Brain Res. 608: 123-128.

    1. Wang Y.,
    2. Cummings SL,
    3. Gietzen DW

    (1996) Tymczasowo-przestrzenny wzór ekspresji c-fos w mózgu szczura w odpowiedzi na niezbędny niedobór aminokwasów. I. Faza wstępnego uznania. Mol. Res mózgu 40: 27-34.

    1. Watanabe M.

    (1989) Stosowność odpowiedzi behawioralnych zakodowanych w aktywności po badaniu jednostek naczelnych naczelnych. Neurosci. Łotysz. 101: 113-117.

    1. Watanabe M.

    (1990) Aktywność jednostki przedczołowej podczas asocjacyjnego uczenia się u małpy. Exp. Brain Res. 80: 296-309.

    1. Watanabe M.

    (1996) Oczekiwana nagroda w neuronach przedczołowych naczelnych. Natura 382: 629-632.

    1. Wauquier A.

    (1976) Wpływ leków psychoaktywnych na samostymulację mózgu u szczurów: przegląd. w Brain Stimulation Reward, red. Wauquier A., ​​Rolls ET (Elsevier, Nowy Jork), pp 123 – 170.

    1. Biały NM

    (1989) Nagroda czy wsparcie: jaka jest różnica? Neurosci. Biobehav. Obrót silnika. 13: 181-186.

    1. Biały NW,
    2. Milner PM

    (1992) Psychobiologia wzmacniaczy. Annu. Rev. Psychol. 43: 443-471.

    1. Wightman RM,
    2. Zimmerman JB

    (1990) Kontrola pozakomórkowego stężenia dopaminy w szczurzym prążkowiu przez przepływ impulsowy i pobieranie. Brain Res. Obrót silnika. 15: 135-144.

    1. Wickens JR,
    2. Begg AJ,
    3. Arbuthnott GW

    (1996) Dopamina odwraca depresję synaps korowo-przedsionkowych szczura, która zwykle następuje po stymulacji kory o wysokiej częstotliwości in vitro. Neuroscience 70: 1-5.

    1. Wickensa J.,
    2. Kötter R.

    (1995) Komórkowe modele zbrojenia. w Models of Information Processing in the Basal Ganglia, red. Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp. 187 – 214.

  • Widrow, G. i Hoff, M. E. Adaptacyjne obwody przełączające. IRE Western Electronic Show Conven., Conven. Zalec. część 4: 96 – 104, 1960.
  • Widrow, G. and Sterns, S. D. Adaptacyjne przetwarzanie sygnałów. Englewood Cliffs, NJ: Prentice-Hall, 1985.
    1. Williams SM,
    2. Goldman-Rakic ​​PS

    (1993) Charakterystyka unerwienia dopaminergicznego kory czołowej naczelnych przy użyciu przeciwciała specyficznego dla dopaminy. Cereb. Kora 3: 199-222.

    1. Williams GV,
    2. Millar J.

    (1990) Zależne od stężenia działania stymulowanego uwalniania dopaminy na aktywność neuronów w prążkowiu szczura. Neuroscience 39: 1-16.

    1. Williams GV,
    2. Rolls ET,
    3. Leonard CM,
    4. Rufa C.

    (1993) Reakcje neuronalne w brzusznym prążkowiu zachowującej się małpy. Behav. Brain Res. 55: 243-252.

    1. Wilsona C.,
    2. Nomikos GG,
    3. Collu M.,
    4. Fibiger HC

    (1995) Dopaminergiczne korelaty zachowań motywowanych: znaczenie napędu. J. Neurosci. 15: 5169-5178.

    1. Wilson CJ

    (1995) Udział neuronów korowych we wzorze strzelania neuronów kolczastych prążkowia. w Models of Information Processing in the Basal Ganglia, red. Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp. 29 – 50.

    1. Wilson FAW,
    2. Rolls ET

    (1990a) Reakcje neuronalne związane z nowością i znajomością bodźców wzrokowych w istocie innominata, ukośnym paśmie Broca i regionie okołokomorowym przodomózgowia naczelnych. Exp. Brain Res. 80: 104-120.

    1. Wilson FAW,
    2. Rolls ET

    (1990b) Reakcje neuronalne związane ze wzmocnieniem w podstawowej części przodomózgowia naczelnych. Brain Res. 509: 213-231.

    1. Wilson FAW,
    2. Rolls ET

    (1990c) Uczenie się i pamięć znajdują odzwierciedlenie w odpowiedziach neuronów związanych ze wzmocnieniem w przodomózgowiu podstawnym naczelnych. J. Neurosci. 10: 1254-1267.

    1. Mądry RA

    (1982) Neuroleptyki i zachowanie operantów: hipoteza anhedonii. Behav. Mózg Sci. 5: 39-87.

    1. Mądry RA

    (1996) Neurobiologia uzależnienia. Curr. Opin. Neurobiol. 6: 243-251.

    1. Wise RA,
    2. Colle L.

    (1984) Pimozyd osłabia swobodne karmienie: analiza „najlepszych wyników” ujawnia deficyt motywacyjny. Psychofarmakologia 84: 446-451.

    1. Wise RA,
    2. Hoffman DC

    (1992) Lokalizacja mechanizmów nagradzania za pomocą wstrzyknięć wewnątrzczaszkowych. Synapse 10: 247-263.

    1. Wise RA,
    2. Rompre P.-P.

    (1989) Mózg dopamina i nagroda. Annu. Rev. Psychol. 40: 191-225.

    1. Wise RA,
    2. Spindler J.,
    3. de Wit H.,
    4. Gerber GJ

    (1978) Wywołana przez neuroleptyki „anhedonia” u szczurów: pimozyd blokuje jakość pożywienia. nauka 201: 262-264.

    1. Wynne B.,
    2. Güntürkün O.

    (1995) Dopaminergiczne unerwienie telencefalonu gołębia (Columba liva): badanie z przeciwciałami przeciwko hydroksylazie tyrozynowej i dopaminie. J. Comp. Neurol. 357: 446-464.

    1. Yan Z.,
    2. Song WJ,
    3. Surmeier DJ

    (1997) Receptory dopaminowe D2 redukują Ca typu N.2+ prądy w neurosturatach cholinergicznych neostriatalnych szczura przez odgraniczoną błoną ścieżkę niewrażliwą na kinazę białkową C. J. Neurophysiol. 77: 1003-1015.

    1. Yim CY,
    2. Mogenson GJ

    (1982) Odpowiedź jądra obciąża neurony na stymulację ciała migdałowatego i jego modyfikację przez dopaminę. Brain Res. 239: 401-415.

    1. Młody AMJ,
    2. Joseph MH,
    3. Szary JA

    (1992) Zwiększone uwalnianie dopaminy in vivo w jądrze półleżącym i jądrze ogoniastym szczura podczas picia: badanie mikrodializy. Neuroscience 48: 871-876.

    1. Młody AMJ,
    2. Joseph MH,
    3. Szary JA

    (1993) Utajone hamowanie uwarunkowanego uwalniania dopaminy w jądrze szczura półleżącego. Neuroscience 54: 5-9.

    1. Yung KKL,
    2. Bolam JP,
    3. Smith AD,
    4. Hersch SM,
    5. Ciliax BJ,
    6. Levey AI

    (1995) Immunocytochemiczna lokalizacja receptorów dopaminowych D1 i D2 w zwojach podstawy szczura: mikroskopia świetlna i elektronowa. Neuroscience 65: 709-730.

  •