Dopamina w kontroli motywacyjnej: nagradzająca, awersyjna i ostrzegająca (2010)

Zobacz inne artykuły w PMC, że cytować opublikowany artykuł.

Neurony dopaminowe śródmózgowia są dobrze znane z ich silnej odpowiedzi na nagrody i ich kluczowej roli w pozytywnej motywacji. Staje się jednak coraz bardziej oczywiste, że neurony dopaminowe również przekazują sygnały związane z istotnymi, ale nie nagradzającymi doświadczeniami, takimi jak zdarzenia awersyjne i alarmujące. Tutaj dokonujemy przeglądu ostatnich postępów w zrozumieniu funkcji dopaminy w nagrodach i za nie nagradzanie. Na podstawie tych danych proponujemy, że neurony dopaminowe występują w wielu typach, które są połączone z odrębnymi sieciami mózgowymi i mają różne role w kontroli motywacyjnej. Niektóre neurony dopaminowe kodują wartość motywacyjną, wspierając sieci mózgowe w poszukiwaniu, ocenie i uczeniu się wartości. Inni kodują motywację, wspierając sieci mózgowe do orientacji, poznania i ogólnej motywacji. Oba typy neuronów dopaminowych są wzmocnione sygnałem ostrzegawczym zaangażowanym w szybkie wykrywanie potencjalnie ważnych sygnałów czuciowych. Zakładamy, że te szlaki dopaminergiczne dla wartości, istotności i alarmowania współpracują w celu wspierania zachowań adaptacyjnych.

Dopamina w motywowaniu działań poszukujących nagrody

Od dawna wiadomo, że dopamina jest ważna dla wzmocnienia i motywacji działań. Leki, które zakłócają transmisję DA zakłócają uczenie się wzmacniania, podczas gdy manipulacje, które zwiększają transmisję DA, takie jak stymulacja mózgu i uzależniające leki, często działają jako wzmacniacze (Wise, 2004). Transmisja DA jest kluczowa dla stworzenia stanu motywacji do szukania nagród (Berridge i Robinson, 1998; Salamone i wsp., 2007) i do tworzenia wspomnień stowarzyszeń cue-nagroda (Dalley i wsp., 2005). Uwalnianie DA nie jest konieczne dla wszystkich form uczenia się nagrody i nie zawsze może być „lubiane” w sensie powodowania przyjemności, ale kluczowe jest, aby cele stały się „pożądane” w sensie działań motywujących do ich osiągnięcia (Berridge i Robinson, 1998; Palmiter, 2008).

Jedna z hipotez o tym, jak dopamina wspiera uczenie się wzmacniania, polega na tym, że dostosowuje ona siłę połączeń synaptycznych między neuronami. Najprostszą wersją tej hipotezy jest to, że dopamina kontroluje plastyczność synaptyczną zgodnie ze zmodyfikowaną regułą Hebbiana, którą można z grubsza określić jako „neurony, które łączą się razem drutem, o ile tylko wybuchają dopaminy”. Innymi słowy, jeśli komórka A aktywuje komórkę B, a komórka B powoduje działanie behawioralne, które skutkuje nagrodą, wtedy dopamina zostanie uwolniona, a połączenie A → B zostanie wzmocnione (Montague i in., 1996; Schultz, 1998). Ten mechanizm pozwoliłby organizmowi nauczyć się optymalnego wyboru działań, aby uzyskać nagrody, biorąc pod uwagę wystarczające doświadczenie prób i błędów. Zgodnie z tą hipotezą dopamina ma silny wpływ na plastyczność synaptyczną w wielu regionach mózgu (Surmeier i in., 2010; Goto i in., 2010; Molina-Luna i in., 2009; Marowsky i in., 2005; Lisman i Grace, 2005). W niektórych przypadkach dopamina umożliwia plastyczność synaptyczną zgodnie z opisaną powyżej zasadą Hebbiana, w sposób skorelowany z zachowaniem szukającym nagrody (Reynolds i in., 2001). Oprócz wpływu na długotrwałą plastyczność synaptyczną, dopamina może również wywierać natychmiastową kontrolę nad obwodami nerwowymi poprzez modulowanie neuronalnej aktywności wznoszącej i połączeń synaptycznych między neuronami (Surmeier i in., 2007; Robbins i Arnsten, 2009), w niektórych przypadkach robi to w sposób, który promowałby natychmiastowe działania mające na celu uzyskanie nagrody (Frank, 2005).

Sygnały nagrody za neuron dopaminy

Aby motywować działania prowadzące do nagród, dopamina powinna być uwalniana podczas satysfakcjonujących doświadczeń. Rzeczywiście, większość neuronów DA jest silnie aktywowana przez niespodziewane nagrody podstawowe, takie jak pożywienie i woda, często wytwarzając fazowe „wybuchy” aktywności (Schultz, 1998) (wzbudzenia fazowe, w tym wielokrotne skoki (Grace i Bunney, 1983)). Jednak pionierskie badania Wolframa Schultza wykazały, że te reakcje neuronów DA nie są wywoływane przez konsumpcję nagrody per se. Zamiast tego przypominają „błąd przewidywania nagrody”, informując o różnicy między otrzymaną nagrodą a przewidywaną nagrodą (Schultz i wsp., 1997) (Rysunek 1A). Zatem, jeśli nagroda jest większa niż przewidywana, neurony DA są silnie wzbudzone (błąd przewidywania dodatniego, Rysunek 1E, czerwony); jeśli nagroda jest mniejsza niż przewidywana lub nie występuje w wyznaczonym czasie, neurony DA są hamowane fazowo (błąd przewidywania ujemnego, Rysunek 1E, niebieski); a jeśli nagroda zostanie wydana z wyprzedzeniem, aby jej rozmiar był w pełni przewidywalny, neurony DA mają niewielką lub żadną odpowiedź (błąd przewidywania zerowego, Rysunek 1C, czarny). Ta sama zasada dotyczy odpowiedzi DA na sygnały sensoryczne, które dostarczają nowych informacji o przyszłych nagrodach. Neurony DA są wzbudzane, gdy wskazówka wskazuje na wzrost przyszłej wartości nagrody (Rysunek 1C, czerwony), zablokowany, gdy wskazówka wskazuje spadek przyszłej wartości nagrody (Rysunek 1C, niebieski), i generalnie mają niewielką odpowiedź na sygnały, które nie zawierają nowych informacji o nagrodzie (Rysunek 1E, czarny). Te odpowiedzi DA przypominają specyficzny rodzaj błędu przewidywania nagrody zwanego błędem różnicy czasowej lub „błędem TD”, który zaproponowano, aby działać jako sygnał wzmacniający do uczenia się wartości działań i stanów środowiskowych (Houk i in., 1995; Montague i in., 1996; Schultz i wsp., 1997). Modele obliczeniowe wykorzystujące sygnał wzmocnienia podobny do TD mogą wyjaśniać wiele aspektów uczenia się wzmacniania u ludzi, zwierząt i samych neuronów DA (Sutton i Barto, 1981; Waelti i in., 2001; Montague i Berns, 2002; Dayan i Niv, 2008).

 

Rysunek 1

Kodowanie dopaminowe błędów przewidywania nagrody i preferencja dla informacji predykcyjnych

Imponujący zestaw eksperymentów pokazał, że sygnały DA reprezentują przewidywania nagrody w sposób, który ściśle odpowiada preferencjom behawioralnym, w tym preferencje dla dużych nagród w stosunku do małych (Tobler i in., 2005) prawdopodobne nagrody nad nieprawdopodobnymi (Fiorillo i in., 2003; Satoh i in., 2003; Morris i in., 2004) i natychmiastowe nagrody za opóźnione (Roesch i in., 2007; Fiorillo i in., 2008; Kobayashi i Schultz, 2008). Istnieją nawet dowody na to, że neurony DA u ludzi kodują wartość nagrody w postaci pieniędzy (Zaghloul i in., 2009). Ponadto sygnały DA pojawiają się podczas uczenia się z podobnym czasem do behawioralnych miar przewidywania nagrody (Hollerman i Schultz, 1998; Satoh i in., 2003; Takikawa i in., 2004; Day i in., 2007) i są skorelowane z subiektywnymi miarami preferencji nagrody (Morris i in., 2006). Odkrycia te utworzyły neurony DA jako jeden z najlepiej poznanych i najczęściej powtarzanych przykładów kodowania wynagrodzeń w mózgu. W rezultacie ostatnie badania poddały neurony DA intensywnej analizie, aby odkryć, w jaki sposób generują one prognozy wynagrodzeń i jak ich sygnały działają w strukturach niższego rzędu, aby kontrolować zachowanie.

Sygnały nagrody za neuron dopaminy

Ostatnie postępy w zrozumieniu sygnałów nagrody DA wynikają z rozważenia trzech szerokich pytań: w jaki sposób neurony DA uczą się przewidywać nagrody? Jak dokładne są ich prognozy? I co oni uważają za satysfakcjonujące?

Jak neurony DA uczą się przewidywać nagrody? Klasyczne teorie sugerują, że przewidywania nagrody są uczone poprzez stopniowy proces wzmacniania wymagający powtarzających się powiązań między bodźcami a nagrodami (Rescorla i Wagner, 1972; Montague i in., 1996). Po każdym bodźcu czasowym A następuje nieoczekiwana nagroda, szacowana wartość A wzrasta. Najnowsze dane pokazują jednak, że neurony DA wykraczają poza proste uczenie się o nagrodach i przewidywania oparte na wyrafinowanych przekonaniach na temat struktury świata. Neurony DA mogą prawidłowo przewidywać nagrody nawet w niekonwencjonalnych środowiskach, w których nagrody połączone z bodźcem powodują spadek w wartości tego bodźca (Satoh i in., 2003; Nakahara i in., 2004; Bromberg-Martin i in., 2010c) lub spowodować zmianę wartości zupełnie innego bodźca (Bromberg-Martin i in., 2010b). Neurony DA mogą również dostosować swoje sygnały nagrody w oparciu o statystyki wyższego rzędu rozkładu nagrody, takie jak sygnały błędu prognozowania skalowania w oparciu o ich oczekiwaną wariancję (Tobler i in., 2005) i „spontaniczne odzyskiwanie” odpowiedzi na wygasłe wskazówki dotyczące wynagrodzeń (Pan i in., 2008). Wszystkie te zjawiska tworzą niezwykłą równoległość do podobnych efektów obserwowanych w adaptacji sensorycznej i ruchowej (Braun i in., 2010; Fairhall i in., 2001; Shadmehr i in., 2010), sugerując, że mogą odzwierciedlać ogólny mechanizm neuronalny do uczenia się predykcyjnego.

Jak dokładne są prognozy nagród DA? Ostatnie badania wykazały, że neurony DA wiernie dostosowują swoje sygnały nagrody, aby uwzględnić trzy źródła niepewności przewidywania. Po pierwsze, ludzie i zwierzęta cierpią z powodu wewnętrznego szumu czasowego, który uniemożliwia im rzetelne przewidywanie długich przedziałów czasowych cue-nagroda (Gallistel i Gibbon, 2000). Zatem, jeśli opóźnienia cue-reward są krótkie (sekundy 1 – 2), przewidywania czasu są dokładne, a dostarczanie nagrody wyzwala małą odpowiedź DA, ale dla dłuższych opóźnień cue-nagroda przewidywania czasu stają się mniej wiarygodne, a nagrody wywołują wyraźne wybuchy DA (Kobayashi i Schultz, 2008; Fiorillo i in., 2008). Po drugie, wiele wskazówek w życiu codziennym jest nieprecyzyjnych, określających szeroki rozkład czasów realizacji nagród. Neurony DA ponownie odzwierciedlają tę formę niepewności synchronizacji: są one stopniowo hamowane podczas zmiennych opóźnień nagrody, jak gdyby sygnalizowały coraz bardziej negatywne błędy przewidywania nagrody w każdej chwili, gdy nagroda nie pojawia się (Fiorillo i in., 2008; Bromberg-Martin i in., 2010a; Nomoto i in., 2010). Wreszcie, wiele wskazówek jest złożonych percepcyjnie, co wymaga szczegółowej kontroli, aby dojść do jednoznacznego wniosku o ich wartości nagrody. W takich sytuacjach sygnały nagrody DA pojawiają się przy długich opóźnieniach i stopniowo, wydają się odzwierciedlać stopniowy przepływ informacji percepcyjnych w miarę dekodowania wartości bodźca (Nomoto i in., 2010).

Jakie wydarzenia traktują neurony DA jako satysfakcjonujące? Konwencjonalne teorie uczenia się za wynagrodzeniem sugerują, że neurony DA przypisują wartość w oparciu o oczekiwaną kwotę przyszłej nagrody podstawowej (Montague i in., 1996). Jednak nawet gdy tempo pierwotnej nagrody jest utrzymywane na stałym poziomie, ludzie i zwierzęta często wyrażają dodatkową preferencję dla przewidywalności - poszukując środowisk, w których rozmiar, prawdopodobieństwo i czas każdej nagrody mogą być znane z wyprzedzeniem (Daly, 1992; Chew and Ho, 1994; Ahlbrecht i Weber, 1996). Ostatnie badania na małpach wykazały, że neurony DA sygnalizują tę preferencję (Bromberg-Martin i Hikosaka, 2009). Małpy wyraziły silną preferencję, aby przejrzeć informacyjne wskazówki wizualne, które pozwoliłyby im przewidzieć wielkość przyszłej nagrody, a nie nieinformacyjne wskazówki, które nie dostarczały nowych informacji. Równolegle neurony DA były podekscytowane możliwością obejrzenia wskazówek informacyjnych w sposób skorelowany z preferencjami behawioralnymi zwierzęcia (Rysunek 1B, D). Sugeruje to, że neurony DA nie tylko motywują działania w celu uzyskania nagród, ale także motywują działania do dokładnego przewidywania tych nagród, w celu zapewnienia, że ​​nagrody mogą być odpowiednio przewidywane i przygotowywane z wyprzedzeniem.

Podsumowując, odkrycia te pokazują, że sygnały błędu przewidywania nagrody DA są wrażliwe na wyrafinowane czynniki, które informują o przewidywaniach wynagrodzeń dla ludzi i zwierząt, w tym adaptację do statystyk nagród wyższego rzędu, niepewność nagrody i preferencje dotyczące informacji predykcyjnych.

Wpływ fazowych sygnałów nagrody dopaminowej na struktury poniżej

Odpowiedzi nagrody DA występują w synchronicznych impulsach fazowych (Joshua i in., 2009b), wzorzec odpowiedzi, który kształtuje uwalnianie DA w strukturach docelowych (Gonon, 1988; Zhang i in., 2009; Tsai i in., 2009). Od dawna sądzono, że te wybuchy fazowe wpływają w różny sposób na uczenie się i motywację z tonicznej aktywności DA (Grace, 1991; Grace i in., 2007; Schultz, 2007; Lapish i in., 2007). Ostatnio opracowana technologia umożliwiła potwierdzenie tej hipotezy poprzez kontrolowanie aktywności neuronów DA z precyzją przestrzenną i czasową. Optogenetyczna stymulacja neuronów VTA DA wywołuje silną warunkową preferencję miejsca, która występuje tylko wtedy, gdy stymulacja jest stosowana w rozrywającym wzorze (Tsai i in., 2009). Odwrotnie, genetyczny nokaut receptorów NMDA z neuronów DA, który upośledza pękanie pozostawiając aktywność toniczną w dużej mierze nienaruszoną, powoduje selektywne upośledzenie specyficznych form uczenia się nagrody (Zweifel i in., 2009; Parker i in., 2010) (chociaż zauważ, że ten nokaut osłabia również plastyczność synaptyczną neuronów DA (Zweifel i in., 2008)). Błyski DA mogą wzmacniać uczenie się nagrody poprzez rekonfigurację lokalnych obwodów neuronowych. Warto zauważyć, że predykcyjne nagrody DA są wysyłane do określonych regionów jądra półleżącego, a regiony te mają szczególnie wysoki poziom przewidywalnej aktywności neuronalnej (Cheer i in., 2007; Owesson-White i in., 2009).

W porównaniu z impulsami fazowymi mniej wiadomo o znaczeniu przerw fazowych w aktywności skokowej dla błędów przewidywania ujemnej nagrody. Przerwy te powodują mniejsze zmiany szybkości skoków, są mniej modulowane przez oczekiwanie nagrody (Bayer i Glimcher, 2005; Joshua i in., 2009a; Nomoto i in., 2010) i może mieć mniejszy wpływ na naukę (Rutledge i in., 2009). Jednak niektóre typy uczenia się błędów przewidywania negatywnego wymagają VTA (Takahashi i in., 2009), sugerując, że przerwy fazowe mogą być wciąż dekodowane przez struktury niższego rzędu.

Ponieważ wybuchy i przerwy powodują bardzo różne wzorce uwalniania DA, mogą one wpływać na struktury niższego rzędu poprzez różne mechanizmy. Istnieją najnowsze dowody na tę hipotezę w jednym głównym celu neuronów DA, prążkowiu grzbietowym. Neurony projekcji prążkowia grzbietowego występują w dwóch typach, które wyrażają różne receptory DA. Jeden typ wyraża receptory D1 i projektuje do zwojów podstawy mózgu „bezpośrednią ścieżkę” w celu ułatwienia ruchów ciała; drugi typ wyraża receptory D2 i projekty „drogi pośredniej” w celu tłumienia ruchów ciała (Rysunek 2) (Albin i in., 1989; Gerfen i in., 1990; Kravitz i in., 2010; Hikida i in., 2010). Opierając się na właściwościach tych szlaków i receptorów, wysunięto teorię, że rozbłyski DA wytwarzają warunki wysokiej DA, aktywują receptory D1 i powodują, że bezpośrednia droga wybierania ruchów o wysokiej wartości (Rysunek 2A), podczas gdy DA wstrzymuje wytwarzanie warunków o niskiej DA, hamuje receptory D2 i powoduje, że szlak pośredni tłumi ruchy o niskiej wartości (Rysunek 2B) (Frank, 2005; Hikosaka, 2007). Zgodnie z tą hipotezą wysoka aktywacja receptora DA promuje wzmocnienie synaps korowo-prążkowia na drodze bezpośredniej (Shen i in., 2008) i wyciąganie wniosków z pozytywnych wyników (Frank i in., 2004; Voon i wsp., 2010), podczas gdy blokada receptora prążkowia D1 selektywnie zaburza ruchy do nagrodzonych celów (Nakamura i Hikosaka, 2006). W analogiczny sposób aktywacja niskiego receptora DA promuje wzmocnienie synaps korowo-prążkowia na szlaku pośrednim (Shen i in., 2008) i uczenie się na negatywnych skutkach (Frank i in., 2004; Voon i wsp., 2010), podczas gdy blokada receptora prążkowia D2 selektywnie tłumi ruchy do nie nagrodzonych celów (Nakamura i Hikosaka, 2006). Ten podział funkcji receptora D1 i D2 w kontroli motywacyjnej wyjaśnia wiele skutków genów związanych z DA na ludzkie zachowanie (Ullsperger, 2010; Frank i Fossella, 2010) i może rozciągać się poza prążkowate grzbietowe, ponieważ istnieją dowody na podobny podział pracy w prążkowiu brzusznym (Grace i in., 2007; Lobo i in., 2010).

 

Rysunek 2

Kontrola dopaminy dodatniej i ujemnej motywacji w prążkowiu grzbietowym

Chociaż powyższy schemat przedstawia prosty obraz kontroli zachowania fazowego DA poprzez jego wpływ na prążkowie, pełny obraz jest znacznie bardziej złożony. DA wpływa na zachowanie związane z nagrodą, działając na wiele obszarów mózgu, w tym na korę przedczołową (Hitchcott i in., 2007), kora nosowa (Liu i wsp., 2004), hipokamp (Packard and White, 1991; Grecksch i Matties, 1981) i ciało migdałowate (Phillips i wsp., 2010). Skutki DA mogą się znacznie różnić między tymi regionami ze względu na zmiany gęstości unerwienia DA, transporterów DA, enzymów metabolicznych, autoreceptorów, receptorów i sprzęgania receptorów z wewnątrzkomórkowymi szlakami sygnalizacyjnymi (Neve i in., 2004; Bentivoglio i Morelli, 2005; Frank i Fossella, 2010). Ponadto, przynajmniej w VTA, neurony DA mogą mieć różne właściwości komórkowe w zależności od ich celów projekcyjnych (Lammel i in., 2008; Margolis i in., 2008), a niektóre mają niezwykłą zdolność do przekazywania glutaminianu, jak również dopaminy (Descarries i in., 2008; Chuhma i in., 2009; Hnasko i in., 2010; Tecuapetla i in., 2010; Stuber i in., 2010; Birgner i in., 2010). Zatem pełny zakres kontroli neuronów DA nad przetwarzaniem neuronowym dopiero zaczyna być ujawniany.

Różnorodne reakcje dopaminowe na wydarzenia awersyjne

Odpowiedź neuronu na zdarzenia awersyjne stanowi kluczowy test jego funkcji w kontroli motywacyjnej (Schultz, 1998; Berridge i Robinson, 1998; Redgrave i in., 1999; Horvitz, 2000; Joseph i in., 2003). Pod wieloma względami traktujemy wydarzenia nagradzające i awersyjne w przeciwny sposób, odzwierciedlając ich przeciwieństwo wartość motywacyjna. Poszukujemy nagród i przypisujemy im wartość dodatnią, podczas gdy unikamy awersyjnych wydarzeń i przypisujemy im wartość ujemną. Pod innymi względami traktujemy wydarzenia nagradzające i awersyjne w podobny sposób, odzwierciedlając ich podobne znaczenie motywacyjne [FOOTNOTE1]. Zarówno nagradzające, jak i awersyjne wydarzenia wyzwalają orientację uwagi, przetwarzanie poznawcze i wzrost ogólnej motywacji.

Które z tych funkcji wspierają neurony DA? Od dawna wiadomo, że stresujące i awersyjne doświadczenia powodują duże zmiany w stężeniach DA w dalszych strukturach mózgu i że reakcje behawioralne na te doświadczenia są dramatycznie zmienione przez agonistów DA, antagonistów i uszkodzenia (Salamone, 1994; Di Chiara, 2002; Pezze i Feldon, 2004; Young i wsp., 2005). Badania te dały uderzającą różnorodność wyników (Levita i in., 2002; Di Chiara, 2002; Young i wsp., 2005). Wiele badań jest zgodnych z neuronami DA kodującymi istotność motywacyjną. Donoszą, że wydarzenia awersyjne zwiększają poziomy DA i że awersja behawioralna jest wspierana przez wysoki poziom transmisji DA (Salamone, 1994; Joseph i in., 2003; Ventura i in., 2007; Barr i in., 2009; Fadok i in., 2009) w tym fazowe wybuchy DA (Zweifel i in., 2009). Ale inne badania są bardziej spójne z neuronami DA kodującymi wartość motywacyjną. Donoszą, że wydarzenia awersyjne zmniejszają poziomy DA i że niechęć behawioralna jest wspierana przez niski poziom transmisji DA (Mark i in., 1991; Shippenberg i wsp., 1991; Liu i wsp., 2008; Roitman i wsp., 2008). W wielu przypadkach te mieszane wyniki znaleziono w pojedynczych badaniach, co wskazuje, że doświadczenia awersyjne powodują różne wzory uwalniania DA w różnych strukturach mózgu (Thierry i in., 1976; Besson i Louilot, 1995; Ventura i in., 2001; Jeanblanc i in., 2002; Bassareo i in., 2002; Pascucci i in., 2007), i że leki związane z DA mogą wytworzyć mieszankę efektów neuronalnych i behawioralnych podobnych do tych powodowanych zarówno przez satysfakcjonujące, jak i awersyjne doświadczenia (Ettenberg, 2004; Wheeler i in., 2008).

Ta różnorodność wzorców uwalniania DA i funkcji jest trudna do pogodzenia z ideą, że neurony DA przekazują jednolity sygnał motywacyjny do wszystkich struktur mózgu. Te zróżnicowane odpowiedzi można jednak wyjaśnić, jeśli same neurony DA są zróżnicowane - złożone z wielu populacji neuronalnych, które obsługują różne aspekty przetwarzania awersyjnego. Pogląd ten jest wspierany przez badania zapisu neuronalnego u znieczulonych zwierząt. Badania te wykazały, że szkodliwe bodźce wywołują pobudzenie w niektórych neuronach DA, ale hamowanie w innych neuronach DA (Chiodo i in., 1980; Maeda i Mogenson, 1982; Schultz i Romo, 1987; Mantz i in., 1989; Gao i in., 1990; Coizet i in., 2006). Co ważne, zarówno reakcje pobudzające, jak i hamujące występują w neuronach, w których potwierdzono, że są dopaminergiczne, za pomocą znakowania zewnątrzkomórkowego (Brischoux i in., 2009) (Rysunek 3). Podobna różnorodność odpowiedzi awersyjnych występuje podczas aktywnego zachowania. Różne grupy neuronów DA są fazowo wzbudzane lub hamowane przez awersyjne zdarzenia, w tym szkodliwą stymulację skóry (Kiyatkin, 1988a; Kiyatkin, 1988b), sygnały sensoryczne przewidujące wstrząsy awersyjne (Guarraci i Kapp, 1999), awersyjne aerozole (Matsumoto i Hikosaka, 2009b) i sygnały sensoryczne przewidujące lotne awersje (Matsumoto i Hikosaka, 2009b; Joshua i in., 2009a). Ponadto, gdy dwa neurony DA są rejestrowane jednocześnie, ich odpowiedzi awersyjne generalnie mają niewielką korelację próba-próba ze sobą (Joshua i in., 2009b), sugerując, że odpowiedzi awersyjne nie są skoordynowane w całej populacji DA jako całości.

 

Rysunek 3

Różnorodne reakcje neuronów dopaminowych na zdarzenia awersyjne

Aby zrozumieć funkcje tych różnorodnych odpowiedzi awersyjnych, musimy wiedzieć, w jaki sposób są one łączone z reakcjami nagrody, aby wygenerować znaczący sygnał motywacyjny. Ostatnie badanie dotyczyło tego tematu i ujawniło, że neurony DA są podzielone na wiele populacji z różnymi sygnałami motywacyjnymi (Matsumoto i Hikosaka, 2009b). Jedna populacja jest podekscytowana nagradzaniem wydarzeń i hamowana przez awersyjne wydarzenia, jak w przypadku kodowania wartość motywacyjna (Rysunek 4A). Druga populacja jest podekscytowana zarówno nagradzającymi, jak i awersyjnymi wydarzeniami w podobny sposób, jak w przypadku kodowania znaczenie motywacyjne (Rysunek 4B). W obu tych populacjach wiele neuronów jest wrażliwych na przewidywania nagród i awersji: reagują, gdy nagradzające wydarzenia są bardziej satysfakcjonujące niż przewidywano i kiedy wydarzenia awersyjne są bardziej awersyjne niż przewidywano (Matsumoto i Hikosaka, 2009b). Pokazuje to, że ich reakcje awersyjne są naprawdę spowodowane przez przewidywania dotyczące zdarzeń awersyjnych, wykluczając możliwość, że mogą być one spowodowane przez niespecyficzne czynniki, takie jak surowy sygnał sensoryczny lub uogólnione skojarzenia z nagrodą (Schultz, 2010). Te dwie populacje różnią się jednak szczegółowym charakterem ich kodu predykcyjnego. Wartość motywacyjna kodująca neurony DA koduje dokładny sygnał błędu prognozowania, w tym silne hamowanie przez pominięcie nagród i łagodne wzbudzenie przez pominięcie zdarzeń awersyjnych (Rysunek 4A, dobrze). W przeciwieństwie do tego, istotność motywacyjna kodująca neurony DA reaguje, gdy występują istotne zdarzenia, ale nie wtedy, gdy są nieobecne (Rysunek 4B, prawda), zgodne z teoretycznymi pojęciami pobudzenia (Lang and Davis, 2006) [FOOTNOTE2]. Dowody na te dwie populacje neuronów DA zaobserwowano nawet wtedy, gdy aktywność neuronalna została zbadana w sposób uśredniony. Zatem badania ukierunkowane na różne części układu DA wykryły fazowe sygnały DA kodujące zdarzenia awersyjne z hamowaniem (Roitman i wsp., 2008), podobnie jak kodowanie wartości motywacyjnej lub z pobudzeniem (Joshua i in., 2008; Anstrom i in., 2009), podobny do kodowania znaczenia motywacyjnego.

 

Rysunek 4

Wyraźne populacje neuronów dopaminowych kodujące wartość motywacyjną i istotność

Te ostatnie odkrycia mogą wydawać się sprzeczne z wczesnym doniesieniem, że neurony DA reagują preferencyjnie raczej na sygnały nagrody niż na awersyjne sygnały (Mirenowicz i Schultz, 1996). Jednak po dokładnym zbadaniu nawet to badanie jest w pełni zgodne z kodowaniem wartości DA i istotności. W tym badaniu wskazówki dotyczące nagrody prowadziły do ​​wyników nagrody z dużym prawdopodobieństwem (> 90%), podczas gdy sygnały awersyjne prowadziły do ​​niekorzystnych wyników z niskim prawdopodobieństwem (<10%). Dlatego neurony DA kodujące wartość i istotność miałyby niewielką odpowiedź na sygnały awersyjne, dokładnie kodując ich niski poziom awersyjności.

Funkcjonalna rola sygnałów wartości motywacyjnej i istotności

Podsumowując, powyższe odkrycia wskazują, że neurony DA są podzielone na wiele populacji odpowiednich dla różnych ról w kontroli motywacyjnej. Motywacyjna wartość kodująca neurony DA dobrze pasuje do obecnych teorii neuronów dopaminowych i przetwarzania nagrody (Schultz i wsp., 1997; Berridge i Robinson, 1998; Wise, 2004). Neurony te kodują kompletny sygnał błędu prognozowania i kodują zdarzenia nagradzające i awersyjne w przeciwnych kierunkach. W ten sposób te neurony dostarczają odpowiedniego pouczającego sygnału do poszukiwania, oceny i uczenia się wartości (Rysunek 5). Jeśli bodziec powoduje wzbudzanie neuronów DA kodujących wartość, powinniśmy się do niego zbliżyć, przypisać mu wysoką wartość i nauczyć się działań, które będą go szukać w przyszłości. Jeśli bodziec powoduje blokowanie neuronów DA kodujących wartość, powinniśmy go unikać, przypisać mu niską wartość i nauczyć się działań, aby go uniknąć w przyszłości.

 

Rysunek 5

Hipotetyczne funkcje wartości motywacyjnej, istotności i sygnałów alarmowych

W przeciwieństwie do tego, istotność motywacyjna kodująca neurony DA dobrze pasuje do teorii neuronów dopaminowych i przetwarzania istotnych zdarzeń (Redgrave i in., 1999; Horvitz, 2000; Joseph i in., 2003; Kapur, 2003). Neurony te są wzbudzane zarówno przez zdarzenia nagradzające, jak i awersyjne i mają słabsze reakcje na zdarzenia neutralne, zapewniając odpowiedni instruktażowy sygnał dla obwodów nerwowych, aby nauczyć się wykrywać, przewidywać i reagować na sytuacje o dużym znaczeniu. Tutaj rozważymy trzy takie systemy mózgowe (Rysunek 5). Po pierwsze, obwody neuronowe do orientacji wzrokowej i uwagi są kalibrowane, aby odkrywać informacje o wszystkich rodzajach zdarzeń, zarówno satysfakcjonujących, jak i awersyjnych. Na przykład zarówno sygnały nagrody, jak i awersji przyciągają reakcje orientacji skuteczniej niż sygnały neutralne (Lang and Davis, 2006; Matsumoto i Hikosaka, 2009b; Austin i Duka, 2010). Po drugie, zarówno satysfakcjonujące, jak i awersyjne sytuacje angażują systemy neuronowe do kontroli poznawczej i wyboru działań - musimy zaangażować pamięć roboczą, aby zachować informacje, rozwiązanie konfliktu, aby zdecydować o kierunku działania, i pamięć długoterminową, aby zapamiętać wynik (Bradley i wsp., 1992; Botvinick i wsp., 2001; Savine i in., 2010). Po trzecie, zarówno sytuacje nagradzające, jak i awersyjne wymagają zwiększenia ogólnej motywacji do pobudzania działań i zapewnienia ich prawidłowego wykonania. Istotnie, neurony DA mają kluczowe znaczenie w motywowaniu do osiągania celów o wysokiej wartości i przekładaniu wiedzy o wymaganiach dotyczących zadań na niezawodne działanie silnika (Berridge i Robinson, 1998; Mazzoni i in., 2007; Niv i in., 2007; Salamone i wsp., 2007).

Wzbudzenie dopaminy przez alarmowanie sygnałów czuciowych

Oprócz ich sygnałów kodujących wartość motywacyjną i istotność, większość neuronów DA ma także błyskawiczne odpowiedzi na kilka rodzajów zdarzeń zmysłowych, które nie są bezpośrednio związane z satysfakcjonującymi lub awersyjnymi doświadczeniami. Te odpowiedzi były teoretycznie uzależnione od szeregu czynników neuronalnych i psychologicznych, w tym bezpośredniego wprowadzania sensorycznego, zaskoczenia, nowości, pobudzenia, uwagi, wyostrzenia, uogólnienia i pseudo-warunkowania (Schultz, 1998; Redgrave i in., 1999; Horvitz, 2000; Lisman i Grace, 2005; Redgrave i Gurney, 2006; Joshua i in., 2009a; Schultz, 2010).

Tutaj spróbujemy zsyntetyzować te idee i wyjaśnić te odpowiedzi DA w kategoriach pojedynczego sygnału bazowego, a sygnał ostrzegawczy (Rysunek 5). Termin „alarmowanie” został użyty przez Schultza (Schultz, 1998) jako ogólny termin na wydarzenia, które przyciągają uwagę. Tutaj użyjemy go w bardziej szczegółowym znaczeniu. Przez zdarzenie alarmujące rozumiemy nieoczekiwaną wskazówkę sensoryczną, która przyciąga uwagę opartą na szybkiej ocenie jej potencjalnego znaczenia, przy użyciu prostych cech, takich jak lokalizacja, rozmiar i modalność sensoryczna. Takie alarmujące zdarzenia często wywołują natychmiastowe reakcje behawioralne w celu ich zbadania i określenia ich dokładnego znaczenia. Tak więc sygnały ostrzegawcze DA zwykle pojawiają się przy krótkich opóźnieniach, są oparte na szorstkich cechach bodźca i są najlepiej skorelowane z natychmiastowymi reakcjami, takimi jak reakcje orientacji (Schultz i Romo, 1990; Joshua i in., 2009a; Schultz, 2010). Jest to przeciwieństwo innych sygnałów motywacyjnych w neuronach DA, które zwykle występują przy dłuższych latencjach, uwzględniają dokładną tożsamość bodźca i są najlepiej skorelowane z rozważanymi działaniami behawioralnymi, takimi jak decyzje o podejściu lub unikaniu (Schultz i Romo, 1990; Joshua i in., 2009a; Schultz, 2010).

Reakcje alarmowania DA mogą być wywoływane przez zaskakujące zdarzenia sensoryczne, takie jak nieoczekiwane błyski światła i kliknięcia słuchowe, które wywołują wyraźne wzbudzenia impulsów w 60-90% neuronów DA w całym SNc i VTA (Strecker i Jacobs, 1985; Horvitz i in., 1997; Horvitz, 2000) (Rysunek 6A). Te alarmujące reakcje wydają się odzwierciedlać stopień, w jakim bodziec jest zaskakujący i przyciąga uwagę; są zredukowane, jeśli bodziec występuje w przewidywalnych czasach, jeśli uwaga jest angażowana gdzie indziej lub podczas snu (Schultz, 1998; Takikawa i in., 2004; Strecker i Jacobs, 1985; Steinfels i in., 1983). Na przykład nieoczekiwany dźwięk kliknięcia wywołuje wyraźny wybuch DA, gdy kot jest w stanie biernego spokojnego budzenia się, ale nie ma żadnego efektu, gdy kot angażuje się w czynności wymagające uwagi, takie jak polowanie na szczura, karmienie, pielęgnacja, głaskanie przez eksperymentatora i tak dalej (Strecker i Jacobs, 1985) (Rysunek 6A). Podobnie reakcje serii DA są wywoływane przez zdarzenia sensoryczne, które są słabe fizycznie, ale alarmują z powodu ich nowości (Ljungberg i in., 1992; Schultz, 1998). Odpowiedzi te przyzwyczajają się, gdy nowy bodziec staje się znajomy, równolegle z przyzwyczajeniem reakcji orientujących (Rysunek 6B). Zgodne z tymi odkryciami, zaskakujące i nowe wydarzenia wywołują uwalnianie DA w dalszych strukturach (Lisman i Grace, 2005) i aktywować obwody mózgu związane z DA w sposób, który kształtuje przetwarzanie nagrody (Zink i in., 2003; Davidson i in., 2004; Duzel i in., 2010).

 

Rysunek 6

Reakcje pobudzające neuron dopaminowy na zdarzenia alarmowe

Reakcje alarmowania DA są również wywoływane przez nieoczekiwane sygnały sensoryczne, które mogą dostarczyć nowych informacji o istotnych wydarzeniach motywacyjnych. Zgodnie z oczekiwaniami dla sygnału ostrzegawczego o krótkim opóźnieniu, odpowiedzi te są raczej nieselektywne: są one wyzwalane przez dowolny bodziec, który jedynie przypomina motywująco istotny sygnał, nawet jeśli podobieństwo jest bardzo niewielkie (zjawisko zwane uogólnieniem) (Schultz, 1998). W rezultacie neurony DA często reagują na bodziec mieszaniną dwóch sygnałów: szybki sygnał ostrzegawczy kodujący fakt, że bodziec jest potencjalnie ważne, a drugi koduje jego sygnał rzeczywisty satysfakcjonujące lub awersyjne znaczenie (Schultz i Romo, 1990; Waelti i in., 2001; Tobler i in., 2003; Day i in., 2007; Kobayashi i Schultz, 2008; Fiorillo i in., 2008; Nomoto i in., 2010) (widzieć (Kakade i Dayan, 2002; Joshua i in., 2009a; Schultz, 2010) do wglądu). Przykład można zobaczyć w zestawie znaczeń motywacyjnych kodujących neurony DA pokazane na Rysunek 6C (Bromberg-Martin i in., 2010a). Neurony te były podekscytowane sygnałami nagrody i awersji, ale były także podekscytowane neutralną wskazówką. Sygnał neutralny nigdy nie był połączony z wynikami motywacyjnymi, ale miał (bardzo niewielkie) fizyczne podobieństwo do nagród i awersyjnych wskazówek.

Te alarmujące reakcje wydają się ściśle związane ze zdolnością czuciowej wskazówki do wyzwalania reakcji orientujących, aby zbadać ją dalej i odkryć jej znaczenie. Można to zauważyć w trzech znaczących właściwościach. Po pierwsze, reakcje alarmowe występują tylko w przypadku sygnałów zmysłowych, które muszą zostać zbadane w celu określenia ich znaczenia, a nie w przypadku zdarzeń nagradzających lub awersyjnych, takich jak dostarczanie soku lub aerozoli (Schultz, 2010). Po drugie, alarmujące reakcje pojawiają się tylko wtedy, gdy sygnał jest potencjalnie ważny i ma zdolność do wyzwalania reakcji orientacyjnych, a nie wtedy, gdy sygnał jest nieistotny dla danego zadania i nie wywołuje reakcji orientujących (Schultz i Romo, 1990). Po trzecie, reakcje alarmowe są wzmocnione w sytuacjach, w których sygnały mogłyby wywołać nagłe przesunięcie uwagi - gdy pojawiają się w nieoczekiwanym czasie lub z dala od centrum spojrzenia (Bromberg-Martin i in., 2010a). Tak więc, gdy motywacyjne sygnały są przedstawiane z nieprzewidywalnym czasem, wyzwalają natychmiastowe reakcje orientacji i uogólnioną reakcję ostrzegania DA - pobudzenie przez wszystkie sygnały, w tym sygnały neutralne (Rysunek 6C, czarny). Ale jeśli ich czas jest przewidywalny - na przykład, ostrzegając badanych z „próbną wskazówką startową” przedstawioną na sekundę przed pojawieniem się podpowiedzi - pamięci nie wywołują już reakcji alarmowej (Rysunek 6D, szary). Zamiast tego alarmująca reakcja przenosi się na próbną wskazówkę - pierwsze wydarzenie próby, które ma nieprzewidywalny czas i wywołuje reakcje orientacyjne (Rysunek 6D, czarny).

Jaki jest mechanizm, który generuje sygnały ostrzegające o neuronach DA? Jedna z hipotez mówi, że reakcje alarmowe są po prostu konwencjonalnymi sygnałami błędu przewidywania nagrody, które występują przy krótkich opóźnieniach, kodując oczekiwaną wartość nagrody bodźca, zanim zostanie on w pełni rozróżniony (Kakade i Dayan, 2002). Najnowsze dowody sugerują jednak, że sygnały alarmowe mogą być generowane przez odrębny mechanizm z konwencjonalnych sygnałów nagrody DA (Satoh i in., 2003; Bayer i Glimcher, 2005; Bromberg-Martin i in., 2010a; Bromberg-Martin i in., 2010c; Nomoto i in., 2010). Co najbardziej uderzające, odpowiedź alarmująca na próbną wskazówkę nie ogranicza się do zadań nagradzających; może mieć taką samą siłę podczas awersyjnego zadania, w którym nie ma nagród (Rysunek 6C, D, dół, „zadanie awersyjne”). Dzieje się tak, mimo że konwencjonalne sygnały nagrody DA w tych samych neuronach prawidłowo sygnalizują, że zadanie nagradzające ma znacznie wyższą wartość oczekiwaną niż zadanie awersyjne (Bromberg-Martin i in., 2010a). Te sygnały alarmowe nie są wyłącznie formą kodowania wartości lub wyłącznie formą kodowania salience, ponieważ występują w większości zarówno wartości motywacyjnych, jak i istotności kodujących neurony DA (Bromberg-Martin i in., 2010a). Druga dysocjacja jest widoczna w sposobie, w jaki neurony DA przewidują przyszłe nagrody oparte na pamięci wyników przeszłej nagrody (Satoh i in., 2003; Bayer i Glimcher, 2005). Podczas gdy konwencjonalne sygnały nagrody DA są kontrolowane przez długookresowy ślad pamięci zoptymalizowany pod kątem dokładnej prognozy nagrody, alarmowanie odpowiedzi na próbną wskazówkę startową jest kontrolowane przez oddzielny ślad pamięci przypominający ten obserwowany w reakcjach natychmiastowego ukierunkowania (Bromberg-Martin i in., 2010c). Trzecią dysocjację można zaobserwować w taki sposób, że sygnały te są rozmieszczone w populacji neuronów DA. Podczas gdy konwencjonalne sygnały nagrody DA są najsilniejsze w komorze SN brzuszno-przyśrodkowej, alarmowanie odpowiedzi na próbną wskazówkę startową (i na inne nieoczekiwanie sygnały czasowe) jest transmitowane w całym SNc (Nomoto i in., 2010).

W przeciwieństwie do tych dysocjacji od konwencjonalnych sygnałów nagrody, sygnały ostrzegawcze DA są skorelowane z szybkością orientacji i reakcji podejścia do zdarzenia alarmowego (Satoh i in., 2003; Bromberg-Martin i in., 2010a; Bromberg-Martin i in., 2010c). Sugeruje to, że sygnały alarmowe są generowane przez proces neuronowy, który motywuje szybkie reakcje do zbadania potencjalnie ważnych zdarzeń. Obecnie niestety stosunkowo niewiele wiadomo o tym, jakie wydarzenia ten proces traktuje jako „ważne”. Na przykład, czy alarmujące odpowiedzi są równie wrażliwe na nagradzające i awersyjne wydarzenia? Wiadomo, że reakcje alarmowe występują w przypadku bodźców przypominających sygnały nagrody lub przypominających sygnały nagrody i awersji (np. Dzieląc tę ​​samą modalność sensoryczną). Jednak nie wiadomo jeszcze, czy reakcje alarmowe występują w przypadku bodźców, które przypominają jedynie awersyjne sygnały.

Funkcjonalna rola sygnałów ostrzegawczych dopaminy

Jak widzieliśmy, sygnały alarmowe będą prawdopodobnie generowane przez odrębny mechanizm z sygnałów wartości motywacyjnej i istotności. Sygnały alarmujące są jednak wysyłane do neuronów DA o wartościach motywacyjnych i wartościowych, a zatem prawdopodobnie regulują przetwarzanie mózgu i zachowanie w sposób podobny do sygnałów wartości i istotności (Rysunek 5).

Sygnały ostrzegawcze wysyłane do neuronów motywacyjnych oznaczających neurony DA wspierałyby ukierunkowanie uwagi na bodziec ostrzegawczy, angażowanie zasobów poznawczych do odkrywania jego znaczenia i decydowanie o planie działania oraz zwiększanie poziomów motywacji w celu skutecznego wdrożenia tego planu (Rysunek 5). Efekty te mogą wystąpić dzięki natychmiastowemu oddziaływaniu na przetwarzanie neuronowe lub poprzez wzmocnienie działań, które doprowadziły do ​​wykrycia zdarzenia alarmowego. Ta rola funkcjonalna dobrze wpisuje się w korelację między reakcjami ostrzegawczymi DA i szybkimi reakcjami behawioralnymi na bodziec alarmowy, a także z teoriami, że odpowiedzi neuronów DA o krótkim opóźnieniu są zaangażowane w orientację uwagi, pobudzenie, wzmocnienie przetwarzania poznawczego i natychmiastowe reakcje behawioralne (Redgrave i in., 1999; Horvitz, 2000; Joseph i in., 2003; Lisman i Grace, 2005; Redgrave i Gurney, 2006; Joshua i in., 2009a).

Obecność sygnałów alarmowych w wartościach motywacyjnych kodujących neurony DA jest trudniejsza do wyjaśnienia. Neurony te przekazują sygnały wartości motywacyjnych, które są idealne do poszukiwania, oceny wyników i uczenia się wartości; jednak mogą być także podekscytowani przez ostrzeganie o zdarzeniach, takich jak nieoczekiwane kliknięcia i rozpoczęcie nieprzyjemnych prób. Zgodnie z naszą hipotetyczną ścieżką (Rysunek 5), spowodowałoby to, że alarmujące zdarzenia byłyby przypisywane wartości dodatniej i poszukiwane w sposób podobny do nagród! Choć na pierwszy rzut oka jest to zaskakujące, istnieje powód, by podejrzewać, że alarmujące wydarzenia mogą być traktowane jako pozytywne cele. Sygnały alarmowe stanowią pierwsze ostrzeżenie, że potencjalnie ważne zdarzenie ma nastąpić, a tym samym stanowią pierwszą okazję do podjęcia działań w celu kontrolowania tego zdarzenia. Jeśli dostępne są sygnały ostrzegawcze, można wykryć, przewidzieć i przygotować z wyprzedzeniem istotne wydarzenia motywacyjne; jeśli sygnały alarmowe są nieobecne, istotne wydarzenia zawsze mają miejsce jako niespodziewana niespodzianka. Istotnie, ludzie i zwierzęta często wyrażają preferencje dla środowisk, w których nagradzające, awersyjne, a nawet motywacyjnie neutralne zdarzenia sensoryczne można zaobserwować i przewidzieć z wyprzedzeniem (Badia i in., 1979; Herry i in., 2007; Daly, 1992; Chew and Ho, 1994) i wiele neuronów DA sygnalizuje preferencje behawioralne, aby wyświetlić informacje przewidujące nagrodę (Bromberg-Martin i Hikosaka, 2009). Sygnały ostrzegawcze DA mogą wspierać te preferencje, przypisując wartość pozytywną do środowisk, w których potencjalnie ważne sygnały sensoryczne można przewidzieć z wyprzedzeniem.

Anatomiczne lokalizacje neuronów kodujących wartości i istotności

Niedawne badanie zmapowało lokalizacje sygnałów nagrody i awersji DA w bocznym śródmózgowiu, w tym SNc i boczną część VTA (Matsumoto i Hikosaka, 2009b). Wartości motywacyjne i sygnały motywacyjne były rozmieszczone w tym regionie w anatomicznym gradiencie. Sygnały wartości motywacyjnych częściej występowały w neuronach w brzuszno-przyśrodkowym SNc i bocznym VTA, podczas gdy sygnały motywacyjne występowały częściej w neuronach w SNC grzbietowo-bocznym (Rysunek 7B). Jest to zgodne z doniesieniami, że kodowanie wartości nagrody DA jest najsilniejsze w SNc ventromedial (Nomoto i in., 2010) podczas gdy awersyjne pobudzenia wydają się być silniejsze bardziej bocznie (Mirenowicz i Schultz, 1996). Inne badania dotyczyły bardziej środkowego śródmózgowia. Badania te wykazały mieszankę pobudzających i hamujących odpowiedzi awersyjnych bez znaczącej różnicy w ich lokalizacjach, chociaż z tendencją do wzbudzania awersyjnych pobudzeń bardziej centralnie (Guarraci i Kapp, 1999; Brischoux i in., 2009) (Rysunek 7C).

Miejsca docelowe sygnałów wartości motywacyjnych

Zgodnie z naszą hipotezą, wartość motywacyjna kodująca neurony DA powinna rzutować na regiony mózgu zaangażowane w działania podejścia i unikania, ocenę wyników i uczenie się wartości (Rysunek 5). Rzeczywiście, projekt brzuszno-przyśrodkowy SNc i VTA do brzuszno-przyśrodkowej kory przedczołowej (Williams i Goldman-Rakic, 1998) w tym kora oczodołowo-czołowa (OFC) (Porrino i Goldman-Rakic, 1982) (Rysunek 7A). OFC konsekwentnie odgrywa rolę w kodowaniu wartości w badaniach funkcjonalnego obrazowania (Anderson i in., 2003; Small et al., 2003; Jensen i in., 2007; Litt i in., 2010) i pojedyncze nagrania neuronów (Morrison i Salzman, 2009; Roesch i Olson, 2004). Uważa się, że OFC ocenia opcje wyboru (Padoa-Schioppa, 2007; Kable i Glimcher, 2009), koduj oczekiwania dotyczące wyników (Schoenbaum i wsp., 2009) i zaktualizuj te oczekiwania podczas nauki (Walton i in., 2010). Ponadto OFC bierze udział w uczeniu się na błędach przewidywania ujemnej nagrody (Takahashi i in., 2009), które są najsilniejsze w kodowaniu wartości neuronów DA (Rysunek 4).

Ponadto przyśrodkowe części dopaminergicznego projektu śródmózgowia do brzusznego prążkowia, w tym jądro półleżące (powłoka NAc) (Haber i in., 2000) (Rysunek 7A). Ostatnie badania wykazały, że powłoka NAc otrzymuje fazowe sygnały DA kodujące wartość motywacyjną wyników smakowych (Roitman i wsp., 2008). Sygnały te mogą powodować uczenie się wartości, ponieważ bezpośrednia infuzja leków DA do powłoki NAc silnie wzmacnia (Ikemoto, 2010), podczas gdy zabiegi zmniejszające wejście DA do powłoki mogą wywoływać awersje (Liu i wsp., 2008). Jedno zastrzeżenie jest takie, że badania uwalniania DA powłoki NAc w długich skalach czasowych (w minutach) przyniosły mieszane wyniki, niektóre zgodne z kodowaniem wartości, a inne z kodowaniem istotności (np. (Bassareo i in., 2002; Ventura i in., 2007)). Sugeruje to, że sygnały wartości mogą być ograniczone do określonych lokalizacji w powłoce NAc. Warto zauważyć, że różne regiony powłoki NAc są wyspecjalizowane w kontrolowaniu zachowań apetycznych i awersyjnych (Reynolds i Berridge, 2002), które wymagają wejścia z neuronów DA (Faure i wsp., 2008).

Wreszcie, neurony DA w całym zasięgu SNc wysyłają ciężkie projekcje do prążkowia grzbietowego (Haber i in., 2000), sugerując, że prążkowie grzbietowe może otrzymywać zarówno sygnały motywacyjne wartości i istotności kodu DA (Rysunek 7A). Wartość motywacyjna kodująca neurony DA stanowiłaby idealny sygnał instruktażowy dla obwodów prążkowia zaangażowanych w uczenie się wartości, takich jak uczenie się nawyków reakcji na bodziec (Faure i wsp., 2005; Yin and Knowlton, 2006; Balleine and O'Doherty, 2010). Gdy te neurony DA pękają, angażują się w bezpośrednią ścieżkę, aby nauczyć się osiągać wyniki nagrody; kiedy się zatrzymają, zaangażują się w pośrednią ścieżkę, aby nauczyć się unikać niechętnych wyników (Rysunek 2). Rzeczywiście, istnieją najnowsze dowody na to, że ścieżki prążkowia podążają dokładnie za tym podziałem pracy dla przetwarzania nagrody i awersji (Hikida i in., 2010). Wciąż jednak nie wiadomo, w jaki sposób neurony w tych szlakach reagują na satysfakcjonujące i awersyjne zdarzenia podczas zachowania. Przynajmniej w prążkowiu grzbietowym jako całości podzbiór neuronów reaguje na pewne nagradzające i awersyjne wydarzenia w odmienny sposób (Ravel i in., 2003; Yamada i in., 2004, 2007; Joshua i in., 2008).

Miejsca docelowe sygnałów motywacyjnych

Zgodnie z naszą hipotezą istotność motywacyjna kodująca neurony DA powinna rzutować na regiony mózgu zaangażowane w orientację, przetwarzanie poznawcze i ogólną motywację (Rysunek 5). Rzeczywiście, neurony DA w grzbietowo-bocznym śródmózgowiu wysyłają projekcje do grzbietowej i bocznej kory czołowej (Williams i Goldman-Rakic, 1998) (Rysunek 7A), region zaangażowany w funkcje poznawcze, takie jak poszukiwanie uwagi, pamięć robocza, kontrola poznawcza i podejmowanie decyzji między wynikami motywacyjnymi (Williams i Castner, 2006; Lee i Seo, 2007; Wise, 2008; Kable i Glimcher, 2009; Wallis i Kennerley, 2010). Dorsolateralne funkcje poznawcze przedczołowe są ściśle regulowane przez poziomy DA (Robbins i Arnsten, 2009) i teoretyzuje się, że zależą od fazy aktywacji neuronu DA (Cohen i wsp., 2002; Lapish i in., 2007). Warto zauważyć, że podzbiór bocznych neuronów przedczołowych reaguje zarówno na satysfakcjonujące, jak i niechętne wizualne wskazówki, a ogromna większość odpowiada w tym samym kierunku przypominając kodowanie motywacji (Kobayashi i in., 2006). Co więcej, aktywność tych neuronów jest skorelowana z sukcesem behawioralnym podczas wykonywania zadań pamięci roboczej (Kobayashi i in., 2006). Chociaż ta ścieżka grzbietowo-boczna DA → grzbietowo-boczna kora czołowa wydaje się być specyficzna dla naczelnych (Williams i Goldman-Rakic, 1998) funkcjonalnie podobny szlak może istnieć u innych gatunków. W szczególności wiele funkcji poznawczych naczelnej kory przedczołowej naczelnych wykonuje kora przedczołowa przyśrodkowa gryzonia (Uylings i in., 2003) i istnieją dowody na to, że region ten otrzymuje sygnały o istotności motywacyjnej DA i kontroluje zachowania związane z istotnością (Mantz i in., 1989; Di Chiara, 2002; Joseph i in., 2003; Ventura i in., 2007; Ventura i in., 2008).

Biorąc pod uwagę dowody na to, że VTA zawiera zarówno neurony wartościujące, jak i kodujące wartość oraz że sygnały kodujące wartość są wysyłane do powłoki NAc, sygnały istotności mogą być wysyłane do rdzenia NAC (Rysunek 7A). Istotnie, rdzeń NAc (ale nie powłoka) ma kluczowe znaczenie dla umożliwienia motywacji do pokonania kosztów reakcji, takich jak wysiłek fizyczny; do wykonywania zadań związanych ze zmianą zestawu, wymagających elastyczności poznawczej; i za umożliwienie nagradzania wskazówek, które przyczynią się do poprawy ogólnej motywacji (Ghods-Sharifi i Floresco, 2010; Floresco i in., 2006; Hall i wsp., 2001; Kardynał, 2006). Zgodnie z kodowaniem istotności motywacyjnej, rdzeń NAC otrzymuje fazowe wybuchy DA podczas obu satysfakcjonujących doświadczeń (Day i in., 2007) i awersyjne doświadczenia (Anstrom i in., 2009).

Wreszcie, jak omówiono powyżej, niektóre neurony kodujące salience DA mogą rzutować na prążkowate grzbietowe (Rysunek 7A). Podczas gdy niektóre obszary prążkowia grzbietowego są zaangażowane w funkcje związane z wartościami uczenia się, prążkowie grzbietowe jest również zaangażowane w funkcje, które powinny być zaangażowane we wszystkie istotne wydarzenia, takie jak orientacja, uwaga, pamięć robocza i ogólna motywacja (Hikosaka i in., 2000; Klingberg, 2010; Palmiter, 2008). W rzeczywistości podzbiór grzbietowych neuronów prążkowia jest silniej reagujący na nagradzające i awersyjne wydarzenia niż na neutralne wydarzenia (Ravel i in., 1999; Blazquez i in., 2002; Yamada i in., 2004, 2007), chociaż ich przyczynowa rola w motywowanym zachowaniu nie jest jeszcze znana.

Źródła motywacyjnych sygnałów wartości

Niedawna seria badań sugeruje, że neurony DA otrzymują sygnały wartości motywacyjnych z małego jądra w epitalamusie, bocznym habenula (LHb) (Hikosaka, 2010) (Rysunek 8). LHb wywiera silną kontrolę negatywną na neurony DA: stymulacja LHb hamuje neurony DA przy krótkich latencjach (Christoph i in., 1986) i może regulować uczenie się w odwrotny sposób niż stymulacja VTA (Shumake i in., 2010). Zgodnie z negatywnym sygnałem kontrolnym, wiele neuronów LHb ma lustrzane odwrócone odpowiedzi fazowe na neurony DA: neurony LHb są zahamowany dodatnimi błędami przewidywania nagrody i podniecony przez ujemne błędy przewidywania nagrody (Matsumoto i Hikosaka, 2007, 2009; Bromberg-Martin i in., 2010a; Bromberg-Martin i in., 2010c). W kilku przypadkach sygnały te występują przy krótszych opóźnieniach w LHb, zgodnie z transmisją LHb → DA (Matsumoto i Hikosaka, 2007; Bromberg-Martin i in., 2010a).

 

Rysunek 8

Hipotetyczne źródła wartości motywacyjnej, istotności i sygnałów alarmowych

LHb jest zdolny do kontrolowania neuronów DA w śródmózgowiu, ale kilka linii dowodów sugeruje, że wywiera preferencyjną kontrolę nad wartością motywacyjną kodującą neurony DA. Po pierwsze, neurony LHb kodują wartość motywacyjną w sposób ściśle odzwierciedlający wartościujące neurony DA - kodują zarówno pozytywne, jak i negatywne błędy przewidywania nagrody i odpowiadają w przeciwnych kierunkach na zdarzenia nagradzające i awersyjne (Matsumoto i Hikosaka, 2009a; Bromberg-Martin i in., 2010a). Po drugie, stymulacja LHb ma najsilniejszy wpływ na neurony DA, których właściwości są zgodne z kodowaniem wartości, w tym hamowanie przez sygnały bez nagrody i anatomiczne umiejscowienie w brzuszno-przyśrodkowym SNc (Matsumoto i Hikosaka, 2007, 2009b). Po trzecie, uszkodzenia LHb osłabiają odpowiedzi hamujące neuron DA na zdarzenia awersyjne, sugerując przyczynową rolę LHb w generowaniu sygnałów wartości DA (Gao i in., 1990).

LHb jest częścią bardziej rozległej ścieżki nerwowej, dzięki której neurony DA mogą być kontrolowane przez zwoje podstawy (Rysunek 8). LHb odbiera sygnały przypominające błędy przewidywania nagrody poprzez projekcję z populacji neuronów zlokalizowanych wokół globusowej bladej granicy (GPb) (Hong i Hikosaka, 2008). Gdy te sygnały dotrą do LHb, prawdopodobnie zostaną wysłane do neuronów DA poprzez szlak disynaptyczny, w którym LHb pobudza neurony GABA śródmózgowia, które z kolei hamują neurony DA (Ji and Shepard, 2007; Omelchenko i in., 2009; Brinschwitz i in., 2010). Może to nastąpić poprzez projekcje LHb do neuronów interneuronowych w VTA i do sąsiedniego jądra GABA-ergicznego zwanego rostromedial jądra nakrywkowego (RMTg) (Jhou i in., 2009b) (zwany także „ogonem ogonowym VTA” (Kaufling i in., 2009)). Warto zauważyć, że neurony RMTg mają właściwości odpowiedzi podobne do neuronów LHb, kodują wartość motywacyjną i mają silną projekcję hamującą dopaminergiczny śródmózgowia (Jhou i in., 2009a). Zatem pełną ścieżką zwojów podstawy do wysyłania sygnałów wartości motywacyjnych do neuronów DA może być GPb → LHb → RMTg → DA (Hikosaka, 2010).

Ważnym pytaniem dla przyszłych badań jest to, czy sygnały wartości motywacyjnych są kierowane wyłącznie przez LHb, czy też są przenoszone przez wiele ścieżek wejściowych. Warto zauważyć, że hamowanie DA przez awersyjne wstrząsy są kontrolowane przez aktywność w jądrze przysadki mezopontynowej (PBN) (Coizet i in., 2010) (Rysunek 8). Jądro to zawiera neurony, które otrzymują bezpośredni sygnał z rdzenia kręgowego, kodując szkodliwe odczucia i mogą hamować neurony DA poprzez projekcje pobudzające do RMTg (Coizet i in., 2010; Gauriau i Bernard, 2002). Sugeruje to, że LHb przesyła sygnały wartości motywacyjnych neuronów DA zarówno dla satysfakcjonujących, jak i awersyjnych sygnałów i wyników, podczas gdy PBN dostarcza komponentu sygnału wartości związanego konkretnie z wynikami awersyjnymi.

Źródła sygnałów motywacyjnych

Mniej wiadomo na temat źródła sygnałów motywacyjnych w neuronach DA. Jednym z intrygujących kandydatów jest centralne jądro ciała migdałowatego (CeA), które jest konsekwentnie zaangażowane w orientację, uwagę i ogólne reakcje motywacyjne podczas wydarzeń nagradzających i awersyjnych (Holland and Gallagher, 1999; Baxter i Murray, 2002; Merali i in., 2003; Balleine i Killcross, 2006) (Rysunek 8). CeA i inne jądra ciała migdałowatego zawierają wiele neuronów, których sygnały są zgodne z istotnością motywacyjną: sygnalizują zdarzenia nagradzające i awersyjne w tym samym kierunku, są wzmocnione, gdy zdarzenia występują nieoczekiwanie i są skorelowane z behawioralnymi miarami pobudzenia (Nishijo i in., 1988; Belova i in., 2007; Shabel i Janak, 2009). Sygnały te mogą być wysyłane do neuronów DA, ponieważ CeA ma zstępujące projekcje do pnia mózgu, które niosą satysfakcjonujące i awersyjne informacje (Lee i wsp., 2005; Pascoe and Kapp, 1985) i CeA jest konieczne do uwolnienia DA podczas zdarzeń związanych z nagrodami (Phillips i in., 2003a). Co więcej, CeA uczestniczy w neuronach DA w szlakach zgodnych z naszymi proponowanymi sieciami anatomicznymi i funkcjonalnymi dla poprawy motywacji. Ścieżka obejmująca CeA, SNc i prążkowate grzbietowe jest niezbędna, aby nauczyć się orientacji na sygnały żywnościowe (Han i in., 1997; Lee i wsp., 2005; El-Amamy i Holland, 2007). Zgodnie z naszym podziałem sygnałów salience vs. value, ta ścieżka jest potrzebna do nauki orientacji na sygnały żywnościowe, ale nie do nauki podejścia do wyników żywności (Han i in., 1997). Druga ścieżka, w tym rdzeń CeA, SNc, VTA i NAc, jest niezbędna, aby wskazówki dotyczące nagród powodowały wzrost ogólnej motywacji do wykonywania działań poszukujących nagrody (Hall i wsp., 2001; Corbit i Balleine, 2005; El-Amamy i Holland, 2007).

Oprócz CeA, neurony DA mogą otrzymywać sygnały o istotności motywacyjnej z innych źródeł, takich jak neurony kodujące istotność w części podstawnej przodomózgowia (Lin i Nicolelis, 2008; Richardson i DeLong, 1991) i neurony w PBN (Coizet i in., 2010), chociaż te ścieżki pozostają do zbadania.

Źródła sygnałów alarmowych

Istnieje kilka dobrych kandydatów do dostarczania neuronów DA sygnałami ostrzegawczymi. Być może najbardziej atrakcyjnym kandydatem jest nadrzędny zwichnięcie (SC), jądro śródmózgowia, które otrzymuje bodźce sensoryczne o krótkim opóźnieniu z wielu modalności sensorycznych i kontroluje reakcje i uwagę (Redgrave i Gurney, 2006) (Rysunek 8). SC ma bezpośrednią projekcję do SNc i VTA (May i in., 2009; Comoli i in., 2003). U znieczulonych zwierząt SC jest ważnym kanałem dla sygnałów wizualnych o krótkim opóźnieniu, aby dotrzeć do neuronów DA i wyzwolić uwalnianie DA w dalszych strukturach (Comoli i in., 2003; Dommett i in., 2005). Szlak SC-DA najlepiej nadaje się do przekazywania sygnałów alarmujących, a nie sygnałów nagród i awersji, ponieważ neurony SC mają niewielką odpowiedź na dostarczanie nagrody i mają jedynie łagodny wpływ na odpowiedzi awersyjne DA (Coizet i in., 2006). Sugeruje to sekwencję zdarzeń, w których neurony SC (1) wykrywają bodziec, (2) wybierają go jako potencjalnie ważny (3) wyzwalają reakcję orientacji w celu zbadania bodźca, a (4) jednocześnie wyzwalają odpowiedź ostrzegawczą DA, która powoduje wybuch DA w dalszych strukturach (Redgrave i Gurney, 2006).

Drugim kandydatem do wysyłania sygnałów alarmowych do neuronów DA jest LHb (Rysunek 8). Warto zauważyć, że nieoczekiwany początek próby startowej hamuje wiele neuronów LHb w sposób odwrotny do sygnału ostrzegającego neuron DA, i ta odpowiedź występuje przy krótszym opóźnieniu w LHb zgodnym z kierunkiem transmisji LHb → DA (Bromberg-Martin i in., 2010a; Bromberg-Martin i in., 2010c). Anegdotycznie zaobserwowaliśmy również, że neurony LHb są powszechnie hamowane przez nieoczekiwane obrazy i dźwięki w sposób odwrotny do wzbudzeń DA (MM, ESB-M. I OH, niepublikowane obserwacje), chociaż oczekuje to bardziej systematycznego badania.

Wreszcie trzecim kandydatem do wysyłania sygnałów alarmowych do neuronów DA jest jądro nakłucia szypułkowego (PPTg), które wyświetla zarówno SNc, jak i VTA i bierze udział w przetwarzaniu motywacyjnym (Winn, 2006) (Rysunek 8). PPTg jest ważny dla umożliwienia wybuchów neuronów VTA DA (Grace i in., 2007) w tym odpowiedzi seryjne na sygnały nagrody (Pan i Hyland, 2005). Zgodnie z sygnałem ostrzegawczym neurony PPTg wykazują reakcje krótkiego opóźnienia na wiele modalności sensorycznych i są aktywne podczas reakcji orientacji (Winn, 2006). Istnieją dowody na to, że na reakcje sensoryczne PPTg wpływa wartość nagrody i wymagania dotyczące natychmiastowego działania (Dormont i in., 1998; Okada i in., 2009) (ale patrz (Pan i Hyland, 2005)). Niektóre neurony PPTg same reagują również na satysfakcjonujące lub awersyjne wyniki (Dormont i in., 1998; Kobayashi i in., 2002; Ivlieva i Timofeeva, 2003b, a). Ważne będzie sprawdzenie, czy sygnały wysyłane przez PPTg do neuronów DA są związane konkretnie z alarmowaniem lub czy zawierają inne sygnały motywacyjne, takie jak wartość i istotność.

Praca ta była wspierana przez wewnętrzny program badawczy w National Eye Institute. Dziękujemy również Amy Arnsten za cenne dyskusje.

Zastrzeżenie wydawcy: Jest to plik PDF z nieedytowanym manuskryptem, który został zaakceptowany do publikacji. Jako usługa dla naszych klientów dostarczamy tę wczesną wersję manuskryptu. Rękopis zostanie poddany kopiowaniu, składowi i przeglądowi wynikowego dowodu, zanim zostanie opublikowany w ostatecznej formie cytowania. Należy pamiętać, że podczas procesu produkcyjnego mogą zostać wykryte błędy, które mogą wpłynąć na treść, a wszystkie zastrzeżenia prawne, które odnoszą się do czasopisma, dotyczą.

^FOOTNOTE1By znaczenie motywacyjne mamy na myśli ilość, która jest wysoka zarówno dla zdarzeń nagradzających, jak i awersyjnych i jest niska dla wydarzeń neutralnych motywacyjnie (nie nagradzających i nie awersujących). Jest to podobne do definicji podanej przez (Berridge i Robinson, 1998). Zauważ, że istotność motywacyjna różni się od innych pojęć istotności stosowanych w neuronauce, takich jak zachęta motywacyjna (która dotyczy tylko pożądanych zdarzeń;Berridge i Robinson, 1998)) i percepcyjna istotność (która dotyczy zdarzeń neutralnych motywacyjnie, takich jak ruchome obiekty i kolorowe światła;Bisley i Goldberg, 2010)).]

^FOOTNOTE2Należy zwrócić uwagę, że sygnały motywacyjne mające znaczenie dla neuronów DA różnią się od klasycznych pojęć „asocjacji” i „zmiany w asocjacji”, które zaproponowano w celu regulacji tempa uczenia się przez wzmacnianie (np. (Pearce and Hall, 1980)). Teorie te stwierdzają, że zwierzęta uczą się (i dostosowują szybkości uczenia się) zarówno z pozytywnych, jak i negatywnych błędów prognozowania. Chociaż te neurony DA mogą przyczyniać się do uczenia się na błędach prognozowania pozytywnego, podczas których mogą mieć silną odpowiedź (np. Na niespodziewane dostarczanie nagród), mogą nie przyczyniać się do uczenia się na błędach przewidywania negatywnego, podczas których mogą mieć niewielką lub żadną odpowiedź ( np. do nieoczekiwanego pominięcia nagrody) (Rys. 4B).

1. Ahlbrecht M, Weber M. Rozdzielczość niepewności: badanie eksperymentalne. Dziennik ekonomii instytucjonalnej i teoretycznej. 1996; 152: 593 – 607.
2. Albin RL, Young AB, Penney JB. Anatomia funkcjonalna zaburzeń zwojów podstawnych. Trendy w neuronaukach. 1989; 12: 366 – 375. [PubMed]
3. Anderson AK, Christoff K, Stappen I, Panitz D, Ghahremani DG, Glover G, Gabrieli JD, Sobel N. Zdysocjowane neuronowe reprezentacje intensywności i wartościowości w ludzkiej węchowości. Nat Neurosci. 2003; 6: 196 – 202. [PubMed]
4. Anstrom KK, Miczek KA, Budygin EA. Zwiększona fazowa sygnalizacja dopaminy w szlaku mezolimbicznym podczas porażki społecznej u szczurów. Neuroscience. 2009; 161: 3 – 12. [PubMed]
5. Aragona BJ, Day JJ, Roitman MF, Cleaveland NA, Wightman RM, Carelli RM. Regionalna specyficzność w rozwoju w czasie rzeczywistym fazowych wzorców transmisji dopaminy podczas nabywania skojarzenia cue-kokainy u szczurów. Europejski dziennik neurobiologii. 2009; 30: 1889 – 1899. [Artykuł bezpłatny PMC] [PubMed]
6. Austin AJ, Duka T. Mechanizmy uwagi dla apetycznych i awersyjnych wyników w warunkowaniu Pawłowskim. Badania behawioralne mózgu. 2010; 213: 19 – 26. [PubMed]
7. Badia P, Harsh J, Abbott B. Wybór między przewidywalnymi i nieprzewidywalnymi warunkami wstrząsowymi: dane i teoria. Biuletyn Psychologiczny. 1979; 86: 1107 – 1131.
8. Balleine BW, Killcross S. Równoległe przetwarzanie zachęt: zintegrowany widok funkcji ciała migdałowatego. Trendy w neuronaukach. 2006; 29: 272 – 279. [PubMed]
9. Balleine BW, O'Doherty JP. Homologie człowieka i gryzoni w kontroli działania: kortykostriatalne determinanty działania ukierunkowanego na cel i nawykowego. Neuropsychopharmacology. 2010; 35: 48–69. [Artykuł bezpłatny PMC] [PubMed]
10. Barr GA, Moriceau S, Shionoya K, Muzny K, Gao P, Wang S, Sullivan RM. Przejścia w uczeniu się niemowląt są modulowane przez dopaminę w ciele migdałowatym. Nat Neurosci. 2009; 12: 1364 – 1366. [Artykuł bezpłatny PMC] [PubMed]
11. Bassareo V, De Luca MA, Di Chiara G. Różnicowa ekspresja motywacyjnych właściwości bodźca przez dopaminę w powłoce Nucleus Accumbens względem rdzenia i kory przedczołowej. J Neurosci. 2002; 22: 4709 – 4719. [PubMed]
12. Bassareo V, Di Chiara G. Różnicowa reakcja przenoszenia dopaminy na bodźce pokarmowe w jądrze półleżącym w przedziałach skorupy / rdzenia. Neuroscience. 1999; 89: 637 – 641. [PubMed]
13. Baxter MG, Murray EA. Ciało migdałowate i nagroda. Nat Rev Neurosci. 2002; 3: 563 – 573. [PubMed]
14. Bayer HM, Glimcher PW. Neurony dopaminowe śródmózgowia kodują sygnał błędu przewidywania ilościowego nagrody. Neuron. 2005; 47: 129 – 141. [Artykuł bezpłatny PMC] [PubMed]
15. Belova MA, Paton JJ, Morrison SE, Salzman CD. Oczekiwanie moduluje reakcje neuronalne na przyjemne i awersyjne bodźce w ciele migdałowatym naczelnych. Neuron. 2007; 55: 970 – 984. [Artykuł bezpłatny PMC] [PubMed]
16. Bentivoglio M, Morelli M. Organizacja i obwody neuronów dopaminergicznych śródmózgowia oraz rozmieszczenie receptorów dopaminy w mózgu. Podręcznik chemicznej neuroanatomii. 2005: 1 – 107.
17. Berridge KC, Robinson TE. Jaka jest rola dopaminy w nagradzaniu: wpływ hedoniczny, uczenie się z nagrody, czy zachęta motywacyjna? Badania mózgu. 1998; 28: 309 – 369. [PubMed]
18. Besson C, Louilot A. Asymetryczne zaangażowanie mezolimbicznych neuronów dopaminergicznych w percepcji afektywnej. Neuroscience. 1995; 68: 963 – 968. [PubMed]
19. Birgner C, Nordenankar K, Lundblad M, Mendez JA, Smith C, le Greves M, Galter D, Olson L, Fredriksson A, Trudeau LE, et al. VGLUT2 w neuronach dopaminowych jest wymagany do indukowanej psychostymulantem aktywacji behawioralnej. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2010; 107: 389 – 394. [Artykuł bezpłatny PMC] [PubMed]
20. Bisley JW, Goldberg ME. Uwaga, zamiar i priorytet w płacie ciemieniowym. Coroczny przegląd neurobiologii. 2010; 33: 1 – 21. [Artykuł bezpłatny PMC] [PubMed]
21. Bjorklund A, Dunnett SB. Układy neuronów dopaminowych w mózgu: aktualizacja. Trendy w neuronaukach. 2007; 30: 194 – 202. [PubMed]
22. Blazquez PM, Fujii N, Kojima J, Graybiel AM. Reprezentacja sieciowa prawdopodobieństwa odpowiedzi w prążkowiu. Neuron. 2002; 33: 973 – 982. [PubMed]
23. Botvinick MM, Braver TS, Barch DM, Carter CS, Cohen JD. Monitorowanie konfliktów i kontrola poznawcza. Psychol Rev. 2001; 108: 624 – 652. [PubMed]
24. Bradley MM, Greenwald MK, Petry MC, Lang PJ. Pamięć obrazów: przyjemność i podniecenie w pamięci. J Exp Psychol Learn Mem Cogn. 1992; 18: 379 – 390. [PubMed]
25. Braun DA, Mehring C, Wolpert DM. Uczenie się struktury w działaniu. Badania behawioralne mózgu. 2010; 206: 157 – 165. [Artykuł bezpłatny PMC] [PubMed]
26. Brinschwitz K, Dittgen A, Madai VI, Lommel R, Geisler S, Veh RW. Aksony glutaminergiczne z bocznego habenula kończą się głównie na neuronach GABAergicznych brzusznego śródmózgowia. Neuroscience. 2010; 168: 463 – 476. [PubMed]
27. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fazowe pobudzenie neuronów dopaminowych w brzusznym VTA przez szkodliwe bodźce. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2009; 106: 4894 – 4899. [Artykuł bezpłatny PMC] [PubMed]
28. Bromberg-Martin ES, Hikosaka O. Neurony dopaminowe Midbrain sygnalizują preferencję dla wcześniejszych informacji o nadchodzących nagrodach. Neuron. 2009; 63: 119 – 126. [Artykuł bezpłatny PMC] [PubMed]
29. Bromberg-Martin ES, Matsumoto M, Hikosaka O. Wyraźna toniczna i fazowa aktywność antycypacyjna w neuronach bocznych habenula i dopaminy. Neuron. 2010a; 67: 144 – 155. [Artykuł bezpłatny PMC] [PubMed]
30. Bromberg-Martin ES, Matsumoto M, Hong S, Hikosaka O. Szlak pallidus-habenula-dopamina sygnalizuje wartości bodźców. J Neurophysiol. 2010b; 104: 1068 – 1076. [Artykuł bezpłatny PMC] [PubMed]
31. Bromberg-Martin ES, Matsumoto M, Nakahara H, Hikosaka O. Wiele skal pamięci w bocznych neuronach habenula i dopaminowych. Neuron. 2010c; 67: 499 – 510. [Artykuł bezpłatny PMC] [PubMed]
32. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktywność neurochemicznie niejednorodnych neuronów dopaminergicznych w istocie czarnej podczas spontanicznych i napędzanych zmian stanu mózgu. J Neurosci. 2009; 29: 2915 – 2925. [PubMed]
33. Kardynał RN. Systemy neuronowe związane z opóźnionym i probabilistycznym wzmocnieniem. Sieć neuronowa. 2006; 19: 1277 – 1301. [PubMed]
34. Cheer JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM. Skoordynowane uwalnianie dopaminy i aktywność neuronalna napędzają zachowanie ukierunkowane na cel. Neuron. 2007; 54: 237 – 244. [PubMed]
35. Cheramy A, Kemel ML, Gauchy C, Desce JM, Galli T, Barbeito L, Głowiński J. Rola aminokwasów pobudzających w bezpośredniej i pośredniej presynaptycznej regulacji uwalniania dopaminy z końców nerwowych nigrostriatalnych neuronów dopaminowych. Aminokwasy. 1991; 1: 351 – 363. [PubMed]
36. Chew SH, Ho JL. Nadzieja: empiryczne studium stosunku do czasu rozstrzygania niepewności. Journal of Risk and Uncertainty. 1994; 8: 267 – 288.
37. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Bodźce sensoryczne zmieniają szybkość uwalniania neuronów dopaminowych (DA): dowód na dwa funkcjonalne typy komórek DA w istocie czarnej. Brain Res. 1980; 189: 544 – 549. [PubMed]
38. Christoph GR, Leonzio RJ, Wilcox KS. Stymulacja bocznego habenula hamuje neurony zawierające dopaminę w istocie czarnej i brzusznej części nakrywkowej szczura. J Neurosci. 1986; 6: 613 – 619. [PubMed]
39. Chuhma N, Choi WY, Mingote S, Rayport S. Neuron glutaminianowy neuronu dopaminowego: zależna od częstotliwości modulacja w projekcji mezowentromedialnej. Neuroscience. 2009; 164: 1068 – 1083. [Artykuł bezpłatny PMC] [PubMed]
40. Cohen JD, Braver TS, Brown JW. Perspektywy obliczeniowe dotyczące funkcji dopaminy w korze przedczołowej. Aktualna opinia w neurobiologii. 2002; 12: 223 – 229. [PubMed]
41. Coizet V, Dommett EJ, Klop EM, Redgrave P, Overton PG. Jądro przylegające jest krytycznym ogniwem w przekazywaniu informacji nocyceptywnej o krótkim opóźnieniu do neuronów dopaminergicznych śródmózgowia. Neuroscience. 2010; 168: 263 – 272. [Artykuł bezpłatny PMC] [PubMed]
42. Coizet V, Dommett EJ, Redgrave P, Overton PG. Reakcje nocyceptywne neuronów dopaminergicznych śródmózgowia są modulowane przez górny zawał u szczura. Neuroscience. 2006; 139: 1479 – 1493. [PubMed]
43. Comoli E, Coizet V, Boyes J, Bolam JP, Canteras NS, Quirk RH, Overton PG, Redgrave P. Bezpośrednia projekcja od górnego mostka do istoty czarnej do wykrywania istotnych zdarzeń wzrokowych. Nat Neurosci. 2003; 6: 974 – 980. [PubMed]
44. Corbit LH, Balleine BW. Podwójna dysocjacja zmian podstawy ciała migdałowatego podstawno-bocznego i centralnego na ogólnych i specyficznych dla wyniku formach transferu pawłowo-instrumentalnego. J Neurosci. 2005; 25: 962 – 970. [PubMed]
45. Dalley JW, Laane K, Theobald DE, Armstrong HC, Corlett PR, Chudasama Y, Robbins TW. Ograniczona w czasie modulacja apetycznej pamięci Pawłowa przez receptory D1 i NMDA w jądrze półleżącym. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2005; 102: 6189 – 6194. [Artykuł bezpłatny PMC] [PubMed]
46. Daly HB. Preferencja dla nieprzewidywalności jest odwrotna, gdy nieprzewidywalne nieprzyzwoite jest awersyjne: procedury, dane i teorie apetycznego obserwowania odpowiedzi. W: Gormezano I, Wasserman EA, redaktorzy. Uczenie się i pamięć: substraty behawioralne i biologiczne. LE Associates; 1992. str. 81 – 104.
47. Davidson MC, Horvitz JC, Tottenham N, Fossella JA, Watts R, Ulug AM, Casey BJ. Różnicowa ogoniasta i aktywacja obręczy po nieoczekiwanych bodźcach niestosujących. NeuroImage. 2004; 23: 1039 – 1045. [PubMed]
48. Day JJ, Roitman MF, Wightman RM, Carelli RM. Uczenie asocjacyjne pośredniczy w dynamicznych przesunięciach sygnalizacji dopaminy w jądrze półleżącym. Nat Neurosci. 2007; 10: 1020 – 1028. [PubMed]
49. Dayan P, Niv Y. Uczenie się o wzmocnieniu: dobre, złe i brzydkie. Aktualna opinia w neurobiologii. 2008; 18: 185 – 196. [PubMed]
50. Descarries L, Berube-Carriere N, Riad M, Bo GD, Mendez JA, Trudeau LE. Glutaminian w neuronach dopaminowych: transmisja synaptyczna a transmisja rozproszona. Przeglądy badań mózgu. 2008; 58: 290 – 302. [PubMed]
51. Di Chiara G. Nucleus accumbens shell and core dopamine: rola różnicowa w zachowaniu i uzależnieniu. Badania behawioralne mózgu. 2002; 137: 75 – 114. [PubMed]
52. Dommett E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N, Mayhew JE, Overton PG, Redgrave P. Jak bodźce wzrokowe aktywują neurony dopaminergiczne z krótkim opóźnieniem. Nauka. 2005; 307: 1476 – 1479. [PubMed]
53. Dormont JF, Conde H, Farin D. Rola jądra nakrywkowego części szypułkowej w stosunku do kondycjonowanej sprawności motorycznej kota. I. Zależna od kontekstu i związana z wzmocnieniem aktywność pojedynczej jednostki. Eksperymentalne badania mózgu. Experimentelle Hirnforschung. 1998; 121: 401 – 410. [PubMed]
54. Duzel E, Bunzeck N, Guitart-Masip M, Duzel S. ZNACZNA motywacja antycypacji i eksploracji dopaminy (NOMAD): implikacje dla zdrowego starzenia się. Neurobiologia i recenzje biobehawioralne. 2010; 34: 660 – 669. [PubMed]
55. El-Amamy H, Holland PC. Dysocjujące skutki odłączenia jądra centralnego ciała migdałowatego od brzusznej strefy nakrywkowej lub istoty czarnej na uczonym orientowaniu i motywacji motywacyjnej. Europejski dziennik neurobiologii. 2007; 25: 1557 – 1567. [Artykuł bezpłatny PMC] [PubMed]
56. Ettenberg A. Właściwości procesu przeciwników kokainy podawanej samodzielnie. Neurobiologia i recenzje biobehawioralne. 2004; 27: 721 – 728. [PubMed]
57. Fadok JP, Dickerson TM, Palmiter RD. Dopamina jest niezbędna dla warunkującego strach warunkowania strachu. J Neurosci. 2009; 29: 11089 – 11097. [Artykuł bezpłatny PMC] [PubMed]
58. Fairhall AL, Lewen GD, Bialek W, de Ruyter Van Steveninck RR. Wydajność i niejednoznaczność w adaptacyjnym kodzie neuronowym. Natura. 2001; 412: 787 – 792. [PubMed]
59. Faure A, Haberland U, Conde F, El Massioui N. Uszkodzenie układu dopaminowego nigrostriatalnego przerywa tworzenie nawyku bodziec-odpowiedź. J Neurosci. 2005; 25: 2771 – 2780. [PubMed]
60. Faure A, Reynolds SM, Richard JM, Berridge KC. Mezolimbiczna dopamina w pożądaniu i strachu: umożliwienie generowania motywacji przez zlokalizowane zakłócenia glutaminianu w jądrze półleżącym. J Neurosci. 2008; 28: 7184 – 7192. [Artykuł bezpłatny PMC] [PubMed]
61. Fiorillo CD, Newsome WT, Schultz W. Czasowa precyzja przewidywania nagrody w neuronach dopaminowych. Nat Neurosci. 2008; 11: 966 – 973. [PubMed]
62. Fiorillo CD, Tobler PN, Schultz W. Dyskretne kodowanie prawdopodobieństwa nagrody i niepewności przez neurony dopaminowe. Nauka. 2003; 299: 1898 – 1902. [PubMed]
63. Floresco SB, Ghods-Sharifi S, Vexelman C, Magyar O. Role rozpraszające jądro półleżące w rdzeniu i powłoce regulującej przesunięcie zestawu. J Neurosci. 2006; 26: 2449 – 2457. [PubMed]
64. Ford CP, Gantz SC, Phillips PE, Williams JT. Kontrola zewnątrzkomórkowej dopaminy w końcówkach dendrytowych i aksonowych. J Neurosci. 2010; 30: 6975 – 6983. [Artykuł bezpłatny PMC] [PubMed]
65. Frank MJ. Dynamiczna modulacja dopaminy w zwojach podstawy mózgu: neurokomputacyjny opis deficytów poznawczych w parkinsonizmie leczniczym i niemedycznym. Journal of kognitive neuroscience. 2005; 17: 51 – 72. [PubMed]
66. Frank MJ, Fossella JA. Neurogenetyka i farmakologia uczenia się, motywacji i poznania. Neuropsychofarmakologia. 2010 [Artykuł bezpłatny PMC] [PubMed]
67. Frank MJ, Seeberger LC, O'Reilly RC. Przez marchew lub kija: uczenie się wzmacniania poznawczego w parkinsonizmie. Nauka. 2004; 306: 1940 – 1943. [PubMed]
68. Gallistel CR, Gibbon J. Czas, tempo i uwarunkowania. Psychol Rev. 2000; 107: 289 – 344. [PubMed]
69. Gao DM, Jeaugey L, Pollak P, Benabid AL. Zależne od intensywności odpowiedzi nocyceptywne z przypuszczalnych neuronów dopaminergicznych istoty czarnej, pars compacta u szczura i ich modyfikacja przez boczne wejścia habenula. Brain Res. 1990; 529: 315 – 319. [PubMed]
70. Gauriau C, Bernard JF. Szlaki bólowe i obwody przyuszne u szczura. Eksperymentalna fizjologia. 2002; 87: 251 – 258. [PubMed]
71. Geisler S, Zahm DS. Afferents z brzusznego obszaru nakrywkowego w szczurzym-anatomicznym podłożu dla funkcji integracyjnych. Dziennik neurologii porównawczej. 2005; 490: 270 – 294. [PubMed]
72. Gerfen CR, Engber TM, Mahan LC, Susel Z, Chase TN, Monsma FJ, Jr, Sibley DR. D1 i D2 regulowana przez receptor dopaminy ekspresja genów neuronów striatonigralnych i striatopallidalnych. Nauka. 1990; 250: 1429 – 1432. [PubMed]
73. Ghods-Sharifi S, Floresco SB. Różnicowy wpływ na dyskontowanie wysiłku indukowany przez inaktywację jądra półleżącego rdzenia lub powłoki. Neurologia behawioralna. 2010; 124: 179 – 191. [PubMed]
74. Gonon FG. Nieliniowa zależność między przepływem impulsu a dopaminą uwalnianą przez neurony dopaminergiczne śródmózgowia szczura, badana za pomocą elektrochemii in vivo. Neuroscience. 1988; 24: 19 – 28. [PubMed]
75. Goto Y, Yang CR, Otani S. Funkcjonalna i dysfunkcyjna plastyczność synaptyczna w korze przedczołowej: role w zaburzeniach psychicznych. Psychiatria biologiczna. 2010; 67: 199 – 207. [PubMed]
76. Grace AA. Fazowe i toniczne uwalnianie dopaminy i modulacja odpowiedzi układu dopaminowego: hipoteza etiologii schizofrenii. Neuroscience. 1991; 41: 1 – 24. [PubMed]
77. Grace AA, Bunney BS. Wewnątrzkomórkowa i zewnątrzkomórkowa elektrofizjologia nigralnych neuronów dopaminergicznych – 1. Identyfikacja i charakterystyka. Neuroscience. 1983; 10: 301–315. [PubMed]
78. Grace AA, Floresco SB, Goto Y, Lodge DJ. Regulacja odpalania neuronów dopaminergicznych i kontrola zachowań ukierunkowanych na cel. Trendy w neuronaukach. 2007; 30: 220 – 227. [PubMed]
79. Grecksch G, Matties H. Rola mechanizmów dopaminergicznych w hipokampie szczura dla konsolidacji w rozróżnianiu jasności. Psychopharmacology (Berl) 1981; 75: 165 – 168. [PubMed]
80. Guarraci FA, Kapp BS. Charakterystyka elektrofizjologiczna neuronów dopaminergicznych brzusznego obszaru nakrywkowego podczas różnicowego warunkowania strachu pawłowego w przebudzonym króliku. Badania behawioralne mózgu. 1999; 99: 169 – 179. [PubMed]
81. Haber SN, Fudge JL, McFarland NR. Striatonigrostriatalne szlaki u naczelnych tworzą wstępującą spiralę od powłoki do grzbietowo-bocznego prążkowia. J Neurosci. 2000; 20: 2369 – 2382. [PubMed]
82. Hall J, Parkinson JA, Connor TM, Dickinson A, Everitt BJ. Zaangażowanie centralnego jądra ciała migdałowatego i jądra półleżącego w pośredniczeniu w wpływach Pawłowa na zachowanie instrumentalne. Europejski dziennik neurobiologii. 2001; 13: 1984 – 1992. [PubMed]
83. Han JS, McMahan RW, Holland P, Gallagher M. Rola szlaku migdałowato-nigrostriatalnego w uczeniu asocjacyjnym. J Neurosci. 1997; 17: 3913 – 3919. [PubMed]
84. Harris GC, Aston-Jones G. Pobudzenie i nagroda: dychotomia w funkcji oreksyny. Trendy w neuronaukach. 2006; 29: 571 – 577. [PubMed]
85. Herry C, Bach DR, Esposito F, Di Salle F, Perrig WJ, Scheffler K, Luthi A, Seifritz E. Przetwarzanie nieprzewidywalności czasowej u ludzi i zwierząt w ciele migdałowatym. J Neurosci. 2007; 27: 5958 – 5966. [PubMed]
86. Hikida T, Kimura K, Wada N, Funabiki K, Nakanishi S. Odrębne role transmisji synaptycznej w bezpośrednich i pośrednich ścieżkach prążkowia do zachowań nagradzających i awersyjnych. Neuron. 2010; 66: 896 – 907. [PubMed]
87. Hikosaka O. Mechanizmy zwojów podstawy zorientowanego na ruchy gałek ocznych. Roczniki Akademii Nauk w Nowym Jorku. 2007; 1104: 229 – 249. [PubMed]
88. Hikosaka O. habenula: od unikania stresu do podejmowania decyzji opartych na wartościach. Nat Rev Neurosci. 2010; 11: 503 – 513. [Artykuł bezpłatny PMC] [PubMed]
89. Hikosaka O, Takikawa Y, Kawagoe R. Rola jąder podstawy w kontroli celowych ruchów sakadycznych oczu. Przeglądy fizjologiczne. 2000; 80: 953 – 978. [PubMed]
90. Hitchcott PK, Quinn JJ, Taylor JR. Dwukierunkowa modulacja ukierunkowanych działań przez przedczołową korową dopaminę. Cereb Cortex. 2007; 17: 2820 – 2827. [PubMed]
91. Hnasko TS, Chuhma N, Zhang H, Goh GY, Sulzer D, Palmiter RD, Rayport S, Edwards RH. Pęcherzykowy transport glutaminianu sprzyja magazynowaniu dopaminy i corelease glutaminianu in vivo. Neuron. 2010; 65: 643 – 656. [Artykuł bezpłatny PMC] [PubMed]
92. Holland PC, obwody Gallagher M. Amygdala w procesach uwagi i reprezentacji. Trendy w naukach kognitywnych. 1999; 3: 65 – 73. [PubMed]
93. Hollerman JR, Schultz W. Neurony dopaminowe zgłaszają błąd w przewidywaniu czasowym nagrody podczas uczenia się. Nat Neurosci. 1998; 1: 304 – 309. [PubMed]
94. Holroyd CB, Coles MG. Neuralna podstawa przetwarzania błędów ludzkich: uczenie się wzmacniania, dopamina i negatywność związana z błędami. Psychol Rev. 2002; 109: 679 – 709. [PubMed]
95. Hong S, Hikosaka O. Globus pallidus wysyła sygnały związane z nagrodą do bocznego habenula. Neuron. 2008; 60: 720 – 729. [Artykuł bezpłatny PMC] [PubMed]
96. Horvitz JC. Odpowiedzi dopaminowe mezolimbokortykalne i nigrostriatalne na istotne zdarzenia pozapłacowe. Neuroscience. 2000; 96: 651 – 656. [PubMed]
97. Horvitz JC, Stewart T, Jacobs BL. Aktywność wybuchowa brzusznych neuronów dopaminowych brzusznych jest wywoływana przez bodźce czuciowe w przebudzonym kocie. Brain Res. 1997; 759: 251 – 258. [PubMed]
98. Houk JC, Adams JL, Barto AG. Model tego, jak zwoje podstawy generują i wykorzystują sygnały neuronowe, które przewidują wzmocnienie. W: Houk JC, Davis JL, Beiser DG, redaktorzy. Modele przetwarzania informacji w zwojach podstawy mózgu. Cambridge, MA: MIT Press; 1995. str. 249 – 274.
99. Ikemoto S. Obwód nagrody mózgu poza mezolimbicznym układem dopaminowym: teoria neurobiologiczna. Neurobiologia i recenzje biobehawioralne. 2010 [Artykuł bezpłatny PMC] [PubMed]
100. Ito R, Dalley JW, Howes SR, Robbins TW, Everitt BJ. Dysocjacja w warunkowym uwalnianiu dopaminy w rdzeniu i skorupie Nucleus Accumbens w odpowiedzi na bodźce kokainowe i podczas zachowań związanych z poszukiwaniem kokainy u szczurów. J Neurosci. 2000; 20: 7489 – 7495. [PubMed]
101. Ivlieva NY, Timofeeva NIE. Aktywność neuronów w jądrze szypułkowym podczas odruchu warunkowego związanego z pokarmem. Neurobiologia i fizjologia behawioralna. 2003a; 33: 919 – 928. [PubMed]
102. Ivlieva NY, Timofeeva NIE. Aktywność neuronów w jądrze szypułkowym podczas odruchu warunkowego operanta. Neurobiologia i fizjologia behawioralna. 2003b; 33: 499 – 506. [PubMed]
103. Jalabert M, Aston-Jones G, Herzog E, Manzoni O, Georges F. Rola jądra łożyska stria terminalis w kontroli neuronów dopaminowych brzusznego obszaru nakrywki. Postęp w neuropsychofarmakologii i psychiatrii biologicznej. 2009; 33: 1336–1346. [Artykuł bezpłatny PMC] [PubMed]
104. Jeanblanc J, Hoeltzel A, Louilot A. Dysocjacja w zaangażowaniu neuronów dopaminergicznych unerwiających podregiony rdzenia i powłoki jądra półleżącego w utajonym hamowaniu i percepcji afektywnej. Neuroscience. 2002; 111: 315 – 323. [PubMed]
105. Jensen J, Smith AJ, Willeit M, Crawley AP, Mikulis DJ, Vitcu I, Kapur S. Oddzielny kod regionów mózgu dla salience vs. valence podczas przewidywania nagrody u ludzi. Mapowanie ludzkiego mózgu. 2007; 28: 294 – 302. [PubMed]
106. Jhou TC, Fields HL, Baxter MG, Saper CB, Holland PC. Rostromedialne jądro nakrywkowe (RMTg), aferentny GABAergiczny neuron dopaminowy śródmózgowia, koduje bodźce awersyjne i hamuje reakcje motoryczne. Neuron. 2009a; 61: 786 – 800. [Artykuł bezpłatny PMC] [PubMed]
107. Jhou TC, Geisler S, Marinelli M, Degarmo BA, Zahm DS. Mezopontyna rostromedial jądro nakrywkowe: Struktura celowana przez boczne habenula, które wystaje do brzusznej strefy nakrywkowej Tsai i istoty czarnej Compacta. Dziennik neurologii porównawczej. 2009b; 513: 566 – 596. [Artykuł bezpłatny PMC] [PubMed]
108. Ji H, Shepard PD. Boczna stymulacja habenula hamuje neurony dopaminowe śródmózgowia szczura poprzez mechanizm, w którym pośredniczy receptor GABA (A). J Neurosci. 2007; 27: 6923 – 6930. [PubMed]
109. Jin X, Costa RM. Sygnały start / stop pojawiają się w obwodach nigrostriatalnych podczas uczenia sekwencji. Natura. 2010; 466: 457 – 462. [Artykuł bezpłatny PMC] [PubMed]
110. Johansen JP, Fields HL. Aktywacja glutaminergiczna przedniej części kory zakrętu obręczy wywołuje awersyjny sygnał nauczania. Nat Neurosci. 2004; 7: 398 – 403. [PubMed]
111. Joseph MH, Datla K, Young AM. Interpretacja pomiaru jądra półleżącego dopaminy poprzez dializę in vivo: kopnięcie, pragnienie lub poznanie? Neurobiologia i recenzje biobehawioralne. 2003; 27: 527 – 541. [PubMed]
112. Joshua M, Adler A, Bergman H. Dynamika dopaminy w kontroli zachowania motorycznego. Aktualna opinia w neurobiologii. 2009a; 19: 615 – 620. [PubMed]
113. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Neurony dopaminergiczne Midbrain i cholinergiczne interneurony prążkowia kodują różnicę między wydarzeniami nagrody i awersji w różnych epokach probabilistycznych klasycznych prób warunkowania. J Neurosci. 2008; 28: 11673 – 11684. [PubMed]
114. Joshua M., Adler A, Prut Y, Vaadia E, Wickens JR, Bergman H. Synchronizacja neuronów dopaminergicznych śródmózgowia jest wzmocniona przez nagradzające wydarzenia. Neuron. 2009b; 62: 695 – 704. [PubMed]
115. Kable JW, Glimcher PW. Neurobiologia decyzji: konsensus i kontrowersje. Neuron. 2009; 63: 733 – 745. [Artykuł bezpłatny PMC] [PubMed]
116. Kakade S, Dayan P. Dopamina: uogólnienie i premie. Sieci neuronowe. 2002; 15: 549 – 559. [PubMed]
117. Kapur S. Psychosis jako stan nieprawidłowości: struktura łącząca biologię, fenomenologię i farmakologię w schizofrenii. Amerykański dziennik psychiatrii. 2003; 160: 13 – 23. [PubMed]
118. Kaufling J, Veinante P, Pawłowski SA, Freund-Mercier MJ, Barrot M. Afferents na ogon GABAergiczny brzusznej powierzchni nakrywkowej u szczura. Dziennik neurologii porównawczej. 2009; 513: 597 – 621. [PubMed]
119. Kennerley SW, Wallis JD. Ocena wyborów przez pojedyncze neurony w płacie czołowym: wartość wyniku zakodowana w wielu zmiennych decyzyjnych. Europejski dziennik neurobiologii. 2009; 29: 2061 – 2073. [Artykuł bezpłatny PMC] [PubMed]
120. Kim H, Sul JH, Huh N, Lee D, Jung MW. Rola prążkowia w aktualizacji wartości wybranych działań. J Neurosci. 2009; 29: 14701 – 14712. [PubMed]
121. Kiyatkin EA. Właściwości funkcjonalne przypuszczalnych neuronów obszaru dopaminy i innych brzusznych obszarów nakrywkowych nakrywkowych u przytomnych szczurów. Int J Neurosci. 1988a; 42: 21 – 43. [PubMed]
122. Kiyatkin EA. Indukowana przez morfinę modyfikacja właściwości funkcjonalnych neuronów okolicy brzusznej nakrywkowej u świadomego szczura. Intern J Neuroscience. 1988b; 41: 57 – 70. [PubMed]
123. Klingberg T. Trening i plastyczność pamięci roboczej. Trendy w naukach kognitywnych. 2010; 14: 317 – 324. [PubMed]
124. Kobayashi S, Nomoto K, Watanabe M, Hikosaka O, Schultz W, Sakagami M. Wpływ nagradzających i awersyjnych wyników na aktywność w makakowej bocznej korze przedczołowej. Neuron. 2006; 51: 861 – 870. [PubMed]
125. Kobayashi S, Schultz W. Wpływ opóźnień nagrody na odpowiedzi neuronów dopaminowych. J Neurosci. 2008; 28: 7837 – 7846. [Artykuł bezpłatny PMC] [PubMed]
126. Kobayashi Y, Inoue Y, Yamamoto M, Isa T, Aizawa H. Udział neuronów jądra nakłucia szypułkowego w wykonywaniu wizualnie sterowanych zadań sakadowych u małp. J Neurophysiol. 2002; 88: 715 – 731. [PubMed]
127. Koyama T, Tanaka YZ, Mikami A. Neurony nocyceptywne w makaku przednim obrzęku aktywują się podczas oczekiwania na ból. Neuroreport. 1998; 9: 2663 – 2667. [PubMed]
128. Kravitz AV, Freeze BS, Parker PR, Kay K, Thwin MT, Deisseroth K, Kreitzer AC. Regulacja zachowań motorycznych w chorobie Parkinsona poprzez kontrolę optogenetyczną obwodów jąder podstawy. Natura. 2010 [Artykuł bezpłatny PMC] [PubMed]
129. Lammel S, Hetzel A, Hackel O, Jones I, Liss B, Roeper J. Unikalne właściwości neuronów mezoprefronalnych w podwójnym układzie dopaminowym mezokortykolimbicznym. Neuron. 2008; 57: 760 – 773. [PubMed]
130. Lang PJ, Davis M. Emocje, motywacja i mózg: odruchowe podstawy badań nad zwierzętami i ludźmi. Postęp w badaniach mózgu. 2006; 156: 3 – 29. [PubMed]
131. Lapish CC, Kroener S, Durstewitz D, Lavin A, Seamans JK. Zdolność mezokortykalnego układu dopaminowego do działania w różnych trybach czasowych. Psychopharmacology (Berl) 2007; 191: 609 – 625. [PubMed]
132. Lee D, Seo H. Mechanizmy uczenia się wzmacniania i podejmowania decyzji w grzbietowo-bocznej korze przedczołowej naczelnych. Roczniki Akademii Nauk w Nowym Jorku. 2007; 1104: 108 – 122. [PubMed]
133. Lee HJ, Groshek F, Petrovich GD, Cantalini JP, Gallagher M, Holland PC. Rola obwodów migdałowo-czarnych w warunkowaniu bodźca wzrokowego w połączeniu z pożywieniem. J Neurosci. 2005; 25: 3881 – 3888. [Artykuł bezpłatny PMC] [PubMed]
134. Levita L, Dalley JW, Robbins TW. Nucleus accumbens ponownie dopaminy i nauczył strachu ponownie: przegląd i kilka nowych ustaleń. Badania behawioralne mózgu. 2002; 137: 115 – 127. [PubMed]
135. Lin SC, Nicolelis MA. Neuronalny zespół pękający w podstawnym przodomózgowiu koduje Salience niezależnie od Valence. Neuron. 2008; 59: 138 – 149. [Artykuł bezpłatny PMC] [PubMed]
136. Lisman JE, Grace AA. Pętla hipokampa-VTA: kontrolowanie wprowadzania informacji do pamięci długoterminowej. Neuron. 2005; 46: 703 – 713. [PubMed]
137. Litt A, Plassmann H, Shiv B, Rangel A. Oddzielanie sygnałów wyceny i istotności podczas podejmowania decyzji. Cereb Cortex. 2010 w prasie. [PubMed]
138. Liu Z, Richmond BJ, Murray EA, Saunders RC, Steenrod S, Stubblefield BK, Montague DM, Ginns EI. Celowanie DNA w białko receptora D2 w korze nosowej odwracalnie blokuje uczenie się sygnałów, które przewidują nagrodę. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2004; 101: 12336 – 12341. [Artykuł bezpłatny PMC] [PubMed]
139. Liu ZH, Shin R, Ikemoto S. Podwójna rola przyśrodkowych neuronów dopaminowych A10 w kodowaniu afektywnym. Neuropsychofarmakologia. 2008; 33: 3010 – 3020. [Artykuł bezpłatny PMC] [PubMed]
140. Ljungberg T, Apicella P, Schultz W. Odpowiedzi małpich neuronów dopaminowych podczas uczenia się reakcji behawioralnych. J Neurophysiol. 1992; 67: 145 – 163. [PubMed]
141. Lobo MK, Covington HE, 3rd, Chaudhury D, Friedman AK, Sun H, Damez-Werno D, Dietz DM, Zaman S, Koo JW, Kennedy PJ, et al. Specyficzna dla komórek utrata sygnalizacji BDNF naśladuje optogenetyczną kontrolę nagrody kokainowej. Nauka. 2010; 330: 385 – 390. [Artykuł bezpłatny PMC] [PubMed]
142. Maeda H, Mogenson GJ. Wpływ stymulacji obwodowej na aktywność neuronów w brzusznym obszarze nakrywkowym, tworzenie istoty czarnej i śródmózgowia szczurów. Biuletyn badań mózgu. 1982; 8: 7 – 14. [PubMed]
143. Mantz J, Thierry AM, Głowiński J. Wpływ szkodliwego uszczypnięcia ogona na szybkość wydzielania mezokortykalnych i mezolimbicznych neuronów dopaminowych: selektywna aktywacja układu mezokortykalnego. Brain Res. 1989; 476: 377 – 381. [PubMed]
144. Margolis EB, Lock H, Hjelmstad GO, Fields HL. Ponownie powrócono do brzusznej strefy nakrywkowej: czy istnieje elektrofizjologiczny marker neuronów dopaminergicznych? The Journal of physiology. 2006; 577: 907 – 924. [Artykuł bezpłatny PMC] [PubMed]
145. Margolis EB, Mitchell JM, Ishikawa J, Hjelmstad GO, Fields HL. Neurony dopaminowe śródmózgowia: cel projekcji określa czas trwania potencjału czynnościowego i hamowanie receptora dopaminy D (2). J Neurosci. 2008; 28: 8908 – 8913. [PubMed]
146. Mark GP, Blander DS, Hoebel BG. Kondycjonowany bodziec zmniejsza pozakomórkową dopaminę w jądrze półleżącym po rozwoju wyuczonej awersji smakowej. Brain Res. 1991; 551: 308 – 310. [PubMed]
147. Marowsky A, Yanagawa Y, Obata K, Vogt KE. Wyspecjalizowana podklasa neuronów pośrednich pośredniczy w dopaminergicznym ułatwianiu funkcji ciała migdałowatego. Neuron. 2005; 48: 1025 – 1037. [PubMed]
148. Matsumoto M, Hikosaka O. Boczne habenula jako źródło negatywnych sygnałów nagrody w neuronach dopaminowych. Natura. 2007; 447: 1111 – 1115. [PubMed]
149. Matsumoto M, Hikosaka O. Reprezentacja negatywnej wartości motywacyjnej w bocznych habenula naczelnych. Nat Neurosci. 2009a; 12: 77 – 84. [Artykuł bezpłatny PMC] [PubMed]
150. Matsumoto M, Hikosaka O. Dwa typy neuronów dopaminowych wyraźnie przekazują pozytywne i negatywne sygnały motywacyjne. Natura. 2009b; 459: 837 – 841. [Artykuł bezpłatny PMC] [PubMed]
151. Matsumoto M, Matsumoto K, Abe H, Tanaka K. Błędy prognozowania aktywności komórek przedczołowych w wartościach akcji. Nat Neurosci. 2007; 10: 647 – 656. [PubMed]
152. Maj PJ, McHaffie JG, Stanford TR, Jiang H, Costello MG, Coizet V, Hayes LM, Haber SN, Redgrave P. Tektonigralne projekcje w naczelnych: droga wstępnego uważnego wprowadzania bodźców do neuronów dopaminergicznych śródmózgowia. Europejski dziennik neurobiologii. 2009; 29: 575 – 587. [Artykuł bezpłatny PMC] [PubMed]
153. Mazzoni P, Hristova A, Krakauer JW. Dlaczego nie poruszamy się szybciej? Choroba Parkinsona, wigor ruchu i ukryta motywacja. J Neurosci. 2007; 27: 7105–7116. [PubMed]
154. Merali Z, Michaud D, McIntosh J, Kent P, Anisman H.Różnicowe zaangażowanie systemu (ów) ciała migdałowatego CRH w istotność i wartościowość bodźców. Postęp w neuropsychofarmakologii i psychiatrii biologicznej. 2003; 27: 1201–1212. [PubMed]
155. Mirenowicz J, Schultz W. Preferencyjna aktywacja neuronów dopaminowych śródmózgowia raczej przez bodźce apetyczne niż awersyjne. Natura. 1996; 379: 449 – 451. [PubMed]
156. Molina-Luna K, Pekanovic A, Rohrich S, Hertler B, Schubring-Giese M, Rioult-Pedotti MS, Luft AR. Dopamina w korze ruchowej jest niezbędna do uczenia się umiejętności i plastyczności synaptycznej. PLoS ONE. 2009; 4: e7082. [Artykuł bezpłatny PMC] [PubMed]
157. Montague PR, Berns GS. Ekonomia neuronowa i biologiczne substraty wyceny. Neuron. 2002; 36: 265 – 284. [PubMed]
158. Montague PR, Dayan P, Sejnowski TJ. Ramy dla systemów dopaminergicznych śródmózgowia oparte na predykcyjnym uczeniu się Hebbana. J Neurosci. 1996; 16: 1936 – 1947. [PubMed]
159. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Przypadkowe, ale wyraźne komunikaty dopaminy w śródmózgowiu i prążkowato aktywnych neuronów. Neuron. 2004; 43: 133 – 143. [PubMed]
160. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain neurony dopaminowe kodują decyzje do przyszłych działań. Nat Neurosci. 2006; 9: 1057 – 1063. [PubMed]
161. Morrison SE, Salzman CD. Zbieżność informacji o bodźcach nagradzających i awersyjnych w pojedynczych neuronach. J Neurosci. 2009; 29: 11471 – 11483. [Artykuł bezpłatny PMC] [PubMed]
162. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Neurony dopaminowe mogą reprezentować zależny od kontekstu błąd przewidywania. Neuron. 2004; 41: 269 – 280. [PubMed]
163. Nakamura K, Hikosaka O. Rola dopaminy w naczelnym jądrze ogoniastym w modulacji nagrody sakad. J Neurosci. 2006; 26: 5360 – 5369. [PubMed]
164. Neve KA, Seamans JK, Trantham-Davidson H. Sygnalizacja receptora dopaminy. Journal of receptor and transdukcji sygnału. 2004; 24: 165 – 205. [PubMed]
165. Nishijo H, Ono T, Nishino H. Pojedyncze odpowiedzi neuronów w ciele migdałowatym małpy alarmowej podczas złożonej stymulacji sensorycznej o znaczeniu afektywnym. J Neurosci. 1988; 8: 3570 – 3583. [PubMed]
166. Niv Y, Daw ND, Joel D, dayan P. Tonic dopamina: koszty alternatywne i kontrola siły reakcji. Psychofarmakologia. 2007; 191: 507 – 520. [PubMed]
167. Nomoto K, Schultz W, Watanabe T, Sakagami M. Czasowo rozszerzyły reakcje dopaminowe na percepcyjnie wymagające bodźce predykcyjne. J Neurosci. 2010; 30: 10692 – 10702. [Artykuł bezpłatny PMC] [PubMed]
168. Okada K, Toyama K, Inoue Y, Isa T, Kobayashi Y. Różne neurony nakłucia szypułkowego szypułkowego sygnalizują przewidywane i rzeczywiste nagrody za zadania. J Neurosci. 2009; 29: 4858 – 4870. [PubMed]
169. Omelchenko N, Bell R, Sesack SR. Boczne projekcje habenula do neuronów dopaminowych i GABA w brzusznej okolicy nakrywkowej szczura. Europejski dziennik neurobiologii. 2009; 30: 1239 – 1250. [Artykuł bezpłatny PMC] [PubMed]
170. Owesson-White CA, Ariansen J, Stuber GD, Cleaveland NA, Cheer JF, Wightman RM, Carelli RM. Kodowanie neuronowe zachowania poszukującego kokainy jest zbieżne z fazowym uwalnianiem dopaminy w rdzeniu i powłoce półleżącej. Europejski dziennik neurobiologii. 2009; 30: 1117 – 1127. [Artykuł bezpłatny PMC] [PubMed]
171. Oyama K, Hernadi I, Iijima T, Tsutsui K. Błąd przewidywania nagród kodujący w grzbietowych neuronach prążkowia. J Neurosci. 2010; 30: 11447 – 11457. [PubMed]
172. Packard MG, White NM. Dysocjacja systemów pamięci hipokampa i jądra ogoniastego przez wyszkolenie wstrzyknięcia śródmózgowego agonistów dopaminy. Neurologia behawioralna. 1991; 105: 295 – 306. [PubMed]
173. Padoa-Schioppa C. Kora oczodołowo-czołowa i obliczanie wartości ekonomicznej. Roczniki Akademii Nauk w Nowym Jorku. 2007; 1121: 232 – 253. [PubMed]
174. Palmiter RD. Sygnalizacja dopaminowa w prążkowiu grzbietowym jest niezbędna dla zachowań motywowanych: lekcje od myszy z niedoborem dopaminy. Roczniki Akademii Nauk w Nowym Jorku. 2008; 1129: 35 – 46. [Artykuł bezpłatny PMC] [PubMed]
175. Pan WX, Hyland BI. Jądro nakłucia szypułkowego kontroluje uwarunkowane odpowiedzi neuronów dopaminowych śródmózgowia u zachowujących się szczurów. J Neurosci. 2005; 25: 4725 – 4732. [PubMed]
176. Pan WX, Schmidt R, Wickens JR, Hyland BI. Trójstronny mechanizm ekstynkcji sugerowany przez aktywność neuronów dopaminowych i model różnic czasowych. J Neurosci. 2008; 28: 9619 – 9631. [PubMed]
177. Parker JG, Zweifel LS, Clark JJ, Evans SB, Phillips PE, Palmiter RD. Brak receptorów NMDA w neuronach dopaminowych osłabia uwalnianie dopaminy, ale nie warunkuje podejścia podczas warunkowania Pawłowskiego. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2010 [Artykuł bezpłatny PMC] [PubMed]
178. Pascoe JP, Kapp BS. Charakterystyka elektrofizjologiczna neuronów centralnych jądra migdałowatego podczas warunkowania strachu Pawłowa u królika. Badania behawioralne mózgu. 1985; 16: 117 – 133. [PubMed]
179. Pascucci T, Ventura R, Latagliata EC, Cabib S, Puglisi-Allegra S. Przyśrodkowa kora przedczołowa określa odpowiedź dopaminową półleżącą na stres poprzez przeciwstawne wpływy noradrenaliny i dopaminy. Cereb Cortex. 2007; 17: 2796 – 2804. [PubMed]
180. Pearce JM, Hall G. Model uczenia się Pawłowa: zmiany skuteczności bodźców uwarunkowanych, ale nie uwarunkowanych. Psychol Rev. 1980; 87: 532 – 552. [PubMed]
181. Pezze MA, Feldon J. Mesolimbic szlaki dopaminergiczne w warunkowaniu strachu. Postęp w neurobiologii. 2004; 74: 301 – 320. [PubMed]
182. Phillips AG, Ahn S, Howland JG. Amygdalarowa kontrola mezokortykolimbicznego układu dopaminowego: równoległe drogi do zmotywowanego zachowania. Neurobiologia i recenzje biobehawioralne. 2003a; 27: 543 – 554. [PubMed]
183. Phillips GD, Salussolia E, Hitchcott PK. Rola projekcji dopaminowej mesoamygdaloidu w uczeniu się emocjonalnym. Psychofarmakologia. 2010 [PubMed]
184. Phillips PE, Stuber GD, Heien ML, Wightman RM, Carelli RM. Drugie uwalnianie dopaminy sprzyja poszukiwaniu kokainy. Natura. 2003b; 422: 614 – 618. [PubMed]
185. Porrino LJ, Goldman-Rakic ​​PS. Unerwienie pnia mózgu przedczołowej i przedniej obręczy obręczy w rezusie ujawnione przez wsteczny transport HRP. Dziennik neurologii porównawczej. 1982; 205: 63 – 76. [PubMed]
186. Puryear CB, Kim MJ, Mizumori SJ. Łączenie kodowania ruchu i nagrody za pomocą brzusznych neuronów obszaru nakrywkowego w swobodnie poruszającym się gryzonie. Neurologia behawioralna. 2010; 124: 234 – 247. [Artykuł bezpłatny PMC] [PubMed]
187. Ravel S, Legallet E, Apicella P. Tonicznie aktywne neurony w prążkowiu małpy nie reagują preferencyjnie na bodźce apetyczne. Eksperymentalne badania mózgu. Experimentelle Hirnforschung. 1999; 128: 531 – 534. [PubMed]
188. Ravel S, Legallet E, Apicella P. Odpowiedzi tonicznie aktywnych neuronów w prążkowiu małpy rozróżniają bodźce przeciwstawne motywacyjnie. J Neurosci. 2003; 23: 8489 – 8497. [PubMed]
189. Ravel S, Richmond BJ. Odpowiedzi neuronalne dopaminy u małp wykonujących schematy nagrody wizualnie wskazane. Europejski dziennik neurobiologii. 2006; 24: 277 – 290. [PubMed]
190. Redgrave P, Gurney K. Sygnał dopaminowy o krótkim opóźnieniu: rola w odkrywaniu nowych działań? Nat Rev Neurosci. 2006; 7: 967 – 975. [PubMed]
191. Redgrave P, Prescott TJ, Gurney K. Czy reakcja na dopaminę o krótkim opóźnieniu jest zbyt krótka, aby zasygnalizować błąd nagrody? Trendy w neuronaukach. 1999; 12: 146 – 151. [PubMed]
192. Rescorla RA, Wagner AR. Teoria uwarunkowań Pawłowskich: różnice w skuteczności wzmocnienia i niewzmocnienia. W: Black AH, Prokasy WF, redaktorzy. Klasyczna klimatyzacja II: Aktualne badania i teoria. Nowy Jork, Nowy Jork: Appleton Century Crofts; 1972. str. 64 – 99.
193. Reynolds JNJ, Hyland BI, Wickens JR. Mechanizm komórkowy uczenia się związanego z nagrodami. Natura. 2001; 413: 67 – 70. [PubMed]
194. Reynolds SM, Berridge KC. Pozytywna i negatywna motywacja w skorupie jądra półleżącego: dwuwartościowe gradienty rostrocaudalne dla jedzenia wywoływanego przez GABA, reakcje „lubienia” / „nielubienia” smaku, preferencja / unikanie miejsca oraz strach. J Neurosci. 2002; 22: 7308–7320. [PubMed]
195. Richardson RT, DeLong MR. Badania elektrofizjologiczne funkcji jądra podstawnego u naczelnych. Postępy w medycynie eksperymentalnej i biologii. 1991; 295: 233 – 252. [PubMed]
196. Robbins TW, Arnsten AF. Neuropsychofarmakologia funkcji fronto-wykonawczej: modulacja monoaminergiczna. Coroczny przegląd neurobiologii. 2009; 32: 267 – 287. [Artykuł bezpłatny PMC] [PubMed]
197. Robinson DL, Hermans A, Seipel AT, Wightman RM. Monitorowanie szybkiej komunikacji chemicznej w mózgu. Opinie chemiczne. 2008; 108: 2554 – 2584. [Artykuł bezpłatny PMC] [PubMed]
198. Roesch MR, Calu DJ, Schoenbaum G. Neurony dopaminowe kodują lepszą opcję u szczurów decydujących o nagrodach o różnym opóźnieniu lub wielkości. Nat Neurosci. 2007; 10: 1615 – 1624. [Artykuł bezpłatny PMC] [PubMed]
199. Roesch MR, Olson CR. Aktywność neuronalna związana z wartością nagrody i motywacją w korze czołowej naczelnych. Nauka. 2004; 304: 307 – 310. [PubMed]
200. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Reakcje chemiczne w czasie rzeczywistym w jądrze półleżącym różnicują bodźce nagradzające i awersyjne. Nat Neurosci. 2008; 11: 1376 – 1377. [Artykuł bezpłatny PMC] [PubMed]
201. Rutledge RB, Lazzaro SC, Lau B, Myers CE, Gluck MA, Glimcher PW. Leki dopaminergiczne modulują tempo uczenia się i persewerację u pacjentów z chorobą Parkinsona w dynamicznym zadaniu żerującym. J Neurosci. 2009; 29: 15104–15114. [Artykuł bezpłatny PMC] [PubMed]
202. Salamone JD. Zaangażowanie jądra nabiera dopaminy w motywacji apetycznej i awersyjnej. Badania behawioralne mózgu. 1994; 61: 117 – 133. [PubMed]
203. Salamone JD, Correa M, Farrar A, Mingote SM. Związane z wysiłkiem funkcje jądra półleżącego dopaminy i powiązanych obwodów przodomózgowia. Psychopharmacology (Berl) 2007; 191: 461 – 482. [PubMed]
204. Satoh T, Nakai S, Sato T, Kimura M. Skorelowane kodowanie motywacji i wynik decyzji przez neurony dopaminowe. J Neurosci. 2003; 23: 9913 – 9923. [PubMed]
205. Savine AC, Beck SM, Edwards BG, Chiew KS, Braver TS. Wzmocnienie kontroli poznawczej poprzez podejście i unikanie stanów motywacyjnych. Poznanie i emocje. 2010; 24: 338–356. [Artykuł bezpłatny PMC] [PubMed]
206. Schoenbaum G, Roesch MR, Stalnaker TA, Takahashi YK. Nowa perspektywa dotycząca roli kory oczodołowo-czołowej w zachowaniach adaptacyjnych. Nat Rev Neurosci. 2009; 10: 885 – 892. [Artykuł bezpłatny PMC] [PubMed]
207. Schultz W. Odpowiedzi neuronów dopaminowych śródmózgowia na behawioralne bodźce wyzwalające u małpy. J Neurophysiol. 1986; 56: 1439 – 1461. [PubMed]
208. Schultz W. Predykcyjny sygnał nagrody neuronów dopaminowych. J Neurophysiol. 1998; 80: 1 – 27. [PubMed]
209. Schultz W. Wiele funkcji dopaminy w różnych przebiegach czasowych. Coroczny przegląd neurobiologii. 2007; 30: 259 – 288. [PubMed]
210. Schultz W. Dopamina sygnalizuje wartość i ryzyko nagrody: podstawowe i najnowsze dane. Behav Brain Funct. 2010; 6: 24. [Artykuł bezpłatny PMC] [PubMed]
211. Schultz W, Dayan P, Montague PR. Neuronowy substrat przewidywania i nagrody. Nauka. 1997; 275: 1593 – 1599. [PubMed]
212. Schultz W, Romo R. Odpowiedzi nigrostriatalnych neuronów dopaminowych na stymulację somatosensoryczną o wysokiej intensywności u znieczulonej małpy. J Neurophysiol. 1987; 57: 201 – 217. [PubMed]
213. Schultz W, Romo R. Neurony dopaminowe śródmózgowia małpy: przypadki odpowiedzi na bodźce wywołujące natychmiastowe reakcje behawioralne. J Neurophysiol. 1990; 63: 607 – 624. [PubMed]
214. Seo H, Lee D. Tymczasowe filtrowanie sygnałów nagrody w grzbietowej przedniej obręczy obręczy podczas gry o strategii mieszanej. J Neurosci. 2007; 27: 8366 – 8377. [Artykuł bezpłatny PMC] [PubMed]
215. Shabel SJ, Janak PH. Istotne podobieństwo aktywności neuronalnej ciała migdałowatego podczas uwarunkowanego pobudzenia emocjonalnego apetycznego i awersyjnego. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2009; 106: 15031 – 15036. [Artykuł bezpłatny PMC] [PubMed]
216. Shadmehr R, Smith MA, Krakauer JW. Korekcja błędów, przewidywanie sensoryczne i adaptacja w sterowaniu silnikiem. Coroczny przegląd neurobiologii. 2010 [PubMed]
217. Shen W, Flajolet M, Greengard P, Surmeier DJ. Dychotomiczna kontrola dopaminergiczna plastyczności synaptycznej prążkowia. Nauka. 2008; 321: 848 – 851. [Artykuł bezpłatny PMC] [PubMed]
218. Shimo Y, Wichmann T. Aktywność neuronów w jądrze podwzgórza moduluje uwalnianie dopaminy w prążkowiu małpy. Europejski dziennik neurobiologii. 2009; 29: 104 – 113. [Artykuł bezpłatny PMC] [PubMed]
219. Podłoża Shippenberga, substraty neuroanatomiczne Balsa-Kubika R, Hubera A, Herza A. Neuroanatomiczne pośredniczące w niepożądanych efektach antagonistów receptora dopaminowego D-1. Psychopharmacology (Berl) 1991; 103: 209 – 214. [PubMed]
220. Shumake J, Ilango A, Scheich H, Wetzel W, Ohl FW. Różnicowa neuromodulacja nabywania i wyszukiwania unikania uczenia się przez boczny obszar habenula i brzuszny obszar nakrywkowy. J Neurosci. 2010; 30: 5876 – 5883. [PubMed]
221. Mały DM, Gregory MD, Mak YE, Gitelman D, Mesulam MM, Parrish T. Dysocjacja neuronowej reprezentacji intensywności i afektywnej wyceny w ludzkim smaku. Neuron. 2003; 39: 701 – 711. [PubMed]
222. Stefani MR, Moghaddam B. Nauka o regułach i przygodność są powiązane z dysocjującymi wzorami aktywacji dopaminy w korze przedczołowej szczura, jądrze półleżącym i prążkowiu grzbietowym. J Neurosci. 2006; 26: 8810 – 8818. [Artykuł bezpłatny PMC] [PubMed]
223. Steinfels GF, Heym J, Strecker RE, Jacobs BL. Odpowiedź neuronów dopaminergicznych u kota na bodźce słuchowe prezentowane w cyklu snu i czuwania. Brain Res. 1983; 277: 150 – 154. [PubMed]
224. Strecker RE, Jacobs BL. Substancja nigra aktywność jednostki dopaminergicznej u zachowujących się kotów: wpływ pobudzenia na samoistne wyładowanie i aktywność wywołaną zmysłami. Brain Res. 1985; 361: 339 – 350. [PubMed]
225. Stuber GD, Hnasko TS, Britt JP, Edwards RH, Bonci A. Dopaminergiczne końcówki w jądrze półleżącym, ale nie glutaminianu prążkowia w prążkowiu. Journal of Neuroscience. 2010; 30: 8229 – 8233. [Artykuł bezpłatny PMC] [PubMed]
226. Stuber GD, Wightman RM, Carelli RM. Wymieranie kokainy przez samopodawanie ujawnia funkcjonalnie i czasowo odmienne sygnały dopaminergiczne w jądrze półleżącym. Neuron. 2005; 46: 661 – 669. [PubMed]
227. Sul JH, Kim H, Huh N, Lee D, Jung MW. Odrębne role gryzoniowo-czołowej i środkowej kory przedczołowej w podejmowaniu decyzji. Neuron. 2010; 66: 449 – 460. [Artykuł bezpłatny PMC] [PubMed]
228. Surmeier DJ, Ding J, Day M, Wang Z, Shen W. D1 i D2 modulacja receptora dopaminy w prążkowiu sygnalizacji glutaminergicznej w neuronach kolczastych średnich prążkowia. Trendy w neuronaukach. 2007; 30: 228 – 235. [PubMed]
229. Surmeier DJ, Shen W, Day M, Gertler T, Chan S, Tian X, Plotkin JL. Rola dopaminy w modulowaniu struktury i funkcji obwodów prążkowia. Postęp w badaniach mózgu. 2010; 183C: 148 – 167. [PubMed]
230. Sutton RS, Barto AG. W stronę nowoczesnej teorii sieci adaptacyjnych: oczekiwanie i przewidywanie. Psychol Rev. 1981; 88: 135 – 170. [PubMed]
231. Takahashi YK, Roesch MR, Stalnaker TA, Haney RZ, Calu DJ, Taylor AR, Burke KA, Schoenbaum G. Kora oczodołowo-czołowa i brzuszna część nakrywkowa są niezbędne do uczenia się na podstawie nieoczekiwanych wyników. Neuron. 2009; 62: 269 – 280. [Artykuł bezpłatny PMC] [PubMed]
232. Takikawa Y, Kawagoe R, Hikosaka O. Możliwa rola neuronów dopaminowych śródmózgowia w krótko- i długoterminowej adaptacji sakkad do mapowania pozycji-nagrody. J Neurophysiol. 2004; 92: 2520 – 2529. [PubMed]
233. Tecuapetla F, Patel JC, Xenias H, angielski D, Tadros I, Shah F, Berlin J, Deisseroth K, Rice ME, Tepper JM, Koos T. Sygnalizacja glutaminergiczna przez mezolimbiczne neurony dopaminowe w jądrze półleżącym. J Neurosci. 2010; 30: 7105 – 7110. [Artykuł bezpłatny PMC] [PubMed]
234. Thierry AM, Tassin JP, Blanc G, Glowinski J. Selektywna aktywacja mezokortykalnego układu DA przez stres. Natura. 1976; 263: 242 – 244. [PubMed]
235. Tobler PN, Dickinson A, Schultz W. Kodowanie przewidywanego pominięcia nagrody przez neurony dopaminowe w paradygmacie hamowania warunkowego. J Neurosci. 2003; 23: 10402 – 10410. [PubMed]
236. Tobler PN, Fiorillo CD, Schultz W. Adaptacyjne kodowanie wartości nagrody przez neurony dopaminowe. Nauka. 2005; 307: 1642 – 1645. [PubMed]
237. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Wypalanie fazowe w neuronach dopaminergicznych jest wystarczające do warunkowania behawioralnego. Nauka. 2009 [PubMed]
238. Ullsperger M. Badania asocjacji genetycznej monitorowania wydajności i uczenia się na podstawie informacji zwrotnych: rola dopaminy i serotoniny. Neurobiologia i recenzje biobehawioralne. 2010; 34: 649 – 659. [PubMed]
239. Ungless MA. Dopamina: istotna kwestia. Trendy w neuronaukach. 2004; 27: 702 – 706. [PubMed]
240. Uylings HB, Groenewegen HJ, Kolb B. Czy szczury mają korę przedczołową? Badania behawioralne mózgu. 2003; 146: 3 – 17. [PubMed]
241. Ventura R, Cabib S, Puglisi-Allegra S. Przeciwna zależna od genotypu mezokortykolimbiczna odpowiedź na dopaminę na stres. Neuroscience. 2001; 104: 627 – 631. [PubMed]
242. Ventura R, Latagliata EC, Morrone C, La Mela I, Puglisi-Allegra S. Przedczołowa norepinefryna determinuje przypisanie „wysokiej” istotności motywacyjnej. PLoS ONE. 2008; 3: e3044. [Artykuł bezpłatny PMC] [PubMed]
243. Ventura R, Morrone C, Puglisi-Allegra S. Układ katecholaminowy przedczołowy / półleżący określa przynależność motywacyjną do bodźców związanych z nagrodą i awersją. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2007; 104: 5181 – 5186. [Artykuł bezpłatny PMC] [PubMed]
244. Vogt BA. Ból i interakcje emocji w podregionach zakrętu obręczy. Nat Rev Neurosci. 2005; 6: 533 – 544. [Artykuł bezpłatny PMC] [PubMed]
245. Voon V, Pessiglione M, Brezing C, Gallea C, Fernandez HH, Dolan RJ, Hallett M. Mechanizmy leżące u podstaw nagrody za pośrednictwem dopaminy w zachowaniach kompulsywnych. Neuron. 2010; 65: 135 – 142. [Artykuł bezpłatny PMC] [PubMed]
246. Waelti P, Dickinson A, Schultz W. Odpowiedzi dopaminowe są zgodne z podstawowymi założeniami teorii uczenia się formalnego. Natura. 2001; 412: 43 – 48. [PubMed]
247. Wallis JD, Kennerley SW. Niejednorodne sygnały nagrody w korze przedczołowej. Aktualna opinia w neurobiologii. 2010; 20: 191 – 198. [Artykuł bezpłatny PMC] [PubMed]
248. Walton ME, Behrens TE, Buckley MJ, Rudebeck PH, Rushworth MF. Oddzielne systemy uczenia się w mózgu makaka i rola kory oczodołowo-czołowej w uczeniu się warunkowym. Neuron. 2010; 65: 927 – 939. [Artykuł bezpłatny PMC] [PubMed]
249. Wheeler RA, Twining RC, Jones JL, Slater JM, Grigson PS, Carelli RM. Wskaźniki behawioralne i elektrofizjologiczne negatywnego afektu przewidują samopodawanie kokainy. Neuron. 2008; 57: 774 – 785. [PubMed]
250. Wightman RM, Heien MLAV, Wassum KM, Sombers LA, Aragona BJ, Khan AS, Ariansen JL, Cheer JF, Phillips PE, Carelli RM. Uwalnianie dopaminy jest niejednorodne w mikrośrodowiskach jądra półleżącego szczura. Europejski dziennik neurobiologii. 2007; 26: 2046 – 2054. [PubMed]
251. Williams GV, Castner SA. Pod krzywą: krytyczne problemy dla wyjaśnienia funkcji receptora D1 w pamięci roboczej. Neuroscience. 2006; 139: 263 – 276. [PubMed]
252. Williams SM, Goldman-Rakic ​​PS. Powszechne pochodzenie naczelnego układu mezofrontalnego dopaminy. Cereb Cortex. 1998; 8: 321 – 345. [PubMed]
253. Winn P. Jak najlepiej rozważyć strukturę i funkcję jądra nakrywkowego części szypułkowej: dowody z badań na zwierzętach. Journal of the Neurological Sciences. 2006; 248: 234 – 250. [PubMed]
254. Mądry RA. Dopamina, nauka i motywacja. Nat Rev Neurosci. 2004; 5: 483 – 494. [PubMed]
255. Mądry RA. Podłoże przodomózgowia nagrody i motywacji. Dziennik neurologii porównawczej. 2005; 493: 115 – 121. [Artykuł bezpłatny PMC] [PubMed]
256. Wise SP. Przednie pola czołowe: filogeneza i funkcja podstawowa. Trendy w neuronaukach. 2008; 31: 599 – 608. [Artykuł bezpłatny PMC] [PubMed]
257. Yamada H, Matsumoto N, Kimura M. Tonicznie aktywne neurony w jądrze ogoniastym naczelnych i skorupie różnie kodują pouczone wyniki motywacyjne działania. J Neurosci. 2004; 24: 3500 – 3510. [PubMed]
258. Yamada H, Matsumoto N, Kimura M. Historia i aktualne oparte na instrukcjach kodowanie przyszłych wyników behawioralnych w prążkowiu. J Neurophysiol. 2007; 98: 3557 – 3567. [PubMed]
259. Yin HH, Knowlton BJ. Rola jąder podstawnych w tworzeniu nawyku. Nat Rev Neurosci. 2006; 7: 464 – 476. [PubMed]
260. Young AM, Moran PM, Joseph MH. Rola dopaminy w kondycjonowaniu i hamowaniu utajonym: co, kiedy, gdzie i jak? Neurobiologia i recenzje biobehawioralne. 2005; 29: 963 – 976. [PubMed]
261. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Neurony istoty czarnej człowieka kodują nieoczekiwane korzyści finansowe. Nauka. 2009; 323: 1496 – 1499. [Artykuł bezpłatny PMC] [PubMed]
262. Zahniser NR, Sorkin A. Szybka regulacja transportera dopaminy: rola w uzależnieniu od stymulantów? Neuropharmakologia. 2004; 47 Suppl 1: 80 – 91. [PubMed]
263. Zhang L, Doyon WM, Clark JJ, Phillips PE, Dani JA. Kontrola tonicznej i fazowej transmisji dopaminy w prążkowiu grzbietowym i brzusznym. Farmakologia molekularna. 2009; 76: 396 – 404. [Artykuł bezpłatny PMC] [PubMed]
264. Zink CF, Pagnoni G, Martin ME, Dhamala M, Berns GS. Ludzka odpowiedź prążkowia na wystające bodźce nieprzyjazne. Journal of Neuroscience. 2003; 23: 8092 – 8097. [PubMed]
265. Zweifel LS, Argilli E, Bonci A, Palmiter RD. Rola receptorów NMDA w neuronach dopaminowych pod względem plastyczności i zachowań uzależniających. Neuron. 2008; 59: 486 – 496. [Artykuł bezpłatny PMC] [PubMed]
266. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, et al. Zakłócenie wybuchu zależnego od NMDAR przez neurony dopaminowe zapewnia selektywną ocenę fazowego zachowania zależnego od dopaminy. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2009; 106: 7281 – 7288. [Artykuł bezpłatny PMC] [PubMed]