Dopamina w kontroli motywacyjnej: nagradzająca, awersyjna i ostrzegająca (2010)

Zobacz inne artykuły w PMC cytujące opublikowany artykuł.

Neurony dopaminowe śródmózgowia są dobrze znane z ich silnej odpowiedzi na nagrody i ich kluczowej roli w pozytywnej motywacji. Staje się jednak coraz bardziej oczywiste, że neurony dopaminowe również przekazują sygnały związane z istotnymi, ale nie nagradzającymi doświadczeniami, takimi jak zdarzenia awersyjne i alarmujące. Tutaj dokonujemy przeglądu ostatnich postępów w zrozumieniu funkcji dopaminy w nagrodach i za nie nagradzanie. Na podstawie tych danych proponujemy, że neurony dopaminowe występują w wielu typach, które są połączone z odrębnymi sieciami mózgowymi i mają różne role w kontroli motywacyjnej. Niektóre neurony dopaminowe kodują wartość motywacyjną, wspierając sieci mózgowe w poszukiwaniu, ocenie i uczeniu się wartości. Inni kodują motywację, wspierając sieci mózgowe do orientacji, poznania i ogólnej motywacji. Oba typy neuronów dopaminowych są wzmocnione sygnałem ostrzegawczym zaangażowanym w szybkie wykrywanie potencjalnie ważnych sygnałów czuciowych. Zakładamy, że te szlaki dopaminergiczne dla wartości, istotności i alarmowania współpracują w celu wspierania zachowań adaptacyjnych.

Dopamina w motywowaniu działań poszukujących nagrody

Od dawna wiadomo, że dopamina jest ważna dla wzmacniania i motywowania działań. Leki, które zakłócają transmisję dopaminy, zakłócają uczenie się przez wzmacnianie, podczas gdy manipulacje, które wzmacniają transmisję dopaminy, takie jak stymulacja mózgu i leki uzależniające, często działają jako wzmacniacze ( Wise, 2004 ). Transmisja dopaminy jest kluczowa dla stworzenia stanu motywacji do poszukiwania nagród ( Berridge i Robinson, 1998 ; Salamone i in., 2007 ) i dla ustanowienia wspomnień skojarzeń wskazówka-nagroda ( Dalley i in., 2005 ). Uwalnianie dopaminy nie jest niezbędne dla wszystkich form uczenia się nagrody i nie zawsze musi być „lubiane” w sensie wywoływania przyjemności, ale jest kluczowe dla powodowania, aby cele stały się „chciane” w sensie motywowania działań do ich osiągnięcia ( Berridge i Robinson, 1998 ; Palmiter, 2008 ).

Jedna z hipotez dotyczących tego, jak dopamina wspiera uczenie się przez wzmacnianie, głosi, że reguluje ona siłę połączeń synaptycznych między neuronami. Najprostsza wersja tej hipotezy głosi, że dopamina kontroluje plastyczność synaptyczną zgodnie ze zmodyfikowaną regułą Hebba, którą można w skrócie określić jako „neurony, które aktywują się razem, łączą się ze sobą, dopóki otrzymują zastrzyk dopaminy”. Innymi słowy, jeśli komórka A aktywuje komórkę B, a komórka B wywołuje działanie behawioralne, które skutkuje nagrodą, wówczas dopamina zostanie uwolniona, a połączenie A→B zostanie wzmocnione ( Montague i in., 1996 ; Schultz, 1998 ). Mechanizm ten pozwoliłby organizmowi nauczyć się optymalnego wyboru działań w celu uzyskania nagrody, biorąc pod uwagę wystarczające doświadczenie prób i błędów. Zgodnie z tą hipotezą dopamina wywiera silny wpływ na plastyczność synaptyczną w wielu obszarach mózgu ( Surmeier i in., 2010 ; Goto i in., 2010 ; Molina-Luna i in., 2009 ; Marowsky i in., 2005 ; Lisman i Grace, 2005 ). W niektórych przypadkach dopamina umożliwia plastyczność synaptyczną zgodnie z regułą Hebba opisaną powyżej, w sposób skorelowany z zachowaniem poszukiwania nagrody ( Reynolds i in., 2001 ). Oprócz wpływu na długoterminową plastyczność synaptyczną, dopamina może również sprawować bezpośrednią kontrolę nad obwodami neuronalnymi, modulując aktywność impulsów nerwowych i połączenia synaptyczne między neuronami ( Surmeier i in., 2007 ; Robbins i Arnsten, 2009 ), w niektórych przypadkach robiąc to w sposób, który promuje natychmiastowe działania mające na celu poszukiwanie nagrody ( Frank, 2005 ).

Sygnały nagrody za neuron dopaminy

Aby motywować działania prowadzące do nagród, dopamina powinna być uwalniana podczas satysfakcjonujących doświadczeń. Rzeczywiście, większość neuronów DA jest silnie aktywowana przez niespodziewane nagrody podstawowe, takie jak pożywienie i woda, często wytwarzając fazowe „wybuchy” aktywności (Schultz, 1998) (wzbudzenia fazowe, w tym wielokrotne skoki (Grace i Bunney, 1983)). Jednak pionierskie badania Wolframa Schultza wykazały, że te reakcje neuronów DA nie są wywoływane przez konsumpcję nagrody per se. Zamiast tego przypominają „błąd przewidywania nagrody”, informując o różnicy między otrzymaną nagrodą a przewidywaną nagrodą (Schultz i wsp., 1997) (Rysunek 1A). Zatem, jeśli nagroda jest większa niż przewidywana, neurony DA są silnie wzbudzone (błąd przewidywania dodatniego, Rysunek 1E, czerwony); jeśli nagroda jest mniejsza niż przewidywana lub nie występuje w wyznaczonym czasie, neurony DA są hamowane fazowo (błąd przewidywania ujemnego, Rysunek 1E, niebieski); a jeśli nagroda zostanie wydana z wyprzedzeniem, aby jej rozmiar był w pełni przewidywalny, neurony DA mają niewielką lub żadną odpowiedź (błąd przewidywania zerowego, Rysunek 1C, czarny). Ta sama zasada dotyczy odpowiedzi DA na sygnały sensoryczne, które dostarczają nowych informacji o przyszłych nagrodach. Neurony DA są wzbudzane, gdy wskazówka wskazuje na wzrost przyszłej wartości nagrody (Rysunek 1C, czerwony), zablokowany, gdy wskazówka wskazuje spadek przyszłej wartości nagrody (Rysunek 1C, niebieski), i generalnie mają niewielką odpowiedź na sygnały, które nie zawierają nowych informacji o nagrodzie (Rysunek 1E, czarny). Te odpowiedzi DA przypominają specyficzny rodzaj błędu przewidywania nagrody zwanego błędem różnicy czasowej lub „błędem TD”, który zaproponowano, aby działać jako sygnał wzmacniający do uczenia się wartości działań i stanów środowiskowych (Houk i in., 1995; Montague i in., 1996; Schultz i wsp., 1997). Modele obliczeniowe wykorzystujące sygnał wzmocnienia podobny do TD mogą wyjaśniać wiele aspektów uczenia się wzmacniania u ludzi, zwierząt i samych neuronów DA (Sutton i Barto, 1981; Waelti i in., 2001; Montague i Berns, 2002; Dayan i Niv, 2008).

 

Rysunek 1

Kodowanie dopaminowe błędów przewidywania nagrody i preferencja dla informacji predykcyjnych

Imponująca gama eksperymentów wykazała, że ​​sygnały DA reprezentują przewidywania nagrody w sposób, który ściśle odpowiada preferencjom behawioralnym, w tym preferencjom dużych nagród nad małymi ( Tobler i in., 2005 ), prawdopodobnych nagród nad nieprawdopodobnymi ( Fiorillo i in., 2003 ; Satoh i in., 2003 ; Morris i in., 2004 ) i natychmiastowych nagród nad opóźnionymi ( Roesch i in., 2007 ; Fiorillo i in., 2008 ; Kobayashi i Schultz, 2008 ). Istnieją nawet dowody na to, że neurony DA u ludzi kodują wartość nagrody pieniężnej ( Zaghloul i in., 2009 ). Co więcej, sygnały DA pojawiają się podczas uczenia się w podobnym czasie, co behawioralne miary przewidywania nagrody ( Hollerman i Schultz, 1998 ; Satoh i in., 2003 ; Takikawa i in., 2004 ; Day i in., 2007 ) i są skorelowane z subiektywnymi miarami preferencji nagrody ( Morris i in., 2006 ). Odkrycia te ustanowiły neurony DA jako jeden z najlepiej poznanych i najbardziej powielonych przykładów kodowania nagrody w mózgu. W rezultacie ostatnie badania poddały neurony DA intensywnej analizie, aby odkryć, w jaki sposób generują przewidywania nagrody i jak ich sygnały działają na struktury niższego rzędu, aby kontrolować zachowanie.

Sygnały nagrody za neuron dopaminy

Ostatnie postępy w zrozumieniu sygnałów nagrody DA wynikają z rozważenia trzech szerokich pytań: w jaki sposób neurony DA uczą się przewidywać nagrody? Jak dokładne są ich prognozy? I co oni uważają za satysfakcjonujące?

W jaki sposób neurony DA uczą się przewidywań dotyczących nagrody? Klasyczne teorie sugerują, że przewidywania dotyczące nagrody są przyswajane poprzez stopniowy proces wzmacniania, wymagający powtarzalnych par bodziec-nagroda ( Rescorla i Wagner, 1972 ; Montague i in., 1996 ). Za każdym razem, gdy po bodźcu A następuje nieoczekiwana nagroda, szacowana wartość A wzrasta. Najnowsze dane pokazują jednak, że neurony DA wykraczają poza proste uczenie się bodźca-nagrody i formułują przewidywania w oparciu o zaawansowane przekonania dotyczące struktury świata. Neurony DA mogą poprawnie przewidywać nagrody nawet w niekonwencjonalnych środowiskach, w których nagrody sparowane ze bodźcem powodują spadek wartości tego bodźca ( Satoh i in., 2003 ; Nakahara i in., 2004 ; Bromberg-Martin i in., 2010c ) lub powodują zmianę wartości zupełnie innego bodźca ( Bromberg-Martin i in., 2010b ). Neurony DA mogą również dostosowywać swoje sygnały nagrody na podstawie statystyk wyższego rzędu rozkładu nagrody, takich jak skalowanie sygnałów błędu przewidywania na podstawie ich oczekiwanej wariancji ( Tobler i in., 2005 ) i „spontaniczne odzyskiwanie” swoich odpowiedzi na wygasłe wskazówki nagrody ( Pan i in., 2008 ). Wszystkie te zjawiska tworzą niezwykłą paralelę do podobnych efektów obserwowanych w adaptacji sensorycznej i motorycznej ( Braun i in., 2010 ; Fairhall i in., 2001 ; Shadmehr i in., 2010 ), co sugeruje, że mogą one odzwierciedlać ogólny mechanizm neuronalny uczenia się predykcyjnego.

Jak dokładne są przewidywania nagrody DA? Ostatnie badania wykazały, że neurony DA wiernie dostosowują swoje sygnały nagrody, aby uwzględnić trzy źródła niepewności przewidywania. Po pierwsze, ludzie i zwierzęta cierpią na wewnętrzny szum czasowy, który uniemożliwia im dokonywanie wiarygodnych przewidywań dotyczących długich odstępów czasu między wskazówką a nagrodą ( Gallistel i Gibbon, 2000 ). Tak więc, jeśli opóźnienia między wskazówką a nagrodą są krótkie (1–2 sekundy), przewidywania czasowe są dokładne, a dostarczenie nagrody wyzwala niewielką reakcję DA, ale w przypadku dłuższych opóźnień między wskazówką a nagrodą przewidywania czasowe stają się mniej wiarygodne, a nagrody wywołują wyraźne wybuchy DA ( Kobayashi i Schultz, 2008 ; Fiorillo i in., 2008 ). Po drugie, wiele wskazówek w życiu codziennym jest nieprecyzyjnych, co określa szeroki rozkład czasu dostarczania nagród. Neurony DA ponownie odzwierciedlają tę formę niepewności czasowej: są stopniowo hamowane podczas zmiennych opóźnień nagrody, jakby sygnalizując coraz bardziej negatywne błędy przewidywania nagrody za każdym razem, gdy nagroda się nie pojawia ( Fiorillo i in., 2008 ; Bromberg-Martin i in., 2010a ; Nomoto i in., 2010 ). Wreszcie, wiele wskazówek jest złożonych percepcyjnie, wymagając szczegółowej analizy, aby dojść do jednoznacznego wniosku na temat ich wartości nagrody. W takich sytuacjach sygnały nagrody DA występują z długimi opóźnieniami i w sposób stopniowy, wydając się odzwierciedlać stopniowy przepływ informacji percepcyjnych w miarę dekodowania wartości bodźca ( Nomoto i in., 2010 ).

Jakie wydarzenia neurony DA traktują jako nagradzające? Konwencjonalne teorie uczenia się nagrody sugerują, że neurony DA przypisują wartość na podstawie oczekiwanej wielkości przyszłej nagrody głównej ( Montague i in., 1996 ). Jednak nawet gdy tempo nagrody głównej jest stałe, ludzie i zwierzęta często wyrażają dodatkową preferencję dla przewidywalności — poszukując środowisk, w których rozmiar, prawdopodobieństwo i czas każdej nagrody mogą być znane z góry ( Daly, 1992 ; Chew i Ho, 1994 ; Ahlbrecht i Weber, 1996 ). Niedawne badanie na małpach wykazało, że neurony DA sygnalizują tę preferencję ( Bromberg-Martin i Hikosaka, 2009 ). Małpy wyrażały silną preferencję do oglądania informacyjnych wskazówek wizualnych, które pozwoliłyby im przewidzieć rozmiar przyszłej nagrody, zamiast nieinformacyjnych wskazówek, które nie dostarczają nowych informacji. Równocześnie neurony DA były pobudzane przez możliwość postrzegania sygnałów informacyjnych w sposób skorelowany z preferencjami behawioralnymi zwierzęcia ( ryc. 1B, D ). Sugeruje to, że neurony DA nie tylko motywują do działań w celu uzyskania nagrody, ale także do trafnego przewidywania jej otrzymania, aby zapewnić możliwość odpowiedniego przewidywania i przygotowania się na nią z wyprzedzeniem.

Podsumowując, odkrycia te pokazują, że sygnały błędu przewidywania nagrody DA są wrażliwe na wyrafinowane czynniki, które informują o przewidywaniach wynagrodzeń dla ludzi i zwierząt, w tym adaptację do statystyk nagród wyższego rzędu, niepewność nagrody i preferencje dotyczące informacji predykcyjnych.

Wpływ fazowych sygnałów nagrody dopaminowej na struktury poniżej

Reakcje nagrody DA występują w synchronicznych fazowych wybuchach ( Joshua i in., 2009b ), wzorzec odpowiedzi, który kształtuje uwalnianie DA w strukturach docelowych ( Gonon, 1988 ; Zhang i in., 2009 ; Tsai i in., 2009 ). Od dawna teoretyzowano, że te fazowe wybuchy wpływają na uczenie się i motywację w sposób odmienny od tonicznej aktywności DA ( Grace, 1991 ; Grace i in., 2007 ; Schultz, 2007 ; Lapish i in., 2007 ). Niedawno opracowana technologia umożliwiła potwierdzenie tej hipotezy poprzez kontrolowanie aktywności neuronów DA z dużą precyzją przestrzenną i czasową. Optogenetyczna stymulacja neuronów DA VTA indukuje silną warunkową preferencję miejsca, która występuje tylko wtedy, gdy stymulacja jest stosowana w postaci wybuchu ( Tsai i in., 2009 ). Odwrotnie, genetyczne wyłączenie receptorów NMDA z neuronów DA, które upośledza wybuchowość, pozostawiając aktywność toniczną w dużej mierze nienaruszoną, powoduje selektywne upośledzenie określonych form uczenia się nagrody ( Zweifel i in., 2009 ; Parker i in., 2010 ) (chociaż należy zauważyć, że to wyłączenie upośledza również plastyczność synaptyczną neuronów DA ( Zweifel i in., 2008 )). Wybuchy DA mogą zwiększyć uczenie się nagrody poprzez rekonfigurację lokalnych obwodów neuronalnych. Co godne uwagi, wybuchy DA przewidujące nagrodę są wysyłane do określonych obszarów jądra półleżącego, a te obszary mają szczególnie wysoki poziom aktywności neuronalnej przewidującej nagrodę ( Cheer i in., 2007 ; Owesson-White i in., 2009 ).

W porównaniu z impulsami fazowymi, mniej wiadomo na temat znaczenia pauz fazowych w aktywności impulsowej dla błędów przewidywania negatywnej nagrody. Pauzy te powodują mniejsze zmiany w częstotliwości impulsów, są mniej modulowane przez oczekiwaną nagrodę ( Bayer i Glimcher, 2005 ; Joshua i in., 2009a ; Nomoto i in., 2010 ) i mogą mieć mniejszy wpływ na uczenie się ( Rutledge i in., 2009 ). Jednak niektóre rodzaje uczenia się negatywnego błędu predykcji wymagają VTA ( Takahashi i in., 2009 ), co sugeruje, że pauzy fazowe mogą być nadal dekodowane przez struktury niższego rzędu.

Ponieważ wybuchy i przerwy powodują bardzo różne wzorce uwalniania DA, mogą one wpływać na struktury niższego rzędu poprzez różne mechanizmy. Istnieją najnowsze dowody na tę hipotezę w jednym głównym celu neuronów DA, prążkowiu grzbietowym. Neurony projekcji prążkowia grzbietowego występują w dwóch typach, które wyrażają różne receptory DA. Jeden typ wyraża receptory D1 i projektuje do zwojów podstawy mózgu „bezpośrednią ścieżkę” w celu ułatwienia ruchów ciała; drugi typ wyraża receptory D2 i projekty „drogi pośredniej” w celu tłumienia ruchów ciała (Rysunek 2) (Albin i in., 1989; Gerfen i in., 1990; Kravitz i in., 2010; Hikida i in., 2010). Opierając się na właściwościach tych szlaków i receptorów, wysunięto teorię, że rozbłyski DA wytwarzają warunki wysokiej DA, aktywują receptory D1 i powodują, że bezpośrednia droga wybierania ruchów o wysokiej wartości (Rysunek 2A), podczas gdy DA wstrzymuje wytwarzanie warunków o niskiej DA, hamuje receptory D2 i powoduje, że szlak pośredni tłumi ruchy o niskiej wartości (Rysunek 2B) (Frank, 2005; Hikosaka, 2007). Zgodnie z tą hipotezą wysoka aktywacja receptora DA promuje wzmocnienie synaps korowo-prążkowia na drodze bezpośredniej (Shen i in., 2008) i wyciąganie wniosków z pozytywnych wyników (Frank i in., 2004; Voon i wsp., 2010), podczas gdy blokada receptora prążkowia D1 selektywnie zaburza ruchy do nagrodzonych celów (Nakamura i Hikosaka, 2006). W analogiczny sposób aktywacja niskiego receptora DA promuje wzmocnienie synaps korowo-prążkowia na szlaku pośrednim (Shen i in., 2008) i uczenie się na negatywnych skutkach (Frank i in., 2004; Voon i wsp., 2010), podczas gdy blokada receptora prążkowia D2 selektywnie tłumi ruchy do nie nagrodzonych celów (Nakamura i Hikosaka, 2006). Ten podział funkcji receptora D1 i D2 w kontroli motywacyjnej wyjaśnia wiele skutków genów związanych z DA na ludzkie zachowanie (Ullsperger, 2010; Frank i Fossella, 2010) i może rozciągać się poza prążkowate grzbietowe, ponieważ istnieją dowody na podobny podział pracy w prążkowiu brzusznym (Grace i in., 2007; Lobo i in., 2010).

 

Rysunek 2

Kontrola dopaminy dodatniej i ujemnej motywacji w prążkowiu grzbietowym

Chociaż powyższy schemat przedstawia prosty obraz kontroli zachowania fazowego DA poprzez jego wpływ na prążkowie, pełny obraz jest znacznie bardziej złożony. DA wpływa na zachowanie związane z nagrodą, działając na wiele obszarów mózgu, w tym na korę przedczołową (Hitchcott i in., 2007), kora nosowa (Liu i wsp., 2004), hipokamp (Packard and White, 1991; Grecksch i Matties, 1981) i ciało migdałowate (Phillips i wsp., 2010). Skutki DA mogą się znacznie różnić między tymi regionami ze względu na zmiany gęstości unerwienia DA, transporterów DA, enzymów metabolicznych, autoreceptorów, receptorów i sprzęgania receptorów z wewnątrzkomórkowymi szlakami sygnalizacyjnymi (Neve i in., 2004; Bentivoglio i Morelli, 2005; Frank i Fossella, 2010). Ponadto, przynajmniej w VTA, neurony DA mogą mieć różne właściwości komórkowe w zależności od ich celów projekcyjnych (Lammel i in., 2008; Margolis i in., 2008), a niektóre mają niezwykłą zdolność do przekazywania glutaminianu, jak również dopaminy (Descarries i in., 2008; Chuhma i in., 2009; Hnasko i in., 2010; Tecuapetla i in., 2010; Stuber i in., 2010; Birgner i in., 2010). Zatem pełny zakres kontroli neuronów DA nad przetwarzaniem neuronowym dopiero zaczyna być ujawniany.

Różnorodne reakcje dopaminowe na wydarzenia awersyjne

Odpowiedź neuronu na zdarzenia awersyjne stanowi kluczowy test jego funkcji w kontroli motywacyjnej ( Schultz, 1998 ; Berridge i Robinson, 1998 ; Redgrave i in., 1999 ; Horvitz, 2000 ; Joseph i in., 2003 ). Pod wieloma względami traktujemy zdarzenia nagradzające i awersyjne w przeciwny sposób, odzwierciedlając ich przeciwną wartość motywacyjną . Dążymy do nagród i przypisujemy im wartość pozytywną, podczas gdy unikamy zdarzeń awersyjnych i przypisujemy im wartość negatywną. Pod innymi względami traktujemy zdarzenia nagradzające i awersyjne w podobny sposób, odzwierciedlając ich podobną wagę motywacyjną [ PRZYPIS 1 ]. Zarówno zdarzenia nagradzające, jak i awersyjne wyzwalają ukierunkowanie uwagi, przetwarzanie poznawcze i wzrost ogólnej motywacji.

Które z tych funkcji wspierają neurony DA? Od dawna wiadomo, że stresujące i awersyjne doświadczenia powodują duże zmiany w stężeniach DA w dalszych strukturach mózgu i że reakcje behawioralne na te doświadczenia są dramatycznie zmienione przez agonistów DA, antagonistów i uszkodzenia (Salamone, 1994; Di Chiara, 2002; Pezze i Feldon, 2004; Young i wsp., 2005). Badania te dały uderzającą różnorodność wyników (Levita i in., 2002; Di Chiara, 2002; Young i wsp., 2005). Wiele badań jest zgodnych z neuronami DA kodującymi istotność motywacyjną. Donoszą, że wydarzenia awersyjne zwiększają poziomy DA i że awersja behawioralna jest wspierana przez wysoki poziom transmisji DA (Salamone, 1994; Joseph i in., 2003; Ventura i in., 2007; Barr i in., 2009; Fadok i in., 2009) w tym fazowe wybuchy DA (Zweifel i in., 2009). Ale inne badania są bardziej spójne z neuronami DA kodującymi wartość motywacyjną. Donoszą, że wydarzenia awersyjne zmniejszają poziomy DA i że niechęć behawioralna jest wspierana przez niski poziom transmisji DA (Mark i in., 1991; Shippenberg i wsp., 1991; Liu i wsp., 2008; Roitman i wsp., 2008). W wielu przypadkach te mieszane wyniki znaleziono w pojedynczych badaniach, co wskazuje, że doświadczenia awersyjne powodują różne wzory uwalniania DA w różnych strukturach mózgu (Thierry i in., 1976; Besson i Louilot, 1995; Ventura i in., 2001; Jeanblanc i in., 2002; Bassareo i in., 2002; Pascucci i in., 2007), i że leki związane z DA mogą wytworzyć mieszankę efektów neuronalnych i behawioralnych podobnych do tych powodowanych zarówno przez satysfakcjonujące, jak i awersyjne doświadczenia (Ettenberg, 2004; Wheeler i in., 2008).

Ta różnorodność wzorców uwalniania DA i funkcji jest trudna do pogodzenia z ideą, że neurony DA przekazują jednolity sygnał motywacyjny do wszystkich struktur mózgu. Te zróżnicowane odpowiedzi można jednak wyjaśnić, jeśli same neurony DA są zróżnicowane - złożone z wielu populacji neuronalnych, które obsługują różne aspekty przetwarzania awersyjnego. Pogląd ten jest wspierany przez badania zapisu neuronalnego u znieczulonych zwierząt. Badania te wykazały, że szkodliwe bodźce wywołują pobudzenie w niektórych neuronach DA, ale hamowanie w innych neuronach DA (Chiodo i in., 1980; Maeda i Mogenson, 1982; Schultz i Romo, 1987; Mantz i in., 1989; Gao i in., 1990; Coizet i in., 2006). Co ważne, zarówno reakcje pobudzające, jak i hamujące występują w neuronach, w których potwierdzono, że są dopaminergiczne, za pomocą znakowania zewnątrzkomórkowego (Brischoux i in., 2009) (Rysunek 3). Podobna różnorodność odpowiedzi awersyjnych występuje podczas aktywnego zachowania. Różne grupy neuronów DA są fazowo wzbudzane lub hamowane przez awersyjne zdarzenia, w tym szkodliwą stymulację skóry (Kiyatkin, 1988a; Kiyatkin, 1988b), sygnały sensoryczne przewidujące wstrząsy awersyjne (Guarraci i Kapp, 1999), awersyjne aerozole (Matsumoto i Hikosaka, 2009b) i sygnały sensoryczne przewidujące lotne awersje (Matsumoto i Hikosaka, 2009b; Joshua i in., 2009a). Ponadto, gdy dwa neurony DA są rejestrowane jednocześnie, ich odpowiedzi awersyjne generalnie mają niewielką korelację próba-próba ze sobą (Joshua i in., 2009b), sugerując, że odpowiedzi awersyjne nie są skoordynowane w całej populacji DA jako całości.

 

Rysunek 3

Różnorodne reakcje neuronów dopaminowych na zdarzenia awersyjne

Aby zrozumieć funkcje tych różnorodnych reakcji awersyjnych, musimy wiedzieć, jak łączą się one z reakcjami nagrody, aby wygenerować znaczący sygnał motywacyjny. Niedawne badanie zbadało ten temat i ujawniło, że neurony DA dzielą się na wiele populacji o odrębnych sygnałach motywacyjnych ( Matsumoto i Hikosaka, 2009b ). Jedna populacja jest pobudzana przez zdarzenia nagradzające i hamowana przez zdarzenia awersyjne, tak jakby kodowała wartość motywacyjną ( Rysunek 4A ). Druga populacja jest pobudzana zarówno przez zdarzenia nagradzające, jak i awersyjne w podobny sposób, tak jakby kodowała motywacyjną wyrazistość ( Rysunek 4B ). W obu tych populacjach wiele neuronów jest wrażliwych na przewidywania nagrody i awersji: reagują, gdy zdarzenia nagradzające są bardziej nagradzające niż przewidywano, a gdy zdarzenia awersyjne są bardziej awersyjne niż przewidywano ( Matsumoto i Hikosaka, 2009b ). Pokazuje to, że ich awersyjne reakcje są rzeczywiście spowodowane przewidywaniami dotyczącymi zdarzeń awersyjnych, wykluczając możliwość, że mogą być spowodowane przez niespecyficzne czynniki, takie jak surowe dane sensoryczne lub uogólnione skojarzenia z nagrodą ( Schultz, 2010 ). Te dwie populacje różnią się jednak szczegółową naturą swojego kodu predykcyjnego. Neurony DA kodujące wartości motywacyjne kodują dokładny sygnał błędu predykcji, w tym silne hamowanie przez pominięcie nagród i łagodne pobudzenie przez pominięcie zdarzeń awersyjnych ( Rysunek 4A , po prawej). Natomiast neurony DA kodujące wyrazistość motywacyjną reagują, gdy obecne są wyraziste zdarzenia, ale nie, gdy ich nie ma ( Rysunek 4B , po prawej), co jest zgodne z teoretycznymi pojęciami pobudzenia ( Lang i Davis, 2006 ) [ PRZYPIS 2 ]. Dowody na istnienie tych dwóch populacji neuronów DA zaobserwowano nawet wtedy, gdy aktywność neuronalna została zbadana w sposób uśredniony. Zatem badania ukierunkowane na różne części układu DA wykazały, że fazowe sygnały DA kodujące zdarzenia awersyjne mają charakter hamowania ( Roitman i in., 2008 ), podobnie jak kodowanie wartości motywacyjnej, lub charakter pobudzenia ( Joshua i in., 2008 ; Anstrom i in., 2009 ), podobnie jak kodowanie wyrazistości motywacyjnej.

 

Rysunek 4

Wyraźne populacje neuronów dopaminowych kodujące wartość motywacyjną i istotność

Te ostatnie odkrycia mogą wydawać się sprzeczne z wcześniejszym raportem, że neurony DA reagują preferencyjnie na bodźce nagrody, a nie bodźce awersyjne ( Mirenowicz i Schultz, 1996 ). Jednak po bliższej analizie nawet to badanie jest w pełni zgodne z wartością DA i kodowaniem saliencji. W tym badaniu bodźce nagrody prowadziły do ​​wyników nagrody z wysokim prawdopodobieństwem (>90%), podczas gdy bodźce awersyjne prowadziły do ​​wyników awersyjnych z niskim prawdopodobieństwem (<10%). Zatem neurony DA kodujące wartość i salencję miałyby niewielką odpowiedź na bodźce awersyjne, dokładnie kodując ich niski poziom awersji.

Funkcjonalna rola sygnałów wartości motywacyjnej i istotności

Łącznie powyższe odkrycia wskazują, że neurony DA dzielą się na wiele populacji odpowiednich do odrębnych ról w kontroli motywacyjnej. Neurony DA kodujące wartości motywacyjne dobrze pasują do obecnych teorii neuronów dopaminowych i przetwarzania nagrody ( Schultz i in., 1997 ; Berridge i Robinson, 1998 ; Wise, 2004 ). Neurony te kodują kompletny sygnał błędu predykcji i kodują zdarzenia nagradzające i awersyjne w przeciwnych kierunkach. Zatem neurony te dostarczają odpowiedniego sygnału instruktażowego do poszukiwania, oceny i uczenia się wartości ( Rysunek 5 ). Jeśli bodziec powoduje pobudzenie neuronów DA kodujących wartości, powinniśmy się do niego zbliżyć, przypisać mu wysoką wartość i nauczyć się działań, aby ponownie go szukać w przyszłości. Jeśli bodziec powoduje zahamowanie neuronów DA kodujących wartości, powinniśmy go unikać, przypisać mu niską wartość i nauczyć się działań, aby ponownie go unikać w przyszłości.

 

Rysunek 5

Hipotetyczne funkcje wartości motywacyjnej, istotności i sygnałów alarmowych

W przeciwieństwie do tego, istotność motywacyjna kodująca neurony DA dobrze pasuje do teorii neuronów dopaminowych i przetwarzania istotnych zdarzeń (Redgrave i in., 1999; Horvitz, 2000; Joseph i in., 2003; Kapur, 2003). Neurony te są wzbudzane zarówno przez zdarzenia nagradzające, jak i awersyjne i mają słabsze reakcje na zdarzenia neutralne, zapewniając odpowiedni instruktażowy sygnał dla obwodów nerwowych, aby nauczyć się wykrywać, przewidywać i reagować na sytuacje o dużym znaczeniu. Tutaj rozważymy trzy takie systemy mózgowe (Rysunek 5). Po pierwsze, obwody neuronowe do orientacji wzrokowej i uwagi są kalibrowane, aby odkrywać informacje o wszystkich rodzajach zdarzeń, zarówno satysfakcjonujących, jak i awersyjnych. Na przykład zarówno sygnały nagrody, jak i awersji przyciągają reakcje orientacji skuteczniej niż sygnały neutralne (Lang and Davis, 2006; Matsumoto i Hikosaka, 2009b; Austin i Duka, 2010). Po drugie, zarówno satysfakcjonujące, jak i awersyjne sytuacje angażują systemy neuronowe do kontroli poznawczej i wyboru działań - musimy zaangażować pamięć roboczą, aby zachować informacje, rozwiązanie konfliktu, aby zdecydować o kierunku działania, i pamięć długoterminową, aby zapamiętać wynik (Bradley i wsp., 1992; Botvinick i wsp., 2001; Savine i in., 2010). Po trzecie, zarówno sytuacje nagradzające, jak i awersyjne wymagają zwiększenia ogólnej motywacji do pobudzania działań i zapewnienia ich prawidłowego wykonania. Istotnie, neurony DA mają kluczowe znaczenie w motywowaniu do osiągania celów o wysokiej wartości i przekładaniu wiedzy o wymaganiach dotyczących zadań na niezawodne działanie silnika (Berridge i Robinson, 1998; Mazzoni i in., 2007; Niv i in., 2007; Salamone i wsp., 2007).

Wzbudzenie dopaminy przez alarmowanie sygnałów czuciowych

Oprócz sygnałów kodujących wartość motywacyjną i wyrazistość, większość neuronów DA wykazuje również gwałtowne reakcje na kilka rodzajów bodźców sensorycznych, które nie są bezpośrednio związane z doświadczeniami nagradzającymi lub awersyjnymi. Teoretyzuje się, że reakcje te zależą od szeregu czynników neuronalnych i psychologicznych, w tym bezpośredniego bodźca sensorycznego, zaskoczenia, nowości, pobudzenia, uwagi, wyrazistości, generalizacji i pseudowarunkowania ( Schultz, 1998 ; Redgrave i in., 1999 ; Horvitz, 2000 ; Lisman i Grace, 2005 ; Redgrave i Gurney, 2006 ; Joshua i in., 2009a ; Schultz, 2010 ).

Tutaj spróbujemy zsyntetyzować te idee i wyjaśnić te reakcje DA w kategoriach pojedynczego sygnału bazowego, sygnału ostrzegawczego ( Rysunek 5 ). Termin „ostrzeganie” został użyty przez Schultza ( Schultz, 1998 ) jako ogólny termin dla zdarzeń, które przyciągają uwagę. Tutaj będziemy go używać w bardziej szczegółowym znaczeniu. Przez zdarzenie ostrzegawcze rozumiemy nieoczekiwany sygnał sensoryczny, który przyciąga uwagę na podstawie szybkiej oceny jego potencjalnego znaczenia, wykorzystując proste cechy, takie jak jego lokalizacja, rozmiar i modalność sensoryczna. Takie zdarzenia ostrzegawcze często wyzwalają natychmiastowe reakcje behawioralne w celu ich zbadania i określenia ich dokładnego znaczenia. Zatem sygnały ostrzegawcze DA zwykle występują z krótkimi latencjami, opierają się na przybliżonych cechach bodźca i najlepiej korelują z natychmiastowymi reakcjami, takimi jak reakcje orientacyjne ( Schultz i Romo, 1990 ; Joshua i in., 2009a ; Schultz, 2010 ). Stanowi to kontrast z innymi sygnałami motywacyjnymi w neuronach DA, które zwykle występują przy dłuższych opóźnieniach, uwzględniają dokładną tożsamość bodźca i najlepiej korelują z przemyślanymi działaniami behawioralnymi, takimi jak decyzje o podejściu lub unikaniu ( Schultz i Romo, 1990 ; Joshua i in., 2009a ; Schultz, 2010 ).

Reakcje alarmowania DA mogą być wywoływane przez zaskakujące zdarzenia sensoryczne, takie jak nieoczekiwane błyski światła i kliknięcia słuchowe, które wywołują wyraźne wzbudzenia impulsów w 60-90% neuronów DA w całym SNc i VTA (Strecker i Jacobs, 1985; Horvitz i in., 1997; Horvitz, 2000) (Rysunek 6A). Te alarmujące reakcje wydają się odzwierciedlać stopień, w jakim bodziec jest zaskakujący i przyciąga uwagę; są zredukowane, jeśli bodziec występuje w przewidywalnych czasach, jeśli uwaga jest angażowana gdzie indziej lub podczas snu (Schultz, 1998; Takikawa i in., 2004; Strecker i Jacobs, 1985; Steinfels i in., 1983). Na przykład nieoczekiwany dźwięk kliknięcia wywołuje wyraźny wybuch DA, gdy kot jest w stanie biernego spokojnego budzenia się, ale nie ma żadnego efektu, gdy kot angażuje się w czynności wymagające uwagi, takie jak polowanie na szczura, karmienie, pielęgnacja, głaskanie przez eksperymentatora i tak dalej (Strecker i Jacobs, 1985) (Rysunek 6A). Podobnie reakcje serii DA są wywoływane przez zdarzenia sensoryczne, które są słabe fizycznie, ale alarmują z powodu ich nowości (Ljungberg i in., 1992; Schultz, 1998). Odpowiedzi te przyzwyczajają się, gdy nowy bodziec staje się znajomy, równolegle z przyzwyczajeniem reakcji orientujących (Rysunek 6B). Zgodne z tymi odkryciami, zaskakujące i nowe wydarzenia wywołują uwalnianie DA w dalszych strukturach (Lisman i Grace, 2005) i aktywować obwody mózgu związane z DA w sposób, który kształtuje przetwarzanie nagrody (Zink i in., 2003; Davidson i in., 2004; Duzel i in., 2010).

 

Rysunek 6

Reakcje pobudzające neuron dopaminowy na zdarzenia alarmowe

Reakcje alarmowania DA są również wywoływane przez nieoczekiwane sygnały sensoryczne, które mogą dostarczyć nowych informacji o istotnych wydarzeniach motywacyjnych. Zgodnie z oczekiwaniami dla sygnału ostrzegawczego o krótkim opóźnieniu, odpowiedzi te są raczej nieselektywne: są one wyzwalane przez dowolny bodziec, który jedynie przypomina motywująco istotny sygnał, nawet jeśli podobieństwo jest bardzo niewielkie (zjawisko zwane uogólnieniem) (Schultz, 1998). W rezultacie neurony DA często reagują na bodziec mieszaniną dwóch sygnałów: szybki sygnał ostrzegawczy kodujący fakt, że bodziec jest potencjalnie ważne, a drugi koduje jego sygnał rzeczywisty satysfakcjonujące lub awersyjne znaczenie (Schultz i Romo, 1990; Waelti i in., 2001; Tobler i in., 2003; Day i in., 2007; Kobayashi i Schultz, 2008; Fiorillo i in., 2008; Nomoto i in., 2010) (widzieć (Kakade i Dayan, 2002; Joshua i in., 2009a; Schultz, 2010) do wglądu). Przykład można zobaczyć w zestawie znaczeń motywacyjnych kodujących neurony DA pokazane na Rysunek 6C (Bromberg-Martin i in., 2010a). Neurony te były podekscytowane sygnałami nagrody i awersji, ale były także podekscytowane neutralną wskazówką. Sygnał neutralny nigdy nie był połączony z wynikami motywacyjnymi, ale miał (bardzo niewielkie) fizyczne podobieństwo do nagród i awersyjnych wskazówek.

Te reakcje ostrzegawcze wydają się ściśle powiązane ze zdolnością wskazówki sensorycznej do wywoływania reakcji orientacyjnych w celu dalszego zbadania jej i odkrycia jej znaczenia. Można to zaobserwować w trzech godnych uwagi właściwościach. Po pierwsze, reakcje ostrzegawcze występują tylko w przypadku wskazówek sensorycznych, które muszą zostać zbadane w celu określenia ich znaczenia, a nie w przypadku zdarzeń wewnętrznie nagradzających lub awersyjnych, takich jak podanie soku lub podmuchy powietrza ( Schultz, 2010 ). Po drugie, reakcje ostrzegawcze występują tylko wtedy, gdy wskazówka jest potencjalnie ważna i ma zdolność wywoływania reakcji orientacyjnych, a nie wtedy, gdy wskazówka jest nieistotna dla wykonywanego zadania i nie wywołuje reakcji orientacyjnych ( Schultz i Romo, 1990 ). Po trzecie, reakcje ostrzegawcze są wzmacniane w sytuacjach, gdy wskazówki wywołałyby nagłą zmianę uwagi - gdy pojawiają się w nieoczekiwanym momencie lub z dala od centrum wzroku ( Bromberg-Martin i in., 2010a ). Tak więc, gdy wskazówki motywacyjne są prezentowane w nieprzewidywalnym czasie, wyzwalają natychmiastowe reakcje orientacyjne i uogólnioną reakcję ostrzegawczą DA - pobudzenie przez wszystkie wskazówki, w tym wskazówki neutralne ( Rysunek 6C , czarny). Ale jeśli ich czas stanie się przewidywalny - na przykład poprzez ostrzeżenie osób badanych za pomocą "wskazówki rozpoczęcia próby" prezentowanej sekundę przed pojawieniem się wskazówek - wskazówki nie wywołują już reakcji ostrzegawczej ( Rysunek 6D , szary). Zamiast tego reakcja ostrzegawcza przesuwa się na wskazówkę rozpoczęcia próby - pierwsze zdarzenie próby, które ma nieprzewidywalny czas i wywołuje reakcje orientacyjne ( Rysunek 6D , czarny).

Jaki jest podstawowy mechanizm generujący sygnały ostrzegawcze neuronów DA? Jedna z hipotez mówi, że odpowiedzi ostrzegawcze to po prostu konwencjonalne sygnały błędów przewidywania nagrody, które występują przy krótkich opóźnieniach, kodując oczekiwaną wartość nagrody bodźca zanim zostanie on w pełni rozróżniony ( Kakade i Dayan, 2002 ). Nowsze dowody sugerują jednak, że sygnały ostrzegawcze mogą być generowane przez odrębny mechanizm niż konwencjonalne sygnały nagrody DA ( Satoh i in., 2003 ; Bayer i Glimcher, 2005 ; Bromberg-Martin i in., 2010a ; Bromberg-Martin i in., 2010c ; Nomoto i in., 2010 ). Co najbardziej uderzające, reakcja ostrzegawcza na sygnał rozpoczęcia próby nie ogranicza się do zadań nagradzających; może mieć równą siłę podczas zadania awersyjnego, w którym nie są dostarczane żadne nagrody ( Rysunek 6C, D , dół, „zadanie awersyjne”). Dzieje się tak, mimo że konwencjonalne sygnały nagrody DA w tych samych neuronach prawidłowo sygnalizują, że zadanie nagradzające ma znacznie wyższą oczekiwaną wartość niż zadanie awersyjne ( Bromberg-Martin i in., 2010a ). Te sygnały ostrzegawcze nie są czystą formą kodowania wartości ani czystą formą kodowania saliencji, ponieważ występują w większości neuronów DA kodujących zarówno wartość motywacyjną, jak i salencję ( Bromberg-Martin i in., 2010a ). Drugą dysocjację można zaobserwować w sposobie, w jaki neurony DA przewidują przyszłe nagrody w oparciu o pamięć o przeszłych wynikach nagród ( Satoh i in., 2003 ; Bayer i Glimcher, 2005 ). Podczas gdy konwencjonalne sygnały nagrody DA są kontrolowane przez długofalowy ślad pamięciowy zoptymalizowany pod kątem dokładnego przewidywania nagrody, reakcje alarmowe na sygnał rozpoczęcia próby są kontrolowane przez oddzielny ślad pamięciowy, podobny do tego obserwowanego w natychmiastowych reakcjach orientacyjnych ( Bromberg-Martin i in., 2010c ). Trzecią dysocjację można zaobserwować w sposobie, w jaki te sygnały są rozłożone w populacji neuronów DA. Podczas gdy konwencjonalne sygnały nagrody DA są najsilniejsze w brzuszno-przyśrodkowym jądrze nerwu wzrokowego (SNc), reakcje alarmowe na sygnał rozpoczęcia próby (i inne sygnały o nieoczekiwanym czasie) są transmitowane w całym jądrze nerwu wzrokowego ( Nomoto i in., 2010 ).

W przeciwieństwie do tych oddzieleń od konwencjonalnych sygnałów nagrody, sygnały ostrzegawcze DA są skorelowane z szybkością orientacji i reakcji podejścia do zdarzenia ostrzegawczego ( Satoh i in., 2003 ; Bromberg-Martin i in., 2010a ; Bromberg-Martin i in., 2010c ). Sugeruje to, że sygnały ostrzegawcze są generowane przez proces neuronalny, który motywuje szybkie reakcje do badania potencjalnie ważnych zdarzeń. Niestety, obecnie stosunkowo niewiele wiadomo o tym, jakie dokładnie zdarzenia ten proces traktuje jako „ważne”. Na przykład, czy reakcje ostrzegawcze są równie wrażliwe na zdarzenia nagradzające i awersyjne? Wiadomo, że reakcje ostrzegawcze występują w przypadku bodźców, które przypominają wskazówki nagrody lub które przypominają zarówno nagrodę, jak i wskazówki awersyjne (np. poprzez dzielenie tej samej modalności sensorycznej). Ale nie wiadomo jeszcze, czy reakcje ostrzegawcze występują w przypadku bodźców, które przypominają wyłącznie wskazówki awersyjne.

Funkcjonalna rola sygnałów ostrzegawczych dopaminy

Jak widzieliśmy, sygnały ostrzegawcze prawdopodobnie są generowane przez inny mechanizm niż sygnały wartości motywacyjnej i atrakcyjności. Sygnały ostrzegawcze są jednak wysyłane do neuronów DA kodujących zarówno wartość motywacyjną, jak i atrakcyjność, a zatem prawdopodobnie regulują przetwarzanie i zachowanie mózgu w podobny sposób jak sygnały wartości i atrakcyjności ( ryc. 5 ).

Sygnały ostrzegawcze wysyłane do neuronów DA kodujących motywacyjną wyrazistość wspierałyby ukierunkowanie uwagi na bodziec ostrzegawczy, zaangażowanie zasobów poznawczych w celu odkrycia jego znaczenia i podjęcia decyzji o planie działania oraz zwiększenie poziomu motywacji do efektywnego wdrożenia tego planu ( Rysunek 5 ). Efekty te mogłyby wystąpić poprzez natychmiastowe skutki dla przetwarzania neuronowego lub poprzez wzmocnienie działań, które doprowadziły do ​​wykrycia zdarzenia ostrzegawczego. Ta rola funkcjonalna dobrze wpisuje się w korelację między reakcjami ostrzegawczymi DA i szybkimi reakcjami behawioralnymi na bodziec ostrzegawczy oraz w teorie, że odpowiedzi neuronów DA o krótkim czasie oczekiwania są zaangażowane w ukierunkowanie uwagi, pobudzenie, wzmocnienie przetwarzania poznawczego i natychmiastowe reakcje behawioralne ( Redgrave i in., 1999 ; Horvitz, 2000 ; Joseph i in., 2003 ; Lisman i Grace, 2005 ; Redgrave i Gurney, 2006 ; Joshua i in., 2009a ).

Obecność sygnałów alarmowych w neuronach DA kodujących wartości motywacyjne jest trudniejsza do wyjaśnienia. Neurony te przekazują sygnały wartości motywacyjnych, które są idealne do poszukiwania, oceny rezultatów i uczenia się wartości; jednak mogą być również pobudzane przez zdarzenia alarmowe, takie jak nieoczekiwane dźwięki klikania i początek prób awersyjnych. Zgodnie z naszą hipotezą ( Rysunek 5 ), spowodowałoby to przypisanie zdarzeniom alarmowym wartości pozytywnej i poszukiwanie ich w sposób podobny do nagród! Choć na pierwszy rzut oka wydaje się to zaskakujące, istnieją powody, by podejrzewać, że zdarzenia alarmowe można traktować jako pozytywne cele. Sygnały alarmowe stanowią pierwsze ostrzeżenie o zbliżającym się potencjalnie ważnym zdarzeniu, a tym samym dają pierwszą okazję do podjęcia działań w celu kontrolowania tego zdarzenia. Jeśli dostępne są sygnały alarmowe, zdarzenia motywacyjnie istotne mogą zostać wykryte, przewidziane i przygotowane z wyprzedzeniem; jeśli sygnały alarmowe są nieobecne, zdarzenia motywacyjnie istotne zawsze występują jako nieoczekiwane zaskoczenie. Rzeczywiście, ludzie i zwierzęta często wyrażają preferencje dla środowisk, w których nagradzające, awersyjne, a nawet motywacyjnie neutralne zdarzenia sensoryczne można zaobserwować i przewidzieć z wyprzedzeniem ( Badia i in., 1979 ; Herry i in., 2007 ; Daly, 1992 ; Chew i Ho, 1994 ), a wiele neuronów DA sygnalizuje preferencje behawioralne do oglądania informacji przewidujących nagrodę ( Bromberg-Martin i Hikosaka, 2009 ). Sygnały ostrzegawcze DA mogą wspierać te preferencje, przypisując pozytywną wartość środowiskom, w których potencjalnie ważne wskazówki sensoryczne można przewidzieć z wyprzedzeniem.

Anatomiczne lokalizacje neuronów kodujących wartości i istotności

Niedawne badanie zmapowało lokalizacje nagrody DA i sygnałów awersyjnych w bocznym śródmózgowiu, w tym SNc i najbardziej bocznej części VTA ( Matsumoto i Hikosaka, 2009b ). Wartość motywacyjna i sygnały saliencji motywacyjnej były rozłożone w tym regionie zgodnie z gradientem anatomicznym. Sygnały wartości motywacyjnej znajdowano częściej w neuronach w brzuszno-przyśrodkowej SNc i bocznej VTA, podczas gdy sygnały saliencji motywacyjnej znajdowano częściej w neuronach w grzbietowo-bocznej SNc ( Rysunek 7B ). Jest to zgodne z doniesieniami, że kodowanie wartości nagrody DA jest najsilniejsze w brzuszno-przyśrodkowym SNc ( Nomoto i in., 2010 ), podczas gdy pobudzenia awersyjne mają tendencję do bycia najsilniejszymi bardziej bocznie ( Mirenowicz i Schultz, 1996 ). Inne badania eksplorowały bardziej przyśrodkowe śródmózgowie. Badania te wykazały występowanie mieszanki reakcji pobudzających i hamujących, awersyjnych, bez istotnych różnic w ich lokalizacji, chociaż zaobserwowano tendencję do lokalizacji pobudzeń awersyjnych bardziej brzusznie ( Guarraci i Kapp, 1999 ; Brischoux i in., 2009 ) ( ryc. 7C ).

Miejsca docelowe sygnałów wartości motywacyjnych

Zgodnie z naszą hipotezą, wartość motywacyjna kodująca neurony DA powinna rzutować na regiony mózgu zaangażowane w działania podejścia i unikania, ocenę wyników i uczenie się wartości (Rysunek 5). Rzeczywiście, projekt brzuszno-przyśrodkowy SNc i VTA do brzuszno-przyśrodkowej kory przedczołowej (Williams i Goldman-Rakic, 1998) w tym kora oczodołowo-czołowa (OFC) (Porrino i Goldman-Rakic, 1982) (Rysunek 7A). OFC konsekwentnie odgrywa rolę w kodowaniu wartości w badaniach funkcjonalnego obrazowania (Anderson i in., 2003; Small et al., 2003; Jensen i in., 2007; Litt i in., 2010) i pojedyncze nagrania neuronów (Morrison i Salzman, 2009; Roesch i Olson, 2004). Uważa się, że OFC ocenia opcje wyboru (Padoa-Schioppa, 2007; Kable i Glimcher, 2009), koduj oczekiwania dotyczące wyników (Schoenbaum i wsp., 2009) i zaktualizuj te oczekiwania podczas nauki (Walton i in., 2010). Ponadto OFC bierze udział w uczeniu się na błędach przewidywania ujemnej nagrody (Takahashi i in., 2009), które są najsilniejsze w kodowaniu wartości neuronów DA (Rysunek 4).

Ponadto, środkowe części dopaminergicznego śródmózgowia projektują do brzusznego prążkowia, w tym do jądra półleżącego (jądro NAc shell) ( Haber i in., 2000 ) ( Rysunek 7A ). Niedawne badanie wykazało, że jądro NAc shell odbiera fazowe sygnały DA kodujące motywacyjną wartość wyników smakowych ( Roitman i in., 2008 ). Sygnały te prawdopodobnie powodują uczenie się wartości, ponieważ bezpośredni wlew leków DA do jądra NAc shell jest silnie wzmacniający ( Ikemoto, 2010 ), podczas gdy terapie, które zmniejszają dopływ DA do jądra NAc shell, mogą wywoływać awersje ( Liu i in., 2008 ). Jednym zastrzeżeniem jest to, że badania uwalniania DA z jądra NAc shell w długich skalach czasowych (minutach) przyniosły mieszane wyniki, niektóre zgodne z kodowaniem wartości, a inne z kodowaniem saliencji (np. ( Bassareo i in., 2002 ; Ventura i in., 2007 )). Sugeruje to, że sygnały wartości mogą być ograniczone do określonych lokalizacji w powłoce NAc. Co ciekawe, różne regiony w powłoce NAc są wyspecjalizowane w kontrolowaniu zachowań apetycznych i awersyjnych ( Reynolds i Berridge, 2002 ), które wymagają bodźców z neuronów DA ( Faure i in., 2008 ).

Wreszcie, neurony DA w całym zakresie SNc wysyłają ciężkie projekcje do grzbietowego prążkowia ( Haber i in., 2000 ), co sugeruje, że grzbietowe prążkowie może odbierać zarówno sygnały DA kodujące wartość motywacyjną, jak i wyrazistość ( Rysunek 7A ). Neurony DA kodujące wartość motywacyjną dostarczałyby idealnego sygnału instruktażowego dla obwodów prążkowia zaangażowanych w uczenie się wartości, takich jak uczenie się nawyków bodziec-reakcja ( Faure i in., 2005 ; Yin i Knowlton, 2006 ; Balleine i O'Doherty, 2010 ). Kiedy te neurony DA wybuchają, angażują bezpośrednią ścieżkę, aby nauczyć się zdobywać nagrody; kiedy się zatrzymują, angażują pośrednią ścieżkę, aby nauczyć się unikać negatywnych wyników ( Rysunek 2 ). Rzeczywiście, istnieją niedawne dowody na to, że szlaki prążkowia podążają dokładnie za tym podziałem pracy w zakresie przetwarzania nagrody i awersji ( Hikida i in., 2010 ). Nadal jednak nie wiadomo, jak neurony w tych szlakach reagują na zdarzenia nagradzające i awersyjne podczas zachowania. Przynajmniej w całym prążkowiu grzbietowym, podzbiór neuronów reaguje na określone zdarzenia nagradzające i awersyjne w odmienny sposób ( Ravel i in., 2003 ; Yamada i in., 2004 , 2007 ; Joshua i in., 2008 ).

Miejsca docelowe sygnałów motywacyjnych

Zgodnie z naszą hipotezą istotność motywacyjna kodująca neurony DA powinna rzutować na regiony mózgu zaangażowane w orientację, przetwarzanie poznawcze i ogólną motywację (Rysunek 5). Rzeczywiście, neurony DA w grzbietowo-bocznym śródmózgowiu wysyłają projekcje do grzbietowej i bocznej kory czołowej (Williams i Goldman-Rakic, 1998) (Rysunek 7A), region zaangażowany w funkcje poznawcze, takie jak poszukiwanie uwagi, pamięć robocza, kontrola poznawcza i podejmowanie decyzji między wynikami motywacyjnymi (Williams i Castner, 2006; Lee i Seo, 2007; Wise, 2008; Kable i Glimcher, 2009; Wallis i Kennerley, 2010). Dorsolateralne funkcje poznawcze przedczołowe są ściśle regulowane przez poziomy DA (Robbins i Arnsten, 2009) i teoretyzuje się, że zależą od fazy aktywacji neuronu DA (Cohen i wsp., 2002; Lapish i in., 2007). Warto zauważyć, że podzbiór bocznych neuronów przedczołowych reaguje zarówno na satysfakcjonujące, jak i niechętne wizualne wskazówki, a ogromna większość odpowiada w tym samym kierunku przypominając kodowanie motywacji (Kobayashi i in., 2006). Co więcej, aktywność tych neuronów jest skorelowana z sukcesem behawioralnym podczas wykonywania zadań pamięci roboczej (Kobayashi i in., 2006). Chociaż ta ścieżka grzbietowo-boczna DA → grzbietowo-boczna kora czołowa wydaje się być specyficzna dla naczelnych (Williams i Goldman-Rakic, 1998) funkcjonalnie podobny szlak może istnieć u innych gatunków. W szczególności wiele funkcji poznawczych naczelnej kory przedczołowej naczelnych wykonuje kora przedczołowa przyśrodkowa gryzonia (Uylings i in., 2003) i istnieją dowody na to, że region ten otrzymuje sygnały o istotności motywacyjnej DA i kontroluje zachowania związane z istotnością (Mantz i in., 1989; Di Chiara, 2002; Joseph i in., 2003; Ventura i in., 2007; Ventura i in., 2008).

Biorąc pod uwagę dowody, że VTA zawiera neurony kodujące zarówno saliencję, jak i wartość oraz że sygnały kodujące wartości są wysyłane do powłoki NAc, sygnały saliencji mogą być wysyłane do rdzenia NAc ( Rysunek 7A ). Rzeczywiście, rdzeń NAc (ale nie powłoka) jest kluczowy dla umożliwienia motywacji przezwyciężenia kosztów reakcji, takich jak wysiłek fizyczny; dla wykonywania zadań zmieniających zestaw wymagających elastyczności poznawczej; i dla umożliwienia wskazówkom nagrody powodowania wzmocnienia ogólnej motywacji ( Ghods-Sharifi i Floresco, 2010 ; Floresco i in., 2006 ; Hall i in., 2001 ; Cardinal, 2006 ). Zgodnie z kodowaniem motywacyjnej saliencji, rdzeń NAc otrzymuje fazowe wybuchy DA podczas zarówno doświadczeń nagradzających ( Day i in., 2007 ), jak i doświadczeń awersyjnych ( Anstrom i in., 2009 ).

Wreszcie, jak omówiono powyżej, niektóre neurony DA kodujące saliencję mogą rzutować do grzbietowego prążkowia ( Rysunek 7A ). Podczas gdy niektóre obszary grzbietowego prążkowia są zaangażowane w funkcje związane z uczeniem się wartości akcji, grzbietowe prążkowie jest również zaangażowane w funkcje, które powinny być zaangażowane we wszystkie istotne zdarzenia, takie jak orientacja, uwaga, pamięć robocza i ogólna motywacja ( Hikosaka i in., 2000 ; Klingberg, 2010 ; Palmiter, 2008 ). Rzeczywiście, podzbiór grzbietowych neuronów prążkowia jest silniej wrażliwy na zdarzenia nagradzające i awersyjne niż na zdarzenia neutralne ( Ravel i in., 1999 ; Blazquez i in., 2002 ; Yamada i in., 2004 , 2007 ), chociaż ich przyczynowa rola w motywowanym zachowaniu nie jest jeszcze znana.

Źródła motywacyjnych sygnałów wartości

Niedawna seria badań sugeruje, że neurony DA odbierają sygnały wartości motywacyjnych z małego jądra w nadwzgórzu, uzdeczki bocznej (LHb) ( Hikosaka, 2010 ) ( ryc. 8 ). LHb wywiera silną negatywną kontrolę nad neuronami DA: stymulacja LHb hamuje neurony DA w krótkich okresach latencji ( Christoph i in., 1986 ) i może regulować uczenie się w sposób odwrotny do stymulacji VTA ( Shumake i in., 2010 ). Zgodnie z negatywnym sygnałem kontrolnym wiele neuronów LHb ma lustrzane odwrócone odpowiedzi fazowe na neurony DA: neurony LHb są hamowane przez pozytywne błędy przewidywania nagrody i pobudzane przez negatywne błędy przewidywania nagrody ( Matsumoto i Hikosaka, 2007 , 2009a ; Bromberg-Martin i in., 2010a ; Bromberg-Martin i in., 2010c ). W kilku przypadkach sygnały te występują przy krótszych opóźnieniach w LHb, zgodnie z transmisją LHb → DA ( Matsumoto i Hikosaka, 2007 ; Bromberg-Martin i in., 2010a ).

 

Rysunek 8

Hipotetyczne źródła wartości motywacyjnej, istotności i sygnałów alarmowych

LHb jest w stanie kontrolować neurony DA w całym śródmózgowiu, ale kilka linii dowodów sugeruje, że wywiera preferencyjną kontrolę nad neuronami DA kodującymi wartości motywacyjne. Po pierwsze, neurony LHb kodują wartość motywacyjną w sposób ściśle odzwierciedlający neurony DA kodujące wartości - kodują zarówno pozytywne, jak i negatywne błędy przewidywania nagrody i reagują w przeciwnych kierunkach na zdarzenia nagradzające i awersyjne ( Matsumoto i Hikosaka, 2009a ; Bromberg-Martin i in., 2010a ). Po drugie, stymulacja LHb ma najsilniejsze efekty na neurony DA, których właściwości są zgodne z kodowaniem wartości, w tym hamowanie przez wskazówki bez nagrody i anatomiczną lokalizację w brzuszno-środkowym SNc ( Matsumoto i Hikosaka, 2007 , 2009b ). Po trzecie, uszkodzenia LHb upośledzają hamujące reakcje neuronów DA na zdarzenia awersyjne, co sugeruje przyczynową rolę LHb w generowaniu sygnałów wartości DA ( Gao i in., 1990 ).

LHb jest częścią szerszej ścieżki neuronalnej, poprzez którą neurony DA mogą być kontrolowane przez jądra podstawy ( ryc. 8 ). LHb odbiera sygnały przypominające błędy przewidywania nagrody poprzez projekcję z populacji neuronów zlokalizowanych wokół granicy gałki bladej (GPb) ( Hong i Hikosaka, 2008 ). Gdy sygnały te dotrą do LHb, prawdopodobnie zostaną wysłane do neuronów DA poprzez ścieżkę disynaptyczną, w której LHb pobudza neurony GABA śródmózgowia, które z kolei hamują neurony DA ( Ji i Shepard, 2007 ; Omelchenko i in., 2009 ; Brinschwitz i in., 2010 ). Może to nastąpić poprzez projekcje LHb do interneuronów w VTA i do sąsiedniego jądra GABA-ergicznego zwanego jądrem rostromedialnym nakrywki (RMTg) ( Jhou i in., 2009b ) (nazywanym również „ogonem ogonowym VTA” ( Kaufling i in., 2009 )). Co godne uwagi, neurony RMTg mają właściwości odpowiedzi podobne do neuronów LHb, kodują wartość motywacyjną i mają silną projekcję hamującą do dopaminergicznego śródmózgowia ( Jhou i in., 2009a ). Tak więc kompletna ścieżka jąder podstawy do wysyłania sygnałów wartości motywacyjnych do neuronów DA może być GPb→LHb→RMTg→DA ( Hikosaka, 2010 ).

Ważnym pytaniem dla przyszłych badań jest, czy sygnały wartości motywacyjnych są przekazywane wyłącznie przez LHb, czy też są przenoszone przez wiele szlaków wejściowych. Co znamienne, hamowanie DA przez awersyjne wstrząsy stóp jest kontrolowane przez aktywność w mezomostowym jądrze parabrachialnym (PBN) ( Coizet i in., 2010 ) ( Rysunek 8 ). Jądro to zawiera neurony, które odbierają bezpośrednie sygnały z rdzenia kręgowego kodujące bolesne doznania i mogą hamować neurony DA poprzez pobudzające projekcje do RMTg ( Coizet i in., 2010 ; Gauriau i Bernard, 2002 ). Sugeruje to, że LHb wysyła neuronom DA sygnały wartości motywacyjnych zarówno dla wskazówek i wyników nagradzających, jak i awersyjnych, podczas gdy PBN dostarcza składnik sygnału wartości specyficznie związany z wynikami awersyjnymi.

Źródła sygnałów motywacyjnych

Mniej wiadomo na temat źródła sygnałów motywacyjnych w neuronach DA. Jednym z intrygujących kandydatów jest centralne jądro ciała migdałowatego (CeA), które jest konsekwentnie zaangażowane w orientację, uwagę i ogólne reakcje motywacyjne podczas wydarzeń nagradzających i awersyjnych (Holland and Gallagher, 1999; Baxter i Murray, 2002; Merali i in., 2003; Balleine i Killcross, 2006) (Rysunek 8). CeA i inne jądra ciała migdałowatego zawierają wiele neuronów, których sygnały są zgodne z istotnością motywacyjną: sygnalizują zdarzenia nagradzające i awersyjne w tym samym kierunku, są wzmocnione, gdy zdarzenia występują nieoczekiwanie i są skorelowane z behawioralnymi miarami pobudzenia (Nishijo i in., 1988; Belova i in., 2007; Shabel i Janak, 2009). Sygnały te mogą być wysyłane do neuronów DA, ponieważ CeA ma zstępujące projekcje do pnia mózgu, które niosą satysfakcjonujące i awersyjne informacje (Lee i wsp., 2005; Pascoe and Kapp, 1985) i CeA jest konieczne do uwolnienia DA podczas zdarzeń związanych z nagrodami (Phillips i in., 2003a). Co więcej, CeA uczestniczy w neuronach DA w szlakach zgodnych z naszymi proponowanymi sieciami anatomicznymi i funkcjonalnymi dla poprawy motywacji. Ścieżka obejmująca CeA, SNc i prążkowate grzbietowe jest niezbędna, aby nauczyć się orientacji na sygnały żywnościowe (Han i in., 1997; Lee i wsp., 2005; El-Amamy i Holland, 2007). Zgodnie z naszym podziałem sygnałów salience vs. value, ta ścieżka jest potrzebna do nauki orientacji na sygnały żywnościowe, ale nie do nauki podejścia do wyników żywności (Han i in., 1997). Druga ścieżka, w tym rdzeń CeA, SNc, VTA i NAc, jest niezbędna, aby wskazówki dotyczące nagród powodowały wzrost ogólnej motywacji do wykonywania działań poszukujących nagrody (Hall i wsp., 2001; Corbit i Balleine, 2005; El-Amamy i Holland, 2007).

Oprócz CeA neurony DA mogą odbierać sygnały saliencji motywacyjnej z innych źródeł, takich jak neurony kodujące saliencję w podstawnym mózgu przednim ( Lin i Nicolelis, 2008 ; Richardson i DeLong, 1991 ) oraz neurony w PBN ( Coizet i in., 2010 ), chociaż ścieżki te wciąż wymagają zbadania.

Źródła sygnałów alarmowych

Istnieje kilku dobrych kandydatów do dostarczania neuronom DA sygnałów ostrzegawczych. Być może najbardziej atrakcyjnym kandydatem jest wzgórek górny (SC), jądro śródmózgowia, które odbiera krótkotrwałe bodźce sensoryczne z wielu modalności sensorycznych i kontroluje reakcje orientacyjne oraz uwagę ( Redgrave i Gurney, 2006 ) ( Rysunek 8 ). SC ma bezpośrednią projekcję do SNc i VTA ( May i in., 2009 ; Comoli i in., 2003 ). U znieczulonych zwierząt SC jest kluczowym kanałem dla krótkotrwałych sygnałów wzrokowych, które docierają do neuronów DA i wyzwalają uwalnianie DA w dalszych strukturach ( Comoli i in., 2003 ; Dommett i in., 2005 ). Szlak SC-DA najlepiej nadaje się do przekazywania sygnałów ostrzegawczych, a nie sygnałów nagrody i awersji, ponieważ neurony SC słabo reagują na dostarczanie nagrody i mają jedynie niewielki wpływ na reakcje awersyjne DA ( Coizet i in., 2006 ). Sugeruje to sekwencję zdarzeń, w których neurony SC (1) wykrywają bodziec, (2) wybierają go jako potencjalnie ważny, (3) wyzwalają reakcję orientacyjną w celu zbadania bodźca i (4) jednocześnie wyzwalają reakcję ostrzegawczą DA, która powoduje wybuch DA w strukturach położonych niżej ( Redgrave i Gurney, 2006 ).

Drugim kandydatem na wysyłanie sygnałów ostrzegawczych do neuronów DA jest LHb ( Rysunek 8 ). Co godne uwagi, nieoczekiwany początek wskazówki rozpoczęcia próby hamuje wiele neuronów LHb w sposób odwrotny do sygnału ostrzegawczego neuronu DA, a ta odpowiedź występuje przy krótszym opóźnieniu w LHb zgodnie z kierunkiem transmisji LHb→DA ( Bromberg-Martin i in., 2010a ; Bromberg-Martin i in., 2010c ). Anegdotycznie zaobserwowaliśmy również, że neurony LHb są powszechnie hamowane przez nieoczekiwane obrazy wizualne i dźwięki w sposób odwrotny do pobudzeń DA (MM, ESB-M. i OH, niepublikowane obserwacje), chociaż wymaga to bardziej systematycznego zbadania.

Wreszcie, trzecim kandydatem do wysyłania sygnałów ostrzegawczych do neuronów DA jest jądro mostowo-szypułowe nakrywki (PPTg), które projektuje zarówno do SNc, jak i VTA i bierze udział w przetwarzaniu motywacyjnym ( Winn, 2006 ) ( Rysunek 8 ). PPTg jest ważne dla umożliwienia serii neuronów DA VTA ( Grace i in., 2007 ), w tym serii odpowiedzi na bodźce nagrody ( Pan i Hyland, 2005 ). Zgodnie z sygnałem ostrzegawczym, neurony PPTg mają krótkie odpowiedzi na wiele modalności sensorycznych i są aktywne podczas reakcji orientacyjnych ( Winn, 2006 ). Istnieją dowody na to, że na reakcje sensoryczne PPTg wpływa wartość nagrody i wymagania dotyczące natychmiastowego działania ( Dormont i in., 1998 ; Okada i in., 2009 ) (ale patrz ( Pan i Hyland, 2005 )). Niektóre neurony PPTg same reagują również na nagradzające lub negatywne rezultaty ( Dormont i in., 1998 ; Kobayashi i in., 2002 ; Ivlieva i Timofeeva, 2003b , a ). Ważne będzie sprawdzenie, czy sygnały wysyłane przez PPTg do neuronów DA są związane konkretnie z alarmowaniem, czy też zawierają inne sygnały motywacyjne, takie jak wartość i atrakcyjność.

Praca ta była wspierana przez wewnętrzny program badawczy w National Eye Institute. Dziękujemy również Amy Arnsten za cenne dyskusje.

Zastrzeżenie wydawcy: To jest plik PDF nieedytowanego manuskryptu, który został zaakceptowany do publikacji. W ramach usługi dla naszych klientów udostępniamy tę wczesną wersję manuskryptu. Manuskrypt zostanie poddany redakcji, składowi i weryfikacji korekty przed publikacją w ostatecznej, możliwej do cytowania formie. Należy pamiętać, że w trakcie procesu produkcyjnego mogą zostać wykryte błędy, które mogą wpłynąć na treść, w związku z czym obowiązują wszystkie zastrzeżenia prawne dotyczące czasopisma.

^{PRZYPIS 1} Przez wyrazistość motywacyjną rozumiemy wartość, która jest wysoka zarówno dla zdarzeń nagradzających, jak i awersyjnych, a niska dla zdarzeń neutralnych motywacyjnie (nienagradzających i nieawersyjnych). Jest to podobne do definicji podanej przez ( Berridge i Robinson, 1998 ). Należy zauważyć, że wyrazistość motywacyjna różni się od innych pojęć wyrazistości stosowanych w neuronauce, takich jak wyrazistość bodźca (która dotyczy tylko zdarzeń pożądanych; ( Berridge i Robinson, 1998 )) oraz wyrazistość percepcyjna (która dotyczy zdarzeń neutralnych motywacyjnie, takich jak poruszające się obiekty i kolorowe światła; ( Bisley i Goldberg, 2010 )).

^{PRZYPIS 2} Należy zauważyć, że motywacyjne sygnały neuronowe kodujące salencję różnią się od klasycznych pojęć „skojarzalności” i „zmiany skojarzalności”, które zaproponowano w celu regulacji tempa uczenia się przez wzmacnianie (np. ( Pearce i Hall, 1980 )). Te teorie zakładają, że zwierzęta uczą się (i dostosowują tempo uczenia się) zarówno z pozytywnych, jak i negatywnych błędów predykcji. Chociaż te neurony DA mogą przyczyniać się do uczenia się z pozytywnych błędów predykcji, podczas których mogą mieć silną reakcję (np. na nieoczekiwane dostarczenie nagrody), mogą nie przyczyniać się do uczenia się z negatywnych błędów predykcji, podczas których mogą mieć niewielką lub żadną reakcję (np. na nieoczekiwane pominięcie nagrody) ( Rys. 4B ).

1. Ahlbrecht M, Weber M. Rozdzielczość niepewności: badanie eksperymentalne. Dziennik ekonomii instytucjonalnej i teoretycznej. 1996; 152: 593 – 607.
2. Albin RL, Young AB, Penney JB. Anatomia funkcjonalna zaburzeń zwojów podstawnych. Trendy w neuronaukach. 1989; 12: 366 – 375. [PubMed]
3. Anderson AK, Christoff K, Stappen I, Panitz D, Ghahremani DG, Glover G, Gabrieli JD, Sobel N. Zdysocjowane neuronowe reprezentacje intensywności i wartościowości w ludzkiej węchowości. Nat Neurosci. 2003; 6: 196 – 202. [PubMed]
4. Anstrom KK, Miczek KA, Budygin EA. Zwiększona fazowa sygnalizacja dopaminy w szlaku mezolimbicznym podczas porażki społecznej u szczurów. Neuroscience. 2009; 161: 3 – 12. [PubMed]
5. Aragona BJ, Day JJ, Roitman MF, Cleaveland NA, Wightman RM, Carelli RM. Regionalna specyficzność w rozwoju w czasie rzeczywistym fazowych wzorców transmisji dopaminy podczas nabywania skojarzenia cue-kokainy u szczurów. Europejski dziennik neurobiologii. 2009; 30: 1889 – 1899. [Artykuł bezpłatny PMC] [PubMed]
6. Austin AJ, Duka T. Mechanizmy uwagi dla apetycznych i awersyjnych wyników w warunkowaniu Pawłowskim. Badania behawioralne mózgu. 2010; 213: 19 – 26. [PubMed]
7. Badia P, Harsh J, Abbott B. Wybór między przewidywalnymi i nieprzewidywalnymi warunkami wstrząsowymi: dane i teoria. Biuletyn Psychologiczny. 1979; 86: 1107 – 1131.
8. Balleine BW, Killcross S. Równoległe przetwarzanie zachęt: zintegrowany widok funkcji ciała migdałowatego. Trendy w neuronaukach. 2006; 29: 272 – 279. [PubMed]
9. Balleine BW, O'Doherty JP. Homologie człowieka i gryzoni w kontroli działania: kortykostriatalne determinanty działania ukierunkowanego na cel i nawykowego. Neuropsychopharmacology. 2010; 35: 48–69. [Artykuł bezpłatny PMC] [PubMed]
10. Barr GA, Moriceau S, Shionoya K, Muzny K, Gao P, Wang S, Sullivan RM. Przejścia w uczeniu się niemowląt są modulowane przez dopaminę w ciele migdałowatym. Nat Neurosci. 2009; 12: 1364 – 1366. [Artykuł bezpłatny PMC] [PubMed]
11. Bassareo V, De Luca MA, Di Chiara G. Różnicowa ekspresja motywacyjnych właściwości bodźca przez dopaminę w powłoce Nucleus Accumbens względem rdzenia i kory przedczołowej. J Neurosci. 2002; 22: 4709 – 4719. [PubMed]
12. Bassareo V, Di Chiara G. Różnicowa reakcja przenoszenia dopaminy na bodźce pokarmowe w jądrze półleżącym w przedziałach skorupy / rdzenia. Neuroscience. 1999; 89: 637 – 641. [PubMed]
13. Baxter MG, Murray EA. Ciało migdałowate i nagroda. Nat Rev Neurosci. 2002; 3: 563 – 573. [PubMed]
14. Bayer HM, Glimcher PW. Neurony dopaminowe śródmózgowia kodują sygnał błędu przewidywania ilościowego nagrody. Neuron. 2005; 47: 129 – 141. [Artykuł bezpłatny PMC] [PubMed]
15. Belova MA, Paton JJ, Morrison SE, Salzman CD. Oczekiwanie moduluje reakcje neuronalne na przyjemne i awersyjne bodźce w ciele migdałowatym naczelnych. Neuron. 2007; 55: 970 – 984. [Artykuł bezpłatny PMC] [PubMed]
16. Bentivoglio M, Morelli M. Organizacja i obwody neuronów dopaminergicznych śródmózgowia oraz rozmieszczenie receptorów dopaminy w mózgu. Podręcznik chemicznej neuroanatomii. 2005: 1 – 107.
17. Berridge KC, Robinson TE. Jaka jest rola dopaminy w nagradzaniu: wpływ hedoniczny, uczenie się z nagrody, czy zachęta motywacyjna? Badania mózgu. 1998; 28: 309 – 369. [PubMed]
18. Besson C, Louilot A. Asymetryczne zaangażowanie mezolimbicznych neuronów dopaminergicznych w percepcji afektywnej. Neuroscience. 1995; 68: 963 – 968. [PubMed]
19. Birgner C, Nordenankar K, Lundblad M, Mendez JA, Smith C, le Greves M, Galter D, Olson L, Fredriksson A, Trudeau LE, et al. VGLUT2 w neuronach dopaminowych jest wymagany do indukowanej psychostymulantem aktywacji behawioralnej. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2010; 107: 389 – 394. [Artykuł bezpłatny PMC] [PubMed]
20. Bisley JW, Goldberg ME. Uwaga, zamiar i priorytet w płacie ciemieniowym. Coroczny przegląd neurobiologii. 2010; 33: 1 – 21. [Artykuł bezpłatny PMC] [PubMed]
21. Bjorklund A, Dunnett SB. Układy neuronów dopaminowych w mózgu: aktualizacja. Trendy w neuronaukach. 2007; 30: 194 – 202. [PubMed]
22. Blazquez PM, Fujii N, Kojima J, Graybiel AM. Reprezentacja sieciowa prawdopodobieństwa odpowiedzi w prążkowiu. Neuron. 2002; 33: 973 – 982. [PubMed]
23. Botvinick MM, Braver TS, Barch DM, Carter CS, Cohen JD. Monitorowanie konfliktów i kontrola poznawcza. Psychol Rev. 2001; 108: 624 – 652. [PubMed]
24. Bradley MM, Greenwald MK, Petry MC, Lang PJ. Pamięć obrazów: przyjemność i podniecenie w pamięci. J Exp Psychol Learn Mem Cogn. 1992; 18: 379 – 390. [PubMed]
25. Braun DA, Mehring C, Wolpert DM. Uczenie się struktury w działaniu. Badania behawioralne mózgu. 2010; 206: 157 – 165. [Artykuł bezpłatny PMC] [PubMed]
26. Brinschwitz K, Dittgen A, Madai VI, Lommel R, Geisler S, Veh RW. Aksony glutaminergiczne z bocznego habenula kończą się głównie na neuronach GABAergicznych brzusznego śródmózgowia. Neuroscience. 2010; 168: 463 – 476. [PubMed]
27. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fazowe pobudzenie neuronów dopaminowych w brzusznym VTA przez szkodliwe bodźce. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2009; 106: 4894 – 4899. [Artykuł bezpłatny PMC] [PubMed]
28. Bromberg-Martin ES, Hikosaka O. Neurony dopaminowe Midbrain sygnalizują preferencję dla wcześniejszych informacji o nadchodzących nagrodach. Neuron. 2009; 63: 119 – 126. [Artykuł bezpłatny PMC] [PubMed]
29. Bromberg-Martin ES, Matsumoto M, Hikosaka O. Wyraźna toniczna i fazowa aktywność antycypacyjna w neuronach bocznych habenula i dopaminy. Neuron. 2010a; 67: 144 – 155. [Artykuł bezpłatny PMC] [PubMed]
30. Bromberg-Martin ES, Matsumoto M, Hong S, Hikosaka O. Szlak pallidus-habenula-dopamina sygnalizuje wartości bodźców. J Neurophysiol. 2010b; 104: 1068 – 1076. [Artykuł bezpłatny PMC] [PubMed]
31. Bromberg-Martin ES, Matsumoto M, Nakahara H, Hikosaka O. Wiele skal pamięci w bocznych neuronach habenula i dopaminowych. Neuron. 2010c; 67: 499 – 510. [Artykuł bezpłatny PMC] [PubMed]
32. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktywność neurochemicznie niejednorodnych neuronów dopaminergicznych w istocie czarnej podczas spontanicznych i napędzanych zmian stanu mózgu. J Neurosci. 2009; 29: 2915 – 2925. [PubMed]
33. Kardynał RN. Systemy neuronowe związane z opóźnionym i probabilistycznym wzmocnieniem. Sieć neuronowa. 2006; 19: 1277 – 1301. [PubMed]
34. Cheer JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM. Skoordynowane uwalnianie dopaminy i aktywność neuronalna napędzają zachowanie ukierunkowane na cel. Neuron. 2007; 54: 237 – 244. [PubMed]
35. Cheramy A, Kemel ML, Gauchy C, Desce JM, Galli T, Barbeito L, Głowiński J. Rola aminokwasów pobudzających w bezpośredniej i pośredniej presynaptycznej regulacji uwalniania dopaminy z końców nerwowych nigrostriatalnych neuronów dopaminowych. Aminokwasy. 1991; 1: 351 – 363. [PubMed]
36. Chew SH, Ho JL. Nadzieja: empiryczne studium stosunku do czasu rozstrzygania niepewności. Journal of Risk and Uncertainty. 1994; 8: 267 – 288.
37. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Bodźce sensoryczne zmieniają szybkość uwalniania neuronów dopaminowych (DA): dowód na dwa funkcjonalne typy komórek DA w istocie czarnej. Brain Res. 1980; 189: 544 – 549. [PubMed]
38. Christoph GR, Leonzio RJ, Wilcox KS. Stymulacja bocznego habenula hamuje neurony zawierające dopaminę w istocie czarnej i brzusznej części nakrywkowej szczura. J Neurosci. 1986; 6: 613 – 619. [PubMed]
39. Chuhma N, Choi WY, Mingote S, Rayport S. Neuron glutaminianowy neuronu dopaminowego: zależna od częstotliwości modulacja w projekcji mezowentromedialnej. Neuroscience. 2009; 164: 1068 – 1083. [Artykuł bezpłatny PMC] [PubMed]
40. Cohen JD, Braver TS, Brown JW. Perspektywy obliczeniowe dotyczące funkcji dopaminy w korze przedczołowej. Aktualna opinia w neurobiologii. 2002; 12: 223 – 229. [PubMed]
41. Coizet V, Dommett EJ, Klop EM, Redgrave P, Overton PG. Jądro przylegające jest krytycznym ogniwem w przekazywaniu informacji nocyceptywnej o krótkim opóźnieniu do neuronów dopaminergicznych śródmózgowia. Neuroscience. 2010; 168: 263 – 272. [Artykuł bezpłatny PMC] [PubMed]
42. Coizet V, Dommett EJ, Redgrave P, Overton PG. Reakcje nocyceptywne neuronów dopaminergicznych śródmózgowia są modulowane przez górny zawał u szczura. Neuroscience. 2006; 139: 1479 – 1493. [PubMed]
43. Comoli E, Coizet V, Boyes J, Bolam JP, Canteras NS, Quirk RH, Overton PG, Redgrave P. Bezpośrednia projekcja od górnego mostka do istoty czarnej do wykrywania istotnych zdarzeń wzrokowych. Nat Neurosci. 2003; 6: 974 – 980. [PubMed]
44. Corbit LH, Balleine BW. Podwójna dysocjacja zmian podstawy ciała migdałowatego podstawno-bocznego i centralnego na ogólnych i specyficznych dla wyniku formach transferu pawłowo-instrumentalnego. J Neurosci. 2005; 25: 962 – 970. [PubMed]
45. Dalley JW, Laane K, Theobald DE, Armstrong HC, Corlett PR, Chudasama Y, Robbins TW. Ograniczona w czasie modulacja apetycznej pamięci Pawłowa przez receptory D1 i NMDA w jądrze półleżącym. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2005; 102: 6189 – 6194. [Artykuł bezpłatny PMC] [PubMed]
46. Daly HB. Preferencja dla nieprzewidywalności jest odwrotna, gdy nieprzewidywalne nieprzyzwoite jest awersyjne: procedury, dane i teorie apetycznego obserwowania odpowiedzi. W: Gormezano I, Wasserman EA, redaktorzy. Uczenie się i pamięć: substraty behawioralne i biologiczne. LE Associates; 1992. str. 81 – 104.
47. Davidson MC, Horvitz JC, Tottenham N, Fossella JA, Watts R, Ulug AM, Casey BJ. Różnicowa ogoniasta i aktywacja obręczy po nieoczekiwanych bodźcach niestosujących. NeuroImage. 2004; 23: 1039 – 1045. [PubMed]
48. Day JJ, Roitman MF, Wightman RM, Carelli RM. Uczenie asocjacyjne pośredniczy w dynamicznych przesunięciach sygnalizacji dopaminy w jądrze półleżącym. Nat Neurosci. 2007; 10: 1020 – 1028. [PubMed]
49. Dayan P, Niv Y. Uczenie się o wzmocnieniu: dobre, złe i brzydkie. Aktualna opinia w neurobiologii. 2008; 18: 185 – 196. [PubMed]
50. Descarries L, Berube-Carriere N, Riad M, Bo GD, Mendez JA, Trudeau LE. Glutaminian w neuronach dopaminowych: transmisja synaptyczna a transmisja rozproszona. Przeglądy badań mózgu. 2008; 58: 290 – 302. [PubMed]
51. Di Chiara G. Nucleus accumbens shell and core dopamine: rola różnicowa w zachowaniu i uzależnieniu. Badania behawioralne mózgu. 2002; 137: 75 – 114. [PubMed]
52. Dommett E, Coizet V, Blaha CD, Martindale J, Lefebvre V, Walton N, Mayhew JE, Overton PG, Redgrave P. Jak bodźce wzrokowe aktywują neurony dopaminergiczne z krótkim opóźnieniem. Nauka. 2005; 307: 1476 – 1479. [PubMed]
53. Dormont JF, Conde H, Farin D. Rola jądra nakrywkowego części szypułkowej w stosunku do kondycjonowanej sprawności motorycznej kota. I. Zależna od kontekstu i związana z wzmocnieniem aktywność pojedynczej jednostki. Eksperymentalne badania mózgu. Experimentelle Hirnforschung. 1998; 121: 401 – 410. [PubMed]
54. Duzel E, Bunzeck N, Guitart-Masip M, Duzel S. ZNACZNA motywacja antycypacji i eksploracji dopaminy (NOMAD): implikacje dla zdrowego starzenia się. Neurobiologia i recenzje biobehawioralne. 2010; 34: 660 – 669. [PubMed]
55. El-Amamy H, Holland PC. Dysocjujące skutki odłączenia jądra centralnego ciała migdałowatego od brzusznej strefy nakrywkowej lub istoty czarnej na uczonym orientowaniu i motywacji motywacyjnej. Europejski dziennik neurobiologii. 2007; 25: 1557 – 1567. [Artykuł bezpłatny PMC] [PubMed]
56. Ettenberg A. Właściwości procesu przeciwników kokainy podawanej samodzielnie. Neurobiologia i recenzje biobehawioralne. 2004; 27: 721 – 728. [PubMed]
57. Fadok JP, Dickerson TM, Palmiter RD. Dopamina jest niezbędna dla warunkującego strach warunkowania strachu. J Neurosci. 2009; 29: 11089 – 11097. [Artykuł bezpłatny PMC] [PubMed]
58. Fairhall AL, Lewen GD, Bialek W, de Ruyter Van Steveninck RR. Wydajność i niejednoznaczność w adaptacyjnym kodzie neuronowym. Natura. 2001; 412: 787 – 792. [PubMed]
59. Faure A, Haberland U, Conde F, El Massioui N. Uszkodzenie układu dopaminowego nigrostriatalnego przerywa tworzenie nawyku bodziec-odpowiedź. J Neurosci. 2005; 25: 2771 – 2780. [PubMed]
60. Faure A, Reynolds SM, Richard JM, Berridge KC. Mezolimbiczna dopamina w pożądaniu i strachu: umożliwienie generowania motywacji przez zlokalizowane zakłócenia glutaminianu w jądrze półleżącym. J Neurosci. 2008; 28: 7184 – 7192. [Artykuł bezpłatny PMC] [PubMed]
61. Fiorillo CD, Newsome WT, Schultz W. Czasowa precyzja przewidywania nagrody w neuronach dopaminowych. Nat Neurosci. 2008; 11: 966 – 973. [PubMed]
62. Fiorillo CD, Tobler PN, Schultz W. Dyskretne kodowanie prawdopodobieństwa nagrody i niepewności przez neurony dopaminowe. Nauka. 2003; 299: 1898 – 1902. [PubMed]
63. Floresco SB, Ghods-Sharifi S, Vexelman C, Magyar O. Role rozpraszające jądro półleżące w rdzeniu i powłoce regulującej przesunięcie zestawu. J Neurosci. 2006; 26: 2449 – 2457. [PubMed]
64. Ford CP, Gantz SC, Phillips PE, Williams JT. Kontrola zewnątrzkomórkowej dopaminy w końcówkach dendrytowych i aksonowych. J Neurosci. 2010; 30: 6975 – 6983. [Artykuł bezpłatny PMC] [PubMed]
65. Frank MJ. Dynamiczna modulacja dopaminy w zwojach podstawy mózgu: neurokomputacyjny opis deficytów poznawczych w parkinsonizmie leczniczym i niemedycznym. Journal of kognitive neuroscience. 2005; 17: 51 – 72. [PubMed]
66. Frank MJ, Fossella JA. Neurogenetyka i farmakologia uczenia się, motywacji i poznania. Neuropsychofarmakologia. 2010 [Artykuł bezpłatny PMC] [PubMed]
67. Frank MJ, Seeberger LC, O'Reilly RC. Przez marchew lub kija: uczenie się wzmacniania poznawczego w parkinsonizmie. Nauka. 2004; 306: 1940 – 1943. [PubMed]
68. Gallistel CR, Gibbon J. Czas, tempo i uwarunkowania. Psychol Rev. 2000; 107: 289 – 344. [PubMed]
69. Gao DM, Jeaugey L, Pollak P, Benabid AL. Zależne od intensywności odpowiedzi nocyceptywne z przypuszczalnych neuronów dopaminergicznych istoty czarnej, pars compacta u szczura i ich modyfikacja przez boczne wejścia habenula. Brain Res. 1990; 529: 315 – 319. [PubMed]
70. Gauriau C, Bernard JF. Szlaki bólowe i obwody przyuszne u szczura. Eksperymentalna fizjologia. 2002; 87: 251 – 258. [PubMed]
71. Geisler S, Zahm DS. Afferents z brzusznego obszaru nakrywkowego w szczurzym-anatomicznym podłożu dla funkcji integracyjnych. Dziennik neurologii porównawczej. 2005; 490: 270 – 294. [PubMed]
72. Gerfen CR, Engber TM, Mahan LC, Susel Z, Chase TN, Monsma FJ, Jr, Sibley DR. D1 i D2 regulowana przez receptor dopaminy ekspresja genów neuronów striatonigralnych i striatopallidalnych. Nauka. 1990; 250: 1429 – 1432. [PubMed]
73. Ghods-Sharifi S, Floresco SB. Różnicowy wpływ na dyskontowanie wysiłku indukowany przez inaktywację jądra półleżącego rdzenia lub powłoki. Neurologia behawioralna. 2010; 124: 179 – 191. [PubMed]
74. Gonon FG. Nieliniowa zależność między przepływem impulsu a dopaminą uwalnianą przez neurony dopaminergiczne śródmózgowia szczura, badana za pomocą elektrochemii in vivo. Neuroscience. 1988; 24: 19 – 28. [PubMed]
75. Goto Y, Yang CR, Otani S. Funkcjonalna i dysfunkcyjna plastyczność synaptyczna w korze przedczołowej: role w zaburzeniach psychicznych. Psychiatria biologiczna. 2010; 67: 199 – 207. [PubMed]
76. Grace AA. Fazowe i toniczne uwalnianie dopaminy i modulacja odpowiedzi układu dopaminowego: hipoteza etiologii schizofrenii. Neuroscience. 1991; 41: 1 – 24. [PubMed]
77. Grace AA, Bunney BS. Wewnątrzkomórkowa i zewnątrzkomórkowa elektrofizjologia nigralnych neuronów dopaminergicznych – 1. Identyfikacja i charakterystyka. Neuroscience. 1983; 10: 301–315. [PubMed]
78. Grace AA, Floresco SB, Goto Y, Lodge DJ. Regulacja odpalania neuronów dopaminergicznych i kontrola zachowań ukierunkowanych na cel. Trendy w neuronaukach. 2007; 30: 220 – 227. [PubMed]
79. Grecksch G, Matties H. Rola mechanizmów dopaminergicznych w hipokampie szczura dla konsolidacji w rozróżnianiu jasności. Psychopharmacology (Berl) 1981; 75: 165 – 168. [PubMed]
80. Guarraci FA, Kapp BS. Charakterystyka elektrofizjologiczna neuronów dopaminergicznych brzusznego obszaru nakrywkowego podczas różnicowego warunkowania strachu pawłowego w przebudzonym króliku. Badania behawioralne mózgu. 1999; 99: 169 – 179. [PubMed]
81. Haber SN, Fudge JL, McFarland NR. Striatonigrostriatalne szlaki u naczelnych tworzą wstępującą spiralę od powłoki do grzbietowo-bocznego prążkowia. J Neurosci. 2000; 20: 2369 – 2382. [PubMed]
82. Hall J, Parkinson JA, Connor TM, Dickinson A, Everitt BJ. Zaangażowanie centralnego jądra ciała migdałowatego i jądra półleżącego w pośredniczeniu w wpływach Pawłowa na zachowanie instrumentalne. Europejski dziennik neurobiologii. 2001; 13: 1984 – 1992. [PubMed]
83. Han JS, McMahan RW, Holland P, Gallagher M. Rola szlaku migdałowato-nigrostriatalnego w uczeniu asocjacyjnym. J Neurosci. 1997; 17: 3913 – 3919. [PubMed]
84. Harris GC, Aston-Jones G. Pobudzenie i nagroda: dychotomia w funkcji oreksyny. Trendy w neuronaukach. 2006; 29: 571 – 577. [PubMed]
85. Herry C, Bach DR, Esposito F, Di Salle F, Perrig WJ, Scheffler K, Luthi A, Seifritz E. Przetwarzanie nieprzewidywalności czasowej u ludzi i zwierząt w ciele migdałowatym. J Neurosci. 2007; 27: 5958 – 5966. [PubMed]
86. Hikida T, Kimura K, Wada N, Funabiki K, Nakanishi S. Odrębne role transmisji synaptycznej w bezpośrednich i pośrednich ścieżkach prążkowia do zachowań nagradzających i awersyjnych. Neuron. 2010; 66: 896 – 907. [PubMed]
87. Hikosaka O. Mechanizmy zwojów podstawy zorientowanego na ruchy gałek ocznych. Roczniki Akademii Nauk w Nowym Jorku. 2007; 1104: 229 – 249. [PubMed]
88. Hikosaka O. habenula: od unikania stresu do podejmowania decyzji opartych na wartościach. Nat Rev Neurosci. 2010; 11: 503 – 513. [Artykuł bezpłatny PMC] [PubMed]
89. Hikosaka O, Takikawa Y, Kawagoe R. Rola jąder podstawy w kontroli celowych ruchów sakadycznych oczu. Przeglądy fizjologiczne. 2000; 80: 953 – 978. [PubMed]
90. Hitchcott PK, Quinn JJ, Taylor JR. Dwukierunkowa modulacja ukierunkowanych działań przez przedczołową korową dopaminę. Cereb Cortex. 2007; 17: 2820 – 2827. [PubMed]
91. Hnasko TS, Chuhma N, Zhang H, Goh GY, Sulzer D, Palmiter RD, Rayport S, Edwards RH. Pęcherzykowy transport glutaminianu sprzyja magazynowaniu dopaminy i corelease glutaminianu in vivo. Neuron. 2010; 65: 643 – 656. [Artykuł bezpłatny PMC] [PubMed]
92. Holland PC, obwody Gallagher M. Amygdala w procesach uwagi i reprezentacji. Trendy w naukach kognitywnych. 1999; 3: 65 – 73. [PubMed]
93. Hollerman JR, Schultz W. Neurony dopaminowe zgłaszają błąd w przewidywaniu czasowym nagrody podczas uczenia się. Nat Neurosci. 1998; 1: 304 – 309. [PubMed]
94. Holroyd CB, Coles MG. Neuralna podstawa przetwarzania błędów ludzkich: uczenie się wzmacniania, dopamina i negatywność związana z błędami. Psychol Rev. 2002; 109: 679 – 709. [PubMed]
95. Hong S, Hikosaka O. Globus pallidus wysyła sygnały związane z nagrodą do bocznego habenula. Neuron. 2008; 60: 720 – 729. [Artykuł bezpłatny PMC] [PubMed]
96. Horvitz JC. Odpowiedzi dopaminowe mezolimbokortykalne i nigrostriatalne na istotne zdarzenia pozapłacowe. Neuroscience. 2000; 96: 651 – 656. [PubMed]
97. Horvitz JC, Stewart T, Jacobs BL. Aktywność wybuchowa brzusznych neuronów dopaminowych brzusznych jest wywoływana przez bodźce czuciowe w przebudzonym kocie. Brain Res. 1997; 759: 251 – 258. [PubMed]
98. Houk JC, Adams JL, Barto AG. Model tego, jak zwoje podstawy generują i wykorzystują sygnały neuronowe, które przewidują wzmocnienie. W: Houk JC, Davis JL, Beiser DG, redaktorzy. Modele przetwarzania informacji w zwojach podstawy mózgu. Cambridge, MA: MIT Press; 1995. str. 249 – 274.
99. Ikemoto S. Obwód nagrody mózgu poza mezolimbicznym układem dopaminowym: teoria neurobiologiczna. Neurobiologia i recenzje biobehawioralne. 2010 [Artykuł bezpłatny PMC] [PubMed]
100. Ito R, Dalley JW, Howes SR, Robbins TW, Everitt BJ. Dysocjacja w warunkowym uwalnianiu dopaminy w rdzeniu i skorupie Nucleus Accumbens w odpowiedzi na bodźce kokainowe i podczas zachowań związanych z poszukiwaniem kokainy u szczurów. J Neurosci. 2000; 20: 7489 – 7495. [PubMed]
101. Ivlieva NY, Timofeeva NIE. Aktywność neuronów w jądrze szypułkowym podczas odruchu warunkowego związanego z pokarmem. Neurobiologia i fizjologia behawioralna. 2003a; 33: 919 – 928. [PubMed]
102. Ivlieva NY, Timofeeva NIE. Aktywność neuronów w jądrze szypułkowym podczas odruchu warunkowego operanta. Neurobiologia i fizjologia behawioralna. 2003b; 33: 499 – 506. [PubMed]
103. Jalabert M, Aston-Jones G, Herzog E, Manzoni O, Georges F. Rola jądra łożyska stria terminalis w kontroli neuronów dopaminowych brzusznego obszaru nakrywki. Postęp w neuropsychofarmakologii i psychiatrii biologicznej. 2009; 33: 1336–1346. [Artykuł bezpłatny PMC] [PubMed]
104. Jeanblanc J, Hoeltzel A, Louilot A. Dysocjacja w zaangażowaniu neuronów dopaminergicznych unerwiających podregiony rdzenia i powłoki jądra półleżącego w utajonym hamowaniu i percepcji afektywnej. Neuroscience. 2002; 111: 315 – 323. [PubMed]
105. Jensen J, Smith AJ, Willeit M, Crawley AP, Mikulis DJ, Vitcu I, Kapur S. Oddzielny kod regionów mózgu dla salience vs. valence podczas przewidywania nagrody u ludzi. Mapowanie ludzkiego mózgu. 2007; 28: 294 – 302. [PubMed]
106. Jhou TC, Fields HL, Baxter MG, Saper CB, Holland PC. Rostromedialne jądro nakrywkowe (RMTg), aferentny GABAergiczny neuron dopaminowy śródmózgowia, koduje bodźce awersyjne i hamuje reakcje motoryczne. Neuron. 2009a; 61: 786 – 800. [Artykuł bezpłatny PMC] [PubMed]
107. Jhou TC, Geisler S, Marinelli M, Degarmo BA, Zahm DS. Mezopontyna rostromedial jądro nakrywkowe: Struktura celowana przez boczne habenula, które wystaje do brzusznej strefy nakrywkowej Tsai i istoty czarnej Compacta. Dziennik neurologii porównawczej. 2009b; 513: 566 – 596. [Artykuł bezpłatny PMC] [PubMed]
108. Ji H, Shepard PD. Boczna stymulacja habenula hamuje neurony dopaminowe śródmózgowia szczura poprzez mechanizm, w którym pośredniczy receptor GABA (A). J Neurosci. 2007; 27: 6923 – 6930. [PubMed]
109. Jin X, Costa RM. Sygnały start / stop pojawiają się w obwodach nigrostriatalnych podczas uczenia sekwencji. Natura. 2010; 466: 457 – 462. [Artykuł bezpłatny PMC] [PubMed]
110. Johansen JP, Fields HL. Aktywacja glutaminergiczna przedniej części kory zakrętu obręczy wywołuje awersyjny sygnał nauczania. Nat Neurosci. 2004; 7: 398 – 403. [PubMed]
111. Joseph MH, Datla K, Young AM. Interpretacja pomiaru jądra półleżącego dopaminy poprzez dializę in vivo: kopnięcie, pragnienie lub poznanie? Neurobiologia i recenzje biobehawioralne. 2003; 27: 527 – 541. [PubMed]
112. Joshua M, Adler A, Bergman H. Dynamika dopaminy w kontroli zachowania motorycznego. Aktualna opinia w neurobiologii. 2009a; 19: 615 – 620. [PubMed]
113. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Neurony dopaminergiczne Midbrain i cholinergiczne interneurony prążkowia kodują różnicę między wydarzeniami nagrody i awersji w różnych epokach probabilistycznych klasycznych prób warunkowania. J Neurosci. 2008; 28: 11673 – 11684. [PubMed]
114. Joshua M., Adler A, Prut Y, Vaadia E, Wickens JR, Bergman H. Synchronizacja neuronów dopaminergicznych śródmózgowia jest wzmocniona przez nagradzające wydarzenia. Neuron. 2009b; 62: 695 – 704. [PubMed]
115. Kable JW, Glimcher PW. Neurobiologia decyzji: konsensus i kontrowersje. Neuron. 2009; 63: 733 – 745. [Artykuł bezpłatny PMC] [PubMed]
116. Kakade S, Dayan P. Dopamina: uogólnienie i premie. Sieci neuronowe. 2002; 15: 549 – 559. [PubMed]
117. Kapur S. Psychosis jako stan nieprawidłowości: struktura łącząca biologię, fenomenologię i farmakologię w schizofrenii. Amerykański dziennik psychiatrii. 2003; 160: 13 – 23. [PubMed]
118. Kaufling J, Veinante P, Pawłowski SA, Freund-Mercier MJ, Barrot M. Afferents na ogon GABAergiczny brzusznej powierzchni nakrywkowej u szczura. Dziennik neurologii porównawczej. 2009; 513: 597 – 621. [PubMed]
119. Kennerley SW, Wallis JD. Ocena wyborów przez pojedyncze neurony w płacie czołowym: wartość wyniku zakodowana w wielu zmiennych decyzyjnych. Europejski dziennik neurobiologii. 2009; 29: 2061 – 2073. [Artykuł bezpłatny PMC] [PubMed]
120. Kim H, Sul JH, Huh N, Lee D, Jung MW. Rola prążkowia w aktualizacji wartości wybranych działań. J Neurosci. 2009; 29: 14701 – 14712. [PubMed]
121. Kiyatkin EA. Właściwości funkcjonalne przypuszczalnych neuronów obszaru dopaminy i innych brzusznych obszarów nakrywkowych nakrywkowych u przytomnych szczurów. Int J Neurosci. 1988a; 42: 21 – 43. [PubMed]
122. Kiyatkin EA. Indukowana przez morfinę modyfikacja właściwości funkcjonalnych neuronów okolicy brzusznej nakrywkowej u świadomego szczura. Intern J Neuroscience. 1988b; 41: 57 – 70. [PubMed]
123. Klingberg T. Trening i plastyczność pamięci roboczej. Trendy w naukach kognitywnych. 2010; 14: 317 – 324. [PubMed]
124. Kobayashi S, Nomoto K, Watanabe M, Hikosaka O, Schultz W, Sakagami M. Wpływ nagradzających i awersyjnych wyników na aktywność w makakowej bocznej korze przedczołowej. Neuron. 2006; 51: 861 – 870. [PubMed]
125. Kobayashi S, Schultz W. Wpływ opóźnień nagrody na odpowiedzi neuronów dopaminowych. J Neurosci. 2008; 28: 7837 – 7846. [Artykuł bezpłatny PMC] [PubMed]
126. Kobayashi Y, Inoue Y, Yamamoto M, Isa T, Aizawa H. Udział neuronów jądra nakłucia szypułkowego w wykonywaniu wizualnie sterowanych zadań sakadowych u małp. J Neurophysiol. 2002; 88: 715 – 731. [PubMed]
127. Koyama T, Tanaka YZ, Mikami A. Neurony nocyceptywne w makaku przednim obrzęku aktywują się podczas oczekiwania na ból. Neuroreport. 1998; 9: 2663 – 2667. [PubMed]
128. Kravitz AV, Freeze BS, Parker PR, Kay K, Thwin MT, Deisseroth K, Kreitzer AC. Regulacja zachowań motorycznych w chorobie Parkinsona poprzez kontrolę optogenetyczną obwodów jąder podstawy. Natura. 2010 [Artykuł bezpłatny PMC] [PubMed]
129. Lammel S, Hetzel A, Hackel O, Jones I, Liss B, Roeper J. Unikalne właściwości neuronów mezoprefronalnych w podwójnym układzie dopaminowym mezokortykolimbicznym. Neuron. 2008; 57: 760 – 773. [PubMed]
130. Lang PJ, Davis M. Emocje, motywacja i mózg: odruchowe podstawy badań nad zwierzętami i ludźmi. Postęp w badaniach mózgu. 2006; 156: 3 – 29. [PubMed]
131. Lapish CC, Kroener S, Durstewitz D, Lavin A, Seamans JK. Zdolność mezokortykalnego układu dopaminowego do działania w różnych trybach czasowych. Psychopharmacology (Berl) 2007; 191: 609 – 625. [PubMed]
132. Lee D, Seo H. Mechanizmy uczenia się wzmacniania i podejmowania decyzji w grzbietowo-bocznej korze przedczołowej naczelnych. Roczniki Akademii Nauk w Nowym Jorku. 2007; 1104: 108 – 122. [PubMed]
133. Lee HJ, Groshek F, Petrovich GD, Cantalini JP, Gallagher M, Holland PC. Rola obwodów migdałowo-czarnych w warunkowaniu bodźca wzrokowego w połączeniu z pożywieniem. J Neurosci. 2005; 25: 3881 – 3888. [Artykuł bezpłatny PMC] [PubMed]
134. Levita L, Dalley JW, Robbins TW. Nucleus accumbens ponownie dopaminy i nauczył strachu ponownie: przegląd i kilka nowych ustaleń. Badania behawioralne mózgu. 2002; 137: 115 – 127. [PubMed]
135. Lin SC, Nicolelis MA. Neuronalny zespół pękający w podstawnym przodomózgowiu koduje Salience niezależnie od Valence. Neuron. 2008; 59: 138 – 149. [Artykuł bezpłatny PMC] [PubMed]
136. Lisman JE, Grace AA. Pętla hipokampa-VTA: kontrolowanie wprowadzania informacji do pamięci długoterminowej. Neuron. 2005; 46: 703 – 713. [PubMed]
137. Litt A, Plassmann H, Shiv B, Rangel A. Oddzielanie sygnałów wyceny i istotności podczas podejmowania decyzji. Cereb Cortex. 2010 w prasie. [PubMed]
138. Liu Z, Richmond BJ, Murray EA, Saunders RC, Steenrod S, Stubblefield BK, Montague DM, Ginns EI. Celowanie DNA w białko receptora D2 w korze nosowej odwracalnie blokuje uczenie się sygnałów, które przewidują nagrodę. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2004; 101: 12336 – 12341. [Artykuł bezpłatny PMC] [PubMed]
139. Liu ZH, Shin R, Ikemoto S. Podwójna rola przyśrodkowych neuronów dopaminowych A10 w kodowaniu afektywnym. Neuropsychofarmakologia. 2008; 33: 3010 – 3020. [Artykuł bezpłatny PMC] [PubMed]
140. Ljungberg T, Apicella P, Schultz W. Odpowiedzi małpich neuronów dopaminowych podczas uczenia się reakcji behawioralnych. J Neurophysiol. 1992; 67: 145 – 163. [PubMed]
141. Lobo MK, Covington HE, 3rd, Chaudhury D, Friedman AK, Sun H, Damez-Werno D, Dietz DM, Zaman S, Koo JW, Kennedy PJ, et al. Specyficzna dla komórek utrata sygnalizacji BDNF naśladuje optogenetyczną kontrolę nagrody kokainowej. Nauka. 2010; 330: 385 – 390. [Artykuł bezpłatny PMC] [PubMed]
142. Maeda H, Mogenson GJ. Wpływ stymulacji obwodowej na aktywność neuronów w brzusznym obszarze nakrywkowym, tworzenie istoty czarnej i śródmózgowia szczurów. Biuletyn badań mózgu. 1982; 8: 7 – 14. [PubMed]
143. Mantz J, Thierry AM, Głowiński J. Wpływ szkodliwego uszczypnięcia ogona na szybkość wydzielania mezokortykalnych i mezolimbicznych neuronów dopaminowych: selektywna aktywacja układu mezokortykalnego. Brain Res. 1989; 476: 377 – 381. [PubMed]
144. Margolis EB, Lock H, Hjelmstad GO, Fields HL. Ponownie powrócono do brzusznej strefy nakrywkowej: czy istnieje elektrofizjologiczny marker neuronów dopaminergicznych? The Journal of physiology. 2006; 577: 907 – 924. [Artykuł bezpłatny PMC] [PubMed]
145. Margolis EB, Mitchell JM, Ishikawa J, Hjelmstad GO, Fields HL. Neurony dopaminowe śródmózgowia: cel projekcji określa czas trwania potencjału czynnościowego i hamowanie receptora dopaminy D (2). J Neurosci. 2008; 28: 8908 – 8913. [PubMed]
146. Mark GP, Blander DS, Hoebel BG. Kondycjonowany bodziec zmniejsza pozakomórkową dopaminę w jądrze półleżącym po rozwoju wyuczonej awersji smakowej. Brain Res. 1991; 551: 308 – 310. [PubMed]
147. Marowsky A, Yanagawa Y, Obata K, Vogt KE. Wyspecjalizowana podklasa neuronów pośrednich pośredniczy w dopaminergicznym ułatwianiu funkcji ciała migdałowatego. Neuron. 2005; 48: 1025 – 1037. [PubMed]
148. Matsumoto M, Hikosaka O. Boczne habenula jako źródło negatywnych sygnałów nagrody w neuronach dopaminowych. Natura. 2007; 447: 1111 – 1115. [PubMed]
149. Matsumoto M, Hikosaka O. Reprezentacja negatywnej wartości motywacyjnej w bocznych habenula naczelnych. Nat Neurosci. 2009a; 12: 77 – 84. [Artykuł bezpłatny PMC] [PubMed]
150. Matsumoto M, Hikosaka O. Dwa typy neuronów dopaminowych wyraźnie przekazują pozytywne i negatywne sygnały motywacyjne. Natura. 2009b; 459: 837 – 841. [Artykuł bezpłatny PMC] [PubMed]
151. Matsumoto M, Matsumoto K, Abe H, Tanaka K. Błędy prognozowania aktywności komórek przedczołowych w wartościach akcji. Nat Neurosci. 2007; 10: 647 – 656. [PubMed]
152. Maj PJ, McHaffie JG, Stanford TR, Jiang H, Costello MG, Coizet V, Hayes LM, Haber SN, Redgrave P. Tektonigralne projekcje w naczelnych: droga wstępnego uważnego wprowadzania bodźców do neuronów dopaminergicznych śródmózgowia. Europejski dziennik neurobiologii. 2009; 29: 575 – 587. [Artykuł bezpłatny PMC] [PubMed]
153. Mazzoni P, Hristova A, Krakauer JW. Dlaczego nie poruszamy się szybciej? Choroba Parkinsona, wigor ruchu i ukryta motywacja. J Neurosci. 2007; 27: 7105–7116. [PubMed]
154. Merali Z, Michaud D, McIntosh J, Kent P, Anisman H.Różnicowe zaangażowanie systemu (ów) ciała migdałowatego CRH w istotność i wartościowość bodźców. Postęp w neuropsychofarmakologii i psychiatrii biologicznej. 2003; 27: 1201–1212. [PubMed]
155. Mirenowicz J, Schultz W. Preferencyjna aktywacja neuronów dopaminowych śródmózgowia raczej przez bodźce apetyczne niż awersyjne. Natura. 1996; 379: 449 – 451. [PubMed]
156. Molina-Luna K, Pekanovic A, Rohrich S, Hertler B, Schubring-Giese M, Rioult-Pedotti MS, Luft AR. Dopamina w korze ruchowej jest niezbędna do uczenia się umiejętności i plastyczności synaptycznej. PLoS ONE. 2009; 4: e7082. [Artykuł bezpłatny PMC] [PubMed]
157. Montague PR, Berns GS. Ekonomia neuronowa i biologiczne substraty wyceny. Neuron. 2002; 36: 265 – 284. [PubMed]
158. Montague PR, Dayan P, Sejnowski TJ. Ramy dla systemów dopaminergicznych śródmózgowia oparte na predykcyjnym uczeniu się Hebbana. J Neurosci. 1996; 16: 1936 – 1947. [PubMed]
159. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Przypadkowe, ale wyraźne komunikaty dopaminy w śródmózgowiu i prążkowato aktywnych neuronów. Neuron. 2004; 43: 133 – 143. [PubMed]
160. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain neurony dopaminowe kodują decyzje do przyszłych działań. Nat Neurosci. 2006; 9: 1057 – 1063. [PubMed]
161. Morrison SE, Salzman CD. Zbieżność informacji o bodźcach nagradzających i awersyjnych w pojedynczych neuronach. J Neurosci. 2009; 29: 11471 – 11483. [Artykuł bezpłatny PMC] [PubMed]
162. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Neurony dopaminowe mogą reprezentować zależny od kontekstu błąd przewidywania. Neuron. 2004; 41: 269 – 280. [PubMed]
163. Nakamura K, Hikosaka O. Rola dopaminy w naczelnym jądrze ogoniastym w modulacji nagrody sakad. J Neurosci. 2006; 26: 5360 – 5369. [PubMed]
164. Neve KA, Seamans JK, Trantham-Davidson H. Sygnalizacja receptora dopaminy. Journal of receptor and transdukcji sygnału. 2004; 24: 165 – 205. [PubMed]
165. Nishijo H, Ono T, Nishino H. Pojedyncze odpowiedzi neuronów w ciele migdałowatym małpy alarmowej podczas złożonej stymulacji sensorycznej o znaczeniu afektywnym. J Neurosci. 1988; 8: 3570 – 3583. [PubMed]
166. Niv Y, Daw ND, Joel D, dayan P. Tonic dopamina: koszty alternatywne i kontrola siły reakcji. Psychofarmakologia. 2007; 191: 507 – 520. [PubMed]
167. Nomoto K, Schultz W, Watanabe T, Sakagami M. Czasowo rozszerzyły reakcje dopaminowe na percepcyjnie wymagające bodźce predykcyjne. J Neurosci. 2010; 30: 10692 – 10702. [Artykuł bezpłatny PMC] [PubMed]
168. Okada K, Toyama K, Inoue Y, Isa T, Kobayashi Y. Różne neurony nakłucia szypułkowego szypułkowego sygnalizują przewidywane i rzeczywiste nagrody za zadania. J Neurosci. 2009; 29: 4858 – 4870. [PubMed]
169. Omelchenko N, Bell R, Sesack SR. Boczne projekcje habenula do neuronów dopaminowych i GABA w brzusznej okolicy nakrywkowej szczura. Europejski dziennik neurobiologii. 2009; 30: 1239 – 1250. [Artykuł bezpłatny PMC] [PubMed]
170. Owesson-White CA, Ariansen J, Stuber GD, Cleaveland NA, Cheer JF, Wightman RM, Carelli RM. Kodowanie neuronowe zachowania poszukującego kokainy jest zbieżne z fazowym uwalnianiem dopaminy w rdzeniu i powłoce półleżącej. Europejski dziennik neurobiologii. 2009; 30: 1117 – 1127. [Artykuł bezpłatny PMC] [PubMed]
171. Oyama K, Hernadi I, Iijima T, Tsutsui K. Błąd przewidywania nagród kodujący w grzbietowych neuronach prążkowia. J Neurosci. 2010; 30: 11447 – 11457. [PubMed]
172. Packard MG, White NM. Dysocjacja systemów pamięci hipokampa i jądra ogoniastego przez wyszkolenie wstrzyknięcia śródmózgowego agonistów dopaminy. Neurologia behawioralna. 1991; 105: 295 – 306. [PubMed]
173. Padoa-Schioppa C. Kora oczodołowo-czołowa i obliczanie wartości ekonomicznej. Roczniki Akademii Nauk w Nowym Jorku. 2007; 1121: 232 – 253. [PubMed]
174. Palmiter RD. Sygnalizacja dopaminowa w prążkowiu grzbietowym jest niezbędna dla zachowań motywowanych: lekcje od myszy z niedoborem dopaminy. Roczniki Akademii Nauk w Nowym Jorku. 2008; 1129: 35 – 46. [Artykuł bezpłatny PMC] [PubMed]
175. Pan WX, Hyland BI. Jądro nakłucia szypułkowego kontroluje uwarunkowane odpowiedzi neuronów dopaminowych śródmózgowia u zachowujących się szczurów. J Neurosci. 2005; 25: 4725 – 4732. [PubMed]
176. Pan WX, Schmidt R, Wickens JR, Hyland BI. Trójstronny mechanizm ekstynkcji sugerowany przez aktywność neuronów dopaminowych i model różnic czasowych. J Neurosci. 2008; 28: 9619 – 9631. [PubMed]
177. Parker JG, Zweifel LS, Clark JJ, Evans SB, Phillips PE, Palmiter RD. Brak receptorów NMDA w neuronach dopaminowych osłabia uwalnianie dopaminy, ale nie warunkuje podejścia podczas warunkowania Pawłowskiego. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2010 [Artykuł bezpłatny PMC] [PubMed]
178. Pascoe JP, Kapp BS. Charakterystyka elektrofizjologiczna neuronów centralnych jądra migdałowatego podczas warunkowania strachu Pawłowa u królika. Badania behawioralne mózgu. 1985; 16: 117 – 133. [PubMed]
179. Pascucci T, Ventura R, Latagliata EC, Cabib S, Puglisi-Allegra S. Przyśrodkowa kora przedczołowa określa odpowiedź dopaminową półleżącą na stres poprzez przeciwstawne wpływy noradrenaliny i dopaminy. Cereb Cortex. 2007; 17: 2796 – 2804. [PubMed]
180. Pearce JM, Hall G. Model uczenia się Pawłowa: zmiany skuteczności bodźców uwarunkowanych, ale nie uwarunkowanych. Psychol Rev. 1980; 87: 532 – 552. [PubMed]
181. Pezze MA, Feldon J. Mesolimbic szlaki dopaminergiczne w warunkowaniu strachu. Postęp w neurobiologii. 2004; 74: 301 – 320. [PubMed]
182. Phillips AG, Ahn S, Howland JG. Amygdalarowa kontrola mezokortykolimbicznego układu dopaminowego: równoległe drogi do zmotywowanego zachowania. Neurobiologia i recenzje biobehawioralne. 2003a; 27: 543 – 554. [PubMed]
183. Phillips GD, Salussolia E, Hitchcott PK. Rola projekcji dopaminowej mesoamygdaloidu w uczeniu się emocjonalnym. Psychofarmakologia. 2010 [PubMed]
184. Phillips PE, Stuber GD, Heien ML, Wightman RM, Carelli RM. Drugie uwalnianie dopaminy sprzyja poszukiwaniu kokainy. Natura. 2003b; 422: 614 – 618. [PubMed]
185. Porrino LJ, Goldman-Rakic ​​PS. Unerwienie pnia mózgu przedczołowej i przedniej obręczy obręczy w rezusie ujawnione przez wsteczny transport HRP. Dziennik neurologii porównawczej. 1982; 205: 63 – 76. [PubMed]
186. Puryear CB, Kim MJ, Mizumori SJ. Łączenie kodowania ruchu i nagrody za pomocą brzusznych neuronów obszaru nakrywkowego w swobodnie poruszającym się gryzonie. Neurologia behawioralna. 2010; 124: 234 – 247. [Artykuł bezpłatny PMC] [PubMed]
187. Ravel S, Legallet E, Apicella P. Tonicznie aktywne neurony w prążkowiu małpy nie reagują preferencyjnie na bodźce apetyczne. Eksperymentalne badania mózgu. Experimentelle Hirnforschung. 1999; 128: 531 – 534. [PubMed]
188. Ravel S, Legallet E, Apicella P. Odpowiedzi tonicznie aktywnych neuronów w prążkowiu małpy rozróżniają bodźce przeciwstawne motywacyjnie. J Neurosci. 2003; 23: 8489 – 8497. [PubMed]
189. Ravel S, Richmond BJ. Odpowiedzi neuronalne dopaminy u małp wykonujących schematy nagrody wizualnie wskazane. Europejski dziennik neurobiologii. 2006; 24: 277 – 290. [PubMed]
190. Redgrave P, Gurney K. Sygnał dopaminowy o krótkim opóźnieniu: rola w odkrywaniu nowych działań? Nat Rev Neurosci. 2006; 7: 967 – 975. [PubMed]
191. Redgrave P, Prescott TJ, Gurney K. Czy reakcja na dopaminę o krótkim opóźnieniu jest zbyt krótka, aby zasygnalizować błąd nagrody? Trendy w neuronaukach. 1999; 12: 146 – 151. [PubMed]
192. Rescorla RA, Wagner AR. Teoria uwarunkowań Pawłowskich: różnice w skuteczności wzmocnienia i niewzmocnienia. W: Black AH, Prokasy WF, redaktorzy. Klasyczna klimatyzacja II: Aktualne badania i teoria. Nowy Jork, Nowy Jork: Appleton Century Crofts; 1972. str. 64 – 99.
193. Reynolds JNJ, Hyland BI, Wickens JR. Mechanizm komórkowy uczenia się związanego z nagrodami. Natura. 2001; 413: 67 – 70. [PubMed]
194. Reynolds SM, Berridge KC. Pozytywna i negatywna motywacja w skorupie jądra półleżącego: dwuwartościowe gradienty rostrocaudalne dla jedzenia wywoływanego przez GABA, reakcje „lubienia” / „nielubienia” smaku, preferencja / unikanie miejsca oraz strach. J Neurosci. 2002; 22: 7308–7320. [PubMed]
195. Richardson RT, DeLong MR. Badania elektrofizjologiczne funkcji jądra podstawnego u naczelnych. Postępy w medycynie eksperymentalnej i biologii. 1991; 295: 233 – 252. [PubMed]
196. Robbins TW, Arnsten AF. Neuropsychofarmakologia funkcji fronto-wykonawczej: modulacja monoaminergiczna. Coroczny przegląd neurobiologii. 2009; 32: 267 – 287. [Artykuł bezpłatny PMC] [PubMed]
197. Robinson DL, Hermans A, Seipel AT, Wightman RM. Monitorowanie szybkiej komunikacji chemicznej w mózgu. Opinie chemiczne. 2008; 108: 2554 – 2584. [Artykuł bezpłatny PMC] [PubMed]
198. Roesch MR, Calu DJ, Schoenbaum G. Neurony dopaminowe kodują lepszą opcję u szczurów decydujących o nagrodach o różnym opóźnieniu lub wielkości. Nat Neurosci. 2007; 10: 1615 – 1624. [Artykuł bezpłatny PMC] [PubMed]
199. Roesch MR, Olson CR. Aktywność neuronalna związana z wartością nagrody i motywacją w korze czołowej naczelnych. Nauka. 2004; 304: 307 – 310. [PubMed]
200. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Reakcje chemiczne w czasie rzeczywistym w jądrze półleżącym różnicują bodźce nagradzające i awersyjne. Nat Neurosci. 2008; 11: 1376 – 1377. [Artykuł bezpłatny PMC] [PubMed]
201. Rutledge RB, Lazzaro SC, Lau B, Myers CE, Gluck MA, Glimcher PW. Leki dopaminergiczne modulują tempo uczenia się i persewerację u pacjentów z chorobą Parkinsona w dynamicznym zadaniu żerującym. J Neurosci. 2009; 29: 15104–15114. [Artykuł bezpłatny PMC] [PubMed]
202. Salamone JD. Zaangażowanie jądra nabiera dopaminy w motywacji apetycznej i awersyjnej. Badania behawioralne mózgu. 1994; 61: 117 – 133. [PubMed]
203. Salamone JD, Correa M, Farrar A, Mingote SM. Związane z wysiłkiem funkcje jądra półleżącego dopaminy i powiązanych obwodów przodomózgowia. Psychopharmacology (Berl) 2007; 191: 461 – 482. [PubMed]
204. Satoh T, Nakai S, Sato T, Kimura M. Skorelowane kodowanie motywacji i wynik decyzji przez neurony dopaminowe. J Neurosci. 2003; 23: 9913 – 9923. [PubMed]
205. Savine AC, Beck SM, Edwards BG, Chiew KS, Braver TS. Wzmocnienie kontroli poznawczej poprzez podejście i unikanie stanów motywacyjnych. Poznanie i emocje. 2010; 24: 338–356. [Artykuł bezpłatny PMC] [PubMed]
206. Schoenbaum G, Roesch MR, Stalnaker TA, Takahashi YK. Nowa perspektywa dotycząca roli kory oczodołowo-czołowej w zachowaniach adaptacyjnych. Nat Rev Neurosci. 2009; 10: 885 – 892. [Artykuł bezpłatny PMC] [PubMed]
207. Schultz W. Odpowiedzi neuronów dopaminowych śródmózgowia na behawioralne bodźce wyzwalające u małpy. J Neurophysiol. 1986; 56: 1439 – 1461. [PubMed]
208. Schultz W. Predykcyjny sygnał nagrody neuronów dopaminowych. J Neurophysiol. 1998; 80: 1 – 27. [PubMed]
209. Schultz W. Wiele funkcji dopaminy w różnych przebiegach czasowych. Coroczny przegląd neurobiologii. 2007; 30: 259 – 288. [PubMed]
210. Schultz W. Dopamina sygnalizuje wartość i ryzyko nagrody: podstawowe i najnowsze dane. Behav Brain Funct. 2010; 6: 24. [Artykuł bezpłatny PMC] [PubMed]
211. Schultz W, Dayan P, Montague PR. Neuronowy substrat przewidywania i nagrody. Nauka. 1997; 275: 1593 – 1599. [PubMed]
212. Schultz W, Romo R. Odpowiedzi nigrostriatalnych neuronów dopaminowych na stymulację somatosensoryczną o wysokiej intensywności u znieczulonej małpy. J Neurophysiol. 1987; 57: 201 – 217. [PubMed]
213. Schultz W, Romo R. Neurony dopaminowe śródmózgowia małpy: przypadki odpowiedzi na bodźce wywołujące natychmiastowe reakcje behawioralne. J Neurophysiol. 1990; 63: 607 – 624. [PubMed]
214. Seo H, Lee D. Tymczasowe filtrowanie sygnałów nagrody w grzbietowej przedniej obręczy obręczy podczas gry o strategii mieszanej. J Neurosci. 2007; 27: 8366 – 8377. [Artykuł bezpłatny PMC] [PubMed]
215. Shabel SJ, Janak PH. Istotne podobieństwo aktywności neuronalnej ciała migdałowatego podczas uwarunkowanego pobudzenia emocjonalnego apetycznego i awersyjnego. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2009; 106: 15031 – 15036. [Artykuł bezpłatny PMC] [PubMed]
216. Shadmehr R, Smith MA, Krakauer JW. Korekcja błędów, przewidywanie sensoryczne i adaptacja w sterowaniu silnikiem. Coroczny przegląd neurobiologii. 2010 [PubMed]
217. Shen W, Flajolet M, Greengard P, Surmeier DJ. Dychotomiczna kontrola dopaminergiczna plastyczności synaptycznej prążkowia. Nauka. 2008; 321: 848 – 851. [Artykuł bezpłatny PMC] [PubMed]
218. Shimo Y, Wichmann T. Aktywność neuronów w jądrze podwzgórza moduluje uwalnianie dopaminy w prążkowiu małpy. Europejski dziennik neurobiologii. 2009; 29: 104 – 113. [Artykuł bezpłatny PMC] [PubMed]
219. Podłoża Shippenberga, substraty neuroanatomiczne Balsa-Kubika R, Hubera A, Herza A. Neuroanatomiczne pośredniczące w niepożądanych efektach antagonistów receptora dopaminowego D-1. Psychopharmacology (Berl) 1991; 103: 209 – 214. [PubMed]
220. Shumake J, Ilango A, Scheich H, Wetzel W, Ohl FW. Różnicowa neuromodulacja nabywania i wyszukiwania unikania uczenia się przez boczny obszar habenula i brzuszny obszar nakrywkowy. J Neurosci. 2010; 30: 5876 – 5883. [PubMed]
221. Mały DM, Gregory MD, Mak YE, Gitelman D, Mesulam MM, Parrish T. Dysocjacja neuronowej reprezentacji intensywności i afektywnej wyceny w ludzkim smaku. Neuron. 2003; 39: 701 – 711. [PubMed]
222. Stefani MR, Moghaddam B. Nauka o regułach i przygodność są powiązane z dysocjującymi wzorami aktywacji dopaminy w korze przedczołowej szczura, jądrze półleżącym i prążkowiu grzbietowym. J Neurosci. 2006; 26: 8810 – 8818. [Artykuł bezpłatny PMC] [PubMed]
223. Steinfels GF, Heym J, Strecker RE, Jacobs BL. Odpowiedź neuronów dopaminergicznych u kota na bodźce słuchowe prezentowane w cyklu snu i czuwania. Brain Res. 1983; 277: 150 – 154. [PubMed]
224. Strecker RE, Jacobs BL. Substancja nigra aktywność jednostki dopaminergicznej u zachowujących się kotów: wpływ pobudzenia na samoistne wyładowanie i aktywność wywołaną zmysłami. Brain Res. 1985; 361: 339 – 350. [PubMed]
225. Stuber GD, Hnasko TS, Britt JP, Edwards RH, Bonci A. Dopaminergiczne końcówki w jądrze półleżącym, ale nie glutaminianu prążkowia w prążkowiu. Journal of Neuroscience. 2010; 30: 8229 – 8233. [Artykuł bezpłatny PMC] [PubMed]
226. Stuber GD, Wightman RM, Carelli RM. Wymieranie kokainy przez samopodawanie ujawnia funkcjonalnie i czasowo odmienne sygnały dopaminergiczne w jądrze półleżącym. Neuron. 2005; 46: 661 – 669. [PubMed]
227. Sul JH, Kim H, Huh N, Lee D, Jung MW. Odrębne role gryzoniowo-czołowej i środkowej kory przedczołowej w podejmowaniu decyzji. Neuron. 2010; 66: 449 – 460. [Artykuł bezpłatny PMC] [PubMed]
228. Surmeier DJ, Ding J, Day M, Wang Z, Shen W. D1 i D2 modulacja receptora dopaminy w prążkowiu sygnalizacji glutaminergicznej w neuronach kolczastych średnich prążkowia. Trendy w neuronaukach. 2007; 30: 228 – 235. [PubMed]
229. Surmeier DJ, Shen W, Day M, Gertler T, Chan S, Tian X, Plotkin JL. Rola dopaminy w modulowaniu struktury i funkcji obwodów prążkowia. Postęp w badaniach mózgu. 2010; 183C: 148 – 167. [PubMed]
230. Sutton RS, Barto AG. W stronę nowoczesnej teorii sieci adaptacyjnych: oczekiwanie i przewidywanie. Psychol Rev. 1981; 88: 135 – 170. [PubMed]
231. Takahashi YK, Roesch MR, Stalnaker TA, Haney RZ, Calu DJ, Taylor AR, Burke KA, Schoenbaum G. Kora oczodołowo-czołowa i brzuszna część nakrywkowa są niezbędne do uczenia się na podstawie nieoczekiwanych wyników. Neuron. 2009; 62: 269 – 280. [Artykuł bezpłatny PMC] [PubMed]
232. Takikawa Y, Kawagoe R, Hikosaka O. Możliwa rola neuronów dopaminowych śródmózgowia w krótko- i długoterminowej adaptacji sakkad do mapowania pozycji-nagrody. J Neurophysiol. 2004; 92: 2520 – 2529. [PubMed]
233. Tecuapetla F, Patel JC, Xenias H, angielski D, Tadros I, Shah F, Berlin J, Deisseroth K, Rice ME, Tepper JM, Koos T. Sygnalizacja glutaminergiczna przez mezolimbiczne neurony dopaminowe w jądrze półleżącym. J Neurosci. 2010; 30: 7105 – 7110. [Artykuł bezpłatny PMC] [PubMed]
234. Thierry AM, Tassin JP, Blanc G, Glowinski J. Selektywna aktywacja mezokortykalnego układu DA przez stres. Natura. 1976; 263: 242 – 244. [PubMed]
235. Tobler PN, Dickinson A, Schultz W. Kodowanie przewidywanego pominięcia nagrody przez neurony dopaminowe w paradygmacie hamowania warunkowego. J Neurosci. 2003; 23: 10402 – 10410. [PubMed]
236. Tobler PN, Fiorillo CD, Schultz W. Adaptacyjne kodowanie wartości nagrody przez neurony dopaminowe. Nauka. 2005; 307: 1642 – 1645. [PubMed]
237. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Wypalanie fazowe w neuronach dopaminergicznych jest wystarczające do warunkowania behawioralnego. Nauka. 2009 [PubMed]
238. Ullsperger M. Badania asocjacji genetycznej monitorowania wydajności i uczenia się na podstawie informacji zwrotnych: rola dopaminy i serotoniny. Neurobiologia i recenzje biobehawioralne. 2010; 34: 649 – 659. [PubMed]
239. Ungless MA. Dopamina: istotna kwestia. Trendy w neuronaukach. 2004; 27: 702 – 706. [PubMed]
240. Uylings HB, Groenewegen HJ, Kolb B. Czy szczury mają korę przedczołową? Badania behawioralne mózgu. 2003; 146: 3 – 17. [PubMed]
241. Ventura R, Cabib S, Puglisi-Allegra S. Przeciwna zależna od genotypu mezokortykolimbiczna odpowiedź na dopaminę na stres. Neuroscience. 2001; 104: 627 – 631. [PubMed]
242. Ventura R, Latagliata EC, Morrone C, La Mela I, Puglisi-Allegra S. Przedczołowa norepinefryna determinuje przypisanie „wysokiej” istotności motywacyjnej. PLoS ONE. 2008; 3: e3044. [Artykuł bezpłatny PMC] [PubMed]
243. Ventura R, Morrone C, Puglisi-Allegra S. Układ katecholaminowy przedczołowy / półleżący określa przynależność motywacyjną do bodźców związanych z nagrodą i awersją. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2007; 104: 5181 – 5186. [Artykuł bezpłatny PMC] [PubMed]
244. Vogt BA. Ból i interakcje emocji w podregionach zakrętu obręczy. Nat Rev Neurosci. 2005; 6: 533 – 544. [Artykuł bezpłatny PMC] [PubMed]
245. Voon V, Pessiglione M, Brezing C, Gallea C, Fernandez HH, Dolan RJ, Hallett M. Mechanizmy leżące u podstaw nagrody za pośrednictwem dopaminy w zachowaniach kompulsywnych. Neuron. 2010; 65: 135 – 142. [Artykuł bezpłatny PMC] [PubMed]
246. Waelti P, Dickinson A, Schultz W. Odpowiedzi dopaminowe są zgodne z podstawowymi założeniami teorii uczenia się formalnego. Natura. 2001; 412: 43 – 48. [PubMed]
247. Wallis JD, Kennerley SW. Niejednorodne sygnały nagrody w korze przedczołowej. Aktualna opinia w neurobiologii. 2010; 20: 191 – 198. [Artykuł bezpłatny PMC] [PubMed]
248. Walton ME, Behrens TE, Buckley MJ, Rudebeck PH, Rushworth MF. Oddzielne systemy uczenia się w mózgu makaka i rola kory oczodołowo-czołowej w uczeniu się warunkowym. Neuron. 2010; 65: 927 – 939. [Artykuł bezpłatny PMC] [PubMed]
249. Wheeler RA, Twining RC, Jones JL, Slater JM, Grigson PS, Carelli RM. Wskaźniki behawioralne i elektrofizjologiczne negatywnego afektu przewidują samopodawanie kokainy. Neuron. 2008; 57: 774 – 785. [PubMed]
250. Wightman RM, Heien MLAV, Wassum KM, Sombers LA, Aragona BJ, Khan AS, Ariansen JL, Cheer JF, Phillips PE, Carelli RM. Uwalnianie dopaminy jest niejednorodne w mikrośrodowiskach jądra półleżącego szczura. Europejski dziennik neurobiologii. 2007; 26: 2046 – 2054. [PubMed]
251. Williams GV, Castner SA. Pod krzywą: krytyczne problemy dla wyjaśnienia funkcji receptora D1 w pamięci roboczej. Neuroscience. 2006; 139: 263 – 276. [PubMed]
252. Williams SM, Goldman-Rakic ​​PS. Powszechne pochodzenie naczelnego układu mezofrontalnego dopaminy. Cereb Cortex. 1998; 8: 321 – 345. [PubMed]
253. Winn P. Jak najlepiej rozważyć strukturę i funkcję jądra nakrywkowego części szypułkowej: dowody z badań na zwierzętach. Journal of the Neurological Sciences. 2006; 248: 234 – 250. [PubMed]
254. Mądry RA. Dopamina, nauka i motywacja. Nat Rev Neurosci. 2004; 5: 483 – 494. [PubMed]
255. Mądry RA. Podłoże przodomózgowia nagrody i motywacji. Dziennik neurologii porównawczej. 2005; 493: 115 – 121. [Artykuł bezpłatny PMC] [PubMed]
256. Wise SP. Przednie pola czołowe: filogeneza i funkcja podstawowa. Trendy w neuronaukach. 2008; 31: 599 – 608. [Artykuł bezpłatny PMC] [PubMed]
257. Yamada H, Matsumoto N, Kimura M. Tonicznie aktywne neurony w jądrze ogoniastym naczelnych i skorupie różnie kodują pouczone wyniki motywacyjne działania. J Neurosci. 2004; 24: 3500 – 3510. [PubMed]
258. Yamada H, Matsumoto N, Kimura M. Historia i aktualne oparte na instrukcjach kodowanie przyszłych wyników behawioralnych w prążkowiu. J Neurophysiol. 2007; 98: 3557 – 3567. [PubMed]
259. Yin HH, Knowlton BJ. Rola jąder podstawnych w tworzeniu nawyku. Nat Rev Neurosci. 2006; 7: 464 – 476. [PubMed]
260. Young AM, Moran PM, Joseph MH. Rola dopaminy w kondycjonowaniu i hamowaniu utajonym: co, kiedy, gdzie i jak? Neurobiologia i recenzje biobehawioralne. 2005; 29: 963 – 976. [PubMed]
261. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Neurony istoty czarnej człowieka kodują nieoczekiwane korzyści finansowe. Nauka. 2009; 323: 1496 – 1499. [Artykuł bezpłatny PMC] [PubMed]
262. Zahniser NR, Sorkin A. Szybka regulacja transportera dopaminy: rola w uzależnieniu od stymulantów? Neuropharmakologia. 2004; 47 Suppl 1: 80 – 91. [PubMed]
263. Zhang L, Doyon WM, Clark JJ, Phillips PE, Dani JA. Kontrola tonicznej i fazowej transmisji dopaminy w prążkowiu grzbietowym i brzusznym. Farmakologia molekularna. 2009; 76: 396 – 404. [Artykuł bezpłatny PMC] [PubMed]
264. Zink CF, Pagnoni G, Martin ME, Dhamala M, Berns GS. Ludzka odpowiedź prążkowia na wystające bodźce nieprzyjazne. Journal of Neuroscience. 2003; 23: 8092 – 8097. [PubMed]
265. Zweifel LS, Argilli E, Bonci A, Palmiter RD. Rola receptorów NMDA w neuronach dopaminowych pod względem plastyczności i zachowań uzależniających. Neuron. 2008; 59: 486 – 496. [Artykuł bezpłatny PMC] [PubMed]
266. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, et al. Zakłócenie wybuchu zależnego od NMDAR przez neurony dopaminowe zapewnia selektywną ocenę fazowego zachowania zależnego od dopaminy. Materiały z Narodowej Akademii Nauk Stanów Zjednoczonych Ameryki. 2009; 106: 7281 – 7288. [Artykuł bezpłatny PMC] [PubMed]