Wolfram Schultz 1
Behav Brain Funct. 2010; 6: 24.
Publikováno online 2010 Duben 23. doi: 10.1186 / 1744-9081-6-24.
PLNÁ STUDIE: Dopaminové signály pro základní a nedávné údaje o hodnotě a riziku odměny
1Oddělení fyziologie, vývoje a neurověd, University of Cambridge, Downing Street, Cambridge CB2 3DY, Velká Británie
Odpovídající autor.
Wolfram Schultz: [chráněno e-mailem]
Abstraktní
Pozadí
Předchozí studie lézí, elektrické stimulace a závislosti na drogách naznačují, že dopaminové systémy midbrain jsou součástí systému odměňování mozku. Tento přehled poskytuje aktualizovaný přehled o základních signálech dopaminových neuronů na podněty prostředí.
Metody
Popsané experimenty používaly standardní behaviorální a neurofyziologické metody pro zaznamenávání aktivity jednotlivých dopaminových neuronů v probuzených opicích během specifických behaviorálních úkolů.
výsledky
Dopaminové neurony vykazují fázové aktivace na vnějších podnětech. Signál odráží odměnu, fyzický vzhled, riziko a trest, v sestupném pořadí zlomků reagujících neuronů. Očekávaná hodnota odměny je klíčovou proměnnou rozhodnutí pro ekonomické volby. Odezva na odměny kóduje hodnotu odměny, pravděpodobnost a jejich součet, očekávanou hodnotu. Hodnota odměny neuronového kódu se liší od predikce, a tak splňuje základní požadavek na signál o učení chyby obousměrné predikce postulovaný teorií učení. Tato odezva je upravena v jednotkách standardní odchylky. Naproti tomu relativně málo neuronů dopaminu vykazuje fázovou aktivaci po potrestání a podmíněných averzivních podnětech, což naznačuje nedostatek vztahu odměnové odpovědi k obecné pozornosti a vzrušení. Velké podíly dopaminových neuronů jsou také aktivovány intenzivními, fyzicky význačnými stimuly. Tato reakce je posílena, když jsou podněty nové; zdá se, že se liší od signálu hodnoty odměny. Dopaminové neurony také vykazují nespecifické aktivace k nedocenitelným stimulacím, které jsou pravděpodobně způsobeny generalizací podobnými stimuly a pseudokondicionováním primárními odměnami. Tyto aktivace jsou kratší než reakce na odměny a často jsou následovány depresí aktivity. Samostatný, pomalejší dopaminový signál informuje o riziku, další důležité proměnné rozhodnutí. Odpověď na chybu předpovědi nastává pouze za odměnu; je to měřítko rizika předvídané odměny.
Závěry
Neurofyziologické studie odhalují fázové dopaminové signály, které přenášejí informace týkající se převážně, ale nikoliv výlučně, odměňování. I když není úplně homogenní, dopaminový signál je více omezený a stereotypní než neuronální aktivita ve většině ostatních struktur mozku, které se podílejí na cíleném chování.
Pozadí
Výsledky lézí a psychofarmakologických studií naznačují širokou škálu behaviorálních funkcí pro dopaminové systémy midbrain. Klíčovou otázkou je, které z těchto mnoha funkcí jsou aktivně kódovány fázovým dopaminovým signálem kompatibilním s rychlými neuronálními mechanismy? Dobré rady pocházejí z drogové závislosti a elektrické auto-stimulace, což svědčí o tom, že dopaminová aktivita má příznivé účinky a vyvolává účinky [1,2].
Můžeme definovat odměny jako předměty nebo události, které vytvářejí přístup a konzumní chování, vytvářejí učení o tomto chování, představují pozitivní výsledky ekonomických rozhodnutí a vyvolávají pozitivní emoce a hedonické pocity. Odměny jsou klíčové pro přežití jednotlivců a genů a podporují základní procesy, jako je pití, stravování a reprodukce. Tato definice chování atributů odměny funguje také určitým nepůvodním a nesexuálním entitám, včetně peněz, technických artefaktů, atributů estetických podnětů a mentálních událostí. Odměny zapojují agenty do tak rozmanitého chování, jako je hledání potravy a obchodování na akciových trzích.
Základní pojmy
Odměny mají konkrétní velikosti a vyskytují se se specifickými pravděpodobnostmi. Agenti mají za cíl optimalizovat volby mezi možnostmi, jejichž hodnoty jsou určeny druhem objektu volby a jeho velikostí a pravděpodobností [3]. Odměny lze proto adekvátně popsat rozložením pravděpodobnosti hodnot odměn. V ideálním světě tyto distribuce následují Gaussovu funkci, přičemž extrémní odměny se vyskytují méně často než střední výsledky. Experimentální testy často používají binární rozdělení pravděpodobnosti s ekvipravitelnými hodnotami (každá hodnota odměny se vyskytuje při p = 0.5). Gaussovské a binární rozdělení pravděpodobnosti jsou plně popsány matematickou očekávanou hodnotou (první okamžik rozdělení pravděpodobnosti) a disperzemi nebo odchylkami hodnot od průměru, konkrétně (očekávanou) odchylkou (druhý okamžik) nebo (očekávanou) standardní odchylkou (druhá odmocnina) odchylky). Rozptyl a směrodatná odchylka jsou často považovány za měřítko rizika. V behaviorální ekonomii termín „riziko“ označuje formu nejistoty, ve které je známo rozdělení pravděpodobnosti, zatímco „nejednoznačnost“ označuje neúplnou znalost pravděpodobností a často se označuje jednoduše jako „nejistota“. Riziko se týká spíše šance na výhru nebo prohru, než užšího, zdravého rozumného spojení se ztrátou.
Prognózy mají zásadní význam pro informované rozhodování poskytováním předběžných informací o dostupných možnostech výběru, na rozdíl od odhadů, ke kterým dochází, pokud výsledky nejsou známy. Protože odměnu lze kvantifikovat distribucí pravděpodobnosti, předpovědi odměny určují očekávanou hodnotu a (očekávanou) odchylku nebo směrodatnou odchylku distribuce.
Evoluční tlak zvýhodňuje energeticky účinné zpracování informací. Jedním z možných řešení je ukládat předpovědi o budoucích událostech ve vyšších mozkových centrech a vypočítat v dolních mozkových centrech rozdíl mezi novými informacemi o životním prostředí a uloženou predikcí. Rozdíl mezi skutečnou událostí a její predikcí se nazývá chyba predikce události. Udržet krok s měnící se environmentální situací u vyšších mozkových center by jednoduše vyžadovalo aktualizaci předpovědí s méně informacemi obsahujícími a méně spotřebovávajícími chybami predikce, než zpracováním úplných periferních informací pokaždé, když se změnila jedna malá věc [4]. Tímto způsobem mají vyšší mozková centra přístup k úplným informacím o vnějším světě pro vnímání, rozhodnutí a reakce na chování za mnohem nižší náklady na energii. Tato základní vlastnost předpovědí vede k pozorovatelnému jevu učení, jak je definováno změnami v chování na základě aktualizovaných předpovědí.
Teorie učení zvířat a efektivní modely zesílení časových rozdílů předpokládají, že chyby predikce výsledku jsou klíčové pro Pavlovovu a operativní kondicionaci [5,6]. Současné názory pojímají pavlovovské učení jako jakoukoli formu získávání predikce, která vede ke změně vegetativních reakcí nebo pruhovaných svalových kontrakcí, pokud výsledek není podmíněn reakcí na chování. Pavlovovské předpovědi odměn tak předávají informace nejen o hodnotě odměny (očekávané hodnotě), ale také o riziku (rozptylu) budoucích odměn, což představuje důležité rozšíření konceptu, který navrhl Pavlov před sto lety. Důležitost chyb predikce je založena na Kaminově blokovacím efektu [7], který ukazuje, že učení a vyhynutí postupují pouze do té míry, v jaké je posilovač lepší nebo horší, než předpovídal; učení se postupně zpomaluje, protože predikce se asymptoticky přibližuje hodnotě posilovače.
Dopaminová odpověď na příjem odměny
Většina dopaminových neuronů se středním mozkem (75-80%) vykazuje poměrně stereotypní, fázické aktivace s latencí <100 ms a dobou trvání <200 ms po časově nepředvídaných odměnách za jídlo a kapaliny (obrázek (obrázek 1A). 1A). Tato nárazová reakce závisí na aktivaci a plasticitě glutamátergních NMDA a AMPA receptorů umístěných na dopaminových neuronech [8-12]. Výbuch je rozhodující pro behaviorální učení chuťových úkolů, jako je preference podmíněného místa a volba T-bludiště pro odměnu za jídlo nebo kokain, a pro podmíněné reakce na strach [9].
Obrázek 1
Fázové aktivace neurofyziologické impulzní aktivity dopaminových neuronů. Odpověď: Fázické aktivace následující po primárních odměnách. B: Fázové aktivace po podmíněných stimulech předpovídajících odměnu. C: Nahoře: Nedostatek fázické aktivace po primární (více…)
Kódování chyb predikce odměn
Zdá se, že dopaminová odpověď na doručení odměny kóduje chybu predikce; odměna, která je lepší než předpovídaná, vyvolává aktivaci (pozitivní predikční chyba), plně predikovaná odměna nevyvolává žádnou odpověď a odměna, která je horší, než předpovídá, vyvolává depresi (negativní chyba) [13-24]. Dopaminová odpověď tak plně implementuje klíčový pojem vzdělávacího modelu Rescorla-Wagnera a velmi se podobá učitelskému signálu efektivních modelů učení se zesílením časových rozdílů [6,23].
Odezva na chybu se kvantitativně mění s rozdílem mezi přijatou hodnotou odměny a očekávanou hodnotou odměny [18-23]. Odpověď na chybovou předpověď je citlivá na čas odměny; zpožděná odměna vyvolává depresi v jejím původním čase a aktivaci v novém čase [24,25]. Kvantitativní kódování chyb je zřejmé pro aktivace odrážející chyby pozitivní predikce. Naproti tomu deprese vyskytující se s negativními chybami predikce ukazuje přirozeně užší dynamický rozsah, protože neuronální aktivita nemůže klesnout pod nulu, a příslušné kvantitativní hodnocení vyžaduje, aby se vzala v úvahu celá periody deprese [26].
Dopaminové neurony tedy reagují na odměnu pouze do té míry, do jaké se liší od predikce. Protože předpověď vychází z dříve prožité odměny, dopaminové neurony jsou aktivovány pouze tehdy, je-li současná odměna lepší než předchozí odměna. Stejná odměna znovu neaktivuje dopaminové neurony. Pokud má aktivace dopaminových neuronů pozitivně posilující účinek na chování, pouze zvyšující se odměny zajistí pokračující posilování pomocí dopaminergních mechanismů. To může být jeden z důvodů, proč se zdá, že konstantní, neměnné odměny ztratí svůj stimulující vliv, a proč vždy potřebujeme více odměny.
Přísné testy pro kódování chyb predikce odměn
Teorie učení zvířat vyvinula formální paradigma pro testování chyb predikce odměn. V blokovacím testu [7] nelze získat stimul, který je spárován s plně předpovězenou odměnou, a proto se nestává platným prediktorem odměny. Nepřítomnost odměny po zablokovaném stimulu nepředstavuje chybu predikce a nevede k odpovědi v dopaminových neuronech, a to ani po rozsáhlém spárování stimulační odměny [27]. Naproti tomu dodání odměny po zablokovaném stimulu představuje pozitivní predikční chybu a podle toho vyvolává aktivaci dopaminu.
Podmíněná inhibiční paradigma [28] nabízí další test na chyby predikce. V úkolu použitém v našich experimentech je testovací stimul prezentován současně se zavedeným stimulem pro predikci odměny, ale za sloučeninu není poskytována žádná odměna, takže testovací stimul je prediktorem nepřítomnosti odměny. Vynechání odměny po takovém podmíněném inhibitoru nepředstavuje negativní predikční chybu, a proto nevyvolává depresi v dopaminových neuronech [29]. Naproti tomu dodání odměny po inhibitoru vyvolává silnou chybu pozitivní predikce a tedy silnou aktivaci dopaminu.
Výsledky z těchto dvou formálních testů potvrzují, že dopaminové neurony vykazují obousměrné kódování chyb predikce odměn.
Adaptivní kódování predikce odměn
Obecně platí, že stimul předpovídající odměny určuje hodnotu budoucích odměn tím, že informuje o rozdělení pravděpodobnosti hodnot odměn. Podnět tedy označuje očekávanou hodnotu (první moment) a (očekávanou) varianci (druhý moment) nebo standardní odchylku distribuce.
Odpověď chyby predikce hodnoty dopaminu je citlivá jak na první, tak na druhý okamžik předpokládané distribuce odměn ve dvou sekundách po stimulu. V experimentu mohou různé vizuální podněty předpovídat specifické rozdělení binárních pravděpodobností stejných pravděpodobných velikostí odměn s různými očekávanými hodnotami a odchylkami. Protože odpověď na předpověď chyby odráží rozdíl mezi získanou a očekávanou hodnotou odměny, stejná velikost přijaté odměny způsobí buď zvýšení nebo snížení aktivity dopaminu v závislosti na tom, zda je tato odměna větší nebo menší než její predikce, [23]. Tento výsledek naznačuje, že kódování chyby predikce hodnoty poskytuje informace týkající se referenční nebo kotevní hodnoty.
Dopaminové kódování chyby predikce hodnoty odměny se přizpůsobuje rozptylu nebo standardní odchylce distribuce. V binární distribuci rovnoměrných odměn přináší doručení odměny s větší velikostí v každé distribuci stejnou aktivaci dopaminu s každou distribucí, navzdory násobkům 10 násobku mezi získanými velikostmi odměn (a výsledné chyby predikce hodnoty) [23]. Numerické výpočty ukazují, že dopaminová odpověď kóduje chybu predikce hodnoty dělenou standardní odchylkou předpokládané distribuce. To představovalo účinnou normalizaci nebo měřítko odezvy na chybovou predikci, pokud jde o směrodatnou odchylku, což ukazuje, jak se získaná odměna liší od očekávané hodnoty v jednotkách směrodatné odchylky. Teoretické úvahy naznačují, že signály výuky chyb, které jsou škálovány spíše rozptylem nebo směrodatnou odchylkou než průměrem, mohou zprostředkovat stabilní učení, které je odolné vůči předpokládanému riziku výsledků [30].
Dopaminová odpověď na odměny předpovídající stimuly
Dopaminové neurony vykazují aktivace („vzrušení“) po odměně předpovídající vizuální, sluchové a somatosenzorické podněty (obrázek (obrázek 1B) 1B) [31–33]. Odpovědi se vyskytují bez ohledu na smyslové modality a prostorové polohy stimulů a bez ohledu na to, že efektory jsou pohyby paží, úst nebo očí.
Aktivace se monotónně zvyšují s pravděpodobností odměny [18] a odměnou velikosti, jako je objem kapaliny [23]. Dopaminové odpovědi však nerozlišují pravděpodobnost odměny a velikost, pokud je očekávaná hodnota totožná [23]. Zdá se tedy, že aktivace kódují očekávanou hodnotu předpokládaného rozdělení pravděpodobnosti odměny. Očekávaná hodnota je podrobnější vysvětlení a hluk v neuronálních odpovědích brání charakterizaci z hlediska očekávané (subjektivní) užitečnosti. Všimněte si, že níže popsaná dočasná časová sleva odhaluje subjektivní kódování a může poskytnout určitou informaci o problému.
Velikost odpovědi se zvyšuje se snižováním reakční doby chování, což naznačuje, že dopaminová reakce je citlivá na motivaci zvířete [19]. Při volbě mezi různými hodnotami odměn nebo zpožděními odrážejí dopaminové reakce na prezentaci možností volby budoucí zvolenou odměnu zvířete [34] nebo nejvyšší možnou odměnu ze dvou dostupných možností výběru [35].
V průběhu učení se dopaminová aktivace k odměně postupně snižuje během následných studijních pokusů a současně se vyvíjí aktivace k stimulu předpovídajícímu odměnu [36,37]. Získání kondicionované odpovědi je citlivé na blokování, což naznačuje, že chyby v prediktech hrají roli v získávání dopaminových odpovědí na kondicionované podněty [27]. Přenos odezvy na odměny předpovídající stimuly je v souladu s hlavními charakteristikami výukových signálů efektivních modelů zesílení časového rozdílu [38]. Posun odezvy nezahrnuje backpropagaci predikčních chyb napříč intervalem stimul-odměna u dřívějších modelů časových rozdílů [27,38], ale je reprodukován v původním modelu časových rozdílů a v původních a novějších implementacích časových rozdílů [6,37,39].
Subjektivní kódování hodnoty odměny znázorněné časovou slevou
Objektivní měření hodnoty subjektivních odměn pomocí preferenčních preferencí ukazuje, že odměny ztratí část své hodnoty, jsou-li zpožděny. Ve skutečnosti krysy, holuby, opice a lidé často dávají přednost menším odměnám před pozdějšími většími odměnami [40-42]. Zdá se tedy, že subjektivní hodnota odměny klesá se zvyšujícím se časovým zpožděním, i když fyzická odměna, a tedy i objektivní hodnota odměny, je stejná.
Psychometrická měření intertemporálních voleb chování mezi dřívějšími a pozdějšími odměnami upravují velikost předčasné odměny až do výskytu lhostejnosti výběru, která je definována jako pravděpodobnost výběru každé možnosti pomocí p = 0.5. Nižší časná odměna při výběru lhostejnosti tedy znamená nižší subjektivní hodnotu pozdější odměny. V našem nedávném experimentu na opicích se hodnoty indiference pro odměny zpožděné o 4, 8 a 16 s monotónně snížily o přibližně 25%, 50% a 75%, v porovnání s odměnou po 2 s [43]. Pokles odpovídá hyperbolické diskontní funkci.
Dopaminové reakce na stimuly předpovídající odměnu se monotónně snižují napříč zpožděním odměňování 2 až 16 s [25,43], přestože po každém zpoždění je dodána stejná fyzická částka odměny. Tato data naznačují, že časová zpoždění ovlivňují odpovědi dopaminu na odměňování predikčních stimulů podobným způsobem, protože ovlivňují subjektivní hodnotu odměny hodnocenou intertemporálními volbami. Je zajímavé, že pokles dopaminové odpovědi s odložením odměny je nesporný od poklesu odpovědi s nižší velikostí odměny. Tato podobnost naznačuje, že časová zpoždění ovlivňují odpovědi dopaminu prostřednictvím změn v hodnotě odměny. U dopaminových neuronů se tedy objevují zpožděné odměny, jako by byly menší.
Zdá se tedy, že dopaminové neurony kódují subjektivní spíše než fyzickou, objektivní hodnotu zpožděných odměn. Vzhledem k tomu, že užitečnost je měřítkem spíše pro subjektivní než objektivní hodnotu odměny, snížení odezvy s časovým diskontováním by mohlo naznačovat, že odměna neuronů dopaminu kóduje jako (subjektivní) užitečnost než jako (objektivní) hodnotu. Další experimenty by mohly napomoci přímějšímu testování kódování obslužných programů.
Dopaminová odpověď na averzní podněty
Averzivní podněty, jako jsou obláčky vzduchu, hypertonický solný roztok a elektrický šok, vyvolávají u malého vzrůstu aktivačních („excitačních“) reakcí u dopaminových neuronů (14% [33]; 18–29% [44]; 23% [45]) ; 11% [46]) a většina dopaminových neuronů je buď depresivní ve své aktivitě, nebo není ovlivněna averzivními událostmi (obrázek (obrázek 1C1C nahoře). Na rozdíl od odměn vzduchové obláčky nedokážou vyvolat reakce obousměrné predikční chyby typické pro odměnu ; predikce moduluje pouze averzivní aktivace [45,46].
Averzní stimulace u anestetizovaných zvířat vede k různým, ale často nízkým stupňům většinou pomalejších aktivačních odpovědí (50% [47]; 18% [48]; 17% [49]; 14% [50]) a často ke snížení aktivity. Neurofyziologické reinvestice s lepší identifikací dopaminových neuronů potvrdily celkový nízký výskyt averzivních dopaminových aktivací u anestetizovaných zvířat [51] a lokalizovaly averzivně reagující dopaminové neurony v ventromediální tegmentální oblasti midbrainu [52].
Podmíněné podněty, které předpovídají nafouknutí u probuzených opic, vyvolávají aktivaci v menšině dopaminových neuronů a deprese ve větší frakci dopaminových neuronů (11% [33]; 13% [45]; 37% [46]). Depresivní reakce ruší několik aktivací ve zprůměrovaných populačních odpovědích dopaminových neuronů na averzní stimuly [33] (viz obrázek Obrázek 1C1C dole, černý). V jedné studii podmíněný averzivní stimul aktivoval více neuronů než samotný vzduchový nadýchnutí (37% vs. 11% [46]), ačkoli podmíněný stimul je méně averzivní než primární averzní událost, kterou předpovídá, jako je vzduchový obláček. Vyšší počet aktivací na podmíněný stimul ve srovnání se vzduchovým potahem naznačuje nepřímý vztah mezi averzivitou a aktivací (čím více averzivnější stimul, tím méně častá aktivace) nebo další, averzivní stimulační složkou odpovědnou za zvýšení podílu aktivovaného neurony od 11% do 37%. Ačkoli stimulační aktivace pozitivně korelovala s pravděpodobností nafouknutí v populaci, nebyly hodnoceny u jednotlivých neuronů [46]. Korelace populace může vzniknout z relativně malého počtu pozitivně korelovaných neuronů v této populaci a skutečně averzní stimulační aktivace mohou být blíže k 11% než 37%. V jiné studii velké podíly dopaminových neuronů ukázaly fázové aktivace na podmíněné averzivní stimuly, když byly prezentovány v náhodném střídání s odměnami předpovídajícími stimuly stejné smyslové modality (obrázek (obrázek1C1C dole, šedá) (65% [33]); aktivace byly mnohem méně časté, když dva typy kondicionovaných podnětů měly různé smyslové modality (obrázek (obrázek 1C1C dole, černý) (11%)) V následující kapitole se budeme zabývat faktory, které mohou tyto nevysvětlitelné aktivace podložit averzivním a jiným, nevyzvednutým podnětům.
Přestože jsou některé neurony dopaminu aktivovány averzivními událostmi, největší aktivace dopaminu souvisí s odměnou. Data získaná jinými metodami vedou k podobným závěrům. Rychlá skenová voltametrie u chovaných krys ukazuje striatální uvolňování dopaminu indukované odměnou a posun k odměňování předpovídajících stimulů po kondici [53], což naznačuje, že impulzní reakce neuronů dopaminu vedou k odpovídajícímu uvolňování dopaminu ze striatálních varikozit. Zvýšení dopaminu trvá pouze několik sekund, a tak má nejkratší časový průběh všech neurochemických metod, nejblíže elektrofyziologické aktivaci. Uvolňování dopaminu je rozdílné za odměnu (sacharóza) a nedochází k trestu (chinin) [54]. Jak voltametrie stanoví místní průměry koncentrace dopaminu, absence měřitelného uvolňování s chininem by mohla skrýt několik aktivací zrušených depresemi v odpovědi na dopaminovou populaci [33]. Studie využívající velmi citlivou mikrodialýzu in vivo detekují uvolňování dopaminu po averzivních podnětech [55].
Tato odpověď může odrážet změnu dopaminu indukovanou několika neurony aktivovanými averzivními stimuly, ačkoli časový průběh měření mikrodialýzy je asi 300-500 krát pomalejší než impulsní odpověď a může být dostatečná pro umožnění presynaptických interakcí ovlivnit uvolňování dopaminu [56] . Přerušení výpalu dopaminových neuronů naruší několik chutných úkolů učení, ale také se bojí kondicionování [9]. Výsledek by mohl naznačovat funkci učení averzivních dopaminových reakcí, pokud je vyloučen nespecifický, obecně deaktivující účinek nižší koncentrace dopaminu, což je ještě třeba ukázat. Specifická stimulace dopaminových neuronů optogenetickými metodami prostřednictvím geneticky vloženého channelrhodopsinu indukuje Pavlovianovo preferování preferencí u myší [57]. Naproti tomu čistý averzivní účinek stimulace dopaminem by měl mít za následek učení o vyhýbání se místu. Tyto výsledky potvrzují představu o globální pozitivní posilovací funkci dopaminových systémů odvozené od dřívějších lézí, elektrické autostimulace a závislosti na drogách [1,2]. Tyto argumenty však předpokládají, že tato odměna není jedinou funkcí dopaminových systémů, ani že všechny funkce odměny zahrnují dopaminové neurony.
Fázové dopaminové aktivace nekódující odměnu
Podněty mohou vyvolat varovné a pozornostní reakce, když jsou fyzicky důležité (fyzická význačnost) nebo pokud souvisejí s posilovači („motivační“ nebo „afektivní“ význačnost). Reakce na chování na hlavní podněty jsou odstupňovány podle fyzické intenzity podnětů a hodnoty posilovače. Fyzický výčet vůbec nezávisí na posilování a motivační výběh nezávisí na valenci posilovačů (odměna a trest).
Reakce na fyzicky významné podněty
Fyzicky intenzivní vizuální a sluchové podněty indukují aktivace v dopaminových neuronech (obrázek (Figure1D) .1D). Tyto reakce jsou podporovány novinkou stimulu [58-60], ale přetrvávají na nižší úrovni po dobu několika měsíců za předpokladu, že stimuly jsou dostatečně fyzicky intenzivní. Reakce jsou odstupňovány podle velikosti podnětů (obrázek 4 v [15]). Fyzická význačnost může také částečně vysvětlit odpovědi na primární tresty se značnou fyzickou intenzitou [45]. Tyto reakce mohou představovat samostatný typ dopaminové odpovědi související s fyzickým významem pozornosti vyvolávající environmentální podněty, nebo mohou souviset s pozitivně motivujícími a posilujícími atributy intenzivních a nových podnětů.
Nezdá se, že by aktivace fyzicky význačných podnětů odrážely obecnou tendenci dopaminových neuronů aktivovat jakoukoli událostí vyvolávající pozornost. Zejména další silné události vyvolávající pozornost, jako je opomenutí odměny, podmíněné inhibitory a averzivní stimuly, vyvolávají převážně deprese a zřídka skutečné dopaminové aktivace [14,29]. Aktivace dopaminu fyzicky význačnými stimuly tedy nemusí představovat obecnou varovnou odpověď. Odezva odměny bude pravděpodobně představovat samostatnou odpověď, která nemusí odrážet pozornost generovanou motivačním významem odměny.
Ostatní aktivace kódování bez odměny
Jiné stimuly indukují aktivace v dopaminových neuronech bez zjevného kódování hodnoty odměny. Tyto aktivace jsou menší a kratší než reakce na odměňování předpovídajících podnětů a často jsou následovány depresí, když jsou podněty nevyslané (obrázek (Figure1E1E)).
Dopaminové neurony vykazují aktivace po kontrolních podnětech, které jsou prezentovány v pseudonáhodné střídání za odměněné podněty [27,29,32]. Výskyt aktivací závisí na počtu alternativních, odměněných podnětů v behaviorálním úkolu; aktivace jsou časté, jsou-li odměněny tři ze čtyř stimulátorů úkolů (25% -63% [27]) a stávají se vzácnými, pokud pouze jeden ze čtyř stimulátorů úkolů není odměněn (1% [29]). Tato závislost argumentuje proti čistě smyslové povaze reakce.
Dopaminové neurony vykazují spíše stereotypní počáteční aktivační složku, která stimuluje předpovídání odměn, ke kterým dochází po různých zpožděních [43]. Počáteční aktivace se mění jen velmi málo se zpožděním odměny, a proto se nezdá, že kóduje hodnotu odměny. Naproti tomu se následující složka odezvy snižuje se zvyšujícím se zpožděním, a tedy kódovou (subjektivní) hodnotou odměny (viz výše).
Dopaminové neurony vykazují časté aktivace po kondicionovaných averzivních podnětech prezentovaných náhodně střídavě se stimuly předpovídajícími odměnu; aktivace zmizí z velké části, když se používají různé smyslové modality (65% vs. 11% neuronů [33]), což naznačuje kódování neaverzivních stimulačních složek. I když jsou averzní a chutný podnět rozděleny do různých pokusných bloků, dopaminové neurony jsou značně aktivovány podmíněnými averzivními podněty. Častější aktivace na podmíněné podněty ve srovnání s averzivnějším nadýcháním primárního vzduchu (37% vs. 11% [46]) však naznačuje nepřímý vztah k averzivitě podnětů a případně k averzivním reakčním složkám.
Důvody těchto různých aktivací dopaminu mohou spočívat v zobecnění, pseudokondicionování nebo motivaci motivačních stimulů. Generalizace vzniká na základě podobnosti mezi podněty. Mohlo by to vysvětlit aktivace dopaminu v řadě situací, jmenovitě aktivace k nevysvětleným vizuálním podnětům, pokud se tyto střídají s vizuálními stimuly předpovídajícími odměnu (obrázek (obrázek 1E1E vlevo)) [27,29,32] a počáteční, špatně odstupňovanou aktivační komponentou k odměňování zpoždění predikce predikce (obrázek) (Obrázek 1E1E vpravo) [43]. Generalizace by mohla hrát roli, když podněty s různými smyslovými modalitami vytvářejí méně dopaminových aktivací k nevídaným stimulacím než podněty se stejnými modalitami, jak je vidět u vizuálních averzivních a sluchových podnětů stimulů (obrázek (Figure 1C1C)) [33] .
Pseudoconditioning může nastat, když primární zesilovač nastaví kontextové pozadí a vyvolá nespecifické behaviorální reakce na jakékoli události v tomto kontextu [61]. Protože dopaminové neurony jsou velmi citlivé na odměnu, obohacující kontext může vyvolat pseudokondicionování stimulů v tomto kontextu a tím i neuronální aktivaci. Tento mechanismus může být základem neuronálních aktivací k nedocenitelným podnětům vyskytujícím se v prospěšném kontextu, jako je například laboratoř, ve které zvíře dostává denní odměny, bez ohledu na to, zda jsou podněty prezentovány náhodně střídavě s odměněnými stimuly nebo v samostatných pokusných blocích [46]. Pseudokondicionování může vysvětlit aktivace k nezměněným kontrolním podnětům [27,29,32], většina aktivací po averzivních podnětech [33,45,46] a počáteční, špatně odstupňovaná aktivační složka k odměňování podnětů předpovídajících zpoždění [43]. Pseudokondicionování tedy může vzniknout spíše z primární odměny než z podmíněného stimulu a ovlivnit aktivace dopaminu jak u podmíněných podnětů, tak u primárních zesilovačů, které se vyskytují v odměňujícím kontextu.
Ačkoli se zdá, že stimuly se značnou fyzickou výtečností řídí dopaminové neurony [15,58-60] (viz výše), podněty, které indukují aktivaci dopaminového kódování bez odměny, jsou často malé a nejsou fyzicky velmi výrazné. Motivační význam je podle definice společný pro odměny a trestáky a sám o sobě může vysvětlit aktivaci jak odměny, tak trestu v 10-20% dopaminových neuronů. Neosilující podněty by se mohly stát motivačně význačnými díky své blízkosti odměny a trestu pseudokondicionováním. Zdá se však, že dopaminové aktivace jsou mnohem citlivější na odměnu než trest. Protože motivační význam zahrnuje citlivost na oba posilovače, motivační význam získaný pomocí pseudokondicionování nemusí vysvětlit dobře odměny dopaminové aktivace, které nejsou odměny.
Celkově lze říci, že mnoho z odměn kódujících dopaminové aktivace může být způsobeno generalizací stimulu nebo zejména pseudokondicionováním. Zdá se však, že v případě vyloučení těchto faktorů zůstávají skutečné aktivace nevídaným kontrolním stimulům a primárním a podmíněným averzivním stimulům v omezeném podílu dopaminových neuronů. Další experimenty, které hodnotí takové reakce, by měly používat lepší kontroly a úplně eliminovat všechna souvislostní odměňování s podněty v laboratoři.
Vzhledem k výskytu aktivací bez odměny je rozumné se ptát, jak by zvíře odlišilo odměňování od nezměněných podnětů na základě dopaminové reakce. Velmi rychlá, počáteční, pseudokondicionovaná a špatně diskriminační odpověď může poskytnout dočasný bonus za usnadnění rychlých, výchozích behaviorálních reakcí, které pomáhají zvířeti velmi rychle odhalit potenciální odměnu [62]. Naproti tomu bezprostředně následující komponenta odezvy detekuje skutečnou povahu události prostřednictvím odstupňované aktivace s hodnotou odměny [43] a její časté deprese s nezměněnými a averzivními podněty [27,29,32,33] (obrázek (Figure1E) .1E). Navíc dopaminový systém není jedinou odměnou kódující strukturu mozku a další neuronální systémy, jako je orbitofrontální kůra, striatum a amygdala, mohou poskytnout další diskriminační informace.
Dopaminový rizikový signál odměny
Pokud signál odměny odráží střední chybu predikce odměny upravenou podle standardní odchylky rozdělení pravděpodobnosti odměny a pokud vidíme směrodatnou odchylku jako měřítko rizika, mohl by existovat přímý neuronální signál pro riziko? Pokud se pravděpodobnost odměny liší od 0 do 1 a velikost odměny zůstává konstantní, střední hodnota odměny se zvyšuje monotónně s pravděpodobností, zatímco výše rizika následuje převrácenou U funkci vrcholící na p = 0.5 (obrázek (Figure2,2, vsazený). V p = 0.5, existuje přesně stejná šance na získání odměny, jako je vynechání odměny, zatímco vyšší a nižší pravděpodobnosti než p = 0.5 zvyšují zisky a ztráty jistěji, a jsou tedy spojeny s nižším rizikem.
Obrázek 2
Trvalé aktivace související s rizikem. Odezva na riziko nastává během intervalu stimul-odměna (šipka) následně po fázické, hodnotově závislé aktivaci stimulu (trojúhelníku). Vložka vpravo nahoře ukazuje, že riziko (souřadnice) se liší podle (více…)
Přibližně jedna třetina dopaminových neuronů vykazuje relativně pomalou, střední, statisticky významnou aktivaci, která se postupně zvyšuje během intervalu mezi stimulací předpovídající odměnu a odměnou; tato odpověď se mění monotónně s rizikem (obrázek (Figure2) 2) [18]. K aktivaci dochází v jednotlivých pokusech a nezdá se, že by to znamenalo odpověď na predikci chyby, která se šíří zpět z odměny na stimul předpovídající odměnu. Aktivace se zvyšuje monotónně také se standardní odchylkou nebo rozptylem, pokud se používají binární distribuce různých rovnoměrných, nenulových odměn. Zdá se tedy, že standardní odchylka nebo rozptyl jsou životaschopným měřítkem rizika, jak je kódováno dopaminovými neurony. Aktivace související s riziky mají delší latence (asi 1), pomalejší časové průběhy a nižší vrcholy ve srovnání s odezvou na odezvu na podněty a odměnu.
Vzhledem k jeho nižší velikosti je pravděpodobné, že rizikový signál indukuje nižší uvolňování dopaminu při dopaminových varikozitách ve srovnání s více fázovými aktivacemi kódujícími hodnotu odměny. Relativně nízká koncentrace dopaminu možná vyvolaná rizikovým signálem by mohla aktivovat receptory D2, které jsou většinou ve vysoce afinitním stavu, ale nikoli receptory D1 s nízkou afinitou [63]. Naproti tomu odezva s vyšší fázovou hodnotou odměny může vést k více koncentracím dopaminu, které jsou dostatečné pro krátkou aktivaci receptorů D1 v jejich stavu s většinou nízkou afinitou. Tyto dva signály by tedy mohly být diferencovány postsynaptickými neurony na základě aktivovaných různých dopaminových receptorů. Kromě toho by signály dopaminové hodnoty a rizika společně vedly k téměř současné aktivaci receptorů D1 a D2, což je v mnoha normálních a klinických situacích nezbytné pro adekvátní funkce závislé na dopaminu.
Dopaminový rizikový signál může mít několik funkcí. Nejprve by to mohlo ovlivnit škálování bezprostředně následující odezvy na chybu predikce standardní odchylkou bezprostředně po odměně [23]. Za druhé, mohlo by to zvýšit uvolňování dopaminu indukované okamžitou následnou chybovou odpovědí na předpověď. Protože riziko vyvolává pozornost, bylo by zvýšení potenciálního vyučovacího signálu o riziko slučitelné s úlohou pozornosti při učení podle teorií asociativního učení [64,65]. Zatřetí, mohlo by to poskytnout vstup do mozkových struktur zapojených do hodnocení rizika odměn per se. Začtvrté, mohl by se kombinovat se signálem ekonomické očekávané hodnoty a představovat značnou informaci o očekávané užitečnosti u jednotlivců citlivých na riziko podle přístupu založené na střední varianci v teorii finančního rozhodování [66]. Avšak latence přibližně 1 je příliš dlouhá, aby signál mohl hrát okamžitou roli ve volbách pod nejistotou.
Konkurenční zájmy
Autor prohlašuje, že nemá žádné konkurenční zájmy.
Příspěvky autorů
WS napsal článek.
Poděkování
Tato recenze byla napsána u příležitosti sympozia o poruchě pozornosti s hyperaktivitou (ADHD) v norském Oslu v únoru 2010. Naše práce byla podporována Wellcome Trust, Švýcarskou národní vědeckou nadací, programem Human Frontiers Science Program a dalšími grantovými a společenskými agenturami.
Reference
1. Wise RA, Rompre PP. Mozkový dopamin a odměna. Ann Rev Psychol. 1989; 40: 191 – 225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Nervové systémy posílení drogové závislosti: od akcí k návykům až k donucení. Nat Neurosci. 2005; 8: 1481 – 1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]
3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Papers Imp. Acad. Sci. St. Petersburg) 1738; 5: 175 – 192. Přeloženo jako: Expozice nové teorie měření rizika. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Prediktivní kódování ve vizuální kůře: funkční interpretace některých mimořádně klasických efektů receptivního pole. Nat Neurosci. 1999; 2: 79 – 87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]
5. Rescorla RA, Wagner AR. In: Classical Condition II: Aktuální výzkum a teorie. Black AH, Prokasy WF, editor. New York: Appleton Century Crofts; 1972. Teorie Pavlovianova kondice: Variace v účinnosti vyztužení a nevyztužení; str. 64 – 99.
6. Sutton RS, Barto AG. Směrem k moderní teorii adaptivních sítí: očekávání a predikce. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]
7. Kamin LJ. In: Základní problémy v instrumentálním učení. Mackintosh NJ, Honig WK, střihač. Halifax: Dalhousie University Press; 1969. Selektivní asociace a kondice; str. 42 – 64.
8. Blythe SN, Atherton JF, Bevan MD. Synaptická aktivace dendritických receptorů AMPA a NMDA generuje přechodné vysokofrekvenční palby v neuronech dopaminu substantia nigra in vitro. J Neurophysiol. 2007; 97: 2837 – 2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]
9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Přerušení výbojů závislých na NMDAR dopaminovými neurony poskytuje selektivní hodnocení fázového chování závislého na dopaminu. Proc Natl Acad Sci. 2009; 106: 7281 – 7288. doi: 10.1073 / pnas.0813415106. [Článek zdarma pro PMC] [PubMed] [Cross Ref]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Plastičnost závislá na plasticitě přenosu zprostředkovaného NMDA receptorem v dopaminových neuraminech midbrainu. Neuron. 2009; 62: 826 – 838. doi: 10.1016 / j.neuron.2009.05.011. [Článek zdarma pro PMC] [PubMed] [Cross Ref]
11. Jones S, Bonci A. Synaptická plasticita a drogová závislost. Curr Opin Pharmacol. 2005; 5: 20 – 25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]
12. Kauer JA, Malenka RC. Synaptická plasticita a závislost. Nat Rev Neurosci. 2007; 8: 844 – 858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]
13. Ljungberg T, Apicella P, Schultz W. Reakce neuronových dopaminových neuraminů opice při opožděném střídání. Brain Res. 1991; 586: 337 – 341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz W, Apicella P, Ljungberg T. Reakce neuronů dopaminu na opamin na odměňování a kondicionování podnětů během následných kroků učení úlohy se zpožděnou odpovědí. J Neurosci. 1993; 13: 900 – 913. [PubMed]
15. Schultz W. Prediktivní signál odměny dopaminových neuronů. J Neurophysiol. 1998; 80: 1 – 27. [PubMed]
16. Schultz W, Dayan P, Montague RR. Neurální substrát předpovědi a odměny. Věda. 1997; 275: 1593 – 1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]
17. Hollerman JR, Schultz W. Dopaminové neurony hlásí chybu v časové predikci odměny během učení. Nature Neurosci. 1998; 1: 304 – 309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]
18. Fiorillo CD, Tobler PN, Schultz W. Diskrétní kódování pravděpodobnosti a nejistoty odměny dopaminovými neurony. Věda. 2003; 299: 1898 – 1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]
19. Satoh T, Nakai S, Sato T, Kimura M. Korelované kódování motivace a výsledku rozhodnutí dopaminovými neurony. J Neurosci. 2003; 23: 9913 – 9923. [PubMed]
20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Shodná, ale zřetelná sdělení dopaminu midbrain a striatálních tonicky aktivních neuronů. Neuron. 2004; 43: 133 – 143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopaminové neurony mohou představovat kontextově závislou predikční chybu. Neuron. 2004; 41: 269 – 280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]
22. Bayer HM, Glimcher PW. Midbrainové dopaminové neurony kódují kvantitativní signál chyby predikce odměny. Neuron. 2005; 47: 129 – 141. doi: 10.1016 / j.neuron.2005.05.020. [Článek zdarma pro PMC] [PubMed] [Cross Ref]
23. Tobler PN, Fiorillo CD, Schultz W. Adaptivní kódování hodnoty odměny dopaminovými neurony. Věda. 2005; 307: 1642 – 1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Neurony lidské substantia nigra kódují neočekávané finanční odměny. Věda. 2009; 323: 1496 – 1499. doi: 10.1126 / science.1167342. [Článek zdarma pro PMC] [PubMed] [Cross Ref]
25. Fiorillo CD, Newsome WT, Schultz W. Časová přesnost predikce odměn v dopaminových neuronech. Nat Neurosci. 2008; 11: 966 – 973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Statistika dopaminových neuronových špičkových vlaků v probuzeném primátu. J Neurophysiol. 2007; 98: 1428 – 1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]
27. Waelti P, Dickinson A, Schultz W. Dopaminové odpovědi odpovídají základním předpokladům teorie formálního učení. Příroda. 2001; 412: 43 – 48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]
28. Rescorla RA. Pavlovianova podmíněná inhibice. Psychol Bull. 1969; 72: 77 – 94. doi: 10.1037 / h0027760.
29. Tobler PN, Dickinson A, Schultz W. Kódování predikované vynechání odměny dopaminovými neurony v podmíněném inhibičním paradigmatu. J Neurosci. 2003; 23: 10402 – 10410. [PubMed]
30. Preuschoff, Bossaerts P. Přidání rizika predikce do teorie učení odměn. Ann NY Acad Sci. 2007; 1104: 135 – 146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]
31. Romo R, Schultz W. Dopaminové neurony opice midbrain: Náhodné reakce na aktivní dotek během samovolně iniciovaných pohybů paže. J Neurophysiol. 1990; 63: 592 – 606. [PubMed]
32. Schultz W, Romo R. Dopaminové neurony opice midbrain: Náhodné reakce na podněty vyvolávající okamžité behaviorální reakce. J Neurophysiol. 1990; 63: 607 – 624. [PubMed]
33. Mirenowicz J, Schultz W. Preferenční aktivace dopaminových neuronů midbrainu spíše apetitivními než averzivními stimuly. Příroda. 1996; 379: 449 – 451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain dopaminové neurony kódují rozhodnutí pro budoucí akci. Nat Neurosci. 2006; 9: 1057 – 1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]
35. Roesch MR, Calu DJ, Schoenbaum G. Dopaminové neurony kódují lepší možnost u potkanů, kteří se rozhodují mezi různými zpožděnými nebo velikými odměnami. Nat Neurosci. 2007; 10: 1615 – 1624. doi: 10.1038 / nn2013. [Článek zdarma pro PMC] [PubMed] [Cross Ref]
36. Takikawa Y, Kawagoe R, Hikosaka O. Možná role neuronů dopaminového dopaminu v krátkodobé a dlouhodobé adaptaci sakkád na mapování odměn. J Neurophysiol. 2004; 92: 2520 – 2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]
37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopaminové buňky reagují na předpovězené události během klasického kondicionování: Důkaz stopy způsobilosti v síti odměňování. J Neurosci. 2005; 25: 6235 – 6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]
38. Montague PR, Dayan P, Sejnowski TJ. Rámec pro mezencefalické dopaminové systémy založený na prediktivním hebbickém učení. J Neurosci. 1996; 16: 1936 – 1947. [PubMed]
39. Suri R, Schultz W. Neuronová síť s dopaminovým zesílením, která se učí úkolu prostorové zpožděné odpovědi. Neurovědy. 1999; 91: 871 – 890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]
40. Ainslie G. Zvláštní odměny: behaviorální teorie impulzivity a řízení impulsů. Psych Bull. 1975; 82: 463 – 496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Nastavení zpoždění na posílení: porovnání volby u holubů a lidí. J Exp Psychol Anim Behav Process. 1988; 14: 105 – 117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]
42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Stanovení diskontních funkcí u potkanů postupem úpravy množství. J Exp Anal Behav. 1997; 67: 353 – 366. doi: 10.1901 / jeab.1997.67-353. [Článek zdarma pro PMC] [PubMed] [Cross Ref]
43. Kobayashi S, Schultz W. Vliv zpoždění odměny na odpovědi dopaminových neuronů. J Neurosci. 2008; 28: 7837 – 7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]
44. Guarraci FA, Kapp BS. Elektrofyziologická charakterizace dopaminergních neuronů ventrální tegmentální oblasti během diferenciace pavloviánského strachu v probuzení králíka. Behav Brain Res. 1999; 99: 169 – 179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]
45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminergní neurony a striatální cholinergní interneurony kódují rozdíl mezi odměnami a averzivními událostmi v různých epochách pravděpodobnostních klasických kondicionačních pokusů. J Neurosci. 2008; 28: 1673 – 11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. Dva typy dopaminového neuronu výrazně přenášejí pozitivní a negativní motivační signály. Příroda. 2009; 459: 837 – 841. doi: 10.1038 / nature08028. [Článek zdarma pro PMC] [PubMed] [Cross Ref]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Senzorické podněty mění rychlost vypouštění dopaminových (DA) neuronů: Důkaz pro dva funkční typy DA buněk v substantia nigra. Brain Res. 1980; 189: 544 – 549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]
48. Mantz J, Thierry AM, Glowinski J. Vliv škodlivé špetky ocasu na rychlost výboje mezokortikálních a mezolimbických dopaminových neuronů: selektivní aktivace mezokortikálního systému. Brain Res. 1989; 476: 377 – 381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]
49. Schultz W, Romo R. Reakce nigrostriatálních dopaminových neuronů na vysoce intenzivní somatosenzorickou stimulaci u anestetizované opice. J Neurophysiol. 1987; 57: 201 – 217. [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptivní odezvy dopaminergních neuronů středního mozku jsou modulovány nadřazeným colliculem u krysy. Neurovědy. 2006; 139: 1479 – 1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]
51. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktivita neurochemicky heterogenních dopaminergních neuronů v substantia nigra během spontánních a řízených změn stavu mozku. J Neurosci. 2009; 29: 2915 – 2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]
52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fázická excitace dopaminových neuronů ve ventrální VTA škodlivými stimuly. Proc Natl Acad Sci USA. 2009; 106: 4894 – 4899. doi: 10.1073 / pnas.0811507106. [Článek zdarma pro PMC] [PubMed] [Cross Ref]
53. Den JJ, Roitman MF, Wightman RM, Carelli RM. Asociativní učení zprostředkovává dynamické posuny v dopaminové signalizaci v nucleus accumbens. Nat Neurosci. 2007; 10: 1020 – 1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Chemické reakce v jádru v reálném čase rozlišují odměňující a averzní podněty. Nat Neurosci. 2008; 11: 1376 – 1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]
55. Mladý AMJ. Zvýšený extracelulární dopamin v jádru accumbens v reakci na nepodmíněné a podmíněné averzivní stimuly: studie s použitím 1 min mikrodialýzy u potkanů. J Neurosci Meth. 2004; 138: 57 – 63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Schultz W. Více funkcí dopaminu v různých časových kurzech. Ann Rev Neurosci. 2007; 30: 259 – 288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]
57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fázické střílení v dopaminergních neuronech je dostatečné pro kondiční kondici. Věda. 2009; 324: 1080 – 1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]
58. Strecker RE, Jacobs BL. Substantia nigra dopaminergní aktivita jednotky v chování koček: Vliv vzrušení na spontánní výboj a aktivitu vyvolanou smysly. Brain Res. 1985; 361: 339 – 350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]
59. Ljungberg T, Apicella P, Schultz W. Reakce opičích dopaminových neuronů během učení behaviorálních reakcí. J Neurophysiol. 1992; 67: 145 – 163. [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. Burstová aktivita ventrálních tegmentálních dopaminových neuronů je vyvolána smyslovými podněty v probuzené kočce. Brain Res. 1997; 759: 251 – 258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]
61. Sheafor PJ. Pseudokondicionované pohyby čelistí králíka odrážejí asociace podmíněné kontextovými narážkami na pozadí. J Exp Psychol: Anim Behav Proc. 1975; 104: 245 – 260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamine: zobecnění a bonusy. Neural Netw. 2002; 15: 549 – 559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]
63. Richfield EK, Pennney JB, Young AB. Porovnání anatomických a afinitních stavů mezi dopaminovými D1 a D2 receptory v centrálním nervovém systému potkana. Neurovědy. 1989; 30: 767 – 777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]
64. Mackintosh NJ. Teorie pozornosti: Variace v asociativitě stimulu se zesílením. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65. Pearce JM, hala G. Model pro Pavlovianovu kondici: změny v účinnosti podmíněných, ale nikoli nepodmíněných podnětů. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]
66. Levy H, Markowitz HM. Přibližování očekávané užitečnosti funkcí střední hodnoty a rozptylu. Am Econ Rev. 1979; 69: 308 – 317.
;