Wolfram Schultz 1
Behav Brain Funct. 2010; 6: 24.
Publikované online 2010 April 23. doi: 10.1186 / 1744-9081-6-24.
PLNÁ ŠTÚDIA: Dopamínové signály pre odmenu a riziko Základné a nedávne údaje
1Útvar fyziológie, vývoja a neurovied, University of Cambridge, Downing Street, Cambridge CB2 3DY, UK
Zodpovedajúci Autor.
Wolfram Schultz: [chránené e-mailom]
abstraktné
pozadia
Predchádzajúce lézie, elektrická stimulácia a štúdie o drogových závislostiach naznačujú, že dopamínové systémy stredného mozgu sú súčasťou systému odmeňovania mozgu. Tento prehľad poskytuje aktualizovaný prehľad základných signálov dopamínových neurónov k environmentálnym stimulom.
Metódy
Opísané experimenty používali štandardné behaviorálne a neurofyziologické metódy na zaznamenávanie aktivity jednotlivých dopamínových neurónov v bdelých opiciach počas špecifických úloh správania.
výsledky
Dopamínové neuróny vykazujú fázové aktivácie na vonkajšie stimuly. Signál odráža odmenu, fyzickú závažnosť, riziko a trest v zostupnom poradí zlomkov odpovedajúcich neurónov. Očakávaná hodnota odmeny je kľúčovou premennou rozhodnutia pre ekonomické voľby. Kódy odmien odmeny oceňujú hodnotu, pravdepodobnosť a ich súčet, očakávanú hodnotu. Neurónový kód odmeňuje hodnotu, pretože sa líši od predikcie, čím spĺňa základnú požiadavku na obojsmernú predikčnú chybovú výučbu postulovanú teóriou učenia. Táto odozva je zmenšená v jednotkách štandardnej odchýlky. Naproti tomu relatívne málo dopamínových neurónov vykazuje fázovú aktiváciu po potrestaní a podmienených averzívnych stimuloch, čo svedčí o nedostatku vzťahu odozvy k všeobecnej pozornosti a vzrušeniu. Veľké podiely dopamínových neurónov sú tiež aktivované intenzívnymi, fyzicky výraznými stimulmi. Táto reakcia je zvýšená, keď sú stimuly nové; Zdá sa, že je odlišný od signálu hodnoty odmeny. Dopamínové neuróny tiež vykazujú nešpecifické aktivácie k neodmeňujúcim stimulom, ktoré sú pravdepodobne v dôsledku zovšeobecnenia podobnými stimulmi a pseudokondicionovaním primárnymi odmenami. Tieto aktivácie sú kratšie ako odozvy a často sú nasledované depresiou aktivity. Samostatný, pomalší signál dopamínu informuje o riziku, čo je ďalšia dôležitá premenná rozhodnutia. Odpoveď na predikčnú chybu sa vyskytuje len s odmenou; je zmenšený rizikom predpovedanej odmeny.
Závery
Neurofyziologické štúdie odhaľujú fázové dopamínové signály, ktoré prenášajú informácie týkajúce sa prevažne, ale nie výlučne, odmeňovania. Hoci nie je úplne homogénny, dopamínový signál je viac obmedzený a stereotypný ako neuronálna aktivita vo väčšine iných mozgových štruktúr, ktoré sa podieľajú na správaní zameranom na cieľ.
pozadia
Výsledky z lézií a psychofarmakologických štúdií naznačujú širokú škálu behaviorálnych funkcií pre dopamínové systémy stredného mozgu. Kľúčovou otázkou je, ktorá z týchto mnohých funkcií je aktívne kódovaná fázovým dopamínovým signálom kompatibilným s rýchlymi neuronálnymi mechanizmami? Dobré rady pochádzajú z drogovej závislosti a elektrickej sebestačnej stimulácie, čo naznačuje, že dopamínová aktivita má odmeňovanie a prístup generujúci účinky [1,2].
Môžeme definovať odmeny ako predmety alebo udalosti, ktoré generujú prístup a konzumné správanie, produkujú učenie sa o takomto správaní, predstavujú pozitívne výsledky ekonomických rozhodnutí a zapájajú pozitívne emócie a hédonické pocity. Odmeny sú rozhodujúce pre individuálne prežitie a prežitie génov a podporujú základné procesy, ako je pitie, jedenie a reprodukcia. Tieto atribúty behaviorálneho definovania odmeny fungujú aj pre určité nonalimentárne a nonsexual entity, vrátane peňazí, technických artefaktov, estetických stimulačných atribútov a mentálnych udalostí. Odmeny zaangažujú agentov do takého rôznorodého správania, ako je získavanie peňazí a obchodovanie na akciových trhoch.
Základné pojmy
Odmeny majú konkrétnu veľkosť a vyskytujú sa s konkrétnou pravdepodobnosťou. Agenti sa zameriavajú na optimalizáciu možností medzi možnosťami, ktorých hodnoty sú určené typom objektu voľby a jeho veľkosťou a pravdepodobnosťou [3]. Preto možno odmeny primerane opísať rozdelením pravdepodobnosti hodnôt odmeny. V ideálnom svete tieto distribúcie sledujú Gaussovu funkciu, pričom extrémne odmeny sa vyskytujú menej často ako stredné výsledky. Experimentálne testy často používajú binárne rozdelenia pravdepodobnosti s ekvipoložiteľnými hodnotami (každá hodnota odmeny sa vyskytuje pri p = 0.5). Gaussovské a binárne rozdelenia pravdepodobnosti sú úplne opísané matematickou očakávanou hodnotou (prvý okamih rozdelenia pravdepodobnosti) a disperziami alebo odchýlkami hodnôt od priemeru, konkrétne (očakávanou) odchýlkou (druhý okamih) alebo (očakávanou) štandardnou odchýlkou (druhá odmocnina) rozptylu). Rozptyl a štandardná odchýlka sa často považujú za mieru rizika. V behaviorálnej ekonómii pojem „riziko“ označuje formu neistoty, pri ktorej je známe rozdelenie pravdepodobnosti, zatiaľ čo „nejednoznačnosť“ naznačuje neúplné vedomosti o pravdepodobnostiach a často sa označuje len ako „neistota“. Riziko sa vzťahuje skôr na šancu na výhru alebo prehru, ako na užšie spojenie zdravého rozumu so stratou.
Predpovede majú zásadný význam pre prijímanie informovaného rozhodnutia poskytovaním predbežných informácií o dostupných možnostiach voľby, na rozdiel od odhadov, ktoré sa vyskytnú, keď výsledky nie sú známe. Keďže odmenu možno kvantifikovať rozdelením hodnoty pravdepodobnosti, predikcie odmeny určujú očakávanú hodnotu a (očakávanú) rozptyl alebo štandardnú odchýlku distribúcie.
Evolučný tlak uprednostňuje energeticky efektívne spracovanie informácií. Jedným z možných riešení je ukladať predpovede o budúcich udalostiach vo vyšších mozgových centrách a počítať v dolných mozgových centrách rozdiel medzi novými environmentálnymi informáciami a uloženou predikciou. Rozdiel medzi skutočnou udalosťou a jej predikciou sa nazýva chyba predikcie udalosti. Držať krok s meniacou sa environmentálnou situáciou centrami s vyššími mozgami by jednoducho zahŕňalo aktualizáciu predpovedí s menším množstvom informácií, ktoré by obsahovali menej energie a menej predpovedajúcich chýb, než spracovanie úplných periférnych informácií zakaždým, keď sa jedna malá vec zmenila [4]. Týmto spôsobom majú centrá vyššieho mozgu prístup k úplným informáciám o vonkajšom svete pre vnímanie, rozhodnutia a reakcie správania pri oveľa nižších nákladoch na energiu. Táto základná vlastnosť predpovedí vedie k pozorovateľnému javu učenia, ktorý je definovaný zmenami v správaní na základe aktualizovaných predpovedí.
Teória učenia sa zvierat a modely posilňovania efektívnych časových rozdielov predpokladajú, že chyby predikcie výsledku sú pre Pavlovianovu a operantnú podmienku rozhodujúce [5,6]. Súčasné názory konceptualizujú pavlovovské učenie ako akúkoľvek formu získania predikcie, ktorá vedie k zmeneným vegetatívnym reakciám alebo pruhovaným svalovým kontrakciám, pokiaľ výsledok nie je podmienený reakciou na správanie. Pavlovovské predpovede odmien teda sprostredkujú informácie nielen o hodnote odmeny (očakávaná hodnota), ale aj o riziku (variante) budúcich odmien, čo predstavuje dôležité rozšírenie pojmu, ktorý navrhol Pavlov pred sto rokmi. Dôležitosť predikčných chýb je založená na Kaminovom blokujúcom efekte [7], ktorý ukazuje, že učenie a vymieranie napredujú iba do tej miery, v ktorej je zosilňovač lepší alebo horší, ako sa predpokladalo; učenie sa postupne spomaľuje, keď sa predikcia asymptoticky blíži k hodnote zosilňovača.
Dopamínová reakcia na odmeňovanie príjmu
Väčšina dopamínových neurónov stredného mozgu (75 - 80%) vykazuje skôr stereotypné, fázické aktivácie s latenciou <100 ms a trvaním <200 ms po dočasne neočakávaných príjmoch z potravy a tekutín (obrázok (obrázok 1A). 1A). Táto nárazová reakcia závisí od aktivácie a plasticity glutamátergických NMDA a AMPA receptorov nachádzajúcich sa na dopamínových neurónoch [8-12]. Výbuch je rozhodujúci pre behaviorálne učenie sa apetitívnych úloh, ako je podmienená preferencia miesta a výber T-bludiska ako odmena za jedlo alebo kokaín, a pre podmienené reakcie na strach [9].
Obrázok 1
Fázické aktivácie neurofyziologickej impulznej aktivity dopamínových neurónov. Odpoveď: Fázické aktivácie po primárnych odmenách. B: Fázické aktivácie po podmienených stimuloch predpovedajúcich odmenu. C: Hore: Nedostatok fázickej aktivácie po primárnej (viac ...)
Kódovanie chyby predikcie predikcie
Zdá sa, že dopamínová odpoveď na poskytnutie odmeny kóduje chybu predikcie; odmena, ktorá je lepšia, ako sa predpokladalo, vyvolá aktiváciu (pozitívna chyba predikcie), plne predpovedaná odmena nevyvoláva žiadnu odozvu a odmena, ktorá je horšia, ako sa predpokladalo, vyvoláva depresiu (negatívna chyba) [13-24]. Odozva na dopamín teda plne realizuje rozhodujúci termín modelu učenia Rescorla-Wagnera a podobá sa výučbovému signálu efektívnych modelov časovo diferenčného posilnenia učenia [6,23].
Odozva chyby sa kvantitatívne mení s rozdielom medzi hodnotou prijatej odmeny a očakávanou hodnotou odmeny [18-23]. Odozva chyby predikcie je citlivá na čas odmeny; oneskorená odmena vyvoláva depresiu v jej pôvodnom čase a aktiváciu v novom čase [24,25]. Kvantitatívne kódovanie chýb je zrejmé pre aktivácie odrážajúce pozitívne predikčné chyby. Naopak, depresia vyskytujúca sa pri negatívnych predikčných chybách má prirodzene užší dynamický rozsah, pretože neuronálna aktivita nemôže klesnúť pod nulu a vhodné kvantitatívne hodnotenie vyžaduje, aby sa bralo do úvahy celé obdobie depresie [26].
Dopamínové neuróny teda reagujú na odmenu len do tej miery, do akej sa líšia od predikcie. Keďže predikcia pochádza z predchádzajúcej odmeny, dopamínové neuróny sa aktivujú len vtedy, keď je aktuálna odmena lepšia ako predchádzajúca odmena. Rovnaká odmena opäť neaktivuje dopamínové neuróny. Ak má aktivácia dopamínových neurónov pozitívne zosilňujúci účinok na správanie, iba zvyšujúce sa odmeny zabezpečia pokračujúce posilnenie prostredníctvom dopaminergných mechanizmov. To môže byť jeden z dôvodov, prečo sa zdá, že konštantné, nemenné odmeny strácajú stimulujúci vplyv a prečo vždy potrebujeme viac odmeny.
Prísne testy pre kódovanie chýb predikcie chýb
Teória učenia zvierat vyvinula formálne paradigmy pre testovanie chýb predikcie. V teste blokovania [7] nie je možné naučiť sa podnet, ktorý je spárovaný s plne predpovedanou odmenou, a preto sa nestane platným prediktorom odmeny. Neprítomnosť odmeny po blokovanom podnete nepredstavuje chybu predikcie a nevedie k odpovedi v dopamínových neurónoch, dokonca ani po rozsiahlom párovaní stimulov a odmien [27]. Naopak, poskytnutie odmeny po blokovanom podnete predstavuje pozitívnu predikčnú chybu, a preto vyvoláva aktiváciu dopamínu.
Podmienená paradigma inhibície [28] ponúka dodatočný test na predikčné chyby. V úlohe, ktorá sa používa v našich experimentoch, sa testovací podnet prezentuje súčasne so zavedeným stimulom predpovedania odmeny, ale po zlúčenine sa neposkytuje žiadna odmena, čo robí testovací stimul prediktorom neprítomnosti odmeny. Opomenutie opomenutia po takomto kondicionovanom inhibítore nepredstavuje negatívnu predikčnú chybu a preto nevyvoláva depresiu v neurónoch dopamínu [29]. Naproti tomu dodanie odmeny potom, čo inhibítor vyvoláva silnú pozitívnu predikčnú chybu a teda silnú aktiváciu dopamínu.
Výsledky týchto dvoch formálnych testov potvrdzujú, že dopamínové neuróny vykazujú obojsmerné kódovanie chýb predikcie.
Adaptívne kódovanie predikčných chýb
Vo všeobecnom zmysle stimul stimulujúci odmenu špecifikuje hodnotu budúcich odmien informovaním o rozdelení pravdepodobnosti hodnôt odmeny. Stimul teda indikuje očakávanú hodnotu (prvý moment) a (očakávaný) rozptyl (druhý moment) alebo štandardnú odchýlku distribúcie.
Odpoveď na predikčnú hodnotu dopamínovej hodnoty je citlivá na prvý a druhý moment predikovaného rozdelenia odmeny po dvoch sekundách po stimule. V experimente môžu rôzne vizuálne podnety predpovedať špecifické rozdelenie binárnych pravdepodobností rovnomerných veličín odmeny s rozdielnymi očakávanými hodnotami a odchýlkami. Keďže predikčná chyba odozvy odráža rozdiel medzi získanou a očakávanou hodnotou odmeny, rovnaká veľkosť prijatej odmeny vyvoláva buď zvýšenie alebo zníženie aktivity dopamínu v závislosti od toho, či je táto odmena väčšia alebo menšia ako jej predikcia, resp. [23]. Tento výsledok naznačuje, že kódovanie chyby predikcie hodnoty poskytuje informácie týkajúce sa referencie alebo hodnoty kotvy.
Dopamínové kódovanie predikčnej hodnoty odmeny sa prispôsobuje rozptylu alebo štandardnej odchýlke distribúcie. V binárnom rozložení rovnomerných odmien, dodanie odmeny s väčšou veľkosťou v rámci každej distribúcie vyvoláva rovnakú aktiváciu dopamínu s každou distribúciou, napriek 10 násobným rozdielom medzi získanými hodnotami odmien (a výslednými chybami predikcie hodnoty) [23]. Numerické výpočty ukazujú, že dopamínová odpoveď kóduje chybu predikcie hodnoty vydelenú štandardnou odchýlkou predpovedaného rozdelenia. Toto znamenalo účinnú normalizáciu alebo škálovanie hodnoty chybovej odozvy predikcie hodnoty v zmysle štandardnej odchýlky, ktorá udáva, do akej miery sa získaná hodnota odmeny líši od očakávanej hodnoty v jednotkách štandardnej odchýlky. Teoretické úvahy naznačujú, že chyby pri výučbe signálov, ktoré sú zväčšené rozptylom alebo štandardnou odchýlkou, skôr ako priemerom, môžu sprostredkovať stabilné učenie, ktoré je odolné voči predpokladanému riziku výsledkov [30].
Dopamínová reakcia na odmeňovanie predpovedajúcich stimulov
Dopamínové neuróny vykazujú aktivácie („excitácie“) po predikcii zrakových, sluchových a somatosenzorických stimulov odmenou (obrázok (obrázok 1B) 1B) [31–33]. Odpovede sa vyskytujú bez ohľadu na zmyslové modality a priestorové polohy stimulov a bez ohľadu na to, či sú efektory pohyby paží, úst alebo očí.
Aktivácie sa monotónne zvyšujú s pravdepodobnosťou odmeny [18] a veľkosťou odmeny, ako napríklad objem kvapaliny [23]. Odpovede dopamínu však nerozlišujú medzi pravdepodobnosťou odmeny a veľkosťou, pokiaľ je očakávaná hodnota totožná [23]. Aktivácia sa teda javí ako kód očakávanej hodnoty pravdepodobnosti rozdelenia pravdepodobnosti. Očakávaná hodnota je viac parsimonious vysvetlenie, a hluk v neuronálnych odpovediach zabraňuje charakterizácii, pokiaľ ide o očakávané (subjektívne) užitočnosť. Všimnite si, že časová diskontácia opísaná nižšie odhaľuje subjektívne kódovanie a môže poskytnúť určité svetlo v tejto otázke.
Veľkosť odpovede rastie so znižovaním reakčného času v správaní, čo naznačuje, že dopamínová odpoveď je citlivá na motiváciu zvieraťa [19]. Pri voľbe medzi rôznymi hodnotami odmeny alebo oneskoreniami odrážajú dopamínové reakcie na prezentáciu možností voľby budúcu zvolenú odmenu zvieraťa [34] alebo najvyššiu možnú odmenu z dvoch dostupných možností výberu [35].
V priebehu učenia sa dopamínová aktivácia na odmenu postupne znižuje naprieč postupnými vzdelávacími skúškami a súčasne sa rozvíja aktivácia stimulačného stimulu na predikciu [36,37]. Získavanie podmienenej reakcie je citlivé na blokovanie, čo naznačuje, že predikčné chyby hrajú úlohu pri získavaní dopamínových odpovedí na podmienené stimuly [27]. Prenos odpovedí na stimuly predpovedania odmien je v súlade s hlavnými charakteristikami výučbových signálov efektívnych modelov časových rozdielových zosilnení [38]. Posun odozvy nezahŕňa backpropagation predikčných chýb naprieč intervalom stimulačného odmeňovania skorších modelov časových rozdielov [27,38], ale je reprodukovaný v pôvodnom časovom diferenčnom modeli av pôvodných a novších časových rozdielových implementáciách [6,37,39].
Subjektívne kódovanie hodnoty odmeny zobrazené časovým diskontovaním
Objektívne meranie subjektívnej hodnoty odmeny podľa preferencií voľby ukazuje, že odmeny strácajú časť svojej hodnoty, keď sú oneskorené. V skutočnosti, potkany, holuby, opice a ľudia často uprednostňujú skôr menšie odmeny pred neskoršími väčšími odmenami [40-42]. Zdá sa, že subjektívna hodnota odmeny sa rozpadá s narastajúcim časovým oneskorením, aj keď fyzická odmena, a teda objektívna hodnota odmeny, je rovnaká.
Psychometrické merania intertemporálnych výberov správania medzi skoršími a neskoršími odmenami upravujú veľkosť skorej odmeny až do výskytu voľby ľahostajnosti, definovanej ako pravdepodobnosť výberu každej možnosti s p = 0.5. Nižšia časná odmena pri výbere ľahostajnosti teda naznačuje nižšiu subjektívnu hodnotu neskoršej odmeny. V našom nedávnom experimente na opiciach, voľby indiferentnosti pre odmeny oneskorené 4, 8 a 16 sa znížili monotónne o 25%, 50% a 75%, v porovnaní s odmenou po 2 s [43]. Zníženie zodpovedá hyperbolickej diskontnej funkcii.
Dopamínové reakcie na stimuly na predikciu odmien sa monotónne znižujú v závislosti od meškania odplaty 2u na 16 s [25,43], napriek tomu, že po každom oneskorení je doručená rovnaká fyzická odmena. Tieto údaje naznačujú, že časové oneskorenia ovplyvňujú odpovede dopamínu na odmeňovanie predpovedajúcich stimulov podobným spôsobom, ako ovplyvňujú subjektívnu hodnotu odmeny hodnotenú intertemporálnym výberom. Je zaujímavé, že pokles dopamínovej odozvy s odkladom odmeňovania je nerozoznateľný od poklesu odpovede s nižšou veľkosťou odmeny. Táto podobnosť naznačuje, že časové oneskorenia ovplyvňujú odpovede dopamínu prostredníctvom zmien v hodnote odmien. Teda pre dopamínové neuróny sa oneskorené odmeny javia ako menšie.
Zdá sa teda, že dopamínové neuróny kódujú skôr subjektívnu než fyzickú objektívnu hodnotu oneskorených odmien. Vzhľadom na to, že užitočnosť je skôr mierou pre subjektívnu ako objektívnu hodnotu odmeny, pokles odpovede s časovým diskontovaním môže naznačovať, že dopamínové neuróny kódujú ako (subjektívnu) užitočnosť skôr ako ako (objektívnu) hodnotu. Ďalšie experimenty by mohli pomôcť priamo testovať kódovanie utility.
Dopamínová reakcia na averzívne podnety
Averzné stimuly, ako sú obláčiky, hypertonický soľný roztok a elektrický šok, vyvolávajú aktivačné („excitačné“) reakcie u malého podielu dopamínových neurónov u bdelých zvierat (14% [33]; 18–29% [44]; 23% [45]). ; 11% [46]) a väčšina dopamínových neurónov je buď deprimovaná vo svojej aktivite, alebo nie je ovplyvnená averzívnymi udalosťami (obrázok (obrázok 1C1C na vrchu). Na rozdiel od odmien vzdušné vdychy nedokážu vyvolať obojsmerné predikčné chybové reakcie typické pre odmenu ; predikcia moduluje iba averzné aktivácie [45,46].
Aversívna stimulácia u anestetizovaných zvierat produkuje rôzne, ale často nízke stupne väčšinou pomalších, aktivujúcich reakcií (50% [47]; 18% [48]; 17% [49]; 14% [50]) a často depresie aktivity. Neurofyziologické reinvestigácie s lepšou identifikáciou dopamínových neurónov potvrdili celkovú nízku incidenciu averzívnych dopamínových aktivácií u anestetizovaných zvierat [51] a umiestnili averzívne reagujúce dopamínové neuróny vo ventromediálnej tegmentálnej oblasti stredného mozgu [52].
Kondicionované stimuly predpovedania vdýchnutím opíc u bdelých opíc vyvolávajú aktivácie v menšine dopamínových neurónov a depresie vo väčšej frakcii dopamínových neurónov (11% [33]; 13% [45]; 37% [46]). Depresívne reakcie rušia niekoľko aktivácií v priemerných populačných reakciách dopamínových neurónov na averzívne stimuly [33] (pozri obrázok Figure1C1C dno, čierne). V jednej štúdii podmieňovaný averzívny stimul aktivoval viac neurónov ako samotný vzduchový výdych (37% vs. 11% [46]), hoci podmienený stimul je menej averzívny ako primárny averzívny jav, ktorý predpovedá, ako je napr. Vyšší počet aktivácií podmienečného stimulu v porovnaní s nafukovaním vzduchu naznačuje, že inverzný vzťah medzi averzívnosťou a aktiváciou (čím je averzívnejší stimul, tým menej je aktivácia aktivovaná) alebo dodatočnou, neadverzívnou stimulačnou zložkou zodpovednou za zvýšenie podielu aktivovaných stimulov neurónov od 11% do 37%. Hoci aktivácia stimulov korelovala pozitívne s pravdepodobnosťou vdýchnutia vzduchu v populácii, neboli hodnotené v jednotlivých neurónoch [46]. Korelácia populácie môže vznikať z relatívne malého počtu pozitívne korelovaných neurónov v tejto populácii a skutočne averzívne aktivácie stimulov by mohli byť bližšie k 11% ako 37%. V inej štúdii veľké podiely dopamínových neurónov vykazovali fázové aktivácie podmienených averzívnych stimulov, keď boli prezentované v náhodnom striedaní s podnetmi stimulujúcimi odmenu rovnakej zmyslovej modality (obrázok (obrázok 1C1C dno, sivý) (65% [33]); boli oveľa menej časté, keď dva typy podmienených podnetov mali odlišné senzorické modality (obrázok (obrázok 1C1C dno, čierny) (11%) Nasledujúca kapitola bude diskutovať o faktoroch, ktoré môžu byť základom týchto nevysvetliteľných aktivácií k averzívnym a iným, neodôvodneným stimulom.
Hoci niektoré dopamínové neuróny sú aktivované averzívnymi udalosťami, najväčšia aktivácia dopamínu súvisí s odmenou. Údaje získané inými metódami vedú k podobným záverom. Voltametria s rýchlym skenovaním v chovaných potkanoch ukazuje uvoľňovanie striatálneho dopamínu indukované odmenou a posun k odmeňovaniu predpovedajúcich stimulov po kondicionovaní [53], čo naznačuje, že impulzné reakcie dopamínových neurónov vedú k zodpovedajúcemu uvoľňovaniu dopamínu zo striatálnych varikozít. Zvýšenie dopamínu trvá len niekoľko sekúnd a má tak najkratší časový priebeh všetkých neurochemických metód, ktoré sú najbližšie k elektrofyziologickej aktivácii. Uvoľňovanie dopamínu je diferenciálne pre odmenu (sacharóza) a nevyskytuje sa s trestom (chinínom) [54]. Ako voltametria vyhodnocuje lokálne priemery koncentrácie dopamínu, absencia merateľného uvoľňovania s chinínom môže skryť niekoľko aktivácií zrušených depresiami v odpovedi populácie dopamínu [33]. Štúdie využívajúce veľmi citlivú in vivo mikrodialýzu detegujú uvoľňovanie dopamínu po averzívnych stimuloch [55].
Táto reakcia môže odrážať zmenu dopamínu indukovanú niekoľkými neurónmi aktivovanými averzívnymi stimulmi, hoci časový priebeh merania mikrodialýzy je o 300-500 krát pomalšom ako impulzná odozva a môže byť dostatočný na to, aby umožnil presynaptickým interakciám ovplyvniť uvoľňovanie dopamínu [56] , Narušenie prasknutia vypaľovania dopamínových neurónov narúša niekoľko apetitívnych učebných úloh, ale aj boj proti strachu [9]. Výsledok by mohol naznačovať učiacu sa funkciu averzívnych dopamínových odpovedí, ak je vylúčený nešpecifický, všeobecne znemožňujúci účinok nižšej koncentrácie dopamínu, ktorý je ešte potrebné ukázať. Špecifická stimulácia dopamínových neurónov optogenetickými metódami prostredníctvom geneticky vloženého channelrhodopsínu indukuje Pavlovianovu preferenciu u myší [57]. Naproti tomu, čistý averzívny účinok dopamínovej stimulácie by predstavoval učenie sa vyhýbania sa miestu. Tieto výsledky potvrdzujú pojem globálnej pozitívnej posilňovacej funkcie dopamínových systémov odvodených z skorších lézií, elektrickej samo-stimulácie a drogovej závislosti [1,2]. Tieto argumenty však nepredpokladajú, že odmena je jedinou funkciou dopamínových systémov, ani že všetky funkcie odmeňovania zahŕňajú dopamínové neuróny.
Fázové dopamínové aktivácie bez kódovania odmeny
Stimuly môžu vyvolať výstražné a pozorovacie reakcie, keď sú fyzicky dôležité (fyzická význačnosť) alebo ak súvisia s posilňovačmi („motivačná“ alebo „afektívna“ význačnosť). Reakcie na behaviorálne podnety sa stupňujú podľa fyzickej intenzity podnetov a hodnoty zosilňovača. Fyzický výzor vôbec nezávisí od posilnenia a motivačný význam nezávisí od valencie posilňovačov (odmena a trest).
Reakcie na fyzicky výrazné podnety
Fyzicky intenzívne zrakové a sluchové stimuly indukujú aktivácie v dopamínových neurónoch (obrázok (obrázok 1D) .1D). Tieto reakcie sú zosilnené novinkou stimulu [58-60], ale trvajú na nižšej úrovni niekoľko mesiacov za predpokladu, že stimuly sú dostatočne fyzicky intenzívne. Odozvy sa triedia podľa veľkosti stimulov (obrázok 4 v [15]). Fyzická závažnosť môže tiež čiastočne vysvetliť odpovede na primárnych trestných činiteľov so značnou fyzickou intenzitou [45]. Tieto odozvy môžu predstavovať samostatný typ dopamínovej odpovede súvisiacej s fyzickou podstatou pozornosti vyvolávajúcej environmentálne stimuly, alebo môžu súvisieť s pozitívne motivujúcimi a posilňujúcimi atribútmi intenzívnych a nových stimulov.
Zdá sa, že aktivácie fyzicky vystupujúcich stimulov neodrážajú všeobecnú tendenciu dopamínových neurónov aktivovať akúkoľvek udalosť generujúcu pozornosť. Najmä iná silná pozornosť vyvolávajúca udalosti, ako je opomenutie odmeny, podmienené inhibítory a averzívne stimuly, indukujú prevažne depresie a zriedkavo pravé aktivácie dopamínu [14,29]. Aktivácia dopamínu fyzicky najvýraznejšími stimulmi teda nemusí predstavovať všeobecnú výstrahu. Odpoveď na odmenu pravdepodobne predstavuje samostatnú odozvu, ktorá nemusí odrážať pozornosť vyvolanú motivačnou dôležitosťou odmeny.
Iné aktivácie bez odmeňovania kódovania
Iné stimuly indukujú aktivácie v dopamínových neurónoch bez zjavného kódovania hodnoty odmeny. Tieto aktivácie sú menšie a kratšie ako reakcie na odmeňovanie predpovedajúcich podnetov a často sú nasledované depresiou, keď sú stimuly bez odmeny (obrázok (Obrázok1E1E)).
Dopamínové neuróny vykazujú aktivácie po kontrolných stimuloch, ktoré sú prezentované v pseudonáhodnom striedaní s odmenenými stimulmi [27,29,32]. Výskyt aktivácií závisí od počtu alternatívnych, odmenených podnetov v úlohe správania; aktivácie sú časté, keď sú odmenené tri zo štyroch stimulov úloh (25% -63% [27]) a sú zriedkavé, keď je len jeden zo štyroch podnetov úloh nedocenený (1% [29]). Táto závislosť sa opiera o čisto senzorickú povahu odpovede.
Dopamínové neuróny vykazujú skôr stereotypnú počiatočnú aktivačnú zložku na stimuly predpovedajúce odmeny, ktoré sa vyskytujú po rôznych oneskoreniach [43]. Počiatočná aktivácia sa veľmi líši s oneskorením odmeňovania, a preto sa nezdá, že kóduje hodnotu odmeny. Naproti tomu nasledujúca zložka odpovede sa s rastúcim oneskorením znižuje, a teda kódová (subjektívna) hodnota odmeny (pozri vyššie).
Dopamínové neuróny vykazujú časté aktivácie po podmienených averzívnych stimuloch prezentovaných v náhodnom striedaní so stimulmi predpovedania odmien; aktivácie vymiznú do značnej miery, keď sa použijú rôzne senzorické modality (65% vs. 11% neurónov [33]), čo naznačuje kódovanie neadverzívnych stimulačných zložiek. Dokonca aj keď sú averzívne a chutné podnety rozdelené do rôznych pokusných blokov, dopamínové neuróny sú značne aktivované podmienenými averzívnymi stimulmi. Avšak častejšie aktivácie podmieňovaných stimulov v porovnaní s averzívnejším primárnym potiahnutím vzduchu (37% vs. 11% [46]) naznačujú inverzný vzťah k averzivite stimulov a možno aj neadverzívnych zložiek reakcie.
Dôvody týchto rôznych aktivácií dopamínu môžu spočívať v zovšeobecnení, pseudokondicionovaní alebo motivačnom stimulačnom stimulovaní. Zovšeobecnenie vzniká z podobností medzi podnetmi. Mohlo by to vysvetľovať aktiváciu dopamínu v mnohých situáciách, konkrétne aktivácie k neospravedlneným vizuálnym podnetom, keď sa striedajú s odmenou, ktorá predpovedá vizuálne podnety (obrázok (obrázok1E1E vľavo) [27,29,32] a počiatočná, zle odstupňovaná aktivačná zložka na odmeňovanie predpovedajúcich stimulov (obrázok) Generalizácia môže hrať úlohu, keď stimuly s rôznymi zmyslovými modalitami produkujú menej aktivácií dopamínu k neospravedlneným stimulom ako stimuly s rovnakými modalitami, ako je to vidieť pri vizuálnych averzívnych a sluchových stimuloch (obrázok dole (obrázok 1C1C)) [43] ,
Pseudokondicionovanie môže vzniknúť, keď primárny zosilňovač nastaví kontextové pozadie a vyvolá nešpecifické behaviorálne reakcie na akékoľvek udalosti v tomto kontexte [61]. Keďže dopamínové neuróny sú veľmi citlivé na odmenu, odmeňovací kontext by mohol vyvolať pseudokondicionovanie k stimulom nastaveným v tomto kontexte a teda k neuronálnej aktivácii. Tento mechanizmus môže byť základom pre neuronálne aktivácie na neodmeňujúce stimuly, ktoré sa vyskytujú v odmeňujúcom kontexte, ako je napríklad laboratórium, v ktorom zviera dostáva denné odmeny, bez ohľadu na to, či sa podnety prezentujú v náhodnom striedaní s odmenenými stimulmi alebo v samostatných pokusných blokoch [46]. Pseudokondicionovanie môže vysvetľovať aktivácie nevídaných kontrolných stimulov [27,29,32], väčšiny aktivácií po averzívnych stimuloch [33,45,46] a počiatočnú, zle odstupňovanú aktivačnú zložku na odmeňovanie predpovedajúcich stimulov [43]. Pseudokondicionovanie môže teda vychádzať skôr z primárnej odmeny než z podmieneného stimulu a ovplyvniť aktiváciu dopamínu tak na podmienené stimuly, ako aj primárne zosilňovače, ktoré sa vyskytujú v odmeňujúcom kontexte.
Hoci sa zdá, že stimuly s podstatnou fyzickou výkyvom poháňajú dopamínové neuróny [15,58-60] (pozri vyššie), podnety, ktoré indukujú ne-odmenu kódujúce aktiváciu dopamínu, sú často malé a nie sú fyzicky veľmi výrazné. Motivačná dôležitosť je podľa definície spoločná pre odmeny a trestateľov a sama o sebe by mohla vysvetliť aktivácie tak odmeňovania, ako aj trestu v 10-20% dopamínových neurónov. Neosilujúce stimuly by sa mohli stať motivačne výraznými prostredníctvom ich blízkosti k odmene a trestu prostredníctvom pseudokondicionovania. Zdá sa však, že aktivácia dopamínu je omnoho citlivejšia na odmenu než na trest. Motivačná saliencia zahŕňa citlivosť na obidva zosilňovače, motivačná saliencia získaná prostredníctvom pseudokondicionovania nemusí dobre vysvetliť ne-odmenu kódujúce aktiváciu dopamínu.
Celkovo možno povedať, že mnohé z neodmenu kódujúcich aktivácií dopamínu môžu byť spôsobené zovšeobecňovaním stimulov alebo najmä pseudokondicionovaním. Zdá sa však, že zostávajú pravdivé aktivácie na nevhodné kontrolné stimuly a na primárne a podmienené averzívne stimuly v obmedzenom pomere dopamínových neurónov, keď sú tieto faktory vylúčené. Ďalšie experimenty hodnotiace takéto reakcie by mali využívať lepšie kontroly a úplne odstrániť všetky kontextové asociácie odmeňovania s podnetmi v laboratóriu.
Vzhľadom na výskyt aktivácií bez odmeňovania kódovania je rozumné opýtať sa, ako by zviera odlíšilo odmeňovanie od nezodpovedaných stimulov založených na odpovedi dopamínu. Veľmi rýchla, počiatočná, pseudokondicionovaná a zle diskriminačná zložka odpovede by mohla poskytnúť dočasný bonus na uľahčenie rýchlych štandardných reakcií správania, ktoré pomôžu zvieraťu veľmi rýchlo odhaliť potenciálnu odmenu [62]. Naproti tomu bezprostredne nasledujúca zložka odozvy detekuje skutočnú povahu udalosti prostredníctvom svojej odstupňovanej aktivácie s hodnotou odmeny [43] a jej častou depresiou s nezodpovedanými a averzívnymi stimulmi [27,29,32,33] (obrázok (obr. 1E) .1E). Okrem toho dopamínový systém nie je jedinou odmenou za kódovanie mozgovej štruktúry a ďalšie neuronálne systémy, ako napríklad orbitofrontálny kortex, striatum a amygdala, môžu poskytnúť ďalšie diskriminačné informácie.
Dopamínový rizikový signál
Ak signál odmeny odráža priemernú chybu predikcie odmeňovania zmenšenú štandardnou odchýlkou rozdelenia pravdepodobnosti odmien a ak vidíme štandardnú odchýlku ako mieru rizika, mohol by existovať priamy neuronálny signál pre riziko? Keď sa pravdepodobnosť odmeňovania líši od 0 k 1 a veľkosť odmeny zostáva konštantná, priemerná hodnota odmeny sa monotónne zvyšuje s pravdepodobnosťou, zatiaľ čo výška rizika nasleduje po obrátenej funkcii U na p = 0.5 (obrázok (obrázok2,2, vložka). 0.5, je tu presne toľko šancí získať odmenu, ako je strata odmeny, zatiaľ čo vyššie a nižšie pravdepodobnosti ako p = 0.5 robia zisky a straty istejšie, resp. Sú spojené s nižším rizikom.
Obrázok 2
Trvalé aktivácie súvisiace s rizikom. Reakcia na riziko nastáva počas intervalu stimul-odmena (šípka) následne po fázickej, hodnotovo závislej aktivácii stimulu (trojuholník). Vložka vpravo hore ukazuje, že riziko (súradnica) sa líši podľa (viac ...)
Približne jedna tretina dopamínových neurónov vykazuje relatívne pomalú, miernu, štatisticky významnú aktiváciu, ktorá sa postupne zvyšuje v intervale medzi stimulom predpovedania odmeny a odmenou; táto reakcia sa mení monotónne s rizikom (obrázok (obr. 2) 2) [18]. Aktivácia nastáva v individuálnych skúškach a nezdá sa, že by tvorila predikčnú chybu, ktorá by sa šírila od odmeny k stimulu predpovedania odmeny. Aktivácia sa zvyšuje monotónne aj so štandardnou odchýlkou alebo rozptylom, keď sa používajú binárne distribúcie rôznych pravdepodobných, nenulových odmien. Štandardná odchýlka alebo rozptyl sa teda javia ako životaschopné opatrenia pre riziko, ktoré je kódované dopamínovými neurónmi. Aktivácie súvisiace s rizikom majú dlhšie latencie (o 1 s), pomalšie časové priebehy a nižšie vrcholy v porovnaní s odozvou na odmenu.
Rizikový signál pravdepodobne v dôsledku svojej menšej veľkosti vyvolá nižšie uvoľňovanie dopamínu pri varikózach dopamínu v porovnaní s hodnotou fázovej aktivácie kódovania. Relatívne nízka koncentrácia dopamínu, ktorá môže byť vyvolaná rizikovým signálom, môže aktivovať receptory D2, ktoré sú väčšinou vo vysoko afinitnom stave, ale nie receptory D1 s nízkou afinitou [63]. Naopak, vyššia odozva hodnoty fázovej odmeny môže viesť k väčšej koncentrácii dopamínu, ktorá je dostatočná na krátku aktiváciu receptorov D1 v ich väčšinou nízko afinitnom stave. Dva signály môžu byť teda diferencované postsynaptickými neurónmi na základe rôznych aktivovaných dopamínových receptorov. Okrem toho by hodnoty dopamínu a rizika spolu viedli k takmer súčasnej aktivácii receptorov D1 a D2, ktoré sú v mnohých normálnych a klinických situáciách nevyhnutné pre adekvátne funkcie závislé od dopamínu.
Signál rizika dopamínu môže mať niekoľko funkcií. Po prvé, mohlo by to ovplyvniť škálovanie bezprostredne nasledujúcej predikčnej chybovej reakcie štandardnou odchýlkou bezprostredne po odmene [23]. Po druhé, mohlo by to zvýšiť uvoľňovanie dopamínu vyvolané bezprostredne nasledujúcou predikčnou chybovou reakciou. Keďže riziko vyvoláva pozornosť, zvýšenie potenciálneho vyučovacieho signálu rizikom by bolo zlučiteľné s úlohou pozornosti pri učení podľa teórií učenia o asociaabilite [64,65]. Po tretie, mohol by poskytnúť vstup do štruktúr mozgu zapojených do posudzovania rizika odmeňovania ako takého. Po štvrté, mohol by sa kombinovať so signálom očakávanej ekonomickej hodnoty, ktorý by predstavoval značné informácie o očakávanej užitočnosti v rizikovo citlivých jednotlivcoch podľa prístupu stredného variácie v teórii finančného rozhodovania [66]. Avšak latencia okolo 1 je príliš dlhá na to, aby signál zohral okamžitú úlohu vo voľbách pod neistotou.
Konkurenčné záujmy
Autor vyhlasuje, že nemá žiadne konkurenčné záujmy.
Príspevky autorov
WS napísal príspevok.
Poďakovanie
Táto recenzia bola napísaná pri príležitosti sympózia o poruchách pozornosti s hyperaktivitou (ADHD) v Oslo, Nórsko, február 2010. Naša práca bola podporená Wellcome Trust, švajčiarskou národnou vedeckou nadáciou, Human Frontiers Science Program a ďalšími grantovými a štipendijnými agentúrami.
Referencie
1. Wise RA, Rompre PP. Mozog dopamín a odmena. Ann Rev Psychol. 1989, 40: 191-225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Neurónové systémy posilňovania drogovej závislosti: od činov k návykom k donucovaniu. Nat Neurosci. 2005, 8: 1481-1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]
3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Papers Imp. Acad. Sci. St. Petersburg) 1738: 5: 175 – 192. Preložené ako: Expozícia novej teórie merania rizika. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Prediktívne kódovanie vo vizuálnej kôre: funkčná interpretácia niektorých extra-klasických efektov receptívneho poľa. Nat Neurosci. 1999, 2: 79-87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]
5. Rescorla RA, Wagner AR. V: Klasická kondícia II: Súčasný výskum a teória. Black AH, Prokasy WF, editor. New York: Appleton Century Crofts; 1972. Teória Pavlovovského kondicionovania: Zmeny v účinnosti posilnenia a nevymáhania; s. 64 – 99.
6. Sutton RS, Barto AG. K modernej teórii adaptívnych sietí: očakávania a predikcie. 1981, 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]
7. Kamin LJ. In: Základné otázky inštrumentálneho učenia. Mackintosh NJ, Honig WK, editor. Halifax: Dalhousie University Press; 1969. Selektívne združovanie a kondicionovanie; s. 42 – 64.
8. Blythe SN, Atherton JF, Bevan MD. Synaptická aktivácia dendritických AMPA a NMDA receptorov generuje prechodné vysokofrekvenčné pálenie v substantia nigra dopamínových neurónoch in vitro. J. Neurophysiol. 2007, 97: 2837-2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]
9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Narušenie NMDAR-dependentného vypaľovania pomocou dopamínových neurónov poskytuje selektívne hodnotenie fázového správania závislého od dopamínu. Proc Natl Acad Sci. 2009, 106: 7281-7288. doi: 10.1073 / pnas.0813415106. [PMC free article] [PubMed] [Cross Ref]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Burst-Timing-Dependent Plasticity prenosu sprostredkovaného receptorom NMDA v strednom mozgu dopamínových neurónov. Neurón. 2009, 62: 826-838. doi: 10.1016 / j.neuron.2009.05.011. [PMC free article] [PubMed] [Cross Ref]
11. Jones S, Bonci A. Synaptická plasticita a drogová závislosť. Curr Opin Pharmacol. 2005, 5: 20-25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]
12. Kauer JA, Malenka RC. Synaptická plasticita a závislosť. Nat Rev Neurosci. 2007, 8: 844-858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]
13. Ljungberg T, Apicella P, Schultz W. Reakcie neurónov dopamínu v opičích stredných mozgoch počas oneskoreného striedavého výkonu. Brain Res. 1991, 586: 337-341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz W, Apicella P, Ljungberg T. Reakcie opových dopamínových neurónov na odmeňovanie a podmieňovanie podnetov počas postupných krokov učenia sa oneskorenej úlohy. J Neurosci. 1993; 13 :. 900-913 [PubMed]
15. Schultz W. Prediktívny signál odmien dopamínových neurónov. J. Neurophysiol. 1998; 80 :. 1-27 [PubMed]
16. Schultz W, Dayan P, Montague RR. Nervový substrát predpovede a odmeny. Science. 1997, 275: 1593-1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]
17. Hollerman JR, Schultz W. Dopamínové neuróny hlásia chybu v časovej predikcii odmeny počas učenia. Nature Neurosci. 1998, 1: 304-309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]
18. Fiorillo CD, Tobler PN, Schultz W. Diskrétne kódovanie pravdepodobnosti a neistoty odmien dopamínovými neurónmi. Science. 2003, 299: 1898-1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]
19. Satoh T, Nakai S, Sato T, Kimura M. Súvisiace kódovanie motivácie a výsledku rozhodnutia dopamínovými neurónmi. J Neurosci. 2003; 23 :. 9913-9923 [PubMed]
20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Súčasné, ale zreteľné správy o dopamíne a striatálnom tonicky aktívnom neuróne stredného mozgu. Neurón. 2004, 43: 133-143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamínové neuróny môžu predstavovať kontextovo závislú predikčnú chybu. Neurón. 2004, 41: 269-280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]
22. Bayer HM, Glimcher PW. Dopamínové neuróny stredného mozgu kódujú kvantitatívny signál o predikcii predikcie. Neurón. 2005, 47: 129-141. doi: 10.1016 / j.neuron.2005.05.020. [PMC free article] [PubMed] [Cross Ref]
23. Tobler PN, Fiorillo CD, Schultz W. Adaptívne kódovanie hodnoty odmeny dopamínovými neurónmi. Science. 2005, 307: 1642-1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Ľudské substantia nigra neuróny kódujú neočakávané finančné odmeny. Science. 2009, 323: 1496-1499. doi: 10.1126 / science.1167342. [PMC free article] [PubMed] [Cross Ref]
25. Fiorillo CD, Newsome WT, Schultz W. Časová presnosť predikcie odmeny v dopamínových neurónoch. Nat Neurosci. 2008, 11: 966-973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Štatistika dopamínových neurónových vlakov v primáte. J Neurophysiol. 2007, 98: 1428-1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]
27. Waelti P, Dickinson A, Schultz W. Dopamínové odpovede zodpovedajú základným predpokladom teórie formálneho vzdelávania. Nature. 2001, 412: 43-48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]
28. Rescorla RA. Pavlovianova podmienená inhibícia. Psychol Bull. 1969, 72: 77-94. doi: 10.1037 / h0027760.
29. Tobler PN, Dickinson A, Schultz W. Kódovanie predpovedaného opomenutia odmeňovania dopamínovými neurónmi v podmienenej inhibičnej paradigme. J Neurosci. 2003; 23 :. 10402-10410 [PubMed]
30. Preuschoff, Bossaerts P. Pridanie rizika predikcie do teórie odmeňovania. Ann NY Acad Sci. 2007, 1104: 135-146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]
31. Romo R, Schultz W. Dopamínové neuróny opice midbrain: Náhodné reakcie na aktívny dotyk počas samovoľných pohybov rúk. J Neurophysiol. 1990; 63 :. 592-606 [PubMed]
32. Schultz W, Romo R. Dopamínové neuróny opice stredného mozgu: Možné reakcie na podnety vyvolávajúce okamžité behaviorálne reakcie. J Neurophysiol. 1990; 63 :. 607-624 [PubMed]
33. Mirenowicz J, Schultz W. Preferenčná aktivácia dopamínových neurónov midbrain skôr apetitívnymi, než averzívnymi stimulmi. Nature. 1996, 379: 449-451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain dopamínové neuróny kódujú rozhodnutia pre budúce kroky. Nat Neurosci. 2006, 9: 1057-1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]
35. Roesch MR, Calu DJ, Schoenbaum G. Dopamínové neuróny kódujú lepšiu voľbu u potkanov, ktorí sa rozhodujú medzi rôznymi oneskoreniami alebo veľkosťami odmien. Nat Neurosci. 2007, 10: 1615-1624. doi: 10.1038 / nn2013. [Článok zdarma pre PMC] [PubMed] [Cross Ref]
36. Takikawa Y, Kawagoe R, Hikosaka O. Možná úloha neurónov dopamínu v strednom mozgu pri krátkodobej a dlhodobej adaptácii sakkád na mapovanie odmeňovania pozícií. J Neurophysiol. 2004, 92: 2520-2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]
37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopamínové bunky reagujú na predpovedané udalosti počas klasického kondicionovania: Dôkaz stopy spôsobilosti v sieti odmeňovania. J Neurosci. 2005, 25: 6235-6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]
38. Montague PR, Dayan P, Sejnowski TJ. Rámec pre mezencefalické dopamínové systémy založený na prediktívnom hebbskom učení. J Neurosci. 1996; 16 :. 1936-1947 [PubMed]
39. Suri R, Schultz W. Neurónová sieť so zosilňujúcim signálom podobným dopamínu, ktorý sa učí úlohe priestorovej oneskorenej reakcie. Neuroscience. 1999, 91: 871-890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]
40. Ainslie G. Osobitné odmeny: behaviorálna teória impulzívnosti a kontroly impulzov. Psych Bull. 1975, 82: 463-496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Prispôsobenie oneskorenia výstuži: porovnanie výberu holubov a ľudí. J Exp Psychol Anim Behav Process. 1988, 14: 105-117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]
42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Stanovenie diskontných funkcií u potkanov pomocou postupu úpravy sumy. J Exp Anal Behav. 1997, 67: 353-366. doi: 10.1901 / jeab.1997.67-353. [Článok zdarma pre PMC] [PubMed] [Cross Ref]
43. Kobayashi S, Schultz W. Vplyv oneskorení odmeňovania na odpovede dopamínových neurónov. J Neurosci. 2008, 28: 7837-7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]
44. Guarraci FA, Kapp BS. Elektrofyziologická charakterizácia dopaminergných neurónov ventrálnej tegmentálnej oblasti počas diferenciálnej úpravy pavloviánskeho strachu u bdelého králika. Behav Brain Res. 1999, 99: 169-179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]
45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midbrain dopaminergné neuróny a striatálne cholinergické interneuróny kódujú rozdiel medzi príjmami a averzívnymi udalosťami v rôznych epochách pravdepodobnostných klasických kondicionovacích pokusov. J Neurosci. 2008, 28: 1673-11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. Dva typy dopamínového neurónu zreteľne prenášajú pozitívne a negatívne motivačné signály. Nature. 2009, 459: 837-841. doi: 10.1038 / nature08028. [Článok zdarma pre PMC] [PubMed] [Cross Ref]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Senzorické stimuly menia rýchlosť vypúšťania dopamínových (DA) neurónov: Dôkaz pre dva funkčné typy DA buniek v substantia nigra. Brain Res. 1980, 189: 544-549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]
48. Mantz J, Thierry AM, Glowinski J. Vplyv škodlivého chvosta chvosta na rýchlosť výboje mezokortikálnych a mezolimbických dopamínových neurónov: selektívna aktivácia mezokortikálneho systému. Brain Res. 1989, 476: 377-381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]
49. Schultz W, Romo R. Reakcie nigrostriatálnych dopamínových neurónov na vysoko intenzívnu somatosenzorickú stimuláciu u anestetizovaných opíc. J Neurophysiol. 1987; 57 :. 201-217 [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptívne reakcie dopamínergných neurónov midbraínu sú modulované vynikajúcim kolikulom u potkanov. Neuroscience. 2006, 139: 1479-1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]
51. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktivita neurochemicky heterogénnych dopaminergných neurónov v substantia nigra počas spontánnych a riadených zmien stavu mozgu. J Neurosci. 2009, 29: 2915-2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]
52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fázická excitácia dopamínových neurónov vo ventrálnej VTA škodlivými stimulmi. Proc Natl Acad Sci USA. 2009, 106: 4894-4899. doi: 10.1073 / pnas.0811507106. [Článok zdarma pre PMC] [PubMed] [Cross Ref]
53. Deň JJ, Roitman MF, Wightman RM, Carelli RM. Asociatívne učenie sprostredkuje dynamické posuny v signalizácii dopamínu v jadre accumbens. Nat Neurosci. 2007, 10: 1020-1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Chemické reakcie v jadre v reálnom čase rozlišujú odmeňujúce a averzívne stimuly. Nat Neurosci. 2008, 11: 1376-1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]
55. Mladý AMJ. Zvýšený extracelulárny dopamín v jadre narastá v reakcii na nepodmienené a podmienené averzívne stimuly: štúdie s použitím mikrodialýzy 1 min u potkanov. J Neurosci Meth. 2004, 138: 57-63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Schultz W. Viacnásobné dopamínové funkcie v rôznych časových cykloch. Ann Rev Neurosci. 2007, 30: 259-288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]
57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fázické strieľanie v dopaminergných neurónoch postačuje na kondičné kondicionovanie. Science. 2009, 324: 1080-1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]
58. Strecker RE, Jacobs BL. Substantia nigra dopaminergná aktivita jednotky pri správaní sa mačiek: Vplyv vzrušenia na spontánny výboj a aktivitu vyvolanú zmyslovým vnímaním. Brain Res. 1985, 361: 339-350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]
59. Ljungberg T, Apicella P, Schultz W. Reakcie neurónov dopamínu opice počas učenia sa behaviorálnych reakcií. J Neurophysiol. 1992; 67 :. 145-163 [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. Burstová aktivita ventrálnych tegmentálnych dopamínových neurónov je vyvolaná zmyslovými stimulmi pri bdelej mačke. Brain Res. 1997, 759: 251-258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]
61. Sheafor PJ. Pseudokondicionované pohyby čeľuste králika odrážajú asociácie podmienené kontextovými narážkami na pozadí. J Exp Psychol: Anim Behav Proc. 1975, 104: 245-260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamine: zovšeobecnenie a bonusy. Neural Netw. 2002, 15: 549-559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]
63. Richfield EK, Pennney JB, Young AB. Porovnanie anatomických a afinitných stavov medzi dopamínovými D1 a D2 receptormi v centrálnom nervovom systéme potkana. Neuroscience. 1989, 30: 767-777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]
64. Mackintosh NJ. Teória pozornosti: Zmeny asociativity stimulu s posilnením. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65. Pearce JM, hala G. Model pre Pavlovianovu úpravu: variácie účinnosti podmienených, ale nie nepodmienených stimulov. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]
66. Levy H, Markowitz HM. Aproximácia očakávanej užitočnosti pomocou funkcie priemeru a rozptylu Am Econ Rev. 1979; 69: 308 – 317.
;
