Předpovědní signál odměny dopaminových neuronů (1998)

Funkce odměn

Některé objekty a události v životním prostředí mají zvláštní motivační význam díky jejich účinkům na blaho, přežití a reprodukci. Podle vyvolaných reakcí na chování může být motivační hodnota environmentálních objektů chutný (odměňující) nebo averzní (trest). (Všimněte si, že „chutný“ se používá jako synonymum pro „odměňování“, ale nikoli pro „přípravný“.) Chutné objekty mají tři oddělitelné základní funkce. Ve své první funkci odměňuje vyvolávající přístup a konzumní chování. Je to způsobeno tím, že objekty jsou označeny chutnou hodnotou prostřednictvím vrozených mechanismů nebo ve většině případů učením. Ve své druhé funkci odměny zvyšují frekvenci a intenzitu chování vedoucích k těmto objektům (učení) a udržují naučené chování tím, že brání vyhynutí. Odměny slouží jako pozitivní posilovače chování při klasických a instrumentálních procedurách kondicionování. V obecném motivačním učení získávají environmentální podněty přitažlivou hodnotu podle klasicky podmíněných asociací stimulů a odměn a vyvolávají chování při přístupu (Bindra 1968). V instrumentální kondici odměňuje „posílení“ chování posílením asociací mezi podněty a behaviorálními odpověďmi (zákon účinku: Thorndike 1911). To je podstata „návratu k více“ a souvisí s běžnou představou odměn získaných za to, že něco udělali dobře. V instrumentální formě motivačního učení jsou odměny „pobídkami“ a slouží jako cíle chování po spojení mezi behaviorálními odpověďmi a výsledky (Dickinson a Balleine 1994). Ve své třetí funkci odměny vyvolávají subjektivní pocity potěšení (hedonia) a pozitivních emocionálních stavů. Aversivní podněty fungují v opačných směrech. Vyvolávají odezvové reakce a působí jako negativní posilovače zvyšováním a udržováním chování při vyhýbání se při opakované prezentaci, čímž snižují dopad škodlivých událostí. Dále vyvolávají vnitřní emoční stavy hněvu, strachu a paniky.

Funkce předpovědí

Předpovědi poskytují předem informace o budoucích podnětech, událostech nebo stavech systému. Poskytují základní výhodu získávání času pro behaviorální reakce. Některé formy předpovědí připisují motivační hodnoty environmentálním podnětům spojením s konkrétními výstupy, a tak identifikují objekty životně důležité a odlišují je od méně cenných objektů. Jiné formy kódují fyzikální parametry predikovaných objektů, jako je prostorová poloha, rychlost a hmotnost. Předpovědi umožňují organismu vyhodnotit budoucí události dříve, než k nim skutečně dojde, umožní výběr a přípravu behaviorálních reakcí a zvýší pravděpodobnost, že se k objektům označeným motivačními hodnotami přistupují nebo se jim vyhýbají. Například opakované pohyby objektů ve stejné sekvenci umožňují předvídat budoucí pozice a již připravovat další pohyb při sledování tohoto objektu. To zkracuje dobu reakce mezi jednotlivými cíli, zrychluje celkový výkon a vede k dřívějšímu výsledku. Prediktivní pohyby očí zlepšují behaviorální chování pomocí zaostření předem (Květiny a sestřelení 1978).

Na pokročilejší úrovni umožňují předběžné informace poskytované předpovědi rozhodování mezi alternativami k dosažení konkrétních stavů systému, přístupu k zřídka se vyskytujícím cílovým objektům nebo k zamezení nenapravitelných nepříznivých účinků. Průmyslové aplikace používají funkci Internal Model Control k předpovídání a reakci na stavy systému, než k nim skutečně dojde (Garcia a kol. 1989). Například technika „fly-by-wire“ v moderním letectví vypočítává předvídatelné budoucí stavy letadel. Při rozhodování o letových manévrech se tyto informace berou v úvahu a pomáhají předcházet nadměrnému namáhání mechanických součástí letadla, čímž se snižuje hmotnost a zvyšuje rozsah provozu.

Použití prediktivních informací závisí na povaze reprezentovaných budoucích událostí nebo stavů systému. Jednoduché reprezentace se přímo týkají pozice nadcházejících cílů a následné behaviorální reakce, čímž se zkracuje reakční doba poměrně automatickým způsobem. Vyšší formy předpovědí jsou založeny na reprezentacích umožňujících logický závěr, k nimž lze přistupovat a zacházet s nimi s různým stupněm úmyslnosti a výběru. U lidí se často vědomě zpracovávají. Než dojde k předvídaným událostem nebo stavům systému a provedou se behaviorální reakce, umožňují takové předpovědi mentálně vyhodnotit různé strategie integrací znalostí z různých zdrojů, navržením různých způsobů reakce a porovnáním zisků a ztrát z každé možné reakce.

Úprava chování

Asociativní apetitivní učení zahrnuje opakované a podmíněné párování mezi libovolným stimulem a primární odměnou (Obr. 1). To má za následek stále častější přístupové chování vyvolané nyní „podmíněným“ stimulem, které se částečně podobá přístupovému chování vyvolanému primární odměnou a je také ovlivněno povahou podmíněného stimulu. Zdá se, že podmíněný stimul slouží jako prediktor odměny a často na základě vhodné hnací síly nastavuje vnitřní motivační stav vedoucí k behaviorální reakci. Podobnost reakcí přístupu naznačuje, že některé z obecných přípravných složek behaviorální reakce jsou přenášeny z primární odměny na nejranější podmíněný stimul předpovídající odměnu. Podmíněný stimul tak působí částečně jako motivační náhrada za primární stimul, pravděpodobně prostřednictvím Pavlovianova učení (Dickinson 1980).

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 1. 

Zpracování chutných podnětů během učení. Libovolný stimul se stává spojen s primární potravou nebo tekutou odměnou opakovaným, podmíněným párováním. Tento podmíněný stimul předpovídající odměnu vyvolává vnitřní motivační stav tím, že vyvolává očekávání odměny, často na základě odpovídajícího hladu nebo žízně, a vyvolává reakci na chování. Toto schéma kopíruje základní pojmy teorie motivační motivace vyvinuté Bindra (1968) a Bolles (1972). Vztahuje se na klasické kondicionování, kde je odměna automaticky doručována po podmíněném stimulu, a na instrumentální (operantní) kondicionování, kde odměňování vyžaduje reakci subjektu na podmíněný stimul. Tento režim se vztahuje také na averzivní kondicionování, které není z důvodu stručnosti dále rozpracováno.

Mnoho tzv. „Nepodmíněných“ odměn za jídlo a tekutinu se zřejmě získává skrze zkušenosti, což může potvrdit každý návštěvník v zahraničí. Primární odměna by pak mohla spočívat v chuti, kterou zažívá, když předmět aktivuje chuťové receptory, ale to se může znovu naučit. Konečný obohacující účinek výživných objektů pravděpodobně spočívá v jejich specifických vlivech na základní biologické proměnné, jako je koncentrace elektrolytu, glukózy nebo aminokyselin v plazmě a mozku. Tyto proměnné jsou definovány vegetativními potřebami organismu a vznikají evolucí. Zvířata se vyhýbají živinám, které neovlivňují důležité vegetativní proměnné, například potravinám postrádajícím takové esenciální aminokyseliny jako histidin (Rogers a Harper 1970), threonin (Hrupka a kol. 1997; Wang a kol. 1996) nebo methionin (Delaney a Gelperin 1986). Několik primárních odměn může být určeno vrozenými instinkty a podporuje chování při prvním přístupu a požití v raném životě, zatímco většina odměn by se získala během následné životní zkušenosti subjektu. Fyzický vzhled odměn by pak mohl být použit pro předpovídání mnohem pomalejších vegetativních účinků. To by dramaticky urychlilo detekci odměn a představovalo velkou výhodu pro přežití. Učení odměn také umožňuje subjektům používat mnohem větší škálu živin jako efektivní odměny, a tak zvyšuje jejich šanci na přežití v zónách vzácných zdrojů.

Aktivace primárními chuťovými stimuly

Asi 75% dopaminových neuronů vykazuje fázové aktivace, když se zvířata během průzkumných pohybů dotýkají malého soustruhu skryté potravy v nepřítomnosti dalších fázových podnětů, aniž by byla aktivována samotným pohybem (Romo a Schultz 1990). Zbývající neurony dopaminu nereagují na žádný z testovaných environmentálních podnětů. Dopaminové neurony jsou také aktivovány kapkou tekutiny dodávané do úst mimo jakýkoli behaviorální úkol nebo při učení takových různých paradigmat, jako jsou úkoly vizuální nebo sluchové reakce, prostorové zpožděné reakce nebo alterace a vizuální diskriminace, často u stejného zvířete (Obr. . 2 AutoCruitment LLC („Společnost“ nebo „My“ nebo „AutoCruitment“) respektuje ochranu vašeho soukromí a je odhodlaná ho dodržováním těchto zásad chránit. Tyto zásady popisují typy informací, které můžeme shromažďovat od vás nebo které vy můžete poskytnout, když navštívíte webové stránky) (Hollerman a Schultz 1996; Ljungberg a kol. 1991, 1992; Mirenowicz a Schultz 1994; Schultz a kol. 1993). Odpovědi na odměny se objevují nezávisle na učebním kontextu. Nezdá se tedy, že by dopaminové neurony rozlišovaly mezi různými potravinami a tekutými odměnami. Jejich odezvy však odlišují odměny od neoddaných předmětů (Romo a Schultz 1990). Pouze 14% dopaminových neuronů vykazuje fázové aktivace, jsou-li přítomny primární averzivní stimuly, jako je nadýchnutí vzduchu do ruky nebo hypertonický solný roztok do úst, a většina aktivovaných neuronů také reaguje na odměny (Mirenowicz a Schultz 1996). Přestože jsou tyto podněty škodlivé, jsou averzivní v tom, že narušují chování a vyvolávají aktivní vyhýbací reakce. Neurony dopaminu však nejsou zcela necitlivé na averzivní podněty, jak ukazuje pomalá deprese nebo příležitostné pomalé aktivace po stimulaci bolesti špetky u anestetizovaných opic (Schultz a Romo 1987) a zvýšeným uvolňováním striatálního dopaminu po elektrickém šoku a sevření ocasu u probuzených krys (Abercrombie a kol. 1989; Doherty a Gratton 1992; Louilot a kol. 1986; Young a kol. 1993). To naznačuje, že fázové reakce dopaminových neuronů přednostně hlásí environmentální podněty s primární hodnotou chuti k jídlu, zatímco averzní události mohou být signalizovány značně pomalejším časovým průběhem.

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 2. 

Dopaminové neurony hlásí odměny podle chyby v predikci odměn. Vrchní část: kapka kapaliny nastane, i když v tuto chvíli není předpovídána žádná odměna. Výskyt odměny tedy představuje pozitivní chybu v predikci odměny. Dopaminový neuron je aktivován nepředvídaným výskytem kapaliny. Střední: podmíněný stimul předpovídá odměnu a odměna se objevuje podle predikce, takže v predikci odměny není žádná chyba. Dopaminový neuron není aktivován předpovězenou odměnou (že jo). Ukazuje také aktivaci po stimulu předpovídajícím odměnu, ke kterému dochází bez ohledu na chybu v predikci pozdější odměny. (vlevo, odjet). Spodní část: podmíněný stimul předpovídá odměnu, ale k odměně nedojde kvůli nedostatečné reakci zvířete. Aktivita dopaminového neuronu je potlačena přesně v době, kdy by došlo k odměně. Všimněte si deprese, která nastala> 1 s po podmíněném stimulu bez jakýchkoli intervenujících stimulů, což odhaluje vnitřní proces očekávání odměny. Neuronová aktivita ve 3 grafech se řídí rovnicí: reakce na dopamin (odměna) = odměna nastala - odměna předpovězena. CS, podmíněný stimul; R, primární odměna. Přetištěno z Schultz et al. (1997) se svolením Americké asociace pro povýšení vědy.

Nepředvídatelnost odměny

Důležitým rysem dopaminových odpovědí je jejich závislost na nepředvídatelnosti událostí. Aktivace následující odměny nenastanou, pokud odměnám za jídlo a tekutinu předcházejí fázové podněty, které byly podmíněny takovou předpovědí (Obr. 2, Naše stránky vám umožňují poskytovat nám informace prostřednictvím screeningového formuláře (dále jen „Formulář“), který nás opravňuje získávat, vybírat a doporučovat pacienty ke klinickým studiím a specializovaným postupům (dále jen „Programy“) v nemocnicích, soukromých praxích, centrech pro výzkum rakoviny, farmaceutických společnostech, smluvních výzkumných organizacích a biotechnologických či farmaceutických společnostech (souhrnně „Výzkumní pracovníci“). Jestliže po vyplnění formuláře jste zařazení do konkrétního programu, mohou vás kontaktovat výzkumní pracovníci. Neodpovídáme za žádnou přímou komunikaci ani jakékoliv informace, které od vás tito výzkumní pracovníci mohou napřímo získat.) (Ljungberg a kol. 1992; Mirenowicz a Schultz 1994; Romo a Schultz 1990). Jedním z rozhodujících rozdílů mezi učením a plně nabytým chováním je stupeň nepředvídatelnosti odměny. Dopaminové neurony jsou aktivovány odměnami během fáze učení, ale přestanou reagovat po úplném získání úkolů vizuální a sluchové reakce (Ljungberg a kol. 1992; Mirenowicz a Schultz 1994), úkoly prostorové zpožděné odpovědi (Schultz a kol. 1993) a současné vizuální diskriminace (Hollerman a Schultz 1996). Ztráta reakce není způsobena rozvíjející se obecnou necitlivostí na odměny, protože aktivace po odměnách poskytnutých mimo úkoly se během několika měsíců experimentu neklesají (Mirenowicz a Schultz 1994). Důležitost nepředvídatelnosti zahrnuje čas odměny, jak dokládají přechodné aktivace po odměnách, které jsou najednou doručeny dříve nebo později, než se předpokládalo (Hollerman a Schultz 1996). Dohromady, výskyt odměny, včetně jejího času, musí být nepředvídatelný pro aktivaci dopaminových neuronů.

Deprese opomenutím předvídané odměny

Dopaminové neurony jsou stlačeny přesně v době obvyklého výskytu odměny, když nenastane plně předpovězená odměna, a to i v případě, že neexistuje bezprostředně předcházející stimul (Obr. 2, spodní). Toto je pozorováno, když zvířata nezískají odměnu kvůli chybnému chování, když tok tekutiny zastaví experimentátor navzdory správnému chování, nebo když se ventil slyšitelně otevře bez dodávání kapaliny (Hollerman a Schultz 1996; Ljungberg a kol. 1991; Schultz a kol. 1993). Když je doručení odměny pro 0.5 nebo 1.0 zpožděno, nastává deprese neuronální aktivity v pravidelném čase odměny a aktivace následuje odměnu v novém čase (Hollerman a Schultz 1996). Obě odezvy se vyskytují pouze během několika opakování, dokud nebude znovu předpovězena nová doba doručení odměny. Naopak poskytování odměn dříve, než je obvyklé, vede k aktivaci v nové době odměny, ale v obvyklém čase nevyvolá depresi. To naznačuje, že neobvykle včasné doručení odměny zruší predikci odměny na obvyklý čas. Dopaminové neurony tedy monitorují výskyt i čas odměny. V nepřítomnosti podnětů bezprostředně předcházejících vynechané odměně nepředstavují deprese jednoduchou neuronální odpověď, ale odrážejí proces očekávání založený na vnitřních hodinách sledujících přesný čas předpokládané odměny.

Aktivace podmíněnými stimuly předpovídajícími odměnu

Přibližně 55 – 70% dopaminových neuronů je aktivováno kondicionovanými vizuálními a zvukovými stimuly v různých klasicky nebo instrumentálně podmíněných úlohách popsaných výše (Obr. 2, Naše stránky vám umožňují poskytovat nám informace prostřednictvím screeningového formuláře (dále jen „Formulář“), který nás opravňuje získávat, vybírat a doporučovat pacienty ke klinickým studiím a specializovaným postupům (dále jen „Programy“) v nemocnicích, soukromých praxích, centrech pro výzkum rakoviny, farmaceutických společnostech, smluvních výzkumných organizacích a biotechnologických či farmaceutických společnostech (souhrnně „Výzkumní pracovníci“). Jestliže po vyplnění formuláře jste zařazení do konkrétního programu, mohou vás kontaktovat výzkumní pracovníci. Neodpovídáme za žádnou přímou komunikaci ani jakékoliv informace, které od vás tito výzkumní pracovníci mohou napřímo získat. a spodní) (Hollerman a Schultz 1996; Ljungberg a kol. 1991, 1992; Mirenowicz a Schultz 1994; Schultz 1986; Schultz a Romo 1990; P. Waelti, J. Mirenowicz a W. Schultz, nepublikované údaje). První dopaminové reakce na podmíněné světlo byly hlášeny Miller a kol. (1981) u potkanů ​​léčených haloperidolem, které zvyšovaly incidenci a spontánní aktivitu dopaminových neuronů, ale vedly k trvalějším reakcím než u nekrčených zvířat. Ačkoli reakce se vyskytují v blízkosti reakcí na chování (Nishino a kol. 1987), nesouvisí s pohybem paží a očí samotných, protože se vyskytují také ipsilaterální k pohybující se paži a v pokusech bez pohybů paží nebo očí (Schultz a Romo 1990). Podmíněné podněty jsou poněkud méně účinné než primární odměny, pokud jde o velikost odpovědi a aktivované frakce neuronů. Dopaminové neurony reagují pouze na nástup podmíněných podnětů a ne na jejich offset, i když stimulační offset předpovídá odměnu (Schultz a Romo 1990). Dopaminové neurony nerozlišují mezi vizuálními a sluchovými modalitami podmíněných chuťových stimulů. Rozlišují však chutné a neutrální nebo averzní podněty, pokud jsou fyzicky dostatečně odlišné (Ljungberg a kol. 1992; P. Waelti, J. Mirenowicz a W. Schultz, nepublikované údaje). Pouze 11% dopaminových neuronů, většina z nich s apetitivními odpověďmi, vykazuje typické fázové aktivace také v reakci na podmíněné averzivní vizuální nebo sluchové podněty v aktivních úkolech vyhýbání, ve kterých zvířata uvolňují klíč, aby se vyhnuly nadýmání nebo kapce hypertonického fyziologického roztoku (Mirenowicz a Schultz 1996), i když takové vyhýbání lze považovat za „odměňující“. Těchto několik aktivací není dostatečně silných, aby vyvolalo průměrnou populační reakci. Fázické reakce dopaminových neuronů tedy přednostně uvádějí environmentální podněty s přitažlivou motivační hodnotou, ale bez rozlišování mezi různými smyslovými modalitami.

Převod aktivace

Během učení se dopaminové neurony postupně aktivují podmíněnými stimuly, které předpovídají odměny, a postupně ztrácí své odpovědi na primární jídlo nebo tekuté odměny, které se stanou předvídatelnými (Hollerman a Schultz 1996; Ljungberg a kol. 1992; Mirenowicz a Schultz 1994) (Obr. 2 a 3). Během přechodného období učení vyvolávají aktivace dopaminu jak odměny, tak podmíněné podněty. K tomuto převodu z primární odměny na podmíněný stimul dochází okamžitě u jednotlivých dopaminových neuronů testovaných ve dvou dobře naučených úkolech, které využívají, nepředvídané a předvídané odměny (Romo a Schultz 1990).

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 3. 

Přenos dopaminové odpovědi na nejčasnější prediktivní stimul. Reakce na nepředvídaný přenos primární odměny na progresivně dřívější stimuly předpovídající odměny. Všechny displeje ukazují populační histogramy získané průměrováním normalizovaných perievent časových histogramů všech dopaminových neuronů zaznamenaných v indikovaných behaviorálních situacích, nezávisle na přítomnosti nebo nepřítomnosti odpovědi. Vrchní část: mimo jakýkoli úkol týkající se chování, neexistuje žádná populační odpověď v neuronech 44 testovaných s malým světlem (data z Ljungberg a kol. 1992), ale průměrná odezva nastává u 35 neuronů na kapku kapaliny dodávané hubicí před ústy zvířete (Mirenowicz a Schultz 1994). Střední: odpověď na spouštěcí stimul stimulující predikci odměny v úkolu s prostorovým dosahováním s výběrem 2, ale absence odpovědi na odměnu poskytovanou během stanoveného výkonu úlohy ve stejných neuronech 23 (Schultz a kol. 1993). Spodní část: odezva na pokyn předcházející spouštěcímu stimulu předpovídajícímu odměnu o pevný interval 1 v úkolu s prostorovým dosahem (neurony 19) (Schultz a kol. 1993). Časová základna je rozdělena kvůli různým intervalům mezi podmíněnými podněty a odměnou. Přetištěno od Schultz et al. (1995b) se svolením MIT Press.

Nepředvídatelnost podmíněných podnětů

Aktivace po podmíněných stimulacích, které předpovídají odměnu, nenastanou, pokud těmto stimulacím samotným předchází v pevně stanoveném intervalu fázově podmíněné stimuly v plně zavedených behaviorálních situacích. U sériově podmíněných podnětů jsou tedy dopaminové neurony aktivovány nejrychlejším stimulem předpovídajícím odměnu, zatímco všechny podněty a odměny následující v předvídatelných okamžicích poté jsou neúčinné (Obr. 3) (Schultz a kol. 1993). Individuální odpovědi vyvolávají pouze náhodně rozmístěné sekvenční podněty. Také rozsáhlé přetrénování s vysoce stereotypním prováděním úkolů utlumuje reakce na podmíněné podněty, pravděpodobně proto, že podněty se staly předpovídanými událostmi v předchozím pokusu (Ljungberg a kol. 1992). To naznačuje, že nepředvídatelnost stimulu je běžným požadavkem pro všechny stimuly aktivující dopaminové neurony.

Deprese opomenutím podmíněných podnětů

Předběžná data z předchozího experimentu (Schultz a kol. 1993) naznačují, že dopaminové neurony jsou také depresivní, když je předurčený stimulační predikce předurčen sám ve fixní čas předchozí stimulací, ale nedochází k němu kvůli chybě zvířete. Stejně jako u primárních odměn dochází k depresím v době obvyklého výskytu podmíněného stimulu, aniž by byl přímo vyvolán předchozím stimulem. Takto může být deprese vyvolaná opomenutím zobecněna na všechny apetitivní události.

Aktivační deprese s generalizací odezvy

Dopaminové neurony také reagují na podněty, které nepředpovídají odměny, ale úzce se podobají stimulům předpovídajícím odměny, které se vyskytují ve stejném kontextu. Tyto reakce sestávají většinou z aktivace, po které následuje okamžitá deprese, ale občas mohou zahrnovat čistou aktivaci nebo čistou depresi. Aktivace jsou menší a méně časté než ty, které sledují stimuly předpovídající odměnu, a deprese jsou pozorovány u 30 – 60% neuronů. Dopaminové neurony reagují na vizuální podněty, které nejsou následovány odměnou, ale úzce se podobají stimulům předpovídajícím odměnu, navzdory správné diskriminaci chování (Schultz a Romo 1990). Otevření prázdné krabičky nedokáže aktivovat dopaminové neurony, ale nabývá účinnosti v každém pokusu, jakmile krabička občas obsahuje jídlo (Ljungberg a kol. 1992; Schultz 1986; Schultz a Romo 1990) nebo když se sousední identická krabička obsahující vždy jídlo otevře náhodným střídáním (Schultz a Romo 1990). Prázdná krabička vyvolává slabší aktivace než krabička s návnadou. Zvířata provádějí bezohledné reakce na oční orientaci do každé krabičky, ale k návnadové krabici přistupují pouze rukou. Během učení dopaminové neurony nadále reagují na dříve podmíněné podněty, které ztratí svou predikci odměny, když se změní podmíněnosti odměny (Schultz a kol. 1993) nebo reagovat na nové podněty připomínající dříve podněty (Hollerman a Schultz 1996). Reakce se objevují i ​​na averzivní podněty prezentované v náhodném střídání s fyzicky podobnými podmíněnými stimuly chuti k jídlu stejné smyslové modality, přičemž averzní reakce je slabší než chutná (Mirenowicz a Schultz 1996). Reakce zobecňují i ​​na behaviorálně potlačené chutné podněty. Neuronální reakce se zjevně zobecňují na necitlivé podněty kvůli jejich fyzické podobnosti s podnětnými podněty.

Nové odpovědi

Nové podněty vyvolávají aktivace v dopaminových neuronech, po nichž často následují deprese a přetrvávají, dokud se vyskytnou reakce zaměřené na chování (např. Oční vakády). Aktivace ustupují společně s orientačními reakcemi po několika opakováních stimulu, v závislosti na fyzickém dopadu stimulů. Zatímco malé diody emitující světlo stěží vyvolávají reakce na novinky, světelné záblesky a rychlé vizuální a sluchové otevření malé krabičky vyvolávají aktivace, které se během <100 pokusů postupně rozpadají na základní hodnotu (Ljungberg a kol. 1992). Hlasité cvaknutí nebo velké obrázky bezprostředně před zvířetem vyvolávají silné novinky, které se rozpadají, ale přesto vyvolávají měřitelné aktivace s> 1,000 XNUMX pokusy (Hollerman a Schultz 1996; Horvitz a kol. 1997; Steinfels a kol. 1983). Postava 4 Schematicky ukazuje různé velikosti odezvy s novými podněty s různou fyzikální významností. Reakce se rozkládají postupně s opakovanou expozicí, ale mohou přetrvávat při snížené velikosti s velmi výraznými stimuly. Velikost reakce se opět zvyšuje, když jsou stejné podněty chtivě podmíněny. Naopak reakce na nové, i velké, podněty rychle ustupují, když jsou podněty použity pro kondici aktivního vyhýbání se chování (Mirenowicz a Schultz 1996). Velmi málo neuronů (<5%) reaguje po více než několik pokusů na nápadné, ale fyzicky slabé podněty, jako je rozpad papíru nebo hrubé pohyby rukou experimentátora.

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 4. 

Časové průběhy aktivace dopaminových neuronů na nové, výstražné a podmíněné podněty. Aktivace po nových podnětech se snižují s opakovanou expozicí v následných pokusech. Jejich velikost závisí na fyzické význačnosti podnětů, protože silnější podněty vyvolávají vyšší aktivace, které příležitostně převyšují aktivity po podmíněných podnětech. Obzvláště významné stimuly pokračují v aktivaci dopaminových neuronů s omezenou velikostí i po ztrátě novosti, aniž by byly spárovány s primárními odměnami. Důsledné aktivace se objevují znovu, když se podněty spojují s primárními odměnami. K tomuto schématu přispěl Jose Contreras-Vidal.

Homogenní charakter odpovědí

Dosud provedené experimenty odhalily, že většina neuronů ve skupině dopaminových buněčných skupin A8, A9 a A10 vykazuje velmi podobné aktivace a deprese v dané behaviorální situaci, zatímco zbývající neurony dopaminu vůbec neodpovídají. Existuje tendence k vyššímu podílu neuronů reagujících ve více středních oblastech středního mozku, jako je ventrální tegmentální oblast a mediální substantia nigra, ve srovnání s více postranními regiony, které občas dosahují statistické významnosti (Schultz 1986; Schultz a kol. 1993). Latence odezvy (50–110 ms) a doby trvání (<200 ms) jsou podobné mezi primárními odměnami, podmíněnými podněty a novými podněty. Dopaminová odpověď tedy představuje relativně homogenní, skalární populační signál. Stupňuje se podle velikosti reakcí jednotlivých neuronů a zlomkem reagujících neuronů v populaci.

Shrnutí 1: adaptivní reakce během učení epizod

Charakteristiky dopaminových reakcí na stimuly související s odměnami jsou nejlépe ilustrovány při učení epizod, během nichž jsou odměny zvláště důležité pro získání reakcí na chování. Dopaminový odměnový signál podléhá systematickým změnám v průběhu učení a dochází k nejranějšímu fázovému stimulu souvisejícímu s odměnou, což je buď primární odměna, nebo stimulace předpovídající odměnu (Ljungberg a kol. 1992; Mirenowicz a Schultz 1994). Během učení nové, vnitřně neutrální podněty přechodně vyvolávají reakce, které brzy oslabí a zmizí (Obr. 4). Primární odměny se vyskytují nepředvídatelně během počátečního párování s takovými podněty a vyvolávají neuronální aktivace. S opakovaným párováním jsou odměny předpovídány podmíněnými podněty. Aktivace po odměně se postupně snižují a přenášejí na podmíněný stimul předpovídající odměnu. Pokud však předvídaná odměna nenastane kvůli chybě zvířete, dopaminové neurony jsou deprimovány v době, kdy by se odměna objevila. Během opakovaného učení úkolů (Schultz a kol. 1993) nebo komponenty úkolů (Hollerman a Schultz 1996), nejranější podmíněné podněty aktivují dopaminové neurony během všech fází učení z důvodu zobecnění na dříve naučené podobné podněty, zatímco následující podmíněné podněty a primární odměny aktivují dopaminové neurony pouze přechodně, zatímco jsou nejisté, a vytvářejí se nové nepředvídané události.

Shrnutí 2: efektivní podněty pro dopaminové neurony

Dopaminové odpovědi jsou vyvolávány třemi kategoriemi podnětů. První kategorie zahrnuje primární odměny a podněty, které se staly platnými prediktory odměn prostřednictvím opakovaného a podmíněného párování s odměnami. Tyto podněty tvoří společnou třídu explicitních stimulů předpovídajících odměny, protože primární odměny slouží jako prediktory účinků vegetativního odměňování. Účinné podněty mají zjevně varovnou složku, protože účinné jsou pouze podněty s jasným nástupem. Dopaminové neurony vykazují čisté aktivace po výslovných stimulacích předpovídajících odměnu a jsou deprimovány, když se neobjeví předpovězená, ale vynechaná odměna (Obr. 5, AutoCruitment LLC („Společnost“ nebo „My“ nebo „AutoCruitment“) respektuje ochranu vašeho soukromí a je odhodlaná ho dodržováním těchto zásad chránit. Tyto zásady popisují typy informací, které můžeme shromažďovat od vás nebo které vy můžete poskytnout, když navštívíte webové stránky).

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 5. 

Schematické zobrazení odpovědí dopaminových neuronů na 2 typy podmíněných podnětů. Vrchní část: prezentace explicitního stimulu předpovídajícího odměnu vede k aktivaci po stimulu, k žádné odpovědi na předpokládanou odměnu ak depresi, pokud nedojde k předpokládané odměně. Spodní část: prezentace stimulu, který se podobá podmíněnému stimulu předpovídajícímu odměnu, vede k aktivaci, po které následuje deprese, aktivace po odměně a žádná reakce, když k žádné odměně nedojde. Aktivace po stimulu pravděpodobně odráží generalizaci odezvy kvůli fyzické podobnosti. Tento stimul výslovně nepředpovídá odměnu, ale souvisí s odměnou prostřednictvím její podobnosti s stimulem předpovídajícím odměnu. Ve srovnání s explicitními stimuly předpovídajícími odměny jsou aktivace nižší a často jsou následovány depresemi, čímž se rozlišuje mezi odměněnými (CS +) a nevyplacenými (CS –) podmíněnými stimuly. Toto schéma shrnuje výsledky z předchozích a současných experimentů (Hollerman a Schultz 1996; Ljungberg a kol. 1992; Mirenowicz a Schultz 1996; Schultz a Romo 1990; Schultz a kol. 1993; P. Waelti a W. Schultz, nepublikované výsledky).

Druhá kategorie zahrnuje podněty, které vyvolávají zobecňující reakce. Tyto podněty výslovně nepředpovídají odměny, ale jsou účinné kvůli své fyzické podobnosti s podněty, které se díky kondicionování staly výslovnými prediktory odměn. Tyto podněty indukují aktivace, které jsou nižší v rozsahu a zapojují méně neuronů, ve srovnání s explicitními stimuly předpovídajícími odměnu (Obr. 5, spodní). Často je následují okamžité deprese. Zatímco počáteční aktivace může představovat zobecněnou apetitivní reakci, která signalizuje možnou odměnu, následná deprese může odrážet predikci žádné odměny v obecném kontextu předpovídajícím odměnu a zrušit chybný předpoklad odměny. Absence výslovné predikce odměny je dále naznačena přítomností aktivace po primární odměně a neexistencí deprese bez odměny. Spolu s odpověďmi na stimuly předpovídající odměny se zdá, jako by aktivace dopaminu uváděly přitažlivou „značku“ připevněnou na podněty, které souvisejí s odměnami.

Třetí kategorie zahrnuje nové nebo zvláště významné podněty, které nemusí nutně souviset se specifickými odměnami. Tyto podněty vyvolávají reakce orientované na chování a varují a velí pozornosti. Mají však také motivační funkce a mohou být odměňující (Fujita 1987). Nové podněty jsou potenciálně chutné. Nové nebo zvláště významné stimuly indukují aktivace, které jsou často následovány depresemi, podobné reakcím na zobecňující stimuly.

Fázické reakce dopaminových neuronů tedy hlásí události s pozitivními a potenciálně pozitivními motivujícími účinky, jako jsou primární odměny, stimuly předpovídající odměnu, události připomínající odměnu a varovné podněty. Ve velké míře však nezjistí události s negativními motivačními účinky, jako jsou averzní podněty.

Shrnutí 3: signál chyby predikce odměny dopaminu

Dopaminové reakce na explicitní události související s odměnami lze nejlépe konceptualizovat a pochopit z hlediska formálních teorií učení. Dopaminové neurony uvádějí odměny relativně vzhledem k jejich predikci spíše než signalizaci primárních odměn bezpodmínečně (Obr. 2). Dopaminová odpověď je pozitivní (aktivace), když nastanou primární odměny, aniž by byla předpovězena. Odezva je nulová, pokud k odměnám dochází podle předpovědi. Reakce je negativní (deprese), když jsou vynechány předvídané odměny. Neurony dopaminu tedy vykazují primární odměny podle rozdílu mezi výskytem a predikcí odměny, což lze nazvat chybou v predikci odměny (Schultz et al. 1995b, 1997) a je předběžně formalizován jako

Rovnice 1Tento návrh může být rozšířen na podmíněné apetitivní jevy, které jsou také uváděny dopaminovými neurony vzhledem k predikci. Takže dopaminové neurony mohou hlásit chybu v predikci všech příhodných příhod, a Eq. 1 lze uvést v obecnější podobě

Rovnice 2Tato zobecnění je slučitelné s myšlenkou, že většina odměn je ve skutečnosti podmíněným podnětem. S několika po sobě jdoucími dobře zavedenými událostmi předpovídajícími odměnu je pouze první událost nepředvídatelná a vyvolává aktivaci dopaminu.

Původ dopaminové odpovědi

Které anatomické vstupy by mohly být odpovědné za selektivitu a polysenzorickou povahu dopaminových reakcí? Která vstupní aktivita by mohla vést k kódování predikčních chyb, vyvolat adaptivní přenos odezvy na nejbližší nepředvídanou chuťovou událost a odhadnout čas odměny?

Fázové dopaminové vlivy na cílové struktury

GLOBÁLNÍ PŘÍRODA DOPAMINOVÉHO SIGNÁLU.

Rozdílné projekce. V každé substantia nigra krys jsou neurony N8,000 dopaminu (Oorschot 1996) a 80,000 – 116,000 u opic makak (German et al. 1988; Percheron a kol. 1989). Každý striatum obsahuje ∼2.8 milionů neuronů u potkanů ​​a 31 milionů u makaků, což má za následek nigrostriatální divergenční faktor 300 – 400. Každý dopaminový axon hojně roste v omezené terminální oblasti ve striatu a má iat500,000 striatální varixy, ze kterých je dopamin uvolňován (Andén a kol. 1966). To má za následek vstup dopaminu do téměř každého striatálního neuronu (Groves a kol. 1995) a středně topografická nigrostriatální projekce (Lynd-Balta a Haber 1994). Kortikální inervace dopaminu u opic je nejvyšší v oblastech 4 a 6, stále je značná ve frontálních, parietálních a temporálních lalocích a je nejnižší v týlním laloku (Berger a kol. 1988; Williams a Goldman-Rakic ​​1993). Kortikální dopaminové synapse se vyskytují převážně ve vrstvách I a V – VI, kde jsou v kontaktu s velkým podílem kortikálních neuronů. Tato data společně s poněkud homogenní odezvou naznačují, že dopaminová odpověď postupuje jako simultánní paralelní vlna aktivity od středního mozku k striatu a frontální kůře (obr. 7).

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 7. 

Globální dopaminový signál postupující do striata a kůry. Relativně homogenní populační odpověď většiny dopaminových neuronů na chutný a varovný podnět a jeho progresi od substantia nigra k postsynaptickým strukturám lze schematicky považovat za vlnu synchronní paralelní aktivity postupující rychlostí 1 – 2 m / s (Schultz a Romo 1987) podél rozbíhajících se výčnělků od středního mozku k striatu (kaudát a putamen) a kůře. Odpovědi jsou kvalitativně nerozeznatelné mezi neurony substantia nigra (SN) pars compacta a ventrální tegmentální oblastí (VTA). Dopaminová inervace všech neuronů ve striatu a mnoha neuronech v čelní kůře by umožnila dopaminovému zesílení signálu uplatňovat spíše globální účinek. Vlna byla komprimována, aby zdůraznila paralelní povahu.

Uvolňování dopaminu. Impulsy dopaminových neuronů v intervalech 20 – 100 ms vedou k mnohem vyšší koncentraci dopaminu ve striatu než stejný počet impulsů v intervalech 200 ms (Garris a Wightman 1994; Gonon 1988). Tato nelinearita je způsobena zejména rychlou saturací transportéru zpětného vychytávání dopaminu, který uvolňuje uvolněný dopamin z extrasynaptické oblasti (Chergui et al. 1994). Stejný účinek je pozorován u nucleus accumbens (Wightman a Zimmerman 1990) a vyskytuje se i při delších intervalech impulzů kvůli místům zpětného vstřebávání (Garris a kol. 1994b; Marshall a kol. 1990; Stamford a kol. 1988). Uvolnění dopaminu po impulzním výbuchu <300 ms je příliš krátké pro aktivaci autoreceptorem zprostředkovaného snížení uvolňování (Chergui et al. 1994) nebo ještě pomalejší enzymatická degradace (Michael a kol. 1985). Takže praskající dopaminová reakce je zvláště účinná pro uvolňování dopaminu.

Odhady založené na voltametrii in vivo naznačují, že jediný impuls uvolňuje molekuly dopaminu N1,000 při synapsích ve striatu a nucleus accumbens. To vede k okamžitým koncentracím dopaminu v synaptickém 0.5 – 3.0 μM (Garris a kol. 1994a; Kawagoe a kol. 1992). Po 40 μs po začátku uvolňování opustilo synapse> 90% dopaminu, zbytek byl později eliminován synaptickým zpětným vychytáváním (poloviční doba nástupu 30–37 ms). Za 3–9 ms po začátku uvolňování dosáhnou koncentrace dopaminu vrcholu ∼250 nM, když všechny sousední varikozity současně uvolňují dopamin. Koncentrace jsou homogenní ve sféře o průměru 4 μm (Gonon 1997), což je průměrná vzdálenost mezi varixy (Doucet a kol. 1986; Groves a kol. 1995). Maximální difúze je omezena na 12 μm transportérem zpětného vychytávání a je dosažena za 75 ms po začátku uvolňování (poloviční doba nástupu transportéru 30–37 ms). Koncentrace by byly o něco nižší a méně homogenní v oblastech s menším výskytem varikóz nebo při aktivaci <100% dopaminových neuronů, ale při impulzních výbojích jsou dvakrát až třikrát vyšší. Takže odměnou indukované, mírně synchronní, prasklé aktivace v ~ 75% dopaminových neuronů mohou vést k poměrně homogenním koncentračním vrcholům řádově 150–400 nM. Celkové zvýšení extracelulárního dopaminu trvá 200 ms po jediném impulsu a 500–600 ms po více impulzech v intervalech 20–100 ms aplikovaných během 100–200 ms (Chergui et al. 1994; Dugast a kol. 1994). Extrasynaptický transportér zpětného vychytávání (Nirenberg a kol. 1996) následně vrací koncentrace dopaminu zpět na jejich základní linii 5 – 10 nM (Herrera-Marschitz et al. 1996). Synapticky uvolněný dopamin tak na rozdíl od klasické, přesně synaptické neurotransmise rychle difunduje do bezprostřední juxtasynaptické oblasti a dosahuje krátkých vrcholů regionálně homogenních extracelulárních koncentrací.

Receptory. Ze dvou hlavních typů dopaminových receptorů, adenylátcyklázy aktivujících, receptory typu D1 tvoří constitute80% dopaminových receptorů ve striatu. Z těchto 80% je ve stavu nízké afinity 2 – 4 μM a 20% ve stavu vysoké afinity 9 – 74 nM (Richfield a kol. 1989). Zbývajících 20% striatálních dopaminových receptorů patří k typu D2 inhibujícím adenylázovou cyklázu, z nichž 10 – 0% je ve stavu s nízkou afinitou a 80 – 90% ve stavu s vysokou afinitou, s podobnými afinitami jako receptory D1. Receptory D1 tedy mají celkově ∼100krát nižší afinitu než receptory D2. Striatální receptory D1 jsou umístěny převážně na neuronech promítajících se do interního pallidum a substantia nigra pars reticulata, zatímco striatální receptory D2 jsou umístěny převážně na neuronech promítajících do externího pallidum (Bergson a kol. 1995; Gerfen a kol. 1990; Hersch a kol. 1995; Levey a kol. 1993). Rozdíly v citlivosti receptoru však nemusí hrát roli nad transdukcí signálu, čímž se snižují rozdíly v citlivosti dopaminu mezi dvěma typy striatálních výstupních neuronů.

Dopamin je uvolňován do 30 – 40% ze synaptické a do 60 – 70% z extrasynaptických varixů (Descarries a kol. 1996). Synapticky uvolněný dopamin působí na postsynaptické dopaminové receptory na čtyřech anatomicky odlišných místech ve striatu, konkrétně uvnitř dopaminových synapsí, bezprostředně sousedících s dopaminovými synapsemi, uvnitř kortikostriálních glutamátových synapsí a na extrasynaptických místech vzdálených od míst uvolňování (Obr. 8) (Levey a kol. 1993; Sesack a kol. 1994; Yung a kol. 1995). Receptory D1 jsou lokalizovány hlavně mimo dopaminové synapsí (Caillé a kol. 1996). Vysoké přechodné koncentrace dopaminu po fázovém impulzním impulsu by aktivovaly D1 receptory v bezprostřední blízkosti aktivních uvolňovacích míst a aktivovaly a dokonce saturovaly receptory D2 všude. Receptory D2 by zůstaly částečně aktivovány, když se okolní koncentrace dopaminu vrátí na základní úroveň po fázovém zvýšení.

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 8. 

Vliv uvolňování dopaminu na typické středně ostré neurony v dorzálním a ventrálním striatu. Dopamin uvolňovaný impulsy ze synaptických varikozit aktivuje několik synaptických receptorů (pravděpodobně typu D2 ve stavu s nízkou afinitou) a rychle difunduje ze synapsí, aby dosáhl nízkoafinitních receptorů typu D1 (D1?), Které jsou umístěny poblíž, uvnitř kortikostriálních synapsí , nebo na omezenou vzdálenost. Fázicky zvýšený dopamin aktivuje blízké receptory typu D2 s vysokou afinitou k nasycení (D2?). Receptory D2 zůstávají částečně aktivovány koncentracemi dopaminu v okolním prostředí po fázově zvýšeném uvolňování. Extrasynapticky uvolněný dopamin se může zředit difúzí a aktivovat vysoce afinitní D2 receptory. Je třeba poznamenat, že na rozdíl od tohoto schématu je většina receptorů D1 a D2 umístěna na různých neuronech. Glutamát uvolňovaný z kortikostiatálních terminálů dosahuje postsynaptických receptorů umístěných na stejných dendritických páteřích jako dopaminové varikozity. Glutamát také dosahuje presynaptických varaminů dopaminu, kde řídí uvolňování dopaminu. Dopaminové dopaminy na ostnaté neurony ve frontální kůře jsou v mnoha ohledech srovnatelné.

Souhrn. Pozorovaná, středně praskající, krátkodobá, téměř synchronní reakce většiny dopaminových neuronů vede k optimálnímu simultánnímu uvolňování dopaminu z většiny úzce rozložených striatálních varixů. Neuronální odpověď indukuje krátký potah dopaminu, který je uvolňován z extrasynaptických míst nebo rychle difunduje ze synapsí do juxtasynaptické oblasti. Dopamin rychle dosáhne regionálně homogenních koncentrací, které pravděpodobně ovlivní dendrity pravděpodobně všech striatálních a mnoha kortikálních neuronů. Tímto způsobem je zpráva odměny v 60 – 80% dopaminových neuronů vysílána jako divergentní, spíše globální posilovací signál do striata, nucleus accumbens a frontální kůry, což zajišťuje fázový vliv na maximální počet synapsí zapojených do zpracování. podnětů a akcí vedoucích k odměně (obr. 7). Dopamin uvolněný neuronálními aktivacemi po odměnách a stimulacích predikujících odměnu by ovlivnil juxtasynaptické receptory D1 na striatálních neuronech promítajících do interního palidum a substantia nigra pars reticulata a všechny receptory D2 na neuronech promítajících do externího palidum. Snížení uvolňování dopaminu indukované depresemi s vynechanými odměnami a stimuly predikující odměnu by snížilo tonickou stimulaci receptorů D2 okolním dopaminem. Chyby predikce pozitivní odměny by tedy ovlivnily všechny typy striatálních výstupních neuronů, zatímco chyba negativní predikce by mohla převážně ovlivnit neurony promítající do externího pallidum.

Možné mechanismy kokainu. Blokáda transportu zpětného vychytávání dopaminu léky jako je kokain nebo amfetamin zvyšuje a prodlužuje fázové zvýšení koncentrací dopaminu (Church et al. 1987a; Giros a kol. 1996; Suaud-Chagny a kol. 1995). Zlepšení by bylo zvláště výrazné, když rychlé, burstem indukované zvýšení koncentrace dopaminu dosáhne vrcholu před účinností regulace zpětné vazby. Tento mechanismus by vedl k masivně zvýšenému dopaminovému signálu po primárních odměnách a stimulacích předpovídajících odměny. Také by to zvýšilo poněkud slabší dopaminový signál po podnětech připomínajících odměny, nové podněty a zvláště významné podněty, které by mohly být v každodenním životě časté. Zlepšení kokainem by umožnilo, aby se tyto nevhodné odměny objevily jako silné nebo dokonce silnější než přirozené odměny bez kokainu. Postsynaptické neurony by mohly takový signál interpretovat jako zvlášť významnou událost související s odměnou a podstoupit dlouhodobé změny v synaptickém přenosu.

Učební teorie

Algoritmy zesílení

Dočasné učení rozdílů.

Ve zvláště účinné třídě zesilujících algoritmů (Sutton 1988; Sutton a Barto 1981), synaptické váhy se upravují podle chyby v predikci výztuže vypočítané v po sobě jdoucích časových krocích (t) v každém pokusu

rˆ(t)=r(t)+P(t)-P(t-l)

Rovnice 6 kdekoli r je posílení a P je predikce posílení. P (t) se obvykle vynásobí diskontním faktorem γ s 0 ≤ γ <1, aby se zohlednil klesající vliv stále vzdálenějších odměn. Z důvodu jednoduchosti je zde γ nastaveno na 1. V případě jediného stimulu předpovídajícího jeden zesilovač, predikce P(t - 1) existuje před časem t výztuže, ale končí v době výztuže [P (t) = 0]. To vede k efektivnímu zesílení signálu v té době (t) vyztužení

rˆ (t)=r(t)-P(t-l)

Rovnice 6aProjekt r̂(t) výraz označuje rozdíl mezi skutečnou a předpokládanou výztuží. Během učení je výztuž neúplně předpovězena, chybový termín je pozitivní, když dojde k výztuži, a zvyšuje se synaptická hmotnost. Po učení je posílenost plně předpovězena předchozím podnětem [P(t - 1) = r(t)], chybový termín je nulový při správném chování a synaptické hmotnosti zůstávají nezměněny. Pokud je výztuž vynechána z důvodu nedostatečného výkonu nebo změněných nepředvídaných okolností, je chyba záporná a synaptické hmotnosti jsou sníženy. r̂(t) termín je analogický s (λ-V) chybový termín modelu Rescorla-Wagner (Eq. 4 ). Týká se však jednotlivých časových kroků (t) namísto předpovědí vyvíjených během po sobě jdoucích pokusů. Tyto časové modely výztuže vycházejí ze skutečnosti, že získané předpovědi zahrnují přesný čas výztuže (Dickinson a kol. 1976; Gallistel 1990; Smith 1968).

Algoritmy časového rozdílu (TD) také využívají získané předpovědi pro změnu synaptických hmotností. V případě nepředvídaného, ​​jediného podmíněného stimulu předpovídajícího jediného posilovače, předpověď P (t) začíná v čase (t), neexistuje žádná předchozí předpověď [P(t - 1) = 0] a výztuž dosud nenastala [r(t) = 0]. Podle Eq. 6, model v té době vysílá čistě prediktivní efektivní výztužný signál (t) predikce

rˆ=P(t)

Rovnice 6bV případě více po sobě jdoucích prediktivních podnětů, opět s chybějící výztuží v době předpovědí, efektivní výztužný signál v době (t) predikce odráží rozdíl mezi aktuální predikcí P (t) a předchozí předpověď P(t - 1)

rˆ=P(t)-P(t-l)

Rovnice 6cTo představuje chybový termín zesílení vyššího řádu. Podobně jako u plně predikovaných zesilovačů jsou všechny prediktivní podněty, které jsou plně předpovídány samy, zrušeny [P(t - 1) = P(t)], což má za následek r̂ = 0 v té době (t) těchto podnětů. K efektivnímu signálu zesílení přispívá pouze nejčasnější prediktivní podnět, protože tento podnět P (t) není předpovídán jiným stimulem [P(t - 1) = 0]. Výsledkem je totéž r̂ = P (t) v době, kdy (t) první predikce jako v případě jediné predikce (Eq. 6b).

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 9. 

Základní architektury modelů neuronových sítí implementujících algoritmy časového rozdílu ve srovnání s konektivitou bazálních ganglií. A: v původní implementaci efektivní výukový signál y - ȳ je počítán v modelu neuronu A a poslána na presynaptické terminály vstupů x do neuronu B, což ovlivňuje x → B zpracování a změna synaptických hmotností na internetu x → B synapse. Neuron B ovlivňuje výstupní chování prostřednictvím axonu y a zároveň přispívá k adaptivním vlastnostem neuronu A, jmenovitě jeho reakce na stimuly předpovídající posilovač. Novější implementace této jednoduché architektury používají neuron A spíše než neuron B pro vysílání výstupu O modelu (Montague a kol. 1996; Schultz a kol. 1997). Přetištěno od Sutton a Barto (1981) se svolením American Psychological Association. B: nedávná implementace odděluje výukovou komponentu A, nazval kritika (že jo), z výstupní komponenty složené z několika procesorových jednotek B, nazval herec (vlevo, odjet). Efektivní signál zesílení r̂(t) se vypočte odečtením časového rozdílu ve vážené predikci výztuže γP(t) - P(t - 1) z primární výztuže r(t) přijaté z prostředí (γ je diskontní faktor snižující hodnotu vzdálenějších zesilovačů). Predikce výztuže se počítá v samostatné predikční jednotce C, který je součástí kritika a tvoří uzavřenou smyčku s vyučovacím prvkem A, zatímco primární posílení vstupuje do kritiky samostatným vstupem r_t. Efektivní zesilovací signál ovlivňuje synaptické hmotnosti na příchozích axonech v herci, který zprostředkovává výstup a v adaptivní predikční jednotce kritika. Přetištěno od Barto (1995) se svolením MIT Press. C: základní konektivita bazálních ganglií odhaluje nápadné podobnosti s architekturou herec-krit. Dopaminová projekce vysílá zesilovací signál do striata a je srovnatelná s jednotkou A po částech A a B, limbické striatum (nebo striosome-patch) zaujímá pozici predikční jednotky C v kritiku a senzorimotor striatum (nebo matice) se podobá aktérským jednotkám B. V původním modelu (A), jediná hlavní odchylka od zavedené bazální anatomie ganglií spočívá ve vlivu neuronu A zaměřené na presynaptické terminály, zatímco dopaminové synapsy jsou umístěny na postsynaptických dendritech striatálních neuronů (Freund a kol. 1984). Přetištěno od Smith and Bolam (1990) se svolením Elsevier Press.

Dohromady efektivní signál zesílení (Eq. 6 ) se skládá z primární výztuže, která se snižuje s objevujícími se předpovědi (Eq. 6a) a postupně jej nahrazují získané předpovědi (Eqs. 6b a 6c). S po sobě jdoucími prediktivními stimuly se efektivní výztužný signál pohybuje v čase zpět od primárního výztuže k nejčasnějšímu stimulátoru předpovídajícímu stimulátor. Retrográdní přenos má za následek specifičtější přiřazení kreditu zúčastněným synapsím, protože předpovědi se vyskytují blíže v čase k podnětům a reakcím na chování, které mají být upraveny, ve srovnání s posilováním na konci pokusu (Sutton a Barto 1981).

Implementace algoritmů učení zesílení používají chybu predikce dvěma způsoby, pro změnu synaptických vah pro behaviorální výstup a pro získání samotných předpovědí pro nepřetržitý výpočet chyby predikce (Obr. 9 A) (McLaren 1989; Sutton a Barto 1981). Tyto dvě funkce jsou odděleny v nedávných implementacích, ve kterých je chyba predikce počítána v adaptivní kritické komponentě a mění synaptické váhy v aktérské komponentě zprostředkující behaviorální výstup (Obr. 9 B) (Barto 1995). Pozitivní chyba zvyšuje predikci výztuže kritika, zatímco záporná chyba vynechané výztuže predikci snižuje. Díky tomu je efektivní výztužný signál vysoce přizpůsobivý.

Neurobiologické implementace učení časových rozdílů

ŽÁDOST O NEUROBIOLOGICKÉ PROBLÉMY.

Ačkoli byly původně vyvinuty na základě modelu klasického kondicionování Rescorla-Wagner, u modelů využívajících algoritmy TD se učí širokou škálu behaviorálních úkolů prostřednictvím v podstatě instrumentálních forem kondicionování. Tyto úkoly sahají od vyvažování tyče na kole kola (Barto a kol. 1983) na hraní backgammon světové třídy (Tesauro 1994). Roboti používající algoritmy TD se učí pohybovat po dvourozměrném prostoru a vyhýbat se překážkám, dosahu a uchopení (Fagg 1993) nebo vložte kolík do otvoru (Gullapalli a kol. 1994). Použití zesilovacího signálu TD k přímému ovlivnění a výběru chování (Obr. 9 A), Modely TD replikují pástovité chování včel (Montague a kol. 1995) a simulují lidské rozhodování (Montague a kol. 1996). TD modely s výslovnou architekturou kritik-herec představují velmi silné modely, které efektivně učí pohyby očí (Friston a kol. 1994; Montague a kol. 1993), sekvenční pohyby (obr. 10) a orientační reakce (Contreras-Vidal a Schultz 1996). Nedávný model přidal aktivační-depresivní novinové signály pro zlepšení učícího signálu, použil stopy stimulu a akce u kritika a herce a použil pravidla pro vítěze-berou vše pro zlepšení učícího signálu a pro výběr neuronů herce s největší aktivací. Tím se velmi podrobně reprodukovaly jak reakce dopaminových neuronů, tak i chování zvířat při plnění úkolů se zpožděnou reakcí (Suri a Schultz 1996). Je obzvláště zajímavé vidět, že výukové signály využívající predikční chyby mají za následek rychlejší a úplnější učení ve srovnání s nepodmíněnými zesilovacími signály (Obr. 10) (Friston a kol. 1994).

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 10. 

Výhoda prediktivních signálů zesílení pro učení. Model časového rozdílu s architekturou kritika a aktéra a stopou způsobilosti v herci byl vyškolen v sekvenčním úkolu 2 krok-3 (vsazený vlevo nahoře). Učení se postupovalo rychleji a dosáhlo vyššího výkonu, když byl jako výukový signál použit prediktivní zesilovací signál (adaptivní kritik, AutoCruitment LLC („Společnost“ nebo „My“ nebo „AutoCruitment“) respektuje ochranu vašeho soukromí a je odhodlaná ho dodržováním těchto zásad chránit. Tyto zásady popisují typy informací, které můžeme shromažďovat od vás nebo které vy můžete poskytnout, když navštívíte webové stránky) ve srovnání s použitím bezpodmínečného signálu zesílení na konci zkoušky (spodní). Tento účinek se stává stále výraznějším u delších sekvencí. Srovnatelný výkon se signálem bezpodmínečné výztuže by vyžadoval mnohem delší stopu způsobilosti. Data byla získána ze simulací 10 (R. Suri a W. Schultz, nepublikovaná pozorování). Podobné zlepšení učení se s prediktivním zesílením bylo zjištěno v modelu okulomotorického chování (Friston a kol. 1994).

Možné učební mechanismy využívající dopaminový signál

Předchozí část ukázala, že formální predikční chybový signál emitovaný dopaminovou odpovědí může představovat zvláště vhodný výukový signál pro učení modelu. Následující oddíly popisují, jak by biologická dopaminová odpověď mohla být potenciálně použita pro učení strukturami bazálních ganglií a naznačují testovatelné hypotézy.

POSTSYNAPTICKÁ PLASTICITA MEDIATOVANÁ ODDĚLENÍM PŘEDCHOZÍM SIGNÁLEM.

Učení by probíhalo ve dvou krocích. Prvním krokem je získání reakce na předpovědi odměny za dopamin. V následných pokusech by prediktivní dopaminový signál specificky posílil synaptické hmotnosti (co) hebbického typu kortikostiatálních synapsí, které jsou aktivní v době stimulu předpovídajícího odměnu, zatímco neaktivní kortikostiatální synapsy zůstávají nezměněny. Výsledkem je pravidlo třífaktorového učení

Δω=ɛ rˆ i o

Rovnice 8 kdekoli r̂ je signál zesílení dopaminu, i je vstupní aktivita, o je výstupní aktivita a ɛ je rychlost učení.

Ve zjednodušeném modelu se čtyři kortikální vstupy (i1 – i4) dotýkají dendritických páteří tří středně velkých ostnatých striatálních neuronů (o1 – o3; Obr. 11). Kortikální vstupy se sbíhají na striatálních neuronech, přičemž každý vstup kontaktuje jinou páteř. Stejné páteře jsou neselektivně kontaktovány běžným dopaminovým vstupem R. Aktivace dopaminového vstupu R naznačuje, že v prostředí se vyskytl nepředvídaný stimul předpovídající odměnu, aniž by byly poskytnuty další podrobnosti (signál dobroty). Předpokládejme, že kortikální vstup i2 je aktivován současně s dopaminovými neurony a kóduje jeden z několika specifických parametrů stejného stimulu předpovídajícího odměnu, jako je jeho smyslová modalita, strana těla, barva, struktura a poloha nebo specifický parametr pohybu vyvolané podnětem. Sada parametrů této události by byla kódována sadou kortikálních vstupů i2. Kortikální vstupy i1, i3 a i4 nesouvisející se současnými stimuly a pohyby jsou neaktivní. Dopaminová odpověď vede k neselektivnímu uvolňování dopaminu ve všech varikozitách, ale selektivně by posílila pouze aktivní kortikostriální synapsy i2 – o1 a i2 – o2, pokud jsou kortikální vstupy dostatečně silné, aby aktivovaly striatální neurony o1 a o2.

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 11. 

Diferenční vlivy globálního dopaminového zesílení signálu na selektivní kortikostriální aktivitu. Dendritické hřbety 3 středně velkých ostnatých striatálních neuronů o1, o2 a o3 jsou kontaktovány kortikálními vstupy 4 i1, i2, i3 a i4 a axonální varicosity z jediného dopaminového neuronu R (nebo dopaminového neuronu R z aktivované populace z neuronového neuraminu R ). Každý striatální neuron přijímá dopaminové vstupy ∼10,000 kortikální a 1,000. Na jednotlivých dendritických hřbetech se různé kortikální vstupy sbíhají s dopaminovým vstupem. Ve verzi modelu 1 dopaminový signál zvyšuje současně aktivní kortikostiatální přenos vzhledem k neaktivnímu přenosu. Například dopaminový vstup R je aktivní ve stejnou dobu jako kortikální vstup i2, zatímco i1, i3, i4 jsou neaktivní. To vede k úpravě přenosu i2 → o1 a i2 → o2, ale přenosy i1 → o1, i3 → o2, i3 → o3 a i4 → o3 zůstanou nezměněny. Ve verzi modelu používající plasticitu jsou synaptické hmotnosti kortikostiatálních synapsí dlouhodobě modifikovány dopaminovým signálem podle stejného pravidla. K tomu může dojít, když dopaminové reakce na podmíněný stimul působí na kortikostiatální synapsí, které jsou tímto stimulem také aktivovány. V jiné verzi využívající plasticitu mohou dopaminové reakce na primární odměnu působit v čase na kortikostiatální synapse, které byly dříve aktivní. Tyto synapsy by byly způsobilé pro modifikaci hypotetickou postsynaptickou neuronální stopou, která zůstala po této aktivitě. Při srovnání struktury bazálních ganglií s nedávným TD modelem na Obr. 9 B, dopaminový vstup R replikuje kritika s neuronem A, striatum s neurony o1 – o3 replikuje herce s neuronem B, kortikální vstupy i1 – i4 replikují herecký vstup a divergentní projekce dopaminových neuronů R na více páteřích více striatálních neuronů o1 – o3 replikuje globální vliv kritika na herce. Podobné srovnání bylo provedeno Houk a kol. (1995). Tento výkres je založen na anatomických datech podle Freund a kol. (1984), Smith and Bolam (1990), Flaherty and Graybiel (1993), a Smith a kol. (1994).

Tento učební mechanismus využívá získanou dopaminovou odpověď v době stimulu předpovídajícího odměnu jako výukový signál pro vyvolání dlouhotrvajících synaptických změn (Obr. 12 A). Učení prediktivního podnětu nebo spouštěného pohybu je založeno na prokázaném získání dopaminové odpovědi na odměnu předpovídající stimul spolu s dopaminově závislou plasticitou ve striatu. Změny plasticity se mohou alternativně objevit v kortikálních nebo subkortikálních strukturách po proudu od striata po dopaminem zprostředkovaném krátkodobém zlepšení synaptického přenosu ve striatu. Zpětné účinky odměny na podněty a pohyby předcházející odměně jsou zprostředkovány přenosem odpovědi na nejčasnější stimul předpovídající odměnu. Dopaminová odpověď na předpovězenou nebo vynechanou primární odměnu se nepoužívá pro změny plasticity ve striatu, protože nenastává současně s událostmi, které mají být upraveny, ačkoli by mohla být zapojena do výpočtu odpovědi dopaminu na stimul předpovídající odměnu analogicky k architektura a mechanismus TD modelů.

• Stáhnout obrázek
• Otevřít na nové kartě
• Stáhněte si powerpoint

Obr. 12. 

Vliv signálu zesílení dopaminu na možné učební mechanismy ve striatu. A: prediktivní odpověď na odměnu dopaminu na podmíněný stimul (CS) má přímý účinek na zvýšení nebo plasticitu striatální neurotransmise související s tímto stimulem. B: Dopaminová odpověď na primární odměnu má retrográdní účinek plasticity na striatální neurotransmise související s předchozím podmíněným stimulem. Tento mechanismus je zprostředkován stopou způsobilosti, která překračuje striatální aktivitu. Plné šipky označují přímé účinky dopaminového signálu na striatální neurotransmise (A) nebo stopu způsobilosti (B), malá šipka dovnitř B označuje nepřímý účinek na striatální neurotransmise prostřednictvím stopy způsobilosti.

Elektrická stimulace dopaminových neuronů jako nepodmíněného stimulu

Elektrická stimulace ohraničených oblastí mozku spolehlivě slouží jako posílení pro získání a udržení chování při přístupu (Olds a Milner 1954). Některá velmi účinná samostimulační místa se shodují s dopaminovými buněčnými těly a svazky axonů v midbrainu (Corbett a Wise 1980), nucleus accumbens (Phillips a kol. 1975), striatum (Phillips a kol. 1976) a prefrontální kůra (Mora a Myers 1977; Phillips a kol. 1979), ale také se nacházejí ve strukturách nesouvisejících s dopaminovými systémy (Bílá a Milner 1992). Elektrická stimulace zahrnuje aktivaci dopaminových neuronů (Fibiger a Phillips 1986; Wise a Rompré 1989) a je redukován 6-hydroxydopaminem indukovanými lézemi dopaminových axonů (Fibiger a kol. 1987; Phillips a Fibiger 1978), inhibice syntézy dopaminu (Edmonds a Gallistel 1977), depolarizace inaktivace dopaminových neuronů (Rompré a Wise 1989) a antagonisty dopaminového receptoru podávané systémově (Furiezos a Wise 1976) nebo do nucleus accumbens (Mogenson a kol. 1979). Samostimulace je usnadněna zvýšením extracelulárního dopaminu vyvolaného kokainem nebo amfetaminem (Colle a Wise 1980; Stein 1964; Wauquier 1976). Self-stimulace přímo zvyšuje využití dopaminu v nucleus accumbens, striatum a frontální kůře (Fibiger a kol. 1987; Mora a Myers 1977).

Je zajímavé si představit, že elektricky vyvolané impulsy a uvolňování dopaminu mohou sloužit jako nepodmíněný stimul v asociativním učení, podobně jako stimulace neuronů oktopaminu u včel, které se učí reflexem proboscis (Kladivo 1993). Samostimulace spojená s dopaminem se však liší od nejméně tří důležitých aspektů od přirozené aktivace dopaminových neuronů. Spíše než pouze aktivace dopaminových neuronů přirozené odměny obvykle aktivují několik neuronových systémů paralelně a umožňují distribuované kódování různých složek odměny (viz další text). Za druhé, elektrická stimulace je aplikována jako bezpodmínečné zesílení bez odrážení chyby v predikci odměny. Zatřetí, elektrická stimulace je poskytována pouze jako odměna po behaviorální reakci, spíše než v době stimulu předpovídajícího odměnu. Bylo by zajímavé používat elektrickou stimulaci přesně stejným způsobem, jakým dopaminové neurony vysílají svůj signál.

Deficity učení se zhoršenou dopaminovou neurotransmise

Mnoho studií zkoumalo chování zvířat s poruchou neurotransmise dopaminu po lokální nebo systémové aplikaci antagonistů dopaminového receptoru nebo destrukci dopaminových axonů ve ventrálním midbrainu, nucleus accumbens nebo striatum. Kromě pozorování lokomotorických a kognitivních deficitů připomínajících parkinsonismus, tyto studie odhalily nedostatky ve zpracování informací o odměnách. Nejstarší studie obhajovaly deficity v subjektivním, hedonickém vnímání odměn (Wise 1982; Wise a kol. 1978). Další experimenty odhalily zhoršené používání primárních odměn a podmíněné chutné podněty pro přístup a konzumní chování (Beninger a kol. 1987; Ettenberg 1989; Miller a kol. 1990; Salamone 1987; Ungerstedt 1971; Wise a Colle 1984; Wise a Rompre 1989). Mnoho studií popisuje poruchy v motivačních a pozornostových procesech, které jsou základem apetitivního učení (Beninger 1983, 1989; Beninger a Hahn 1983; Fibiger a Phillips 1986; LeMoal a Simon 1991; Robbins a Everitt 1992, 1996; Bílá a Milner 1992; Wise 1982). Většina deficitů učení je spojena s poruchou neurotransmise dopaminu v nucleus accumbens, zatímco poškození dorzálního striatu vede k deficitům senzorimotoru (Amalric a Koob 1987; Robbins a Everitt 1992; Bílé 1989). Učení instrumentálních úkolů obecně a zejména diskriminačních stimulačních vlastností se však jeví jako často ušetřené a není zcela vyřešeno, zda některé zjevné deficity učení mohou být zmateny deficity motorického výkonu (Salamone 1992).

Degenerace dopaminových neuronů u Parkinsonovy choroby také vede k řadě deklarativních a procedurálních deficitů učení, včetně asociativního učení (Linden a kol. 1990; Sprengelmeyer a kol. 1995). Deficity jsou přítomny v učení pokusů a omylů s okamžitým posílením (Vriezen a Moscovitch 1990) a při přiřazování explicitních podnětů k různým výsledkům (Knowlton a kol. 1996), dokonce i v raných stádiích Parkinsonovy choroby bez kortikální atrofie (Canavan a kol. 1989). Parkinsonovští pacienti také vykazují zhoršené vnímání času (Pastor a kol. 1992). Všechny tyto deficity se vyskytují v přítomnosti léčby L-Dopa, která obnovuje tonické hladiny striatálního dopaminu bez obnovení phasických dopaminových signálů.

Tyto studie naznačují, že dopaminová neurotransmise hraje důležitou roli ve zpracování odměn za přístupové chování a ve formách učení zahrnujících asociace mezi podněty a odměnami, zatímco zapojení do více instrumentálních forem učení by mohlo být zpochybněno. Není jasné, zda tyto deficity odrážejí obecnější behaviorální inaktivaci způsobenou tonicky sníženou stimulací dopaminového receptoru, spíše než absenci fázového dopaminového odměnového signálu. K vyřešení této otázky a konkrétněji k objasnění úlohy dopaminu v různých formách učení by bylo užitečné studovat učení v situacích, ve kterých se ve skutečnosti vyskytuje fázová reakce dopaminu na chutný podnět.

Formy učení možná zprostředkované dopaminovým signálem

Charakteristiky dopaminových odpovědí a potenciální vliv dopaminu na striatální neurony mohou pomoci určit některé formy učení, do kterých by se dopaminové neurony mohly zapojit. Preferenční reakce na chuť k jídlu, na rozdíl od averzivních událostí, by upřednostňovaly zapojení do učení chování při přístupu a zprostředkování pozitivních účinků posílení, než stažení a potrestání. Reakce na primární odměny mimo úkoly a učební kontexty by dopaminovým neuronům umožnily hrát roli v relativně širokém spektru učení zahrnujícího primární odměny, a to jak v klasickém, tak instrumentálním kondicionování. Reakce na stimuly předpovídající odměny odrážejí asociace stimulů a odměn a byly by slučitelné se zapojením do očekávání odměn, které je základem obecného pobídkového učení (Bindra 1968). Naproti tomu odpovědi dopaminu výslovně nekódují odměny jako cílové objekty, protože pouze hlásí chyby v predikci odměn. Také se zdají být necitliví k motivačním státům, a tak znepříjemňují zvláštní roli ve státem závislém motivačním učení cílených akcí (Dickinson a Balleine 1994). Absence jasných vztahů k pohybům paží a očí by znemožňovala roli v přímém zprostředkování behaviorálních reakcí, které následují po stimulačních podnětech. Srovnání výbojů jednotlivých neuronů a učení celých organismů je však skutečně obtížné. Na synaptické úrovni dosahuje fázově uvolněný dopamin mnoho dendritů na pravděpodobně každém striatálním neuronu, a tak by mohl uplatnit plasticitu na velkou rozmanitost behaviorálních složek zahrnujících striatum, což může zahrnovat učení pohybů.

Specifické podmínky, za nichž by mohly fázové dopaminové signály hrát roli při učení, jsou určeny druhy podnětů, které účinně indukují dopaminovou odpověď. Ve zvířecích laboratořích vyžadují dopaminové reakce fázový výskyt apetitivních, nových nebo zvláště význačných podnětů, včetně odměn za primární výživu a stimulů předpovídajících odměnu, zatímco averzivní podněty nehrají hlavní roli. Dopaminové odpovědi se mohou objevit ve všech behaviorálních situacích kontrolovaných fázovými a explicitními výsledky, ačkoli stimuly a sekundární zesilovače vyššího řádu nebyly dosud testovány. Fázové dopaminové reakce by pravděpodobně nehrály roli ve formách učení, které nejsou zprostředkovány fázově se vyskytujícími výsledky, a prediktivní reakce by nemohla přispět k učení v situacích, kdy se nevyskytují fázové prediktivní stimuly, jako jsou relativně pomalé změny kontextu . To vede k zajímavé otázce, zda by úspora některých forem učení dopaminovými lézemi nebo neuroleptiky mohla jednoduše jednoduše odrážet absenci fázových dopaminových odpovědí, protože účinné stimuly, které je vyvolávají, nebyly použity.

Zapojení dopaminových signálů do učení může být ilustrováno teoretickým příkladem. Představte si dopaminové reakce během získání úlohy sériové reakce, kdy správná reakce náhle vede k odměně za živiny. Odezva odměny je následně přenesena na progresivně dřívější stimuly předpovídající odměnu. Reakční časy se s prodlouženou praxí dále zlepšují, protože prostorové polohy cílů jsou stále více předvídatelné. Přestože dopaminové neurony nadále reagují na stimuly předpovídající odměnu, další zlepšení chování může být způsobeno zejména získáním prediktivního zpracování prostorových pozic jinými neuronálními systémy. Reakce dopaminu by tedy nastaly během počáteční motivační části učení, ve které předměty přicházejí k objektům a získávají explicitní primární a případně podmíněné odměny. Byli by méně zapojeni do situací, ve kterých pokrok v učení přesahuje navození chování při přístupu. To by neomezovalo dopaminovou roli na počáteční kroky učení, protože mnoho situací vyžaduje, aby se nejprve učily z příkladů a teprve později zahrnovaly učení pomocí explicitních výsledků.

Chyba predikce

Signál chyby predikce dopaminových neuronů by byl vynikajícím indikátorem přitažlivé hodnoty environmentálních událostí ve vztahu k predikci, ale nedokázal rozlišovat mezi potravinami, tekutinami a stimuly předpovídajícími odměnu a mezi vizuálními, zvukovými a somatosenzorickými modalitami. Tento signál může představovat výstražnou zprávu odměny, pomocí které jsou postsynaptické neurony informovány o překvapivém vzhledu nebo opomenutí prospěšné nebo potenciálně prospěšné události, aniž by dále uváděly svou identitu. Má všechny formální vlastnosti silného posilujícího signálu pro učení. Informace o specifické povaze odměn jsou však rozhodující pro určení, ke kterému z objektů by se mělo přistupovat a jakým způsobem. Například by hladové zvíře mělo primárně přistupovat k potravinám, ale ne k tekutinám. Aby bylo možné odlišit relevantní od irelevantní odměny, musí být dopaminový signál doplněn dalšími informacemi. Nedávné experimenty s dialýzou in vivo prokázaly vyšší hladinu uvolňování dopaminu vyvolanou potravou u hladovějících než u saturovaných krys (Wilson a kol. 1995). Tato závislost na řízení uvolňování dopaminu nemusí zahrnovat impulzní odezvy, protože se nám nepodařilo najít jasnou závislost na řízení s odpověďmi na dopamin, když jsme porovnávali časná a pozdní období jednotlivých experimentálních relací, během nichž se zvířata nasycila tekutinou (JL Contreras-Vidal a W. Schultz, nepublikovaná data).

Specifika odměňování

Informace týkající se odměn za tekutinu a jídlo se zpracovávají také v mozkových strukturách jiných než dopaminové neurony, jako je dorzální a ventrální striatum, subthalamické jádro, amygdala, dorsolaterální prefrontální kůra, orbitofrontální kůra a přední mozková kůra. Nezdá se však, že by tyto struktury vysílaly signál chyby predikce globální odměny podobný dopaminovým neuronům. U primátů tyto struktury zpracovávají odměny jako 1) přechodné reakce po doručení odměny (Apicella a kol. 1991a,b, 1997; Bowman a kol. 1996; Hikosaka a kol. 1989; Niki a Watanabe 1979; Nishijo a kol. 1988; Tremblay a Schultz 1995; Watanabe 1989), 2) přechodné reakce na podněty předpovídající odměnu (Aosaki a kol. 1994; Apicella a kol. 1991b; 1996; Hollerman a kol. 1994; Nishijo a kol. 1988; Thorpe a kol. 1983; Tremblay a Schultz 1995; Williams a kol. 1993), 3) trvalé aktivace během očekávání bezprostředně nadcházejících odměn (Apicella a kol. 1992; Hikosaka a kol. 1989; Matsumura a kol. 1992; Schultz a kol. 1992; Tremblay a Schultz 1995), A 4) modulace aktivací souvisejících s chováním pomocí předpokládané odměny (Hollerman a kol. 1994; Watanabe 1990, 1996). Mnoho z těchto neuronů dobře rozlišuje mezi různými odměnami za jídlo a mezi různými odměnami za tekutinu. Zpracovávají tedy specifickou povahu obohacující akce a mohou sloužit vnímání odměn. Některé odpovědi na odměny závisí na nepředvídatelnosti odměny a jsou sníženy nebo chybí, pokud je odměna předpovězena podmíněným stimulem (Apicella a kol. 1997; Matsumoto a kol. 1995; L. Tremblay a W. Schultz, nepublikovaná data). Mohou zpracovat předpovědi pro konkrétní odměny, ačkoli není jasné, zda signalizují chyby predikce, protože jejich reakce na vynechané odměny nejsou známy.

Udržování zavedeného výkonu

Tři neuronální mechanismy se zdají být důležité pro udržení zavedeného behaviorálního výkonu, a to detekci opomenutých odměn, detekci stimulů předpovídajících odměnu a detekci předpokládaných odměn. Dopaminové neurony jsou deprimovány, když jsou vynechány předpovídané odměny. Tento signál by mohl snížit synaptickou účinnost související s chybnými behaviorálními odpověďmi a zabránit jejich opakování. Dopaminová odpověď na stimuly předpovídající odměnu je udržována během ustaveného chování, a proto nadále slouží jako předběžná informace. Přestože dopaminové neurony nedetekují plně předpovězené odměny, jsou zpracovány výše uvedenými nondopaminergními kortikálními a subkortikálními systémy. To by bylo důležité, aby nedošlo k zániku naučeného chování.

Dohromady se zdá, že zpracování specifických odměn za učení a udržování přístupového chování by silně profitovalo ze spolupráce mezi dopaminovými neurony signalizujícími nepředvídaný výskyt nebo opomenutí odměny a neurony v ostatních strukturách současně, což naznačuje specifickou povahu odměny.

Noradrenalinové neurony

Téměř celá populace noradrenalinových neuronů v lokusu coeruleus u potkanů, koček a opic vykazuje poměrně homogenní, bifázické aktivační-depresivní reakce na vizuální, sluchové a somatosenzorické stimuly vyvolávající orientační reakce (Aston-Jones a Bloom 1981; Foote a kol. 1980; Rasmussen a kol. 1986). Obzvláště efektivní jsou občasné události, kterým zvířata věnují pozornost, jako jsou vizuální podněty při zvláštním diskriminačním úkolu (Aston-Jones a kol. 1994). Noradrenalinové neurony velmi dobře rozlišují mezi vzrušujícími nebo motivujícími a neutrálními událostmi. Rychle získávají odpovědi na nové cílové podněty během obrácení a ztratí odpovědi na předchozí cíle před dokončením zvrácení chování (Aston-Jones a kol. 1997). Reakce na uvolnění kapaliny mimo jakýkoli úkol a přenos na cílové stimuly předpovídající odměnu v rámci úkolu, jakož i na primární a podmíněné averzní podněty (Aston-Jones a kol. 1994; Foote a kol. 1980; Rasmussen a Jacobs 1986; Sara a Segal 1991). Reakce jsou často přechodné a zdá se, že odrážejí změny ve výskytu nebo významu stimulu. K aktivaci může dojít pouze u několika pokusů s opakovanou prezentací potravinových objektů (Vankov a kol. 1995) nebo s podmíněnými zvukovými podněty spojenými s odměnou v tekutině, averzním nafouknutím nebo elektrickým šokem nohouRasmussen a Jacobs 1986; Sara a Segal 1991). Během kondicionování dochází k reakcím na prvních několik prezentací nových podnětů a přechodně se objevuje vždy, když se během akvizice, obrácení a zániku změní kontingenční situace (Sara a Segal 1991).

Dohromady, odpovědi noradrenalinových neuronů se podobají reakcím dopaminových neuronů v několika ohledech, jsou aktivovány primárními odměnami, odměnami předpovídajícími odměny a novými stimuly a přenášejícími reakci z primárních na podmíněné chutné příhody. Neurony noradrenalinu se však liší od neuronů dopaminu tím, že reagují na mnohem větší škálu vzbuzujících stimulů, dobře reagují na primární a kondicionované averzivní stimuly, dobře rozlišují proti neutrálním stimulům, rychle sledují zvraty chování a vykazují snižující se reakce s opakovaným stimulem. prezentace, která může vyžadovat testy 100 pro spolehlivé reakce na chuť k jídlu (Aston-Jones a kol. 1994). Noradrenalinové reakce jsou silně spojeny se vzbuzujícími nebo poutavými vlastnostmi podnětů vyvolávajících orientační reakce, zatímco mnohem méně se zaměřují na chuťové stimulační vlastnosti jako většina dopaminových neuronů. Pravděpodobně jsou motivováni více pozorností než motivací složek chutných událostí.

Serotoninové neurony

Aktivita v různých jádrech raphe usnadňuje motorický výstup nastavením svalového tónu a stereotypní motorické aktivity (Jacobs a Fornal 1993). Neurony dorzálního raphe u koček vykazují fázové, neobvyklé reakce na vizuální a sluchové podněty bez zvláštního behaviorálního významu (Heym a kol. 1982; LeMoal a Olds 1979). Tyto reakce se podobají reakcím dopaminových neuronů na nové a zvláště významné stimuly. Další srovnání by vyžadovalo podrobnější experimentování.

Nucleus basalis Meynert

Primární bazální neurony předního mozku jsou aktivovány fázově velkým množstvím behaviorálních událostí, včetně podmíněných stimulačních stimulů a primárních odměn. Mnoho aktivací závisí na paměti a přidruženích k posílení diskriminace a zpožděných reakčních úkolů. Aktivace odrážejí znalost podnětů (Wilson a Rolls 1990a), stávají se důležitějšími se stimuly a pohyby, které se objevují blíže k času odměny (Richardson a DeLong 1990), dobře rozlišovat mezi vizuálními podněty na základě chtivých a averzivních asociací (Wilson a Rolls 1990b) a během několika změn se změní během obrácení (Wilson a Rolls 1990c). Neurony jsou také aktivovány averzivními stimuly, predikovanými vizuálními a zvukovými stimuly a pohyby. Často reagují na plně předvídané odměny v dobře zavedených behaviorálních úkolech (Mitchell a kol. 1987; Richardson a DeLong 1986, 1990), ačkoli odpovědi na nepředvídané odměny jsou v některých studiích hojnější (Richardson a DeLong 1990), ale ne v jiných (Wilson a Rolls 1990a-c). Ve srovnání s dopaminovými neurony jsou aktivovány mnohem větším spektrem podnětů a událostí, včetně averzivních událostí, a nevykazují poněkud homogenní populační odpověď na nepředvídané odměny a její přenos na stimuly předpovídající odměnu.

Cerebelární lezecká vlákna

Pravděpodobně první chybově řízený učební signál v mozku byl postulován tak, aby zahrnoval projekci stoupajících vláken z dolních oliv do neuronů Purkinje v mozkové kůře (Marr 1969) a mnoho cerebelárních studijních studií je založeno na tomto konceptu (Houk a kol. 1996; Ito 1989; Kawato a Gomi 1992; Llinas a velština 1993). Výstupy vláknových vstupů do purkinských neuronů přechodně mění svou aktivitu, když se změní zátěž pro pohyby nebo zisky mezi pohyby a vizuální zpětnou vazbou a opice se přizpůsobí nové situaci (Gilbert a Thach 1977; Ojakangas a Ebner 1992). Většina z těchto změn spočívá spíše ve zvýšené aktivitě než v reakcích na aktivaci versus deprese pozorovaných s chybami v opačných směrech v dopaminových neuronech. Pokud by aktivace stoupajícího vlákna měla sloužit jako výukový signál, měla by aktivace stoupajícího paralelního vlákna vést ke změnám v paralelním vstupu vlákna do Purkinjových neuronů. K tomu skutečně dochází jako dlouhodobá deprese paralelního vstupu vláken, zejména v přípravcích in vitro (Ito 1989). Srovnatelné změny paralelních vláken je však obtížnější najít v situacích učení chování (Ojakangas a Ebner 1992), přičemž v současné době zůstávají důsledky potenciálních výstupních signálů pro lezení vláken otevřené.

Druhý argument pro roli lezeckých vláken při učení zahrnuje averzní klasickou kondici. Frakce lezeckých vláken je aktivována averzivním vzduchovým potahem do rohovky. Tyto reakce jsou ztraceny po Pavlovianově ošetření víček pomocí sluchového podnětu (Sears a Steinmetz 1991), naznačující vztah k nepředvídatelnosti primárních averzivních událostí. Po kondicionování reagují neurony v jádru mozkového interpositu na kondicionovaný stimul (Berthier a Moore 1990; McCormick a Thompson 1984). Léze tohoto jádra nebo injekce antagonisty GABA bikurulinu do spodní olivy zabraňují ztrátě odpovědí na nafouknutí dolního olivového vzduchu po kondicionování, což naznačuje, že monosynaptická nebo polysynaptická inhibice z interpositus na nižší olivu potlačuje reakce po kondicionování (Thompson a Gluck 1991). To by mohlo umožnit deprese nižších olivových neuronů v nepřítomnosti předvídaných averzivních podnětů, a tak nahlásit negativní chybu v predikci averzivních událostí podobných dopaminovým neuronům.

Lezecká vlákna tedy mohou hlásit chyby v motorickém výkonu a chyby v predikci averzivních událostí, i když to nemusí vždy zahrnovat obousměrné změny jako u dopaminových neuronů. Nezdá se, že by šplhací vlákna získávaly odpovědi na podmíněné averzivní podněty, ale takové reakce se nacházejí v interpositus jádra. Výpočet averzivních predikčních chyb může zahrnovat sestupné inhibiční vstupy do dolních neuronů oliv, analogicky ke striatálním projekcím na dopaminové neurony. Cerebelární obvody tedy zpracovávají signály chyb, i když jinak než neurony dopaminu a modely TD, a mohou implementovat pravidla učení chyb, jako je pravidlo Rescorla-Wagner (Thompson a Gluck 1991) nebo formálně rovnocenné pravidlo Widrow-Hoff (Kawato a Gomi 1992).