Prediktívny signál odmeňovania dopamínových neurónov (1998)

Funkcie odmien

Niektoré objekty a udalosti v prostredí majú osobitný motivačný význam z hľadiska ich účinkov na blaho, prežitie a reprodukciu. Podľa vyvolaných reakcií na správanie môže byť motivačná hodnota environmentálnych objektov príťažlivá (obohacujúca) alebo averzívna (trestajúca). (Všimnite si, že „chutný“ sa používa ako synonymum pre „odmeňovanie“, ale nie pre „prípravný“.) Chutné objekty majú tri oddeliteľné základné funkcie. Vo svojej prvej funkcii odmeňuje vyvolávajúci prístup a konzumné správanie. Je to spôsobené tým, že objekty sú označené príťažlivou hodnotou prostredníctvom vrodených mechanizmov alebo vo väčšine prípadov učením. V rámci druhej funkcie odmeny zvyšujú frekvenciu a intenzitu správania, ktoré vedie k takýmto objektom (učenie sa), a udržiavajú naučené správanie tým, že zabraňujú vyhynutiu. Odmeny slúžia ako pozitívne posilňovače správania v klasických a inštrumentálnych procedúrach kondicionovania. Vo všeobecnom stimulačnom vzdelávaní získavajú environmentálne stimuly príťažlivú hodnotu podľa klasicky podmienených asociácií stimulov a odmien a navodzujú správanie pri prístupe (Bindra 1968). V rámci inštrumentálnej úpravy odmeňuje „posilňovanie“ správania posilňovaním asociácií medzi stimulmi a reakciami na správanie (zákon o účinku: Thorndike 1911). Toto je podstata „návratu na viac“ a súvisí so spoločnou predstavou o odmenách získavaných za to, že niečo urobili dobre. V inštrumentálnej forme motivačného učenia sú odmeny „stimuly“ a slúžia ako ciele správania, ktoré nasledujú po prepojeniach medzi reakciami na správanie a výsledkami (Dickinson a Balleine 1994). Pri svojej tretej funkcii odmeny vyvolávajú subjektívne pocity potešenia (hedónia) a pozitívnych emocionálnych stavov. Averzívne podnety fungujú opačným smerom. Vyvolávajú reakcie na stiahnutie a pôsobia ako negatívne zosilňovače tým, že zvyšujú a udržiavajú správanie pri vyhýbaní sa pri opakovanej prezentácii, čím znižujú vplyv škodlivých udalostí. Ďalej vyvolávajú vnútorné emocionálne stavy hnevu, strachu a paniky.

Funkcie predpovedí

Predpovede poskytujú vopred informácie o budúcich stimuloch, udalostiach alebo stavoch systému. Poskytujú základnú výhodu získavania času na behaviorálne reakcie. Niektoré formy predpovedí pripisujú motivačné hodnoty environmentálnym stimulom spojením s konkrétnymi výsledkami, čím identifikujú objekty životne dôležité a rozlišujú ich od menej hodnotných objektov. Iné formy kódujú fyzikálne parametre predpovedaných objektov, ako je priestorová poloha, rýchlosť a hmotnosť. Predpovede umožňujú organizmu vyhodnotiť budúce udalosti skôr, ako sa skutočne stanú, umožňujú výber a prípravu reakcií na správanie a zvyšujú pravdepodobnosť priblíženia alebo vylúčenia objektov označených motivačnými hodnotami. Napríklad opakované pohyby objektov v tej istej sekvencii umožňujú predvídať budúce polohy a už pripraviť ďalší pohyb pri sledovaní tohto objektu. To znižuje reakčný čas medzi jednotlivými cieľmi, zrýchľuje celkový výkon a vedie k skoršiemu výsledku. Prediktívne pohyby očí zlepšujú behaviorálne správanie pomocou zaostrenia vopred (Kvety a Downing 1978).

Na pokročilejšej úrovni umožňujú predbežné informácie poskytované predikciami robiť rozhodnutia medzi alternatívami na dosiahnutie konkrétnych stavov systému, na prístup k zriedkavo sa vyskytujúcim cieľom objektov alebo na zabránenie nenapraviteľným nepriaznivým účinkom. Priemyselné aplikácie používajú funkciu Internal Model Control na predpovedanie a reakciu na stavy systému skôr, ako sa skutočne vyskytnú (Garcia a kol. 1989). Napríklad technika „fly-by-wire“ v modernom letectve vypočítava predvídateľné budúce stavy lietadiel. Pri rozhodovaní o letových manévroch sa tieto informácie berú do úvahy a pomáhajú predchádzať nadmernému namáhaniu mechanických komponentov lietadla, čím sa znižuje hmotnosť a zvyšuje rozsah prevádzky.

Použitie prediktívnych informácií závisí od povahy reprezentovaných budúcich udalostí alebo stavov systému. Jednoduché znázornenia sa priamo týkajú polohy nadchádzajúcich cieľov a následnej behaviorálnej reakcie, čím sa čas reakcie skracuje pomerne automatickým spôsobom. Vyššie formy predpovedí sú založené na vyobrazeniach, ktoré umožňujú logický záver, ku ktorému sa dá pristupovať a ktoré sa môžu liečiť s rôznym stupňom úmyselnosti a výberu. U ľudí sa často vedome spracúvajú. Pred výskytom predpokladaných udalostí alebo stavov systému a vykonaním reakcií na správanie umožňujú takéto predpovede mentálne vyhodnotiť rôzne stratégie integráciou poznatkov z rôznych zdrojov, navrhnutím rôznych spôsobov reakcie a porovnaním ziskov a strát z každej možnej reakcie.

Úprava správania

Asociatívne učenie chuti zahŕňa opakované a podmienené párovanie medzi svojvoľným stimulom a primárnou odmenou (obr. 1). To vedie k čoraz častejšiemu prístupovému správaniu vyvolanému teraz „podmieneným“ stimulom, ktorý čiastočne pripomína prístupové správanie vyvolané primárnou odmenou a je tiež ovplyvňované povahou podmieneného stimulu. Zdá sa, že podmienený stimul slúži ako prediktor odmeny a často na základe vhodného pohonu nastavuje vnútorný motivačný stav, ktorý vedie k reakcii na správanie. Podobnosť reakcií prístupu naznačuje, že niektoré zo všeobecných prípravných zložiek behaviorálnej reakcie sa prenášajú z primárnej odmeny na najskoršie podmienený stimul predpovedajúci odmenu. Takto podmienený stimul pôsobí čiastočne ako motivačná náhrada za primárny stimul, pravdepodobne prostredníctvom Pavlovovho učenia (Dickinson 1980).

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 1. 

Spracovanie chutných podnetov počas učenia. Ľubovoľný stimul sa spája s primárnou potravou alebo tekutou odmenou prostredníctvom opakovaného, ​​podmieneného párovania. Tento podmienený stimul predpovedajúci odmenu vyvoláva vnútorný motivačný stav vyvolaním očakávania odmeny, často na základe zodpovedajúceho hladu alebo smädu, a vyvoláva reakciu na správanie. Táto schéma kopíruje základné pojmy teórie motivačnej motivácie, ktoré vyvinul Bindra (1968) a Skrutky (1972), Vzťahuje sa na klasické kondicionovanie, pri ktorom sa odmena poskytuje automaticky po podmienenom stimule, a na inštrumentálne (operantné) kondicionovanie, pri ktorom si poskytnutie odmeny vyžaduje reakciu subjektu na podmienený stimul. Táto schéma sa uplatňuje aj na averzívne kondicionovanie, ktoré sa z dôvodu stručnosti ďalej nespracováva.

Mnoho takzvaných „nepodmienených“ odmien za jedlo a tekutinu sa pravdepodobne získa prostredníctvom skúseností, čo môže potvrdiť každý návštevník v zahraničí. Primárna odmena by potom mohla pozostávať z chuti, ktorá sa objaví, keď predmet aktivuje chuťové receptory, ale to sa môže znova naučiť. Konečný obohacujúci účinok výživných objektov pravdepodobne spočíva v ich špecifickom vplyve na základné biologické premenné, ako je koncentrácia elektrolytu, glukózy alebo aminokyselín v plazme a mozgu. Tieto premenné sú definované vegetatívnymi potrebami organizmu a vznikajú evolúciou. Zvieratá sa vyhýbajú živinám, ktoré neovplyvňujú dôležité vegetatívne premenné, napríklad potravinám, ktorým chýbajú také esenciálne aminokyseliny, ako je histidín (Rogers a Harper 1970), treonín (Hrupka a kol. 1997; Wang a kol. 1996) alebo metionín (Delaney a Gelperin 1986). Niekoľko primárnych odmien môže byť determinovaných vrodenými inštinktami a podporujú správanie pri počiatočnom prístupe a požitie v ranom veku, zatiaľ čo väčšina odmien by sa získala počas následných životných skúseností subjektu. Fyzický vzhľad odmien by sa potom mohol použiť na predpovedanie oveľa pomalších vegetatívnych účinkov. To by dramaticky urýchlilo odhaľovanie odmien a predstavovalo by hlavnú výhodu pre prežitie. Učenie odmien tiež umožňuje subjektom používať oveľa väčšie množstvo výživných látok ako efektívne odmeňovanie, a tým zvyšuje ich šancu na prežitie v zónach s obmedzenými zdrojmi.

Aktivácia primárnymi chuťovými stimulmi

Približne 75% dopamínových neurónov vykazuje fázové aktivácie, keď sa zvieratá počas prieskumných pohybov dotýkajú malého kúsca skrytého jedla v neprítomnosti iných fázových stimulov bez aktivácie samotným pohybom (Romo a Schultz 1990). Zvyšné dopamínové neuróny nereagujú na žiadny z testovaných environmentálnych stimulov. Dopamínové neuróny sú tiež aktivované kvapkou tekutiny dodávanej do úst mimo akýchkoľvek behaviorálnych úloh alebo pri učení sa rôznych paradigiem, ako sú úlohy vizuálnej alebo sluchovej reakcie, priestorové oneskorené reakcie alebo alterácie a vizuálna diskriminácia, často u rovnakého zvieraťa (obr. , 2 top) (Hollerman a Schultz 1996; Ljungberg a kol. 1991, 1992; Mirenowicz a Schultz 1994; Schultz a kol. 1993). Odpovede na odmeny sa vyskytujú nezávisle od učebného kontextu. Nezdá sa teda, že dopamínové neuróny rozlišujú rôzne potravinové objekty a tekuté výhody. Ich odpovede sa však líšia odmenami a nevýhodami (Romo a Schultz 1990). Iba 14% dopamínových neurónov vykazuje fázové aktivácie, keď sú prítomné primárne averzívne stimuly, ako je nafúknutie do ruky alebo hypertonický soľný roztok do úst, a väčšina aktivovaných neurónov reaguje aj na odmeny (Mirenowicz a Schultz 1996). Hoci sú tieto podnety škodlivé, sú averzívne v tom, že narúšajú správanie a vyvolávajú aktívne vyhýbacie reakcie. Dopamínové neuróny však nie sú úplne necitlivé na averzívne stimuly, čo sa prejavuje pomalými depresiami alebo občasnými pomalými aktiváciami po stimulácii bolesti štipkou u anestézovaných opíc (Schultz a Romo 1987) a zvýšeným uvoľňovaním striatálneho dopamínu po elektrickom šoku a štipnutí chvosta v bdelých potkanoch (Abercrombie a kol. 1989; Doherty a Gratton 1992; Louilot a kol. 1986; Young a kol. 1993). To naznačuje, že fázové reakcie dopamínových neurónov prednostne hlásia environmentálne stimuly s primárnou chuťou, zatiaľ čo averzívne udalosti môžu byť signalizované značne pomalším časovým priebehom.

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 2. 

Dopamínové neuróny hlásia odmeny podľa chyby v predikcii odmeny. top: kvapka kvapaliny sa objaví, aj keď v tejto dobe sa nepredpokladá žiadna odmena. Výskyt odmeny teda predstavuje pozitívnu chybu v predikcii odmeny. Dopamínový neurón je aktivovaný nepredvídaným výskytom kvapaliny. prostredný: podmienený stimul predpovedá odmenu a odmena sa vyskytuje podľa predpovede, preto pri predpovedi odmeny neexistuje žiadna chyba. Dopamínový neurón nie je aktivovaný predpokladanou odmenou (správny). Ukazuje tiež aktiváciu po stimulácii predpovedajúcom odmenu, ku ktorému dochádza bez ohľadu na chybu v predpovedi neskoršej odmeny. (Vľavo). dno: podmienený stimul predpovedá odmenu, ale odmena sa nedostaví, pretože zviera nereagovalo. Aktivita dopamínového neurónu je znížená presne v čase, keď by došlo k odmene. Všimnite si depresiu, ktorá sa vyskytne> 1 s po podmienenom stimule bez akýchkoľvek vedľajších stimulov, čím sa odhalí vnútorný proces očakávania odmeny. Neuronálna aktivita v 3 grafoch sa riadi rovnicou: dopamínová odpoveď (odmena) = odmena nastala - odmena predpovedaná. CS, podmienený stimul; R, primárna odmena. Dotlač od Schultz a kol. (1997) so súhlasom Americkej asociácie pre rozvoj vedy.

Nepredvídateľnosť odmeny

Dôležitým rysom dopamínových reakcií je ich závislosť od nepredvídateľnosti udalostí. Aktivácia po odmenách nenastane, ak odmenám za jedlo a tekutinu predchádzajú fázové stimuly, ktoré boli podmienené takými predikciami (Obr. 2, prostredný) (Ljungberg a kol. 1992; Mirenowicz a Schultz 1994; Romo a Schultz 1990). Jedným z rozhodujúcich rozdielov medzi učením a úplne nadobudnutým správaním je miera nepredvídateľnosti odmeny. Dopamínové neuróny sa aktivujú odmenami počas fázy učenia, ale prestanú reagovať po úplnom nadobudnutí úloh vizuálnej a sluchovej reakcie (Ljungberg a kol. 1992; Mirenowicz a Schultz 1994), úlohy priestorovej oneskorenej reakcie (Schultz a kol. 1993) a simultánne vizuálne diskriminácie (Hollerman a Schultz 1996). Strata odpovede nie je spôsobená rozvíjajúcou sa všeobecnou necitlivosťou na odmeny, pretože aktivácie po odmeňovaní mimo úloh sa počas niekoľkých mesiacov experimentu neklesajú (Mirenowicz a Schultz 1994). Dôležitosť nepredvídateľnosti zahŕňa čas odmeňovania, ako to dokazujú prechodné aktivácie po odmenách, ktoré sa náhle doručia skôr alebo neskôr, ako sa predpokladalo (Hollerman a Schultz 1996). Celkovo je potrebné na predpovedanie neurónov dopamínu predpovedať výskyt odmeny vrátane jej času.

Depresia opomenutím predpokladanej odmeny

Dopamínové neuróny sú depresívne presne v čase obvyklého výskytu odmeny, keď nedôjde k úplne predpovedanej odmene, a to ani pri neprítomnosti bezprostredne predchádzajúceho stimulu (obr. 2, spodnej). Toto sa pozoruje, keď zvieratá nedokážu získať odmenu kvôli chybnému správaniu, keď experimentátor zastaví tok tekutiny napriek správnemu správaniu, alebo keď sa ventil počuteľne otvorí bez dodania tekutiny (Hollerman a Schultz 1996; Ljungberg a kol. 1991; Schultz a kol. 1993). Ak je dodanie odmeny oneskorené pre 0.5 alebo 1.0, dôjde v pravidelnom čase odmeny k depresii neurónovej aktivity a za novú odmenu nasleduje aktivácia.Hollerman a Schultz 1996). Obe reakcie sa vyskytujú iba počas niekoľkých opakovaní, až kým sa nový čas doručenia odmeny znova nepredpovedá. Naopak, poskytovanie odmeny skôr, ako je obvyklé, vedie k aktivácii v novom čase odmeny, ale v obvyklom čase nevyvoláva depresiu. To naznačuje, že nezvyčajne skoré doručenie odmeny ruší predpoveď odmeny na obvyklý čas. Neuróny dopamínu teda monitorujú výskyt aj čas odmeňovania. Ak neexistujú stimuly bezprostredne predchádzajúce vynechanej odmene, depresie nepredstavujú jednoduchú neuronálnu odpoveď, ale odrážajú proces očakávania založený na vnútorných hodinách sledujúcich presný čas predpokladanej odmeny.

Aktivácia podmienenými stimulmi stimulujúcimi odmeňovanie

Približne 55 - 70% dopamínových neurónov je aktivovaných podmienenými vizuálnymi a zvukovými stimulmi v rôznych klasicky alebo inštrumentálne podmienených úlohách opísaných vyššie (obr. 2, prostredný a spodnej) (Hollerman a Schultz 1996; Ljungberg a kol. 1991, 1992; Mirenowicz a Schultz 1994; Schultz 1986; Schultz a Romo 1990; P. Waelti, J. Mirenowicz a W. Schultz, nepublikované údaje). Prvé reakcie na dopamín na podmienené svetlo opísal autor Miller a kol. (1981) u potkanov liečených haloperidolom, ktoré zvyšovali výskyt a spontánnu aktivitu dopamínových neurónov, ale viedli k trvalejším odpovediam ako u neošetrených zvierat. Aj keď reakcie sa vyskytujú v blízkosti reakcií na správanie (Nishino a kol. 1987), nesúvisia so samotnými pohybmi paží a očí, pretože sa vyskytujú aj ipsilaterálne s pohybujúcou sa rukou a pri pokusoch bez pohybu paží alebo očí (Schultz a Romo 1990). Podmienené stimuly sú o niečo menej účinné ako primárne odmeny, pokiaľ ide o veľkosť odpovede a aktivované frakcie neurónov. Dopamínové neuróny reagujú iba na začiatok podmienených stimulov a nie na ich kompenzáciu, aj keď stimulačný offset predpovedá odmenu (Schultz a Romo 1990). Dopamínové neuróny nerozlišujú medzi vizuálnymi a zvukovými modalitami podmienených chutí podnetov. Rozlišujú však medzi chúlostivými a neutrálnymi alebo averzívnymi stimulmi, pokiaľ sú fyzicky dostatočne odlišné (Ljungberg a kol. 1992; P. Waelti, J. Mirenowicz a W. Schultz, nepublikované údaje). Iba 11% dopamínových neurónov, väčšina z nich s apetitívnymi odpoveďami, vykazuje typické fázové aktivácie tiež v reakcii na podmienené averzívne vizuálne alebo sluchové stimuly v aktívnych úlohách vyhýbania sa, pri ktorých zvieratá uvoľňujú kľúč, aby sa vyhli úderu vzduchu alebo kvapke hypertonického soľného roztoku. (Mirenowicz a Schultz 1996), hoci sa na takéto vyhýbanie sa dá pozerať ako na „odmeňujúce“. Tieto málo aktivácie nie sú dostatočne silné na to, aby vyvolali priemernú reakciu populácie. Fázické reakcie dopamínových neurónov teda prednostne vykazujú environmentálne stimuly s motivačnou hodnotou, ale bez rozlišovania medzi rôznymi senzorickými modalitami.

Prevod aktivácie

V priebehu učenia sa dopamínové neuróny postupne aktivujú podmienenými stimulmi stimulujúcimi odmenu a postupne strácajú svoje odpovede na predpovedané primárne jedlá alebo tekuté dávky (Hollerman a Schultz 1996; Ljungberg a kol. 1992; Mirenowicz a Schultz 1994) (Obr. 2 a 3). Počas prechodného vzdelávacieho obdobia vyvolávajú odmeny aj podmienené stimuly aktivácie dopamínu. K tomuto presunu z primárnej odmeny na podmienený stimul dochádza okamžite u jednotlivých dopamínových neurónov testovaných v dvoch dobre naučených úlohách, ktoré využívajú, nepredvídané a predpokladané odmeny (resp.Romo a Schultz 1990).

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 3. 

Prenos dopamínovej odpovede na najskorší prediktívny stimul. Reakcie na neočakávaný prenos primárnej odmeny na progresívne skoršie stimuly predpovedajúce odmenu. Všetky displeje ukazujú histogramy populácie získané spriemerovaním normalizovaných perievent časových histogramov všetkých dopamínových neurónov zaznamenaných v indikovaných situáciách správania, nezávisle od prítomnosti alebo neprítomnosti odpovede. top: mimo akejkoľvek behaviorálnej úlohy neexistuje žiadna populačná odpoveď v neurónoch 44 testovaných s malým svetlom (údaje z Ljungberg a kol. 1992), ale priemerná reakcia sa vyskytne u 35 neurónov na kvapku kvapaliny dodanej cez hubicu pred ústa zvieraťa (Mirenowicz a Schultz 1994). prostredný: odpoveď na spúšťací stimul stimulujúci predpovedanie odmeny v úlohe priestorového dosahovania voľby 2, ale neprítomnosť odpovede na odmenu poskytovanú počas stanoveného výkonu úlohy v rovnakých neurónoch 23 (Schultz a kol. 1993). dno: reakcia na pokyn, ktorý predchádza spúšťaciemu stimulu predpovedajúcemu odmenu pevným intervalom 1 s v rámci úlohy s priestorovým dosahom (19 neuróny) (Schultz a kol. 1993). Časová základňa je rozdelená kvôli rôznym intervalom medzi podmienenými stimulmi a odmenou. Pretlačené z Schultz a kol. (1995b) so súhlasom MIT Press.

Nepredvídateľnosť podmienených stimulov

Aktivácie po podmienených stimuloch predpovedajúcich odmenu sa nevyskytujú, ak týmto stimulom samotným predchádza v pevne stanovenom intervale fázové podmienené stimuly v úplne stanovených situáciách správania. Teda pri sériovo podmienených stimuloch sú dopamínové neuróny aktivované najskorším stimulom predpovedajúcim odmenu, zatiaľ čo všetky stimuly a odmeny nasledujúce po predvídateľných okamihoch potom sú neúčinné (obr. 3) (Schultz a kol. 1993). Jednotlivé reakcie vyvolávajú iba náhodne rozmiestnené sekvenčné stimuly. Rozsiahle pretrénovanie s vysoko stereotypným vykonávaním úloh tiež tlmí reakcie na podmienené podnety, pravdepodobne preto, že stimuly sa predpovedajú udalosťami v predchádzajúcom teste (Ljungberg a kol. 1992). To naznačuje, že nepredvídateľnosť stimulov je spoločnou požiadavkou pre všetky stimuly aktivujúce dopamínové neuróny.

Depresia vynechaním predpokladaných podmienených podnetov

Predbežné údaje z predchádzajúceho experimentu (Schultz a kol. 1993) naznačujú, že dopamínové neuróny sú tiež depresívne, keď je podmienený stimul predpovedajúci odmenu predpovedaný v stanovenom čase predchádzajúcim stimulom, ale nedochádza k nemu kvôli chybe zvieraťa. Ako pri primárnych výhodách, depresie sa vyskytujú v čase obvyklého výskytu podmieneného stimulu bez toho, aby boli priamo vyvolané predchádzajúcim stimulom. Takto môže byť depresia vyvolaná depresiou zovšeobecnená na všetky chutné udalosti.

Aktivačná depresia s generalizáciou odozvy

Dopamínové neuróny tiež reagujú na stimuly, ktoré nepredpovedajú odmeny, ale úzko sa podobajú stimulom predpovedajúcim odmeny vyskytujúcim sa v rovnakom kontexte. Tieto reakcie pozostávajú väčšinou z aktivácie nasledovanej okamžitou depresiou, ale môžu občas pozostávať z čistej aktivácie alebo čistej depresie. Aktivácie sú menšie a menej časté ako tie, ktoré nasledujú po stimulujúcich predikciách a depresie sa pozorujú v 30 – 60% neurónov. Dopamínové neuróny reagujú na vizuálne podnety, po ktorých nenasleduje odmena, ale veľmi sa podobajú stimulom predpovedajúcim odmenu, napriek správnej diskriminácii v správaní (Schultz a Romo 1990). Otvorenie prázdnej škatule nedokáže aktivovať dopamínové neuróny, ale nadobudne účinnosť v každej skúške, len čo škatuľka občas obsahuje jedlo (Ljungberg a kol. 1992; Schultz 1986; Schultz a Romo 1990) alebo ak sa susedná identická škatuľka obsahujúca vždy jedlo otvorí náhodným striedaním (Schultz a Romo 1990). Prázdny box vyvoláva slabšie aktivácie ako vyprázdnený box. Zvieratá vykonávajú bezohľadné reakcie na orientáciu očí do každej škatule, ale k návnadnej škatuli sa dostávajú iba rukou. Počas učenia dopamínové neuróny naďalej reagujú na predtým podmienené podnety, ktoré strácajú svoju predikciu odmeny, keď sa menia podmienky odmeňovania (Schultz a kol. 1993) alebo reagujú na nové podnety, ktoré sa podobajú skôr podmieneným podnetom (Hollerman a Schultz 1996). Reakcie sa vyskytujú dokonca aj na averzívne stimuly prezentované náhodne striedaním s fyzicky podobnými podmienenými apetitívnymi stimulmi rovnakej senzorickej modality, pričom averzívna reakcia je slabšia ako apetitívna (Mirenowicz a Schultz 1996). Reakcie zovšeobecňujú dokonca aj na behaviorálne potlačené chutné podnety. Zrejme sa neurónové reakcie zovšeobecňujú na neaplikujúce podnety kvôli ich fyzickej podobnosti s podnetmi podnetmi.

Nové odpovede

Nové stimuly vyvolávajú aktivácie v dopamínových neurónoch, po ktorých často nasledujú depresie a pretrvávajú, pokiaľ sa vyskytnú reakcie zamerané na správanie (napr. Očné vakády). Aktivácie ustupujú spolu s orientačnými reakciami po niekoľkých opakovaniach stimulu, v závislosti od fyzického dopadu stimulov. Zatiaľ čo malé diódy vyžarujúce svetlo ťažko vyvolávajú novinky, svetelné záblesky a rýchle vizuálne a sluchové otvorenie malého boxu vyvolávajú aktivácie, ktoré sa počas <100 pokusov postupne rozpadajú na základnú hodnotu (Ljungberg a kol. 1992). Hlasné kliknutia alebo veľké obrázky bezprostredne pred zvieraťom vyvolávajú silné novinky, ktoré sa rozpadajú, ale napriek tomu indukujú merateľné aktivácie pri> 1,000 XNUMX pokusoch (Hollerman a Schultz 1996; Horvitz a kol. 1997; Steinfels a kol. 1983). figúra 4 Schematicky ukazuje rôzne veličiny odozvy s novými stimulmi rôzneho fyzického výhľadu. Reakcie sa s opakovanou expozíciou postupne rozpadajú, ale pri veľmi významných stimuloch môžu pretrvávať pri znížených hodnotách. Veľkosť odozvy sa znova zvyšuje, keď sú rovnaké podnety apetitívne podmienené. Naopak, reakcie na nové, dokonca veľké stimuly rýchlo ustupujú, keď sa tieto stimuly používajú na kondicionovanie aktívneho vyhýbania sa správaniu (Mirenowicz a Schultz 1996). Len veľmi málo neurónov (<5%) reaguje počas niekoľkých pokusov na nápadné, ale fyzicky slabé podnety, ako je rozpad papiera alebo hrubý pohyb ruky experimentátora.

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 4. 

Časové priebehu aktivácie dopamínových neurónov na nové, výstražné a podmienené stimuly. Aktivácie po nových stimuloch klesajú s opakovanou expozíciou v nasledujúcich pokusoch. Ich veľkosť závisí od fyzického vývinu podnetov, pretože silnejšie podnety vyvolávajú vyššie aktivácie, ktoré občas prevyšujú aktivity po podnetoch. Obzvlášť významné stimuly pokračujú v aktivácii dopamínových neurónov s obmedzenou veľkosťou aj po strate ich novosti bez spárovania s primárnymi výhodami. Dôsledné aktivácie sa objavujú znova, keď sa stimuly spájajú s primárnymi výhodami. K tejto schéme prispel Jose Contreras-Vidal.

Homogénny charakter odpovedí

Doteraz uskutočnené experimenty odhalili, že väčšina neurónov v dopamínových bunkových skupinách midaxínu A8, A9 a A10 vykazuje veľmi podobné aktivácie a depresie v danej behaviorálnej situácii, zatiaľ čo zvyšné dopamínové neuróny vôbec nereagujú. Existuje tendencia vyšších frakcií neurónov reagujúcich vo viac stredných oblastiach stredného mozgu, ako je ventrálna tegmentálna oblasť a stredná substantia nigra, v porovnaní s laterálnymi oblasťami, ktoré občas dosahujú štatistickú významnosť (Schultz 1986; Schultz a kol. 1993). Latencie odpovede (50–110 ms) a trvanie (<200 ms) sú podobné medzi primárnymi odmenami, podmienenými stimulmi a novými stimulmi. Dopamínová odpoveď teda predstavuje relatívne homogénny skalárny populačný signál. Stupňuje sa podľa závažnosti reakciou jednotlivých neurónov a zlomkom reagujúcich neurónov v populácii.

Zhrnutie 1: adaptívne reakcie počas epizód učenia

Charakteristiky dopamínových reakcií na stimuly súvisiace s odmenami sú najlepšie ilustrované pri učení epizód, počas ktorých sú odmeny obzvlášť dôležité na získanie reakcií na správanie. Dopamínový odmeňovací signál prechádza systematickým vývojom v priebehu učenia a vyskytuje sa k prvému fázovému stimulu súvisiacemu s odmeňovaním, či už ide o stimul primárny alebo stimul predpovedajúci odmenu (Ljungberg a kol. 1992; Mirenowicz a Schultz 1994). Počas učenia nové, vnútorne neutrálne stimuly prechodne indukujú reakcie, ktoré čoskoro slabnú a vymiznú (obr. 4). Primárne odmeny sa vyskytujú nepredvídateľne počas počiatočného párovania s takýmito stimulmi a vyvolávajú neuronálne aktivácie. Pri opakovanom párovaní sú odmeny predpovedané podmienenými stimulmi. Aktivácie po odmene postupne klesajú a prenášajú sa na podmienený stimulačný stimul. Ak však predpovedaná odmena nenastane kvôli chybe zvieraťa, dopamínové neuróny sú potlačené v čase, keď by sa odmena vyskytla. Počas opakovaného učenia sa úloh (Schultz a kol. 1993) alebo komponenty úlohy (Hollerman a Schultz 1996), prvé kondicionované stimuly aktivujú dopamínové neuróny vo všetkých fázach učenia sa z dôvodu zovšeobecnenia na predtým naučené podobné stimuly, zatiaľ čo následné podmienené stimuly a primárne výhody aktivujú dopamínové neuróny iba prechodne, zatiaľ čo sú neisté a vytvárajú sa nové nepredvídané udalosti.

Zhrnutie 2: účinné stimuly pre dopamínové neuróny

Dopamínové reakcie vyvolávajú tri kategórie stimulov. Prvá kategória obsahuje primárne odmeny a podnety, ktoré sa stali platnými prediktormi odmien prostredníctvom opakovaného a podmieneného párovania s odmenami. Tieto stimuly tvoria spoločnú skupinu explicitných stimulov na predpovedanie odmien, pretože primárne odmeny slúžia ako prediktory vegetatívnych odmeňovacích účinkov. Efektívne stimuly zjavne majú varovnú zložku, pretože účinné sú iba stimuly s jasným začiatkom. Dopamínové neuróny vykazujú čisté aktivácie po výslovných stimuloch predpovedajúcich odmenu a sú depresívne, keď nedôjde k predpokladanej, ale vynechanej odmene (obr. 5, top).

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 5. 

Schematické zobrazenie reakcií dopamínových neurónov na typy podmienených stimulov 2. top: prezentácia explicitného stimulu predpovedajúceho odmenu vedie k aktivácii po stimulácii, k reakcii na predpokladanú odmenu a ak dôjde k očakávanej odmene, k depresii. dno: prezentácia stimulu, ktorý sa veľmi podobá podmienenému stimulu predpovedajúcemu odmenu, vedie k aktivácii, po ktorej nasleduje depresia, aktivácia po odmene a žiadna odozva, keď k odmene nedôjde. Aktivácia po stimulácii pravdepodobne odráža zovšeobecnenie reakcie kvôli fyzickej podobnosti. Tento stimul výslovne nepredpovedá odmenu, ale súvisí s ňou prostredníctvom jej podobnosti so stimulom predpovedajúcim odmenu. V porovnaní s explicitnými stimulmi predpovedajúcimi odmeňovanie sú aktivácie nižšie a často sú nasledované depresiami, čím sa rozlišuje medzi odmenenými (CS +) a nezabezpečenými (CS –) podmienenými stimulmi. Táto schéma sumarizuje výsledky z predchádzajúcich a súčasných experimentov (Hollerman a Schultz 1996; Ljungberg a kol. 1992; Mirenowicz a Schultz 1996; Schultz a Romo 1990; Schultz a kol. 1993; P. Waelti a W. Schultz, nepublikované výsledky).

Druhá kategória obsahuje stimuly, ktoré vyvolávajú zovšeobecňujúce reakcie. Tieto stimuly výslovne nepredpovedajú odmeny, ale sú účinné z dôvodu svojej fyzickej podobnosti s stimulmi, ktoré sa stali kondicionérmi explicitnými prediktormi odmien. Tieto stimuly indukujú aktivácie, ktoré sú nižšie v rozsahu a postihujú menej neurónov v porovnaní s explicitnými stimulmi predpovedajúcimi odmenu (obr. 5, spodnej). Za nimi často nasledujú okamžité depresie. Zatiaľ čo počiatočná aktivácia môže predstavovať zovšeobecnenú apetitívnu reakciu, ktorá signalizuje možnú odmenu, následná depresia môže odrážať predikciu neexistencie odmeny vo všeobecnom kontexte predpovedania odmeny a zrušiť chybný predpoklad odmeny. Neexistencia výslovnej predikcie odmeny sa ďalej naznačuje prítomnosťou aktivácie po primárnej odmene a absenciou depresie bez odmeny. Spolu s odpoveďami na stimuly predpovedajúce odmenu sa zdá, že aktivácia dopamínu vykazuje príťažlivú „značku“ pripevnenú k stimulom, ktoré súvisia s odmenami.

Tretia kategória obsahuje nové alebo obzvlášť významné podnety, ktoré sa nemusia nevyhnutne vzťahovať na konkrétne odmeny. Vyvolávaním reakcií zameraných na správanie tieto stimuly upozorňujú a prikazujú pozornosť. Majú však aj motivujúce funkcie a môžu byť odmeňovaní (Fujita 1987). Nové podnety sú potenciálne chutné. Nové alebo obzvlášť výrazné stimuly indukujú aktivácie, ktoré sú často nasledované depresiami, podobné reakciám na všeobecné stimuly.

Fázické reakcie dopamínových neurónov teda hlásia udalosti s pozitívnymi a potenciálne pozitívnymi motivačnými účinkami, ako sú primárne odmeny, stimuly predpovedajúce odmenu, udalosti pripomínajúce odmenu a varovné stimuly. Vo veľkej miere však nezistia udalosti s negatívnymi motivačnými účinkami, ako sú averzívne stimuly.

Zhrnutie 3: signál chyby predikcie dopamínovej odmeny

Dopamínové reakcie na explicitné udalosti súvisiace s odmenami možno najlepšie konceptualizovať a pochopiť z hľadiska formálnych teórií učenia. Dopamínové neuróny vykazujú odmeny relatívne podľa svojej predpovede, a nie bezpodmienečne signalizujú primárne odmeny (obr. 2). Dopamínová reakcia je pozitívna (aktivácia), keď dôjde k primárnym prínosom bez predpovedania. Reakcia je nulová, keď sa odmeňovanie objaví podľa predpovede. Reakcia je negatívna (depresia), keď sú vynechané predpokladané odmeny. Neuróny dopamínu teda vykazujú primárne odmeny podľa rozdielu medzi výskytom a predikciou odmeny, čo možno nazvať chybou v predikcii odmeny (Schultz a kol. 1995b, 1997) a predbežne sa formalizuje ako

Rovnica 1Tento návrh môže byť rozšírený na podmienené príležitostné príhody, ktoré tiež hlásia dopamínové neuróny v porovnaní s predikciou. Preto môžu dopamínové neuróny hlásiť chybu v predpovedi všetkých príhodných udalostí a Ekv. 1 možno uviesť všeobecnejšou formou

Rovnica 2Táto zovšeobecnenie je zlučiteľné s myšlienkou, že väčšina odmien je v skutočnosti podmienenými stimulmi. Pri niekoľkých po sebe idúcich, dobre zavedených udalostiach predpovedajúcich odmenu je iba prvá udalosť nepredvídateľná a vyvoláva aktiváciu dopamínu.

Pôvod dopamínovej reakcie

Ktoré anatomické vstupy by mohli byť zodpovedné za selektivitu a polysenzorickú povahu dopamínových reakcií? Ktorá vstupná aktivita by mohla viesť k kódovaniu predikčných chýb, vyvolať prenos adaptívnej reakcie na najskoršiu nepredvídateľnú udalosť chuti do jedla a odhadnúť čas odmeny?

Vplyv fázového dopamínu na cieľové štruktúry

GLOBÁLNA PRÍRODA DOPAMINOVÉHO SIGNÁLU.

Rozdielne projekcie. V každej substantia nigra krýs sú ∼8,000 dopamínové neuróny (Oorschot 1996) a 80,000 – 116,000 u opíc makak (German et al. 1988; Percheron a kol. 1989). Každý striatum obsahuje ∼2.8 miliónov neurónov u potkanov a 31 miliónov u makakov, čo vedie k nigrostriatálnemu divergenčnému faktoru 300 – 400. Každý dopamínový axón sa hojne rozrastie v obmedzenej terminálnej oblasti v striatume a má iat500,000 striatálne varixy, z ktorých sa dopamín uvoľňuje (Andén a kol. 1966). To vedie k vstupu dopamínu do takmer každého striatálneho neurónu (Groves a kol. 1995) a mierne topografická nigrostriatálna projekcia (Lynd-Balta a Haber 1994). Kortikálna inervácia dopamínu u opíc je najvyššia v oblastiach 4 a 6, stále je značná v predných, parietálnych a dočasných lalokoch a je najnižšia v týlnom laloku (Berger a kol. 1988; Williams a Goldman-Rakic ​​1993). Kortikálne dopamínové synapsie sa vyskytujú prevažne vo vrstvách I a V – VI, kde sa tam dotýka veľkej časti kortikálnych neurónov. Spolu s pomerne homogénnou povahou reakcie tieto údaje naznačujú, že dopamínová reakcia postupuje ako simultánna paralelná vlna aktivity zo stredného mozgu do striata a frontálnej kôry (obr. 7).

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 7. 

Globálny dopamínový signál postupuje do striata a kôry. Relatívne homogénna populačná odpoveď väčšiny dopamínových neurónov na chutné a varovné stimuly a jej progresiu z substantia nigra do postsynaptických štruktúr možno schematicky vnímať ako vlnu synchrónnej paralelnej aktivity postupujúcej rýchlosťou 1 – 2 m / s (Schultz a Romo 1987) pozdĺž rozbiehajúcich sa výčnelkov od stredného mozgu k striatu (kaudát a putamén) a kôre. Reakcie sú kvalitatívne nerozlíšiteľné medzi neurónmi substantia nigra (SN) pars compacta a ventrálnou tegmentálnou oblasťou (VTA). Inervácia dopamínu všetkých neurónov v striate a mnohých neurónov v prednej mozgovej kôre by umožnila zosilneniu dopamínového signálu pôsobiť skôr globálne. Vlna bola stlačená, aby zdôraznila paralelnú povahu.

Uvoľňovanie dopamínu. Impulzy dopamínových neurónov v intervaloch 20 – 100 ms vedú k oveľa vyššej koncentrácii dopamínu v striatu ako rovnaký počet impulzov v intervaloch 200 ms (Garris a Wightman 1994; Gonon 1988). Táto nelinearita je spôsobená najmä rýchlou saturáciou transportéra spätného vychytávania dopamínu, ktorý vylučuje uvoľnený dopamín z extrasynaptickej oblasti (Chergui a kol. 1994). Rovnaký účinok sa pozoruje v nucleus accumbens (Wightman a Zimmerman 1990) a vyskytuje sa dokonca aj v dlhších intervaloch impulzov kvôli riedším miestam spätného vychytávania (Garris a kol. 1994b; Marshall a kol. 1990; Stamford a kol. 1988). Uvoľňovanie dopamínu po impulznom výboji <300 ms je príliš krátke na aktiváciu autoreceptorom sprostredkovaného zníženia uvoľňovania (Chergui a kol. 1994) alebo ešte pomalšia enzymatická degradácia (Michael a kol. 1985). Takže prasknutie dopamínovej reakcie je zvlášť účinné na uvoľňovanie dopamínu.

Odhady založené na in vivo voltametrii naznačujú, že jediný impulz uvoľňuje molekuly amine1,000 dopamínu pri synapsiách v striatum a nucleus accumbens. To vedie k okamžitej koncentrácii synaptického dopamínu 0.5 – 3.0 μM (Garris a kol. 1994; Kawagoe a kol. 1992). Po 40 μs po začiatku uvoľňovania opustilo synapsiu> 90% dopamínu, časť zvyšku sa neskôr vylúčila synaptickým spätným vychytávaním (polovičný čas nástupu 30-37 ms). Za 3–9 ms po začiatku uvoľňovania dosiahnu koncentrácie dopamínu vrchol okolo 250 nM, keď všetky susedné varikozity súčasne uvoľňujú dopamín. Koncentrácie sú homogénne v sfére s priemerom 4 μm (Gonon 1997), čo je priemerná vzdialenosť medzi varixmi (Doucet a kol. 1986; Groves a kol. 1995). Maximálna difúzia je reuptake transportérom obmedzená na 12 μm a je dosiahnutá za 75 ms po začiatku uvoľňovania (polovičný čas nástupu transportéra 30-37 ms). Koncentrácie by boli o niečo nižšie a menej homogénne v regiónoch s menšími varikozitami alebo pri aktivácii <100% dopamínových neurónov, sú však pri impulzných výbojoch dvakrát až trikrát vyššie. Mierne synchrónne prasknuté aktivácie vyvolané odmenou v ~ 75% dopamínových neurónov teda môžu viesť k pomerne homogénnym maximám koncentrácie v rozmedzí 150–400 nM. Celkové prírastky extracelulárneho dopamínu trvajú 200 ms po jednom impulze a 500–600 ms po viacerých impulzoch v intervale 20–100 ms aplikovaných počas 100–200 ms (Chergui a kol. 1994; Dugast a kol. 1994). Extrasynaptický transportér spätného vychytávania (Nirenberg a kol. 1996) následne vracia koncentrácie dopamínu späť na základnú úroveň 5 – 10 nM (Herrera-Marschitz a kol. 1996). Na rozdiel od klasickej, prísne synaptickej neurotransmisie sa teda synapticky uvoľňovaný dopamín rýchlo šíri do bezprostrednej susednej oblasti a dosahuje krátke vrcholy regionálne homogénnych extracelulárnych koncentrácií.

Receptory. Z dvoch hlavných typov dopamínových receptorov, receptorov typu D1 aktivujúcich adenylátcyklázu, tvoria v striatu ∼80% dopamínových receptorov. Z týchto 80% je v stave nízkej afinity 2 – 4 μM a 20% v stave vysokej afinity 9 – 74 nM (Richfield a kol. 1989). Zostávajúce 20% striatálnych dopamínových receptorov patria do typu adenylázových cykláz inhibujúcich D2, z ktorých 10 – 0% je v stave nízkej afinity a 80 – 90% v stave vysokej afinity, s podobnou afinitou ako receptory D1. Receptory D1 majú teda celkovo ∼100-krát nižšiu afinitu ako receptory D2. Striatálne receptory D1 sa nachádzajú prevažne na neurónoch vyčnievajúcich do vnútorného pallidum a substantia nigra pars reticulata, zatiaľ čo receptory striatálnych receptorov D2 sa nachádzajú väčšinou na neurónoch premietajúcich do vonkajšieho pallidum (Bergson a kol. 1995; Gerfen a kol. 1990; Hersch a kol. 1995; Levey a kol. 1993). Rozdiely v citlivosti receptora však nemusia hrať úlohu okrem prenosu signálu, čím sa znižujú rozdiely v citlivosti na dopamín medzi dvoma typmi striatálnych výstupných neurónov.

Dopamín sa uvoľňuje do 30 – 40% zo synaptických a do 60 – 70% z extrasynaptických varixov (Descarries a kol. 1996). Synapticky uvoľňovaný dopamín pôsobí na postsynaptické dopamínové receptory na štyroch anatomicky odlišných miestach v striate, a to vo vnútri dopamínových synapsií, bezprostredne susediacich s dopamínovými synapsiami, vo vnútri kortikostriálnych glutamátových synapsií a na extrasynaptických miestach vzdialených od miest uvoľňovania (obr. 8) (Levey a kol. 1993; Sesack a kol. 1994; Yung a kol. 1995). Receptory D1 sú lokalizované hlavne mimo dopamínových synapsií (Caillé a kol. 1996). Vysoké prechodné koncentrácie dopamínu po impulzoch fázového impulzného impulzu by aktivovali receptory D1 v bezprostrednej blízkosti aktívnych miest uvoľňovania a všade aktivovali a dokonca nasýtili receptory D2. Receptory D2 by zostali čiastočne aktivované, keď sa okolitá koncentrácia dopamínu vráti na základnú úroveň po fázovom zvýšení.

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 8. 

Vplyv uvoľňovania dopamínu na typické stredne ostnaté neuróny v dorzálnom a ventrálnom striate. Dopamín uvoľňovaný impulzmi zo synaptických varixov aktivuje niekoľko synaptických receptorov (pravdepodobne typu D2 v stave s nízkou afinitou) a rýchlo difunduje zo synapsie, aby dosiahol receptory typu D1 s nízkou afinitou (D1?), Ktoré sa nachádzajú v blízkosti kortikostriálnych synapsií alebo na obmedzenú vzdialenosť. Fázicky zvýšený dopamín aktivuje blízke vysokoafinitné receptory typu D2 k saturácii (D2?). Receptory D2 zostávajú čiastočne aktivované okolitými koncentráciami dopamínu po fázovo zvýšenom uvoľňovaní. Extrasynapticky uvoľnený dopamín sa môže rozpustiť difúziou a aktivovať vysokoafinitné D2 receptory. Je potrebné poznamenať, že na rozdiel od tohto schematického diagramu je väčšina receptorov D1 a D2 umiestnená na rôznych neurónoch. Glutamát uvoľňovaný z kortikostiatálnych terminálov dosahuje postsynaptické receptory umiestnené na rovnakých dendritických chrbticiach ako dopamínové varikozity. Glutamát tiež dosahuje presynaptické varixy dopamínu, kde riadi uvoľňovanie dopamínu. Dopamíny dopamínu na ostnaté neuróny v čelnej kôre sú v mnohých ohľadoch porovnateľné.

Zhrnutie. Pozorovaná, stredne praskajúca, krátkodobá, takmer synchrónna reakcia väčšiny dopamínových neurónov vedie k optimálnemu súčasnému uvoľňovaniu dopamínu z väčšiny úzko rozmiestnených striatálnych varixov. Neurónová reakcia indukuje krátke potiahnutie dopamínu, ktoré sa uvoľňuje z extrasynaptických miest alebo rýchlo difunduje zo synapsií do juxtasynaptickej oblasti. Dopamín rýchlo dosahuje regionálne homogénne koncentrácie, ktoré pravdepodobne ovplyvnia dendrity pravdepodobne všetkých striatálnych a mnohých kortikálnych neurónov. Týmto spôsobom sa správa o odmeňovaní v 60 – 80% dopamínových neurónov vysiela ako divergentný, skôr globálny zosilňovací signál do striata, nucleus accumbens a frontálneho kortexu, čím sa zabezpečuje fázový vplyv na maximálny počet synapsií zapojených do spracovania. stimulov a akcií vedúcich k odmeňovaniu (obr. 7). Dopamín uvoľňovaný neurónovými aktiváciami po odmenách a stimuloch predpovedajúcich odmenu by ovplyvňoval juxtasynaptické receptory D1 na striatálnych neurónoch premietajúcich do vnútorného pallidum a substantia nigra pars reticulata a všetky receptory D2 na neurónoch premietajúcich do vonkajšieho pallidum. Zníženie uvoľňovania dopamínu vyvolané depresiami s vynechanými výhodami a stimulmi predpovedajúcimi odmenu by znížilo tonickú stimuláciu receptorov D2 okolitým dopamínom. Chyby predikcie pozitívnej odmeny by tak ovplyvnili všetky typy striatálnych výstupných neurónov, zatiaľ čo chyba negatívnej predikcie by mohla ovplyvniť najmä neuróny premietajúce sa do externého pallidum.

Možné mechanizmy kokaínu. Blokáda transportu spätného vychytávania dopamínu liekmi, ako je kokaín alebo amfetamín, zvyšuje a predlžuje fázové zvyšovanie koncentrácií dopamínu (Church a kol. 1987a; Giros a kol. 1996; Suaud-Chagny a kol. 1995). Zvýšenie by bolo zvlášť výrazné, keď rýchle zvýšenie nárazom vyvolané zvýšením koncentrácie dopamínu dosiahne vrchol pred účinnosťou regulácie spätnej väzby. Tento mechanizmus by viedol k masívne zvýšenému dopamínovému signálu po primárnom odmeňovaní a stimuloch predpovedajúcich odmenu. Zvýšil by sa tým aj trochu slabší dopamínový signál po stimuloch podobajúcich sa odmenám, novým stimulom a obzvlášť dôležitým stimulom, ktoré môžu byť v každodennom živote časté. Zvýšenie obsahu kokaínu by umožnilo, aby sa tieto nezodpovedajúce stimuly javili ako silné alebo dokonca silnejšie ako prirodzené výhody bez kokaínu. Postsynaptické neuróny by mohli taký signál nesprávne interpretovať ako zvlášť významnú udalosť súvisiacu s odmeňovaním a podstúpiť dlhodobé zmeny v synaptickom prenose.

Učebné teórie

Algoritmy zosilnenia

DOČASNÉ ROZDIELOVÉ VZDELÁVANIE.

V obzvlášť efektívnej triede zosilňovacích algoritmov (Sutton 1988; Sutton a Barto 1981), synaptické váhy sa upravujú podľa chyby v predikcii zosilnenia vypočítanej v nasledujúcich časových krokoch (t) v každom pokuse

rˆ(t)=r(t)+P(t)-P(t-l)

Rovnica 6 kdekoľvek r je posilnenie a P je predikcia zosilnenia. P (t) sa zvyčajne vynásobí diskontným faktorom γ s 0 ≤ γ <1, aby sa zohľadnil klesajúci vplyv čoraz vzdialenejších odmien. Z dôvodu jednoduchosti je tu γ nastavené na 1. V prípade jediného stimulu predpovedajúceho jeden zosilňovač predikcie P(t - 1) existuje pred časom t výstuže, ale končí v čase výstuže [P (t) = 0]. To vedie k účinnému zosilňovaciemu signálu v tom čase (T) výstuže

rˆ (t)=r(t)-P(t-l)

Rovnica 6a r(t) výraz označuje rozdiel medzi skutočným a predpokladaným zosilnením. Počas učenia je zosilnenie neúplne predpovedané, chybový termín je pozitívny, keď dôjde k zosilneniu a zvýšia sa synaptické hmotnosti. Po naučení je posilnenie úplne predpovedané predchádzajúcim stimulom [P(t - 1) = r(t)], chybový termín je nulový pri správnom správaní a synaptické hmotnosti zostávajú nezmenené. Ak je vystuženie vynechané z dôvodu neprimeraného výkonu alebo zmenených nepredvídaných okolností, chyba je negatívna a synaptické hmotnosti sa znížia. r(t) výraz je analogický s (λ-V) chybový termín modelu Rescorla-Wagner (Ekv. 4 ). Týka sa to však jednotlivých časových krokov (t) v rámci každého súdneho konania, a nie predpovedí, ktoré sa vyvíjajú počas nasledujúcich súdnych konaní. Tieto časové modely vystužovania využívajú skutočnosť, že získané predpovede zahŕňajú presný čas vystuženia (Dickinson a kol. 1976; Gallistel 1990; Smith 1968).

Algoritmy časového rozdielu (TD) využívajú aj získané predpovede na zmenu synaptických váh. V prípade nepredvídaného, ​​jedného podmieneného stimulu, ktorý predpovedá jeden zosilňovač, predikcia P (t) začína v čase (T), neexistuje žiadna predchádzajúca predpoveď [P(t - 1) = 0] a výstuž ešte nenastala [r(t) = 0]. Podľa Ekv. 6, model v tom čase vysiela čisto prediktívny efektívny zosilňovací signál (t) predpovede

rˆ=P(t)

Rovnica 6bV prípade viacerých po sebe nasledujúcich prediktívnych stimulov, opäť s chýbajúcim zosilnením v čase predpovedí, účinný zosilňovací signál v čase (T) predikcie odráža rozdiel medzi súčasnou predikciou P (t) a predchádzajúcu predpoveď P(t - 1)

rˆ=P(t)-P(t-l)

Rovnica 6cTo predstavuje chybový termín pre zosilnenie vyššej objednávky. Podobne ako plne predpovedané zosilňovače, všetky prediktívne stimuly, ktoré sú samy o sebe plne predpovedané, sa zrušia [P(t - 1) = P(t)], čo má za následok r = 0 (T) týchto podnetov. K účinnému signálu zosilnenia prispieva iba tento najskorší prediktívny stimul, pretože tento stimul P (t) nie je predpovedaný iným stimulom [P(t - 1) = 0]. To vedie k rovnakému výsledku r = P (t) v tom čase (T) prvej predikcie ako v prípade jedinej predikcie (Ekv. 6b).

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 9. 

Základné architektúry modelov neurónových sietí implementujúcich algoritmy časového rozdielu v porovnaní s konektivitou bazálnych ganglií. A: v pôvodnej implementácii efektívny výukový signál y - ȳ sa počíta v modeli neurónu A a zaslané na presynaptické terminály vstupov x do neurónu B, čo ovplyvňuje x → B - spracovanie a zmena synaptických hmotností na internete, - x → B synapsie. neurón B ovplyvňuje behaviorálny výstup cez axón y a zároveň prispieva k adaptívnym vlastnostiam neurónu A, konkrétne jeho reakcia na stimuly predpovedajúce zosilnenie. Novšie implementácie tejto jednoduchej architektúry používajú neurón A skôr ako neurón B na vysielanie výstupu O modelu (Montague a kol. 1996; Schultz a kol. 1997). Pretlačené z Sutton a Barto (1981) so súhlasom Americkej psychologickej asociácie. B: nedávna implementácia oddeľuje vyučovací komponent A, nazval kritika (správny), z výstupnej zložky pozostávajúcej z niekoľkých spracovateľských jednotiek B, nazval herec (Vľavo). Efektívny zosilňovací signál r(t) sa vypočíta odpočítaním časového rozdielu vo váženej predikcii zosilňovača γP(t) - P(t - 1) z primárneho vystuženia r(t) získané z prostredia (γ je diskontný faktor znižujúci hodnotu vzdialenejších zosilňovačov). Predikcia zosilňovača sa počíta v samostatnej predikčnej jednotke C, ktorá je súčasťou kritika a tvorí uzavretú slučku s vyučovacím prvkom A, zatiaľ čo primárne posilnenie vstupuje do kritiky prostredníctvom samostatného vstupu r_t. Efektívny zosilňovací signál ovplyvňuje synaptické hmotnosti na prichádzajúcich axónoch v hercovi, ktorý sprostredkuje výstup a v adaptívnej predikčnej jednotke kritika. Pretlačené z Barto (1995) so súhlasom MIT Press. C: základná prepojiteľnosť bazálnych ganglií odhaľuje nápadné podobnosti s architektúrou herec-krit. Dopamínová projekcia vysiela zosilňovací signál do striata a je porovnateľná s jednotkou A po častiach A a B, limbické striatum (alebo striosome-patch) zaujme pozíciu predikčnej jednotky C v kritikovi a senzimotorické striatum (alebo matica) sa podobá na herecké jednotky B. V pôvodnom modeli (A), jediná veľká odchýlka od zavedenej bazálnej anatómie ganglií spočíva vo vplyve neurónu A sú zamerané na presynaptické terminály, zatiaľ čo dopamínové synapsie sa nachádzajú na postsynaptických dendritoch striatálnych neurónov (Freund a kol. 1984). Pretlačené z Smith and Bolam (1990) so súhlasom Elsevier Press.

Dohromady efektívny signál zosilnenia (Ekv. 6 ) pozostáva z primárnej výstuže, ktorá sa znižuje s objavujúcimi sa predpoveďami (Ekv. 6a) a postupne ho nahrádzajú získané predpovede (NEK. 6b a 6c). Pri po sebe idúcich prediktívnych stimuloch sa účinný zosilňovací signál pohybuje v čase dozadu od primárneho zosilňovača po najskorší stimulátor predpovedajúci zosilňovač. Spätný prenos má za následok špecifickejšie pridelenie kreditu zúčastneným synapsám, pretože predpovede sa vyskytujú bližšie v čase k stimulom a behaviorálnym reakciám, ktoré majú byť upravené, v porovnaní s posilnením na konci pokusu (Sutton a Barto 1981).

Implementácie algoritmov výučby zosilnenia využívajú chybu predikcie dvoma spôsobmi, na zmenu synaptických váh pre výstup z správania a na získanie samotných predpovedí na nepretržité vypočítavanie chyby predikcie (obr. 9 A) (McLaren z roku 1989; Sutton a Barto 1981). Tieto dve funkcie sú oddelené v nedávnych implementáciách, v ktorých sa predikčná chyba počíta v adaptívnej kritickej zložke a mení synaptické hmotnosti v aktívnej zložke sprostredkujúcej výstup správania. (Obr. 9 B) (Barto 1995). Pozitívna chyba zvyšuje predikciu zosilnenia kritika, zatiaľ čo negatívna chyba vynechaného zosilnenia predikciu znižuje. Vďaka tomu je efektívny zosilňovací signál vysoko adaptívny.

Neurobiologické implementácie učenia časových rozdielov

ŽIADOSTI O NEUROBIOLOGICKÉ PROBLÉMY.

Hoci boli pôvodne vyvinuté na základe modelu klasickej kondicionácie Rescorla-Wagner, modely využívajúce algoritmy TD sa učia širokú škálu behaviorálnych úloh prostredníctvom v podstate inštrumentálnych foriem kondicionovania. Tieto úlohy siahajú od vyváženia pólu na volante kolesa (Barto a kol. 1983) hrať backgammon svetovej triedy (Tesauro 1994). Roboti používajúci algoritmy TD sa učia pohybovať sa po dvojrozmernom priestore a vyhnúť sa prekážkam, dosahu a uchopeniu (Fagg 1993) alebo vložte kolík do otvoru (Gullapalli a kol. 1994). Použitie zosilňovacieho signálu TD na priame ovplyvnenie a výber správania (obr. 9 A), Modely TD replikujú správanie sa pri hľadaní včiel medonosných (Montague a kol. 1995) a simulujú ľudské rozhodovanie (Montague a kol. 1996). Modely TD s výslovnou architektúrou kritika a aktéra tvoria veľmi silné modely, ktoré efektívne učia pohyby očí (Friston a kol. 1994; Montague a kol. 1993), sekvenčné pohyby (obr. 10) a orientačné reakcie (Contreras-Vidal a Schultz 1996). Nedávny model pridal aktivačno-depresívne novinové signály na zlepšenie výučbového signálu, použil stopy stimulu a akcie u kritika a herca a na zlepšenie výučného signálu a na výber neurónov aktéra s najväčšou aktiváciou sa použili pravidlá výhercu a všetkého. Toto veľmi podrobne reprodukovalo tak reakcie dopamínových neurónov, ako aj vzdelávacie správanie zvierat pri úlohách so oneskorenou reakciou (Suri a Schultz 1996). Je zvlášť zaujímavé vidieť, že výučba signálov využívajúcich predikčné chyby vedie k rýchlejšiemu a úplnejšiemu učeniu v porovnaní s bezpodmienečnými zosilňovacími signálmi (obr. 10) (Friston a kol. 1994).

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 10. 

Výhoda prediktívnych signálov zosilnenia pri učení. Model časového rozdielu s architektúrou kritika a aktéra a stopou spôsobilosti v hercovi bol vyškolený v postupnej výberovej úlohe 2 krok-3 (vložené vľavo hore). Učenie sa pokročilejšie a dosiahlo vyšší výkon, keď sa ako vyučovací signál použil prediktívny zosilňovací signál (adaptívny kritik, top) v porovnaní s použitím bezpodmienečného zosilňovacieho signálu na konci pokusu (spodnej). Tento efekt sa stáva stále výraznejší s dlhšími sekvenciami. Porovnateľná výkonnosť s bezpodmienečným signálom zosilnenia by vyžadovala oveľa dlhšiu stopu oprávnenosti. Údaje sa získali zo simulácií 10 (R. Suri a W. Schultz, nepublikované pozorovania). Podobné zlepšenie v učení s prediktívnym zosilnením bolo nájdené v modeli okulomotorického správania (Friston a kol. 1994).

Možné učebné mechanizmy využívajúce dopamínový signál

Predchádzajúca časť ukázala, že formálny predikčný chybový signál vysielaný dopamínovou reakciou môže predstavovať zvlášť vhodný učiaci signál pre učenie modelu. Nasledujúce časti opisujú, ako by sa biologická dopamínová reakcia mohla potenciálne využiť na učenie štruktúr bazálnych ganglií a naznačujú testovateľné hypotézy.

POSTSYNAPTICKÁ PLASTICITA MEDIOVANÁ ODMENENOU PREDICTIONOU SIGNÁLOM.

Učenie by prebiehalo v dvoch krokoch. Prvým krokom je získanie odpovede na predpovedanie odplaty dopamínu. V následných pokusoch by prediktívny dopamínový signál špecificky posilnil synaptické hmotnosti (co) hebbického typu kortikostiatálnych synapsií, ktoré sú aktívne v čase stimulu predpovedajúceho odmenu, zatiaľ čo neaktívne kortikostiatálne synapsie zostanú nezmenené. Výsledkom je pravidlo učenia sa troch faktorov

Δω=ɛ rˆ i o

Rovnica 8 kdekoľvek r je zosilňovací signál dopamínu, i je vstupná aktivita, o je výstupná aktivita a ɛ je miera učenia.

V zjednodušenom modeli sa štyri kortikálne vstupy (i1 – i4) dotýkajú dendritických chrbtíc troch stredne veľkých ostnatých striatálnych neurónov (o1 – o3; obr. 11). Kortikálne vstupy sa zbližujú na striatálnych neurónoch, pričom každý vstup je v kontakte s inou chrbticou. Rovnaké chrbtice sú selektívne kontaktované spoločným dopamínovým vstupom R. Aktivácia dopamínového vstupu R naznačuje, že v prostredí sa vyskytol nepredvídaný stimul predpovedajúci odmenu, bez poskytnutia ďalších podrobností (signál dobra). Predpokladajme, že kortikálny vstup i2 je aktivovaný súčasne s dopamínovými neurónmi a kóduje jeden z niekoľkých špecifických parametrov rovnakého stimulu predpovedajúceho odmenu, ako je jeho zmyslová modalita, strana tela, farba, štruktúra a poloha alebo špecifický parameter pohybu. vyvolané podnetom. Sada parametrov tejto udalosti by bola kódovaná sadou kortikálnych vstupov i2. Kortikálne vstupy i1, i3 a i4 nesúvisiace so súčasnými stimulmi a pohybmi sú neaktívne. Dopamínová odpoveď vedie k neselektívnemu uvoľňovaniu dopamínu pri všetkých varikozitách, ale selektívne by posilňovala iba aktívne kortikostiatálne synapsie i2 – o1 a i2 – o2 za predpokladu, že kortikálne vstupy sú dostatočne silné na aktiváciu striatálnych neurónov o1 a o2.

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 11. 

Diferenciálne vplyvy signálu zosilnenia globálneho dopamínu na selektívnu kortikostiatálnu aktivitu. Dendritické chrbty 3 stredne veľkých ostnitých stronálnych neurónov o1, o2 a o3 sú kontaktované kortikálnymi vstupmi 4 i1, i2, i3 a i4 a axonálnymi varikozitami z jediného dopamínového neurónu R (alebo z dopamínového neurónu R z aktivovaného neurónu z dopamínu neurónu R ). Každý striatálny neurón prijíma dop10,000 kortikálne a 1,000 dopamínové vstupy. Na jednotlivých dendritických chrbticiach konvergujú rôzne kortikálne vstupy so vstupom dopamínu. Vo verzii modelu 1 dopamínový signál zvyšuje súčasne aktívny kortikostiatálny prenos v porovnaní s neaktívnym prenosom. Napríklad dopamínový vstup R je aktívny súčasne s kortikálnym vstupom i2, zatiaľ čo i1, i3, i4 sú neaktívne. To vedie k modifikácii prenosu i2 → o1 a i2 → o2, ale prenosy i1 → o1, i3 → o2, i3 → o3 a i4 → o3 zostanú nezmenené. Vo verzii modelu používajúceho plasticitu sú synaptické hmotnosti kortikostiatálnych synapsií dlhodobo modifikované dopamínovým signálom podľa rovnakého pravidla. Môže k tomu dôjsť, keď dopamínové reakcie na podmienený stimul pôsobia na kortikostiatálne synapsie, ktoré sú týmto stimulom tiež aktivované. V inej verzii využívajúcej plasticitu môžu dopamínové odpovede na primárnu odmenu pôsobiť v čase na kortikostiatálne synapsie, ktoré boli predtým aktívne. Tieto synapsie by sa mohli modifikovať hypotetickou postsynaptickou stopou neurónov, ktorá zostala po tejto aktivite. Pri porovnaní štruktúry bazálnych ganglií s nedávnym modelom TD na obr. 9 B, dopamínový vstup R replikuje kritika s neurónom A, striatum s neurónmi o1 – o3 replikuje aktéra s neurónom B, kortikálne vstupy i1 – i4 replikujú aktérový vstup a divergentná projekcia dopamínových neurónov R na viacnásobných spinoch viacerých striatálnych neurónov o1 – o3 replikuje globálny vplyv kritika na herca. Podobné porovnanie urobil Houk a kol. (1995), Táto kresba je založená na anatomických údajoch podľa Freund a kol. (1984), Smith and Bolam (1990), Flaherty and Graybiel (1993)a Smith a kol. (1994).

Tento mechanizmus učenia využíva získanú dopamínovú reakciu v čase stimulu predpovedajúceho odmenu ako učiaci signál na vyvolanie dlhotrvajúcich synaptických zmien (obr. 12 A). Poznanie prediktívneho stimulu alebo spusteného pohybu je založené na preukázanom získaní dopamínovej odpovede na stimul predpovedajúci odmenu, spolu s plasticitou závislou od dopamínu v striate. Zmeny plasticity sa môžu vyskytnúť aj v kortikálnych alebo subkortikálnych štruktúrach po prúde od striata po dopamínom sprostredkovanom krátkodobom zvýšení synaptického prenosu v striatu. Spätné účinky odmien na podnety a pohyby predchádzajúce odmeňovaniu sú sprostredkované prenosom reakcie na najskorší stimul predpovedajúci odmenu. Dopamínová odpoveď na predpovedanú alebo vynechanú primárnu odmenu sa nepoužíva pre zmeny plasticity v striatu, pretože sa nevyskytuje súčasne s udalosťami, ktoré sa majú upraviť, hoci by sa mohla analogicky podieľať na výpočte dopamínovej reakcie na stimul predpovedajúci odmenu. architektúra a mechanizmus TD modelov.

• Stiahnuť obrázok
• Otvoriť v novej karte
• Stiahnuť

Obr. 12. 

Vplyvy dopamínového zosilňovacieho signálu na možné učebné mechanizmy v striate. A: prediktívna odpoveď na dopamínovú odmenu na podmienený stimul (CS) má priamy zosilňujúci alebo plastifikačný účinok na striatálnu neurotransmisiu súvisiacu s týmto stimulom. B: Dopamínová reakcia na primárnu odmenu má retrográdny efekt plasticity na striatálnu neurotransmisiu súvisiacu s predchádzajúcim podmieneným stimulom. Tento mechanizmus je sprostredkovaný stopou oprávnenosti, ktorá prevyšuje striatálnu aktivitu. Plné šípky označujú priame účinky dopamínového signálu na striatálnu neurotransmisiu (A) alebo stopu oprávnenosti (B), malá šípka v B označuje nepriamy účinok na striatálnu neurotransmisiu prostredníctvom stopy oprávnenosti.

Elektrická stimulácia dopamínových neurónov ako nepodmienený stimul

Elektrická stimulácia ohraničených oblastí mozgu spoľahlivo slúži ako zosilnenie pre získanie a udržanie správania pri priblížení (Olds a Milner 1954). Niektoré veľmi účinné samostimulačné miesta sa zhodujú s dopamínovými bunkovými telieskami a zväzkami axónov v strednom mozgu (Corbett a Wise 1980), nucleus accumbens (Phillips a kol. 1975), striatum (Phillips a kol. 1976) a prefrontálna kôra (Mora a Myers 1977; Phillips a kol. 1979), ale nachádzajú sa aj v štruktúrach nesúvisiacich s dopamínovými systémami (Biely a Milner 1992). Elektrická stimulácia zahŕňa aktiváciu dopamínových neurónov (Fibiger a Phillips 1986; Wise a Rompré 1989) a je redukovaný léziami dopónových axónov vyvolaných 6-hydroxydopamínom (Fibiger a kol. 1987; Phillips a Fibiger 1978), inhibícia syntézy dopamínu (Edmonds a Gallistel 1977), depolarizácia inaktivácia dopamínových neurónov (Rompré a Wise 1989) a antagonisty dopamínového receptora podávané systémovo (Furiezos a Wise 1976) alebo do nucleus accumbens (Mogenson a kol. 1979). Self-stimulácia je uľahčená zvýšením extracelulárneho dopamínu vyvolaného kokaínom alebo amfetamínom (Colle a Wise 1980; Stein 1964; Wauquier 1976). Self-stimulácia priamo zvyšuje využitie dopamínu v nucleus accumbens, striatum a frontálnej kôre (Fibiger a kol. 1987; Mora a Myers 1977).

Je zaujímavé si predstaviť, že elektricky vyvolané dopamínové impulzy a uvoľňovanie môžu slúžiť ako nepodmienené stimuly v asociatívnom učení, podobné stimulácii neurónov oktopamínu u včiel, ktoré sa učia reflexom proboscis (Kladivo 1993). Samostimulácia spojená s dopamínom sa však líši najmenej v troch dôležitých aspektoch od prirodzenej aktivácie dopamínových neurónov. Namiesto aktivácie dopamínových neurónov prirodzené odmeny obyčajne aktivujú paralelne niekoľko neurónových systémov a umožňujú distribuované kódovanie rôznych zložiek odmeňovania (pozri ďalší text). Po druhé, elektrická stimulácia sa uplatňuje ako bezpodmienečné zosilnenie bez toho, aby sa odrážala chyba v predikcii odmeny. Po tretie, elektrická stimulácia sa poskytuje ako odmena iba po reakcii na správanie, a nie v čase stimulu predpovedajúceho odmenu. Bolo by zaujímavé aplikovať elektrickú autostimuláciu presne rovnakým spôsobom ako dopamínové neuróny vysielajú svoj signál.

Deficity učenia s narušenou neurotransmisiou dopamínu

Mnohé štúdie skúmali správanie zvierat s narušenou neurotransmisiou dopamínu po lokálnej alebo systémovej aplikácii antagonistov dopamínových receptorov alebo deštrukcii dopamínových axónov vo ventrálnom midbraine, nucleus accumbens alebo striatum. Tieto štúdie okrem pozorovania lokomotorických a kognitívnych deficitov pripomínajúcich parkinsonizmus odhalili aj poruchy spracovania informácií o odmeňovaní. Najstaršie štúdie obhajovali deficity v subjektívnom, hedonickom vnímaní odmien (Wise 1982; Wise a kol. 1978). Ďalšie experimenty odhalili narušené používanie primárnych odmien a podmienené chutné podnety pre prístup a konzumné správanie (Beninger a kol. 1987; Ettenberg 1989; Miller a kol. 1990; Salamone 1987; Ungerstedt 1971; Wise a Colle 1984; Wise a Rompre 1989). Mnohé štúdie opisujú poruchy motivačných a pozorných procesov, ktoré sú základom apetitívneho učenia (Beninger 1983, 1989; Beninger a Hahn 1983; Fibiger a Phillips 1986; LeMoal a Simon 1991; Robbins a Everitt 1992, 1996; Biely a Milner 1992; Wise 1982). Väčšina deficitov učenia je spojená s poruchou neurotransmisie dopamínu v nucleus accumbens, zatiaľ čo poruchy dorzálneho striatu vedú k deficitom senzimotora (Amalric a Koob 1987; Robbins a Everitt 1992; Biela farba 1989). Učenie inštrumentálnych úloh všeobecne a predovšetkým diskriminačných stimulačných vlastností sa však zdá byť často ušetrené a nie je celkom vyriešené, či niektoré zjavné nedostatky v učení môžu byť zmätené deficitmi motorického výkonu (Salamone 1992).

Degenerácia dopamínových neurónov pri Parkinsonovej chorobe tiež vedie k množstvu deklaratívnych a procedurálnych deficitov učenia, vrátane asociatívneho učenia (Linden a kol. 1990; Sprengelmeyer a kol. 1995). Deficity sú prítomné v štúdiu pokusov a omylov s okamžitým posilnením (Vriezen a Moscovitch 1990) a pri spájaní explicitných stimulov s rôznymi výsledkami (Knowlton a kol. 1996), dokonca aj v počiatočných štádiách Parkinsonovej choroby bez kortikálnej atrofie (Canavan a kol. 1989). Parkinsonovskí pacienti tiež vykazujú zhoršené vnímanie času (Pastor a kol. 1992). Všetky tieto deficity sa vyskytujú v prítomnosti liečby L-Dopa, ktorá obnovuje tonické hladiny striatálneho dopamínu bez obnovenia fázových dopamínových signálov.

Tieto štúdie naznačujú, že neurotransmisia dopamínu hrá dôležitú úlohu pri spracovaní odmien za prístupové správanie a vo formách učenia zahŕňajúcich asociácie medzi podnetmi a odmenami, zatiaľ čo zapojenie do inštrumentálnejších foriem učenia by mohlo byť spochybnené. Nie je jasné, či tieto deficity odrážajú všeobecnejšiu behaviorálnu inaktiváciu spôsobenú tonicky zníženou stimuláciou dopamínových receptorov, ako absenciu fázového dopamínového odmeňovacieho signálu. Na vyriešenie tejto otázky, ako aj presnejšie objasnenie úlohy dopamínu v rôznych formách učenia, by bolo užitočné študovať učenie v situáciách, v ktorých sa skutočne vyskytuje fázová reakcia dopamínu na chuťové stimuly.

Formy učenia možno sprostredkované dopamínovým signálom

Charakteristiky dopamínových odpovedí a potenciálny vplyv dopamínu na striatálne neuróny môžu pomôcť pri vymedzení niektorých foriem učenia, do ktorých by sa dopamínové neuróny mohli zahrnúť. Preferenčné reakcie na apetít na rozdiel od averzívnych udalostí by uprednostnili skôr zapojenie sa do učenia správania pri postupe a sprostredkovanie pozitívnych účinkov posilnenia, než stiahnutie a potrestanie. Reakcie na primárne odmeny mimo úloh a učebných súvislostí by dopamínovým neurónom umožnili hrať úlohu v pomerne širokom spektre vzdelávania zahŕňajúceho primárne odmeny, a to pri klasickej aj inštrumentálnej kondicionácii. Reakcie na stimuly predpovedajúce odmenu odrážajú združenia stimulov a odmien a boli by zlučiteľné so zapojením sa do očakávania odmeny, ktoré je základom všeobecného stimulačného vzdelávania (Bindra 1968). Naopak, odpovede na dopamín výslovne nekódujú odmeny ako cieľové objekty, pretože iba hlásia chyby v predikcii odmeny. Zdá sa tiež, že nie sú citlivé na motivačné štáty, a tak znemožňujú špecifickú úlohu pri motivačnom učení sa cieľov zameraných na štát (Dickinson a Balleine 1994). Absencia jasných vzťahov s pohybmi rúk a očí by nepriaznivo ovplyvnila úlohu pri priamom sprostredkovaní reakcií na správanie, ktoré nasledujú stimulačné stimuly. Porovnanie medzi výbojmi jednotlivých neurónov a poznaním celých organizmov je však skutočne ťažké. Na synaptickej úrovni dosahuje fázovo uvoľňovaný dopamín mnoho dendritov na pravdepodobne každom striatálnom neuróne, a tak by mohol mať účinok plasticity na veľkú škálu behaviorálnych zložiek zahrňujúcich striatum, čo môže zahŕňať učenie pohybov.

Špecifické podmienky, za ktorých môžu fázové dopamínové signály hrať úlohu pri učení, sú určené druhmi stimulov, ktoré účinne indukujú dopamínovú reakciu. V pokusoch na zvieratách si dopamínové reakcie vyžadujú fázový výskyt chutných, nových alebo obzvlášť významných stimulov, vrátane odmeňovania primárnymi výživnými látkami a stimulov predpovedajúcich odmenu, zatiaľ čo averzívne stimuly nehrajú hlavnú úlohu. Dopamínové odpovede sa môžu vyskytovať vo všetkých behaviorálnych situáciách kontrolovaných fázovými a explicitnými výsledkami, aj keď stimuly podmienené vyšším rádom a sekundárne zosilňovače ešte neboli testované. Fázové dopamínové reakcie pravdepodobne nebudú hrať úlohu vo formách vzdelávania, ktoré nie sú sprostredkované fázovo sa vyskytujúcimi výsledkami, a prediktívna reakcia by nemohla prispieť k učeniu v situáciách, keď sa nevyskytujú fázové prediktívne stimuly, ako sú relatívne pomalé zmeny kontextu , To vedie k zaujímavej otázke, či šetrenie niektorých foriem učenia sa pomocou dopamínových lézií alebo neuroleptík môže jednoducho odrážať predovšetkým absenciu fázových dopamínových reakcií, pretože sa nevyužili účinné stimuly, ktoré ich vyvolávajú.

Účasť dopamínových signálov na učení môže byť ilustrovaná teoretickým príkladom. Predstavte si dopamínové reakcie počas získavania úlohy sériového reakčného času, keď správna reakcia náhle vedie k nutričnej odmene. Odplata sa následne prenáša na progresívne skoršie stimuly predpovedajúce odmenu. Reakčné časy sa s predĺženou praxou ďalej zlepšujú, pretože priestorové polohy cieľov sú stále viac predvídateľné. Aj keď dopamínové neuróny naďalej reagujú na stimuly predpovedajúce odmenu, ďalšie zlepšenie správania môže byť spôsobené najmä získaním prediktívneho spracovania priestorových polôh inými neurónovými systémami. Dopamínové reakcie by sa tak objavili počas počiatočnej motivačnej časti učenia, pri ktorej predmety prichádzajú k objektom a získavajú explicitné primárne a prípadne podmienené odmeny. Menej by sa zapojili do situácií, keď pokrok v učení presiahne navodenie správania pri priblížení. To by neobmedzovalo dopamínovú úlohu na počiatočné kroky učenia sa, pretože veľa situácií si vyžaduje spočiatku učiť sa z príkladov a až neskôr sa učiť prostredníctvom explicitných výsledkov.

Chyba predpovede

Predikčný chybový signál dopamínových neurónov by bol vynikajúcim ukazovateľom príťažlivej hodnoty environmentálnych udalostí v porovnaní s predikciou, ale nedokázal rozlišovať medzi potravinami, tekutinami a stimulmi na predpovedanie odmeny a medzi vizuálnymi, zvukovými a somatosenzorickými spôsobmi. Tento signál môže predstavovať varovnú správu o odmene, ktorou sú postsynaptické neuróny informované o prekvapujúcom vzhľade alebo opomenutí prospešnej alebo potenciálne prospešnej udalosti bez toho, aby ďalej uvádzali svoju totožnosť. Má všetky formálne vlastnosti silného posilňovacieho signálu pre vzdelávanie. Informácie o osobitnej povahe odmien sú však rozhodujúce pre určenie, ku ktorým z predmetov by sa malo pristupovať a akým spôsobom. Napríklad hladné zviera by sa malo primárne zaoberať potravinami, ale nie tekutinami. Aby sa rozlíšil relevantný a nerelevantný úžitok, je potrebné dopamínový signál doplniť ďalšími informáciami. Nedávne experimenty s dialýzou in vivo ukázali vyššie uvoľňovanie dopamínu vyvolané potravou u hladných jedincov ako u saturovaných potkanov (Wilson a kol. 1995). Táto hnacia závislosť od uvoľňovania dopamínu nemusí zahŕňať impulzné reakcie, pretože sa nám nepodarilo nájsť jasnú závislosť od hnacieho ústrojenstva s odozvami na dopamín pri porovnávaní medzi skorými a neskorými obdobiami jednotlivých experimentálnych sedení, počas ktorých sa zvieratá nasýtili tekutinami (JL Contreras-Vidal a W. Schultz, nepublikované údaje).

Špecifiká odmeňovania

Informácie týkajúce sa tekutých a potravinových výhod sa spracúvajú aj v mozgových štruktúrach iných ako dopamínové neuróny, ako sú dorzálne a ventrálne striatum, subtalamské jadro, amygdala, dorsolaterálny prefrontálny kortex, orbitofrontálna kortex a predná cingulate. Nezdá sa však, že by tieto štruktúry vysielali signál chyby predikcie globálnej odmeny podobný dopamínovým neurónom. U primátov tieto štruktúry odmeňujú ako 1) prechodné reakcie po doručení odmeny (Apicella a kol. 1991,b, 1997; Bowman a kol. 1996; Hikosaka a kol. 1989; Niki a Watanabe 1979; Nishijo a kol. 1988; Tremblay a Schultz 1995; Watanabe 1989), 2) prechodné reakcie na podnety predpovedajúce odmenu (Aosaki a kol. 1994; Apicella a kol. 1991b; 1996; Hollerman a kol. 1994; Nishijo a kol. 1988; Thorpe a kol. 1983; Tremblay a Schultz 1995; Williams a kol. 1993), 3) trvalé aktivácie počas očakávania okamžitých nadchádzajúcich výhod (Apicella a kol. 1992; Hikosaka a kol. 1989; Matsumura a kol. 1992; Schultz a kol. 1992; Tremblay a Schultz 1995), A 4) modulácie aktivácií súvisiacich s správaním podľa predpokladanej odmeny (Hollerman a kol. 1994; Watanabe 1990, 1996). Mnoho z týchto neurónov sa dobre odlišuje medzi rôznymi potravinovými výhodami a medzi rôznymi tekutými výhodami. Spracovávajú teda špecifickú povahu odmeňovacej udalosti a môžu slúžiť na vnímanie odmien. Niektoré odpovede na odmenu závisia od nepredvídateľnosti odmeny a sú znížené alebo chýbajú, ak je odmena predpovedaná podmieneným stimulom (Apicella a kol. 1997; Matsumoto a kol. 1995; L. Tremblay a W. Schultz, nepublikované údaje). Môžu spracovať predpovede pre konkrétne odmeny, hoci nie je jasné, či signalizujú chyby predikcie, pretože ich odpovede na vynechané odmeny nie sú známe.

Udržiavanie zavedeného výkonu

Zdá sa, že tri neurónové mechanizmy sú dôležité na udržanie zavedeného správania v oblasti správania, konkrétne na detekciu vynechaných prínosov, detekciu stimulov predpovedajúcich odmenu a detekciu predpokladaných prínosov. Keď sú vynechané predpokladané výhody, dopamínové neuróny sú depresívne. Tento signál by mohol znížiť synaptickú účinnosť spojenú s chybnými behaviorálnymi reakciami a zabrániť ich opakovaniu. Dopamínová reakcia na stimuly predpovedajúce odmenu je udržiavaná počas etablovaného správania, a preto naďalej slúži ako predbežná informácia. Aj keď dopamínové neuróny nedetegujú plne predpovedané odmeny, spracúvajú sa vyššie uvedené nedopaminergné kortikálne a subkortikálne systémy. To by bolo dôležité, aby sa zabránilo vyhynutiu naučeného správania.

Celkovo sa zdá, že spracovanie špecifických odmien za učenie a udržiavanie správania pri priblížení by malo silný úžitok zo spolupráce medzi dopamínovými neurónmi signalizujúcimi nepredvídaný výskyt alebo opomenutie odmeny a neuróny v iných štruktúrach súčasne, čo naznačuje špecifickú povahu odmeny.

Noradrenalínové neuróny

Takmer celá populácia noradrenalínových neurónov v locus coeruleus u potkanov, mačiek a opíc vykazuje dosť homogénne, bifázické aktivačné-depresívne reakcie na vizuálne, sluchové a somatosenzorické stimuly vyvolávajúce orientačné reakcie (Aston-Jones a Bloom 1981; Foote a kol. 1980; Rasmussen a kol. 1986). Obzvlášť účinné sú zriedkavé udalosti, ktorým zvieratá venujú pozornosť, napríklad vizuálne podnety v rámci zvláštnej diskriminačnej úlohy (Aston-Jones a kol. 1994). Neuróny noradrenalínu veľmi dobre rozlišujú medzi vzrušujúcimi alebo motivujúcimi a neutrálnymi udalosťami. Rýchlo získavajú odpovede na nové cieľové stimuly počas zvratu a strácajú reakcie na predchádzajúce ciele pred ukončením správania (Aston-Jones a kol. 1997). Reakcie na uvoľnenie kvapaliny mimo úlohy a prenos na cieľové stimuly predpovedajúce odmenu v rámci úlohy, ako aj na primárne a podmienené averzívne stimuly (Aston-Jones a kol. 1994; Foote a kol. 1980; Rasmussen a Jacobs 1986; Sara a Segal 1991). Reakcie sú často prechodné a zdá sa, že odrážajú zmeny vo výskyte alebo význame stimulu. K aktivácii môže dôjsť iba pri niekoľkých pokusoch s opakovanou prezentáciou potravinových predmetov (Vankov a kol. 1995) alebo s podmienenými zvukovými stimulmi spojenými s tekutou odmenou, averzívnym nafúknutím alebo elektrickým otrasom nôh (Rasmussen a Jacobs 1986; Sara a Segal 1991). Počas kondicionovania sa vyskytujú reakcie na prvých niekoľko prezentácií nových stimulov a prechodne sa objavujú vždy, keď sa počas akvizície, zvratu a vyhynutia objavia prípady zosilnenia (Sara a Segal 1991).

Celkovo možno povedať, že odpovede neurónov noradrenalínu sa podobajú odpovediam dopamínových neurónov v niekoľkých ohľadoch, pričom sú aktivované primárnymi odmenami, stimulmi predpovedajúcimi odmenu a novými stimulmi a prenášajú reakciu z primárnych na podmienené chutné príhody. Neuróny noradrenalínu sa však líšia od neurónov dopamínu tým, že reagujú na oveľa väčšiu škálu vzruchových stimulov, dobre reagujú na primárne a podmienené averzívne stimuly, dobre diskriminujú neutrálne stimuly, rýchlo sledujú zvraty správania a vykazujú znižujúce sa reakcie s opakovaným stimulom. prezentácia, ktorá môže vyžadovať testy 100 na spoľahlivé reakcie na chuť do jedla (Aston-Jones a kol. 1994). Reakcie noradrenalínu silne súvisia so vzrušujúcimi alebo pozoruhodnými vlastnosťami stimulov vyvolávajúcich orientačné reakcie, pričom sa oveľa menej zameriavajú na chutné stimulačné vlastnosti, ako je väčšina dopamínových neurónov. Pravdepodobne ich motivuje viac pútanie pozornosti ako motivovanie komponentov príťažlivých udalostí.

Serotonínové neuróny

Aktivita v rôznych jadrách raphe uľahčuje motorický výstup nastavením svalového tonusu a stereotypnej motorickej aktivity (Jacobs a Fornal 1993). Neuróny dorzálnych raphe u mačiek vykazujú fázové, neobvyklé reakcie na vizuálne a sluchové stimuly, ktoré nemajú osobitný význam pre správanie (Heym a kol. 1982; LeMoal a Olds 1979). Tieto reakcie sa podobajú reakciám dopamínových neurónov na nové a obzvlášť významné stimuly. Ďalšie porovnania by si vyžadovali podrobnejšie experimentovanie.

Nucleus basalis Meynert

Primárne bazálne neuróny predného mozgu sú aktivované fázou veľkého množstva behaviorálnych udalostí vrátane podmienených stimulov, predpovedí odmeny a primárnych výhod. Mnoho aktivácií závisí od pamäte a asociácií s posilnením diskriminácie a oneskorených reakčných úloh. Aktivácie odrážajú znalosť podnetov (Wilson a Rolls 1990a), stávajú sa dôležitejšími s podnetmi a pohybmi, ktoré sa vyskytujú bližšie k času odmeňovania (Richardson a DeLong 1990), dobre rozlišovať medzi vizuálnymi stimulmi na základe príťažlivých a averzívnych asociácií (Wilson a Rolls 1990b) a počas párovania sa zmení (Wilson a Rolls 1990c). Neuróny sú tiež aktivované averzívnymi stimulmi, predpovedanými vizuálnymi a zvukovými stimulmi a pohybmi. Často reagujú na plne predpovedané odmeny za dobre zavedené behaviorálne úlohy (Mitchell a kol. 1987; Richardson a DeLong 1986, 1990), hoci v niektorých štúdiách sú odpovede na nepredvídané odmeny hojnejšie (Richardson a DeLong 1990), ale nie v iných (Wilson a Rolls 1990a-c). V porovnaní s dopamínovými neurónmi sú aktivované oveľa väčším spektrom podnetov a udalostí, vrátane averzívnych udalostí, a nepreukazujú skôr homogénnu reakciu populácie na nepredvídané odmeny a jej prenos na stimuly predpovedajúce odmenu.

Cerebelárne lezecké vlákna

Pravdepodobne sa predpokladal, že prvý učený signál zameraný na chyby v mozgu zahrňuje premietanie vlákien z horných olív do neurónov Purkinje v mozgovej kôre (Marr 1969) a mnoho koncepcií štúdia mozgu je založené na tomto koncepte (Houk a kol. 1996; Ito 1989; Kawato a Gomi 1992; Llinas a waleský 1993). Lezenie vstupov vlákien do neurónov Purkinje prechodne mení svoju aktivitu, keď sa zmení zaťaženie pohybmi alebo zisky medzi pohybmi a vizuálnou spätnou väzbou a opice sa prispôsobia novej situácii (Gilbert a Thach 1977; Ojakangas a Ebner 1992). Väčšina z týchto zmien pozostáva skôr zo zvýšenej aktivity než z reakcií aktivácie verzus depresie s chybami v opačných smeroch v dopamínových neurónoch. Ak by aktivácia horolezeckého vlákna mala slúžiť ako učiaci signál, spoločná aktivácia horolezeckého vlákna s paralelným vláknom by mala viesť k zmenám v paralelnom vstupe vlákna k Purkinjovým neurónom. Toto sa skutočne vyskytuje ako dlhodobá depresia paralelného vstupu vlákien, hlavne v prípravkoch in vitro (Ito 1989). Porovnateľné zmeny paralelných vlákien sú však ťažšie nájsť v situáciách učenia správania (Ojakangas a Ebner 1992), pričom momentálne zostávajú dôsledky potenciálnych signálov lezeckých vlákien pre učenie otvorené.

Druhým argumentom pre úlohu lezeckých vlákien vo vzdelávaní je averzívne klasické kondicionovanie. Frakcia lezeckých vlákien sa aktivuje averzívnym vzduchovým potiahnutím do rohovky. Tieto reakcie sa strácajú po kondicionovaní očných viečok Pavlovian pomocou sluchového stimulu (Sears a Steinmetz 1991), naznačujúc vzťah k nepredvídateľnosti primárnych averzívnych udalostí. Po kondicionovaní neuróny v jadre mozgu interpositus reagujú na podmienený stimul (Berthier a Moore 1990; McCormick a Thompson 1984). Lézie tohto jadra alebo injekcie bikubulínu antagonistu GABA do dolnej olivy zabraňujú strate nižších odpovedí na nafúknutie olivového vzduchu po kondicionovaní, čo naznačuje, že monosynaptická alebo polysynaptická inhibícia z interpositu na dolnú olivu potláča reakcie po kondicionovaní (Thompson a Gluck 1991). To by mohlo umožniť potlačenie nižších neurónov olív v neprítomnosti predpovedaných averzívnych stimulov, a teda vykázať negatívnu chybu v predpovedi averzívnych udalostí podobných dopamínovým neurónom.

Lezecké vlákna teda môžu hlásiť chyby v motorickom výkone a chyby v predpovedi averzívnych udalostí, hoci to nemusí vždy znamenať obojsmerné zmeny ako pri dopamínových neurónoch. Nezdá sa, že by lezecké vlákna získavali odpovede na podmienené averzívne stimuly, ale takéto reakcie sa nachádzajú v jadrových interpositus. Výpočet averzívnych predikčných chýb môže zahŕňať zostupné inhibičné vstupy do dolných olivových neurónov, podobne ako pri striatálnych projekciách dopamínových neurónov. Mozgové obvody teda spracúvajú chybové signály, aj keď inak ako dopamínové neuróny a modely TD, a môžu implementovať pravidlá učenia sa chýb, ako je pravidlo Rescorla-Wagner (Thompson a Gluck 1991) alebo formálne ekvivalentné pravidlo Widrow-Hoff (Kawato a Gomi 1992).