Předvídatelnost moduluje reakci lidského mozku na odměnu (2001)

VÝSLEDKY

Po skenování byli subjekty dotázáni na to, jak dávají přednost těmto dvěma podnětům. Osmnáct subjektů 25 (72%) preferovalo šťávu a zbytek preferovanou vodu. Většina subjektů měla jednoznačné preference pro jednoho nebo druhého, i když jsme je nežádali, aby to kvantifikovali. Ačkoli během skenování došlo k významnému pohybu hlavy, všechny translace a rotace kolem každého stimulu byly obecně malé a mezi žádnými podmínkami se významně nelišily. Například průměrný ± SD překlad spojený s každým stimulem byl 0.041 ± 0.069 mm v předvídatelném stavu a 0.044 ± 0.069 mm v nepředvídatelném stavu (spárováno) t test;p = 0.853).

Odezva mozku na upřednostňovanou tekutinu vykazovala překvapivě malou diferenciální aktivitu vzhledem k nevytvrzené tekutině (tabulka 1)1). Nezaznamenali jsme žádný významný rozdíl v aktivitě v klasických oblastech odměn, jako je nucleus accumbens, hippocampus nebo mediální prefrontální kůra. Změna primární aktivity pro preferovanou> nepřednostní došlo v somatosenzorické kůře v oblasti poblíž oblasti úst a jazyka (t = 4.19, souřadnice MNI, -60, -12, 16).

Hlavní účinek předvídatelnosti byl podstatně větší než hlavní účinek preference (Obr. 3). V případě nepředvídatelného běhu vzhledem k předvídatelnému běhu byla pozorována bilaterální aktivace ve velké oblasti mediální orbitofrontální kůry, která obsahovala jádro accumbens (tabulka 1). Další oblasti aktivace zahrnovaly velkou oblast parietálního kortexu bilaterálně a paracentrálně a malé fokální aktivace v levém mediodorsálním jádru thalamu a pravém mozečku. Protože žádná z těchto oblastí se nepřekrývala s hlavním účinkem preference, byly maximálně aktivovány nepředvídatelnými stimuly, bez ohledu na preference. Pro předvídatelný běh relativně k nepředvídatelnému běhu byla aktivována oblast pravého nadřazeného časného gyru, stejně jako fokální aktivace v levém precentrálním gyru a pravém laterálním orbitofrontálním kortexu.

  

Zobrazit větší verzi:  

• Na této stránce
• V novém okně

• Stáhnout jako prezentaci aplikace PowerPoint

Obr. 3.  

Hlavní účinek předvídatelnosti ukázal, že regiony související s odměnami měly výraznější BOLD reakci na nepředvídatelné podněty. A, Roviny soustředěné na (0, 4, −4) ukazují, že bilaterální jádro accumbens / ventrální striatum (NAC) a bilaterální nadřazená mozková kůra byly v předvídatelném stavu aktivnější. B„Malá oblast v pravém nadřazeném časovém gyru byla relativně více aktivována předvídatelnými stimuly. Význam byl stanoven nap <0.001 a rozsah> 10 sousedících voxelů.

Interakce mezi preferencí a předvídatelností identifikovala oblasti, ve kterých jeden účinek moduloval druhý nezávisle na obou hlavních účincích. Pravý izolát, levý zadní cingulát a pravý mozeček vykazovaly významnou interakci pro kontrast (preferovaný - nepřednostní) × (předvídatelný - nepředvídatelný). Opačný kontrast (preferovaný - nepřednostní) × (nepředvídatelný - předvídatelný) neodhalil žádné významné aktivace na p <0.001 úroveň; malá oblast v levém horním temporálním gyrusu (souřadnice MNI, −48, −4, −16) byla významná na p <0.01 úroveň (t = 3.15).

Počítačová simulace naznačovala, že nepředvídatelné odměny by měly vyvolávat více uvolňování dopaminu než předvídatelné (obr.2 B). Když jsou odměny předvídatelné, každý stimul dokonale předpovídá následující a chybový signál, o kterém se předpokládá, že je zprostředkován dopaminem, se postupně snižuje. Pokud jsou odměny nepředvídatelné, není možné, aby se systém učil, a reakce na každý stimul je větší.

DISKUSE

Naše výsledky prokázaly zajímavé oddělení mozkové reakce na předvídatelnost a subjektivní zprávy o preferenci. Odezva mozku na preferenci byla výhradně kortikální, ale reakce na předvídatelnost ukázala specifickou aktivaci systémů odměňování, o nichž je také známo, že jsou cílem dopaminergních neuronů midbrainu. Pokud předpokládáme, že aktivace těchto oblastí odměňování je pro lidi příjemná, pak toto zjištění naznačuje, že subjektivní zpráva preferencí může být oddělena od nervových obvodů známých jako silné determinanty podmíněného chování.

Jak voda, tak i ovocná šťáva způsobily v mozku významné aktivace, a ačkoli některé z těchto odpovědí lze přičíst motorickým aspektům úkolu, specifické podskupiny těchto regionů byly rozloženy na dimenze preference a předvídatelnosti. Účinek preference byl omezen na kortikální oblasti spojené se senzorickým zpracováním a výhodný stimul vedl k větší aktivaci v těchto regionech. Tyto oblasti leží poblíž senzorimotorové kůry, o které je známo, že je aktivována během pohybů jazyka (Corfield a kol., 1999) a polykání (Hamdy a kol., 1999). V předchozí práci na mozkové odezvě na pohyb jazyka došlo k podstatné aktivaci mozečku, což byl hlavní nedostatek preferencí. Diferenční mozková odpověď, tj. Preferovaná - nebývalá, odstraňuje společné oblasti aktivace; proto absence cerebelární aktivace naznačuje, že diferenciální pohyby jazyka nebyly pravděpodobně subjektivní preferencí vzorce kortikální aktivace. Skutečnost, že somatosenzorická oblast byla korelována s uvedenou preferencí, svědčí o tom, že u těchto dvou podnětů došlo k diferenciálnímu nervovému zpracování. Překvapivé bylo, že se to projevilo v oblasti primárního smyslového zpracování a nikoli v oblastech klasického odměňování. Přestože byli subjekty nuceny určit jednu látku před druhou jako svou preferenci, obě tekutiny byly záměrně zvoleny tak, aby byly příjemné, v rozporu s tím, že jedna je averzivní. Protože obě tekutiny byly obecně příjemné, účinek preference nemusel být dostatečně silný, aby vyústil v významný rozdíl v aktivitě v regionech odměňování. To by bylo v souladu se zjištěními, že dopaminové neurony midbrainu jsou přednostně aktivovány spíše apetitivními než averzivními stimuly (Mirenowicz a Schultz, 1996). Naše zjištění nicméně naznačují systémovou diferenciaci subjektivní preference od jednoduché odměny, což podporuje předchozí hypotézy, že „chtít“ není stejné jako „líbení“ (Robinson a Berridge, 1993).

Na rozdíl od účinku preference, nepředvídatelnost korelovala jako významný hlavní účinek s aktivitou v jádru accumbens, thalamu a mediální orbitofrontální kůře, zatímco předvídatelnost byla korelována převážně s aktivitou v pravém nadřazeném časovém gyru. Bývalé regiony úzce korespondují se známými dopaminovými projekčními místy (Koob, 1992; Cooper et al., 1996). Bylo poněkud překvapivé, že nepředvídatelnost, a nikoli preference, byla v korelaci s aktivitou v těchto oblastech odměňování. Pokud by zvýšená aktivita v těchto regionech byla spojena s potěšením, pak bychom mohli dojít k závěru, že nepředvídatelné odměny byly příjemnější než předvídatelné. Většina subjektů však nerozpoznala žádný rozdíl mezi předvídatelnými a nepředvídatelnými podmínkami. Pokud byly nepředvídatelné odměny příjemnější než předvídatelné, nebo naopak, musí k tomu dojít na podvědomé úrovni. Alternativní vysvětlení předpokládá, že dopamin je uvolňován ve zvýšeném množství na neočekávané odměny (Montague a kol., 1996; Schultz a kol., 1997;Schultz, 1998). Dopamin může snížit neuronální excitabilitu (Cooper et al., 1996) a může také přímo omezit mikrovaskulaturu (Krimer a kol., 1998), ale zvýšená aktivita accumbensu byla také spojena s subjektivním potěšením kokainu (Breiter a kol., 1997). Tato zjištění naznačují, že naše pozorované zvýšení aktivace s nepředvídatelností by mohlo souviset se zvýšeným uvolňováním dopaminu, buď proto, že accumbens promítá do VTA, nebo proto, že dostává projekci z VTA, která by byla v souladu s výsledky modelu. Tato interpretace by měla být zmírněna dvěma důležitými fakty: (1) mechanismy, které by spojily zvýšený dopaminergní přenos ke změnám signálu BOLD, nejsou známy, a (2) nemáme žádné nezávislé měřítko dopaminergního přenosu, pouze změny v odpovědi BOLD. Možnost, že pozorujeme nepřímé změny dopaminergní aktivity, je vzrušující, ale nelze ji jednoznačně rozhodnout v experimentu fMRI. Je však v souladu s předchozími nálezy používajícími pozitronovou emisní tomografii, že dopamin je uvolňován do ventrálního striata za podmínek peněžní motivace (Koepp a kol., 1998). Spolu s zesilujícím účinkem nepředvídatelnosti je také v souladu s předpokládanými účinky dopaminu na neuronální „zisk“ (Cohen a Servan-Schreiber, 1992), s konečným výsledkem, že některé regiony vzrostou a jiné se sníží.

Specifické oblasti aktivované relativně nepředvídatelností odpovídaly oblastem mozku spojeným s chutnými funkcemi. Kromě jádra accumbens vykazoval mediální orbitofrontální kůra hlavní účinek pro nepředvídatelnost. Ukázalo se, že tato oblast u primátů integruje jak prospěšné, tak neutrální aspekty chuťových vjemů a předpokládá se, že odráží především motivační hodnoty těchto podnětů (Rolls, 2000). Tato oblast také obsahuje neurony, které rozlišují relativní preference za odměnu (Tremblay a Schultz, 1999). Orbitofrontální kůra je obvykle obtížně zobrazitelná s fMRI kvůli artefaktu citlivosti z nosních dutin (Ojemann a kol., 1997). Oblast, kterou jsme identifikovali, je však obecně lepší a kaudální než obvyklé umístění artefaktů. Tato oblast byla dříve nalezena jako reakce na příjemné chutě (Francis a kol., 1999). Druhý region, ve vynikajícím parietálním laloku, pravděpodobně nesouvisel s odměňujícími aspekty úkolu, ale spíše s výsledkem změn pozornosti. Tato oblast se dříve podílela na visuospatiální pozornosti, zejména během porušení očekávání (Nobre a kol., 1999). Jiná oblast, v levé časové kůře, vykazovala hraniční významnou modulaci nepředvídatelností. V nedávných experimentech s fMRI byl levý temporální lalok spojen se zpracováním předvídatelnosti sekvenčních podnětů (Bischoff-Grethe a kol., 2000). Zde rozšiřujeme tato předchozí zjištění z neutrálních podnětů na příjemné podněty, což naznačuje, že tato oblast může provádět obecné monitorování předvídatelnosti nezávisle na valenci podnětů.

Oblasti mozku, o nichž jsme zjistili, že reagují na nepředvídatelnost přímým nebo modulačním způsobem, byly zapojeny do řady experimentů o finanční odměně. Peníze mohou být pro člověka prospěšné, ale posilují se pouze proto, že tyto vlastnosti získaly složitým kondicionováním. Podobné zjištění, že kokain působí na jiné neurony než na přírodní zesilovače (Carelli a kol., 2000), je možné, že kondicionované posilovače, jako jsou peníze, působí na jiné nervové systémy než přírodní posilovače, jako je jídlo a voda. Aktivita jak ve ventrálním striatu, tak ve středním mozku byla korelována s absolutní úrovní finanční odměny (Thut a kol., 1997;Delgado a kol., 2000; Elliott a kol., 2000; Knutson a kol., 2000), nález, který v našich výsledcích chybí. Jak bylo uvedeno výše, jak šťáva, tak voda byly mírně příjemné, a tak nemusí existovat podstatný rozdíl v absolutní odměně, i když jsme předpokládali mírný rozdíl v teoretickém modelu. Nepoužili jsme také žádné averzivní podněty ani nic, co by bylo možné chápat jako zápornou odměnu, což může tento rozdíl také vysvětlit. Je zajímavé, že regiony, o nichž jsme identifikovali, že jsou buď přímo ovlivněny nebo zesíleny nepředvídatelností, odpovídaly regionům, o kterých bylo dříve zjištěno, že jsou citlivé na kontextovou závislost finanční odměny (Rogers a kol., 1999; Elliott a kol., 2000). Konkrétně, jak subgenální cingulát, tak mediální thalamus byly v naší studii korelovány s nepředvídatelností a bylo zjištěno, že jsou závislé na kontextu Elliott a kol. (2000).

Protože předvídatelnost modulovala účinek preference, je důležité rozlišit potenciální zdroje predikce. V klasickém kondicionovacím experimentu před odměnou předchází neutrální stimul. Po tréninku se dříve neutrální stimul stane prediktorem nebo podmíněným stimulem. Protože existuje poměrně málo údajů o použití orálních podnětů u fMRI, rozhodli jsme se zjednodušit experiment a kontrolu pro motorické aspekty úkolu pomocí dvou různých orálních podnětů, vody a ovocné šťávy. Zdroj predikce v našem experimentu tedy nutně pocházel ze sekvence samotných podnětů. V některých ohledech je to jednodušší než zavedení jiné stimulační modality, jako je vizuální narážka, ale protože oba podněty byly prospěšné, nemůžeme učinit žádné závěry ohledně procesu kondicionování. Teoretický model (Schultz a kol., 1997) a neurofyziologická data (Schultz a kol., 1992, 1993) naznačují, že předpovědi odměn jsou počítány během intervalu, který předchází odměně. Protože neznáme časový rozsah, ve kterém jsou takové předpovědi počítány, rozhodli jsme se analyzovat experiment jako jednoduše dvě podmínky, předvídatelné a nepředvídatelné. Udržováním psychologicky přiměřeného intervalu mezi podněty, 10 sec, nebyl dostatek času na vyřešení rozdílů ve zpracování interstimulu. Zdá se, že k takovému zpracování dochází, a to by mohlo být vyřešeno experimentem s jiným designem.

Souhrnně lze říci, že aktivita v oblastech odměňování lidí může být modulována časovou předvídatelností primárních odměn, jako je voda a šťáva. Tyto výsledky poskytují důležitou podporu pro výpočetní modely, které předpokládají, že chyby v predikci odměny mohou vést k synaptické modifikaci a rozšířit tyto závěry z primátů na člověka. Regionální specifičnost této modulace také naznačuje, že informace, jak jsou ztělesněny relativní předvídatelností stimulačního proudu, mohou být formou nervové měny, kterou lze detekovat pomocí fMRI.