Kontextové změny novinek odměňují zastoupení ve verzi Striatum (2010)

 Úplné studium: Kontextové novinky mění odměny ve striatu


J Neurosci. Autorský rukopis; k dispozici v PMC 2010 Aug 3.
Publikováno v posledním editovaném formuláři:

Marc Guitart-Masip,*,1,2 Nico Bunzeck,*,1 Klaas E Stephan,2,3 Raymond J Dolan,2 a Emrah Düzel1,4

Konečná upravená verze tohoto článku vydavatele je k dispozici zdarma na adrese J Neurosci

Viz další články v PMC to citovat publikovaný článek.

Přejít na:

Abstraktní

Reprezentace odměny ve ventrálním striatu je posílena vnímavostí, i když mechanismus tohoto účinku zůstává nepolapitelný. Studie na zvířatech naznačují funkční smyčku (Lisman a Grace, 2005), které zahrnují hippocampus, ventrální striatum a midbrain jako důležité při regulaci přiřazení výběžků v kontextu nových podnětů. Podle tohoto modelu by reakce na odměny ve ventrálním striatu nebo midbrainu měly být v souvislosti s novinkou zlepšeny, i když odměna a novinka představují nesouvisející, nezávislé události. Pomocí fMRI ukazujeme, že pokusy s odměnami prediktivními narážkami a následnými výsledky vyvolávají vyšší odezvy ve striatu, pokud jim předchází nesouvisející románový obrázek naznačující, že reprezentace odměn je v kontextu novosti vylepšena. Zejména byl tento účinek pozorován pouze tehdy, když byl výskyt odměny, a tedy významnost související s odměnou, nízký. Tato zjištění podporují názor, že kontextová novinka zvyšuje nervové reakce, které jsou základem odměňování ve striatu, a shoduje se s účinky zpracování novosti, jak předpovídá model Lisman a Grace (2005).

Klíčová slova: novinka, odměna, striatum, hippocampus, midbrain, fMRI

Úvod

Bazální ganglie spolu s jejich dopaminergními aferenty poskytují mechanismus, jak se dozvědět o hodnotě odměny různých možností chování (Berridge a Robinson, 2003; Frank a kol., 2004; Pessiglione a kol., 2006). V souladu s tímto názorem studie fMRI ukazují, že odměna a prediktivní podněty vyvolávají mozkovou aktivitu ve striatu (např.Delgado a kol., 2000; Knutson a kol., 2000; O'Doherty a kol., 2003; O'Doherty a kol., 2004) a midbrain (Aron a kol., 2004; Wittmann a kol., 2005). Dopaminergní systém midbrain však také reaguje na nevyplňující nové podněty u opic (Ljungberg a kol., 1992) a lidí (Bunzeck a Duzel, 2006; Wittmann a kol., 2007). Z výpočtového hlediska bylo navrženo, že samotná novinka může fungovat jako motivační signál, který zvyšuje zastoupení odměny a vede průzkum neznámé, nové volby volby (Kakade a Dayan, 2002).

Přestože zpracování novosti a odměny sdílí společné nervové mechanismy, neurální substrát, který podporuje interakci mezi novinkou a odměnou, zůstává stále nedostatečně pochopen. Výzkum na zvířatech ukazuje, že hippocampální novinkové signály regulují schopnost dopaminových neuronů vykazovat aktivitu odpálení. Vzhledem k tomu, že odpálení výbuchem je hlavním schématem dopaminergní reakce kódujícím odměny a možná i další významné události, existuje dobrý důvod se domnívat, že signály hipokampální novosti mají potenciál regulovat zpracování odměn a přiřazování výběžků (Lisman a Grace, 2005). Hippocampální novinové signály jsou přenášeny do VTA subikulem, ventrálním striatem a ventrálním pallidem, kde způsobují dezinhibici tichých dopaminových neuronů k vyvolání režimu tonické aktivity (Lisman a Grace, 2005; Grace a Bunney, 1983). Důležité je, že pouze tonicky aktivní, ale nikoli tiché dopaminové neurony se přenášejí do režimu odpálení a vykazují fázové reakce (Floresco a kol., 2003). Tímto způsobem mají hippocampální novinové signály potenciál posílit fázové dopaminové signály a usnadnit kódování nových informací do dlouhodobé paměti.

Ačkoli nedávný výzkum ukázal, že stimulační novinka zvyšuje striatální chybu v predikci odměny (Wittmann a kol., 2008), toto zjištění se nezabývá fyziologickou hypotézou, že kontextová novinka má zesilující účinek na následné signály odměny (Lisman a Grace, 2005). Testování to vyžaduje nezávislou manipulaci s úrovní novosti a odměny tak, aby novinka (a známost) fungovala jako dočasně rozšířené kontexty předcházející odměnám. Zkoumali jsme expresi striatální modulace zpracování odměn v kontextu novosti představením nového podnětu, který předcházel prezentaci podnětů, které předpovídají odměny. Kromě toho jsme samostatně manipulovali s oběma faktory (novinkou a odměnou); to nám umožnilo rozlišit jejich odpovídající nervové reprezentace. Představili jsme subjektům jeden ze tří různých fraktálních obrazů, které označily doručení odměny s danou pravděpodobností (žádná odměna (p = 0), nízká (p = 0.4) a vysoká pravděpodobnost odměny (p = 0.8)). Tímto způsobem náš návrh také umožnil prozkoumat, zda kontextové novinkové vlivy na reakce na odměny byly ovlivněny pravděpodobností výskytu odměny. Účinek novosti na zpracování odměn závislý na pravděpodobnosti by poskytl silnou podporu pro předpověď, že funkčnost interakce mezi novinkou a zpracováním odměn. Naproti tomu účinek novosti na mozkovou aktivitu související s odměnou, která je nezávislá na pravděpodobnosti a velikosti odměny, naznačuje, že novinka a odměna sdílejí mozkové oblasti a vytvářejí aditivní neurální aktivitu bez funkční interakce.

Materiál a metody

Předměty

Experimentu se účastnili dospělí 16 (samice 9 a samci 7; věkové rozmezí 19-32 let; průměrná 23.8, SD = 3.84 let). Všichni jedinci byli zdraví, praváci a měli normální nebo korigovanou normální normální ostrost. Žádný z účastníků nehlásil anamnézu neurologických, psychiatrických nebo lékařských poruch ani žádné současné zdravotní problémy. Všechny experimenty byly provedeny s písemným informovaným souhlasem každého subjektu a podle místní etické prověrky (University College London, Velká Británie).

Experimentální návrh a úloha

Úkol byl rozdělen do fází 3. Ve fázi 1 byly subjekty seznamovány se sadou obrazů 10 (5 indoor, 5 outdoor). Každý obraz byl prezentován 10 krát pro 1000ms s interstimulačním intervalem (ISI) 1750 ± 500ms. Subjekty označily vnitřní / venkovní stav pomocí svého pravého indexu a prostředního prstu. Ve fázi 2 byly frakční obrazy 3 spárovány s různými pravděpodobnostmi (0, 0.4 a 0.8) s peněžní odměnou za 10 v kondicionační relaci. Každý fraktální obraz byl prezentován 40 krát. V každém pokusu byl na obrazovce pro 3ms představen jeden z fraktálních obrazů 750 a subjekty ukázaly detekci stimulační prezentace stiskem tlačítka. Pravděpodobnostní výsledek (10 nebo 0 pence) byl prezentován jako číslo na obrazovce 750ms později pro další 750ms a subjekty uváděly, zda vyhrály nějaké peníze nebo ne pomocí svého indexu a prostředníka. Inter-trial interval (ITI) byl 1750 ± 500ms. Nakonec byl ve zkušební fázi (fáze 3) stanoven vliv kontextové novinky na odpovědi související s odměnami ve čtyřech jedenáctiminutových relacích (Obrázek 1). Zde byl představen obrázek pro 1000ms a subjekty indikovaly vnitřní / venkovní stav pomocí svého pravého indexu a prostředních prstů. Reakce by mohly být vyvolány, zatímco byl na obrazovce zobrazen obraz scény a následný fraktální obraz (celkem 1750 ms). Obrázek byl buď ze známé sady obrázků z fáze 1 (dále jen „známé snímky“), nebo z jiné sady obrázků, které nebyly nikdy představeny (dále jen „nové obrázky“). Každému subjektu bylo představeno celkem 240 nových obrázků. Poté byl pro 3ms představen jeden z fraktálních obrazů 2 z fáze 750 (označovaný jako předpovědní odměna) (zde byly subjekty instruovány, aby neodpovídaly). Stejně jako ve druhé fázi byl pravděpodobnostní výsledek (10 nebo 0 penence) představen 750ms později pro další 750ms a subjekty uváděly, zda vyhrály peníze pomocí svého indexu a prostředního prstu. Reakce by mohly být vyvolány, když byl výsledek zobrazen na obrazovce a během následujícího intertriálního intervalu (celkem 2500 ± 500 ms). ITI byla 1750 ± 500ms. Během každé relace byl každý fraktální obraz prezentován 20 krát po novém obrázku a 20 krát po známém obrázku, což vedlo k pokusům 120 na relaci. Pořadí prezentace šesti typů pokusů bylo plně randomizováno. Všechny tři experimentální fáze byly provedeny uvnitř MRI skeneru, ale BOLD data byla získána pouze během testovací fáze (fáze 3). Subjekty byly instruovány, aby reagovaly co nejrychleji a nejpřesněji a aby jim byly vyplaceny příjmy až do výše 20. Účastníkům bylo sděleno, že za každou nesprávnou odpověď bude odečteno 10 pence - tyto studie byly z analýzy vyloučeny. Celkové výdělky byly na obrazovce zobrazeny pouze na konci bloku 4.

Obrázek 1 

Experimentální design

Všechny obrázky byly škálovány šedě a normalizovány na průměrnou šedou hodnotu 127 a standardní odchylku 75. Žádná ze scén nezobrazovala lidské bytosti ani části lidského těla (včetně tváří) v popředí. Stimuli byly promítnuty do středu obrazovky a subjekty je sledovaly prostřednictvím zrcadlového systému namontovaného na hlavní cívce skeneru fMRI.

Získávání dat fMRI

fMRI byl proveden na magnetickém rezonančním skeneru 3-Tesla Siemens Allegra (Siemens, Erlangen, Německo) s planárním zobrazováním ozvěny (EPI). Ve funkční relaci byly získány snímky s váhou 48 T2 * na objem (pokrývající celou hlavu) s hladinou kyslíku závislé na hladině kyslíku (BOLD) (matice: 64 × 64; 48 šikmé axiální řezy na svazek v úhlu −30 ° v anteroposterior osa; prostorové rozlišení: 3 × 3 × 3 mm; TR = 2880 ms; TE = 30 ms). FMRI akviziční protokol byl optimalizován pro snížení citlivosti vyvolaných ztrát citlivosti BOLD v dolních oblastech čelních a časových laloků (Weiskopf et al., 2006). Pro každý subjekt byla funkční data získána ve čtyřech skenovacích relacích obsahujících svazky 224 na relaci. Na začátku každé série bylo získáno dalších šest svazků, aby se umožnila magnetizace v ustáleném stavu, a následně byly vyřazeny. Anatomické obrazy mozku každého subjektu byly shromážděny pomocí multi-echo 3D FLASH pro mapování protonové hustoty (PD), T1 a přenosu magnetizace (MT) na 1mm3 rozlišení (Weiskopf and Helms, 2008) a pomocí T1 vážené inverzní obnovy připravené EPI (IR-EPI) sekvence (prostorové rozlišení: 1 × 1 × 1 mm). Kromě toho byly jednotlivé polní mapy zaznamenány s použitím sekvence FLASH s dvojitou ozvěnou (velikost matice = 64 × 64; plátky 64; prostorové rozlišení = 3 × 3 × 3 mm; mezera = 1 mm; krátká TE = 10 ms; dlouhá TE = 12.46 ms ; TR = 1020 ms) pro korekci zkreslení získaných EPI obrázků (Weiskopf et al., 2006). Pomocí „FieldMap toolbox“ (Hutton a kol., 2002) terénní mapy byly odhadnuty z fázového rozdílu mezi obrázky získanými při krátké a dlouhé TE.

Analýza dat fMRI

Předběžné zpracování zahrnovalo přerovnání, nevaření pomocí jednotlivých map polí, prostorové normalizace do prostoru Montreal Neurology Institute (MNI) a nakonec vyhlazení pomocí Gaussovského jádra 4mm. Data časové řady fMRI byla filtrována horní propustí (mezní hodnota = 128 s) a bělena pomocí modelu AR (1). Pro každý subjekt byl vypočítán statistický model použitím kanonické hemodynamické odezvové funkce (HRF) kombinované s časem a deriváty disperze (Friston a kol., 1998).

Náš faktorový design 2 × 3 zahrnoval zájmové podmínky 6, které byly modelovány jako samostatné regresory: známý obraz s pravděpodobností odměny 0, známý obraz s pravděpodobností odměny 0.4, známý obraz s pravděpodobností odměny 0.8, román s odměnou -pravděpodobnost 0, nový obrázek s pravděpodobností odměny 0.4, novinový obraz s pravděpodobností odměny 0.8. Časová blízkost odměn prediktivních podnětů (tj. Fraktální obraz) a samotný výsledek odměny představují problémy pro oddělení BOLD signálů vznikajících z těchto dvou událostí. Proto jsme modelovali každou zkoušku jako složenou událost, pomocí mini-boxcar, který zahrnoval prezentaci tága i výsledku. Toto technické omezení nebylo problematické pro naši faktoriální analýzu, která se soustředila na interakci mezi zpracováním novinek a odměn a výskytem účinků odměny a novosti. Chybové studie byly modelovány jako regresor bez zájmu. Pro zachycení zbytkových artefaktů souvisejících s pohybem bylo zahrnuto šest kovariátů (tři translace tuhého těla a tři rotace vyplývající z přeorientování) jako regresoři bez zájmu. Účinky regionálně specifických podmínek byly testovány pomocí lineárních kontrastů pro každý subjekt a každou podmínku (analýza první úrovně). Výsledné kontrastní obrazy byly vloženy do analýzy náhodných efektů druhé úrovně. Zde byly hemodynamické účinky každé podmínky hodnoceny pomocí analýzy rozptylu 2 × 3 (ANOVA) s faktory „novost“ (nová, známá) a pravděpodobnosti odměny (0, 0.4, 0.8).

Naše analýza byla zaměřena na anatomicky definované zájmové oblasti 3 (striatum, midbrain a hippocampus), u nichž byly na základě předchozích studií hypotetizovány interakce mezi zpracováním novinek a odměnou.Lisman a Grace, 2005; Wittmann a kol., 2005; Bunzeck a Duzel, 2006). Pro úplnost také hlásíme výsledky celého mozku v doplňkovém materiálu. Obě požadované oblasti striata a hippocampu (ROI) byly definovány na základě sady nástrojů Pick Atlas (Maldjian a kol., 2003; Maldjian a kol., 2004). Zatímco striatální ROI zahrnoval hlavu caudate, caudate body a putamen, hippocampal ROI vylučoval amygdalu a okolní rinální kůru. Nakonec byla SNI / VTA ROI definována ručně pomocí softwaru MRIcro a průměrného MT obrazu pro skupinu. Na MT-obrazech lze SN / VTA odlišit od okolních struktur jako jasný pruh (Bunzeck a Duzel, 2006). Je třeba poznamenat, že u primátů jsou dopaminergní neurony reagující na odměny distribuovány v komplexu SN / VTA, a proto je vhodné zvážit aktivaci celého komplexu SN / VTA namísto zaměření na jeho dílčí součásti (Duzel a kol., 2009). Za tímto účelem je rozlišení 3mm3, jak se používá v tomto experimentu, umožňuje vzorkovat 20-25 voxely komplexu SN / VTA, který má objem 350 až 400 mm3.

výsledky

Z behaviorálního hlediska subjekty vykazovaly vysokou přesnost ve výkonu úkolu během úkolu diskriminace uvnitř / venku (průměrná úspěšnost 97.1%, SD = 2.8% pro známé obrázky; průměrná úspěšnost 96.8%, SD = 2.1% pro nové obrázky; t15= 0.38, ns), jakož i pro diskriminaci výhry / výhry ve výsledném čase (průměrná úspěšnost 97.8%, SD = 2.3% pro vítězné události; průměrná úspěšnost 97.7%, SD = 2.2% pro žádné výhry; t15= 0.03, ns). Subjekty rozlišovaly vnitřní a venkovní stav rychleji pro známé ve srovnání s novými obrázky (střední doba reakce (RT) RT = 628.2 ms, SD = 77.3ms pro známé obrázky; střední RT = 673.8 ms, SD = 111 ms pro nové obrázky; t15= 4.43, P = 0.0005). Ve výsledném čase nebyl žádný rozdíl RT pro diskriminaci win / no win (průměr RT = 542ms, SD = 82.2 ms pro pokusy o vítězství; průměrný RT = 551 ms, SD = 69 ms pro žádné pokusy o vítězství; t15= 0.82, ns). Podobně během kondicionování nebyly žádné rozdíly RT pro různé fraktální obrazy 3 (pravděpodobnost 0.8: RT = 370.1 ms, SD = 79 ms; pravděpodobnost XNUM: RT = 0.4, SD = 354.4ms; 73.8-pravděpodobnost: RT = 0ms, SD = 372.2ms; F (79.3) = 1,12, ns). Druhá RT analýza vyloučila tři subjekty kvůli technickým problémům při získávání dat.

V analýze dat fMRI vykazovala 2 × 3 ANOVA s faktory „novost“ (nová, známá) a pravděpodobnost odměny (p = 0, p = 0.4, p = 0.8) hlavní účinek novosti v hippocampu (Obrázek 2A) a pravé striatum, opraveno FDR pro objem vyhledávání ROI. Jednoduchý hlavní efekt odměny ('p = 0.8> p = 0') byl pozorován v levém komplexu SN / VTA (Obrázek 2B) a v rámci dvoustranného striata (Obrázek 2C). Vidět Tabulka 1 pro všechny aktivované oblasti mozku.

Obrázek 2 

fMRI výsledky
Tabulka 1 

fMRI výsledky

Při korekci na několik testů v celém objemu vyhledávání našich návratnosti investic jsme nezaznamenali pravděpodobnost interakce novinka × odměna. Při provádění post hoc analýzy (t-test) tří vrcholných voxelů, které vykazovaly hlavní účinek odměny ve striatu, jsme však zjistili (ortogonální) účinky novosti a její interakce s odměnou: jeden voxel také ukázal hlavní účinek Novinka a interakce novinka × odměna, zatímco další voxel také ukázal hlavní účinek novosti.

Jak je uvedeno v číslo 2C (prostřední), v prvním voxelu ([8 10 0]; hlavní účinek odměny F (2,30) = 8.12, P = 0.002; hlavní účinek novinky F (1,15) = 7.03, P = 0.02; novinka × interakce odměny F (2,30) = 3.29, P = 0.05) tento účinek byl poháněn vyššími BOLD odpověďmi na pokusy s pravděpodobností odměny 0.4 a předcházel mu nový obrázek (post-hoc t-test: t (15) = 3.48 , P = 0.003). Ve druhém voxelu (2C vpravo) ([−10 14 2] hlavní účinek odměny F (2,30) = 13.13, P <0.001; hlavní účinek novinky F (1,15) = 9.19, P = 0.008; ne významná interakce F (2,30) = 1.85, ns) post-hoc t-testy opět prokázaly, že hlavní účinek novinky byl způsoben rozdíly mezi novými a známými obrazy při dvou nízkých pravděpodobnostech doručení odměny (t (15) = 2.79, P = 0.014; a t (15) = 2.19, P = 0.045, pro pravděpodobnost p = 0, respektive p = 0.4), (viz číslo 2C). Naproti tomu třetí voxel (2C opustil [- 22 4 0] hlavní účinek odměny, F (2,30) = 9.1, P = 0.001) nevykazoval ani hlavní účinek novosti (F (1,15) = 2.33, ns) ani interakce (F (2,30) = 1.54, ns).

Ve středním mozku voxel s maximálními odezvami souvisejícími s odměnou ([−8 −14 −8], F (2,30) = 12.19, P <0.001), také vykazoval trend k hlavnímu účinku novinky (F (1,15 , 4.18) = 0.059, P = 2,30) při absenci významné interakce (F (0.048) = XNUMX, ns).

Diskuse

Nové představy o scénách zlepšovaly odpovědi na striatální odměny vyvolané následnými a nesouvisejícími odměňujícími událostmi (předpovídání abstraktních podnětů a odměňování). Jak se očekávalo, nové obrazy aktivovaly také hippocampus. Tato zjištění podle našich znalostí poskytují první důkaz pro fyziologickou předpověď, že aktivace hipokampu v souvislosti s novinkami by měla mít kontextově zvyšující účinek na zpracování odměn ve ventrálním striatu (Lisman a Grace, 2005; Bunzeck a Duzel, 2006).

Kvůli vlastnostem signálu BOLD dočasná blízkost odměny predikčního podnětu a doručení výsledku zabránila odhadu dopadů novosti na tyto události zvlášť. Spíše jsme považovali sekvenci cue-result za složenou událost a zjistili jsme, že účinek novosti na zpracování odměny se lišil v závislosti na pravděpodobnosti výskytu odměny. Vylepšení bylo pozorováno pouze tehdy, když pravděpodobnost předvídané odměny byla nízká (0 nebo 0.4) a chyběla pro vysokou pravděpodobnost odměny (0.8) (Obrázek 2C). Je důležité poznamenat, že tento vzorec výsledků nelze vysvětlit nezávislými účinky novosti a odměny ve stejném regionu. Výrazné efekty způsobené dvěma funkčně odlišnými, ale prostorově se překrývajícími neurálními populacemi by byly aditivní bez ohledu na pravděpodobnost odměny, a tudíž by vedly k novinkovému efektu také ve stavu pravděpodobnosti 0.8. Proto tyto pravděpodobnostně závislé účinky novinek na zpracování odměn argumentují proti možnosti, že odrážejí kontaminaci BOLD odpověďmi vyvolané samotnými novými podněty. Zjištění spíše naznačují, že kontextová novinka zvýšila zpracování odměn per se, i když pouze ve stavu nízké pravděpodobnosti.

Jak bylo vysvětleno výše, nemohli jsme disambiguate BOLD odpovědi mezi očekáváním odměny (narážky) a odměnou (výsledky). Novinka může selektivně zvýšit zpracování výsledků bez odměn (žádné pokusy o výhru). To by bylo v souladu se skutečností, že jsme nezaznamenali žádný významný novinový efekt u pokusů s vysokou pravděpodobností odměny, protože 80% těchto pokusů vyústilo v dodání odměny. Alternativně může novinka ovlivnit očekávání odměny pro narážky, které předpovídaly odměňování s nízkou pravděpodobností (tj. 0 a 0.4). V obou případech kontextová novinka zlepšila reprezentaci mozku u těch událostí, které byly objektivně méně prospěšné. Kromě toho je nepravděpodobné, že nedostatek novinové modulace odměnových signálů ve stavu s vysokou pravděpodobností bude způsoben stropním efektem při zpracování odměn. Předchozí práce ukázala, že reakce související s odměnami v lidském striatu jsou přizpůsobivě upraveny v různých kontextech, což vede k signálu, který představuje, zda je výsledek v určitém prostředí příznivý nebo nepříznivý (Nieuwenhuis et al 2004). Lze tedy očekávat, že odpovědi na odměny by také měly být schopny pojmout novinový bonus za podmínek vysoké pravděpodobnosti odměny.

Je dobře prokázáno, že mozek primátů se v klasických podmíněných experimentech učí o hodnotě různých stimulů spárovaných s odměnou měřenou zvýšeným očekáváním výsledku (např. Zvýšeným lízáním). V tomto experimentu jsme měřili reakční časy během fáze úpravy, ale nenašli jsme rozdíly mezi různými úrovněmi prediktivních sil tága. Vzhledem k jednoduchosti úkolu a rychlosti, s jakou subjekty reagovaly (<375 ms za všech podmínek), může být tento nedostatek diferenciální odezvy způsoben efektem stropu. Navzdory absenci objektivního behaviorálního opatření pro kondicionování, úspěšné použití tohoto typu tága v předchozích studiích (např O'Doherty a kol., 2003) naznačuje, že subjekty stále vytvářely spojení mezi narážkami a různými pravděpodobnostmi odměňování.

V předchozí práci byly signály odměny ve striatu spojeny s řadou vlastností souvisejících s odměnami jak u lidí, tak u primátů (včetně člověka), včetně pravděpodobnosti (Preuschoff et al., 2006; Tobler a kol., 2008), velikost (Knutson a kol., 2005), nejistota (Preuschoff et al., 2006) a hodnota akce (Samejima a kol., 2005). Tato různorodost proměnných souvisejících s odměnami vyjádřená ve striatu dobře zapadá do její role limbického / senzorimotorického rozhraní s kritickou úlohou v organizaci chování zaměřeného na cíl (Wickens a kol., 2007). Jak SN / VTA, tak striatum, jedno z hlavních projekčních míst dopaminového systému midbrain, také reagují na odměňování a odměňování prediktivních podnětů v klasických kondičních paradigmatech (např. (Delgado a kol., 2000; Knutson a kol., 2000; Fiorillo a kol., 2003; Knutson a kol., 2005; Tobler a kol., 2005; Wittmann a kol., 2005; D'Ardenne a kol., 2008). Podle několika výpočetních perspektiv, dopaminový přenos pocházející z SN / VTA učí striatum o hodnotě podmíněných podnětů prostřednictvím signálu predikční chyby (Schultz a kol., 1997).

Ačkoli v klasických studiích kondicionování nejsou odměny a nepeněžní reprezentace vyjádřené ve striatu vždy zjevné, mají behaviorální důsledky (O'Doherty a kol., 2003; den Ouden a kol., 2009), studie fMRI systematicky ukazují, že změny ve striatální aktivitě BOLD korelují s predikčními chybami souvisejícími s hodnotou možností výběru, které jsou charakterizovány výpočtovými modely přizpůsobenými behaviorálním datům (O'Doherty a kol., 2004; Pessiglione a kol., 2006). Striatální reprezentace hodnoty státu, která nejsou spojena s akcí, se mohou týkat signálů dostupnosti odměn, které se promítají do přípravných reakcí, například přístupu nebo povzbuzujících účinků, jak je vidět v pavlovian-instrumental transfer (PIT) (Cardinal a kol., 2002; Talmi a kol., 2008). Naše data naznačují, že novinka moduluje takové reprezentace stavu a hodnoty tím, že zvyšuje očekávání odměny nebo odezvu na nevýdělečné výsledky. Důsledkem této interakce mezi novinkou a odměnou by mohlo být vytváření nepodmíněných přípravných reakcí. Ve skutečném světě by takové reakce vedly k lepšímu přístupu, když je novinka identifikována pomocí narážky (Wittmann a kol., 2008) nebo náhodné prozkoumání životního prostředí, pokud je zjištěna novinka, ale není spojena s konkrétním narážkou, jak je pozorováno v literatuře o zvířatech (Háčky a Kalivas, 1994). Tento pohled je také v souladu s vlivnými výpočetními modely (Kakade a Dayan, 2002).

Jednou z kritických struktur, která je pravděpodobně zapojena do kontextově vylepšených odměnových reakcí ve striatu, je hippocampus. Stejně jako v předchozích studiích (Tulving a kol., 1996; Strange a kol., 1999; Bunzeck a Duzel, 2006; Wittmann a kol., 2007) ukazujeme, že kontextová novinka aktivovala hippocampus silněji než známost. Vzhledem k jeho silným (nepřímým) projekcím na SN / VTA navrhujeme, že tato struktura je pravděpodobným zdrojem novinkového signálu dopaminergního systému midbrain (Lisman a Grace, 2005; Bunzeck a Duzel, 2006). Dopaminergní midbrain také přijímá vstup z jiných oblastí mozku, jako je prefrontální kůra, která by mohla také zprostředkovat signály novosti (Fields a kol., 2007). Vzhledem k dosavadním důkazům však považujeme hippocampus za nejpravděpodobnějšího kandidáta na řízení disinhibice dopaminových neuronů midbrain souvisejících s novinkou, která by vysvětlovala zesílení signálů striatální odměny v souvislosti s novinkou. Na druhé straně, pravděpodobnost závislé moderování kontextového novinkového efektu může zase vznikat v prefrontální kůře (PFC). Fyziologické studie ukazují, že zvýšení pohonu PFC na neurony SN / VTA zvyšuje dopaminergní modulaci pouze oblastí PFC, ale nikoli dopaminergní vstup do ventrálního striata (Margolis a kol., 2006). Prostřednictvím takového mechanismu by PFC mohla regulovat pravděpodobnostní závislé kontextové účinky novosti na SN / VTA a ventrální striatální reprezentaci odměn.

Závěrem lze říci, že současné výsledky ukazují, že kontextová novinka zvyšuje zpracování odměn ve striatu v reakci na nesouvisející narážky a výsledky. Tato zjištění jsou kompatibilní s predikcemi modelu polysynaptické dráhy (Lisman a Grace, 2005), ve kterém hippocampální novinové signály poskytují mechanismus pro kontextovou regulaci přisuzování významů nesouvisejícím událostem.

Doplňkový materiál

Poděkování

Tato práce byla podpořena Grantem projektu Wellcome Trust (ED a RJD 81259; www.wellcome.ac.uk; RD je podporován grantovým programem Wellcome trust Program Grant. MG je držitelkou stipendia Marie Curie (www.mariecurie.org.uk). KES uznává podporu projektu SystemsX.chh NEUROCHOICE.

Seznam referencí

  • Aron AR, Shohamy D, Clark J, Myers C, Gluck MA, Poldrack RA. Citlivost člověka na střední kognitivní zpětnou vazbu a nejistotu při klasifikačním učení. J Neurophysiol. 2004; 92: 1144 – 1152. [PubMed]
  • Berridge KC, Robinson TE. Analyzovat odměnu. Trendy Neurosci. 2003; 26: 507-513. [PubMed]
  • Bunzeck N, Duzel E. Absolutní kódování stimulační novosti v lidské substantia nigra / VTA. Neuron. 2006: 51: 369 – 379. [PubMed]
  • Kardinál RN, Parkinson JA, Hall J, Everitt BJ. Emoce a motivace: role amygdaly, ventrálního striatu a prefrontální kůry. Neurosci Biobehav Rev. 2002; 26: 321-352. [PubMed]
  • D'Ardenne K, McClure SM, Nystrom LE, Cohen JD. Výrazné odpovědi odrážející dopaminergní signály v lidské ventrální tegmentální oblasti. Věda. 2008; 319: 1264 – 1267. [PubMed]
  • Delgado MR, Nystrom LE, Fissell C, Noll DC, Fiez JA. Sledování hemodynamických odpovědí za odměnu a trest ve striatu. J Neurophysiol. 2000; 84: 3072 – 3077. [PubMed]
  • den Ouden HE, Friston KJ, Daw ND, McIntosh AR, Stephan KE. Duální role chyby predikce v asociativním učení. Cereb Cortex. 2009; 19: 1175 – 1185. [PMC bezplatný článek] [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Funkční zobrazení lidského dopaminergního midbrainu. Trendy Neurosci. 2009 [PubMed]
  • Fields HL, Hjelmstad GO, Margolis EB, Nicola SM. Neurony ventrální tegmentální oblasti v naučeném chování a pozitivní posilování. Annu Rev Neurosci. 2007: 30: 289 – 316. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Diskrétní kódování pravděpodobnosti odměn a nejistoty dopaminových neuronů. Věda. 2003; 299: 1898-1902. [PubMed]
  • Floresco SB, West AR, Ash B, Moore H, Grace AA. Aferentní modulace dopaminu neuronového odpalování diferencovaně reguluje tonický a fázový přenos dopaminu. Nat Neurosci. 2003; 6: 968 – 973. [PubMed]
  • Frank MJ, Seeberger LC, O'Reilly RC. Mrkví nebo hůlkou: učení kognitivního posílení v parkinsonismu. Věda. 2004; 306: 1940 – 1943. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. fMRI související s událostmi: charakterizace diferenciálních odpovědí. Neuroimage. 1998; 7: 30 – 40. [PubMed]
  • Grace AA, Bunney BS. Intracelulární a extracelulární elektrofyziologie nigrálních dopaminergních neuronů – 1. Identifikace a charakterizace. Neurovědy. 1983; 10: 301–315. [PubMed]
  • Hooks MS, Kalivas PW. Zapojení přenosu dopaminu a excitační aminokyseliny do motorické aktivity vyvolané novinkami. J Pharmacol Exp Ther. 1994; 269: 976 – 988. [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Korekce zkreslení obrazu v fMRI: Kvantitativní vyhodnocení. Neuroimage. 2002; 16: 217 – 240. [PubMed]
  • Kakade S, Dayan P. Dopamine: zobecnění a bonusy. Neural Netw. 2002; 15: 549 – 559. [PubMed]
  • Knutson B, Westdorp A, Kaiser E, Hommer D. Vizualizace mozkové aktivity FMRI během úlohy zpoždění peněžních pobídek. Neuroimage. 2000; 12: 20 – 27. [PubMed]
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Distribuovaná nervová reprezentace očekávané hodnoty. J Neurosci. 2005; 25: 4806 – 4812. [PubMed]
  • Lisman JE, Grace AA. Smyčka hippocampal-VTA: řízení vstupu informací do dlouhodobé paměti. Neuron. 2005: 46: 703 – 713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Odpovědi opičích dopaminových neuronů během učení behaviorálních reakcí. J Neurophysiol. 1992; 67: 145-163. [PubMed]
  • Maldjian JA, Laurienti PJ, Burdette JH. Rozpor v gyrovém precentru v elektronických verzích atlasu Talairach. Neuroimage. 2004; 21: 450 – 455. [PubMed]
  • Maldjian JA, Laurienti PJ, Kraft RA, Burdette JH. Automatizovaná metoda neuroanatomických a cytoarchitektonických atlasových datových souborů založených na atlasu. Neuroimage. 2003: 19: 1233 – 1239. [PubMed]
  • Margolis EB, Lock H, Chefer VI, Shippenberg TS, Hjelmstad GO, Fields HL. Kappa opioidy selektivně kontrolují dopaminergní neurony promítající se do prefrontální kůry. Proc Natl Acad Sci USA A. 2006; 103: 2938 – 2942. [PMC bezplatný článek] [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Disociovatelné role ventrálního a dorzálního striata v instrumentální kondici. Věda. 2004: 304: 452 – 454. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Časové diferenční modely a učení související s odměnami v lidském mozku. Neuron. 2003; 38: 329 – 337. [PubMed]
  • Pessiglione M, Seymour B, Flandin G, Dolan RJ, Frith CD. Chyby predikce závislé na dopaminu podporují chování při hledání odměny u lidí. Příroda. 2006; 442: 1042 – 1045. [PMC bezplatný článek] [PubMed]
  • Preuschoff K, Bossaerts P, Quartz SR. Neurální diferenciace očekávané odměny a rizika v lidských subkortikálních strukturách. Neuron. 2006; 51: 381 – 390. [PubMed]
  • Samejima K, Ueda Y, Doya K, Kimura M. Reprezentace hodnot odměny specifické pro akci v striatu. Věda. 2005; 310: 1337-1340. [PubMed]
  • Schultz W, Dayan P, Montague PR. Nervový substrát předpovědi a odměny. Věda. 1997; 275: 1593-1599. [PubMed]
  • Strange BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Segregace funkcí lidského hippocampu. Proc Natl Acad Sci USA A. 1999; 96: 4034 – 4039. [PMC bezplatný článek] [PubMed]
  • Talmi D, Seymour B, Dayan P, Dolan RJ. Lidský pavlovian-instrumentální přenos. J Neurosci. 2008; 28: 360 – 368. [PMC bezplatný článek] [PubMed]
  • Tobler PN, Fiorillo CD, Schultz W. Adaptivní kódování hodnoty odměny dopaminovými neurony. Věda. 2005: 307: 1642 – 1645. [PubMed]
  • Tobler PN, Christopoulos GI, O'Doherty JP, Dolan RJ, Schultz W. Neuronální zkreslení pravděpodobnosti odměny bez volby. J Neurosci. 2008; 28: 11703 – 11711. [PMC bezplatný článek] [PubMed]
  • Tulving E, Markowitsch HJ, Craik FE, Habib R, Houle S. Novinka a aktivace znalostí v PET studiích kódování a načítání paměti. Cereb Cortex. 1996; 6: 71 – 79. [PubMed]
  • Weiskopf N, Helms G. Víceparametrové mapování lidského mozku při rozlišení 1mm za méně než 20 minut; ISMRM 16; Toronto, Kanada. 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. Optimální parametry EPI pro snížení ztrát citlivosti vyvolaných citlivostí BOLD: analýza celého mozku v 3 T a 1.5 T. Neuroimage. 2006; 33: 493 – 504. [PubMed]
  • Wickens JR, Horvitz JC, Costa RM, Killcross S. Dopaminergní mechanismy v akcích a návycích. J Neurosci. 2007; 27: 8181 – 8183. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Předvídání novinek rekrutuje systém odměn a hippocampus při podpoře vzpomínání. Neuroimage. 2007; 38: 194 – 202. [PMC bezplatný článek] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Striatální aktivita je základem volby založené na novinkách u lidí. Neuron. 2008; 58: 967 – 973. [PMC bezplatný článek] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Aktivace dopaminergního midbrainu v souvislosti s odměnou související s FMRI je spojena se zvýšenou tvorbou dlouhodobé paměti závislé na hippocampu. Neuron. 2005; 45: 459 – 467. [PubMed]