Kontextové zmeny novela odmietajú reprezentácie v Striatum (2010)

 Úplná štúdia: Kontextový novel mení zastúpenie odmeňovania v Striatum


J Neurosci. Autorský rukopis; dostupné v PMC 2010 Aug 3.
Publikované v konečnom upravenom formulári ako:

Marc Guitart-Masip,*,1,2 Nico Bunzeck,*,1 Klaas E Stephan,2,3 Raymond J Dolan,2 a Emrah Düzel1,4

Finálna upravená verzia tohto článku vydavateľa je k dispozícii zadarmo na adrese J Neurosci

Pozri ďalšie články v PMC to citát publikovaný článok.

Prejsť na:

abstraktné

Reprezentácia odmeňovania vo ventrálnom striatu je posilnená percepčnou novinkou, hoci mechanizmus tohto efektu zostáva nepolapiteľný. Štúdie na zvieratách poukazujú na funkčnú slučku (\ tLisman a Grace, 2005), ktorý zahŕňa hipokampus, ventrálne striatum a stredný mozog, čo je dôležité pri regulácii atribútu saliencie v kontexte nových stimulov. Podľa tohto modelu by mali byť odozvy odmien vo ventrálnom striate alebo strednom mozgu posilnené v kontexte novosti, aj keď odmena a novosť predstavujú nesúvisiace, nezávislé, udalosti. Pomocou fMRI ukazujeme, že pokusy s prediktívnymi podnetmi a následnými výsledkami prinášajú vyššie odpovede v striatu, ak mu predchádza nesúvisiaci nový obraz, ktorý naznačuje, že reprezentácia odmien je posilnená v kontexte novosti. Tento efekt bol pozorovaný len vtedy, keď bol výskyt odmien, a tým pádom aj odmeňovanie, nízky. Tieto zistenia podporujú názor, že kontextová novinka zlepšuje neurónové odpovede, ktoré sú základom reprezentácie odmeny v striatu, a súhlasí s účinkami spracovania novosti, ako to predpovedá model Lisman a Grace (2005).

Kľúčové slová: novosť, odmena, striatum, hipokampus, stredný mozog, fMRI

úvod

Bazálne gangliá spolu s ich dopaminergnými afferentmi poskytujú mechanizmus na zistenie hodnoty odmeňovania rôznych možností správania (Berridge a Robinson, 2003; Frank et al., 2004; Pessiglione a kol., 2006). V súlade s týmto názorom štúdie fMRI ukazujú, že odmeňovanie a odmeňovanie prediktívnych podnetov vyvoláva mozgovú aktivitu v striate (napr.Delgado a kol., 2000; Knutson a kol., 2000; O'Doherty a kol., 2003; O'Doherty a kol., 2004) a stredného mozgu (Aron a kol., 2004; Wittmann a kol., 2005). Dopaminergný systém stredného mozgu však reaguje aj na neosobné nové stimuly u opíc (Ljungberg a kol., 1992) a ľudí (Bunzeck a Duzel, 2006; Wittmann a kol., 2007). Z počítačového hľadiska sa navrhlo, že samotná novosť môže pôsobiť ako motivačný signál, ktorý zvyšuje zastúpenie v odmeňovaní a podporuje prieskum neznámej možnosti voľby (Kakade a Dayan, 2002).

Hoci spracovanie novosti a odmeňovania zdieľa spoločné nervové mechanizmy, nervový substrát, ktorý podporuje interakciu medzi novinkou a odmenou, je stále nedostatočne pochopený. Výskum na zvieratách ukazuje, že hippokampálne novátorské signály regulujú schopnosť dopamínových neurónov vykazovať aktivitu burstov. Vzhľadom k tomu, že streľba streľby je hlavným vzorom dopaminergných odpovedí kódujúcich odmeny a možno aj iné významné udalosti, existuje dobrý dôvod na podozrenie, že hippocampálne novinkové signály majú potenciál regulovať spracovanie odmien a prisudzovanie významnosti (Lisman a Grace, 2005). Signály hipokampálnej novosti sa prenášajú do VTA cez subikulum, ventrálne striatum a ventrálne pallidum, kde spôsobujú dezinhibíciu tichých dopamínových neurónov, aby vyvolali režim tonickej aktivity (Lisman a Grace, 2005; Grace a Bunney, 1983). Dôležité je, že iba tonicky aktívne, ale nie tiché dopamínové neuróny sa prenášajú do režimu vypaľovania a vykazujú fázové reakcie (Floresco a kol., 2003). Týmto spôsobom majú hipokampálne novinové signály potenciál zosilniť fázové dopamínové signály a uľahčovať kódovanie nových informácií do dlhodobej pamäte.

Aj keď nedávny výskum ukázal, že stimulačná novinka zvyšuje striatálnu chybu v predikcii odmien (Wittmann a kol., 2008), toto zistenie nerieši fyziologickú hypotézu, že kontextová novinka má zosilňujúci účinok na následné signály odmeňovania (Lisman a Grace, 2005). Testovanie si vyžaduje nezávislú manipuláciu s úrovňou novosti a odmeňovania tak, aby novosť (a známosť) pôsobili ako dočasne rozšírené kontexty predchádzajúce odmeny. Skúmali sme expresiu striatálnej modulácie spracovania odmien v kontexte novosti predložením nového stimulu, ktorý predchádza predstaveniu podnetov, ktoré predpovedajú odmeny. Ďalej sme nezávisle manipulovali s obidvoma faktormi (novinkou a odmenou); to nám umožnilo rozlíšiť ich zodpovedajúce neurálne zobrazenia. Predstavili sme subjektom jeden z troch rôznych fraktálových snímok, ktoré označili doručenie odmeny s danou pravdepodobnosťou (žiadna odmena (p = 0), nízka (p = 0.4) a vysoká pravdepodobnosť odmeny (p = 0.8)). Týmto spôsobom náš návrh tiež umožnil skúmať, či bol vplyv pravdepodobnosti výskytu odmeny ovplyvnený kontextovými vplyvmi novosti na odpovede na odmeny. Účinok novosti na spracovanie odmien závislý od pravdepodobnosti by poskytol silnú podporu predikcii, že funkčnosť interakcie medzi novinkou a spracovaním odmien. Naproti tomu vplyv novosti na mozgovú aktivitu súvisiacu s odmenou, ktorá je nezávislá od pravdepodobnosti a veľkosti odmeny, naznačuje, že novosť a odmena zdieľajú mozgové oblasti a vytvárajú aditívnu nervovú aktivitu bez funkčnej interakcie.

Materiál a metódy

Predmety

Na experimente sa zúčastnili dospelí 16 (samice 9 a samci 7; vekový rozsah 19-32 rokov; priemerný 23.8, SD = 3.84 rokov). Všetky subjekty boli zdravé, s pravou rukou a mali normálnu alebo korigovanú normálnu ostrosť. Žiadny z účastníkov nenahlásil anamnézu neurologických, psychiatrických alebo lekárskych porúch ani žiadne súčasné zdravotné problémy. Všetky experimenty sa uskutočňovali s písomným informovaným súhlasom každého subjektu a podľa miestneho etického schválenia (University College London, UK).

Experimentálny dizajn a úloha

Úloha bola rozdelená do fáz 3. Vo fáze 1 boli subjekty oboznámené so sadou obrázkov 10 (5 indoor, 5 outdoor). Každý obrázok bol prezentovaný 10-krát pre 1000ms s interstimulačným intervalom (ISI) 1750 ± 500ms. Subjekty označili vnútorný / vonkajší stav pomocou svojho pravého ukazovateľa a prostredníka. Vo fáze 2 boli fraktálne obrazy 3 spárované podľa rôznych pravdepodobností (0, 0.4 a 0.8) s peňažnou odmenou za 10 v kondicionovanej relácii. Každý fraktálny obraz bol prezentovaný 40-krát. V každej štúdii bol na obrazovke pre 3ms predstavený jeden z fraktálnych snímok 750 a subjekty naznačili detekciu podnetu stlačením tlačidla. Pravdepodobný výsledok (10 alebo 0 pence) bol prezentovaný ako číslo na obrazovke 750ms neskôr pre ďalšie 750ms a subjekty uviedli, či vyhrá nejaké peniaze alebo nie pomocou svojho indexu a prostredníka. Interval medzi pokusmi (ITI) bol 1750 ± 500ms. Nakoniec sa v testovacej fáze (fáza 3) určil vplyv kontextovej novosti na odpovede súvisiace s odmenou v štyroch jedenásťminútových reláciách (Obrázok 1). Tu bol predstavený obraz pre 1000ms a subjekty indikovali vnútorný / vonkajší stav pomocou svojho pravého indexu a prostredných prstov. Reakcie by sa mohli robiť, kým sa na obrazovke zobrazí obraz scény a následný fraktálny obraz (celkom 1750 ms). Obrázok bol buď z známeho súboru obrázkov z fázy 1 (ďalej len „známe obrázky“), alebo z iného súboru obrázkov, ktorý nebol nikdy predstavený (ďalej len „nové obrázky“). Každému subjektu bolo predstavených celkom 240 nových obrázkov. Potom bol pre 3ms predstavený jeden z fraktálových snímok 2 z fázy 750 (označovaných ako predikčná metóda odmeňovania) (tu boli subjekty inštruované, aby neodpovedali). Rovnako ako v druhej fáze, pravdepodobnostný výsledok (10 alebo 0 pence) bol predstavený 750ms neskôr pre ďalšie 750ms a subjekty uviedli, či vyhrá peniaze alebo nie pomocou svojho indexu a prostredníka. Odpovede sa dali urobiť, keď sa výsledok zobrazil na obrazovke a počas nasledujúceho intertriálneho intervalu (celkom 2500 ± 500 ms). ITI bola 1750 ± 500ms. Počas každej relácie bol každý fraktálny obraz predstavený 20-krát po novom obrázku a 20-krát po známom obrázku, čo viedlo k pokusom 120 na reláciu. Poradie prezentácie šiestich typov pokusov bolo úplne randomizované. Všetky tri experimentálne fázy sa uskutočňovali vo vnútri MRI skenera, ale BOLD údaje sa získali iba počas testovacej fázy (fáza 3). Subjekty dostali pokyn, aby reagovali čo najrýchlejšie a najpresnejšie a aby im boli vyplatené zárobky až do výšky 20 GBP. Účastníkom bolo povedané, že za každú nesprávnu reakciu sa odpočíta pence 10 - tieto štúdie boli z analýzy vylúčené. Celkové zárobky sa na obrazovke zobrazovali iba na konci bloku 4.

Obrázok 1 

Experimentálny dizajn

Všetky obrázky boli upravené v mierke šedej a normalizované na priemernú hodnotu šedej 127 a štandardnú odchýlku 75. Žiadna zo scén neukázala ľudské bytosti alebo časti ľudského tela (vrátane tváre) v popredí. Stimuli boli premietané do stredu obrazovky a subjekty ich sledovali prostredníctvom zrkadlového systému namontovaného na hlavovú cievku skenera fMRI.

Získavanie údajov fMRI

fMRI sa uskutočňoval na magnetickom rezonančnom skeneri 3-Tesla Siemens Allegra (Siemens, Erlangen, Nemecko) s planárnym zobrazením ozveny (EPI). Vo funkčnej relácii sa získali snímky s váhou 48 * vážené na * T2 * na objem (pokrývajúce celú hlavu) s hladinou kyslíka závislou od hladiny kyslíka (BOLD), kontrast (matrica: 64 × 64; 48 šikmé axiálne rezy na objem pod uhlom -30 ° v prednej časti tela). os; priestorové rozlíšenie: 3 × 3 × 3 mm; TR = 2880 ms; TE = 30 ms). Protokol získavania fMRI bol optimalizovaný na zníženie strát citlivosti vyvolaných citlivosťou BOLD v dolných oblastiach čelných a spánkových lalokov (Weiskopf a kol., 2006). Pre každý subjekt boli získané funkčné údaje v štyroch skenovacích reláciách obsahujúcich 224 zväzky na reláciu. Na začiatku každej série sa získalo šesť ďalších objemov, aby sa umožnila ustálená magnetizácia a následne sa zlikvidovali. Anatomické obrazy mozgu každého subjektu sa zbierali pomocou multi-echo 3D FLASH na mapovanie protónovej hustoty (PD), T1 a magnetizačného prenosu (MT) pri 1mm3 rozlíšenie (Weiskopf and Helms, 2008) a pomocou T1 váženej inverznej obnovy pripravenej EPI (IR-EPI) sekvencie (priestorové rozlíšenie: 1 x 1 x 1 mm). Okrem toho boli zaznamenané jednotlivé polné mapy pomocou sekvencie FLASH s dvojitou odozvou (veľkosť matice = 64 × 64; plátky 64; priestorové rozlíšenie = 3 x 3 × 3 mm; medzera = 1 mm; krátka TE = 10 ms; dlhá TE = 12.46 ms ; TR = 1020 ms) na korekciu skreslenia získaných snímok EPI (Weiskopf a kol., 2006). Použitie súboru nástrojov FieldMap (Hutton a kol., 2002) polné mapy sa odhadli z fázového rozdielu medzi snímkami získanými pri krátkej a dlhej TE.

fMRI analýza dát

Predbežné spracovanie zahŕňalo vyrovnanie, neopracovávanie pomocou individuálnych mapových polí, priestorovú normalizáciu do priestoru Montreal Neurology Institute (MNI) a nakoniec vyhladenie pomocou Gaussovského jadra 4mm. Dáta časových radov fMRI boli filtrované hornou priepustnosťou (medzná hodnota = 128 s) a bielené pomocou modelu AR (1). Pre každý subjekt bol vypočítaný štatistický model použitím kanonickej funkcie hemodynamickej odozvy (HRF) kombinovanej s časom a derivátmi disperzie (Friston a kol., 1998).

Náš faktorový dizajn 2 × 3 zahŕňal podmienky záujmu 6, ktoré boli modelované ako samostatné regresory: známy obraz s pravdepodobnosťou odmeny 0, známy obraz s pravdepodobnosťou odmeny 0.4, známy obraz s pravdepodobnosťou odmeny 0.8, román s odmenou pravdepodobnosť 0, nový obrázok s pravdepodobnosťou odmeny 0.4, nový obrázok s pravdepodobnosťou 0.8. Časová blízkosť predikčných predikcií (tj fraktálny obraz) a samotný výsledok odmeňovania predstavujú problémy pri oddeľovaní BOLD signálov vznikajúcich z týchto dvoch udalostí. Preto sme každú štúdiu modelovali ako zloženú udalosť pomocou mini-boxového vozíka, ktorý obsahoval prezentáciu tága a výsledku. Toto technické obmedzenie nebolo problematické pre našu faktoriálnu analýzu, ktorá sa sústredila na interakciu medzi spracovaním novosti a odmeňovania a spoločným výskytom účinkov odmeňovania a novosti. Chybové skúšky boli modelované ako regresor bez záujmu. Na zachytenie zvyškových artefaktov súvisiacich s pohybom bolo zahrnutých šesť kovariátov (preklad troch tuhých telies a tri rotácie vyplývajúce z vyrovnania) ako regresorov bez záujmu. Účinky regionálne špecifických podmienok boli testované s použitím lineárnych kontrastov pre každý subjekt a každú podmienku (analýza prvej úrovne). Výsledné kontrastné obrázky sa vložili do analýzy náhodných efektov druhej úrovne. Tu sa hodnotili hemodynamické účinky každej podmienky pomocou analýzy rozptylu 2 × 3 (ANOVA) s faktormi „novosť“ (nová, známa) a pravdepodobnosti odmeny (0, 0.4, 0.8).

Svoju analýzu sme zamerali na anatomicky definované záujmové oblasti 3 (striatum, midbrain a hippocampus), kde boli interakcie medzi spracovaním novosti a odmeňovaním hypotézou založené na predchádzajúcich štúdiách (Lisman a Grace, 2005; Wittmann a kol., 2005; Bunzeck a Duzel, 2006). Pre úplnosť uvádzame aj výsledky celého mozgu v doplnkovom materiáli. Oblasti záujmu striatum a hippocampu (ROI) boli definované na základe súboru nástrojov Pick Atlas (Maldjian a kol., 2003; Maldjian a kol., 2004). Kým striatálna oblasť záujmu zahŕňala hlavu caudátu, telo caudátu a putamény, oblasť hippocampu RO vylučovala amygdalu a okolitú rinálnu kôru. Nakoniec bola manuálne definovaná návratnosť investícií SN / VTA ROI pomocou softvéru MRIcro a priemerného obrazu MT pre skupinu. Na obrázkoch MT možno SN / VTA odlíšiť od okolitých štruktúr ako jasný pruh (Bunzeck a Duzel, 2006). Malo by sa poznamenať, že u primátov sa dopamínergné neuróny reagujúce na odmenu distribuujú v komplexe SN / VTA, a preto je vhodné zvážiť aktiváciu celého komplexu SN / VTA namiesto zamerania na jeho podskupiny (Duzel a kol., 2009). Na tento účel je rozlíšenie 3mm3, ako sa používa v tomto experimente, umožňuje vzorkovať vosky 20-25 komplexu SN / VTA, ktoré majú objem 350 až 400 mm3.

výsledky

Z behaviorálneho hľadiska subjekty vykazovali vysokú presnosť vo výkone úlohy pri úlohe diskriminácie v interiéri / exteriéri (priemerná miera zásahu 97.1%, SD = 2.8% pre známe obrázky; priemerná miera zásahu 96.8%, SD = 2.1% pre nové obrázky;15= 0.38, ns), ako aj pre diskrimináciu výhra / žiadna výhra v konečnom čase (priemerná miera úspešnosti 97.8%, SD = 2.3% pre víťazné udalosti; priemerná miera úspešnosti 97.7%, SD = 2.2% pre žiadne víťazné udalosti; T15= 0.03, ns). Subjekty rozlíšili interný a externý stav rýchlejšie pre známe v porovnaní s novými snímkami (priemerný reakčný čas (RT) RT = 628.2 ms, SD = 77.3ms pre známe obrázky; stredný RT = 673.8 ms, SD = 111 ms pre nové obrázky; t15= 4.43, P = 0.0005). Vo výslednom čase nebol žiadny rozdiel RT pre víťazstvo / žiadna výhra (priemer RT = 542ms, SD = 82.2 ms pre pokusy o výhru; priemerný RT = 551 ms, SD = 69 ms pre žiadne pokusy o výhru; t15= 0.82, ns). Podobne počas kondicionovania neexistovali žiadne RT rozdiely pre rôzne fraktálne obrazy 3 (pravdepodobnosť 0.8: RT = 370.1 ms, SD = 79 ms; pravdepodobnosť XNUM: RT = 0.4, SD = 354.4ms; pravdepodobnosť XNUM: RT = 73.8ms, SD = 0ms; F (372.2) = 79.3, ns). Druhá RT analýza vylúčila tri subjekty z dôvodu technických problémov počas získavania údajov.

V analýze údajov fMRI, 2 × 3 ANOVA s faktormi „novosť“ (nová, známa) a pravdepodobnosť odmeňovania (p = 0, p = 0.4, p = 0.8) preukázala hlavný efekt novosti bilaterálne v hippocampe (Obrázok 2A) a pravé striatum, FDR korigované na objem vyhľadávania v NI. Jednoduchý hlavný účinok odmeny („p = 0.8> p = 0“) sa pozoroval v ľavom komplexe SN / VTA (Obrázok 2B) av rámci bilaterálneho striatum (Obrázok 2C). vidieť Tabuľka 1 pre všetky aktivované oblasti mozgu.

Obrázok 2 

Výsledky fMRI
Tabuľka 1 

Výsledky fMRI

Pri korekcii viacerých testov v celom objeme vyhľadávania našich NI sme nepozorovali interakciu pravdepodobnosti novinka x odmena. Pri vykonávaní post hoc analýzy (t-test) troch vrcholových voxelov, ktoré ukazujú hlavný účinok odmeny v striate, sme zistili (ortogonálne) účinky novosti a jej interakcie s odmenou: jeden voxel tiež ukázal hlavný účinok Novinka a interakcia novinka × odmena, zatiaľ čo ďalší voxel tiež ukázal hlavný efekt novosti.

Ako je zobrazené v obrázok 2C (stredný), v prvom voxeli ([8 10 0]; hlavný účinok odmeny F (2,30) = 8.12, P = 0.002; hlavný účinok novinky F (1,15) = 7.03, P = 0.02; novinka × interakcia s odmenou F (2,30) = 3.29, P = 0.05) tento efekt bol vyvolaný vyššími Tučnými odpoveďami na štúdie s pravdepodobnosťou odmeny 0.4 a predchádzal im nový obraz (post-hoc t-test: t (15) = 3.48 , P = 0.003). V druhom voxeli (vpravo 2C) ([−10 14 2] hlavný účinok odmeny F (2,30) = 13.13, P <0.001; hlavný účinok novinky F (1,15) = 9.19, P = 0.008; žiadny významná interakcia F (2,30) = 1.85, ns) post-hoc t-testy opäť preukázali, že hlavný efekt novinky bol spôsobený rozdielmi medzi novými a známymi obrázkami pri dvoch nízkych pravdepodobnostiach doručenia odmeny (t (15) = 2.79, P = 0.014; a t (15) = 2.19, P = 0.045, pre pravdepodobnosť p = 0, respektíve p = 0.4), (pozri obrázok 2C). Naopak, tretí voxel (2C nezostal [- 22 4 0]) hlavným účinkom odmeny, F (2,30) = 9.1, P = 0.001) nevykazoval ani hlavný efekt novosti (F (1,15) = 2.33, ns) ani interakcie (F (2,30) = 1.54, ns).

V strednom mozgu voxel s maximálnymi odpoveďami súvisiacimi s odmenou ([−8 −14 −8], F (2,30) = 12.19, P <0.001) tiež vykazoval trend k hlavnému efektu novinky (F (1,15 , 4.18) = 0.059, P = 2,30) pri absencii významnej interakcie (F (0.048) = XNUMX, ns).

Diskusia

Nové obrazy scén zlepšili odpovede na striatálne odmeny vyvolané následnými a nesúvisiacimi odmeňovacími udalosťami (predpovedanie abstraktných narážok a poskytovanie odmeny). Ako sa očakávalo, nové obrázky aktivovali aj hippocampus. Tieto nálezy podľa našich vedomostí poskytujú prvý dôkaz fyziologickej predpovede, že aktivácia hipokampu v súvislosti s novinkami by mala mať kontextovo zosilňujúci účinok na spracovanie odmien vo ventrálnom striatume (Lisman a Grace, 2005; Bunzeck a Duzel, 2006).

Kvôli vlastnostiam signálu BOLD dočasná blízkosť odmeňovacieho predikcie a dodania výsledku zabránili odhadu účinkov novosti na tieto udalosti osobitne. Skôr sme považovali sekvenciu tága-výsledku za zloženú udalosť a zistili sme, že vplyv novosti na spracovanie odmien sa menil v závislosti od pravdepodobnosti výskytu odmien. Vylepšenie sa pozorovalo iba vtedy, keď pravdepodobnosť predpokladanej odmeny bola nízka (0 alebo 0.4) a pri vysokej pravdepodobnosti odmeny (0.8) chýbala (Obrázok 2C). Je dôležité poznamenať, že tento model výsledkov nemožno vysvetliť nezávislými účinkami novosti a odmeňovania v rovnakom regióne. Účinky typu BOLD spôsobené dvoma funkčne odlišnými, ale priestorovo sa prekrývajúcimi nervovými populáciami by boli aditívne bez ohľadu na pravdepodobnosť odmeny, a teda by viedli k novému účinku aj v podmienkach pravdepodobnosti 0.8. Preto tieto pravdepodobnostne závislé účinky novosti na spracovanie odmien argumentujú proti možnosti, že odrážajú kontamináciu pomocou BOLD reakcií vyvolaných samotnými novými stimulmi. Zistenia skôr naznačujú, že kontextová novinka zvýšila spracovanie odmeny ako takú, aj keď iba v podmienkach nízkej pravdepodobnosti.

Ako je vysvetlené vyššie, nemohli by sme vylúčiť BOLD odpovede medzi očakávaním odmien (narážky) a poskytovaním odmien (výstupmi). Novinka môže selektívne zvýšiť spracovanie výsledkov bez odmeny (žiadne pokusy o výhru). To by bolo v súlade so skutočnosťou, že sme nezistili žiadny významný novinový účinok v pokusoch s vysokou pravdepodobnosťou odmeňovania, pretože 80% z týchto pokusov malo za následok doručenie odmeny. Novinka môže mať tiež vplyv na očakávanie odmien v prípade podnetov, ktoré predpovedali poskytovanie odmien s nízkou pravdepodobnosťou (tj 0 a 0.4). V oboch prípadoch kontextová novinka zlepšila reprezentáciu mozgu pre tie udalosti, ktoré boli objektívne menej prospešné. Okrem toho je nepravdepodobné, že by nedostatočná novo modulácia signálov odmeňovania v podmienkach s vysokou pravdepodobnosťou bola spôsobená stropným efektom pri spracovaní odmien. Predchádzajúce práce ukázali, že odpovede súvisiace s odmeňovaním v ľudskom striate sú prispôsobivo upravené v rôznych kontextoch, čo vedie k signálu, ktorý predstavuje, či je výsledok v konkrétnom prostredí priaznivý alebo nepriaznivý (Nieuwenhuis et al 2004). Dá sa teda očakávať, že odpovede na odmeny by tiež mali byť schopné prijať bonus za novinky za podmienok vysokej pravdepodobnosti odmeny.

Je dokázané, že mozog primáta sa v klasických podmieňovacích experimentoch učí o hodnote rôznych stimulov spárovaných s odmenou, meraných zvýšeným očakávaním výsledku (napr. Zvýšeným lízaním). V predloženom experimente sme merali reakčné časy počas fázy úpravy, ale nenašli sme rozdiely medzi rôznymi úrovňami prediktívnych síl cue. Vzhľadom na jednoduchosť úlohy a rýchlosť, s akou subjekty reagovali (<375 ms za všetkých podmienok), môže byť tento nedostatok diferenciálnej odpovede spôsobený efektom stropu. Napriek chýbajúcemu objektívnemu opatreniu na podmieňovanie, úspešné použitie tohto typu tága v predchádzajúcich štúdiách (napr O'Doherty a kol., 2003) naznačuje, že subjekty stále tvorili spojenie medzi narážkami a rôznymi pravdepodobnosťami doručenia odmeny.

V predchádzajúcej práci boli signály odmeňovania v striate spojené s rôznymi vlastnosťami týkajúcimi sa odmeňovania u ľudí aj u primátov okrem človeka vrátane pravdepodobnosti (Preuschoff a kol., 2006; Tobler a kol., 2008), rozsah (Knutson a kol., 2005), neistota (Preuschoff a kol., 2006) a hodnota akcie (Samejima a kol., 2005). Táto rôznorodosť premenných súvisiacich s odmeňovaním vyjadrená v striatu dobre zapadá do jej úlohy ako limbického / senzorimotorického rozhrania s kritickou úlohou v organizácii cieleného správania (Wickens a kol., 2007). Ako SN / VTA, tak striatum, jedno z hlavných projekčných miest dopamínového systému midbrain, tiež reagujú na odmeňovanie a odmeňovanie prediktívnych narážok v klasických kondicionačných paradigmách (napr.Delgado a kol., 2000; Knutson a kol., 2000; Fiorillo a kol., 2003; Knutson a kol., 2005; Tobler a kol., 2005; Wittmann a kol., 2005; D'Ardenne a kol., 2008). Podľa niekoľkých výpočtových hľadísk dopamínový prenos pochádzajúci z SN / VTA učí striatum o hodnote podmienených stimulov prostredníctvom signálu predikčnej chyby (Schultz a kol., 1997).

Aj keď v klasických štúdiách kondicionovania nezodpovedajú odmeny a odmeny vyjadrené v striatu, vždy nemajú zjavné dôsledky na správanie (O'Doherty a kol., 2003; den Ouden a kol., 2009), štúdie fMRI systematicky ukazujú, že zmeny v striatálnej aktivite BOLD korelujú s chybami predikcie súvisiacimi s hodnotou možností výberu charakterizovanými výpočtovými modelmi prispôsobenými údajom o správaní (O'Doherty a kol., 2004; Pessiglione a kol., 2006). Striatálne reprezentácie hodnoty štátu, ktoré nesúvisia s akciou, sa môžu týkať signálov dostupnosti odmeny, ktoré sa premietajú do prípravných reakcií, napríklad prístupu alebo povzbudzujúcich účinkov, ako je vidieť v pavlovianskom inštrumentálnom prenose (PIT) (Cardinal a kol., 2002; Talmi a kol., 2008). Naše údaje naznačujú, že novinka moduluje takéto znázornenia štátnej hodnoty zvýšením očakávania odmeny alebo reakcie na neuspokojivé výsledky. Dôsledkom tejto interakcie medzi novinkou a odmenou by mohlo byť vytvorenie nepodmienených prípravných reakcií. V reálnom svete by takéto reakcie viedli k posilneniu prístupu, keď sa novosť identifikuje pomocou narážky (Wittmann a kol., 2008) alebo náhodné skúmanie životného prostredia, keď sa zistí novosť, ale nesúvisí so špecifickým narážaním, ako je pozorované v živočíšnej literatúre (Hooks a Kalivas, 1994). Tento pohľad je tiež v súlade s vplyvnými výpočtovými modelmi (Kakade a Dayan, 2002).

Jednou z kritických štruktúr, ktoré sa pravdepodobne podieľajú na kontextovo zvýšených odmeňovacích odpovediach v striatu, je hippocampus. Rovnako ako v predchádzajúcich štúdiách (Tulving a kol., 1996; Strange a kol., 1999; Bunzeck a Duzel, 2006; Wittmann a kol., 2007) ukazujeme, že kontextová novinka aktivovala hippocampus silnejšie ako známosť. Vzhľadom na svoje silné (nepriame) projekcie na SN / VTA navrhujeme, že táto štruktúra je pravdepodobným zdrojom signálu novosti do dopamínergického systému midbrain (Lisman a Grace, 2005; Bunzeck a Duzel, 2006). Dopaminergný stredný mozog tiež prijíma vstup z iných oblastí mozgu, ako je napríklad prefrontálna kôra, ktorá by mu mohla tiež sprostredkovať nové signály (Fields a kol., 2007). Vzhľadom na doterajšie dôkazy však považujeme hippokampus za najpravdepodobnejšieho kandidáta na potlačenie dezinhibície dopamínových neurónov v midbraine, ktoré by vysvetľovalo zosilnenie signálov striatálnej odmeny v kontexte novosti. Na druhej strane, pravdepodobnosť závislého zmiernenia vplyvu kontextuálnej novosti môže zasa vzniknúť v prefrontálnej kôre (PFC). Fyziologické štúdie ukazujú, že zvýšenie frekvencie PFC k neurónom SN / VTA zvyšuje dopaminergnú moduláciu iba oblastí PFC, ale nie dopaminergný vstup do ventrálneho striatu (Margolis a kol., 2006). Prostredníctvom takéhoto mechanizmu by PFC mohla regulovať kontextové účinky novosti závislé od pravdepodobnosti na SN / VTA a na ventrálnej striatálnej reprezentácii odmeny.

Záverom je, že súčasné výsledky ukazujú, že kontextová novinka zvyšuje spracovanie odmien v striate v reakcii na nesúvisiace podnety a výstupy. Tieto zistenia sú zlučiteľné s predpoveďami modelu polysynaptickej dráhy (Lisman a Grace, 2005), v ktorých hippocampálne novinové signály poskytujú mechanizmus na kontextovú reguláciu pripisovania významov nesúvisiacim udalostiam.

Doplnkový materiál

Poďakovanie

Túto prácu podporil grantový projekt Wellcome Trust (ED a RJD 81259; www.wellcome.ac.uk; RD je podporovaný grantovým programom Wellcome trust Program Grant. MG je držiteľom štipendia Marie Curie (www.mariecurie.org.uk). KES uznáva podporu projektu SystemsX.chh NEUROCHOICE.

Zoznam referencií

  • Aron AR, Shohamy D, Clark J, Myers C, Gluck MA, Poldrack RA. Citlivosť ľudského stredného mozgu na kognitívnu spätnú väzbu a neistotu počas klasifikačného učenia. J Neurophysiol. 2004, 92: 1144-1152. [PubMed]
  • Berridge KC, Robinson TE. Odmena pri analýze. Trends Neurosci. 2003, 26: 507-513. [PubMed]
  • Bunzeck N, Duzel E. Absolútne kódovanie stimulačnej novosti v ľudskej substantia nigra / VTA. Neurón. 2006, 51: 369-379. [PubMed]
  • Kardinál RN, Parkinson JA, Hall J, Everitt BJ. Emócie a motivácia: úloha amygdaly, ventrálneho striata a prefrontálneho kortexu. Neurosci Biobehav Rev. 2002, 26: 321 – 352. [PubMed]
  • D'Ardenne K, McClure SM, Nystrom LE, Cohen JD. BOLD reakcie odrážajúce dopaminergné signály v ľudskej ventrálnej oblasti tegmentálu. Science. 2008, 319: 1264-1267. [PubMed]
  • Delgado MR, Nystrom LE, Fissell C, Noll DC, Fiez JA. Sledovanie hemodynamických reakcií na odmenu a trest v striate. J. Neurophysiol. 2000, 84: 3072-3077. [PubMed]
  • den Ouden HE, Friston KJ, Daw ND, McIntosh AR, Stephan KE. Dvojaká úloha pri predikčnej chybe v asociatívnom vzdelávaní. Cereb Cortex. 2009, 19: 1175-1185. [Článok bez PMC] [PubMed]
  • Duzel E, Bunzeck N, Guitart-Masip M, Wittmann B, Schott BH, Tobler PN. Funkčné zobrazenie ľudského dopaminergného midbraínu. Trendy Neurosci. 2009 [PubMed]
  • Polia HL, Hjelmstad GO, Margolis EB, Nicola SM. Neuróny ventrálnej oblasti tegmentálu v naučenom chuti k jedlu a pozitívnom posilnení. Annu Rev Neurosci. 2007, 30: 289-316. [PubMed]
  • Fiorillo CD, Tobler PN, Schultz W. Diskrétne kódovanie pravdepodobnosti a neistoty odmien dopamínovými neurónmi. Science. 2003, 299: 1898-1902. [PubMed]
  • Floresco SB, West AR, Ash B, Moore H, Grace AA. Aferentná modulácia dopamínového neurónu spaľujúceho diferencovane reguluje tonický a fázový prenos dopamínu. Nat Neurosci. 2003, 6: 968-973. [PubMed]
  • Frank MJ, Seeberger LC, O'Reilly RC. Mrkvou alebo tyčinkou: učenie kognitívneho zosilnenia pri parkinsonizme. Science. 2004, 306: 1940-1943. [PubMed]
  • Friston KJ, Fletcher P, Josephs O, Holmes A, Rugg MD, Turner R. FMRI súvisiace s udalosťami: charakterizácia diferenciálnych odpovedí. Neuroimage. 1998, 7: 30-40. [PubMed]
  • Grace AA, Bunney BS. Intracelulárna a extracelulárna elektrofyziológia nigrálnych dopaminergných neurónov – 1. Identifikácia a charakterizácia. Neuroveda. 1983; 10: 301–315. [PubMed]
  • Hooks MS, Kalivas PW. Zapojenie prenosu dopamínu a excitačnej aminokyseliny do motorickej aktivity indukovanej novinkami. J Pharmacol Exp Ther. 1994, 269: 976-988. [PubMed]
  • Hutton C, Bork A, Josephs O, Deichmann R, Ashburner J, Turner R. Korekcia skreslenia obrazu fMRI: kvantitatívne hodnotenie. Neuroimage. 2002, 16: 217-240. [PubMed]
  • Kakade S, Dayan P. Dopamine: zovšeobecnenie a bonusy. Neural Netw. 2002, 15: 549-559. [PubMed]
  • Knutson B, Westdorp A, Kaiser E, Hommer D. Vizualizácia mozgovej aktivity FMRI počas úlohy oneskorenia peňažného stimulu. Neuroimage. 2000, 12: 20-27. [PubMed]
  • Knutson B, Taylor J, Kaufman M, Peterson R, Glover G. Distribuovaná nervová reprezentácia očakávanej hodnoty. J Neurosci. 2005, 25: 4806-4812. [PubMed]
  • Lisman JE, Grace AA. Hippocampal-VTA loop: riadenie vstupu informácií do dlhodobej pamäte. Neurón. 2005, 46: 703-713. [PubMed]
  • Ljungberg T, Apicella P, Schultz W. Reakcie opičích dopamínových neurónov počas štúdia behaviorálnych reakcií. J Neurophysiol. 1992, 67: 145-163. [PubMed]
  • Maldjian JA, Laurienti PJ, Burdette JH. Nezrovnalosti gyrus v percentách v elektronických verziách atlasu Talairach. Neuroimage. 2004, 21: 450-455. [PubMed]
  • Maldjian JA, Laurienti PJ, Kraft RA, Burdette JH. Automatizovaná metóda neuroanatomických a cytoarchitektonických atlasových dátových súborov. Neuroimage. 2003, 19: 1233-1239. [PubMed]
  • Margolis EB, Lock H, Chefer VI, Shippenberg TS, Hjelmstad GO, Fields HL. Kappa opioidy selektívne kontrolujú dopaminergné neuróny premietajúce sa do prefrontálnej kôry. Proc Natl Acad Sci US A. 2006; 103: 2938 – 2942. [Článok bez PMC] [PubMed]
  • O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Disociovateľné úlohy ventrálneho a dorzálneho striata v inštrumentálnej kondícii. Science. 2004, 304: 452-454. [PubMed]
  • O'Doherty JP, Dayan P, Friston K, Critchley H, Dolan RJ. Modely časových rozdielov a učenie sa súvisiace s odmeňovaním v ľudskom mozgu. Neurón. 2003, 38: 329-337. [PubMed]
  • Pessiglione M, Seymour B, Flandin G, Dolan RJ, Frith CD. Chyby predikcie závislé od dopamínu sú základom správania sa pri hľadaní odmien u ľudí. Nature. 2006, 442: 1042-1045. [Článok bez PMC] [PubMed]
  • Preuschoff K, Bossaerts P, Quartz SR. Neurálna diferenciácia očakávanej odmeny a rizika v ľudských subkortikálnych štruktúrach. Neurón. 2006, 51: 381-390. [PubMed]
  • Samejima K, Ueda Y, Doya K, Kimura M. Znázornenie hodnôt odmien špecifických pre akcie v striate. Science. 2005, 310: 1337-1340. [PubMed]
  • Schultz W, Dayan P, Montague PR. Nervový substrát predikcie a odmeny. Science. 1997, 275: 1593-1599. [PubMed]
  • Strange BA, Fletcher PC, Henson RN, Friston KJ, Dolan RJ. Segregácia funkcií ľudského hipokampu. Proc Natl Acad Sci US A. 1999: 96: 4034 – 4039. [Článok bez PMC] [PubMed]
  • Talmi D, Seymour B, Dayan P, Dolan RJ. Ľudský pavlovian-inštrumentálny prenos. J Neurosci. 2008, 28: 360-368. [Článok bez PMC] [PubMed]
  • Tobler PN, Fiorillo CD, Schultz W. Adaptívne kódovanie hodnoty odmeny dopamínovými neurónmi. Science. 2005, 307: 1642-1645. [PubMed]
  • Tobler PN, Christopoulos GI, O'Doherty JP, Dolan RJ, Schultz W. Neuronálne narušenie pravdepodobnosti odmeny bez výberu. J Neurosci. 2008, 28: 11703-11711. [Článok bez PMC] [PubMed]
  • Tulving E, Markowitsch HJ, Craik FE, Habib R, Houle S. Novinka a aktivácie príbuzných v PET štúdiách kódovania a získavania pamäte. Cereb Cortex. 1996, 6: 71-79. [PubMed]
  • Weiskopf N, Helms G. Viacparametrové mapovanie ľudského mozgu s rozlíšením 1mm za menej ako 20 minút; ISMRM 16; Toronto, Kanada. 2008.
  • Weiskopf N, Hutton C, Josephs O, Deichmann R. Optimálne parametre EPI na zníženie strát citlivosti vyvolaných citlivosťou BOLD: analýza celého mozgu pri 3 T a 1.5 T. Neuroimage. 2006, 33: 493-504. [PubMed]
  • Wickens JR, Horvitz JC, Costa RM, Killcross S. Dopaminergické mechanizmy v činnostiach a návykoch. J Neurosci. 2007, 27: 8181-8183. [PubMed]
  • Wittmann BC, Bunzeck N, Dolan RJ, Duzel E. Očakávanie novosti rekrutuje systém odmien a hipokampu a zároveň podporuje spomienky. Neuroimage. 2007, 38: 194-202. [Článok bez PMC] [PubMed]
  • Wittmann BC, Daw ND, Seymour B, Dolan RJ. Striatálna aktivita je základom voľby na báze novosti u ľudí. Neurón. 2008, 58: 967-973. [Článok bez PMC] [PubMed]
  • Wittmann BC, Schott BH, Guderian S, Frey JU, Heinze HJ, Duzel E. Aktivita dopamínergného stredného mozgu súvisiaca s FMRI súvisiaca s odmenou je spojená so zvýšenou tvorbou dlhodobej pamäte závislej od hipokampu. Neurón. 2005, 45: 459-467. [PubMed]