A jutalom megszerzésének költségei javítják a közepes agyú dopamin neuronok jutalombecslési hibajelét (2019)

A középsó agyi dopamin neuronokról ismert, hogy jutalom-előrejelzési hibákat (RPE) kódolnak, amelyeket az érték-előrejelzések frissítéséhez használnak. Itt megvizsgáljuk, hogy a középső agy dopamin idegsejtjeinek kódolt RPE szignálokat modulálják-e a jutalom megszerzéséhez fizetett költségek, az ébren viselkedő majmok dopamin idegsejtjeinek rögzítésével egy erőteljes zsákmány feladat elvégzése során. A jutalom előrejelzésére és a jutalom átadására utaló dopamin neuron válaszok megnövekedtek egy költséges művelet végrehajtása után egy kevésbé költséges akcióhoz képest, ami arra utal, hogy az RPE-k fokozódnak egy költséges akció végrehajtása után. A viselkedés szintjén az inger-haszon asszociációk gyorsabban megtanulhatók egy költséges művelet elvégzése után, mint egy olcsóbb tevékenység. Így az akcióköltségekkel kapcsolatos információkat a dopamin jutalmazási rendszerben dolgozzák fel oly módon, hogy az erősítse a következő dopamin RPE jelet, ami viszont elősegíti a gyorsabb tanulást magas költségekkel járó helyzetekben.

Az emberek és az állatok jobban részesítik a jutalmat, amelyet sok erőfeszítés elvégzése után nyernek, mint egy kevesebb erőfeszítés után ugyanahhoz a jutalomhoz.^1,2,3. Számos magyarázatot tettek erre a célra, például az erőfeszítés igazolását^4,5 és a kontraszthatás⁶, amelyben nagyobb értéket tulajdonítanak a fizetett erőfeszítés után elért eredménynek. Az azonban továbbra sem tisztázott, hogy a jutalomra vonatkozó információk feldolgozását az agyban modulálja-e a jutalom megszerzésére tett erőfeszítések és hogyan.

Kifejezetten a középső agy dopamin rendszerére összpontosítottunk, mivel ennek a rendszernek a szerepe a jutalomhoz való viselkedésbeli alkalmazkodás elősegítésében^7,8,9. A dopamin idegsejtekről ismert, hogy jutalom-előrejelzési hiba (RPE) jeleket képviselnek, amelyek megkönnyítik a jutalom-előrejelzések megtanulását a basális ganglionokban^{10,11,12,13,14,15,16,17}. Az RPE ereje a jutalom mennyiségétől, minőségétől és szubjektív értékétől vagy hasznosságától függ^{7,18,19,20,21}. Ezenkívül a dopaminerg aktivitást a költségek és / vagy erőfeszítések befolyásolják^22,23. Ennek alapján feltételeztük, hogy a dopaminerg RPE jelet közvetlenül módosítja a jutalom megszerzéséhez fizetett költség. Ezenkívül azért, mert az RPE jel okozati összefüggésben van az stimulus-jutalom asszociációk tanulásának közvetítésével^24,25,26, feltételeztük, hogy a jutalom megszerzésének költségei közvetlenül növelik az stimulus-jutalom társulások tanulási sebességét.

Hipotéziseink tesztelésére két japán majom viselkedését és dopaminerg aktivitását egyaránt megmértük, miközben Saccade-alapú erőfeszítést hajtottak végre. A majmok gyorsabban reagálnak a jutalom-előrejelző dákóra, amelyet egy magas költségű (HC) akció után mutatnak be, összehasonlítva az alacsony költségű (LC) akció után. A dopaminerg idegsejteknek a jutalom-előrejelző jelekre gyakorolt ​​aktivitását a fizetett költség növeli. Ezen felül a fizetett költségek növelik az inger-jutalom társulás tanulási sebességét is. Ezért azt javasoljuk, hogy a jutalom megszerzésének költsége növeli az RPE szignált a dopamin idegsejtekben, és ezáltal fokozza az stimulus-jutalom asszociációkat.

Nagyon olcsó (HLC) zsákmány feladat

A fizetett költségek viselkedésre és a dopamin idegsejtekre gyakorolt ​​hatásának vizsgálatára a majmok két költségfeltétel mellett egy zsákányos feladatot hajtottak végre (2. ábra). 1a, lásd Methods). HC kísérletekben a majmok gyorsan zsákmányt tettek a cél felé, és a tekintetükre tartották anélkül, hogy hosszabb ideig pislogtak volna (2. ábra). 1b; zöld vonalak). Ezzel szemben az LC vizsgálatokban a majmok eleinte szabadon nézett körül, mielőtt rövidebb ideig rögzítettek (2. ábra). 1b, lila vonalak). Mivel a majmok számára nehéz hosszú ideig tartani, ezért több hibát követtek el a HC vizsgálatok késleltetésekor (5. ábra). 1c). A HC és az LC vizsgálatok között a jutalom valószínűségében bekövetkező ellentmondás ellenőrzése érdekében kényszerített abortumokat illesztettünk az LC vizsgálatok egy részébe, hogy kiegyenlítsük a siker típusait és a jutalom valószínűségét a kísérleti típusok között (5. ábra). 1d).

HLC zsákány feladat. a A HLC saccade feladat. A költségjelek (C cue) jelzik, mennyi erőfeszítés szükséges a potenciális jutalom eléréséhez. Hosszú rögzítésre volt szükség a késleltetési időszak alatt a magas költségű vizsgálatokban. A jutalom jel (R cue) jelzi, hogy a majmok jutalmat kaphatnak-e vagy sem. b A tekintetszög időbeli lefolyása a késleltetési időszak alatt. A felső és az alsó panelek a vízszintes és a függőleges szöget mutatják. A zöld és a lila vonalak a látószöget jelzik a költséges kísérletekben (50 vizsgálatok minden panelen) és az alacsony költségű vizsgálatokban (50 vizsgálatok az egyes panelekben). c A hibák száma a késleltetési időszakban a költséges és az alacsony költségű kísérletekben (**)P < 0.01; kétfarkú páros t teszt; t₆₇ = 8.8, P = 4.8 × 10^-15, n = 68 majom P esetén; t₈₃ = 26.6, P ≈ 0, n = 84 majom S esetén). A fekete körök és hibasávok az átlagot és a SEM-et jelzik. d A sikeres arány a magas költségekkel és az alacsony költségekkel járó vizsgálatokban (kétirányú párosítva) t teszt; t₆₇ = 0.51, P = 0.61, n = 68 majom P esetén; t₈₃ = 0.79, P = 0.43, n = 84 majom S esetén). e Költségekre vonatkozó RT-k (**)P <0.01; kétfarkú páros t teszt; t₆₇ = 20.4, P ≈ 0, n = 68 majom P esetén; t₆₉ = 2.0, P = 1.2 × 10^-3, n = 70 majom S esetén). f RT a jutalomjelzőkhöz (**)P <0.01; kétfarkú páros t teszt; Majom P (n = 68): HC + vs. LC +, t₆₇ = 3.5, P = 9.2 × 10^-4; HC− vs LC−, t₆₇ = 24.5, P ≈ 0; HC + vs. HC−, t₆₇ = 21.6, P ≈ 0; LC + vs. LC−, t₆₇ = 28.5, P ≈ 0; Monkey S (n = 70): HC + vs. LC +, t₆₉ = 5.6, P = 4.4 × 10^-7; HC− vs LC−, t₆₉ = 4.8, P = 8.4 × 10^-5; HC + vs. HC−, t₆₉ = 18.0, P ≈ 0; LC + vs. LC−, t₆₉ = 5.9, P = 1.1 × 10^-7)

Teljes méretű kép

A fizetett költség növeli a jutalom-előrejelző jelzések értékét

Hogy hallgatólagos bizonyítékot szerezzünk a majmok szubjektív értékelésének különbségeire vonatkozóan, megvizsgáltuk a majmok reakcióidejét (RT). Különösen arra számítottunk, hogy ha a majmok nagyobb szubjektív értéket tulajdonítanak az egyik opciónak, mint a másiknak, akkor gyorsabb RT-t kell mutatniuk az értékesebb opcióhoz²⁷. Amikor az RT-t összehasonlítottuk a költségjelzések között, mindkét majom gyorsabb RT-értéket mutatott az LC-hez, mint a HC-jelölés (5. ábra). 1e), bemutatva az LC feltétel implicit preferenciáját. Amikor az RT értékeket összehasonlítottuk a jutalomjelzők között, mindkét majom gyorsabb RT-t mutatott (R +) jelzések jutalmazására, mint nincs jutalom (R−) jel (ábra). 1f), jelezve, hogy inkább az R + jeleket részesítik előnyben az R – jelekkel szemben. Ezenkívül mindkét majom gyorsabb RT-értéket mutatott az R-hez_HC+ dákó az R-hez képest_LC+ dákó és az R irányába_HC- dákó az R-hez képest_LC- dákó (2. ábra) 1f), jelezve, hogy jobban értékelik a HC jutalom-előrejelző jelzéseit, mint az LC feltétel.

Ezenkívül választási kísérleteket is beépítettünk a HLC zsákád feladatába, hogy megvizsgáljuk a majmok nyilvánvaló preferenciáit a jelölések között (Kiegészítő 1. ábra). 1a). A majmok elsősorban az LC dákót választották, amikor a költségjelzések között választottak (Kiegészítő 1. ábra). 1b). S majom az R választotta_HC+ dátum, amikor az R közötti választási feladatot végrehajtja_HC+ és R_LC+ dákó, de nincs preferencia az R között_HC- és R_LC- dákók (2. ábra) 1c, d). Ezzel szemben a P majom nem mutatott nyilvánvaló preferenciát R között_HC+ és R_LC+ jelek, de mindazonáltal inkább az R-t részesítette előnyben_HC- dátum az R közötti választáskor_HC- és R_LC- dákók (2. ábra) 1c, d).

Elektrofiziológiai eredmények a HLC saccade feladatban

Az egységi aktivitást a HLC saccade feladat során a lényeges nigra pars compacta (SNc) és a ventrális tegmentalis területen (VTA) elhelyezkedő idegsejtektől vettük fel. Azonosítottuk az 70 dopamin idegsejteket a két majom között (Kiegészítő 1. ábra). 2a; 18 és 52 neuronok a majom P-ből és S-ből). A szövettani vizsgálat megerősítette, hogy az idegsejtek az SNc / VTA-ban vagy annak környékén helyezkednek el (Kiegészítő 1. ábra). 2b).

Ábrán 2, megmutatjuk egy reprezentatív dopamin neuron aktivitását. Ez az idegsejt szerény aktivációt mutatott az LC dákóhoz, és fázikus aktiválást vagy elnyomást mutatott a jutalomhoz (R_HC+ és R_LC+) vagy nincs jutalomjel (R_HC- és R_LC-), ill. 2, Kiegészítő ábra 3). A neuron szintén fázikus aktiválást mutatott a kiszámíthatatlan jutalomhoz, valamint fázikus szuppressziót egy averzív ingerre, egy kiszámíthatatlan légfújásra adott válaszként (5. ábra). 2, jobb oldali panelen). Ezenkívül a neuron a start dudán szerény elnyomást mutatott, de nem reagált a jutalom leadására. A dopamin neuronok teljes populációjában, amelyet mind felvettünk, hasonló válaszok mutatkoztak a kezdő dudára és a jutalom leadására (Kiegészítő ábra). 4a, b). A HLC zsákány feladatában a jutalom megszerzése előtt fizetett erőfeszítést. Mivel a becsült költség csökkentette a dopamin idegsejtek aktivitását^22,23, a dopamin neuronválaszok elnyomódnak az indulás dátumának bemutatásakor¹⁶.

Reprezentatív dopamin neuron aktivitása a HLC saccade feladatban. A tüske sűrűség függvényei (egy Gauss-függvényhez kapcsolódva) és a raszteres ábrák igazodnak a kezdő dátum kezdő időzítéséhez, a költség dákóhoz (C dákó), a rögzítési célhoz, a jutalom dátumhoz (R dákó) és a sípoláshoz. Mindegyik szín egy feltételt jelöl (sárga: HC +, zöld: HC−, rózsaszín: LC +, cián: LC−). A zsákány kezdetének időzítését szürke kereszt jelzi. A jobb oldali panelen a dopamin idegsejtek válaszai a kiszámíthatatlan jutalomra vagy a légfújásra is megjelennek (piros: kiszámíthatatlan jutalom, kék: kiszámíthatatlan légfújás)

Teljes méretű kép

A dopamin neuronok információt kódolnak mind a jutalomról, mind a költségekről

A neuronok fokozatosan reagáltak az LC dákóra, de kevésbé robusztusan a HC dákóra (5. ábra). 3a, b). A költségfolyamatokra adott válaszok kevésbé reagáltak a HC dákóra, mint az LC dákók (kétirányú Wilcoxon aláírt rangú tesztje, P <3.2 × 10^-4, n = 70). Számítottuk a várható költség neuronválaszokra gyakorolt ​​hatását a vevő működési jellemzőinek (ROC) elemzésével. A ROC görbe alatti terület eloszlása ​​(auROC) szignifikánsan <0.5 volt. 3c; kétirányú Wilcoxon aláírt rangú tesztje; P = 5.4 × 10^-4, n = 70), jelezve, hogy a HC-jel válaszok kisebbek voltak, mint az LC-jelre. Korábban kiderült, hogy az előre jelzett költségek csökkentik a dopamin neuron aktivitását, összhangban az eredményeinkkel^22,23. Ezenkívül a dopamin idegsejtek populációja szignifikáns aktiválást mutatott az LC dákóban, miközben nem mutatott szignifikáns elnyomást a HC jelekhez (Kiegészítő ábra). 4c, d). Ezek az eredmények azt sugallják, hogy a dopamin idegsejtek kódolják és integrálják a jutalomra és a költségekre vonatkozó információkat a költségjelzés bemutatásakor.

A dopamin neuron reakciók a költségjelekre. a Reprezentatív dopaminneuron válasz a költségekre. A tüskesűrűség-függvényeket a P. majomról felvett dopaminneuron normalizált aktivitásából számoltuk ki. A színes vonalak a tüskesűrűség-függvényeket, a színes pontok pedig a tüske időzítését jelzik. A zöld és a lila szín a magas költségű és az alacsony költségű vizsgálatok aktivitását jelzi. A függőleges vonal a költségjel bemutatásának időzítését jelzi. A szürke színű terület azt a periódust jelöli, amely alatt a jelzésre adott válasz válaszként kiszámítja az elsütési sebességet. b A P majomról az állapotjelzőkre felvett dopamin neuronok populáció-átlag aktivitása. A folytonos vonalak, a szaggatott vonal, átlagot mutatnak, és SEM. c A ROC-ok alá eső területek megoszlása ​​a becsült költségnek a költségjelre adott idegválaszra gyakorolt ​​hatásának számszerűsítése céljából. A kitöltött négyzetek és a nyitott körök jelzik a P és S majom adatait. A nyílhegy az auROC (0.47) mediánját jelzi. d, g A motivációs érték típusú dopamin neuron reprezentatív válaszai (d) vagy saliencia típusú dopamin neuron (g) a kiszámíthatatlan jutalomra vagy a légbesugárra. A piros és a kék görbe a kiszámíthatatlan jutalomra és a kiszámíthatatlan légfújásra adott választ jelzi. A függőleges vonal jelzi a kiszámíthatatlan jutalom vagy a légfújó kézbesítésének időzítését. A halvány vörös és kék négyzet azt jelzi, hogy mikor kell kiszámítani a lövési sebességet, mint a kiszámíthatatlan jutalomra vagy a légfújásra adott választ. e, h A motivációs érték típusú dopamin neuronok populáció-átlagolt aktivitása (e) vagy saliencia típusú dopamin neuronok (h) a kiszámíthatatlan jutalomra vagy a légbesugárra. f, i Az auROC-k eloszlása ​​a motivációs érték típusú dopamin neuronok alapján számítva (f) vagy saliencia típusú dopamin neuronok (i). A nyílhegyek jelzik az auROC-k mediánját (f 0.48; i 0.46)

Teljes méretű kép

A dopamin idegsejtek két különálló altípusát korábban már leírták: motivációs érték és derivitás idegsejtek^28,29. A dopamin neuronpopulációnkban bizonyítékot találtunk mindkét altípusnak megfelelő válaszmintákra. Az érték típusú idegsejtek fázisos szuppressziót mutattak az averszív légfújás stimulusoknál (5. ábra). 3d, pl). Ezzel ellentétben a szelektív idegsejtek fázikus aktiválást mutattak az averzív stimulusokhoz (5. ábra). 3g, h). A hosszú távú rögzítés a HC-vizsgálatban szintén kellemetlen és riasztó; ezért lehetséges, hogy a két dopamin neuron altípus eltérő válaszmintát mutat a költségviszonyok jelzéseire. Ha a dopamin idegseg averzív ingereket képvisel és költségeik hasonlóak, akkor az értékneuronoknak az aversiivitása miatt csökkent HC-aktivitást kell mutatniuk. Másrészről, a jóindulatú idegsejteknek fokozniuk kell a HC dákó aktivitását, mivel ezek szintén növelik a kellemetlen ingereket. Azonban a mindkét típusú neuron kiváltott válaszai kisebbek voltak a HC-dákhoz viszonyítva, mint az LC-dák (kétirányú Wilcoxon aláírt rangú tesztje; P = 0.021, n = 41 és P = 0.0044, n = 29 az értékre, illetve a törzsfajtákra), és a ROC elemzés mindkét altípusban kisebb válaszokat mutatott a HC-ra, mint az LC jel (XNUMX. ábra). 3f, i; kétirányú Wilcoxon aláírt rangú tesztje; P = 0.030, n = 41 és P = 0.0058, n = 29 az értékre és a törzstípusokra). Így az előre jelzett költségcsökkentett aktivitás a dopaminneuronok mindkét altípusában. Ezek az eredmények azt mutatják, hogy a költséginformációt a dopaminneuronok az averzív ingerektől minőségileg eltérő módon dolgozzák fel.

A HLC saccade feladatban kényszer-megszakítást illesztettünk be az LC-vizsgálatok egy részébe, hogy kiegyenlítsük a sikertelenséget és a jutalom valószínűségét a próbatípusok között. Ez a manipuláció növelte a jutalom megszerzésének bizonytalanságát, vagy annak kockázatát, hogy az LC állapotban nincs jutalom. Ezért a dopaminneuronok magasabb aktivitása és a majmok LC-értékének megnövekedett értékelése a HC-jel felett a kockázati különbségek vagy a költségfeltételek közötti bizonytalanságnak tudható be. Nem találtunk összefüggést a kényszermegszakítások száma és az RT különbsége között (Kiegészítő ábra). 5a, b), és pozitív összefüggést találtunk a kényszermegszakítások száma és az auROC között (Kiegészítő ábra). 5c). Összehasonlítottuk a dopamin válaszokat az abortusz utáni költségjelre és a helyes vizsgálat után is, de nem találtunk különbséget mindkét költségfeltételben (Kiegészítő ábra). 5d). Ezek az eredmények azt mutatják, hogy a kényszer abortuszok száma az LC állapotban nem magyarázza sem az értékelés növekedését, sem az LC dózis fokozott dopaminerg aktivációját.

Megnövekedett dopaminválaszok a fizetett költségek megtérítésére

A felvett dopamin idegsejtekről kimutatták, hogy fázisos aktiválást és elnyomást mutatnak a jutalom megteremtése érdekében, és nem mutatnak jutalom-előrejelző jeleket (5. ábra). 2). Ezután megvizsgáltuk, hogy ezeket a válaszokat a korábban felmerült költségek modulálják-e. Példa reprezentatív neuronokra és populáció-átlagolt neuronokra, amelyek nagyobb aktivációt mutatnak az R-hez_HC+ dákó, mint az R_LC+ jelzés az ábrán látható Illetve 4a. (kétfarkú Wilcoxon aláírt rangú tesztje; P = 7.4 × 10^-5, n = 70). Az auROC-k eloszlása> 0.5 volt, jelezve, hogy az R-re adott válasz_HC+ a cue nagyobb volt, mint az R_LC+ dákó (ábra 2) 4c; kétirányú Wilcoxon aláírt rangú tesztje; P = 1.4 × 10^-4, n = 70). Ezek az eredmények azt mutatják, hogy a HC-állapotban a jutalom-előrejelző jelre adott válasz lényegesen nagyobb, mint az LC-állapotban. Ezért eredményeink azt sugallják, hogy a dopaminneuronok által képviselt pozitív-RPE jelet megnöveli a korábban felmerült költségek.

A dopamin idegsejtek reakciói a jutalom-utalásokra. a Példa az idegsejtek válaszára az R + jelekre. A tüske sűrűségfüggvényeit a P majomból felvett dopamin neuron aktivitásából számoltuk. A színes vonalak és pontok a tüske sűrűségét és a tüske időzítését mutatják. A sárga és a rózsaszín színek jelzik az aktivitást a költséges és az alacsony költségű vizsgálatokban. A függőleges vonal jelzi az R + cue bemutatásának időzítését. A szürke színű terület jelzi azt a periódust, amikor a lövési sebességet a jutalomra adott válaszként számolják. b A majom P-től az R + -jelekig rögzített dopamin neuronok populáció-átlagolt aktivitása. A folytonos vonalak és a szaggatott vonalak az átlagot, illetve a SEM-et jelentik. c Az auROC-k eloszlása ​​a fizetett költségeknek az R + jelekre adott neuronális válaszra gyakorolt ​​hatásának számszerűsítésére. A kitöltött négyzetek és a nyitott körök jelzik a P és S majom adatait. A nyílfej jelzi az auROC-k mediánját (0.53). d Reprezentatív válasz az útmutatásokra. A zöld és a cián szín a költséghatékony és az olcsó költségeket jelzi. A függőleges vonal jelzi az R-cue bemutatásának időzítését. e A P majomtól az R-jelekig regisztrált dopamin neuronok populáció-átlag aktivitása. f Az auROC-k eloszlása ​​a fizetett költségeknek az R-utakra adott neuronális válaszra gyakorolt ​​hatásának számszerűsítésére. A nyílhegy az auROC (0.50) mediánját jelzi

Teljes méretű kép

A dopamin idegsejtek szintén fázisos szuppressziót mutattak az R-jeleknél (2. ábra). 4d, pl). A dopamin neuronok válaszai az R-jelekre azonban nem mutattak szignifikáns különbséget a felmerült költségek függvényében (kétirányú Wilcoxon aláírt rangú tesztje; P = 0.25, n = 70), és a ROC-elemzés nem tárt fel bizonyítékot a válaszeloszlás torzítására (XNUMX. ábra). 4f; Wilcoxon aláírt rangú tesztje, P = 0.35; n = 70). Így a fizetett költség nem tükröződött a negatív-RPE jelben, amelyet a nem előrejelző jelek váltottak ki. Ennek oka lehet a padló hatása: a dopamin neuron spontán aktivitása alacsony (kb. 5 Hz); és következésképpen nem biztos, hogy elegendő dinamikus tartomány rendelkezik a negatív RPE válaszra fordított ilyen költségkülönbségek megfelelő kódolásához (XNUMX. 4d, pl).

Megvizsgáltuk azt is, hogy a fizetett költségek hogyan befolyásolják az érték- és az észlelhetőség típusú dopamin neuronok jutalmi jeleit, de a dopamin neuronok mindkét típusa hasonló válaszmintázatot mutatott (2. ábra). 6a-h). Ezért a fizetett költség hasonló hatást mutat a jutalom-utalásokra adott válaszreakciókban mind az érték, mind az ösztönző típusú dopamin idegsejtekben.

A majmok tényleges rögzítésének időtartama nem volt állandó, de próbapróbánként változott (2. ábra). 1b). Ezért lehetségessé vált, hogy a jutalomdákra adott dopaminválaszokat a tényleges rögzítési időtartamok változtatják be próbánként. Ugyanakkor nem találtunk szignifikáns összefüggést közöttük az egyes költség- és jutalmazási feltételek között (Kiegészítő 1. ábra). 7hirdetés). Ezenkívül a jutalékra vonatkozó RT-t a költség és a jutalom feltételei szintén módosították (5. ábra). 1f). Az egyik lehetőség az, hogy a dopamin idegsejtek válaszát az RT-k meg tudják magyarázni a jutalom jelölésekre próba-próbaként. Ugyanakkor nem találtunk szignifikáns összefüggést az RT-k és a jutalomjelzők normalizált dopaminválaszai között (2. ábra). 7e-h). Ezek az eredmények azt sugallják, hogy a dopamin válaszok függetlenek mind az egyes vizsgálatok RT-jétől, mind a rögzítés időtartamától, mégis módosítják a szükséges költségek és az elvárt jutalom összegét, amelyet az egyes vizsgálati típusokhoz rögzítenek.

Ezenkívül az is lehetséges, hogy az LC állapotban a kényszermegszakítások mind a majmok preferenciáit, mind a dopamin idegsejtek fokozott aktiválását generálják a HC állapot megtérülési pontjaként. Ha igen, a kénytelen abortok számát mind az előnyhöz, mind a fokozott aktiválás mértékéhez kell kapcsolni. A kényszer abortok száma azonban nem befolyásolta sem a majmok preferenciáját, sem a dopamin idegsejtek aktiválását a jutalomjelzőkhöz (2. ábra). 8). Ezért gyorsabb RT és magasabb DA válasz az R-re_HC+ dákó, mint az R_LCA + cue nem az LC állapotban behelyezett kényszerített megszakítások miatt.

A felmerült költségek növelik a jutalom átadására adott dopaminválaszokat

A dopamin idegsejteknek az R + utalásokra adott válaszának magának a jutalomra adott válasznak kell lennie, mivel a dopamin neuronok megváltoztatják a jutalom-előrejelző jelekre adott válaszukat az stimulus-jutalom asszociációhoz viszonyítva^8,30. Ezért azt vártuk, hogy a dopamin neuronok fizetett költségfüggő válasz fokozódást mutatnak a juttatás megjuttatásához. A dopamin idegsejt aktivitásának a juttatáshoz való mérésére a majmok elvégezték a HLC bizonytalan feladatát két új jutalomjelzéssel (5. ábra). 5a). Mivel a jutalmakat a jutalom dátumainak csak a felében adták át, a jutalékdíjak nem voltak megbízhatóan, és nem különböztették meg a jutalom átadását. Ennek célja a dopamin idegsejtek reagálásának maximalizálása a (előre nem látható) jutalom megszerzésekor, annak érdekében, hogy növeljük érzékenységünket az idegsejtek reakcióképességének modulációjának kimutatására a kiadott költség függvényében.

HLC bizonytalan feladat. a A HLC bizonytalan feladata. Ebben a feladatban bizonytalan jutalomjeleket használtunk, amelyekben a jutalmakat az idő 50% -ában adták ki, függetlenül attól, hogy melyik dákót mutatták be. b RT a költségdíjakkal kapcsolatban a magas és alacsony költségű kísérletek során. Csak a P majom gyorsabb RT-értéket mutatott az LC dákóhoz, mint a HC dátum (**)P <0.01; kétfarkú páros t teszt; t₄ = 9.0, P = 8.5 × 10^-4, n = 5 majom P esetén; t₁₈ = 1.4, P = 0.19, n = 19 majom S esetén). A fekete körök és a hibasávok az átlagot és a SEM-et jelzik. c RT-k a jutalom jelzésére a költséges és olcsó vizsgálatokban. Nem volt különbség az RT-ben a jutalomdátumok között a magas és az alacsony költségű feltételek között (kétirányú páros t teszt; t₄ = 0.97, P = 0.39, n = 5 majom P esetén; t₁₈ = 0.99, P = 0.39, n = 19 majom S esetén)

Teljes méretű kép

Amikor az RT értékeket összehasonlítottuk a költségdiagramok között, a P majom gyorsabb RT-értéket mutatott az LC cue-hoz, mint a HC cue (5. ábra). 5b). Mindkét majomban nem volt különbség az RT-ekben a HC és LC körülmények közötti jutalomdátumokban (2. ábra). 5c).

A HLC bizonytalan feladatában a dopamin idegsejtek szerény aktivációt mutattak az LC dákóra, de nem reagáltak a jutalom jelre, mert nem voltak prediktív jutalmak (5. ábra). 6a). A populációban a kiváltott válaszok kisebbek voltak a HC - hez, mint az LC dákóhoz (4. Ábra). 6b; kétirányú Wilcoxon aláírt rangú tesztje; P = 2.7 × 10^-3, n = 19), és a ROC elemzések kisebb reakciókat mutattak a HC jelre (XNUMX. ábra). 6c; kétirányú Wilcoxon aláírt rangú tesztje; P = 5.5 × 10^-3, n = 19). A jutalom leadására adott idegsejt-válasz HC-állapotban nagyobb volt, mint az LC (XNUMX. ábra). 6d; kétirányú Wilcoxon aláírt rangú tesztje; P = 0.036, n = 19). Az auROC-k eloszlása> 0.5 volt, ami nagyobb jutalom-leadási választ adott a HC-ban az LC-vizsgálatokhoz képest. 6e; kétirányú Wilcoxon aláírt rangú tesztje; P = 0.049, n = 19). Ezek az eredmények azt jelzik, hogy a jutalom kézbesítési válasza fokozott a HC-próbában, és hogy a fizetett költség növeli a pozitív-RPE jelet a jutalom átadásakor.

Dopamin neuron válasz a jutalom átadására. a Reprezentatív dopamin neuronaktivitás a HLC bizonytalan feladatában. Mindegyik szín jelzi a körülményeket (sárga: HC +, zöld: HC−, rózsaszín: LC +, cián: LC−). A zsákány kezdetének időzítését szürke kereszt jelzi. Ennek a dopamin neuronnak a kiszámíthatatlan jutalomra és a légfújásra adott reakcióit a jobb oldali panelen is ábrázolják (piros: kiszámíthatatlan jutalom, kék: kiszámíthatatlan légfújás). b Az S majomtól az állapotjelzésekig rögzített dopamin neuronok populáció-átlagolt aktivitása. A zöld és a lila színek a magas költségű és az alacsony költségű vizsgálatok aktivitását jelzik. A folytonos vonalak és a szaggatott vonalak az átlagot, illetve a SEM-et jelentik. A szürke színű terület jelzi az időablakot, amely kiszámítja az égetési sebességet, mint a válasz a feltételre adott jelekre. c Az auROC-k eloszlása ​​a becsült költségnek a költségjelekre adott idegválaszra gyakorolt ​​hatás számszerűsítése céljából. A kitöltött négyzetek a P majom adatait jelzik (n = 3) és a nyitott körök jelzik az S majom adatait (n = 16). A nyílhegy az auROC mediánját jelzi (0.44). d Az S majomtól a jutalom leadásáig regisztrált dopamin neuronok populáció-átlag aktivitása. A sárga és a rózsaszín színek jelzik az aktivitást a költséges és az alacsony költségű vizsgálatokban. A szürke színű terület jelzi az időablakot, amellyel kiszámolható a tüzelési sebesség, mint a jutalom kézbesítésére adott válasz. e Az auROC-k eloszlása ​​a fizetett költségeknek a jutalom átadására adott idegválaszra gyakorolt ​​hatás számszerűsítése céljából. A nyílhegy az auROC (0.55) mediánját jelzi

Teljes méretű kép

Ezen felül összehasonlítottuk a dopamin válaszokat a jutalom hiányát követően. Az auROC-k nem mutattak elfogult eloszlást, jelezve, hogy a fizetett költség nem volt hatással a negatív RPE-kre az eredmény időpontjában (Kiegészítő ábra). 9a). A dopamin neuronok nem mutattak különbséget az R-re adott válaszok között_HC és R_LC jelzések (kiegészítő ábra) 9b).

A felmerült költségek növelik a tanulási sebességet

Tekintettel arra, hogy az RPE-k jutalomátadását a fizetett költség növeli, azon feltételezés mellett, hogy az RPE-k közvetlenül vesznek részt az inger-jutalom tanulás közvetítésében, azt vártuk, hogy a megnövekedett RPE-k nagyobb tanulási sebességen keresztül tükröződnek a tanulási viselkedésben²⁴. A majmok elvégezték a HLC feltárási feladatot, hogy megvizsgálják a fizetett költségek tanulásra gyakorolt ​​hatását (5. ábra). 7a; lásd módszerek). Ebben a feladatban két jutalomjelzést (R + és R−) mutattak be egyszerre, és a majmoknak választottak egyet. Kiegyenlítettük a siker arányát és a jutalom valószínűségét a próba típusok között (kétirányú párosítva) t teszt; t₄₈ = 0.15, P = 0.89, n = 49 majom P esetén; t₈₅ = 1.2, P = 0.25, n = 86 majom S esetén). Amikor az RT-ket összehasonlítottuk a költségjelekkel, mindkét majom gyorsabb RT-t mutatott az LC-jelre, mint a HC-jel (XNUMX. ábra). 7b; kétirányú párosítva t teszt; t₄₈ = 12.9, P ≈ 0, n = 49 majom P esetén; t₈₅ = 3.4, P = 9.4 × 10^-4, n = 86 majom S esetén). Ha összehasonlítjuk az RT-ket a jutalomjelekkel, az S majom gyorsabb RT-t mutatott a HC-ban, mint az LC állapotban (XNUMX. ábra). 7c; kétirányú párosítva t teszt; t₄₈ = 1.3, P = 0.19, n = 49 majom P esetén; t₈₅ = 2.8, P = 6.8 × 10^-3, n = 86 majom S esetén). Ha a tanuló első és második felének külön-külön összehasonlítjuk az RT-ket, akkor az LC-jelnek az RT-je gyorsabb volt, mint a HC-jelnek az első során (Kiegészítő ábra). 10a) és az ülés második fele (Kiegészítő ábra 10c). Éppen ellenkezőleg, az S majom RT-je a jutalom dátumhoz HC állapotban gyorsabb volt, mint LC helyzetben, a szekciónak csak a második felében (Kiegészítő ábra). 10d), de az első felét nem (Kiegészítő 1. ábra) 10b).

HLC feltárási feladat. a A HLC feltárási feladat. Ebben a feladatban a majmoknak választaniuk kellett az R + és az R-jelek között, amelyeket véletlenszerűen generáltak minden tanulási munkamenet során. Ha az R + dákót választják, jutalmat kaphatnak, és ha az R-dátumot választják, akkor nem kapnak jutalmat. b RT a költségdíjakkal kapcsolatban a magas és alacsony költségű kísérletek során. A majmok gyorsabb RT-t mutattak az olcsó dákó számára (**)P < 0.01; kétfarkú páros t teszt). A fekete körök és a hibajelző sávok jelzik az átlagot és a SEM értéket. c RT-k a jutalom jelzésére a költséges és olcsó vizsgálatokban. A Monkey S gyorsabb RT-t mutatott a jutalmakhoz magas költségek mellett

Teljes méretű kép

A HLC feltárási feladat során a jutalomjelzéseket véletlenszerűen generálták minden tanulási munkamenet során. Ezért a majmoknak meg kellett tanulniuk a jutalom-utalások és a jutalmak kapcsolatát minden egyes ülésen. Ahogy a kísérletek egy munkameneten belül előrehaladtak, a majmok mindegyik költségfeltételnél gyakrabban választottak R + jelzéseket (5. ábra). 8a). A tanulási sebesség számszerűsítéséhez az adatokhoz kumulatív exponenciális függvényt illesztünk, amely két szabad paramétert tartalmaz, a és a b, amely jelzi a görbe meredekségét és a fennsíkot (Kiegészítő ábra). 11a, b). A merevségi paraméterek log-aránya (log a_HC/a_LC) szignifikánsan nagyobb volt, mint a nulla, jelezve, hogy a HC merevségi paramétere nagyobb, mint az LC vizsgálatokban (4. 8b; kétfarkú t teszt; t₄₈ = 2.1, P = 0.042, átlag = 0.58, n = 49 majom P esetén; t₈₅ = 2.5, P = 0.013, átlag = 0.19, n = 86 majom S esetén). A fennsík paraméterek közötti log arány (log b_HC/b_LC), nem különbözött nullától, jelezve, hogy nincs különbség a költségfeltételek között (2. ábra). 8c; kétfarkú t teszt; t₄₈ = 0.76, P = 0.45, átlag = -0.0024, n = 49 majom P esetén; t₈₅ = 0.56, P = 0.58, átlag = 0.010, n = 86 majom S esetén). Ezek az eredmények azt jelzik, hogy a HC-vizsgálatokban a tanulási sebesség nagyobb. Ezután a tanulási görbéket egy megerősítő-tanulási (RL) modell segítségével modelleztük (lásd: Módszerek). Ez a modell tartalmazza a tanulási arány paramétereit (α_HC és a α_LC) és a feltárási arányok (β_HC és a β_LC) mindkét költségfeltételnél (kiegészítő ábra 11c, d). A viselkedéshez való alkalmazkodás során azt találtuk, hogy a tanulási sebesség paramétereinek log log aránya (log α_HC/α_LC) nagyobb volt, mint nulla, jelezve, hogy a HC tanulási sebességének paramétere lényegesen nagyobb, mint az LC vizsgálatokban (4. 8d; kétfarkú t teszt; t₄₈ = 2.3, P = 0.026, átlag = 0.50, n = 49 majom P esetén; t₈₅ = 2.2, P = 0.034, átlag = 0.25, n = 86 majom S esetén), míg a paraméter β nem mutatott különbséget (2. ábra) 8e; kétfarkú t teszt; t₄₈ = 0.77, P = 0.44, átlag = 0.0097, n = 49 majom P esetén; t₈₅ = 0.64, P = 0.52, átlag = 0.038, n = 86 majom S esetén). Itt megbecsültük az egyes költségfeltételek tanulási arányának paramétereit (α_HC és a α_LC) külön, hogy megmagyarázza a gyorsabb tanulási sebességeket a HC állapotban. Ha azonban a tanulási arány azonos a költségfeltételek között, akkor a becsült tanulási arány paraméterek aránya (α_HC/α_LC) úgy tekinthető, mint a HC állapotú RPE-k amplifikációs értéke. Ezért ezek az eredmények azt sugallják, hogy az RPE-k amplifikációja megmagyarázza a gyorsabb tanulási sebességeket a HC állapotban.

Tanulási sebesség teszt. a A P és az S majmok átlagos tanulási folyamata. Az R + választások arányát a kísérlet függvényében ábrázoljuk. A zöld és a lila pont a költséges és az alacsony költségű próba eredményeit jelzi. A szaggatott vonal a simított tanulási folyamatot képviseli. A kumulatív exponenciális függvényeket illesztettük az adatpontokhoz és folytonos vonalként ábrázoltuk. b A illesztési paraméterek log-aránya a magas és olcsó körülmények között, amikor az adatok illeszkedtek kumulatív exponenciális függvényhez (*P <0.05; kétfarkú Wilcoxon aláírt rangú tesztje). A fekete körök és a hibasávok az átlagot és a SEM-et jelzik. c A illesztési paraméterek log-aránya b magas és olcsó körülmények között, amikor az adatok illeszkedtek kumulatív exponenciális függvényhez. d A nappali arány a tanulási sebesség paraméter között α magas és olcsó körülmények között, amikor az adatok illeszkedtek a megerősítés-tanulás modelljéhez. e A illesztési paraméter log-aránya β magas és olcsó körülmények között, amikor az adatok illeszkedtek a megerősítés-tanulás modelljéhez

Teljes méretű kép

Megpróbáltuk magyarázni a tanulási folyamatot alternatív RL modellekkel is, amelyek figyelembe veszik annak a lehetőségét, hogy a majmok megismerik az ingerek közötti korrelációt és a jutalmat minden próba során. Ezekben a modellekben a nem választott opció értékét a kiválasztottval együtt frissítik (Kiegészítő 1. ábra). 12). Még ha ilyen alternatív modelleket is alkalmaztak az adatokra, a tanulási sebesség paramétere szignifikánsan nagyobb volt a HC-ben, mint az LC feltétel (Kiegészítő ábra). 12b, f) míg a paraméter β nem mutatott különbséget (2. ábra) 12d, h). Ezért a HC állapotban az RPE jel erősítésével kapcsolatos megállapításaink szilárdak az adatokhoz illeszkedő RL modell formájával.

Megvizsgáltuk a fizetett költség hatását a jutalom-előrejelző jelek értékére és a középsó agy dopamin neuronok fázisos válaszaira. A majmok megnövekedett értékelést kaptak a jutalom-előrejelző jelzésekre vonatkozóan, ha egy akció végrehajtott egy nagyobb költséget. A dopamin neuronok fokozott választ mutattak mind a jutalom-előrejelző dákóra, mind a jutalom leadásra, miután magasabb költségek merültek fel. Ezenkívül a majmok gyorsabb tanulási sebességet mutattak, amikor a jutalom megszerzéséhez magasabb költségekre volt szükség.

Számos tanulmány kimutatta, hogy a fizetett költség javítja a jutalom-előrejelző dákó preferenciáit^1,2,3. Ebben a tanulmányban a majmok gyorsabb RT-t mutattak a jövedelem-előrejelző jelekhez a HC-állapotban, mint az LC-állapotban, összhangban azzal a lehetőséggel, hogy a jutalom dátum értékét növelik a fizetett költség²⁷. Alternatív lehetőség az, hogy a hosszabb rögzítési idő, amely fokozott figyelmet fordít a zsákréteg céljára HC állapotban, ennélfogva csökkenti az RT-t a hosszabb rögzítés után a HC vizsgálatban. A HLC bizonytalan feladatban azonban a HC és az LC vizsgálatokban nem találtunk különbséget az RT és az R mérések között. Ezenkívül a HLC feltárási szakaszának első felében. Az R-jelek RT-je nem különbözött szignifikánsan a HC és az LC vizsgálatok között. Ezek az eredmények azt mutatják, hogy a hosszabb rögzítés nem valószínű magyarázat a jutalom-előrejelző jelekre megfigyelt rövidebb RT-ekre. A fizetett költségeknek a jutalék cue-kre gyakorolt ​​hatása mellett a költségek a nem jövedelem előrejelző jelekre is vonatkoztak, annak ellenére, hogy a cue bemutatása után nem nyújtottak jutalmat. Egy korábbi tanulmány hasonló jelenségről számolt be, mivel a majom alanyai rövidebb RT-t mutattak a nem megítélt kísérletekben, amikor az egyes blokkokon belüli alternatív vizsgálatokban inkább előnyben részesített jutalmakat alkalmaztak³⁰. A vizsgálat egyik lehetséges értelmezése abban a tanulmányban az, hogy az általánosabb motiváció a blokkban való reagáláshoz, előnyösebb jutalommal érintett RT-kkel együtt, a blokkon belüli jutalom hiányára. Hasonlóképpen, ebben a tanulmányban a HC-vizsgálatokban egy értékesebb jutalom elvárása modulálhatta volna az RT-t a feladatunkban a HC-vizsgálatokban nem járó jutalomra. Ezenkívül a fizetett költség RT-jére gyakorolt ​​hatása a jutalomra vonatkozó jelekre kisebb volt, mint a jutalmat nem előre jelző jelekre. Ez valószínűleg annak a ténynek a tárgya, hogy mivel a majmok gyorsabban tették a zsákot az R-hez_LC+ cue, elsősorban csökkent a mozgástere, hogy észlelhető legyen az RT-ek rövidítése az R-re_HC+ dákó. Ezért az R + jelzések közötti RT-különbség kicsi lenne.

A majmok választási kísérleteket is végeztek az R között_HC és R_LC jelzések a HLC feladatban. Míg az S majom inkább az R-t részesítette előnyben_HC+ dákó az R felé_LC+ dákó, a P majom nem mutatott ilyen preferenciát. Ez az eltérés a HLC saccade és a választási kísérletek közötti kontextusbeli különbséggel magyarázható. A választási kísérletekben két jutalom-előrejelző útmutatót mutattak be egy jutalom-előrejelző jel helyett. Ezenkívül a majmok választásuk után sem jutalmat értek el, még akkor sem, ha a jutalom-előrejelző dákót választották, tehát a választási tesztet kihaláskor végezték. Az oltási eljárást annak biztosítása érdekében hajtották végre, hogy a majom választását az erőkifejtési kísérletek során megtanultak vezessenék, ellentétben azzal, hogy összekeverik a választási kísérletek új tanulásával. Ennek az eljárásnak azonban lehet olyan mellékhatása, hogy a majom gyorsan megtanulhatja felismerni a kioltási eljárást a választási kontextusban, és nincs ok a kedvelt inger kiválasztására. Ennek ellenére az egyik majom valójában inkább a jutalom dátumát részesítette előnyben a HC állapotban.

A korábbi tanulmányokkal összhangban egy olyan dátum bemutatásakor, amely előre jelezte a későbbi költségtérítési igényt, a dopamin neuronok aktivitása csökkent.^22,23. Vizsgálatunkban nem figyeltük meg a dopamin idegsejtek általános válaszcsökkenését, amely mind a HC, mind az LC dózisokra reagált az alapvonalhoz képest. Ez arra utal, hogy a következő költség ellenére ebben az időpontban nem fordul elő negatív RPE jel. A negatív RPE hiánya feltehetően a jövőbeli jutalom előrejelzésének integrálását tükrözi a későbbiekben a tárgyalás során. A dopamin neuronok szignifikáns aktivációt mutattak az LC vizsgálatban, és az aktivitás magasabb volt, mint a HC vizsgálatban. Ez arra utal, hogy a költséginformáció beépül az RPE szignálba, amelyet a dopamin neuronok hordoznak. Így a dopamin neuronok egyszerre kódolják a jutalmat és a költségeket, és az RPE válasz tükrözi a költség és a jutalom összegét.

Bebizonyítottuk, hogy a dopamin neuronok által képviselt RPE szignált növeli a fizetett költség a jutalom dátuma bemutatásakor (a HLC saccade feladatnál) és a jutalom leadásakor (a HLC bizonytalan feladatnál). A HC és az LC vizsgálatokban odaítélt jutalom objektív összege megegyezett; ezért az RPE jelek módosítását értelmetlen folyamat okozza. Ezt a lehetőséget több tanulmány támasztja alá, amelyek a dopamin RPE szignálokra gyakorolt ​​kontextuális hatást mutatják, összhangban a dopamin neuronok szubjektív értékének és / vagy hasznosságának feldolgozásával^{11,19,20,21,31,32,33,34}. Ha az RPE jel nagyobb, ennek gyorsabban meg kell frissítenie a dátum értékét, ami következményekkel járhat az inger-jutalom asszociációk tanulási sebességére. A korábbi tanulmányok kimutatták, hogy a tanulás sebessége értelmetlen tényezőkkel módosult^24,35. Ezzel összhangban a majmok gyorsabb tanulási sebességeket mutattak a HC-ben az LC állapothoz viszonyítva. Megállapítottuk, hogy a megnövekedett tanulási sebesség a fizetett költségekkel magyarázható egy megerősített RPE-vel rendelkező RL modellel. Kísérleteink során nehéz volt elválasztani az amplifikált RPE és a megnövekedett tanulási arány hatásait; azonban HC állapotban amplifikált dopaminerg RPE jelet találtunk. Ezenkívül egy korábbi fMRI tanulmány kimutatta, hogy a tanulási sebesség paramétere a cingulate elülső kéregben van jelen, és hogy a VTA aktivitása nem kapcsolódik a tanulási sebesség paraméteréhez illékony környezetben³⁶. Ezért azzal érvelünk, hogy a dopamin neuronok által kódolt RPE jelet a fizetett költség felerősíti, és hogy a megnövekedett RPE jel növeli a tanulási sebességet.

Amikor az RPE jelet a jutalom dátum bemutatása és a jutalom kézbesítésekor generálták, a majmok már megfizették a költségeket. Ezért a fokozott RPE jel egyik lehetséges mechanizmusa, hogy a HC után kapott jutalom több jutalom lehet. Az értékesebb jutalom megnövekedett elvárása a HC után fokozhatja a kísérlet befejezésének motivációját, ezáltal lerövidítheti az RT-t a HC vizsgálatok jutalomjeire.

Eredményeink egy másik értelmezése az, hogy a költséges akció befejezésével járó megkönnyebbülés jutalomként szolgálhat a majmok számára. A funkcionális mágneses rezonancia (fMRI) vizsgálatok kimutatták, hogy a fájdalomcsillapítás jutalom lehet az emberi résztvevők számára^37,38; ezért a költségek hasonló szerepet játszhatnak, mint a fájdalom riasztó stimulusa. Ha a költségmentesség megtérül, és ha ez tükröződik a dopaminerg aktivitásban, akkor arra számíthatunk, hogy a dopamin neuronok a hosszú fixálás végén válaszolnak, amely a jutalom dátum bemutatásának időpontja. Ugyanakkor nem figyeltünk meg különbséget a dopaminerg aktivitásban a jutalom dátumok bemutatásakor, és a HLC bizonytalan feladatban sem a HC, sem az LC vizsgálatok közötti RT dózisok közötti különbséget. Ezért azt javasoljuk, hogy a költségmentesség nem ad megfelelő magyarázatot a dopamin idegsejtekben megfigyelt hatásra.

Ezenkívül a dopamin idegsejtek kvalitatív módon eltérő válaszokat mutattak az averszív stimulusra, mint a költségeket előrejelző jel. Ennek egyik lehetséges magyarázata az, hogy az erőfeszítés költsége kevésbé volt egyértelmű, mint a légfúvás vagy a jutalom, mivel az erőfeszítés költsége időben meghosszabbodott néhány másodpercig, mivel a majmok elvégezték a rögzítést, és nem szúrták át őket. Ezért előfordulhat, hogy a dopamin idegsejteket nem aktiválják a kevésbé szembeszökő költségekre. Egy másik lehetőség az, hogy a kényes típusú dopamin neuronok olyan eseményekre reagálnak, amelyek után bizonyos mozgásokat indukáltak. Amikor a jutalmat vagy a légfújót a majmoknak adták, akkor bizonyos mozgásokat hajtanak végre, például nyalás vagy a szem pislogása. A HLC zsákmány feladatában azonban a majmoknak a rögzítési célpontra kellett nézniük, anélkül, hogy költségek voltak. Valójában egy nemrégiben végzett tanulmány kimutatta, hogy a jutalom-előrejelző cue után a dopamin felszabadulása a magban felhalmozódik, hacsak a mozgást nem indítják el³⁹. Mivel kísérleteink költsége nem foglalta magában a mozgás megindítását, ez potenciálisan következetlen reakciót eredményezhet az élethű típusú dopamin neuronok között. Mindkét esetben arra a következtetésre juthatunk, hogy a költséginformációt eltérően dolgozzák fel, mint az idegesítő információkat.

Összegzésként azt javasoljuk, hogy a fizetett költség növeli a jutalom-előrejelző jelek értékét, és ez viszont növeli a középső agy dopamin neuronokban kódolt RPE jelet. Ez a hatás olyan viselkedésbeli előrejelzéshez vezetett, hogy az állatok tanulási sebessége javul a jutalom-előrejelző jelzések javításakor a HC tapasztalatai alapján. Valóban ezt megfigyeltük. Így a dopamin neuronok aktivitására vonatkozó megfigyeléseink arra késztettek bennünket, hogy feltételezzük egy viselkedési hatás, valamint egy ezen hatás alapjául szolgáló feltételezett számítási mechanizmus fennállását, amelyet később megerősítettünk. Megállapításaink tehát egy példát mutatnak arra, hogyan történhet a háromszögelés az idegi adatok mérése, a számítási elmélet és a viselkedés között: az agy neuronális feldolgozása mélyebb megértésének fejlesztése betekintést nyerhet a viselkedésről és annak alapjául szolgáló számítási alapokról.

Állatok

Két hím japán majomot használtunk (Macaca fuscata; testtömeg, 6.5 kg = majom P; testtömeg, 9.0 kg = majom S). A majom koponyájának tetejére ültettünk egy fejtámlát, hogy később egy székre rögzíthessük. Egy rögzítőkamrát is beültettek az elektród mikromanipulátor felszereléséhez. A rögzítő kamrát 45 ° -kal oldalirányban a koronális síkban döntöttük, és a sztereotaxikus koordinátákra állítottuk: 15 mm a külső csatorna előtt. A gyógyulási periódus után a majmokat kiképezték a zsákány feladat elvégzésére. Az edzés befejezése után egy furatokat fúrtunk át a koponyán a rögzítőkamrában az elektróda behelyezéséhez. Az összes állatkezelési protokollt a Tamagawa Egyetem Állatkísérleti Bizottsága hagyta jóvá, és megfeleltek a laboratóriumi állatok gondozására és felhasználására vonatkozó Nemzeti Egészségügyi Intézetek útmutatójának.

Viselkedési feladat

A majmokat kiképezték a HLC zsákány feladat elvégzésére (2. ábra). 1aÁbra), HLC bizonytalan feladat (4. Ábra) 5a) és a HLC feltárási feladatot (2. 7a). Minden feladatot sötét szobában hajtottak végre. A majmokat egy széken ülték egy 22-es ház előtt. LCD monitor (S2232W, Eizo) a székre rögzített beültetett fejoszlopokkal. A szemük és a kijelző közötti távolság 70 cm volt. Amikor egy kezdő jelet (fehér kör, 0.3 ° átmérőjű) mutattak be a kijelző közepén, a majomnak meg kellett tartania tekintetét a jelzőn. A rajtjel 750 ms után eltűnt, majd egy költségjelet mutattak be (csillag és szélmalom a HC, illetve az LC vizsgálatokhoz). A majmoknak a jelzés 750 ms-os reprezentációja alatt a költségjelzéshez kellett kötődniük. Ha nem szakadtak le a jelzésre, a tárgyalást megszakították, és ugyanez a tárgyalás újrakezdődött. A HC-vizsgálatok során a rögzítési célt (0.3 ° × 0.3 ° fehér négyzet) közvetlenül a 2000 ms (HLC saccade és HLC bizonytalan feladatok) vagy 1500 ms (HLC feltárási feladat) költségjel eltűnése után mutatták be, és a majmokra szükség volt hogy saccade hozzá és tartsák rajta a tekintetüket. Ha a majmok 4 ° × 4 ° -os rögzítési ablakon túlra mozgatták a tekintetüket, a feladatot megszakították. A rögzítési ablak 400 ms-val aktiválódott a rögzítési pont bemutatása után, mert a majmoknak időre volt szükségük a saccade előkészítéséhez és a rögzítésük beállításához. Ezért a majmoknak legalább 1600 ms-ig (HLC saccade és HLC bizonytalan feladatok) vagy 1100 ms-ig (HLC feltárási feladat) kellett fixálódniuk a HC-vizsgálatokban. Az LC vizsgálatokban egy üres képernyőt jelenítettek meg 1500 ms-ig (HLC saccade és HLC bizonytalan feladatok) vagy 1000 ms-ig (HLC exploration task), majd a fixációs cél 500 ms-ig jelent meg. Mivel a rögzítési ablak 400 ms-val aktiválódott a rögzítési pont bemutatása után, a majmoknak az LC-vizsgálatok során legalább 100 ms-ig kellett rögzülniük a célponton. A majmok több hibát mutattak ki a HC-kísérletben; ezért kényszer-megszakítást vezettek be véletlenszerűen 100 ms-mal a jutalom jel bemutatása előtt (400 ms a fixációs cél bemutatása után, amely a rögzítési ablak kezdetének időzítése) az LC-próbában a sikeresség kiegyenlítése érdekében. A célra rögzítés után egy vagy két jutalomjelet mutattak be, és a majmokat kötelezték a jelzéshez való saccade-ra. Ha sikeresen saccade-t hajtottak végre a jutalomjelzéshez, 750 ms-ig sípolást hallottak a jutalomjelzés után. Amikor a majmok saccade-t hajtottak végre az R + jelre, 0.3 ml vizet adtak be a hangjelzéssel egyidejűleg. Nem kaptak jutalmat, amikor saccade-ot tettek az R-jelre.

A HLC zsákány feladatában négy színes kört használtunk jutalomjelzésként (R_HC+: sárga; R_HC-: zöld; R_LC+: rózsaszín; R_LC-: kék; Ábra. 1a). Az egyik kísérleti ülés 80 szakkádpróbából, 20 kiszámíthatatlan jutalompróbából, 20 kiszámíthatatlan légpumpa-kísérletből és 5 választási próbából állt. A saccade-vizsgálatok 40 HC-tesztet és 40 LC-próbát tartalmaztak, mindkettő 20 jutalompróbát és 20 jutalompróbát nem tartalmazott. A kiszámíthatatlan jutalom vagy légfúvásos kísérletek során 0.3 ml vízjutalmat vagy 0.2 MPa légfújást (150 ms P majom esetén; 200 ms S majom esetén) kijuttattak a majmok arcára, anélkül, hogy azokat kijuttatták volna. A választási próbák között volt egy olyan kísérlet is, amelyben a majmok választottak az R + jelek között (R_HC+ R ellen_LC+) a HC vizsgálatban, az R-jelek (R_HC- vs. R_LC-) a HC vizsgálatban, az R + (R_HC+ R ellen_LC+) jelek az LC próba során, az R− (R_HC- vs. R_LC-) jelzések az LC próba során és a költségjelzések között (Kiegészítő ábra 1). A jutalomjelölések közötti választással végzett kísérletekben a feladat felépítése megegyezett a zsákány feladatával, a jutalom dátum bemutatása előtt. Ezután a jutalom dátuma bemutatása helyett a jutalom dátumait bemutatták a választási kísérletekben, és jutalom dákó bemutatása után sem jutalmat nem nyújtottak, még akkor sem, ha a majmok választottak az R + jelzések között.

A dopamin idegsejteknek a juttatás juttatására adott válaszának tesztelésére a majmok elvégezték a HLC bizonytalan feladatát (5. ábra). 5a). Ez a feladat hasonló volt a HLC zsákány feladatához, a jutalomjelzők kivételével. Ebben a feladatban két jutalomjelzést használtunk (a HLC zsákmányos feladatban alkalmazott négy jutalomjelzés helyett), az egyik a HC vizsgálathoz, a másik az LC vizsgálathoz. A jutalmat a kísérletek felében a jutalom dátuma bemutatása után adták át. Az egyik kísérleti szakasz 80 saccade kísérletekből, 20 kiszámíthatatlan jutalom kísérletekből és 20 kiszámíthatatlan air puff próbákból állt. A saccade kísérletek tartalmazták az 40 HC és az 40 LC vizsgálatokat, amelyek mindegyike magában foglalta az 20 jutalom vizsgálatokat és az 20 vizsgálatokat. A kiszámíthatatlan kísérletek során jutalmat vagy légfújót adtak át, dákó nélkül.

A HLC feltárási feladat során két jutalomjel (R_HC+, R_HC- vagy R_LC+, R_LC-) egyidejűleg mutatták be, és a majmoknak el kellett zsákmányozniuk az egyik jutalomjelzést (2. ábra). 7a). Ha az R + dákót választották, vízjutalommal részesültek. Négy jutalomjel (R_HC +, R_HC-, R_LC +, R_LC-) generáltak minden felfedező munkamenethez, és a majmoknak meg kellett tanulniuk a kapcsolatok és a prémiumok közötti összefüggést. Az egyik kísérleti szakasz 100 HC és 100 LC vizsgálatokból állt. Megállapítottuk, hogy ha a rögzítési időtartamot 2000 ms-nak állítottuk a HC állapotban úgy, hogy az megegyezzen a többi feladatban a HC állapot időtartamával, a majmok nagyon alacsony sikerrel végezték a feladatot talán azért, mert a feladat nehézsége és / vagy az ebből következő alacsony jutalom mértéke. Ezért a feladat nehézségeinek csökkentése és a siker arányának növelése érdekében egy 1500 ms rögzítési időtartamot használtunk a HLC feltárási feladat költségeként.

A feladatokat a kereskedelemben beszerezhető szoftvercsomaggal (TEMPO, Reflective Computing, St. Louis, MO, USA) vezéreljük. A vizuális stimulus bemutatásához egy egyedi programozási programot használtunk az alkalmazás programozási felületén (OpenGL). A költség vizuális ösztönzőit és a jutalom jeleit a szerzők készítették.

Felvétel és adatgyűjtés

A lényeges nigra helyét MR képek segítségével becsültük meg. Egy epoxi-bevonattal ellátott volfrám elektródot (szár átmérője, 0.25 mm, 0.5 – 1.5 MΩ, 1000 Hz-en mérve, FHC-vel mérve) helyeztünk a szomszédos nigrába egy mikromanipulátor (MO-972, Narishige, Tokió, Japán) segítségével, amelyet a rögzítőkamrába szereltek. rozsdamentes vezetőcső. A feszültségjeleket erősítettük (× 10,000) és szűrtük (0.5 – 2 kHz). Az egyetlen neuron akciós potenciálját sablonmegfelelő algoritmussal izoláltuk (OmniPlex, Plexon, Dallas, TX, USA). A szemmozgást egy infravörös kamerarendszerrel figyeljük 500 Hz mintavételi gyakorisággal (iView X Hi-Speed ​​Primate, SMI, Teltow, Németország). Az akciópotenciálok és a viselkedési események időzítését 1 kHz időfelbontással rögzítettük.

Az adatok elemzése

A majmok viselkedésének elemzéséhez az RT-t úgy határoztuk meg, hogy az inger fellépése és a majmok mikor indították a zsákát. A zsákád iniciálását úgy határoztuk meg, hogy kiszámoltuk az időzítést, amikor a tekintet helyzete meghaladta az 5 standard eltéréseit az átlagos pillantás pozíciójától, mielőtt a dátum bemutatásra kerülne.

A HLC feltárási feladat során a majmok választási viselkedését kumulatív exponenciális függvény illesztésével számszerűsítettük. A funkció (P) a következőképpen írja le a helyes választás arányát: