D'Käschte fir Beloununge ze kréien verbessert de Belounungsprediktiounsfehlsignal vun de Midbrain Dopamin Neuronen (2019)

Natur Kommunikatiouns

Volume 10, Artikelnummer: 3674 (2019) | Eroflueden Citation

mythologesch

Midbrain Dopamin Neuronen sinn bekannt fir Belounungsprognose Fehler ze codéieren (RPE), déi benotzt gi fir Wäertprognosen ze aktualiséieren. Hei, iwwerpréifen mir ob RPE Signaler kodéiert vun Midbrain Dopamin Neuronen sinn moduléiert vun de bezuelte Käschte fir Belounungen ze kréien, duerch Opname vun Dopamin Neuronen an erwächt behuelen Apen wärend der Leeschtung vun enger gewalteger Saccade Aufgab. Dopamin Neuron Äntwerte op Zeechen, déi d'Belounung virauszegesinn an d'Liwwerung vu Beloununge goufen no der Leeschtung vun enger deier Handlung am Verglach zu enger manner deier Handlung erhéicht, wat suggeréiert datt RPEs no der Leeschtung vun enger deier Aktioun verbessert ginn. Um Verhalensniveau ginn Stimulus-Belounungsassociatiounen méi séier geléiert nodeems se eng deier Handlung maachen am Verglach mat enger manner deier Handlung. Also, Informatioun iwwer Handlungskäschte gëtt am Dopamin Belounungssystem veraarbecht op eng Manéier déi de folgenden Dopamin RPE Signal amplifizéiert, wat am Gaang e méi schnelle Léiere bei Situatiounen mat héije Käschte fördert.

Aféierung

Mënschen an Déieren léiwer eng Belounung, déi kritt huet, nodeems se vill Effort gemaach hunn, fir se ze kréien am Verglach mat der selwechter Belounung no enger méi klenger Ustrengung1,2,3An. Eng Zuel vun Erklärungen goufen fir dësen Effekt opgestallt wéi Effortgerechtegung4,5 an de Kontrast Effekt6, an deem e gréissere Wäert op eng Resultat eragereecht gëtt nom bezuelten Effort. Wéi och ëmmer, et bleift onkloer ob a wéi d'Veraarbechtung vun der Belounungsinformatioun am Gehir moduléiert gëtt vum Effort, deen ausgestallt ass fir eng Belounung ze kréien.

Mir fokusséiert speziell op de Midbrain Dopamin System, uginn d'Roll vun dësem System an der Verhale vu Adaptatioun un Belounungen ze promoten7,8,9An. Dopamin Neuronen sinn bekannt fir Belounungsprediktiounsfehler (RPE) Signaler ze representéieren déi d'Léiere vu Belounungsprognosen duerch d'Basal Ganglia erliichtere kënnen.10,11,12,13,14,15,16,17An. D'Stäerkt vum RPE hänkt vun der Quantitéit, der Qualitéit, an dem subjektiven Wäert oder der Nëtzlechkeet vun der Belounung of7,18,19,20,21An. Ausserdeem gëtt dopaminergesch Aktivitéit moduléiert vu Käschten an / oder Effort22,23An. Op dëser Basis hu mir postuléiert datt den dopaminergesche RPE Signal direkt moduléiert gëtt vun de bezuelte Käschte fir eng Belounung ze kréien. Ausserdeem, well de RPE Signal causally involvéiert ass fir d'Léieren vu Reiz-Belounungsassociatiounen ze mediéieren24,25,26, hu mir hypothetiséiert datt d'Käschte fir d'Belounung ze kréien direkt d'Léiergeschwindegkeet vun Reiz-Belounungsassociatiounen erhéijen.

Fir eis Hypothesen ze testen, hu mir souwuel d'Behuelen an d'Dopaminergesch Aktivitéit an zwee japanesche Monkeie gemooss, während se eng saccade baséiert Effort ausféieren. Monkeys reagéiere méi séier op eng belount-prévisibel Cue, déi no enger Héichkäschte (HC) Aktioun presentéiert gëtt am Verglach mat deem no engem Low-Cost (LC) Handlung. D'Aktivitéit vun dopaminergesche Neuronen un d'Belounungsprognose Cues ginn duerch d'bezuelte Käschte erhéicht. Zousätzlech ass d'Léiergeschwindegkeet zu der Reiz-Belounungsassociatioun och duerch d'bezuelte Käschte verbessert. Dofir, proposéiere mir datt d'Käschte bezuelt fir Beloununge ze kréien de RPE Signal an Dopamin Neuronen erhéicht an doduerch Reiz-Belounungsverbänn verbessert.

Resultater

High-Low Cost (HLC) Sakkade Aufgab

Fir den Effekt vu bezuelte Käschten op de Verhalen an op dopamin Neuron Aktivitéit z'ënnersichen, hunn d'Apen eng Saccade Aufgab mat zwee Käschtebedingunge gemaach (Fig. 1a, kuck Methoden). An HC Trials hunn d'Apen séier eng Saccade zum Zil gemaach an hunn hir Bléck op sech higewisen ouni méi laang ze blénken (Fig. 1b; gréng Linnen). Am Géigesaz, op den LC-Studien hunn d'Apen d'Ae fréi rondrëm gekuckt ier e méi kuerz Zäit fixéiert ass (Fig. 1b, purpur Linnen). Well et eng laang Fixéierung erhalen ass schwéier fir Affen, hu se méi Feeler gemaach während Verspéidungen op HC Studien (Fig. 1c). Ze kontrolléieren fir eng Konsequenz Ënnerscheed an Belounung Probabilitéit tëscht HC Studien an LC Studien, hu mir gezwongen Ofdreiwungen an engem Deel vun LC Studien agefouert fir Erfolleg Taux gläichberechtegt a Belounung Wahrscheinlechkeeten tëscht Test Zorten (Fig.) 1d).

Figebam. 1
Figure1

HLC Saccade Aufgab. a D'HLC Saccade Aufgab. Käschtepuer (C Kue) signaliséiert de Montant vun Ustrengungen déi erfuerderlech waren fir eng potenziell Belounung z'erreechen. Eng laang Fixéierung war wärend der Verzögerungsperiod bei Héichkäschte Prozesser erfuerderlech. D'Belounungsspuer (R Zeil) weist ob d'Aaffen eng Belounung kéinte kréien oder net. b Den Zäitverlaf vum Bléckwénkel wärend der Verzögerungszäit. Déi iewescht an déi ënnescht Paneele weisen d'horizontale a vertikal Bléckwénkel, respektiv. Gréng a violette Linnen weisen de Bléckwénkel an Héichkäschte Studien (50 Studien an all Panel) an a bëlleg Käschtenstudien (50 Studien an all Panel), respektiv. c D'Unzuel vun de Feeler während der Verzögerungszäit an den Héich- a Käschte-Studien (**P < 0.01; zwee-tailed gekoppelter t testen; t67 = 8.8, P = 4.8 × 10-15, n = 68 fir Monkey P; t83 = 26.6, P ≈ 0, n = 84 fir Monkey S). Schwaarz Kreeser a Feelerstäber weisen Mëttel a SEM un. d Erfollegsquote an den Héichkäschten an déi bëlleg Präisser (zweespanneg gepaart t testen; t67 = 0.51, P = 0.61, n = 68 fir Monkey P; t83 = 0.79, P = 0.43, n = 84 fir Monkey S). e RTs op d'Käschte Cues (**P & Si besteet; zwee-tailed gekoppelter t testen; t67 = 20.4, P ≈ 0, n = 68 fir Monkey P; t69 = 2.0, P = 1.2 × 10-3, n = 70 fir Monkey S). f RTs un d'Belounungszeechen (**P & Si besteet; zwee-tailed gekoppelter t testen; Monkey P (n = 68): HC + géint LC +, t67 = 3.5, P = 9.2 × 10-4; HC− vs. LC−, t67 = 24.5, P ≈ 0; HC + géint HC-, t67 = 21.6, P ≈ 0; LC + géint LC−, t67 = 28.5, P ≈ 0; Monkey S (n = 70): HC + géint LC +, t69 = 5.6, P = 4.4 × 10-7; HC− vs. LC−, t69 = 4.8, P = 8.4 × 10-5; HC + vs. HC−, t69 = 18.0, P ≈ 0; LC + géint LC−, t69 = 5.9, P = 1.1 × 10-7)

Bild vergréisseren

Bezuelte Käschte erhéijen de Wäert vun der Belounungsprognosen

Fir implizit Beweiser fir en Ënnerscheed an der subjektiver Bewäertung vun den Apen ze kréien, hu mir d'Reaktiounszäit vun den Affen getest. Besonnesch erwaart eis datt wann d'Apen e méi héicht subjektivem Wäert op eng Optioun wéi eng aner zouginn, solle se méi séier RTe fir déi méi geschätzte Optioun weisen27An. Wann d'RT sech tëscht de Käschteweilen verglach hunn, weisen béid Apen méi séier RTe mam LC am Verglach zum HC Cue (Fig. 1e), eng implizit Präferenz fir den LC-Zoustand ze demonstréieren. Wa RT's tëscht Belounungssäiten verglach goufen, weisen béid Apen méi séier RTe fir Belounung (R +) Zeechen wéi keng Belounung (R−) Zeechen (Fig.) 1f), wat beweist datt si R + Cues op R− Cues preferéieren. Zousätzlech hu béid Affe méi séier RT fir d'R gewisenHC+ Cue am Verglach mam RLC+ Cue an op d'RHC- Cue am Verglach mam RLC- Cue (Fig. 1f), wat beweist datt si méi d'Belounungsprévisiounssäiten am HC bewäerten am Verglach zum LC-Zoustand.

Zousätzlech hu mir Wielausféierung an der HLC-Saccade-Aufgab abegraff fir d'Apen d'Affektvirstellungen tëscht Zeechen ze testen (Zousaz Fig. 1a). D'Apee hu léiwer den LC Cue gewielt wann se tëscht Käschte Cues wiele (Zousaz Fig. 1b). Monkey S huet léiwer den R gewieltHC+ Cue wann Dir de Choix Aufgab tëscht R maachtHC+ a RLC+ Cue, awer keng Präferenz tëscht RHC- a RLC- Cues (Zousaz Fig. 1c, d). Am Géigesaz, huet de Monkey P keng kloer Präferenz tëscht R gewisenHC+ a RLC+ Cues, awer trotzdem de R am léifstenHC- Cue wann Dir tëscht R wieltHC- a RLC- Cues (Zousaz Fig. 1c, d).

Elektrophysiologesch Resultater an der HLC Saccade Aufgab

Mir hunn eng Eenheet Aktivitéit opgeholl vun Neuronen, déi an der substantia nigra pars compacta (SNc) an der ventrale tegmental Regioun (VTA) wärend der HLC Saccade Aufgab opgeholl goufen. Mir identifizéiert 70 Dopamin Neuronen iwwer déi zwee Affen (Zousaz Fig. 2a; 18 a 52 Neuronen aus dem Monkey P respektiv S). Histologesch Untersuchung bestätegt d'Neuronen waren an oder ronderëm den SNc / VTA (Zousaz Fig.) 2b).

A Fig. 2, weise mer d'Aktivitéit vun engem representativen Dopamin-Neuron. Dës Neuron huet modest Aktivéierung zum LC Cue gewisen, a phasesch Aktivéierung oder Ennerdréckung op d'Belounung (RHC+ a RLC+) oder keng Belounungssätz (RHC- a RLC-), respektiv (Fig.) 2, Zousaz Fig. 3). Den Neuron huet och phasesch Aktivéierung un déi onberechenbar Belounung souwéi phasesch Ennerdréckung als Äntwert op en aversive Stimulus gewisen, en onberechenbaren Loftpuff (Fig. 2, riets Panel). Zousätzlech huet den Neuron bescheiden Ënnerdréckung fir de Start Cue gewisen awer huet keng Äntwert op d'Belounungsliwwerung. Déi ganz Bevëlkerung vun Dopamin Neuronen, déi mir all opgeholl hunn, hunn ähnlech Äntwerte mat der Start Cue a Belounungsliwwerung gewisen (Zousaz Fig. 4a, b). An der HLC Saccade Aufgab goufen en Effort kascht bezuelt ier Dir d'Belounung krut. Well déi virausgesot Käschte reduzéieren dopamin Neuron Aktivitéit22,23an, Dopamine Neuron Äntwerte géifen am Moment vun der Start Cue Presentatioun verdréckt ginn16.

Figebam. 2
Figure2

Aktivitéit vun engem representativen Dopamin Neuron an der HLC Saccade Aufgab. Spike Dichtfunktiounen (konvolved mat enger Gaussescher Funktioun) a Rasterkierper si geriicht mam Ufankszäit vun der Start Cue, dem Käschte Cue (C Cue), dem Fixéierungsziel, der Belounungssue (R Cue), an dem Piep. All Faarf representéiert eng Konditioun (giel: HC +, gréng: HC−, rosa: LC +, Cyan: LC−), respektiv. D'Timings vun der Saksade-Ufanks gi mat graue Kräiz gezeechent. D'Äntwerten vun den Dopamin Neuronen op déi onberechenbar Belounung oder Loftpuff sinn och an der rietser Panel vertruede (rout: onberechenbar Belounung, blo: onberechenbar Loftpuff)

Bild vergréisseren

Dopamin Neuronen codéieren Informatiounen iwwer Belounung a Käschte

D'Neuronen hunn phasesch op den LC Cue geäntwert, awer manner robust op den HC Cue (Fig. 3a, b). Evoked Äntwerten op d'Käschte Konditioune Zeechen hunn eng méi kleng Äntwert op den HC Cue gewisen wéi LC Cue (zweiweckege Wilcoxon ënnerschriwwene Rang Test, P <3.2 × 10-4, n = 70). Mir hunn den Effekt vun de virausgesote Käschten op neuronal Äntwerte mat enger Empfängerbedreiwer charakteristescher (ROC) Analyse quantifizéiert. D'Verdeelung vum Gebitt ënner der ROC-Kurve (auROC) war wesentlech <0.5 (Fig. 3c; zwee-tailed Wilcoxon ënnerschriwwen-Rank Test; P = 5.4 × 10-4, n = 70), wat beweist datt HC Cue Äntwerte méi kleng ware wéi zum LC Cue. Viraussiichtlech Käschte goufe virdru fonnt fir d'Dopamin Neuron Aktivitéit ze reduzéieren, konsequent mat eise Resultater22,23An. Zousätzlech huet d'Bevëlkerung vun Dopamin Neuronen eng bedeitend Aktivatioun an den LC Cue ausgedréckt, während se keng bedeitend Ënnerdréckung op HC Zeechen haten (Zousaz Fig. 4c, d). Dës Resultater hindeit datt Dopamine Neuronen Code an integréiert Informatioun iwwer béid Belounung a Käschte zur Zäit vun der Presentatioun vu Käschte Cue.

Figebam. 3
Figure3

Dopamine Neuron Äntwerte op Käschte Cues. a Eng representativ Dopamin Neuron Äntwert op d'Käschten. D'Spike Density Funktioune goufen aus der normaliséierter Aktivitéit vun engem Dopamin Neuron aus dem Af P. opgeholl. Déi faarweg Linnen weisen d'Spike Density Funktiounen un a faarweg Punkte weisen de Spike timing un. Gréng a violette Faarwen weisen Aktivitéit an den Héich- a Bëllegprouwen un. Déi vertikal Linn weist den Zäitpunkt vun der Präisiwwerreechung vir. De gro-faarwege Beräich weist d'Period fir d'Feierquote ze berechnen wéi d'Äntwert op d'Konditiounsspuer. b Populatiounsmëttel duerchschnëttlech Aktivitéit vun den Dopamin Neuronen opgeholl vun der Monkey P an de Konditiounszeechen. Déi zolidd Linnen déi gestréchelt Linnen representéieren mëttler an SEM, respektiv. c D'Verdeelung vun de Beräicher ënner de ROCs fir den Effekt vun de virausgesaten Käschten op der neuronaler Äntwert op de Käschtewäit ze quantifizéieren. Geplangte Quadraten an oppe Kreesser weisen Donnéeën aus der Monkey P respektiv S. De Pfeilkop weist de Median vun der AuROC (0.47) un. d, g Representativ Äntwerte vum motivational Wäerttyp dopamin Neuron (d) oder Salizentyp Dopamin Neuron (g) op déi onberechenbar Belounung oder Loftpuff. Rout a blo Kéiren weisen d'Äntwert op onberechenbar Belounung an onberechenbar Loftpuff, respektiv. Déi vertikale Linn bedeit den Timing vun der onberechenbaren Belounung oder Loft-Puff Liwwerung. Pale rout a blo Quadratë bezeechent d'Period fir d'Brennungsquote ze berechnen als Äntwert op déi onberechenbar Belounung oder Loftpuff. e, h Populatiounsmëttel duerchschnëttlech Aktivitéit vun der motivational Wäerteraart dopamine Neuronen (e) oder Salizentyp Dopamin Neuronen (h) op déi onberechenbar Belounung oder Loftpuff. f, i D'Verdeelung vun den AuROCs berechent aus der motivéierender Wäertentype dopamin Neuronen (f) oder Salizentyp Dopamin Neuronen (i). D'Pfeilschëffer weisen d'Medianer vun den AuROCs (f 0.48; i 0.46)

Bild vergréisseren

Zwee ënnerscheet Subtypen vun Dopamin Neuronen sinn virdru beschriwwe ginn: Motivatiounswäert a Salzeg Neuronen28,29An. Mir hu Beweiser an eiser Dopamin Neuron Bevëlkerung vun Äntwertmuster fonnt, déi konsequent mat béid Subtypen sinn. Wäert-Typ Neuronen hunn phasesch Ënnerdréckung op déi aversiv Loft-Puffstimuli gewisen (Fig. 3d, e). Ëmgekéiert hunn Salience Neuronen eng phasesch Aktivatioun fir de aversive Reizen ze weisen (Fig. 3g, h). Déi laang Fixatioun am HC Prozess ass och onangenehm an aversiv; dofir, ass et méiglech datt déi zwee Dopamin-Neuron-Subtypen verschidden Äntwerte Musteren op d'Käschte Konditiounszeechen géife weisen. Wann dopamine Neuronen aversive Reizen representéieren a sech op eng ähnlech Aart a Weis kaschten, da missten Wäert Neuronen eng reduzéiert Aktivitéit op den HC Cue weisen wéinst senger Aversitéit. Op där anerer Säit solle Salience Neuronen an der Aktivitéit op den HC Cue erhéijen well se och zu onangenehmem Reizen erhéijen. Wéi och ëmmer, entdeckt Äntwerte vu béiden Aarte vun Neuronen ware méi kleng zum HC Cue am Verglach mam LC Cue (zweiweckege Wilcoxon ënnerschriwwene Rang Test; P = 0.021, n = 41 an P = 0.0044, n = 29 fir de Wäert an d'Gewiichtentypen, respektiv), an d'ROC Analyse weisen méi kleng Äntwerten op den HC am Verglach zu der LC Cue a béide Subtypen (Fig. 3f, ech; zwee-tailed Wilcoxon ënnerschriwwen-Rank Test; P = 0.030, n = 41 an P = 0.0058, n = 29 fir de Wäert respektiv d'Salience Typen). Also, virausgesot Käschte reduzéiert Aktivitéit a béid Subtypen vun Dopamin Neuronen. Dës Resultater weisen datt d'Käschteinformatioun vun Dopamin Neuronen op eng qualitativ aner Manéier zu aversive Reizen veraarbecht gëtt.

An der HLC Sackade Aufgab hu mir en Zwangsofbriechen an en Deel vun LC Verspriechen agefouert fir d'Erfollegsquoten an d'Belounungswahrscheinlechkeet tëscht Versuchstypen auszegläichen. Dës Manipulatioun huet d'Onsécherheet erhéicht Belounung ze kréien oder de Risiko vu keng Belounung am LC Zoustand. Dofir ass déi méi héich Aktivitéit vun Dopamin Neuronen an d'Apen erhéicht Bewäertung fir den LC iwwer der HC Cue kéint wéinst dem Ënnerscheed am Risiko oder Onsécherheet tëscht de Käschtebedingunge sinn. Wéi och ëmmer, hu mir keng Relatioun tëscht der Unzuel vun Zwangsofbriechen an dem Ënnerscheed zu RTs (Ergänzend Fig. 5a, b), a mir hunn eng positiv Korrelatioun tëscht der Zuel vun de forcéierte Aborts an dem AuROC fonnt (Zousaz Fig. 5c). Mir vergläichen och Dopaminreaktiounen op d'Käschtskierper no Ofdreiwungen vs. no korrektem Studien, awer hu keng Differenz a béid Käschtebedingunge fonnt (Zousaz Fig. 5d). Dës Resultater weisen datt d'Zuel vun de forcéierte Aborts am LC-Zoustand weder d'Erhéijung vun der Bewäertung oder d'verstäerkte dopaminerg Aktivéierung an den LC Cue net erklären.

Vergréissert Dopamine Äntwerte fir Belounung Cue duerch bezuelte Käschten

Déi opgeholl Dopamin Neuronen goufe fonnt fir phasesch Aktivéierung an Ennerdréckung ze weisen fir ze belounen a keng Belounungsprévisiounszeechen, respektiv (Fig.) 2). Als nächst wäerte mir bewäerten ob dës Äntwerte moduléiert goufen vun de Käschte virdru gemaach. E Beispill vun engem representativen Neuron an der Bevëlkerungsmoyenne Neuronen, déi méi grouss Aktivéierung zu der R weisenHC+ Cue wéi d'RLC+ Cue ginn a Figure gewisen 4a respektiv b. (zweeschwanzege Wilcoxon's signéierte Rank Test; P = 7.4 × 10-5, n = 70). D'Verdeelung vun auROCs war> 0.5, wat beweist datt d'Äntwert op den RHC+ Cue war méi grouss wéi fir d'RLC+ Kue (Fig.) 4c; zwee-tailed Wilcoxon ënnerschriwwen-Rank Test; P = 1.4 × 10-4, n = 70). Dës Resultater weisen datt d'Äntwert op d'Belounungsprognose Cue am HC Zoustand wesentlech méi grouss ass wéi am LC Zoustand. Dofir suggeréieren eis Erkenntnisser datt de positiven-RPE Signal representéiert vun Dopamin Neuronen duerch d'Käschte erhéicht gëtt déi virdru gemaach goufen.

Figebam. 4
Figure4

Dopamin Neuron Äntwerten op Belounungssäiten. a E Beispill Neuron-Äntwert op d'R-Cues. D'Funktioun vu Spike Dichtheet goufe aus der Aktivitéit vun der Dopamin Neuron aus der Monkey opgezeechent. Déi faarweg Linnen a Punkten weisen de Spike Dicht an de Spike timing, respektiv. Giel a rosa Faarwen uginn Aktivitéit an den Héich- a Low-Cost-Studien, resp. Déi vertikal Linn weist den Timing vun der R + Cue Presentatioun. De gro-faarwege Beräich weist d'Period fir d'Brennungsquote als d'Äntwert op d'Belounungssätz ze berechnen. b Bevëlkerungsgemiddelt Aktivitéit vun den Dopamin Neuronen, déi vum Af P opgeholl goufen an d'R + Cues. Déi zolitt Linnen an déi gesträifte Linne stellen de Mëttel respektiv SEM duer. c D'Verdeelung vun den AuROCs fir den Effekt vun de bezuelte Käschte op der neuronaler Äntwert op de R + Cues ze quantifizéieren. Geplangte Quadraten an oppe Kreesser weisen Donnéeën aus der Monkey P respektiv S. De Pfeilkop weist de Median vun den AuROCs (0.53) un. d E representativen Äntwert op d'R-Cues. Gréng a Cyan Faarwen weisen héich Käschte a bëlleg Präisser, respektiv. Déi vertikal Linn weist den Timing vun der R-Cue Presentatioun. e Populatiounsmëttel duerchschnëttlech Aktivitéit vun den Dopamin-Neuronen opgeholl vun der Monkey P op d'R-Cues. f D'Verdeelung vun den AuROCs fir den Effekt vun de bezuelte Käschte op der neuronaler Äntwert op d'R-Cues ze quantifizéieren. De Pfeilkop weist de Median vun der AuROC (0.50)

Bild vergréisseren

D'Dopamine Neuronen hunn och phasesch Ënnerdréckung op d'R-Cues gewisen (Fig. 4d, e). Wéi och ëmmer, d'Äntwerten vun den Dopamin-Neuronen op d'R-Cues hunn net e wesentlechen Ënnerscheed als Funktioun vu Käschte virgestallt (zweestaarft Wilcoxon ënnerschriwwene Rang Test; P = 0.25, n = 70), an d'ROC Analyse huet kee Beweis fir eng Viraussiicht an der Äntwertverdeelung (Fig. 4f; Wilcoxon ënnerschriwwen-Rank Test, P = 0.35; n = 70). Also, déi bezuelte Käschte goufen net reflektéiert am negativen-RPE Signal, dat vun den net-viraus viraussiichtlechen Zeechen ausgeléist gouf. Dëst kann duerch e Buedemeffekt verursaacht ginn: déi spontan Aktivitéit vum Dopamin Neuron ass niddereg (ongeféier 5 Hz); an doduerch kann et net genuch dynamesch Gamme sinn, fir esou en Ënnerscheed u Käschte fir déi negativ RPE Äntwert (Fig. 4d, e).

Mir hunn och den Effekt vun de bezuelte Käschte op d'Belounungssätz fir de Wäert an d'Salience-Typ Dopamin Neuronen getrennt iwwerpréift, awer béid Aarte vun Dopamin Neuronen hunn ähnlech Äntwertsmuster (Zousaz Fig. 6a – h). Dofir manifestéiert de bezuelte Käschte en ähnlechen Effekt op d'Äntwert op Belounungssäiten a souwuel am Wäert an der Salience-Typ Dopamin Neuronen.

Déi wirklech Fixatiounsdauer vun de Monkee ware net konstant, awer variéieren op Test-per-Test Basis (Fig. 1b). Dofir war et méiglech datt d'Dopaminreaktiounen op d'Belounungsweisen duerch déi tatsächlech Fixatiounsdauer moduléiert ginn op engem Test-pro-Prozess Basis. Wéi och ëmmer, hu mir keng bedeitend Korrelatioun tëscht hinnen fir all Käschte a Belounungsbedingung fonnt (Zousaz Fig. 7eng – d). Weider, goufen RTs zu der Belounung Cue och vun de Käschten a Belounung Konditioune moduléiert (Fig. 1f). Eng Méiglechkeet ass datt d'Äntwerte vun den Dopamin Neuronen duerch d'RTs op d'Belounungssäiten op engem Prozess-pro-Prozess Basis erkläert kënne ginn. Wéi och ëmmer, konnte mir keng bedeitend Korrelatioun tëscht RTs an der normaliséierter Dopaminreaktiounen op d'Belounungssätz fannen (Zousaz Fig. 7e – h). Dës Resultater hindeit datt Dopamine-Äntwerte onofhängeg vu béiden RT a Fixatiounsdauer sinn op all Prozess, awer moduléiert duerch de Betrag vun der erfuerderter Käschte an der erwaart Belounung déi fir all Typ vun Studien fixéiert sinn.

Ausserdeem ass et och méiglech datt déi gezwongen Ofdreiwungen am LC-Zoustand souwuel d'Virléiften vun den Affen, wéi och eng verstäerkte Aktivatioun vun den Dopamin-Neuronen an der Belounungssue am HC Zoustand generéieren. Wann esou, soll d'Zuel vun de forcéierte Ofdreiwunge souwuel mat der Präferenz an dem Grad vun der verstäerkter Aktivéierung bezunn ginn. Wéi och ëmmer, d'Zuel vun de forcéierte Aborts hat keng Auswierkungen op weder d'Präferenz vun den Affen oder op d'Aktivatioun vun den Dopamin-Neuronen op d'Belounungssätz (Zousaz Fig. 8). Dofir, méi séier RT a méi héich DA Äntwerte vun der RHC+ Cue wéi d'RLC+ Cue sinn net wéinst den agebaute forcéierte Aborts am LC-Zoustand.

Erwächt Käschte erhéijen d'Dopaminreaktiounen op d'Belounungsliwwerung

D'Äntwert vun Dopamin Neuronen op d'R + Cues sollen aus der Äntwert op d'Belounung selwer stamen, well Dopamin Neuronen hir Äntwert op Belounungspréviséiere Cues relativ zu der Reiz-Belounungsverband änneren8,30An. Dofir hu mir erwaart datt dopamin Neuronen eng bezuelte Käschte-ofhängeg Reaktiounsverbesserung weisen fir d'Liwwerung ze belounen. Fir Dopamin-Neuron Aktivitéit zu der Belounungsliwwerung ze moossen, hunn d'Apen d'HLC onsécher Aufgab mat zwou nei Belounungszeechen ausgefouert (Fig. 5a). Well d'Belounungen an nëmmen d'Halschent vun de Presentatioun vun de Belounungssuen ausgeliwwert goufen, hunn d'Belounungssuen net zouverlässeg an och net anescht belount. Dëst gouf gemaach fir dopamin Neuronreaktivitéit op den Empfang vun enger (onprediktéierter) Belounung ze maximéieren, sou datt mir eis Empfindlechkeet erhéijen fir eng Modulatioun an der Reaktiounsfäegkeet vun den Neuronen z'entdecken als Funktioun vun de Käschte kascht.

Figebam. 5
Figure5

HLC onsécher Aufgab. a D'HLC onsécher Aufgab. An dëser Aufgab goufen onsécher Belounungssätz, an deenen d'Beloununge geliwwert goufen 50% vun der Zäit onofhängeg vun deem Cue presentéiert goufen. b RTs zu de Käschte Cues an den Héich- a Low-Cost-Studien. Nëmmen Aap P huet eng méi séier RT an der LC Cue gewisen wéi den HC Cue (**P & Si besteet; zwee-tailed gekoppelter t testen; t4 = 9.0, P = 8.5 × 10-4, n = 5 fir den Af P; t18 = 1.4, P = 0.19, n = 19 fir den Af S). Schwaarz Kreeser a Feelerstäber weisen Mëttel a SEM un. c RTs fir d'Belounungszeechen an den Héich- a Low-Cost-Studien. Et war keen Ënnerscheed an den RTs zu de Belounungssätz tëscht dem Héich- a Low-Cost-Zoustand (Zwee-Schwanz gepaart t testen; t4 = 0.97, P = 0.39, n = 5 fir den Af P; t18 = 0.99, P = 0.39, n = 19 fir den Af S)

Bild vergréisseren

Wann d'RT sech tëscht de Käschteweise vergläichen, huet de Monkey P méi séier RT zu der LC-Cue gewisen wéi den HC-Cue (Fig. 5b). Et war keen Ënnerscheed an RTs zu de Belounungssuen tëscht dem HC an LC Konditioun an entweder Aaffen (Fig. 5c).

An der HLC onsécher Aufgab, weisen Dopamin Neuronen bescheiden Aktivéierung un den LC Cue awer hunn net op d'Belounungssuen reagéiert well se net prévisibel waren (Fig.) 6a). An der ganzer Bevëlkerung goufen opgeruff Äntwerten méi kleng fir den HC wéi LC Cue (Fig. 6b; zwee-tailed Wilcoxon ënnerschriwwen-Rank Test; P = 2.7 × 10-3, n = 19), an ROC Analysen weisen méi kleng Äntwerten op d'HC Cue (Fig. 6c; zwee-tailed Wilcoxon ënnerschriwwen-Rank Test; P = 5.5 × 10-3, n = 19). D'neuronal Äntwert op d'Belounung vun der Belounung am HC Zoustand war méi grouss wéi den LC (Fig. 6d; zwee-tailed Wilcoxon ënnerschriwwen-Rank Test; P = 0.036, n = 19). D'Verdeelung vun auROCs war> 0.5 wat eng méi grouss Belounungsliwerungsreaktioun am HC bezitt op LC Verspriechen (Fig. 6e; zwee-tailed Wilcoxon ënnerschriwwen-Rank Test; P = 0.049, n = 19). Dës Resultater weisen datt d'Belounung Liwwerant Äntwert am HC Prozess verbessert gëtt an datt bezuelte Käschte de positiven-RPE Signal bei der Belounung liwweren.

Figebam. 6
Figure6

Dopamine Neuron Äntwert op d'Belounungsliwwerung. a Representativ Dopamin Neuron Aktivitéit an der HLC onsécher Aufgab. All Faarf representéiert d'Konditiounen (giel: HC +, gréng: HC−, rosa: LC +, Cyan: LC−). D'Timings vun der Saksade-Ufanks gi mat graue Kräiz gezeechent. D'Äntwerten vun dësem Dopamin Neuron op déi onberechenbar Belounung a Loftpuff ginn och an der rietser Panel ofgezeechent (rout: onberechenbar Belounung, blo: onberechenbar Loftpuff). b Populatiounsmoyenne Aktivitéit vun den Dopamin Neuronen, déi vum Af S op déi Zoustänn opgezeechent goufen. Gréng a violette Faarwen weisen Aktivitéit an den Héich- a Bëllegprouwen un. Déi zolitt Linnen an déi gesträifte Linne stellen de Mëttel respektiv SEM duer. Grofaarweg Fläche weist d'Zäitfënster fir de Schéissrate ze berechnen wéi d'Äntwert op d'Konditiounsspuer. c D'Verdeelung vun den AuROCs fir den Effekt vun de virausgesaten Käschten op der neuronaler Äntwert op de Käschtequisen ze quantifizéieren. Geplangte Quadrate weisen d'Donnéeën vum Monkey P (n = 3) an oppe Kreeser weisen d'Donnéeë vum Af S un (n = 16). D'Pfeilkop weist de Median vun der auROC (0.44) un. d Populatiounsmëttel duerchschnëttlech Aktivitéit vun den Dopamin-Neuronen opgeholl vun der Monkey S bis op d'Belounungsliwwerung. Giel a rosa Faarwen uginn Aktivitéit an den Héich- a Low-Cost-Studien, resp. Grey-faarweg Gebitt weist d'Zäitfenster un fir d'Brennrate als d'Äntwert op d'Belounungsliwwerung ze berechnen. e D'Verdeelung vun den AuROCs fir den Effekt vun de bezuelte Käschte op der neuronaler Äntwert op d'Belounungsliwwerung ze quantifizéieren. De Pfeilkop weist de Median vun der AuROC (0.55)

Bild vergréisseren

Zousätzlech vergläichen mir Dopaminreaktiounen no der Verontreiung vu Belounung. D'AuROCs hunn keng béis Verdeelung ugewisen, wat beweist datt bezuelte Käschten keen Effekt op negativ RPEs beim Ausgang haten (Zousaz Fig. 9a). D'Dopamine Neuronen hunn keen Ënnerscheed tëscht Äntwerte fir d'R gewisenHC a RLC geheien (Zousaz Fig. 9b).

Erwächt Käschte verbessert d'Léiergeschwindegkeet

Entscheet datt RPEs fir d'Liwwerung ze belounen duerch déi bezuelte Käschte erhéicht ginn, ënner der Hypothese datt RPEs direkt an der Vermëttlung vun der Reiz-Belounungsléiere bedeelegt sinn, hu mir erwaart datt verstäerkte RPEs am Léierverhalen reflektéiert ginn iwwer eng verstäerkte Léiergeschwindegkeet24An. Fir ze testen fir en Effekt vu bezuelte Käschten op der Léierung hunn d'Apen d'Aféierungsaufgab HLC gemaach (Fig. 7a; kuck Methoden). An dëser Aufgab goufen zwou Belounungssäiten (R + a R−) gläichzäiteg presentéiert an d'Apen hu missten een wielen. Mir hunn d'Erfollegsquote gläichberechtegt a belount d'Wahrscheinlechkeet tëscht Versuchstypen (zweegleefeg gepaart t testen; t48 = 0.15, P = 0.89, n = 49 fir den Af P; t85 = 1.2, P = 0.25, n = 86 fir den Af S). Wann RTs fir d'Käschtebezeechnunge verglach goufen, hunn zwou Afen méi séier RTe fir den LC Kue gewisen wéi d'HC Kue (Fig. 7b; zwee-tailed gepaakt t testen; t48 = 12.9, P ≈ 0, n = 49 fir den Af P; t85 = 3.4, P = 9.4 × 10-4, n = 86 fir den Af S). Beim Verglach vun RTs mat de Belounungsspuer huet den Af S méi séier RTs am HC gewisen wéi den LC Zoustand (Fig. 7c; zwee-tailed gepaakt t testen; t48 = 1.3, P = 0.19, n = 49 fir den Af P; t85 = 2.8, P = 6.8 × 10-3, n = 86 fir den Af S). Beim Verglach vun RTs an der éischter an der leschter Halschent vun der Léier Sessioun getrennt, waren RTs zu der LC Cue méi séier wéi zum HC Cue wärend der éischter (Supplementary Fig. 10a) an déi leschter Halschent vun der Sitzung (Zousaz Fig. 10c). Op der Géigendeel, RTe vu Monkey S an d'Belounungssue am HC Zoustand ware méi séier wéi am LC-Zoustand während nëmmen der leschter Halschent vun der Sitzung (Zousaz Fig. 10d) awer net déi éischt Halschent (Zousaz Fig. 10b).

Figebam. 7
Figure7

HLC Exploratioun Aufgab. a D'HLC Exploratioun Aufgab. Bei dëser Aufgab hunn d'Apen missten tëscht R + a R− Cues wielen, déi zoufälleg an all Léiersessioun generéiert goufen. Wa si de R + Cue gewielt hunn, da kéinten se eng Belounung kréien a wa se R-Cue gewielt hunn, da géifen se keng Belounung kréien. b RTs zu de Käschte Cues an den Héich- a Low-Cost-Studien. D'Kierper hu méi séier RTe bis zum bëllegen Cue gewisen (**P < 0.01; zwee-tailed gekoppelter t testen). Schwaarz Kreeser a Fehlerbarren bedeit mëttler an SEM. c RTs fir d'Belounungszeechen an den Héich- a Low-Cost-Studien. Monkey S huet méi séier RTe fir d'Belounungssuen an der Héichkäschtebedingung gewisen

Bild vergréisseren

An der HLC Exploratioun Aufgab, goufen Belounungssätz zoufälleg an all Léiersessioun generéiert. Dofir hunn d'Apen d'Relatioun tëscht Belounungssätz a Beloununge an all Sessioun misse léieren. Wéi d'Studien an enger Sessioun fortgaange sinn, hunn d'Apen R + Cues méi dacks an all Käschte Konditioun gewielt (Fig. 8a). Fir d'Léiergeschwindegkeet ze quantifizéieren passen mir eng kumulativ exponentiell Funktioun un d'Daten, an integréiert zwee gratis Parameteren, a an b, wat d 'Steepness vun der Kurve an de Plateau ugeet, respektiv (Zousaz Fig. 11a, b). De Log-Verhältnis tëscht Steepnessparameter (Log aHC/aLC) war wesentlech méi grouss wéi Null, wat e méi grousse Steepnessparameter an HC weist wéi LC Studien (Fig.) 8b; zwee-tailed t testen; t48 = 2.1, P = 0.042, bedeit = 0.58, n = 49 fir den Af P; t85 = 2.5, P = 0.013, bedeit = 0.19, n = 86 fir den Af S). D'Log-Verhältnis tëscht Plateau-Parameteren (Log bHC/bLC), war net anescht wéi Null, wat keen Ënnerscheed tëscht Käschtebedingunge weist. 8c; zwee-tailed t testen; t48 = 0.76, P = 0.45, bedeit = -0.0024, n = 49 fir den Af P; t85 = 0.56, P = 0.58, bedeit = 0.010, n = 86 fir den Af S). Dës Resultater weisen datt d'Léiergeschwindegkeet méi séier an den HC Prozesser ass. Als nächst hu mir Léierkurven modelléiert mat engem Verstäerkungsléiere (RL) Modell (kuck Methoden). Dëse Modell enthält Parameteren fir d'Léierquote (αHC an αLC) an Erfarungsraten (βHC an βLC) fir béid Käschtebedingunge (Zousaz Fig. 11c, d). Wa mir u Behuelen passt, hu mir fonnt datt de Log-Verhältnis tëscht Léiergeschwindegkeetsparameter (Log αHC/αLC) war méi grouss wéi Null, wat e bedeitend méi groussen Erléisungsparameter an HC weist wéi LC Studien (Fig. 8d; zwee-tailed t testen; t48 = 2.3, P = 0.026, bedeit = 0.50, n = 49 fir den Af P; t85 = 2.2, P = 0.034, bedeit = 0.25, n = 86 fir den Af S) wärend de Parameter β huet keen Ënnerscheed gewisen (Fig. 8e; zwee-tailed t testen; t48 = 0.77, P = 0.44, bedeit = 0.0097, n = 49 fir den Af P; t85 = 0.64, P = 0.52, bedeit = 0.038, n = 86 fir den Af S). Hei hu mir d'Léierenratenparameter fir all Käschtezoustand geschat (αHC an αLC) getrennt fir méi séier Léiergeschwindegkeet am HC Zoustand ze erklären. Awer wann d'Léierraten identesch sinn tëscht de Käschtebedingunge, gëtt de Verhältnis tëscht de geschätzte Léiergeschwindegkeet Parameteren (αHC/αLC) kann als Amplifikatiounswert fir RPEs am HC Zoustand ugesinn ginn. Dofir proposéiere dës Resultater datt eng Verstärkung vun RPEs méi séier Léiergeschwindegkeet am HC Zoustand erkläre kann.

Figebam. 8
Figure8

Léieren Vitesse Test. a Mëttlerem Léierprozess vun den Affen P a S. Den Undeel vu R + Wiel ass als Funktioun vum Prozess geplot. Déi gréng a purpurroude Punkte weisen Donnéeën aus Héich- a Low-Cost-Test, respektiv. Déi gestippte Linnen representéieren e glatene Léierprozess. Déi kumulative eksponentiell Funktiounen goufen op d'Datenpunkte gepasst a representéiert wéi déi zolidd Linnen. b De Log-Verhältnis tëscht de passende Parameteren a an den héich- a niddrege Käschte wann d'Donnéeën mat enger kumulativer Exponentiell Funktioun passen (*P & Si besteet; 0.05; zweeschwätze Wilcoxon's sign-rank test). Schwaarz Kreeser a Feelerstäber weisen Mëttel a SEM un. c De Log-Verhältnis tëscht de passende Parameteren b an den héich- a niddrege Käschten, wann d'Donnéeën mat enger kumulativer Exponentiell Funktioun passen. d De Log-Verhältnis tëscht dem Léierrate-Parameter α an den héich- a niddrege Käschte wann d'Donnéeën mat engem Verstäerkung-Léiermodell passen. e De Log-Verhältnis tëscht dem passenden Parameter β an den héich- a niddrege Käschte wann d'Donnéeën mat engem Verstäerkung-Léiermodell passen

Bild vergréisseren

Mir hunn och probéiert de Léierprozess mat alternativen RL Modeller z'erklären, déi eng Méiglechkeet berücksichtegen, datt d'Apen d'Antikorrelatioun tëscht Reizen a Belounung op all Versuch kennen. An dëse Modeller gëtt de Wäert vun der net gewielter Optioun niewent der gewielter aktualiséiert (Zousaz Fig. 12). Och wann sou alternativ Modeller op d'Daten applizéiert goufen, war de Léierzuchsparameter wesentlech méi grouss am HC am Verglach zum LC-Zoustand (Zousaz Fig. 12b, f) wärend de Parameter β huet keen Ënnerscheed gewisen (Zousaz Fig. 12d, h). Also, eis Opfaassung iwwer eng Verstärkung vum RPE Signal am HC Zoustand ass robust zu der Form vum RL Modell fit op d'Daten.

Diskussioun

Mir hunn den Effekt vu bezuelte Käschte op de Wäert vun der Belounungsprognosen Cues an op de phasesche Äntwerte vun der Midbrain Dopamin Neuronen ënnersicht. Monkeys hunn eng erhéicht Bewäertung fir Belounungsprévisiounsstiermer no der Leeschtung vun enger Handlung gewisen, déi méi grouss Käschte gemaach hunn. Dopamine Neuronen hunn erhéicht Äntwerten op béid d'Belounungspréviséiere Cue wéi och d'Belounungsliwwerung, nodeems méi héich Käschte gemaach goufen. Ausserdeem hunn d'Apen méi séier Léiergeschwindegkeet gewisen wann méi héich Käschte waren fir d'Belounung ze kréien.

Verschidde Studien hu gewisen datt e bezuelte Käschte seng Präferenz fir eng Belounungsprognose Cue verbessert1,2,3An. An der aktueller Etude hunn d'Apen méi séier RTe fir d'Belounungsprévisiounszeechen am HC Zoustand am Verglach zu deenen am LC-Zoustand gewisen, konsequent mat der Méiglechkeet datt d'Belounungswäertung vun de bezuelte Käschte verbessert gëtt27An. Eng alternativ Méiglechkeet ass datt déi méi laang Fixatiounszäit verbonne mat der verstäerkter Opmierksamkeet op d'Sakadeziel am HC Zoustand ass, dofir, d'RTs ze reduzéieren no enger längerer Fixatioun am HC Prozess. Wéi och ëmmer, hu mir keen Ënnerscheed tëscht RTs an den R Cues an den HC an LC Studien an der HLC onsécher Aufgab fonnt. Weider, an der éischter Halschent vun der HLC Exploratiounssessioun. RTs zu de R Cues waren net vill anescht tëscht den HC an LC Studien. Dës Befindunge weisen also datt eng méi laang Fixatioun net eng méiglech Erklärung fir déi méi kuerz RTe beobachtet op d'Belounungsprognose Cues. Zousätzlech zum Effekt vu bezuelte Käschte op Belounungscue RTs hunn d'Käschte och RTs op déi nonreward-virausgesot Cues betraff, trotz der Tatsaach, datt keng Belounung no de Cue Presentatiounen geliwwert gouf. Eng fréier Studie huet en ähnlecht Phänomen bericht, an deem Monkey Sujete méi kuerz RTs an onerklärten Studien gewisen hunn, wa méi bevorzéierter Belounungen an den alternativen Studien an all Block agesat goufen.30An. Eng méiglech Interpretatioun vum Effekt an där Etude ass datt eng allgemeng méi héich Motivatioun fir an der Block mat méi bevorzugter Belounung RT ze reagéieren och op déi keng Belounungssue bannent der Block. Ähnlech, an der aktueller Etude, kann d'Erwaardung vun enger méi wäertvoller Belounung an den HC Studien RTe moduléiert hunn op déi keng Belounungssue an den HC Studien an eiser Aufgab. Ausserdeem war den Effekt vun de bezuelte Käschte op RTs op d'Belounungssuen méi kleng wéi déi op déi keng Belounungsprévisiounsstänn. Dëst ass méiglecherweis en Artefakt vun der Tatsaach datt well d'Apen eng Sakkade méi séier un d'R gemaach hunnLC+ Cue an der éischter Plaz, gëtt et reduzéiert Spillraum fir eng Ofkierzung vu RTs op d'R z'entdeckenHC+ Cue. Dofir wier den Ënnerscheed an den RT tëscht den R + Cues kleng als Konsequenz.

D'Kierper hunn och Wieltestungen tëscht der R gemaachHC a RLC Cues an der HLC Aufgab. Wéi och ëmmer, während de Monkey S eng Preferenz fir den R gewisen huetHC+ Cue zu der RLC+ Cue, Monkey P huet keng sou eng Preferenz gewisen. Dës Diskrepanz konnt duerch e kontextuellen Ënnerscheed tëscht der HLC Saccade a Wieler Studien erkläert ginn. An de Wieler Studien goufen zwou Belounungspréviséiere Cues präsentéiert anstatt eng Belounungsprognose Cue. Weider hunn d'Apen net eng Belounung kritt no hirem Choix och wann se d'Belounsprévisiouns-Cue gewielt hunn, sou datt de Choix Test am Ausstierwen gemaach gouf. D'Ausstierwe Prozedur gouf ëmgesat fir de Choix vun den Affe gefuer ze ginn duerch dat wat op den Effort Studien geléiert gouf, am Géigesaz zu der Duerchernee mat neie Léiere vun de Wiel Trials. Wéi och ëmmer, dës Prozedur kann d'Nebenwirkung hunn datt d'Aap séier konnt léieren d'Erlängerungsprozedur am Wielekontext ze erkennen an datt et kee Grond ass de méi léifste Reiz ze wielen. Trotzdem huet ee vun de Affen tatsächlech eng Präferenz fir d'Belounungssue am HC Zoustand gewisen.

Zu der Zäit vun der Presentatioun vun enger Cue, déi eng spéider Noutwendegkeet fir e Käschte virauszegesi war, gouf d'Aktivitéit vun Dopamin Neuronen reduzéiert, konsequent mat fréiere Studien22,23An. An eiser Studie hu mir keng allgemeng Ofsenkung vun der Dopamin Neuron observéiert souwuel op den HC an den LC Cues relativ zu der Baseline. Dëst hindeit datt en negativ-RPE Signal net zu deem Zäitpunkt trotz de folgende Käschte geschitt. D'Feele vu negativ RPE reflektéiert viraussiichtlech d'Integratioun vun enger Prognose vun der zukünfteger Belounung, déi spéider am Prozess erwaart gëtt. D'Dopamine Neuronen hunn bedeitend Aktivatioun am LC-Prozess gewisen an d'Aktivitéit war méi héich am Verglach zum HC-Prozess. Dëst seet datt d'Käschteinformatioun am RPE Signal agebaut gouf vun Dopamin Neuronen. Also Code Dopamin Neuronen Code souwuel d'Belounung a Käschteinformatioun an d'RPE Äntwert reflektéiert d'Zomm vu Käschte a Belounung.

Mir demonstréiert datt de RPE Signal representéiert vun Dopamin Neuronen verbessert gëtt duerch d'bezuelte Käschte beim Punkt vun der Belounungssignal Presentatioun (an der HLC Saccade Aufgab) a Belounungsliwwerung (an der HLC onsécher Aufgab). Den objektive Betrag vun der Belounung geliwwert an den HC an LC Studien war gläich; dofir, Modifikatioun vun den RPE Signaler soll duerch en nonsensoresche Prozess verursaacht ginn. Dës Méiglechkeet gëtt ënnerstëtzt vu verschiddene Studien, déi e kontextuellen Effekt op Dopamin RPE Signaler uginn, déi konsequent mat der Veraarbechtung vum subjektiven Wäert an / oder Nëtzlechkeet bei Dopamin Neuronen sinn.11,19,20,21,31,32,33,34An. Wann de RPE Signal méi grouss ass, soll dat eng méi séier Upassung vum Cue-Wäert produzéieren, wat als Konsequenz op d'Léiergeschwindegkeet vun de Reiz-Belounungsassociatiounen géif auswierken. Virdrun Studien hunn eng Ännerung vu Léiergeschwindegkeet duerch nonsensoresche Faktoren gewisen24,35An. Am Aklang mat dësen hunn d'Apen méi séier Léiergeschwindegkeet am HC par rapport zum LC Konditioun ausgestallt. Mir hu fonnt, datt eng verbessert Léiergeschwindegkeet mat de bezuelte Käschte kann duerch e RL-Modell mat enger verstäerkter RPE erkläert ginn. Et war schwéier d'Effekter vun der amplifizéierter RPE ze trennen an d'Léierquote an eisen Experimenter eropgaang; awer, hu mir en amplifizéiert dopaminergescht RPE Signal am HC Zoustand fonnt. Ausserdeem huet eng vireg fMRI Studie gewisen datt de Léierrate Parameter an der anteriore cinguléierter Cortex vertruede ass an datt d'Aktivitéit vun der VTA net mam Léierrate Parameter a volatile Ëmfeld verwandt ass36An. Dofir plädéiere mir datt de RPE Signal, dat vun Dopamin Neuronen kodéiert ass, duerch déi bezuelte Käschte verstäerkt gëtt, an datt de verstäerkt RPE Signal d'Léiergeschwindegkeet verbessert.

Wann de RPE Signal zum Zäitpunkt vun der Presentatioun vun der Belounungskue an der Belounungsliwwerung generéiert gouf, haten d'Apen scho d'Käschte bezuelt. Dofir ass ee méigleche Mechanismus fir de verstäerkte RPE Signal datt eng Belounung no engem HC méi belount ka ginn. Eng erhéicht Erwaardung vun enger méi wäertvoller Belounung no dem HC kéint d'Motivatioun fir de Prozess fäerdeg maachen, doduerch den RT an d'Belounungssätz an den HC Studien verkierzen.

Eng aner méiglech Interpretatioun vun eise Resultater ass datt Relief, déi duerch d'Ennere vun der deierer Handlung erliewt ass, als Belounung fir d'Apen kann handelen. Funktionell Magnéitesch Resonanz Imaging (fMRI) Studien hu gewisen datt Schmerzrelief eng Belounung fir mënschlech Participanten kann sinn37,38; dofir, Käschte kënnen eng ähnlech Roll als en aversive Reiz vu Schmerz spillen. Wann d'Erliichterung vu Käschte belount ass a wann dëst an der dopaminergescher Aktivitéit reflektéiert gëtt, géifen mir erwaarden datt d'Dopamin-Neuronen um Enn vun der laanger Fixatioun äntweren, wat den Zäitpunkt vun der Belounungssue Presentatioun ass. Wéi och ëmmer, hu mir keen Ënnerscheed an der dopaminergescher Aktivitéit observéiert beim Ament vun de Belounungssue-Presentatiounen an och keen Ënnerscheed an de RTs zu de R-Cues tëscht den HC an LC Studien an der HLC onsécher Aufgab. Dofir hu mir proposéiert datt Relief vu Käschten net eng adequat Erklärung fir den Effekt bitt, deen mir an den Dopamin Neuronen observéiert hunn.

Ausserdeem hunn d'Dopamine Neuronen qualitativ ënnerschiddlech Äntwerten op den aversive Reiz gewisen am Verglach mat de Käschte virauszegesinn. Eng méiglech Erklärung dofir ass datt d'Ustrengungskäschte manner salient wéi d'Loftpuff oder Belounung waren, well d'Effortkäschte temporär iwwer e puer Sekonne verlängert goufen, well d'Apen d'Fixatioun ausféieren an net punktéieren. Dofir dierfen dopamin Neuronen net op déi manner salient Käschte Cues aktivéiert ginn. Eng aner Méiglechkeet ass datt d'Salience-Typ Dopamin Neuronen op Evenementer äntweren, no deenen e puer Bewegunge induzéiert goufen. Wann d'Belounung oder d'Loftpuff un d'Ape geliwwert gouf, maache se e puer Beweegunge wéi d'Lecken oder d'Ae blénken. Wéi och ëmmer, an der HLC Saccade Aufgab, hunn d'Apen d'Aen op de Fixéierungsziel behalen ouni Bewegung wéi d'Käschte. Eigentlech huet eng kierzlech Etude gewisen datt Dopamin Verëffentlechung am Kär accumbens no enger Belounungspréviséierter Cue gedämpft ass ausser Bewegung ass richteg ageleet39An. Well d'Käschten an eisen Experimenter keng Bewegungsinitiatioun involvéiert hunn, kann et potenziell zu enger inkonsistent Äntwert vu Salientypen Dopamin Neuronen resultéieren. Egal wéi mir kënne schléissen datt d'Käschteinformatioun anescht veraarbecht gëtt wéi aversiv Informatioun.

Als Conclusioun hu mir proposéiert datt bezuelte Käschte de Wäert vun der Belounungsprognose Cues erhéijen an datt dëst am Tour de RPE Signal erhéicht deen am Midbrain Dopamin Neuronen kodéiert. Dësen Effekt huet zu enger Verhalenspredictioun gefouert datt d'Déieren d'Léierquote fir d'Belounungsprévisiounszeechen no der Erfarung vun engem HC géif verbessert ginn. Dëst ass tatsächlech wat mir observéiert hunn. Also, eis Observatiounen iwwer d'Aktivitéit vun Dopamin Neuronen hunn eis zur Existenz vun enger Verhalenseffekt hypothese gelooss, souwéi e vermeintleche Computermechanismus deen dësen Effekt ënnerläit, wat mir duerno bestätegt hunn. Eis Resultater stellen dofir e Beispill vu wéi Triangulatioun tëscht Miessunge vun neuralen Donnéeën, computational Theorie a Verhalen kann entstoen: e méi verständlecht Verständnis vun der neuronaler Veraarbechtung am Gehir entwéckelen kann Abléck iwwer d'Behuelen an hir Basisinformatioun bréngen.

Methoden

Déieren

Mir hunn zwee männlech japanesch Affen benotzt (Macaca fuscata; Kierpergewiicht, 6.5 kg = Monkey P; Kierpergewiicht, 9.0 kg = Monkey S). Mir hunn e Kappposten op der Spëtzt vum Schädel vun der Monkey implantéiert fir datt et méi spéit op e Stull kéint befestigt ginn. Eng Opnamkammer gouf och implantéiert fir d'Montéierung vun engem Elektrode Mikromanipulator z'erméiglechen. D'Onzeechnungskammer gouf 45 ° lateral am koronale Plang gekippt an an de stereotaxesche Koordinaten positionéiert: 15 mm anterior zum externen Kanal. No enger Erhuelungsperiod goufen d'Apen trainéiert fir d'Sakade-Aufgab ze maachen. Nodeems mir den Training ofgeschloss hunn, hu mir e Lach duerch de Schädel an der Opnamekammer fir Elektrode-Insertéierung geboust. All Déiereschutzprotokoller goufe vum Déier Experiment Comité vun der Tamagawa Universitéit approuvéiert, a konform mam National Instituter fir d'Gesondheetsguide fir d'Betreiung an d'Benotzung vun Laboratoire Déieren.

Verlaascht Aufgab

Monkeys goufen trainéiert fir d'HLC Saccade Aufgab ze maachen (Fig. 1a), HLC onsécher Aufgab (Fig. 5a), an HLC Exploratioun Aufgab (Fig. 7a). All Aufgaben goufen an engem däischteren Zëmmer gemaach. D'Aaffen souzen an engem Stull virum 22-in. LCD Monitor (S2232W, Eizo) mat hiren implantéierte Kappposten um Stull fixéiert. D'Distanz tëscht hiren Aen an dem Display war 70 cm. Wann eng Startzeil (wäisse Krees, 0.3 ° Duerchmiesser) am Zentrum vum Display presentéiert gouf, war den Af verlaangt säi Bléck op d'Kue ze halen. De Start Cue ass no 750 ms verschwonnen an duerno gouf e Cost Cue presentéiert (Stär a Wandmille fir den HC an LC Verspriechen, respektiv). Apen hu missen op d'Käschtepuer wärend der 750 ms vun der Presentatioun presentéiert ginn. Wann se net un der Spuer gesackt hunn, gouf de Prozess ofgebrach an dee selwechte Prozess huet erëm ugefaang. Wärend HC Prozesser gouf de Fixatiounsziel (0.3 ° × 0.3 ° wäisse Quadrat) just nom Verschwanne vun der Käschtebezeechnung fir 2000 ms (HLC Saccade an HLC onsécher Aufgaben) oder 1500 MS (HLC Exploratiounsaufgab) presentéiert an d'Aaffen waren erfuerderlech fir et ze sackéieren an hir Bléck drop ze halen. Wann d'Aaffen hire Bléck iwwer eng Fixéierungsfënster vu 4 ° × 4 ° réckelen, gouf d'Aufgab ofgebrach. D'Fixéierungsfenster gouf 400 ms no der Fixatiounspunkt Presentatioun aktivéiert well d'Aaffen Zäit gebraucht hunn fir op d'Saccade virzebereeden an d'Ajustéierung vun hirer Fixatioun. Dofir hunn d'Aaffen fir op d'mannst 1600 ms (HLC Saccade an HLC onsécher Aufgaben) oder 1100 MS (HLC Exploratiounsaufgab) an den HC Prozesser ze fixéieren. An den LC Prozesser gouf e eidelem Bildschierm fir 1500 ms ugewisen (HLC Saccade an HLC onsécher Aufgaben) oder 1000 MS (HLC Exploratiounsaufgab), an duerno erschéngt d'Fixatiounsziel fir 500 ms. Well d'Fixatiounsfenster 400 ms no der Fixatiounspunkt Presentatioun aktivéiert gouf, goufen d'Aaffen opgefuerdert fir op d'mannst 100 ms an den LC Prozesser ze fixéieren. D'Aaffen hunn méi Feeler am HC Prozess ausgestallt; Dofir gouf e gezwongen Ofbriechen zoufälleg 100 ms viru der Belounungspresentatioun agefouert (400 ms no der Fixéierungszielpresentatioun déi den Zäitpunkt vun der Fixéierungsfenster gezunn ass) am LC Prozess fir den Erfollegsquote auszebauen. Nom Fixéiere vum Ziel goufen een oder zwee Belounungsspuer presentéiert an d'Affen hu missen op d'Spuer sackadéieren. Wa se erfollegräich eng Sackade zu der Belounungsspuer gemaach hunn, gouf e Piepsound no der Belounungspresentatioun 750 ms geliwwert. Wann d'Aaffen eng Sackade zu der R + Cue gemaach hunn, gouf 0.3 ml Waasser zur selwechter Zäit wéi de Piep geliwwert. Keng Belounung gouf ausgeliwwert wéi se eng Saccade an d'R-Cue gemaach hunn.

An der HLC Saccade Aufgab goufe véier faarweg Kreeser als Belounungssäiten benotzt (RHC+: giel; RHC-: gréng; RLC+: rosa; RLC-: blo; Figebig. 1a). Eng experimentell Sitzung bestoung aus 80 Sackadeproblemer, 20 onberechenbaren Belounungsproblemer, 20 onberechenbaren Loft-Puff-Prozesser, a 5 Auswielversich. D'Saccade Prozesser, beinhalt 40 HC Verspriechen a 40 LC Verspriechen, béid vun deenen 20 Belounungsproblemer an 20 keng Belounungsproblemer. An der onberechenbaren Belounung oder Loftpuffprouwen gouf 0.3 ml Waasserbelounung oder 0.2 MPa Loftpuff (150 ms fir Af P; 200 ms fir Af S) op d'Gesiicht vun den Afe geliwwert ouni ze cued ginn. D'Entscheedungsprozesser abegraff e Prozess an deem Affen de Choix gemaach hunn tëscht R + Zeilen (RHC+ géint RLC+) am HC Prozess, tëscht R-Cues (RHC- vs. RLC-) am HC Prozess, tëscht R + (RHC+ géint RLC+) Zeechen an engem LC-Prozess, tëscht R− (RHC- vs. RLC-) Cues an engem LC-Versuch, an tëscht de Käschte-Cues (Zousaz Fig. 1). An Studien mat enger Wiel tëscht Belounungssäiten, war d'Aufgabestruktur identesch mat der Saccade-Aufgab virun der Belounungscue-Presentatioun. Als nächstes, amplaz vun enger Belounungssignal ze presentéieren, goufen zwou Belounungssäiten an de Wahltester virgestallt a keng Belounung gouf nom Belounungscue-Presentatioun geliwwert, och wann d'Apen d'Wiel tëscht R + Cues gemaach hunn.

Fir d'Äntwert vun Dopamin Neuronen ze testen fir d'Liwwerung ze belounen, hunn d'Apen d'HLC onsécher Aufgab ausgeführt (Fig. 5a). Dës Aufgab war ähnlech wéi d'HLC Saccade Aufgab ausser fir d'Belounungssätz. An dëser Aufgab hu mir zwee Belounungssäiten benotzt (amplaz vun de véier Belounungssätze déi an der HLC Saccade Aufgab benotzt goufen), eng fir den HC Prozess an déi aner fir den LC Prozess. D'Belounung gouf an der Halschent vun de Studien no der Belounungs Cue Presentatioun geliwwert. Eng experimentell Sessioun huet aus 80 Saccade Studien, 20 onberechenbar Belounungstester, an 20 onberechenbar Loft-Puff-Studien. An de Sacadeforsich goufen 40 HC Studien an d'40 LC Studien abegraff, béid déi 20 Belounungstester abegraff an 20 keng Belounungstester. An den onberechenbaren Studien gouf eng Belounung oder Loftpuff ouni Cue geliwwert.

An der HLC Exploratioun Aufgab zwee Belounungssätz (RHC+, RHC- oder RLC+, RLC-) goufen gläichzäiteg presentéiert an d'Apen goufen opgefuerdert an eng vun de Belounungssätz ze verschécken (Fig. 7a). Wa si de R + Cue gewielt hunn, goufe se mat enger Waasserbelounung ausgestatt. Véier Belounungszeechen (RHC +, RHC-, RLC +, RLC-) goufen fir all Exploratiounssessioun generéiert an d'Apen goufen erfuerderlech d'Associatioun tëscht de Cisen ze léieren a probe-by-Prozess ze belounen. Eng experimentell Sessioun huet aus 100 HC Studien an 100 LC Studien bestanen. Mir hu fonnt datt fir d'Erfuerschung Aufgab, wa mir d'Fixéierungsdauer op 2000 ms am HC Zoustand setzen, sou datt et mat der Dauer vum HC Zoustand an deenen aneren Aufgaben entsprécht, hunn d'Apen d'Aufgab mat engem ganz nidderegen Erfollegsquote gemaach well d'Schwieregkeet vun der Aufgab an / oder de resultéierende niddrege Belounungsquote. Dofir, fir d'Schwieregkeeten vun der Aufgab ze reduzéieren an de Succès Taux ze erhéijen, benotze mir eng 1500 ms Fixatiounsdauer als Käschte fir d'HLC Exploratioun Aufgab.

D'Aufgabe goufen kontrolléiert mat engem kommerziell verfügbaren Softwarepackage (TEMPO, Reflective Computing, St. Louis, MO, USA). E personaliséierte Programm mat enger Uwendungsprogramméierungsinterface (OpenGL) gouf fir eng visuell Stimulatiounspresentatioun benotzt. D'visuell Stimulatioune fir d'Käschten an d'Belounungssätz goufen vun den Autoren erstallt.

Opname an Donnéeën Acquisitioun

D'Lag vun der substantia nrara gouf mat Hëllef vun MR Biller geschat. Eng epoxy-Beschichtete Wolfram Elektrode (Schank Duerchmiesser, 0.25 mm, 0.5 – 1.5 MΩ gemooss bei 1000 Hz, FHC) gouf an de substantia nigra mat engem Mikromanipulator (MO-972, Narishige, Tokyo, Japan) op der Opnamkammer mat montéiert e Edelstahlleit Tube. Spannungsignaler goufen amplifizéiert (× 10,000) a gefiltert (0.5 – 2 kHz). Handlungspotenzialer vun enger eenzeger Neuron goufe mat engem Template-passende Algorithmus isoléiert (OmniPlex, Plexon, Dallas, TX, USA). Auge Bewegung gouf vun engem Infraroutkamera System iwwerwaacht mat enger Probequote vun 500 Hz (iView X Hi-Speed ​​Primate, SMI, Teltow, Däitschland). Den Timing vun Handlungspotenzialer a Verhalensevenementer goufen mat enger Zäitopléisung vun 1 kHz opgeholl.

Datenanalyse

Fir d'Behuele vun den Affen ze analyséieren, goufen d'RTs als Zäitintervall tëscht der Stimulatioun vum Ufank an der Zäit festgeluecht wéi d'Apen d'Sakade initiéiert hunn. D'Sakadinitiatioun gouf festgeluecht andeems Dir den Timing ausgerechent huet, wann d'Gesiichtspositioun d'5 Standard Ofwäichunge vun der mëttlerer Blécker Positioun virun der Cue Presentatioun iwwerschreift.

An der HLC Exploratioun Aufgab gouf de Choixverhalen vun den Affe quantifizéiert andeems se eng kumulativ exponentiell Funktioun passen. D'Funktioun (P) beschreift den Undeel vun der korrekt Wiel wéi follegt:

P=12+(12- Déi12⋅Ausgang(- Déia⋅t))⋅b,
(1)

wou t heescht Prozess, a an b gezeechent de Schréiegt a Plateau vun der Kurve of, respektiv. Dës Funktioun war onofhängeg vun den Donnéeën fir déi zwee Käschtebedingunge gepasst. D'Parameter vun der Funktioun goufen gesicht fir d'Wahrscheinlechkeet vun den Observatioune vun den Donnéeën aus enger eenzeger Sessioun an déi duerchschnëttlech Donnéeën ze maximéieren. Eng Bootstrap Method gouf ugewannt fir d'Vertrauensintervaller ze schätzen wann et op d'Moyenne Daten passt. E Standard RL Modell gouf och benotzt fir d'Verhalensdaten ze quantifizéieren. De Reizwäerter Vj(t) fir de gewielte Choix j (j = 1 fir HC Zoustand; j = 2 fir LC Zoustand) goufen esou aktualiséiert:

Vj(t+1)=Vj(t)+αj⋅(R(t)- DéiVj(t)),
(2)

wou αj gidd d'Léierraten un, déi op Wäerter tëscht 0 an 1 beschränkt goufen. R(t) beweist de Belounungsbetrag (1: belount, 0: keng Belounung) beim Prozess t.

D'Wahrscheinlechkeet Pj(t) vun der Wiel vu Reiz j aus deenen zwee Reizen am Prozess t gëtt vun der Softmax Reegel uginn

Pj(t)=exp(Vj(t)βj)/∑2i=1exp(Vi(t)βi),
(3)

wou βj beweist den Ausmooss vun der Exploratioun.

Mir hunn neuronal Aktivitéit wärend der HLC Saccade an HLC onsécherer Aufgab opgeholl awer net d'HLC Exploratiounsaufgab. D'HLC Exploratiounsaufgab gouf als reng Verhalensstudie ëmgesat. Dopamine Neuronen goufen identifizéiert wa se jiddereng vun de folgenden Eegeschaften ausgestallt hunn: eng niddereg Tonic Schéissrate (<6 Hz), eng laang Dauer vun der Spike Welleform (> 300 μs), an eng phasesch Äntwert op déi onberechenbar Belounung (Zousaz Fig. 2a). Mir analyséiert Studien, an deenen d'Apen de Prozess ouni Feeler fänke kënnen (Bremsfixéierung, keng Saccade oder Kënschtlech Ofdreiwung). Den mëttlere Neuronféiersgrad gouf mat 1 ms Schnäppchen berechent a glat mat engem Gaussesche Kärel (σ = 30 ms, Breet = 4σ) fir Spike Dichtfunktiounen ze produzéieren. Äntwerte vun den Dopamin Neuronen op all Aufgab Event goufen als d'normaliséiert Feierrate relativ zu der spontaner Aktivitéit berechent (mëttel Feierrate während der 500 ms virum Start Cue Ufanks). D’Feierraten goufe bannent Zäitfënstere fir all Aufgab Event an Thema bestëmmt. Dës Zäit Fënstere goufen aus der Bevëlkerung-averaged Aktivitéit bestëmmt. Mir hunn de Start an d'Ennpunkte vun Zäitfenster festgeluecht baséiert op der Opstig- a Fallzäit vun der Bevëlkerung-averaged Äntwert mat fréiere Monkey Dopamin Studien als Referenzen (Zousaz Fig. 3). D'Zäitfënster fir den Start Cue war definéiert als 200 – 400 ms nom Start Cue Ufang fir Neuronen opgeholl vu Monkeys P a S. D'Zäitfënster fir d'Conditiouns Cue war definéiert als 150 – 300 ms no der Conditioun Cue Ufanks fir d'Ap P a 200 – 400 ms fir Monkey S. D'Zäitfënster fir d'Belounungssue gouf als 140 – 350 ms nom Belounungssue fir Aap P an 220 – 420 ms fir Abe definéiert. D'Zäitfënster fir d'Belounungsliwwerung gouf als 225– definéiert 475 ms nom Piepsend fir Aap P an 200 – 450 ms fir Abe S. D'Zäitfënster fir déi onberechenbar Belounungsliwwerung gouf definéiert als 100 – 300 ms no der Belounungsliwwerung fir Affe P an 150 – 300 ms fir Monkey S. Zäitfenster fir déi onberechenbar Loftpuff gouf als 30 – 230 ms no der Loftschrauf Liwwerung fir Affe P an 50 – 200 ms fir Monkey S definéiert.

Mir klasséieren all opgeholl Dopamin Neuronen an zwou verschidde Kategorien, Motivatiounswäerter an Erfollegstypen. Wann d'Reaktioun vun engem Neuron op d'Loft-Puff Reizen méi kleng war wéi déi spontan Aktivitéit, gouf den Neuron als motivéierend Wäerttyp klasséiert (Fig. 3d, e). Am Géigesaz, wann d'Äntwert vun engem Neuron op d'Loftpuffstimulie méi grouss war wéi déi spontan Aktivitéit, gëtt den Neuron als vun der Salientyp klasséiert (Fig. 3g, h).

Fir d'differential neuronal Aktivitéit tëscht Taskbedéngungen ze quantifizéieren, gouf eng ROC Analyse gemaach. Mir hunn den AuROC fir all Neuron berechent. Den AuROC méi kleng oder méi grouss wéi 0.5 weist eng méi kleng oder méi grouss Äntwert am HC-Prozess un. Well d'Zuelen vun Neuronen an e puer neuronalen Datensätze kleng waren, hu mir de Wilcoxon's sign-rank Test benotzt fir den Effekt vun den Auslänner ze reduzéieren fir déi partizipéiert Verdeelung vun den auROCs ze quantifizéieren.

Kommerziell verfügbar Software, MATLAB (MathWorks, Natick, MA, USA), gouf benotzt fir all Daten Analyse ze maachen.

Histologesch Untersuchung

Nom Opnam Experiment, béid Affe goufen euthaniséiert an histologesch Analyse gouf gemaach fir d'Anzeechnungspositioun z'iwwerpréiwen (Zousaz Fig. 2b). Ape goufen duerch Verwaltung vun enger fataler Dosis pentobarbital Natrium (70 mg kg) euthaniséiert-1) a perfused mat 4% Formaldehyd a Phosphatpuffer. Serial koronal Sektiounen (Déck, 10 μm) goufen ausgeschnidden an immunostained mat Anti-Tirosin Hydroxylase (TH) Antikörper (all 25 Sektiounen; Anti-TH Antikörper, 1: 500; Merck, Darmstadt, Däitschland) oder Nissl staining (all 25 Sektiounen) An.

Rapport Bericht

Weider Informatioun iwwer Fuerschungsdesign ass verfügbar an der Natur Fuerschung Bericht Resumé mat dësem Artikel verbonnen.

Datenverfügbarkeet

D'Daten, déi an der Analyse vun dëser Etude benotzt goufen, ginn op ugemoossene Wonsch vum entspriechenden Autor verfügbar. E Berichtersammlung fir dësen Artikel ass verfügbar als Zousaz Informatiounsdatei. Déi Quellendaten, déi ënner de Fig. 1, 3-8 an Zousaz Figgen. 1, 4-12 ginn als Quellendaten Datei geliwwert.

Code Disponibilitéit

Matlab Coden, déi an der Analyse vun dëser Etude benotzt goufen, sinn op ugemoossener Ufro vum entspriechenden Autor verfügbar.

Referenze

  1. 1.

    Clement, TS, Feltus, JR, Kaiser, DH & Zentall, TR "Aarbechtsethik" bei Dauwen: Belounungswäert ass direkt mat der Ustrengung oder der Zäit gebraucht fir d'Belounung ze kréien. Psychon. Bull. Rev. 7, 100-106 (2000).

  2. 2.

    Klein, ED, Bhatt, RS & Zentall, TR Kontrast an d'Justifikatioun vum Effort. Psychon. Bull. Rev. 12, 335-339 (2005).

  3. 3.

    Zentall, TR & Singer, RA Bannent Versuchskontrast: Dauwe léiwer bedingt Verstärker déi e relativ méi anstatt e manner aversivt Evenement verfollegen. J. Exp. Anal. Behav. 88, 131-149 (2007).

  4. 4.

    Aronson, E. & Mills, J. Den Effekt vun der Schwéierkraaft vun der Initiatioun fir eng Grupp ze gefalen. J. Abnorm. Soc. Psychol. 59, 177-181 (1959).

  5. 5.

    Festinger, L. Eng Theorie vun der kognitiver DissonanzAn. (Stanford University Press, Kalifornien, 1957).

  6. 6.

    Alessandri, J., Darcheville, JC, Delevoye-Turrell, Y. & Zentall, TR Präferenz fir Belounungen déi méi Effort a méi grousser Verzögerung folgen. Léiert Behav. 36, 352-358 (2008).

  7. 7.

    Schultz, W., Carelli, RM & Wightman, RM Phasesch Dopaminsignaler: vu subjektiv Belounungswäert bis formell wirtschaftlech Notzung. Curr. Opzeginn. Behënnert. Sci. 5, 147-154 (2015).

  8. 8.

    Schultz, W., Dayan, P. & Montague, PR E neurescht Substrat vu Prediction a Belounung. Science 275, 1593-1599 (1997).

  9. 9.

    Bromberg-Martin, ES, Matsumoto, M. & Hikosaka, O. Dopamine a motivational Kontroll: belounend, aversiv an alarméierend. Neuron 68, 815-834 (2010).

  10. 10.

    Bayer, HM & Glimcher, PW Midbrain Dopamin Neuronen kodéieren e quantitativ Belounungsprognosefeeler Signal. Neuron 47, 129-141 (2005).

  11. 11.

    Nakahara, H., Itoh, H., Kawagoe, R., Takikawa, Y. & Hikosaka, O. Dopamine Neuronen kënne kontextabhängige Prediction Feeler representéieren. Neuron 41, 269-280 (2004).

  12. 12.

    Tobler, PN, Fiorillo, CD & Schultz, W. Adaptive Kodéierung vum Belounungswäert vun Dopamin Neuronen. Science 307, 1642-1645 (2005).

  13. 13.

    Nomoto, K., Schultz, W., Watanabe, T. & Sakagami, M. Temporär verlängert Dopamin Äntwerte fir perceptuell exigent Belounungsprevisibel Reizen. J. Neurosci. 30, 10692-10702 (2010).

  14. 14.

    Watabe-Uchida, M., Zhu, L., Ogawa, SK, Vamanrao, A. & Uchida, N. Ganz Gehirn-Mapping vun direkten Inputen zu Midbrain Dopamin Neuronen. Neuron 74, 858-873 (2012).

  15. 15.

    Tanaka, SC et al. D’Prognose vun direkt an zukünfteg Belounungen rekrutéiert anescht cortico-basal Ganglia Schleifen. Nat. Neurosci. 7, 887-893 (2004).

  16. 16.

    Haber, SN, Kim, KS, Mailly, P. & Calzavara, R. Belounungsbezunnen Kortikale Inputen definéieren eng grouss striatal Regioun a Primaten déi Interface mat associativen kortikale Verbindungen hunn, e Substrat fir Ureizbaséiert Léieren. J. Neurosci. 26, 8368-8376 (2006).

  17. 17.

    Doya, K. Modulatoren vun der Entscheedung. Nat. Neurosci. 11, 410-416 (2008).

  18. 18.

    Roesch, MR, Calu, DJ & Schoenbaum, G. Dopamine Neuronen kodéieren déi besser Optioun bei Ratten, déi decidéieren tëscht anescht verspéiten oder grousse Belounungen. Nat. Neurosci. 10, 1615-1624 (2007).

  19. 19.

    Lak, A., Stauffer, WR & Schultz, W. Dopamine Prediction Feeler Äntwerte integréieren subjektiv Wäert vu verschiddene Belounungsdimensiounen. Proc. Natl Acad. Sci. USA 111, 2343-2348 (2014).

  20. 20.

    Stauffer, WR, Lak, A. & Schultz, W. Dopamine Belounung Prediction Feeler Äntwerte reflektéieren marginal Utilitéit. Curr. Biol. 24, 2491-2500 (2014).

  21. 21.

    Noritake, A., Ninomiya, T. & Isoda, M. Sozial Belounung Iwwerwaachung a Bewäertung am makaken Gehir. Nat. Neurosci. 21, 1452-1462 (2018).

  22. 22.

    Pasquereau, B. & Turner, RS Limitéiert Kodéierung vum Effort vun Dopamin Neuronen an enger Käschten-Virdeel Handelsofgab. J. Neurosci. 33, 8288-8300 (2013).

  23. 23.

    Varazzani, C., San-Galli, A., Gilardeau, S. & Bouret, S. Noradrenalin an Dopamin Neuronen an der Belounung / Ustrengungshandlung: en direkten elektrophysiologesche Verglach bei behuelen Aaffen. J. Neurosci. 20, 7866-7877 (2015).

  24. 24.

    Watanabe, N., Sakagami, M. & Haruno, M. Belounungsprognosiounsfehler Signal verbessert duerch Striatum-Amygdala Interaktioun erkläert d'Beschleunegung vu probabilistesche Belounungsléiere vun Emotiounen. J. Neurosci. 33, 4487-4493 (2013).

  25. 25.

    Di Ciano, P., Kardinol, RN, Cowell, RA, Little, SJ & Everitt, B. Differenziell Beteiligung vun NMDA, AMPA / kainate, an Dopaminrezeptoren am Kär accumbens Kär an der Acquisitioun an der Leeschtung vum Pavlovian Approche Verhalen. J. Neurosci. 21, 9471-9477 (2001).

  26. 26.

    Flagel, SB et al. Eng selektiv Roll fir Dopamin am Stimulus-Belounung. Natur 469, 53-57 (2011).

  27. 27.

    Blough, DS Effekter vun der Priméierung, Diskriminéierbarkeet, a Verstäerkung op d'Reaktiounszäitkomponente vun der pigeon visueller Sich. J. Exp. Psychol. Anim. Behav. Prozess. 26, 50-63 (2000).

  28. 28.

    Matsumoto, M. & Hikosaka, O. Zwou Aarte vun Dopamin Neuron vermëttelen däitlech positiv an negativ Motivatiounssignaler. Natur 459, 837-841 (2009).

  29. 29.

    Matsumoto, M. & Takada, M. Distinct Representatioune vu kognitiven a motivationalen Signaler a Midbrain Dopamin Neuronen. Neuron 79, 1011-1024 (2013).

  30. 30.

    Watanabe, M. et al. Verhalensreaktiounen déi d'differenziell Belounungserwaardungen u Bonne reflektéieren. Exp. Gehir Res. 140, 511-518 (2001).

  31. 31.

    Takikawa, Y., Kawagoe, R. & Hikosaka, O. Eng méiglech Roll vu Midbrain Dopamin Neuronen a kuerz- a laangfristeg Adaptatioun vu Säckelen zu Positiouns-Belounungskaartung. J. Neurophysiol. 92, 2520-2529 (2004).

  32. 32.

    Kobayashi, S. & Schultz, W. Afloss vu Belounungsverzögerungen op Äntwerte vun Dopamin Neuronen. J. Neurosci. 28, 7837-7846 (2008).

  33. 33.

    Enomoto, K. et al. Dopamin Neuronen léieren de laangfristege Wäert vu multiple zukünftege Belounungen ze codéieren. Proc. Natl Acad. Sci. USA 108, 15462-15467 (2011).

  34. 34.

    Lak, A., Nomoto, K., Keramati, M., Sakagami, M. & Kepecs, A. Midbrain Dopamine Neuronen signaliséieren d'Glawen an d'Wielgenauegkeet während enger perceptueller Entscheedung. Curr. Biol. 27, 821-832 (2017).

  35. 35.

    Williams, BA & McDevitt, MA Inhibitioun an Iwwerkonditioun. Psychol. Sci. 13, 454-459 (2002).

  36. 36.

    Behrens, TE, Woolrich, MW, Walton, ME & Rushworth, MF Léieren de Wäert vun Informatioun an enger onsécherer Welt. Nat. Neurosci. 10, 1214-1221 (2007).

  37. 37.

    Seymour, B. et al. Opponent appetitiv-aversive neurale Prozesser ënnersträichen en prediktive Léieren vu Schmerzliichterung. Nat. Neurosci. 8, 1234-1240 (2005).

  38. 38.

    Kim, H., Shimojo, S. & O'Doherty, JP Vermeit en aversivt Resultat belountend? Neurale Substrate vum Vermeitléieren am mënschleche Gehir. PLoS Biol. 4, e233 (2006).

  39. 39.

    Syed, EC et al. Handlungsaitiatioun formt mesolimbesch Dopaminkodéierung vun zukünftege Belounungen. Nat. Neurosci. 19, 34-36 (2016).

Download Referenzen

Dankbarkeet

Dës Aarbecht gouf ënnerstëtzt vu MEXT / JSPS Grants-in-Aid fir wëssenschaftlech Fuerschung (Kakenhi) Grant Zuelen JP16H06571 a JP18H03662 zu MS Dës Fuerschung gouf deelweis vum Strategesche Fuerschungsprogramm fir Brain Sciences ënnerstëtzt vun der Japan Agentur fir Medizinesch Fuerschung an Entwécklung (AMED) ) an de Japan-US Brain Research Cooperation Programm. Dës Fuerschung gouf vum National Bio-Ressource Project am National Institute of Physiologic Science (NBRP at NIPS) vun der Japan Agentur fir Medezinesch Fuerschung an Entwécklung, AMED ënnerstëtzt. Mir soen dem Bernard W. Balleine an dem Andrew R. Delamater Merci fir hir Hëllef beim Schreiwen vum Pabeier.

Auteur Informatiounen

Affiliations

  1. Brain Science Institute, Tamagawa University, 6-1-1 Tamagawagakuen, Machida, Tokyo, 194-8610, Japan

    • Shingo Tanaka
    •  & Masamichi Sakagami

  2. Division of the Humanities and Social Sciences, California Institute of Technology, 1200 E California Blvd, Pasadena, CA, 91125, USA

    • Vum John P. O'Doherty

  3. Computation and Neural Systems, Kalifornien Institut fir Technologie, 1200 E California Blvd, Pasadena, CA, 91125, USA

    • Vum John P. O'Doherty

Beiträg

ST, JPO a MS hunn d'Experimenter entworf. ST huet d'Experimenter gemaach an d'Daten analyséiert. JPO a MS hunn d'Experimenter an d'Datenanalysen verfeinert. ST, JPO a MS hunn d'Manuskript geschriwwen.

Entspriechend Auteur

Korrespondenz op Masamichi Sakagami.