Die koste verbonde aan belonings verhoog die beloningsvoorspellingsfoutsein van dopamienneurone in die brein (2019)

Abstract

Dit is bekend dat dopamienneurone in die middelbrein kodeer vir beloningsvoorspellingsfoute (RPE) wat gebruik word om waardevoorspellings op te dateer. Hier word ondersoek of RPE-seine wat deur middel van die dopamienneurone in die middelbrein gekodeer word, gemoduleer word deur die koste wat betaal word om belonings te verkry, deur opnames van dopamienneurone in ape wat wakker word tydens die uitvoering van 'n poging tot saakkade. Dopamienneuronreaksies op leidrade wat beloning voorspel en die oplewer van belonings is verhoog na die uitvoering van 'n duur aksie in vergelyking met 'n goedkoper aksie, wat daarop dui dat RPE's verbeter word na die uitvoering van 'n duur aksie. Op gedragsvlak word stimulus-beloning-assosiasies vinniger geleer na uitvoering van 'n duur aksie in vergelyking met 'n goedkoper aksie. Dus word inligting oor aksiekoste in die dopamienbeloningstelsel verwerk op 'n manier wat die volgende ROP-sein van dopamien versterk, wat op sy beurt vinniger leer bevorder onder situasies van hoë koste.

Inleiding

Mense en diere verkies 'n beloning wat hulle ontvang nadat hulle baie moeite gedoen het om dit te bekom in vergelyking met dieselfde beloning na 'n kleiner hoeveelheid moeite1,2,3. Daar is 'n aantal verduidelikings vir hierdie effek, soos poging tot regverdiging4,5 en die kontras-effek6, waarin groter waarde toegeskryf word aan 'n uitkoms wat na betaalde inspanning verkry is. Dit is egter onduidelik of en hoe die verwerking van beloningsinligting in die brein gemoduleer word deur die inspanning wat bestee word om 'n beloning te bekom.

Ons het spesifiek op die dopamienstelsel in die middelbrein gefokus, gegewe die rol van hierdie stelsel in die bevordering van gedragsaanpassing by belonings7,8,9. Dit is bekend dat Dopamienneurone seine vir die voorspelling van beloningsvoorspellingsfoute (RPE) voorstel wat die aanleer van voorspellings deur beloning deur die basale ganglia kan vergemaklik.10,11,12,13,14,15,16,17. Die sterkte van die RPE hang af van die hoeveelheid, kwaliteit en subjektiewe waarde of nut van die beloning7,18,19,20,21. Boonop word dopaminerge aktiwiteit gemoduleer deur koste en / of inspanning22,23. Op grond hiervan het ons gestel dat die dopaminerge RPE-sein direk gemoduleer sou word deur die koste wat betaal is om 'n beloning te verkry. Verder, omdat die RPE-sein oorsaaklik betrokke is by die bemiddeling van leer van stimulus-beloning-assosiasies24,25,26, het ons gedink dat die koste wat betaal is om die beloning te bekom, die leerspoed van stimulus-beloning-verenigings direk sou verhoog.

Om ons hipotese te toets, het ons gedrag en dopaminerge aktiwiteit by twee Japannese ape gemeet terwyl hulle 'n saccade-gebaseerde poging uitgevoer het. Ape reageer vinniger op 'n leidraad wat voorspel word na 'n hoë-koste-aksie (vergeleke met 'n laekoste-aksie). Die aktiwiteit van dopaminerge neurone vir die beloningvoorspellende leidrade word verhoog deur die betaalde koste. Daarbenewens word die leerspoed vir die stimulus-beloning-vereniging ook verhoog deur die betaalde koste. Daarom stel ons voor dat die koste wat betaal word om belonings te verkry die RPE-sein in dopamienneurone verhoog en sodoende assosiasies vir stimulus-beloning verhoog.

Results

Hoog-lae koste (HLC) saccade-taak

Om die effek van betaalde koste op gedrag en op dopamienneuronaktiwiteit te ondersoek, het die ape 'n saakkade-taak met twee kostetoestande uitgevoer (Fig. 1a, sien Metodes). In HC-proewe het die ape vinnig 'n saakkade na die teiken gemaak en hul blik daarop gehou sonder om langer te knip (Fig. 1b; groen lyne). In teenstelling daarmee het ape aanvanklik vrylik rondgekyk voordat hulle vir 'n korter periode vasgemaak het (Fig. 1b, pers lyne). Omdat die aap van 'n lang fiksasie moeilik is, maak hulle meer foute tydens vertragings met HC-proewe (Fig. 1c). Om 'n gevolglike verskil in beloningswaarskynlikheid tussen HC-proewe en LC-proewe te bepaal, het ons gedwonge aborte in 'n gedeelte van LC-proewe ingevoeg om die sukseskoers en die beloningswaarskynlikhede tussen proeftipes te vergelyk (Fig. 1d).

Fig 1
figure1

HLC saakkade taak. a Die HLC sakkade taak. Koste-aanwysings (C cue) het aangedui hoeveel inspanning nodig was om 'n potensiële beloning te behaal. 'N Lang fiksasie was nodig tydens die vertragingstydperk in hoëkoste-proewe. Die beloningstoon (R cue) dui aan of die ape 'n beloning kan kry of nie. b Die tydsverloop van die blikhoek gedurende die vertragingstyd. Die boonste en onderste panele vertoon onderskeidelik die horisontale en vertikale blikhoeke. Groen en pers lyne dui die blikhoek in hoë-koste-proewe (50-proewe in elke paneel) en in laekoste-proewe (50-proewe in elke paneel) aan, onderskeidelik. c Die aantal foute gedurende die vertragingstydperk in die hoëkoste- en laekosteproewe (**P< 0.01; tweestert gepaar t toets; t67 = 8.8, P = 4.8 × 10-15, n = 68 vir Monkey P; t83 = 26.6, P ≈ 0, n = 84 vir Monkey S). Swart sirkels en foutbalke dui gemiddelde en SEM aan. d Suksessyfers in die hoëkoste- en laekosteproewe (tweestemmings gepaar t toets; t67 = 0.51, P = 0.61, n = 68 vir Monkey P; t83 = 0.79, P = 0.43, n = 84 vir Monkey S). e RT's vir die koste-leidrade (**P <0.01; tweestert gepaar t toets; t67 = 20.4, P ≈ 0, n = 68 vir Monkey P; t69 = 2.0, P = 1.2 × 10-3, n = 70 vir Monkey S). f RT's na die beloningswyses (**P <0.01; tweestert gepaar t toets; Aap P (n = 68): HC + teen LC +, t67 = 3.5, P = 9.2 × 10-4; HC− vs. LC−, t67 = 24.5, P ≈ 0; HC + teen HC−, t67 = 21.6, P ≈ 0; LC + teenoor LC−, t67 = 28.5, P ≈ 0; Monkey S (n = 70): HC + teen LC +, t69 = 5.6, P = 4.4 × 10-7; HC− vs. LC−, t69 = 4.8, P = 8.4 × 10-5; HC + vs. HC−, t69 = 18.0, P ≈ 0; LC + teenoor LC−, t69 = 5.9, P = 1.1 × 10-7)

Betaalde koste verhoog die waarde van leidrade wat voorspel word

Om implisiete bewyse te kry vir 'n verskil in die subjektiewe waardering van die aap van die aap, het ons die reaksietye (RT's) van die ape getoets. Ons het veral verwag dat as die ape 'n hoër subjektiewe waarde aan die een opsie toeken as die ander, hulle vinniger RT's vir die meer gewaardeerde opsie behoort te wys27. As RT's tussen die koste-leidrade vergelyk is, het albei ape vinniger RT's tot die LC getoon in vergelyking met die HC-leidraad (Fig. 1e), wat 'n implisiete voorkeur vir die LC-toestand toon. As RT's vergelyk is tussen beloningswyses, het albei ape vinniger RT's getoon om leidrade te beloon (R +) as geen belonings (R-) leidrade nie (Fig. 1f), wat aandui dat hulle R + -wyses bo R-wenke verkies het. Boonop het albei ape vinniger RT's na die R getoonHC+ teken in vergelyking met die RLC+ teken en na die RHC- teken in vergelyking met die RLC- teken (Fig. 1f), wat aandui dat hulle meer as die beloningsvoorspellende leidrade in die HC gewaardeer het in vergelyking met die LC-toestand.

Daarbenewens het ons keurproewe ingesluit in die HLC-saakkade-taak om die openlike voorkeure van ape tussen leidrade te toets (Aanvullende Fig. 1a). Die ape het verkieslik die LC-leidraad verkies wanneer hulle tussen koste-leidrade kies (Aanvullende Fig. 1b). Monkey S verkies verkieslik die RHC+ teken wanneer u die keuse tussen R uitvoerHC+ en RLC+ teken, maar geen voorkeur tussen R nieHC- en RLC- leidrade (Aanvullende Fig. 1c, d). In teenstelling hiermee het aap P geen openlike voorkeur tussen R nieHC+ en RLC+ leidrade, maar verkies nogtans die RHC- teken wanneer u tussen R kiesHC- en RLC- leidrade (Aanvullende Fig. 1c, d).

Elektrofisiologiese resultate in die HLC-saakkade-taak

Ons het 'n eenheidsaktiwiteit aangeteken van neurone wat binne die substantia nigra pars compacta (SNc) en ventrale tegmentale gebied (VTA) aangeteken is tydens die HLC-saakkade-taak. Ons het 70 dopamienneurone oor die twee ape geïdentifiseer (Aanvullende Fig. 2a; 18 en 52 neurone van onderskeidelik Monkey P en S). Histologiese ondersoek het bevestig dat die neurone in of rondom die SNc / VTA geleë is (Aanvullende Fig. 2b).

In Fig. 2, toon ons die aktiwiteit van 'n verteenwoordigende dopamienneuron. Hierdie neuron het beskeie aktivering aan die LC-teken getoon, en fasiese aktivering of onderdrukking tot die beloning (RHC+ en RLC+) of geen beloningswyses nie (RHC- en RLC-) onderskeidelik (Fig. 2, Aanvullende fig. 3). Die neuron het ook fasiese aktivering getoon vir die onvoorspelbare beloning sowel as fasiese onderdrukking in reaksie op 'n afwykende stimulus, 'n onvoorspelbare lugpof (Fig. 2, regterpaneel). Daarbenewens het die neuron 'n beskeie onderdrukking aan die beginpunt getoon, maar het geen reaksie op beloningsaflewering gedoen nie. Die hele populasie dopamienneurone wat ons opgeteken het, het soortgelyke reaksies op die aanvangskant en die beloningsaflewering getoon (Aanvullende Fig. 4a, b). In die HLC-saakkade-taak is 'n pogingskoste betaal voordat die beloning verkry is. Omdat die voorspelde koste dopamienneuron-aktiwiteit verminder het22,23, sou dopamienneuronreaksies onderdruk word ten tyde van die aanbieding van die aanwysings16.

Fig 2
figure2

Aktiwiteit van 'n verteenwoordigende dopamienneuron in die HLC-saakkade-taak. Spikdigtheidsfunksies (omvattend met 'n Gaussiese funksie) en rasterdiagramme is in lyn met die tydsberekening van die aanvangsknop, die kostepunt (Cue), die regstellingsdoelwit, die beloningsknop (R cue) en die piep. Elke kleur stel 'n voorwaarde voor (onderskeidelik geel: HC +, groen: HC−, pienk: LC +, siaan: LC−). Die tydsberekening van die begin van die saakkade word met grys kruise aangedui. Die reaksies van die dopamienneurone op die onvoorspelbare beloning of lugpof word ook in die regterpaneel voorgestel (rooi: onvoorspelbare beloning, blou: onvoorspelbare lugpof)

Dopamienneurone kodeer inligting oor beloning en koste

Die neurone het fasaal reageer op die LC-teken, maar minder robuust op die HC-teken (Fig. 3a, b). Uitgelok reaksies op die leidrade van die kostetoestand het 'n kleiner reaksie op die HC-leidraad getoon as die LC-leidraad (Wilcoxon se tweestemmige toets, P <3.2 × 10-4, n = 70). Ons het die effek van die voorspelde koste op neuronale reaksies gekwantifiseer met behulp van 'n ROC-analise (ontvangerbedryfskarakteristiek). Die verspreiding van die oppervlakte onder die ROC-kromme (auROC) was beduidend <0.5 (Fig. 3c; die tweestemmige Wilcoxon-onderteken-toets; P = 5.4 × 10-4, n = 70), wat aandui dat HC-reaksies kleiner was as op die LC-leidraad. Daar is voorheen bevind dat voorspelde koste dopamienneuronaktiwiteit verminder, in ooreenstemming met ons resultate22,23. Daarbenewens het die populasie van dopamienneurone beduidende aktivering aan die LC-teken vertoon terwyl hulle geen noemenswaardige onderdrukking van HC-leidrade toon nie (Aanvullende Fig. 4c, d). Hierdie resultate dui daarop dat dopamienneurone inligting rakende beloning en koste ten tyde van die aanbieding van koste, integreer en integreer.

Fig 3
figure3

Dopamienneuronreaksies op kostepunte. a 'N Verteenwoordigende reaksie op dopamienneurone op die kostes. Die spitsdigtheidsfunksies is bereken uit die genormaliseerde aktiwiteit van 'n dopamienneuron wat van die aap P aangeteken is. Die gekleurde lyne dui die funksies van die piekdigtheid aan en gekleurde kolletjies dui die spitstyd aan. Groen en pers kleure dui op aktiwiteit in onderskeidelik die hoë- en laekoste-proewe. Die vertikale lyn dui die tydsberekening van die kostetoewysing aan. Die grysgekleurde gebied dui die periode aan om die skietkoers te bereken, aangesien die reaksie op die toestande dui. b Bevolkingsgemiddelde aktiwiteit van die dopamienneurone aangeteken vanaf aap P tot by die kondisies. Die soliede lyne wat die stippellyne onderskeidelik beteken en SEM verteenwoordig. c Die verspreiding van die gebiede onder die ROC's om die effek van die voorspelde koste op die neuronale respons op die kostepunt te kwantifiseer. Gevulde vierkante en oop sirkels dui data van onderskeidelik die aap P en S aan. Die pylpunt dui die mediaan van die auROC aan (0.47). d, g Verteenwoordigende antwoorde van die motiveringswaardetipe dopamienneuron (d) of dopamienneuron, of die soortg) tot die onvoorspelbare beloning of lugpoeier. Rooi en blou kurwes dui op die reaksie op onderskeidelik onvoorspelbare beloning en onvoorspelbare lugpoeier. Die vertikale lyn dui die tydsberekening aan vir die onvoorspelbare beloning of aflewering van die lug. Bleek rooi en blou vierkante dui die periode aan waarop die brandtempo bereken moet word as die reaksie op die onvoorspelbare beloning of lugpof. e, h Bevolkingsgemiddelde aktiwiteit van die motiveringswaardetipe dopamienneurone (e) of dopamienneurone van die opvallende tipe (h) tot die onvoorspelbare beloning of lugpoeier. f, i Die verspreiding van die auROC's bereken uit die motiveringswaardetipe dopamienneurone (f) of dopamienneurone van die opvallende tipe (i). Die pylpunte dui die mediaan van die auROC's aan (f 0.48; i 0.46)

Twee afsonderlike subtipes dopamienneurone is voorheen beskryf: motiveringswaarde en opvallende neurone28,29. Ons het in ons dopamienneuronpopulasie bewyse gevind van responspatrone wat ooreenstem met albei subtipes. Waardetipe neurone het fasiese onderdrukking aan die aversiewe lugpoelstimulasies getoon (Fig. 3d, e). Omgekeerd toon die opvallende neurone 'n fasiese aktivering van die afwykende stimuli (Fig. 3g, h). Die lang fiksasie in die HC-verhoor is ook onaangenaam en afkeerbaar; daarom is dit moontlik dat die twee subtipes van dopamienneurone verskillende responspatrone op die kostetoestande sou toon. As dopamienneurone afwykende stimuli en koste op 'n soortgelyke manier verteenwoordig, moet neurone met 'n verminderde aktiwiteit 'n verminderde aktiwiteit toon weens die afkeer daarvan. Aan die ander kant, moet die neurone van die oplettendheid toeneem in die aktiwiteit na die HC-teken omdat dit ook toeneem tot onaangename stimuli. Die ontlokte reaksies van beide soorte neurone was egter kleiner as die HC-leidraad in vergelyking met die LC-leidraad (die tweestertige Wilcoxon-onderteken-toets); P = 0.021, n = 41 en P = 0.0044, n = 29 vir onderskeidelik die waarde en die belangrikheidstipes), en die ROC-analise het kleiner reaksies op die HC getoon in vergelyking met die LC-leidraad in beide subtipes (Fig. 3f, i; die tweestemmige Wilcoxon-onderteken-toets; P = 0.030, n = 41 en P = 0.0058, n = 29 vir die waarde en die belangrikheidstipes, onderskeidelik). Die voorspelde koste het dus die aktiwiteit in beide subtipes dopamienneurone verminder. Hierdie resultate dui aan dat koste-inligting kwalitatief anders as aversiewe stimuli deur dopamienneurone verwerk word.

In die HLC-sakkadetaak het ons 'n gedwonge abort in 'n gedeelte van LC-proewe ingevoeg om die suksessyfers en die beloningskans tussen proeftipes te vergelyk. Hierdie manipulasie het die onsekerheid van die verkryging van beloning of die risiko van geen beloning in die LC-toestand verhoog. Daarom kan die hoër aktiwiteit van dopamienneurone en die ape se verhoogde waardasie vir die LC oor die HC-cue te wyte wees aan die verskil in die risiko of onsekerheid tussen die kostetoestande. Ons het egter geen verband gevind tussen die aantal gedwonge aborsies en die verskil in RT's (aanvullende fig. 5a, b), en ons het 'n positiewe verband gevind tussen die aantal gedwonge aborte en die auROC (Aanvullende Fig. 5c). Ons het ook dopamienreaksies vergelyk met die kostes na aborsie teenoor korrekte proewe, maar daar is geen verskil in beide kostetoestande nie (Aanvullende Fig. 5d). Hierdie resultate dui daarop dat die aantal gedwonge aborte in die LC-toestand nie die toename in waardasie of die verhoogde dopaminerge aktivering aan die LC-teken verklaar nie.

Verhoogde dopamienreaksies op die beloningstabel teen betaalde koste

Daar is gevind dat die opgetekende dopamienneurone fasiese aktivering en onderdrukking toon om onderskeidelik beloning en geen beloningsvoorspellings te gee nie (Fig. 2). Vervolgens het ons bepaal of hierdie antwoorde gemoduleer is deur die koste wat voorheen aangegaan is. 'N Voorbeeld van 'n verteenwoordigende neuron en populasiegemiddelde neurone wat groter aktivering aan die R vertoonHC+ teken as die RLC+ cue word in Figuur getoon 4a en b onderskeidelik. (tweestert Wilcoxon se getekende rangtoets; P = 7.4 × 10-5, n = 70). Die verspreiding van auROC's was> 0.5, wat daarop dui dat die reaksie op die RHC+ cue was groter as die RLC+ teken (Fig. 4c; die tweestemmige Wilcoxon-onderteken-toets; P = 1.4 × 10-4, n = 70). Hierdie resultate dui aan dat die reaksie op die beloningsvoorspellende leidraad in die HC-toestand aansienlik groter is as in die LC-toestand. Daarom dui ons bevindings daarop dat die positiewe RPE-sein wat deur dopamienneurone voorgestel word, verhoog word met die koste wat voorheen aangegaan is.

Fig 4
figure4

Dopamienneuronreaksies op beloningswyses. a 'N Voorbeeld van neuronrespons op die R + leidrade. Die funksie van die digtheidsdigtheid is bereken volgens die aktiwiteit van dopamienneuron wat by aap P. aangeteken is. Die gekleurde lyne en kolletjies dui onderskeidelik op die digtheid van die dichtheid en die tydsberekening. Geel en pienk kleure dui op aktiwiteit in onderskeidelik die hoë- en laekoste-proewe. Die vertikale lyn dui die tydsberekening van die R + cue-aanbieding aan. Die grys gekleurde gebied dui die periode aan waarop die afvuurkoers bereken moet word as die reaksie op die beloningstegnieke. b Bevolkingsgemiddelde aktiwiteit van die dopamienneurone aangeteken vanaf aap P tot by die R + -aanwysings. Die soliede lyne en die stippellyne verteenwoordig onderskeidelik die gemiddelde en die SEM. c Die verspreiding van die auROC's om die effek van die betaalde koste op die neuronale reaksie op die R + leidrade te kwantifiseer. Gevulde vierkante en oop sirkels dui data van onderskeidelik die aap P en S aan. Die pylpunt dui die mediaan van die auROC's aan (0.53). d 'N Verteenwoordigende reaksie op die R-leidrade. Groen en siaan kleure dui onderskeidelik op hoë en lae koste proewe. Die vertikale lyn dui die tydsberekening van die Rcue-aanbieding aan. e Bevolkingsgemiddelde aktiwiteit van die dopamienneurone opgeneem van aap P tot by die R-cues. f Die verspreiding van die auROC's om die effek van die betaalde koste op die neuronale respons op die R-cues te kwantifiseer. Die pylpunt dui die mediaan van die auROC aan (0.50)

Die dopamienneurone het ook fasiese onderdrukking aan die R-cues getoon (Fig. 4d, e). Die reaksies van die dopamienneurone op die R-cues het egter nie 'n beduidende verskil getoon as gevolg van die koste wat aangegaan is nie (die tweestemmige Wilcoxon-onderteken-toets-toets; P = 0.25, n = 70), en die ROC-analise het geen bewyse vir 'n vooroordeel in die responsverdeling getoon nie (Fig. 4f; Wilcoxon se ondertekende rangtoets, P = 0.35 XNUMX; n = 70). Dus is die betaalde koste nie weerspieël in die negatiewe RPE-sein wat deur die nie-terugbetaalde aanwysings ontlok word nie. Dit kan veroorsaak word deur 'n vloereffek: die spontane aktiwiteit van die dopamienneuron is laag (ongeveer 5 Hz); en gevolglik is daar miskien nie voldoende dinamiese omvang om sodanige verskil in koste wat vir die negatiewe RPE-reaksie bestee word, voldoende te kodeer nie (Fig. 4d, e).

Ons het ook die effek van die betaalde koste op die beloningstegnieke vir die dopamienneurone van waarde en opskerping afsonderlik ondersoek, maar beide tipes dopamienneurone het 'n soortgelyke responspatroon (Aanvullende Fig. 6a-h). Die betaalde koste manifesteer dus 'n soortgelyke effek op die reaksie op beloningswyses in dopamienneurone met betrekking tot die waarde en die oplettendheid.

Die aas se werklike fixasietyd was nie konstant nie, maar wissel op 'n proeflopie basis (Fig. 1b). Daarom was dit moontlik dat dopamienreaksies op die beloningswyses gemoduleer word deur die werklike fixeringsduur op 'n proeflopie basis. Ons kon egter geen beduidende korrelasie tussen hulle vind vir elke koste- en beloningstoestand nie (Aanvullende Fig. 7A-D). Verder is RT's na die beloningstabel ook gemoduleer deur die koste- en beloningsvoorwaardes (Fig. 1f). Een moontlikheid is dat die antwoorde van die dopamienneurone deur die RT's op 'n proeflopie-grondslag aan die beloningstegnieke verklaar kan word. Ons kon egter geen noemenswaardige korrelasie vind tussen RT's en die genormaliseerde dopamienreaksies op die beloningswyses nie (Aanvullende Fig. 7e-h). Hierdie resultate dui daarop dat dopamienresponse onafhanklik is van beide RT's en tydsduur tydens elke proef, maar tog gemoduleer word deur die hoeveelheid vereiste koste en die verwagte beloning wat bepaal word vir elke tipe proewe.

Verder is dit ook moontlik dat die gedwonge aborsies in die LC-toestand beide die voorkeure van die ape en die verhoogde aktivering van die dopamienneurone tot die beloningstoon in die HC-toestand veroorsaak het. As dit die geval is, moet die aantal gedwonge aborts verband hou met sowel die voorkeur as die mate van verhoogde aktivering. Die aantal gedwonge aborte het egter geen invloed gehad op die voorkeure van die ape of die aktivering van die dopamienneurone tot die beloningswyses nie (Aanvullende Fig. 8). Daarom is vinniger RT's en hoër DA-reaksies op die RHC+ teken as die RLC+ cue is nie te wyte aan die ingevoerde gedwonge aborts in die LC toestand nie.

Die koste wat opgedoen word verhoog die dopamienreaksies op die aflewering van beloning

Die reaksie van dopamienneurone op die R + -wyses moet spruit uit die reaksie op die beloning self, omdat dopamienneurone hul reaksie op beloningsvoorspellende leidrade verander relatief tot die stimulus-beloning-assosiasie8,30. Daarom het ons verwag dat dopamienneurone 'n betaalde koste-afhanklike reaksie op die lewering van die beloning sou toon. Om dopamienneuronaktiwiteit te meet aan die beloningsaflewering, het die ape die HLC-onsekere taak met twee nuwe beloningstips uitgevoer (Fig. 5a). Aangesien die belonings slegs in die helfte van die aanbiedings vir die beloningstoekenning gelewer is, het die beloningswyses nie betroubaar en ook nie anders as om beloningslewering verskillend te voorspel nie. Dit is gedoen om die reaksie van dopamienneuron tot die ontvangs van 'n (onvoorspelbare) beloning te maksimeer, om sodoende ons sensitiwiteit te verhoog om 'n modulasie in die reaksie van die neurone op te spoor as 'n funksie van die koste wat daaraan verbonde is.

Fig 5
figure5

HLC onseker taak. a Die HLC onseker taak. In hierdie taak is onsekere beloningswyses, waarin belonings gelewer is 50% van die tyd, ongeag watter leidraad aangebied is, gebruik. b RT's na die koste-leidrade in die hoëkoste- en laekosteproewe. Slegs aap P het 'n vinniger RT aan die LC-teken getoon as die HC-teken (**P <0.01; tweestert gepaar t toets; t4 = 9.0, P = 8.5 × 10-4, n = 5 vir aap P; t18 = 1.4, P = 0.19, n = 19 vir aap S). Swart sirkels en foutbalke dui gemiddelde en SEM aan. c RT's vir die beloningstegnieke in die hoëkoste- en laekosteproewe. Daar was geen verskil in die RT's aan die beloningswyses tussen die hoë- en laekostetoestand nie (tweestemmings gepaar t toets; t4 = 0.97, P = 0.39, n = 5 vir aap P; t18 = 0.99, P = 0.39, n = 19 vir aap S)

As RT's tussen die koste-leidrade vergelyk is, het aap P 'n vinniger RT tot die LC-teken as die HC-teken (Fig. 5b). Daar was geen verskil in RT's aan die beloningstegnieke tussen die HC- en LC-toestand by een van die ape nie (Fig. 5c).

In die onsekerheid van die HLC het dopamienneurone beskeie aktivering aan die LC-teken getoon, maar het nie op die beloningswyses gereageer nie omdat dit nie voorspellend was nie (Fig. 6a). Regoor die bevolking was reaksies wat ontlok is kleiner vir die HC as die LC-teken (Fig. 6b; die tweestemmige Wilcoxon-onderteken-toets; P = 2.7 × 10-3, n = 19), en ROC-ontledings het kleiner reaksies op die HC-leidraad getoon (Fig. 6c; die tweestemmige Wilcoxon-onderteken-toets; P = 5.5 × 10-3, n = 19). Die neuronale reaksie op beloning in die HC-toestand was groter as die LC (Fig. 6d; die tweestemmige Wilcoxon-onderteken-toets; P = 0.036, n = 19). Die verspreiding van auROC's was> 0.5 wat dui op 'n groter reaksie op beloningaflewering in die HC in vergelyking met LC-proewe (Fig. 6e; die tweestemmige Wilcoxon-onderteken-toets; P = 0.049, n = 19). Hierdie resultate dui aan dat die reaksie van die beloningaflewering in die HC-verhoging verbeter word, en dat die betaalde koste die positiewe RPE-sein by beloningaflewering verhoog.

Fig 6
figure6

Dopamien neuron reaksie op die beloning aflewering. a Verteenwoordigende dopamienneuronaktiwiteit in die HLC onseker taak. Elke kleur stel die toestande voor (geel: HC +, groen: HC−, pienk: LC +, siaan: LC−). Die tydsberekening van die begin van die saakkade word met grys kruise aangedui. Die reaksies van hierdie dopamienneuron op die onvoorspelbare beloning en lugpof word ook in die regterpaneel uitgebeeld (rooi: onvoorspelbare beloning, blou: onvoorspelbare lugpof). b Bevolkingsgemiddelde aktiwiteit van die dopamienneurone wat aangeteken is vanaf aap S tot die toestandseine. Groen en pers kleure dui onderskeidelik op die hoë- en laekoste-proewe aan. Die soliede lyne en die stippellyne verteenwoordig onderskeidelik die gemiddelde en die SEM. Gryskleurige gebied dui die tydvenster aan om die afvuurtempo te bereken as die reaksie op die toestand. c Die verspreiding van die auROC's om die effek van die voorspelde koste op die neuronale reaksie op die koste aan te dui. Gevulde vierkante dui die data van die aap P aan (n = 3) en oop sirkels dui die data van die aap S aan (n = 16). Die pylpunt dui die mediaan van die auROC aan (0.44). d Bevolkingsgemiddelde aktiwiteit van die dopamienneurone aangeteken vanaf die aap S tot die beloningsaflewering. Geel en pienk kleure dui op aktiwiteit in onderskeidelik die hoë- en laekoste-proewe. Grys ​​gekleurde gebied dui die tydsvenster aan waarop die afvuurkoers bereken moet word as die reaksie op die beloning. e Die verspreiding van die auROC's om die effek van die betaalde koste op die neuronale respons op die beloningsaflewering te kwantifiseer. Die pylpunt dui die mediaan van die auROC aan (0.55)

Daarbenewens het ons dopamienrespons vergelyk met die afwesigheid van 'n beloning. Die auROC's het nie 'n bevooroordeelde verdeling getoon nie, wat daarop dui dat die betaalde koste geen invloed gehad het op negatiewe RPE's ten tye van die uitkoms nie (Aanvullende Fig. 9a). Die dopamienneurone het geen verskil getoon tussen reaksies op die R nieHC En RLC leidrade (Aanvullende Fig. 9b).

Die koste wat aangegaan word, verhoog leerspoed

Aangesien RPE's om aflewering te beloon verhoog word met die betaalde koste, onder die hipotese dat RPE's direk betrokke is by die bemiddeling van stimulusbeloningleer, het ons verwag dat verbeterde RPE's in leergedrag sou weerspieël word deur 'n verbeterde leerspoed24. Die ape het die HLC-verkenningstaak uitgevoer om te bepaal of dit betaalde koste op leer was. 7a; sien metodes). In hierdie taak is twee beloningstegnieke (R + en R−) gelyktydig aangebied en moes die ape een kies. Ons het die sukseskoers geëwenaar en die waarskynlikheid tussen die proeftipes (twee-sterre gepaar) beloon t toets; t48 = 0.15, P = 0.89, n = 49 vir aap P; t85 = 1.2, P = 0.25, n = 86 vir aap S). Wanneer RT's vir die kostelyste vergelyk is, het albei ape vinniger RT's vir die LC-cue getoon as die HC-cue (Fig. 7b; twee-sterre gepaar t toets; t48 = 12.9, P ≈ 0, n = 49 vir aap P; t85 = 3.4, P = 9.4 × 10-4, n = 86 vir aap S). Wanneer RT's met die beloningstoekennings vergelyk word, het aap S vinniger RT's in die HC as LC-toestand getoon (Fig. 7c; twee-sterre gepaar t toets; t48 = 1.3, P = 0.19, n = 49 vir aap P; t85 = 2.8, P = 6.8 × 10-3, n = 86 vir aap S). Wanneer RT's gedurende die eerste en die tweede helfte van die leersessie afsonderlik vergelyk word, was RT's met die LC-cue vinniger as met die HC-cue gedurende die eerste (aanvullende fig. 10a) en die laaste helfte van die sessie (Aanvullende Fig. 10c). Inteendeel, RT's van aap S tot die beloningstoon in die HC-toestand was vinniger as in die LC-toestand gedurende slegs die laaste helfte van die sessie (Aanvullende Fig. 10d) maar nie die eerste helfte nie (Aanvullende Fig. 10b).

Fig 7
figure7

HLC verkenningstaak. a Die HLC-eksplorasietaak. In hierdie taak moes ape kies tussen R + en R-cues wat lukraak in elke leersessie gegenereer word. As hulle die R + cue gekies het, kon hulle 'n beloning kry, en as hulle R cue gekies het, sou hulle geen beloning kry nie. b RT's na die koste-leidrade in die hoëkoste- en laekosteproewe. Die ape het vinniger RT's getoon na die laekoste-teken (**P< 0.01; tweestert gepaar t toets). Swart sirkels en foutbalke dui die gemiddelde en die SEM aan. c RT's vir die beloningstegnieke in die hoëkoste- en laekosteproewe. Monkey S het vinniger RT's getoon na die beloningstegnieke in die hoëkoste-toestand

In die HLC-eksplorasietaak is beloningstekens willekeurig in elke leersessie gegenereer. Daarom moes die ape die verhouding tussen beloningstegnieke en belonings in elke sessie leer. Namate proewe binne 'n sessie gevorder het, het die ape meer gereeld R + -kies in elke kostetoestand gekies (Fig. 8a). Om die leessnelheid te kwantifiseer, pas ons 'n kumulatiewe eksponensiële funksie by die data, met twee gratis parameters, a en ben dui die steilheid van die kromme en die plato onderskeidelik aan (Aanvullende Fig. 11a, b). Die logverhouding tussen die steilheidsparameters (log aHC/aLC) was beduidend groter as nul, wat 'n groter steilheidsparameter in HC aandui as LC-proewe (Fig. 8b; tweekantig t toets; t48 = 2.1, P = 0.042, gemiddelde = 0.58, n = 49 vir aap P; t85 = 2.5, P = 0.013, gemiddelde = 0.19, n = 86 vir aap S). Die logverhouding tussen plato-parameters (log bHC/bLC), verskil nie van nul nie, wat geen verskil tussen kostetoestande aandui nie (Fig. 8c; tweekantig t toets; t48 = 0.76, P = 0.45, gemiddelde = −0.0024, n = 49 vir aap P; t85 = 0.56, P = 0.58, gemiddelde = 0.010, n = 86 vir aap S). Hierdie resultate dui aan dat leersnelheid vinniger in die HC-proewe is. Vervolgens het ons leerkurwes gemodelleer met behulp van 'n versterkingsleermodel (RL) -model (sien Metodes). Hierdie model bevat leersnelheidsparameters (αHC en αLC) en eksplorasietariewe (βHC en βLC) vir beide kostetoestande (Aanvullende Fig. 11c, d). As ons aan gedrag pas, het ons gevind dat die logverhouding tussen leertempo-parameters (log αHC/αLC) groter as nul was, wat 'n aansienlik groter leertempo-parameter in HC aandui as LC-proewe (Fig. 8d; tweekantig t toets; t48 = 2.3, P = 0.026, gemiddelde = 0.50, n = 49 vir aap P; t85 = 2.2, P = 0.034, gemiddelde = 0.25, n = 86 vir aap S) terwyl die parameter β het geen verskil getoon nie (Fig. 8e; tweekantig t toets; t48 = 0.77, P = 0.44, gemiddelde = 0.0097, n = 49 vir aap P; t85 = 0.64, P = 0.52, gemiddelde = 0.038, n = 86 vir aap S). Hier het ons die leersnelheidsparameters vir elke kostetoestand beraam (αHC en αLC) afsonderlik om vinniger leersnelhede in die HC-toestand te verduidelik. As leertariewe egter identies is tussen die kostetoestande, is die verhouding tussen die geskatte parameters vir leertempo (αHC/αLC) kan beskou word as 'n versterkingswaarde vir RPE's in die HC-toestand. Daarom dui hierdie resultate daarop dat 'n versterking van RPE's vinniger leersnelhede in die HC-toestand kan verklaar.

Fig 8
figure8

Leersnelheidstoets. a Gemiddelde leerproses van ape P en S. Die verhouding van R + -keuses word as 'n funksie van die proef uiteengesit. Die groen en pers punte dui onderskeidelik die gegewens op hoë koste en laekoste aan. Die stippellyne verteenwoordig die gladde leerproses. Die kumulatiewe eksponensiële funksies is op die datapunte aangebring en as die soliede lyne voorgestel. b Die logverhouding tussen die pasparameters a in die hoë- en laekostetoestande wanneer die data geskik was vir 'n kumulatiewe eksponensiële funksie (*P <0.05; tweestert Wilcoxon se getekende rangtoets). Swart sirkels en foutbalke dui gemiddelde en SEM aan. c Die logverhouding tussen die pasparameters b in die hoë- en laekostetoestande wanneer die data geskik was vir 'n kumulatiewe eksponensiële funksie. d Die logverhouding tussen die leertempo-parameter α in die hoë- en laekostetoestande wanneer die gegewens by 'n versterkingsleermodel inpas. e Die logverhouding tussen die pasparameter β in die hoë- en laekostetoestande wanneer die gegewens by 'n versterkingsleermodel inpas

Ons het ook probeer om die leerproses met alternatiewe RL-modelle te verduidelik, met inagneming van die moontlikheid dat die ape die antorrorrelasie tussen stimuli en beloning in elke proefneming ken. In die modelle word die waarde van die opsie wat nie gekies is nie, bygewerk naas die gekose (Aanvullende Fig. 12). Selfs wanneer sulke alternatiewe modelle op die data toegepas is, was die leertempo-parameter aansienlik groter in die HK in vergelyking met die LC-toestand (Aanvullende Fig. 12b, f) terwyl die parameter β het geen verskil getoon nie (Aanvullende Fig. 12d, h). Dus is ons bevinding oor die versterking van die RPE-sein in die HC-toestand robuust tot die vorm van 'n RL-model wat by die data pas.

Bespreking

Ons het die effek van betaalde koste op die waarde van leidende voorspellingswyses en op die fasiese reaksies van dopamienneurone in die brein ondersoek. Ape het verhoogde waardasies getoon vir leidrade wat voorspel is na die uitvoering van 'n aksie wat groter koste opgeloop het. Dopamienneurone het verhoogde reaksies getoon op die beloning-voorspellende leidraad en die beloning-aflewering, nadat 'n hoër koste aangegaan is. Verder het die ape vinniger leersnelhede getoon toe 'n hoër koste nodig was om beloning te verkry.

Verskeie studies het getoon dat 'n betaalde koste die voorkeure vir 'n beloning-voorspellende teken verhoog1,2,3. In die huidige studie het die ape vinniger RT's getoon vir die beloning-voorspellende leidrade in die HC-toestand in vergelyking met dié in die LC-toestand, in ooreenstemming met die moontlikheid dat die beloning-leidraadwaarde verhoog word deur die betaalde koste27. 'N Alternatiewe moontlikheid is dat die langer hegtingstyd wat verband hou met 'n beter aandag aan die sakkadeteiken in die HC-toestand, dus die vermindering van RT's na 'n langer fiksasie in die HC-proef. Ons het egter geen verskil tussen RT's en die R-leidrade in die HC- en LC-proewe in die HLC-onseker taak gevind nie. Verder, in die eerste helfte van die HLC-eksplorasiesessie. RT's vir die R-leidrade was nie betekenisvol tussen die HC- en LC-proewe nie. Hierdie bevindings dui dus aan dat 'n langer fiksasie nie 'n waarskynlike verklaring is vir die korter RT's wat waargeneem word na die beloningsvoorspellende leidrade nie. Benewens die effek van betaalde koste op RT's vir beloningstoonlyne, het die koste ook RT's beïnvloed op die leidrade wat nie voorspel het nie, ondanks die feit dat daar geen beloning gelewer is ná die aanbiedings van die leidrade nie. In 'n vorige studie is 'n soortgelyke verskynsel aangemeld, aangesien aappersone korter RT's getoon het in onverdiende proewe, toe meer belonings in die alternatiewe proewe binne elke blok gebruik is30. Een moontlike interpretasie van die effek in daardie studie is dat 'n algehele hoër motivering om in die blok met meer voorkeurbeloning te reageer, RT's beïnvloed het, ook op die geen beloningsteken binne die blok. In die huidige studie, sou die verwagting van 'n waardevoller beloning in die HC-proewe moontlik ook RT's gemoduleer het tot die geen beloning in die HC-proewe in ons taak nie. Verder was die effek van die betaalde koste op RT's op die beloningstegnieke kleiner as op die geen beloningsvoorspellings-leidrade nie. Dit is waarskynlik 'n artefak van die feit dat die ape vinniger 'n saakkade na die R gemaak hetLC+ in die eerste plek is daar minder ruimte om 'n verkorting van RT's na die R op te spoorHC+ teken. Die verskil in RT's tussen die R + -wyses sou dus klein wees.

Die ape het ook keurproewe tussen die R uitgevoerHC En RLC leidrade in die HLC-taak. Terwyl aap S egter 'n voorkeur vir die R hetHC+ teken na die RLC+ cue, aap P het nie so 'n voorkeur getoon nie. Hierdie verskil kan verklaar word deur 'n kontekstuele verskil tussen die HLC-saakkade en keurproewe. In die keurproewe is twee beloningsvoorspellende leidrade aangebied in plaas van een beloning wat voorspel is. Verder het die ape ná hul keuse geen beloning verkry nie, selfs al het hulle die beloning-voorspellende leidraad gekies, en die keuringstoets is dus uitgewis. Die uitwissingsprosedure is geïmplementeer om te verseker dat die keuse van die aap gedryf word deur wat geleer is in die pogings om te probeer, in teenstelling met die verwarring met nuwe leer oor die keurproewe. Hierdie prosedure kan egter die newe-effek hê dat die aap vinnig sou kon leer om die uitwissingsprosedure in die keusekonteks te herken en dat daar geen rede is om die meer voorkeur stimuli te kies nie. Nietemin het een van die ape in werklikheid die voorkeur gegee aan die beloningstoon in die HC-toestand.

Ten tyde van die aanbieding van 'n leidraad wat voorspel het dat 'n daaropvolgende vereiste om 'n koste te betaal, is die aktiwiteit van dopamienneurone verminder, in ooreenstemming met vorige studies22,23. In ons studie het ons nie 'n algehele afname in dopamienneuron waargeneem op beide HC- en LC-leidrade relatief tot die basislyn nie. Dit dui daarop dat 'n negatiewe-RPE-sein nie op daardie tydstip voorkom nie, ondanks die volgende koste. Die afwesigheid van negatiewe RPE weerspieël waarskynlik die integrasie van 'n voorspelling van toekomstige beloning wat later in die verhoor verwag word. Die dopamienneurone het beduidende aktivering getoon in die LC-proef en die aktiwiteit was hoër in vergelyking met die HC-proef. Dit dui daarop dat koste-inligting opgeneem is in die RPE-sein wat deur dopamienneurone gedra word. Dus, kodeer dopamienneurone sowel inligting as koste en die RPE-respons weerspieël die som van koste en beloning.

Ons het getoon dat die RPE-sein wat deur dopamienneurone voorgestel word, verhoog word deur die betaalde koste op die punt van die aanbieding van die beloningstoon (in die HLC-saakkade-taak) en die aflewering van die beloning (in die HLC-onseker taak). Die objektiewe hoeveelheid beloning wat in die HC- en LC-proewe gelewer is, was gelyk; daarom moet die RPE-seine verander word deur 'n nonsensoriese proses. Hierdie moontlikheid word ondersteun deur verskeie studies wat dui op 'n kontekstuele effek op dopamien-RPE-seine wat ooreenstem met die verwerking van die subjektiewe waarde en / of nut in dopamienneurone.11,19,20,21,31,32,33,34. As die RPE-sein groter is, sal dit die opdateringswaarde vinniger moet opdateer, wat gevolglik die leersnelheid van stimulus-beloning-assosiasies sou beïnvloed. Vorige studies het aangetoon dat die leersnelheid deur nonsensoriese faktore verander is24,35. In ooreenstemming hiermee vertoon die ape vinniger leersnelhede in die HC relatief tot die LC-toestand. Ons het gevind dat verbeterde leersnelheid deur die betaalde koste verklaar kan word deur 'n RL-model met 'n versterkte RPE. Dit was moeilik om die gevolge van die versterkte RPE en die verhoogde leertempo in ons eksperimente te skei; ons het egter 'n versterkte dopaminerge RPE-sein in die HC-toestand gevind. Verder het 'n vorige fMRI-studie getoon dat die leertempo-parameter in die anterior cingulate korteks voorgestel word en dat die aktiwiteit van die VTA nie verband hou met die leertempo-parameter in vlugtige omgewings nie.36. Daarom argumenteer ons dat die RPE-sein wat deur dopamienneurone gekodeer word, versterk word deur die betaalde koste, en dat die verhoogde RPE-sein die leersnelheid verhoog.

Toe die RPE-sein opgewek is ten tyde van die aanbieding van die beloningskode en die aflewering van die beloning, het die ape reeds die koste betaal. Daarom is 'n moontlike meganisme vir die verbeterde RPE-sein dat die beloning wat na 'n HC verkry word, meer lonend kan wees. 'N Groter verwagting van 'n meer waardevolle beloning ná die HK kan die motivering vir die beëindiging van die proefvak verhoog, waardeur die RT tot die beloningstate in die HC-proewe verkort word.

'N Verdere moontlike interpretasie van ons resultate is dat die verligting van die beëindiging van die duur optrede as beloning vir die ape kan dien. Funksionele magnetiese resonansbeelding (fMRI) studies het getoon dat pynverligting 'n beloning vir menslike deelnemers kan wees37,38; koste kan dus 'n soortgelyke rol speel as 'n afwykende stimulus vir pyn. As die verligting van koste lonend is en dit weerspieël word in dopaminerge aktiwiteit, sou ons verwag dat die dopamienneurone sou reageer aan die einde van die lang fiksasie, wat die tydsberekening van die aanbieding van beloningstyd is. Ons het egter nie 'n verskil in dopaminerge aktiwiteit gesien tydens die tydsberekening van die aanbiedings van beloningstellings nie, en ook nie 'n verskil in RT's ten opsigte van die R-leidrade tussen die HC- en LC-proewe in die HLC-onsekere taak nie. Daarom stel ons voor dat die verligting van die koste nie 'n voldoende verduideliking bied vir die effek wat ons in die dopamienneurone waargeneem het nie.

Verder het die dopamienneurone kwalitatief verskillende reaksies op die afwykende stimulus getoon in vergelyking met die koste wat voorspel is. Een moontlike verklaring hiervoor is dat die inspanningskoste minder opvallend was as die lugpoel of beloning, omdat die inspanningskoste tydelik oor 'n paar sekondes verleng is, aangesien die ape die fiksasie uitgevoer het en nie leestekens gedoen het nie. Daarom is dopamienneurone moontlik nie geaktiveer tot die laer opvallende kostes nie. 'N Ander moontlikheid is dat die dopamienneurone van die opvallende tipe reageer op gebeure waarna sekere bewegings veroorsaak is. As die beloning of die lugpoeiery aan die ape oorhandig is, maak dit 'n paar bewegings soos die lik of die oog knip. In die HLC-saakkadetaak moes die ape egter hul blik op die fiksasie-teiken hou sonder om dit te beweeg. 'N Onlangse studie het gewys dat die vrystelling van dopamien in die kern van die kern na 'n voorspelling van beloning voorspel word, tensy beweging korrek begin word.39. Aangesien die koste vir ons eksperimente nie inisieer van beweging was nie, kan dit moontlik lei tot 'n inkonsekwente reaksie van die dopamienneurone van die soutgehalte. Hoe dan ook, ons kan aflei dat koste-inligting anders verwerk word as afwykende inligting.

Ter afsluiting, stel ons voor dat betaalde koste die waarde van beloningvoorspellende leidrade verhoog en dat dit op sy beurt die RPE-sein wat in die dopamienneurone in die middelbrein gekodeer word, verhoog. Hierdie effek het gelei tot 'n gedragsvoorspelling dat 'n dier se leertempo verhoog sou word vir die voorspelling van leidrade na die ervaring van 'n HC. Dit is inderdaad wat ons waargeneem het. Ons waarnemings oor die aktiwiteit van dopamienneurone het ons daartoe gelei om die bestaan ​​van 'n gedragseffek te veronderstel, sowel as 'n vermoedelike berekeningsmeganisme onderliggend aan hierdie effek, wat ons later bevestig het. Ons bevindinge verteenwoordig dus 'n voorbeeld van hoe triangulasie kan plaasvind tussen metings van neurale data, berekeningsteorie en gedrag: die ontwikkeling van 'n dieper begrip van neuronale prosessering in die brein kan insigte lewer oor gedrag en die onderliggende berekeningsgrondslag.

Metodes

diere

Ons het twee manlike Japannese ape gebruik (Macaca fuscata; liggaamsgewig, 6.5 kg = Aap P; liggaamsgewig, 9.0 kg = Aap S). Ons het 'n kopstuk op die top van die aap se skedel ingeplant sodat dit later op 'n stoel vasgemaak kon word. 'N Opname kamer is ook ingeplant om die montering van 'n elektrode-mikromanipulator moontlik te maak. Die opname kamer is 45 ° lateraal in die koronale vlak gekantel en by die stereotaksiese koördinate geposisioneer: 15 mm anterior tot die eksterne kanaal. Na 'n hersteltydperk is die ape opgelei om die saakkade-taak uit te voer. Nadat ons die opleiding voltooi het, het ons 'n gat deur die skedel in die opname-kamer geboor vir die invoeging van elektrode. Alle diereversorgingsprotokolle is goedgekeur deur die Komitee vir Diere-eksperimente van die Tamagawa-universiteit en is in ooreenstemming met die National Institutes of Health Guide for the Care and Use of Laboratory Animals.

Gedragsopdrag

Ape is opgelei om die HLC-saakkade-taak uit te voer (Fig. 1a), HLC onseker taak (Fig. 5a), en HLC-verkenningstaak (Fig. 7a). Alle take is in 'n donker kamer uitgevoer. Die ape het in 'n stoel voor 'n 22-in gesit. LCD-monitor (S2232W, Eizo) met hul ingeplante kopstutte op die stoel. Die afstand tussen hul oë en die skerm was 70 cm. Wanneer 'n aanvangsaanwysing (wit sirkel, deursnee 0.3 °) in die middel van die skerm aangebied word, moes die aap sy blik op die toonbank behou. Die beginpunt het na 750 ms verdwyn en daarna is 'n kostepunt aangebied (onderskeidelik ster en windpomp vir die HC- en LC-proewe). Daar is van ape verwag om tydens die 750 ms aanwysing aan die kostepunt af te sien. As hulle nie aan die ry slaag nie, is die verhoor gestaak en dieselfde verhoor het weer begin. Tydens HC-proewe is die fiksasie-teiken (0.3 ° × 0.3 ° wit vierkant) net na die verdwyning van die kostepunt vir 2000 ms (HLC-sakkade en HLC-onsekere take) of 1500 ms (HLC-verkenningstaak) aangebied, en die ape was nodig om daaraan te slaag en hul blik daarop te hou. As die ape hul blik verby 'n fiksasievenster van 4 ° × 4 ° beweeg, is die taak afgebreek. Die fiksasievenster is 400 ms geaktiveer na die aanbieding van die fiksasiepunt omdat die ape tyd nodig gehad het om voor te berei vir die sakkade en vir die aanpassing van hul fiksasie. Daarom moes die ape in die HC-proewe vir ten minste 1600 ms (HLC sakkade en HLC onsekere take) of 1100 ms (HLC verkenningstaak) gefikseer word. In die LC-proewe is 'n leë skerm vertoon vir 1500 ms (HLC saccade en HLC onseker take) of 1000 ms (HLC verkenningstaak), en dan verskyn die fiksasie teiken vir 500 ms. Omdat die fiksasievenster 400 ms geaktiveer is na die aanbieding van die fiksasiepunt, moes die ape in die LC-proewe minstens 100 ms op die teiken plaas. Die ape het meer foute in die HC-verhoor getoon; daarom is 'n gedwonge onderbreking 100 ms ewekansig ingevoeg voor die beloning van die beloning (400 ms na die fiksasie-teikenaanbieding, die tydsberekening van die aanvang van die fiksasievenster) in die LC-verhoor om die suksessyfer te vergelyk. Nadat die doelwit vasgestel is, is een of twee beloningsaanwysings aangebied en moes die ape na die aanduiding sak. As hulle die beloningstoekenning suksesvol gesak het, is 'n piepgeluid 750 ms na die aanbieding van die beloning gelewer. Toe die ape 'n sakkade na die R + cue maak, word 0.3 ml water gelyktydig met die piep gelewer. Geen beloning is gelewer toe hulle 'n sakkade aan die Rue maak nie.

In die HLC-saakkade-taak is vier gekleurde sirkels as beloningstegnieke gebruik (RHC+: geel; RHC-: groen; RLC+: pienk; RLC-: blou; Fig. 1a). Een eksperimentele sessie het bestaan ​​uit 80 sakkadeproewe, 20 onvoorspelbare beloningstoetse, 20 onvoorspelbare lugpofproewe en 5 keuseproewe. Die sakkadeproewe het 40 HC-proewe en 40 LC-proewe ingesluit, wat albei 20 beloningsproewe en 20 geen beloningproewe ingesluit het. In die onvoorspelbare beloning- of lugblaasproewe is 0.3 ml waterbeloning of 0.2 MPa lugblaas (150 ms vir aap P; 200 ms vir aap S) aan die ape se gesig gelewer sonder om te sê. Die keuseproewe het 'n proef ingesluit waarin ape 'n keuse gemaak het tussen R + -aanwysings (RHC+ teen RLC+) in die HC-verhoor, tussen R cues (RHC- teen RLC-) in die HC-verhoor, tussen R + (RHC+ teen RLC+) leidrade in LC-verhoor, tussen R− (RHC- teen RLC-) leidrade in LC-verhoor, en tussen die koste-leidrade (Aanvullende Fig. 1). In proewe met 'n keuse tussen beloningstoonstukke, was die taakstruktuur identies aan die saakkade-taak voor die aanbieding van beloningstoonstukke. Vervolgens, in plaas van die aanbieding van 'n beloningstoonlys, is twee belonningstekens aangebied in die keuseproewe en geen beloning is gelewer na die aanbieding van beloningstoonlyne nie, selfs al het die ape die keuse tussen R + leidrade gemaak.

Om die reaksie van dopamienneurone op die aflewering van belonings te toets, het ape die HLC-onseker taak uitgevoer (Fig. 5a). Hierdie taak was soortgelyk aan die HLC-saakkade-taak, behalwe vir die beloningstegnieke. In hierdie taak het ons twee beloningstegnieke gebruik (in plaas van die vier beloningstegnieke wat in die HLC-saakkade-taak gebruik is), een vir die HC-proef en die ander vir die LC-proef. Die beloning is in die helfte van die proewe gelewer ná die aanbieding van die beloningstabel. Een eksperimentele sessie het bestaan ​​uit 80 saakkade-proewe, 20 onvoorspelbare beloningsproewe, en 20 onvoorspelbare lugpuff-proewe. Die saakkade-proewe het 40 HC-proewe en 40 LC-proewe ingesluit, wat albei 20-beloningsproewe insluit en 20 geen beloningsproewe nie. In die onvoorspelbare proewe is 'n beloning of lugpoeiery sonder enige teken gegee.

In die HLC-eksplorasietaak is twee beloningstips (RHC+, RHC- of RLC+, RLC-) is gelyktydig aangebied en die ape moes na een van die beloningswyses saakkadeer (Fig. 7a). As hulle die R + -telling gekies het, het hulle 'n waterbeloning ontvang. Vier beloningswyses (RHC +, RHC-, RLC +, RLC-) is vir elke eksplorasiesessie gegenereer en die ape is verplig om die verband tussen die leidrade te leer en proeflopie te beloon. Een eksperimentele sessie het bestaan ​​uit 100 HC-proewe en 100 LC-proewe. Ons het gevind dat vir die verkenningstaak, as ons die bevestigingsduur op 2000 ms in die HC-toestand stel, sodat dit ooreenstem met die duur van die HC-toestand in die ander take, het die ape die taak uitgevoer met 'n baie lae suksessyfer, miskien as gevolg van die moeilikheid van die taak en / of die gevolglike lae beloningskoers. Om die probleme met die taak te verminder en die suksessyfer te verhoog, gebruik ons ​​'n 1500 ms-fixasietydperk as die koste vir die HLC-eksplorasietaak.

Die take is beheer met behulp van 'n kommersieel beskikbare sagtewarepakket (TEMPO, Reflective Computing, St. Louis, MO, VSA). 'N Op maat gemaakte program met behulp van 'n toepassingsprogrammeer-koppelvlak (OpenGL) is gebruik vir die aanbieding van 'n visuele stimulus. Die visuele stimuli vir die koste en die beloningstips is deur die skrywers geskep.

Opname en verkryging van data

Die ligging van die substantia nigra is geskat met behulp van MR-beelde. 'N Epoxy-bedekte wolframelektrode (skachtdiameter, 0.25 mm, 0.5 – 1.5 MΩ gemeet by 1000 Hz, FHC) is in die substantia nigra geplaas met behulp van 'n mikromanipulator (MO-972, Narishige, Tokio, Japan) wat op die opnamekamer gemonteer is 'n vlekvrye geleibuis. Spanningseine is versterk (× 10,000) en gefiltreer (0.5 – 2 kHz). Aksiepotensiale van 'n enkele neuron is geïsoleer met 'n sjabloon-passende algoritme (OmniPlex, Plexon, Dallas, TX, VSA). Oogbeweging is gemonitor deur 'n infrarooi kamerastelsel teen 'n monstertempo van 500 Hz (iView X Hi-Speed ​​Primate, SMI, Teltow, Duitsland). Die tydsberekening van aksiepotensiale en gedragsgebeure is opgeteken met 'n tydresolusie van 1 kHz.

Data-analise

Om die gedrag van die ape te ontleed, is RT's bepaal as die tydsinterval tussen die stimulus-aanvang en die tydstip waarop ape die saakkade begin het. Die initiëring van die saccade is bepaal deur die tydsberekening te bereken wanneer die blikposisie die 5-standaardafwykings van die gemiddelde blikposisie oorskry het voor die aanbieding van die teken.

In die HLC-eksplorasietaak is die keuse van die ape gekwantifiseer deur 'n kumulatiewe eksponensiële funksie te pas. Die funksie (P) beskryf die verhouding van die korrekte keuse soos volg:

P=12+(12-12exp(-at))b,
(1)

waar t beteken verhoor, a en b dui die helling en plato van die kromme onderskeidelik aan. Hierdie funksie was onafhanklik van die gegewens vir die twee kostetoestande. Die parameters van die funksie is deurgesoek om die waarskynlikheid van die waarneming van die data vanaf 'n enkele sessie en die gemiddelde data te maksimeer. 'N Bootstrap-metode is toegepas om die vertrouensintervalle te skat by die gemiddelde data. 'N Standaard RL-model is ook gebruik om die gedragsdata te kwantifiseer. Die stimuluswaardes Vj(t) vir die gekose keuse j (j = 1 vir HC toestand; j = 2 vir LC-toestand) is soos volg opgedateer:

Vj(t+1)=Vj(t)+αj(R(t)-Vj(t)),
(2)

waar αj dui die leersyfers aan wat beperk is tot waardes tussen 0 en 1. R(t) dui die beloningsbedrag aan (1: beloon, 0: geen beloning) tydens die proefperiode t.

Die waarskynlikheid Pj(t) om stimulus te kies j uit die twee stimuli tydens die verhoor t word gegee deur die softmax-reël

Pj(t)=exp(Vj(t)βj)/Σ2i=1exp(Vi(t)βi),
(3)

waar βj dui die omvang van die verkenning aan.

Ons het neuronale aktiwiteit aangeteken tydens die HLC-sakkade en HLC-onseker taak, maar nie die HLC-verkenningstaak nie. Die HLC-verkenningstaak is geïmplementeer as 'n suiwer gedragstudie. Dopamienneurone is geïdentifiseer as hulle elk van die volgende eienskappe vertoon: 'n lae toniese afvoersnelheid (<6 Hz), 'n lang duur van die piekgolfvorm (> 300 μs) en 'n fasiese reaksie op die onvoorspelbare beloning (aanvullende fig. 2a). Ons het proewe ontleed waarin die ape die proef kon voltooi sonder enige foute (remfiksasie, geen saakkade of kunsmatige aborsie). Die gemiddelde neuronvuurtempo is bereken met 1 ms bakke en glad gemaak met 'n Gaussiese kern (σ = 30 ms, breedte = 4σ) om spikdigtheidsfunksies te produseer. Die antwoorde van die dopamienneurone op elke taakgebeurtenis is bereken as die genormaliseerde skietempo relatief tot die spontane aktiwiteit (gemiddelde skietempo gedurende die 500 ms voor die aanvang van die begin van die begin). Die afvuurkoerse is bereken binne die tydsvensters wat vir elke taakgebeurtenis en onderwerp bepaal is. Hierdie tydvensters is bepaal deur die bevolkingsgemiddelde aktiwiteit. Ons het die begin- en eindpunte van tydvensters bepaal, gebaseer op die styging en dalingstyd van die bevolkingsgemiddelde respons, met behulp van vorige aapdopamienstudies as verwysings (Aanvullende Fig. 3). Die tydvenster vir die aanvangskopie is gedefinieër as 200 – 400 ms na die aanvang van die aanwysingstelsel vir neurone wat by ape P en S. opgeneem is. Die tydsvenster vir die toestandkode is gedefinieer as 150 – 300 ms na die aanvang van die toestandstip vir aap P en 200 – 400 ms vir aap S. Die tydvenster vir die beloningstabel is gedefinieer as 140 – 350 ms na aanvang van die beloningstoon vir aap P en 220 – 420 ms vir aap S. Die tydsvenster vir die beloninglewering is gedefinieer as 225– 475 ms na die piep begin vir aap P en 200 – 450 ms vir aap S. Die tydsvenster vir die onvoorspelbare beloningsaflewering is gedefinieer as 100 – 300 ms na die beloning aflewering vir aap P en 150 – 300 ms vir aap S. Die tydvenster vir die onvoorspelbare lugpof is gedefinieer as 30 – 230 ms na die aflewering van die lugpos vir aap P en 50 – 200 ms vir aap S.

Ons het alle aangetekende dopamienneurone in twee verskillende kategorieë ingedeel, motiveringswaarde en belangrikheidstipes. As die reaksie van 'n neuron op die lugpuff-stimuli kleiner was as die spontane aktiwiteit, is die neuron as die motiveringswaardetipe geklassifiseer (Fig. 3d, e). In teenstelling, as die reaksie van 'n neuron op die lugpoelstimuli groter was as die spontane aktiwiteit, dan is die neuron geklassifiseer as van die hooftrekke (Fig. 3g, h).

Om differensiële neuronale aktiwiteit tussen taaktoestande te kwantifiseer, is 'n ROC-analise uitgevoer. Ons het die auROC vir elke neuron bereken. Die auROC kleiner of groter as 0.5 dui op 'n kleiner of groter reaksie in onderskeidelik die HC-verhoor. Omdat die aantal neurone in sommige neuronale datastelle klein was, het ons die ondertekeningstoets van Wilcoxon gebruik om die effek van die uitskieters te verminder om die bevooroordeelde verspreiding van die auROC's te kwantifiseer.

Kommersieel beskikbare sagteware, MATLAB (MathWorks, Natick, MA, VSA), is gebruik om alle data-ontleding uit te voer.

Histologiese ondersoek

Na afloop van die opname-eksperiment is albei ape uitgeskot en histologiese analise is uitgevoer om die opname-posisie te verifieer (Aanvullende Fig. 2b). Ape is geënt deur toediening van 'n dodelike dosis pentobarbital natrium (70 mg kg-1) en geperfusieerd met 4% formaldehied in fosfaatbuffer. Seriële koronale gedeeltes (dikte, 10 μm) is gesny en immunosmeer met anti-tyrosine hydroxylase (TH) teenliggaamp (elke 25-afdeling; anti-TH-teenliggaampie, 1: 500; Merck, Darmstadt, Duitsland) of Nissl-kleuring (elke 25-seksie) .

Verslagopsomming

Verdere inligting oor navorsingsontwerp is beskikbaar in die Natuurnavorsingsverslagopsomming gekoppel aan hierdie artikel.

Data beskikbaarheid

Die gegewens wat in die analise van hierdie studie gebruik is, is op redelike versoek by die ooreenstemmende outeur beskikbaar. 'N Verslagverslag vir hierdie artikel is beskikbaar as 'n aanvullende inligtingslêer. Die brondata onderliggend aan Fig. 1, 3-8 en aanvullende vye. 1, 4-12 word as 'n brondatalêer voorsien.

Kode beskikbaarheid

Matlab-kodes wat in die analise van hierdie studie gebruik is, is op redelike versoek by die ooreenstemmende outeur beskikbaar.

Verwysings

  1. 1.

    Clement, TS, Feltus, JR, Kaiser, DH & Zentall, TR "Werksetiek" by duiwe: beloningswaarde hou direk verband met die inspanning of tyd wat nodig is om die beloning te verkry. Psychon. Bul. Op 7, 100-106 (2000).

  2. 2.

    Klein, ED, Bhatt, RS & Zentall, TR Kontras en die regverdiging van inspanning. Psychon. Bul. Op 12, 335-339 (2005).

  3. 3.

    Zentall, TR & Singer, RA Kontras binne-verhoor: duiwe verkies gekondisioneerde versterkers wat 'n relatief meer eerder as 'n minder aversiewe gebeurtenis volg. J. Exp. Anal. Behav. 88, 131-149 (2007).

  4. 4.

    Aronson, E. & Mills, J. Die effek van die ontgroening van die inisiëring vir 'n groep. J. Abnorm. Soc. Psychol. 59, 177-181 (1959).

  5. 5.

    Festinger, L. 'N Teorie van kognitiewe dissonansie. (Stanford University Press, Kalifornië, 1957).

  6. 6.

    Alessandri, J., Darcheville, JC, Delevoye-Turrell, Y. & Zentall, TR Voorkeur vir belonings wat volg op groter inspanning en groter vertraging. Leer Behav. 36, 352-358 (2008).

  7. 7.

    Schultz, W., Carelli, RM & Wightman, RM Fasiese dopamienseine: van subjektiewe beloningswaarde tot formele ekonomiese nut. Kur. Opin. Behav. Sci. 5, 147-154 (2015).

  8. 8.

    Schultz, W., Dayan, P. & Montague, PR 'n Neurale substraat van voorspelling en beloning. Wetenskap 275, 1593-1599 (1997).

  9. 9.

    Bromberg-Martin, ES, Matsumoto, M. & Hikosaka, O. Dopamien in motiveringsbeheer: lonend, aversief en waarskuwend. Neuron 68, 815-834 (2010).

  10. 10.

    Bayer, HM & Glimcher, PW Dopamienneurone in die middelbrein kodeer 'n kwantitatiewe foutvoorspellingsfoutsein. Neuron 47, 129-141 (2005).

  11. 11.

    Nakahara, H., Itoh, H., Kawagoe, R., Takikawa, Y. & Hikosaka, O. Dopamienneurone kan konteksafhanklike voorspellingsfout verteenwoordig. Neuron 41, 269-280 (2004).

  12. 12.

    Tobler, PN, Fiorillo, CD & Schultz, W. Aanpasbare kodering van beloningswaarde deur dopamienneurone. Wetenskap 307, 1642-1645 (2005).

  13. 13.

    Nomoto, K., Schultz, W., Watanabe, T. & Sakagami, M. Dopamienreaksies tydelik uitgebrei tot perseptueel veeleisende beloningsvoorspellende stimuli. J. Neurosci. 30, 10692-10702 (2010).

  14. 14.

    Watabe-Uchida, M., Zhu, L., Ogawa, SK, Vamanrao, A. & Uchida, N. Heelbreinkaarte van direkte insette tot dopamienneurone in die middelbrein. Neuron 74, 858-873 (2012).

  15. 15.

    Tanaka, SC et al. Voorspelling van onmiddellike en toekomstige belonings werf op verskillende maniere cortico-basale ganglia-lusse aan. Nat. Neurosci. 7, 887-893 (2004).

  16. 16.

    Haber, SN, Kim, KS, Mailly, P. & Calzavara, R. Beloningsverwante kortikale insette definieer 'n groot striatale streek in primate wat skakel met assosiatiewe kortikale verbindings en bied 'n substraat vir aansporingsgebaseerde leer. J. Neurosci. 26, 8368-8376 (2006).

  17. 17.

    Doya, K. Moduleerders van besluitneming. Nat. Neurosci. 11, 410-416 (2008).

  18. 18.

    Roesch, MR, Calu, DJ & Schoenbaum, G. Dopamienneurone kodeer die beter opsie by rotte wat besluit om belonings wat anders vertraag of groot is, te bepaal. Nat. Neurosci. 10, 1615-1624 (2007).

  19. 19.

    Lak, A., Stauffer, WR & Schultz, W. Dopamienvoorspellingsfoutreaksies integreer subjektiewe waarde uit verskillende beloningsdimensies. Proc. Natl Acad. Sci. VSA 111, 2343-2348 (2014).

  20. 20.

    Stauffer, WR, Lak, A. & Schultz, W. Dopamienbeloningsvoorspellingsfoutreaksies weerspieël marginale nut. Kur. Biol. 24, 2491-2500 (2014).

  21. 21.

    Noritake, A., Ninomiya, T. & Isoda, M. Sosiale beloning monitering en waardasie in die makaakbrein. Nat. Neurosci. 21, 1452-1462 (2018).

  22. 22.

    Pasquereau, B. & Turner, RS Beperkte kodering van inspanning deur dopamienneurone in 'n koste-voordeel-kompromietaak. J. Neurosci. 33, 8288-8300 (2013).

  23. 23.

    Varazzani, C., San-Galli, A., Gilardeau, S. & Bouret, S. Noradrenalien en dopamienneurone in die beloning / inspanning-kompromie: 'n direkte elektrofisiologiese vergelyking in gedrags-ape. J. Neurosci. 20, 7866-7877 (2015).

  24. 24.

    Watanabe, N., Sakagami, M. & Haruno, M. Foutsein vir beloningvoorspelling versterk deur striatum-amygdala-interaksie verklaar die versnelling van waarskynlike beloning deur emosie. J. Neurosci. 33, 4487-4493 (2013).

  25. 25.

    Di Ciano, P., Cardinal, RN, Cowell, RA, Little, SJ & Everitt, B. Differensiële betrokkenheid van NMDA-, AMPA / kainate- en dopamienreseptore in die kern van die kern in die verkryging en uitvoering van Pavlovian-benaderingsgedrag. J. Neurosci. 21, 9471-9477 (2001).

  26. 26.

    Flagel, SB et al. 'N Selektiewe rol vir dopamien in die stimulus-beloningsleer. Aard 469, 53-57 (2011).

  27. 27.

    Blough, DS Effekte van voorbereiding, onderskeibaarheid en versterking op reaksietydkomponente van visuele duifsoek. J. Exp. Psychol. Anim. Behav. Proses. 26, 50-63 (2000).

  28. 28.

    Matsumoto, M. & Hikosaka, O. Twee soorte dopamienneuron dra duidelik positiewe en negatiewe motiveringsseine oor. Aard 459, 837-841 (2009).

  29. 29.

    Matsumoto, M. & Takada, M. Onderskeidelike voorstellings van kognitiewe en motiverende seine in dopamienneurone in die middelbrein. Neuron 79, 1011-1024 (2013).

  30. 30.

    Watanabe, M. et al. Gedragsreaksies weerspieël die verwagtinge van die ewenaar by ape. Exp. Brein Res. 140, 511-518 (2001).

  31. 31.

    Takikawa, Y., Kawagoe, R. & Hikosaka, O. 'n Moontlike rol van dopamienneurone in die brein in die kort- en langtermynaanpassing van sakkades tot posisiebeloning-kartering. J. Neurophysiol. 92, 2520-2529 (2004).

  32. 32.

    Kobayashi, S. & Schultz, W. Invloed van beloningsagterstande op reaksies van dopamienneurone. J. Neurosci. 28, 7837-7846 (2008).

  33. 33.

    Enomoto, K. et al. Dopamienneurone leer om die langtermynwaarde van verskeie toekomstige belonings te kodeer. Proc. Natl Acad. Sci. VSA 108, 15462-15467 (2011).

  34. 34.

    Lak, A., Nomoto, K., Keramati, M., Sakagami, M. & Kepecs, A. Midbrein Dopamienneurone dui aan die geloof in die akkuraatheid van die keuse tydens 'n perseptuele besluit. Kur. Biol. 27, 821-832 (2017).

  35. 35.

    Williams, BA & McDevitt, MA Inhibisie en superkondisionering. Psychol. Sci. 13, 454-459 (2002).

  36. 36.

    Behrens, TE, Woolrich, MW, Walton, ME & Rushworth, MF Leer die waarde van inligting in 'n onsekere wêreld. Nat. Neurosci. 10, 1214-1221 (2007).

  37. 37.

    Seymour, B. et al. Teenstander-aptytwekkend-neurale prosesse lê die voorspelling van pynverligting. Nat. Neurosci. 8, 1234-1240 (2005).

  38. 38.

    Kim, H., Shimojo, S. & O'Doherty, JP Beloon die vermyding van 'n aversiewe uitkoms? Neurale substrate van vermydingsleer in die menslike brein. PLoS Biol. 4, e233 (2006).

  39. 39.

    Syed, EC et al. Aksie-inisiasie vorm mesolimbiese dopamien-kodering van toekomstige belonings. Nat. Neurosci. 19, 34-36 (2016).

Laai verwysings af

Bedankings

Hierdie werk is ondersteun deur MEXT / JSPS-toekennings vir wetenskaplike navorsing (Kakenhi). Toekenningsnommers JP16H06571 en JP18H03662 aan MS. Hierdie navorsing is gedeeltelik ondersteun deur die Strategiese Navorsingsprogram vir Breinwetenskappe, ondersteun deur Japan Agency for Medical Research and Development (AMED) ) en die Japan-Amerikaanse breinnavorsingsprogram vir samewerking. Hierdie navorsing is ondersteun deur die Nasionale Bio-hulpbronprojek by die National Institute of Physological Science (NBRP by NIPS) van die Japan Agency for Medical Research and Development, AMED. Ons bedank Bernard W. Balleine en Andrew R. Delamater vir hul hulp met die skryf van die koerant.

inligting oor die outeur

ST, JPO en MS het die eksperimente ontwerp. ST het die eksperimente uitgevoer en die data geanaliseer. JPO en MS het die eksperimente en die data-ontleding verfyn. ST, JPO en MS het die manuskrip geskryf.

Korrespondensie aan Masamichi Sakagami.