Ett unikt tonårssvar för att belöna förutsägelsesfel (2010)

Nat Neurosci. 2010 Jun; 13 (6): 669-71. Epub 2010 Maj 16.

 

Källa

Psykologiska institutionen, Universitetet i Kalifornien Los Angeles, Los Angeles, Kalifornien, USA. [e-postskyddad]

Abstrakt

Tidigare arbete har visat att mänskliga ungdomar kan vara överkänsliga mot belöningar, men det är inte känt vilken aspekt av belöna bearbetningen är ansvarig för detta. Vi skilde beslutsvärde och förutsägelse fel signaler och fann att neurala förutsägelse Fel signalerna i striatumet toppade i tonåren, medan signaler för neurala beslutsvärden varierade beroende på hur värde modellerades. Detta föreslår att ökad dopaminerg förutsägelse felresponsivitet bidrar till ung belöna sökande.

Ungdom är en unik period i psykologisk utveckling, som präglas av ökade riskfyllda val och handlingar jämfört med barn och vuxna. Detta kan spegla den relativt tidiga funktionella utvecklingen av limbiska affektiva och belöningssystem jämfört med prefrontal cortex1, så att ungdomar oftare fattar fattiga beslut och riskfyllda val än de båda barnen (som ännu inte är fullt känsliga för belöningar) och vuxna (som är känsliga för belöningar men har förmåga att utöva kontroll över belöningsstyrda uppmaningar).

Enligt beteendemässiga beslutsteorier är valen drivna av det värde som tilldelas varje potentiellt val (beslutsvärde)2. Beslutsvärde beräknas av ett system i den mediala prefrontala cortexen som tjänar som en vanlig väg för värdesrepresentation3,4. För att kunna agera adaptivt i en växlande eller bullriga värld måste dessa värden uppdateras baserat på erfarenhet. Reward prediction felsignaler återspeglar skillnaden mellan det förväntade värdet av en åtgärd och det verkliga resultatet av åtgärden5, och kodas av fasaktivitet i mesolimbic dopaminsystemet6. I fMRI observeras de vanligtvis i ventralstriatum, vilket återspeglar dopaminerg effekt (t.ex. 7). Typen av förutsägelsesfelsignaler hos barn eller ungdomar är okänd. Ungdomar kan ha ett överkänsligt striatalt svar på belöning8, även om detta konstaterande är något inkonsekvent9,10. Vi undersökte om ungdomar är associerade med unika förändringar i antingen beslutsvärde eller prediktionsfelsignaler, med hjälp av ett probabilistisk inlärningsparadigm11 (Fig 1; se Kompletterande metoder uppkopplad). Vi uppskattade både beslutsvärde och prediktionsfelsignaler på varje försök under inlärning med hjälp av en enkel inlärningsmodell5. Med parametriska fMRI-analyser identifierade vi hjärnregioner vars svar modulerades i enlighet med dessa signaler och undersökte hur detta svar förändrades med ålder från barndom till vuxen ålder. Vi undersökte både linjära effekter (som återspeglar generella modersmål eller utvecklingstendenser) och kvadratiska effekter (som speglar tonårsspecifika effekter) med ålder. Detta arbete representerar den första undersökningen av dessa underkomponenter för beslutsfattande över utveckling.

Figur 1

Experimentell design. 45-friska deltagare (18-barn i åldern 8-12, 16-tonåringar i åldrarna 14-19 och 11-vuxna i åldern 25-30) utförde en probabilistisk inlärningsuppgift under fMRI-förvärvet. Skriftligt informerat samtycke erhölls. Deltagarna .

Beteende blev alla deltagare mer exakta och snabbare med träning för förutsägbara stimuli, men inte för slumpmässiga stimuli (interaktion F (5,210) = 9.85, P<0.0001 för noggrannhet och F (5,210) = 6.60, P<0.0001 för svarstider; Kompletterande tabell 1 och Fig 1 uppkopplad). Avgörande var att det fanns en belönings x-åldersinteraktion för svarstiderna (F (2,42) = 5.03, P = 0.01). Post-hoc-tester visade att ungdomar var den enda åldersgruppen som svarade betydligt snabbare för stimuli i samband med stora belöningar jämfört med små belöningar (t (15) = 3.24, P = 0.006; för barn t (17) = -0.32, P = 0.75 och för vuxna t (10) = 1.90, P =

Vi modellerade fMRI-data för att tillåta separat uppskattning av neurala svar på stimulans och återkoppling (Kompletterande metoder och Fig 2 uppkopplad; för helhjärnans huvudverkningar av att titta på stimuli och ta emot återkoppling om svar, se Kompletterande figurer 3-4 och tabeller 2-3 uppkopplad). Vi undersökte hur neurala korrelationer med modellbaserade beslutssignaler (beslutsvärde och prediktionsfel) var relaterade till ålder.

Figur 2

MR-resultat. (a) Regioner som visar korrelationer med ålder när de korrigeras på hela hjärnanivån vid z> 2.3, P<0.05. De striatala och vinklade gyrusregionerna var negativt korrelerade med åldern2; eftersom medelåldern2 subtraherades från .

Vi analyserade kvadratiska trender i positivt prediktionsfel vid återkoppling och identifierade två regioner där ungdomar visade ett överkänsligt svar jämfört med andra åldersgrupper-striatum och vinkelgyrus. Ett område i den mediala prefrontala cortexen visade en negativ linjär effekt av åldern på stimulansbeslutsvärdet, så att yngre deltagare hade en starkare beslutsvärdessignal i denna region jämfört med äldre deltagare; denna region har starkt associerats med målorienterat stimulansvärde i tidigare arbete hos vuxna (Fig. 2a)12. Således, medan svaret på oförutsägbar positiv återkoppling toppade i ungdomar, minskades känsligheten för stimulansvärdet linjärt med ålder (för diagram mellan ålder och var och en av de ovan nämnda regioner av intresse [ROIs], se Kompletterande Fig. 5 uppkopplad).

Med tanke på att beslutsvärde utvecklas genom felstyrd inlärning i modellen var det förvånande att beslutsvärde visade en annan åldersrelaterad bana än förutsägelsefel. På grund av uppgifternas struktur är det dock möjligt att valet drivs av andra faktorer utöver förstärkningsinlärning (t.ex. uttryckligt minne). För att klargöra resultaten körde vi en andra modell som beräknade beslutsvärdet på ett mer integrerande sätt som andelen tidigare studier där det optimala svaret valdes för varje stimulus (Lin, Adolphs & Rangel, opublicerad; Kompletterande metoder uppkopplad). Vi analyserade prediktionsfelvärden från denna modell och fann att de speglade resultaten från våra initiala analyser, som visar regioner i striatum och parietal cortex, tillsammans med ventrala laterala prefrontala regioner, där neuralt svar på prediktionsfel toppade i ungdomar. Analys av beslutsvärde från denna modell visade både linjära och olinjära relationer mellan ålder och neural aktivitet i ett antal regioner, inklusive lateral parietal cortex och striatum (Kompletterande Fig. 6 och Tabell 5 uppkopplad). Exploratory (non-independent) ROI-analyser visade att det neurala svaret på beslutsvärdet i denna modell tycks öka mellan barndom och ungdom, men sedan asymptoterad mellan ungdom och vuxen ålder (Kompletterande Fig. 7 uppkopplad). Dessa resultat visade att toppspårningsfelsvaret i tonåren var robust mot olika modeller, medan åldersrelaterade förändringar i beslutsvärdessignaler var känsliga för modellspecifikation.

Baserat på tidigare arbete som visar att ventralstriatumen är konsekvent känslig för oväntad positiv återkoppling, vilket återspeglas i modellbaserade belöningsspecifikationsfelsignaler (t.ex.7) undersökte vi lokaliseringen av prediktionsfelrelaterade svar för varje åldersgrupp separat inom en oberoende anatomisk avkastning inklusive de bilaterala caudat-, putamen- och nucleusaccumbensna med hjälp av den ursprungliga förstärkningslärningsmodellen (Fig. 2b). Striatalregioner som är signifikant relaterade till positivt prediktionsfel överlappar varandra inte för tonåringar och vuxna. Även om vuxna i denna studie hade aktivitet i den ventrala striatala regionen som konsekvent sett i studier som undersökte prediktionsfel hos vuxna hade ungdomar aktivitet i en mer dorsal region. Barn hade ingen aktivitet i striatumrelaterat positivt prediktionsfel.

Våra resultat omfattar tidigare resultat av ökad belöningsrelaterad neural aktivitet under tonåren8 genom att visa att detta resultat är specifikt för prediktionsfel, jämfört med värdesignaler. Utvecklingsskillnaderna i prediktionsfelsvaret återspeglar sannolikt skillnader i fasisk dopamin-signalering13. Om det är korrekt, ger detta en direkt förklaring till det riskabla belöningssökande beteendet som ofta observeras hos ungdomar. Det ökade riskfyllda beteendet i ungdomar kan teoretiskt reflektera antingen en minskad känslighet för potentiella negativa resultat eller en ökad känslighet för potentiella positiva resultat. Vi tror att våra data är förenliga med det senare: det vill säga ökade prediktionsfelsignaler (som uttryckligen återspeglar större fasiska dopaminsignaler) återspeglar större effekt av positiva resultat14, vilket föreslås resultera i ökad motivation för att få positiva resultat (och därmed större riskupptagning). Således kan ett överaktivt dopaminergt prediktionsfelrespons hos ungdomar resultera i en ökning av belöningssökande, särskilt när det kombineras med ett omogent kognitivt styrsystem1.

De nuvarande resultaten kan belysa varför tidigare studier har resulterat i inkonsekventa effekter av ålder vid belöningsprocesser. För det första jämförde inte alla studier ungdomar till både barn och vuxna, vilket innebär att möjligheten till olinjära relationer med ålder inte kunde noteras. Vidare har definitionen av "ungdom" inte varit konsekvent i studierna. För det andra är det viktigt att notera att den probabilistiska inlärningsuppgiften som användes här inte var en riskabel beslutsfattande uppgift i sig, således skiljer sig från andra uppgifter som används i belönings- och riskupptagande litteratur. För det tredje tyder våra resultat på att en korrekt förståelse av utvecklingsförändringar i belöningsprocessen kräver användning av modellbaserade tillvägagångssätt tillsammans med sönderdelning av enskilda provkomponenter (stimulans, val och feedback).

Det blir alltmer uppenbart att ungdomar är en unik period i psykologisk utveckling, och att det riskabla, belöningssökande beteendet som uppstår under denna period kan leda till signifikant sjuklighet och dödlighet, inklusive oavsiktlig död och uppkomsten av narkotikamissbruk. Således är det en kritisk utmaning att förstå den neurala grunden för ungdomars beslutsfattande. Nuvarande arbete tyder på att en bidragsgivare till ungdomsbelöningssökande kan vara förekomsten av förbättrade prediktionsfelsignaler, vilket ger ett nytt mål för framtida studier av denna viktiga utvecklingsperiod.

Extramaterial

Erkännanden

Denna forskning stöddes av National Institute of Mental Health (5R24 MH072697), National Institute of Drug Abuse (5F31 DA024534), McDonnell Foundation och Della Martin Foundation.

fotnoter

Författarbidrag GFC hjälpte till att utforma experimenten, genomföra datainsamling och analyser och skrev manuskriptet. RFA, RMB och SYB utformade experimenten. FWS bidrog till datainsamling. BJK och RAP utformade experimenten och hjälpte skriva manuskriptet.

 

Konkurrerande intressen Författarna förklarar att de inte har några konkurrerande ekonomiska intressen.

Referensprojekt

1. Casey BJ, Getz S, Galvan A. Dev Rev. 2008;28: 62-77. [PMC gratis artikel] [PubMed]
2. Kahneman D, Tversky A. Econometrica. 1979;47: 263-91.
3. Chib VS, Rangel A, Shimojo S, O'Doherty JP. J Neurosci. 2009;29: 12315-20. [PubMed]
4. Tom SM, Fox CR, Trepel C, Poldrack RA. Science. 2007;315: 515-8. [PubMed]
5. Rescorla RA, Wagner AR. I: Klassisk konditionering II: Aktuell forskning och teori. Black A, Prokasy WF, redaktörer. Appleton Century Crofts; New York, NY: 1972. pp. 64-99.
6. Schultz W, Dayan P, Montague PR. Science. 1997;275: 1593-9. [PubMed]
7. Pagnoni G, Zink CF, Montague PR, Berns GS. Nat Neurosci. 2002;5: 97-8. [PubMed]
8. Galvan A, et al. J Neurosci. 2006;26: 6885-92. [PubMed]
9. Bjork JM, et al. J Neurosci. 2004;24: 1793-802. [PubMed]
10. Maj JC, et al. Biolpsykiatri. 2004;55: 359-66. [PubMed]
11. Knowlton BJ, Mangels JA, Squire LR. Science. 1996;273: 1399-402. [PubMed]
12. Hare TA, O'Doherty J, Camerer CF, Schultz W, Rangel A. J Neurosci. 2008;28: 5623-30. [PubMed]
13. D'Ardenne K, McClure SM, Nystrom LE, Cohen JD. Science. 2008;319: 1264-7. [PubMed]
14. Berridge KC, Robinson TE. Brain Res Rev. 1998;28: 309-69. [PubMed]