KOMMENTARER: Usikkerhet betyr nyhet. Denne komplekse studien bekrefter at nyheten øker dopamin. Det forklarer også at jo mer usikker belønningen er desto sterkere blir læringen. Internetporno er forskjellig fra fortidens porno på grunn av den endeløse nyheten - som betyr endeløse sprut av dopamin. Avhengighet i sin kjerne er læring og minne. Å bytte til ny pornografisk genre aktiverer dopamin og læring - på grunn av usikkerheten om hva du skal oppleve. Usikkerhet oppstår også når pornobrukere surfer etter porno. Du vet ikke hva du er i ferd med å se, og som knytter dopamin til.
Nyhet, usikkerhet, og søker alle aktivere dopamin
Full studie: Dopamin Usikkerhet og TD Læring
Behavioral og Brain Funksjoner 2005, 1:6doi:10.1186/1744-9081-1-6
Yael Niv1,2 , Michael O Duff2 og Peter Dayan2
1 Tverrfaglig Senter for Neural Computation, Hebraisk Universitet, Jerusalem, Israel
2 Gatsby Computational Neuroscience Unit, University College London, London, Storbritannia
Den elektroniske versjonen av denne artikkelen er den komplette og kan finnes online på: http://www.behavioralandbrainfunctions.com/content/1/1/6
© 2005 Niv et al; lisensinnehaver BioMed Central Ltd.
Abstrakt
Vesentlige bevis tyder på at de phasiske aktivitetene til dopaminerge nevroner i primatmidlene representerer en midlertidig forskjell (TD) -feil i spådommer om fremtidig belønning, med økninger over og ned under basislinjen som følge av henholdsvis positiv og negativ prediksjonsfeil. Dopaminceller har imidlertid svært lav baseline aktivitet, noe som innebærer at representasjonen av disse to feiltyper er asymmetrisk. Vi undersøker implikasjonene av denne tilsynelatende uskadelige asymmetrien for tolkning av dopaminerge brennemønstre i eksperimenter med probabilistiske belønninger som gir vedvarende prediksjonsfeil. Spesielt viser vi at når vi beregner de ikke-stasjonære prediksjonsfeilene på tvers av forsøk, bør en ramping i aktiviteten til dopaminneuronene være åpenbar, hvis omfang er avhengig av læringshastigheten. Dette nøyaktige fenomenet ble observert i et nylig eksperiment, selv om det ble tolket der i antipodale termer som en in-trial koding av usikkerhet.
Introduksjon
Det er en imponerende stor kropp av fysiologiske, bilde- og psykofarmakologiske data angående den phasiske aktiviteten til dopaminerge (DA) celler i midterbrentene av aper, rotter og mennesker i klassiske og instrumentelle konditioneringsoppgaver med forutsetninger om fremtidige belønninger [1-5]. Disse dataene er tatt for å foreslå [6,7] at aktiviteten til DA neurons representerer tidsforskjeller (TD) feil i prognosene for fremtidig belønning [8,9]. Denne TD-teorien om dopamin gir et presist beregningsgrunnlag for å forstå en rekke adferds- og neurale data. Videre foreslår det at DA gir et signal som er teoretisk egnet for å kontrollere læring av både spådommer og belønningsoptimaliserende handlinger.
Noen av de mest overbevisende bevisene til fordel for TD-teorien kommer fra studier som undersøker fasisk aktivering av dopaminceller som svar på vilkårlig stimuli (som fraktalmønstre på en skjerm) som forutsier nærmest tilgjengeligheten av belønninger (for eksempel dråper juice) . I mange varianter har disse vist at under trening overfører phasic DA signaler fra tidspunktet for den første uforutsigbare belønningen til tiden for den tidligste køen som forutsier en belønning. Dette er nøyaktig det forventede resultatet for en midlertidig forskjellsbasert prediksjonsfeil (for eksempel [1,2,10-13]). Det grunnleggende funnet [7] er at når en belønning er uventet (som er uunngåelig i tidlige forsøk), reagerer dopaminceller sterkt på den. Når en belønning er spådd, reagerer cellene imidlertid på prediktoren, og ikke til den nå forventede belønningen.
Hvis en forventet belønning uventet utelates, blir cellene phasically hemmet ved normal belønningstid, en hemming som avslører den nøyaktige tidspunktet for belønningsprognosen [10], og hvis tidsmessige beregninger for tiden er under et rettsmedisinsk søkelys [14]. Skiftet i aktivitet fra belønningstid til prediktorens tid ligner skiftet til dyrets appetittvekkende atferdsreaksjon fra belønningstidspunktet (den ubetingede stimulansen) til den av den betingede stimulansen i klassiske kondisjoneringseksperimenter [7,10] .
I en mest interessant nylig studie, Fiorillo et al. [15] undersøkte tilfelle av delvis forsterkning, der det foreligger vedvarende, uberettiget, prediksjonsfeil på hver enkelt prøveperiode. En enkel tolkning av TD-prediksjonsfeilhypotesen vil tyde på at i dette tilfelle (a) dopaminaktivitet ved tidspunktet for prediktive stimuli ville skalere med sannsynligheten for belønning, og (b) i gjennomsnitt over forsøk, den dopaminerge responsen etter stimulusen og hele veien til belønningstidspunktet, bør være null. Selv om den første hypotesen ble bekreftet i forsøkene, var den andre ikke. Mellomforsøkens gjennomsnittlige svar viste en klar ramping av aktivitet under forsinkelsen mellom stimulansutbrudd og belønning som virket inkonsekvent med TD-kontoen. Fiorillo et al. antydet at denne aktiviteten representerer usikkerheten i belønningsleveransen, snarere enn en prediksjonsfeil.
I dette papiret besøker vi spørsmålet om vedvarende prediksjonsfeil. Vi viser at en avgjørende asymmetri i kodingen av positive og negative prediksjonsfeil fører til at man forventer rampen i gjennomsnittlig dopaminsignal mellom forsøk, og står også godt for to ytterligere trekk ved DA-signalet - tilsynelatende vedvarende aktivitet på tidspunktet for (potensiell) belønning og forsvinning (eller i det minste svekkelse) av rampesignalet, men ikke signalet på tidspunktet for belønning, i møte med spor heller enn forsinkelse condition. Begge disse fenomenene er også observert i de relaterte instrumentelle kondisjoneringseksperimenter av Morris et al. [16]. Til slutt tolker vi rampesignalet som det beste beviset som er tilgjengelig for tiden for arten av læringsmekanismen, der skiftet i dopaminaktivitet til tidspunktet for prediktive stimuli oppstår.
Usikkerhet i belønning forekomst: DA ramping
Fiorillo et al. [15] assosierte presentasjonen av fem forskjellige visuelle stimuli til makaker med forsinket, sannsynlig (pr = 0, 0.25, 0.5, 0.75, 1) levering av juice belønninger. De brukte et forsinkelsesparadigme, der stimulansen vedvarer i et fast intervall på 2s, med belønning som blir levert når stimulansen forsvinner. Etter trening indikerte apenes forventningsfulle slikkeatferd at de var klar over de forskjellige belønningssannsynlighetene knyttet til hver stimulus.
Figur 1a viser populasjonshistogrammer av ekstracellulært registrert DA-celleaktivitet, for hver pr. TD-teorien forutsier at den fasiske aktiveringen av DA-cellene på tidspunktet for de visuelle stimuli skal tilsvare gjennomsnittlig forventet belønning, og det skal da øke med pr. Figur 1a viser nøyaktig dette - faktisk, over hele befolkningen, er økningen ganske lineær. Morris et al. [16] rapporterer et lignende resultat i en instrumental (spor) kondisjoneringsoppgave som også involverer probabilistisk forsterkning.
Figur 1. Gjennomsnittlig prediksjonsfeil i en probabilistisk belønningsoppgave
(a) DA-respons i forsøk med forskjellige belønningssannsynligheter. Befolkningens peri-stimulustidshistogrammer (PSTHs) viser den summerte spikingaktiviteten til flere DA-neuroner over mange forsøk, for hver pr, samlet over belønnede og ubelønte studier med mellomliggende sannsynligheter. (b) TD-prediksjonsfeil med asymmetrisk skalering. I den simulerte oppgaven ble en av fem stimuli i hvert forsøk valgt tilfeldig og vist på tidspunktet t = 5. Stimuleringen ble slått av ved t = 25, på hvilket tidspunkt en belønning ble gitt med en sannsynlighet for pr spesifisert av stimulansen. Vi brukte en avlyttet forsinkelseslinjepresentasjon av stimuli (se tekst), med hver stimulus representert av et annet sett med enheter ('neuroner'). TD-feilen var δ (t) = r (t) + w (t - 1) • x (t) - w (t - 1) • x (t - 1), med r (t) belønningen på tidspunktet t og x (t) og w (t) tilstands- og vektvektorene for enheten. En standard online TD-læringsregel ble brukt med en fast læringsrate α, w (t) = w (t - 1) + αδ (t) x (t - 1), slik at hver vekt representerte en forventet fremtidig belønningsverdi. I likhet med Fiorillo et al. Skildrer vi prediksjonsfeilen δ (t) gjennomsnitt over mange forsøk, etter at oppgaven er lært. Representasjonsasymmetrien oppstår når negative verdier av δ (t) er skalert med d = 1/6 før summering av den simulerte PSTH, selv om læring fortsetter i henhold til uskalerte feil. Til slutt, for å redegjøre for de små positive responsene på tidspunktet for stimulansen for pr = 0 og på tidspunktet for den (forutsagte) belønningen for pr = 1 sett i (a), antok vi en liten (8%) sjanse for at en prediktiv stimulans er feilidentifisert. (c) DA-respons i pr = 0.5 forsøk, atskilt i belønne (venstre) og ubelønte (høyre) forsøk. (d) TD-modell av (c). (a, c) Trykt på nytt med tillatelse fra [15] © 2003 AAAS. Tillatelse fra AAAS er nødvendig for all annen bruk.
I motsetning til det tidspunktet for potensiell belønning leverer TD-teorien at det i gjennomsnitt ikke burde være noen aktivitet, da det i gjennomsnitt ikke er noen prediksjonsfeil på den tiden. Selvfølgelig er det i den probabilistiske forsterkningsdesignen (i hvert fall for pr ≠ 0, 1) faktisk en prediksjonsfeil på tidspunktet for levering eller ikke-belønning av belønning ved hver enkelt prøveperiode. På prøvelser der en belønning er levert, bør prediksjonsfeilen være positiv (da belønningen er større enn den gjennomsnittlige belønningen forventes). Omvendt bør det ved prøver uten belønning være negativt (se figur 1c). Kritisk, under TD, bør gjennomsnittet av disse forskjellene, vektet av deres sannsynlighet, forekomme null. Hvis det ikke er null, bør denne prediksjonsfeilen fungere som et plastisitetssignal, og endrer spådommene til det ikke foreligger en prediksjonsfeil. I motsetning til denne forventningen viser dataene i Figur 1a, som er gjennomsnittet over både belønnede og ubelønte forsøk, at det faktisk er positiv, gjennomsnittlig aktivitet på dette tidspunktet. Dette er også tydelig i dataene til Morris et al. [16] (se figur 3c). De positive DA-svarene viser ingen tegn på å forsvinne selv med betydelig trening (i løpet av måneder).
Verre enn dette for TD-modellen, og faktisk Fiorillo et al. [15], er den tilsynelatende rampingen av DA-aktiviteten mot forventet belønningstid. Da rampens størrelse er størst for pr = 0.5, Fiorillo et al. foreslo at det rapporterer usikkerheten i belønningsleveransen, snarere enn en prediksjonsfeil, og spekulerte på at dette signalet kunne forklare de tilsynelatende appetitive egenskapene til usikkerhet (sett i gambling).
Både rampingsaktiviteten og aktiviteten på den forventede tiden for belønning utgjør kritiske utfordringer for TD-teorien. TD-læring opererer ved å arrangere for DA-aktivitet på en gang i en prøveversjon som skal forutsies vekk av spor som er tilgjengelig tidligere i den forsøket. Det er således ikke klart hvordan enhver tilsynelatende forutsigbar aktivitet, det være seg det som på belønningstidspunktet eller i rampen før, kan fortsette uten å bli forutsatt vekk ved det synlige stimulans start. Tross alt bekrefter den pr-avhengige aktiviteten som svar på stimulansen sin status som en gyldig prediktor. Videre er et sentralt aspekt ved TD [17] at det forutsier handlingsvalg ved å bruke verdien av en stat som en indikasjon på fremtidige belønninger som er tilgjengelige fra denne tilstanden, og dermed dens tiltrengelighet som et mål for handling. Fra dette perspektivet, siden rampingsaktiviteten eksplisitt ikke er forutsatt av den tidligere køen, kan den ikke påvirke tidlige handlinger, for eksempel beslutningen om å gamble. For eksempel vurdere en konkurranse mellom to handlinger: en til slutt fører til en stat med en deterministisk belønning og derfor ingen rampe, og den andre fører til en stat etterfulgt av en probabilistisk belønning med samme middel og en rampe. Siden rampen ikke påvirker aktiviteten på tidspunktet for den betingede stimulansen, kan den ikke brukes til å evaluere eller favorisere den andre handlingen (gambling) over den første, til tross for den ekstra usikkerheten.
Vi foreslår den alternative hypotesen om at begge disse uregelmessige skytemønstrene direkte skyldes de begrensninger som undertrykkes av den lave baseline aktiviteten til DA-neuroner (2-4 Hz) på kodingen av den signerte prediksjonsfeilen. Som bemerket av Fiorillo et al. [15] representeres positive prediksjonsfeil ved å skyte på ~ 270% over basislinjen, mens negative feil representeres av en nedgang på bare ~ 55% under basislinjen (se også [14,18]). Denne asymmetrien er en enkel konsekvens av kodingen av en signert mengde ved å skyte som har en lav basislinje, selv om det selvsagt bare kan være positiv. Brennhastigheter over baseline kan kode positive prediksjonsfeil ved å bruke et stort dynamisk område, men under baseline brennhastigheter kan bare gå ned til null, og innføre en begrensning på koding av negative prediksjonsfeil.
Derfor må man være forsiktig med å tolke summene (eller gjennomsnitt) av peri-stimulus-tid-histogrammer (PSTHs) av aktivitet over forskjellige studier, som det ble gjort i figur 1a. De asymmetrisk kodede positive og negative feilsignalene på tidspunktet for mottakelse eller manglende mottakelse av belønning, burde faktisk ikke oppsummere til null, selv om de representerer riktige TD-prediksjonsfeil. Når vi oppsummerer, vil den lave avfyringen som representerer de negative feilene i de ikke-belønte forsøkene, ikke "avbryte" den raske avfyringen som koder for positive feil i de belønte forsøkene, og generelt vil gjennomsnittet vise en positiv respons. I hjernen, selvfølgelig, ettersom svar ikke blir gjennomsnittet over (belønnede og ubelønte) studier, men over nevroner i en prøve, trenger dette ikke å utgjøre et problem.
Dette forklarer den vedvarende positive aktiviteten (i gjennomsnitt) på tidspunktet for levering eller ikke-levering av belønningen. Men hva med rampen før denne gangen? I hvert fall i visse nevrale representasjoner av tiden mellom stimulus og belønning, når forsøkene er gjennomsnittlige, fører denne samme asymmetrien TD til å resultere nøyaktig i en rampe av aktivitet mot belønningstidspunktet. TD-læringsmekanismen har til hensikt å propagere, på prøveprøving, forutsigelsesfeil som oppstår på en gang i en prøveperiode (for eksempel på belønningstidspunktet) mot potensielle prediktorer (som CS) som oppstår ved tidligere tider innen hvert forsøk. Under den asymmetriske representasjonen av positive og negative prediksjonsfeil som vi nettopp har diskutert, vil gjennomsnittlig disse forplantningsfeilene over flere forsøk (som i figur 1a) føre til positive måter for epoker i en prøveperiode før en belønning. Den presise formen for den resulterende aktivitetsrampen avhenger av hvordan stimuli er representert over tid, så vel som på læringshastigheten, slik det vil bli diskutert nedenfor.
Figur 2 illustrerer dette synet på opprinnelsen til rampingaktiviteten. Her er en avlyttet forsinkelseslinjepresentasjon av tid siden stimulansen brukes. For dette blir hver enhet ('neuron') aktiv (dvs. antar verdien 1) ved en viss forsinkelse etter at stimulusen er presentert, slik at hvert tidspunkt etter stimulusstart er konsekvent representert ved avfyring av en enhet. Læring er basert på (dopaminergisk rapportert) TD-feil, formalisert som δ (t) = r (t) + V (t) - V (t - 1), med V (t) den vektede inngangen fra den aktive enheten ved tid t, og r (t) belønningen oppnådd på tidspunktet t. Oppdatering av vektene til enhetene i henhold til standard TD-oppdateringsregelen med en fast læringsfrekvens, gjør at V (t) i gjennomsnitt representerer de forventede fremtidige belønningene (se bildetekst i figur 1). Ettersom hvert påfølgende tidspunkt er representert hver for seg, kan TD-prediksjonsfeil oppstå når som helst i rettssaken. Figur 2a viser disse feilene i seks påfølgende simulerte studier der pr = 0.5. I hvert forsøk oppstår en ny positiv eller negativ feil på belønningstidspunktet, som følge av mottakelse eller manglende mottakelse av belønningen, og trinn for trinn spredes feilene fra tidligere forsøk tilbake til tidspunktet for stimulansen gjennom den konstante oppdateringen av vektene (f.eks. feilen markert med rødt). Ved gjennomsnitt (eller, som i PSTHs, summerer) over forsøk, avbryter disse feilene hverandre i gjennomsnitt, noe som resulterer i et samlet flatt histogram i intervallet etter stimulusstart, og fører opp til belønningstiden (svart linje i figur 2b, oppsummert over de 10 forsøkene vist i tynt blått). Imidlertid, når det summeres etter asymmetrisk skalering av de negative feilene med en faktor d = 1/6 (som simulerer den asymmetriske kodingen av positive og negative prediksjonsfeil av DA-neuroner), oppstår en positiv aktivitetsrampe, som illustrert av den svarte linjen. i figur 2c. Vær oppmerksom på at denne skaleringen bare er et representasjonsspørsmål som skyldes begrensningene for å kode en negativ verdi om en lav utløpsfrekvens, og ikke bør påvirke læringen av vektene, for ikke å lære feil verdier (se diskusjon). Imidlertid, som PSTHs er direkte summer av nevronale pigger, bærer dette representasjonsspørsmålet på det resulterende histogrammet.
Figur 2. Tilbakekalling av prediksjonsfeil forklarer rampingsaktivitet.
(a) TD-prediksjonsfeilen over hver av seks påfølgende forsøk (topp til bunn) fra simuleringen i figur 1b, med pr = 0.5. Fremhevet i rødt er feilen på belønningstidspunktet i den første av forsøkene, og dens gradvise tilbakemelding til stimulustidspunktet i etterfølgende forsøk. Blokkbokstaver angir utfallet av hver enkelt prøveperiode (R = belønnet; N = ikke belønnet). Sekvensen av belønninger som går foran disse forsøkene er gitt øverst til høyre. (b) TD-feilen fra disse seks forsøkene, og fire som følger dem, overlappes. De røde og grønne linjene illustrerer konvolutten av feilene i disse forsøkene. Sammendrag over disse forsøkene resulterer i ingen gjennomsnittlig aktivitet over gjennomsnittet (svart linje), da positive og negative feil forekommer tilfeldig 50% av tiden, og dermed avbryter hverandre. (c) Men når prediksjonsfeilene er asymmetrisk representert over og under grunnlinjens brennhastighet (her var negative feil asymmetrisk skalert av d = 1 / 6 for å simulere den asymmetriske kodingen av prediksjonsfeil av DA-neuroner), en gjennomsnittlig aktivitetsrampe dukker opp når gjennomsnittsprøver, som illustrert av den svarte linjen. Alle simuleringsparametrene er de samme som i Figur 1b, d.
Tallene 1b, d viser rampen som oppstår fra denne kombinasjonen av asymmetrisk koding og mellomprøveverdi, sammenlignet med eksperimentelle data. Figur 1b viser PSTH beregnet fra våre simulerte data ved å gjennomsnittlig over det asymmetrisk representert δ (t) signal i ~ 50 forsøk for hver stimulus type. Figur 1d viser resultatene for pr = 0.5-saken, delt inn i belønnede og ubelønte forsøk for sammenligning med figur 1c. De simulerte resultatene ligner de eksperimentelle dataene tett ved at de replikerer netto positiv respons på de usikre fordelene, samt rampeffekten, som er høyest i pr = 0.5-saken.
Det er enkelt å utlede den gjennomsnittlige responsen på tidspunktet for belønningen (t = N) i prøve T, dvs. den gjennomsnittlige TD-feilen δT(N) , fra TD-læringsregelen med den forenklede forsinkelseslinjetidsrepresentasjonen og en fast læringsrate α. Verdien ved det nest siste tidstrinn i en prøveperiode, som funksjon av prøvenummer (med startverdier antatt å være null), er
hvor r (t) er belønningen ved slutten av rettssaken t. Feilsignalet ved siste tidspunkt av prøven T er ganske enkelt forskjellen mellom den oppnådde belønningen r (T), og verdien som forutsier den belønningen VT - 1 (N - 1). Denne feilen er positiv med sannsynlighet pr, og negativ med sannsynlighet (1 - pr). Å skalere de negative feilene med faktoren d ∈ (0, 1], får vi dermed
For symmetrisk koding av positive og negative feil (d = 1) er gjennomsnittlig respons 0. For asymmetrisk koding (0
En viktig prøvesak for vår tolkning oppstår i en variant av Fiorillo et al. [15] oppgave, så vel som i den analoge instrumentelle oppgaven til Morris et al. [16], begge involverer sporingskondisjonering. I motsetning til forsinket kondisjonering (figur 3a) der belønningen sammenfaller med forskyvningen av den prediktive stimulansen, er det her et betydelig gap mellom forskyvningen av den prediktive stimulansen og levering av belønningen (figur 3b). I dette tilfellet kan usikkerhet om belønningen bare bli større på grunn av støy i tidsintervallet mellom stimulus og belønning [19], så under usikkerhetsregnskapet bør det være sammenlignbare eller enda større ramper. De eksperimentelle resultatene viser imidlertid at rampeaktiviteten er mindre, eller til og med ubetydelig (figur 3c; d). Vær imidlertid oppmerksom på at størrelsen på prøve-gjennomsnittlig aktivitet på forventet tidspunkt for belønning opprettholdes, og peker på en dissosiasjon mellom rampens høyde og mengden positiv aktivitet på forventet tidspunkt for belønning.
Figur 3. Spor conditioning med probabilistic belønninger.
(a) En illustrasjon av en prøveversjon av Fiorillo et al. [15]. En prøve består av en 2-sekunders visuell stimulans, hvis forskyvning sammenfaller med levering av juice-belønningen, hvis en slik belønning er programmert i henhold til sannsynligheten forbundet med den visuelle signalen. I ubelønte studier ble stimulansen avsluttet uten belønning. I begge tilfeller skiller et intervall mellom rettssaken på 9 sekunder i gjennomsnitt forsøkene. (b) En illustrasjon av en prøveversjon av Morris et al. [16]. Den avgjørende forskjellen er at det nå er en betydelig tidsforsinkelse mellom forskyvningen av stimulansen og belønningens begynnelse ("spor" -perioden), og ingen ekstern stimulans indikerer forventet belønningstid. Dette gir ytterligere usikkerhet ettersom presis timing av den forventede belønningen må løses internt, spesielt i ulønnede studier. I denne oppgaven, som i [15], ble en av flere visuelle stimuli (ikke vist) presentert i hvert forsøk, og hver stimulus var assosiert med en sannsynlighet for belønning. Også her ble apen bedt om å utføre et instrumentelt svar (å trykke på tasten som tilsvarer siden der stimulansen ble presentert), hvis feil avsluttet rettssaken uten belønning. Forsøk ble atskilt med varierende intervaller mellom forsøk. (c, d) DA-skytefrekvens (utjevnet) i forhold til utgangspunktet, rundt forventet tidspunkt for belønningen, i belønnede forsøk (c) og i ubelønte forsøk (d). (c, d) Gjengitt fra [16] © 2004 med tillatelse fra Elsevier. Sporene innebærer en samlet positiv respons på det forventede tidspunktet for belønningen, men med en veldig liten eller ingen rampe som går foran dette. Lignende resultater ble oppnådd i en klassisk kondisjoneringsoppgave kort beskrevet i [15], som benyttet en sporingsbehandlingsprosedyre, som bekreftet at sporingsperioden, og ikke den instrumentelle naturen til oppgaven som er avbildet i (b), var den avgjørende forskjellen fra (a) .
TD-modellen til DA forklarer disse forvirrende dataene. Som vist i figur 4 påvirkes rampens form, men ikke høyden av sin topp, av læringshastigheten. Størrelsen på tilbakeproduserende prediksjonsfeil bestemmes delvis av læringsraten, da disse feilene oppstår som en del av den elektroniske læring av nye spådommer. Faktisk er det en kontinuerlig oppdatering av spådommer slik at etter en belønnet prøveperiode er det en høyere forventning om belønning (og dermed neste belønning medfører en mindre prediksjonsfeil) og omvendt etter en ikke-belønnet prøveversjon [18] (se figur 2a). Denne oppdateringen av spådommer er direkte relatert til læringsgraden - jo høyere læringsfrekvensen er, desto større oppdatering av spådommer i henhold til gjeldende prediksjonsfeil, og jo større brøkdel av prediksjonsfeilen som blir spredd tilbake. På denne måten, med høyere læringsnivåer, vil forskjellen i forventninger etter en belønnet versus en uopptjent prøve bli større, og dermed vil prediksjonsfeilene når neste belønning er eller ikke er tilgjengelig, bli større - dermed den større og mer gradvise rampen.
Figur 4. Avhengighet av rampen på læringsfrekvensen.
Formen på rampen, men ikke høyden på toppen, er avhengig av læringshastigheten. Grafen viser simulert aktivitet for tilfellet pr = 0.5 nær tidspunktet for forventet belønning, for ulike læringsrater, i gjennomsnitt over både belønnede og ubelønte forsøk. I følge TD-læring med vedvarende asymmetrisk kodede prediksjonsfeil resulterer gjennomsnittet over aktivitet i belønnede og ubelønte forsøk i en rampe opp til belønningstidspunktet. Høyden på toppen av rampen bestemmes av forholdet mellom belønnede og ubelønte forsøk, men rampens bredde bestemmes av frekvensen av tilbakemelding av disse feilsignalene fra tidspunktet for den (forventede) belønning til Tidspunktet for den prediktive stimulansen. En høyere læringsrate resulterer i en større brøkdel av feilen som sprer seg tilbake, og dermed en høyere rampe. Med lavere læringsnivåer blir rampen ubetydelig, selv om den positive aktiviteten (i gjennomsnitt) på belønningstidspunktet fortsatt er opprettholdt. Merk at selv om læringsraten som ble benyttet i simulasjonene vist i figur 1b, var d 0.8, bør dette ikke tas som den bokstavelige synaptiske læringshastigheten til nevrale substratet, gitt vår skjematiske representasjon av stimulus. I en mer realistisk representasjon der en populasjon av nevroner er aktiv i hvert tidsrom, vil en mye lavere læringsrate gi tilsvarende resultater.
Faktisk, sammenlignet med forsinkelse av kondisjon, er sporingskonditionert notorisk sakte, noe som tyder på at læringsgraden er lav, og dermed at det skulle være en lavere rampe i samsvar med eksperimentelle resultater. En direkte undersøkelse av læringsraten i dataene til Morris et al. [16], hvis oppgave krevde overdreven trening, da det ikke bare var en sporingskondition, men også involvert en instrumental handling, bekreftet at den faktisk var svært lav (Genela Morris - personlig kommunikasjon, 2004).
Diskusjon
Differensialkoding av positive og negative verdier av DA-neuroner er tydelig i alle studier av phasic DA-signalet, og kan betraktes som en uunngåelig konsekvens av den lave baselineaktiviteten til disse nevronene. Faktisk har sistnevnte direkte inspirert forslag som en motstanderens nevrotransmitter, formelt serotonin, er involvert i å representere og derfor lærer de negative prediksjonsfeilene [20], slik at de også har et fullt kvartal. Her har vi imidlertid begrenset oss til å vurdere effekten av asymmetri på prøve-gjennomsnittlig analyse av dopaminaktiviteten, og har vist at rampe DA-aktivitet, samt en gjennomsnittlig positiv respons på tidspunktet for belønning, resulterer direkte fra den asymmetriske kodingen av prediksjonsfeil.
Bortsett fra et tydeligere bilde av feilsignalet, er den viktigste konsekvensen av den nye tolkningen at rampene kan ses som en signatur av et TD-fenomen som hittil har vært ekstremt uklar. Dette er den progressive tilbak propagasjonen av feilsignalet representert ved DA-aktivitet, fra tidspunktet for belønning til tidspunktet for prediktoren (Figur 2a). De fleste tidligere studier av dopaminerg aktivitet har brukt pr = 1, slik at denne tilbaketallingen i beste fall bare er et forbigående fenomen som bare er klart ved begynnelsen av treningen (når det vanligvis ikke er registrert innspillinger ennå) og potensielt vanskelig å skille seg ut i sakte- skyte DA neuroner. Videre, som nevnt, avhenger propagasjonen av måten at tiden mellom prediktiv stimulus og belønning er representert - den er til stede for en forsinket forsinkelseslinjepresentasjon som i [6], men ikke for representasjoner som spenner over hele forsinkelse, for eksempel i [21]. Legg merke til at rampens form også avhenger av bruken av kvalifiseringsspor og den såkalte TD (λ) læringsregelen (simulering ikke vist), som gir en ekstra mekanisme for brotid mellom hendelser under læring. Dessverre, da skjemaene i rampene i dataene er ganske variable (figur 1) og støyende, kan de dessverre ikke gi sterke begrensninger på den presise TD-mekanismen som brukes av hjernen.
Nyere studier som involverer vedvarende prediksjonsfeil viser også aktivitet som tyder på tilbakeprodusering, særlig Figur 4 av [13]. I denne studien skyldes prediksjonsfeil fra periodiske endringer i oppgaven, og DA-opptak ble laget fra oppstart av opplæring, slik at tilbak propagasjonslignende aktivitet er direkte åpenbar, selv om denne aktiviteten ikke ble kvantifisert.
Vi forventer at ramper vil fortsette gjennom hele opplæringen bare hvis læringsfrekvensen ikke faller til null etter hvert som læring skrider frem. Pearce & Halls [22] teori om kontroll av læring ved usikkerhet antyder akkurat denne utholdenheten av læring - og det er bevis fra delvis forsterkningsplaner om at læringsgraden kan være høyere når det er mer usikkerhet knyttet til belønningen. Faktisk, fra et 'rasjonelt' statistisk synspunkt, bør læring vedvare når det er betydelig usikkerhet om forholdet mellom prediktorer og utfall, slik det kan oppstå fra den stadig tilstedeværende muligheten for en endring i de prediktive relasjonene. Denne formen for vedvarende usikkerhet, sammen med usikkerhet på grunn av første uvitenhet angående oppgaven, har blitt brukt til å formalisere Pearce & Halls teori om måten usikkerhet driver læring på [23]. Dermed bør vårt påstand om at usikkerhet kanskje ikke representeres direkte av ramper, absolutt ikke betraktes som at representasjonen og manipulasjonen av den ikke er viktig. Tvert imot har vi antydet at usikkerhet påvirker kortikal inferens og læring gjennom andre nevromodulatoriske systemer [24], og at den også kan avgjøre aspekter ved valg av handlinger [25].
Ulike andre egenskaper av asymmetrien bør noteres. Det mest kritiske er effekten av asymmetrien på DA-avhengig læring [26], dersom nedenfor baseline DA-aktiviteten er ansvarlig for seg selv for å redusere spådommer som er for høye. For å sikre at de lærte spådommene forblir korrekte, må vi anta at den asymmetriske representasjonen ikke påvirker læring, dvs. at en mekanisme som forskjellig skalering for potensiering og depresjon av de synaptiske styrker kompenserer for det asymmetriske feilsignalet. Selvfølgelig vil dette bli gjengitt hvis en motstanderens nevrotransmitter er involvert i å lære av negative prediksjonsfeil. Dette problemet er komplisert av forslaget til Bayer [14] at DA-avfyringshastigheter faktisk er lik for alle prediksjonsfeil under noen negativ terskel, kanskje på grunn av gulvvirkningen av lavt avfyringshastighet. En slik tapende koding påvirker ikke det kvalitative bildet av effektene av mellomprøveverdi på fremveksten av ramper, men forsterker behovet for et motstanderens signal for nødvendigvis symmetrisk læring.
Til slutt vil den mest direkte testen av vår tolkning være en sammenligning av intra- og inter-trial-gjennomsnitt av DA-signalet. Det ville være viktig å gjøre dette på en tidsmessig sofistikert måte, for å unngå problemer med gjennomsnitt av ikke-stasjonære signaler. For å overvinne støyen i nevrale avfyring, og avgjøre om det faktisk var en gradvis rampe i en prøveperiode, eller, som vi ville forutsi - periodiske positive og negative prediksjonsfeil, ville det være nødvendig å gjennomsnittlig over mange nevroner registrert samtidig i en prøve, og videre nevroner assosiert med lignende læringsgrader. Alternativt kan enkelt neuron spor bli regresert mot backpropagation respons spådd av deres foregående studier og TD læring. En sammenligning av mengden av variabilitet som er forklart av en slik modell, sammenlignet med den fra en regresjon mot en monoton aktivitetsrampe, kan peke på den mest passende modellen. En mindre grei, men mer testbar spådom er at rampens form skal avhenge av læringsgraden. Læringsgrader kan vurderes ut fra responsen på de sannsynlige fordelene, uavhengig av rampens form (Nakahara et al. [18] viste på en slik måte at læringsgraden i deres delvise forsterkning av sporingsoppgave var 0.3), og potensielt manipulert ved å variere treningsmengden eller frekvensen som oppgaveforventninger endres og læres inn på nytt. Å kvantifisere eksistensen og formen på en rampe i Nakahara et al .s registrerte DA-aktivitet, kan faktisk kaste lys over det nåværende forslaget.
Konkurrerende interesser
Forfatteren / erklærer at de ikke har noen konkurrerende interesser.
Forfatterens bidrag
YN, MD og PD oppfattet og gjennomførte denne studien sammen og hjalp utkastet til manuskriptet. Alle forfattere leser og godkjente det endelige manuskriptet.
Takk til
Vi er veldig takknemlige for H. Bergman, C. Fiorillo, N. Daw, D. Joel, P. Tobler, P. Shizgal og W. Schultz for diskusjoner og kommentarer, i noen tilfeller til tross for varierende tolkning av dataene. Vi er spesielt takknemlige for Genela Morris for å analysere sine egne publiserte og upubliserte data i forhold til ramping. Dette arbeidet ble finansiert av EC Thematic Network (YN), Gatsby Charitable Foundation og EU BIBA-prosjektet.
Referanser
1. Ljungberg T, Apicella P, Schultz W: Responser fra apes dopaminneuroner under læring av atferdsreaksjoner.
Journal Neurophysiol 1992, 67: 145-163.
Gå tilbake til tekst
2. Schultz W: Prediktivt belønningssignal fra dopaminnevroner. [http://jn.physiology.org/cgi/content/full/80/1/1] nettsted
Journal of Neurophysiology 1998, 80: 1-27. PubMed Abstract
Gå tilbake til tekst
3. O'Doherty J, Dayan P, Friston K, Critchley H, Dolan R: Temporelle forskjellsmodeller og belønningsrelatert læring i den menneskelige hjernen.
Neuron 2003, 38: 329-337. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
4. Seymour B, O'Doherty J, Dayan P, Koltzenburg M, Jones A, Dolan R, Friston K, Frackowiak R: Temporelle forskjellsmodeller beskriver høyere ordens læring hos mennesker.
Natur 2004, 429: 664-667. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
5. Montague PR, Hyman SE, Cohan JD: Beregningsmessige roller for dopamin i atferdskontroll.
Natur 2004, 431: 760-767. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
6. Montague PR, Dayan P, Sejnowski TJ: Et rammeverk for mesencefaliske dopaminsystemer basert på prediktiv hebbisk læring.
Journal of Neuroscience 1996, 16: 1936-1947. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
7. Schultz W, Dayan P, Montague PR: Et nevralt underlag for prediksjon og belønning.
Vitenskap 1997, 275: 1593-1599. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
8. Sutton RS: Lære å forutsi ved metoden for tidsforskjell.
Maskinlæring 1988, 3: 9-44.
Gå tilbake til tekst
9. Sutton RS, Barto AG: [http://www.cs.ualberta.ca/~sutton/book/ebook/the-book.html] nettsted
Forstærkning læring: En introduksjon. MIT Press; 1998.
Gå tilbake til tekst
10. Hollerman J, Schultz W: Dopaminnevroner rapporterer en feil i den tidsmessige prediksjonen av belønning under læring.
Natur Neurovitenskap 1998, 1: 304-309. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
11. Schultz W, Apicella P, Ljungberg T: Responser fra dopaminnevroner fra apekatt på belønning og betingede stimuli under påfølgende trinn for å lære en forsinket responsoppgave.
Journal of Neuroscience 1993, 13: 900-913. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
12. Tobler P, Dickinson A, Schultz W: Coding of Predicted Reward Omission by Dopamine Neurons in a Conditioned Inhibition Paradigm.
Journal of Neuroscience 2003, 23 (32): 10402-10410. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
13. Takikawa Y, Kawagoe R, Hikosaka O: En mulig rolle av dopaminnevroner i mellomhjernen i kort- og langsiktig tilpasning av saccades til kartlegging av posisjonsbelønning.
Journal of Neurophysiology 2004, 92: 2520-2529. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
14. Bayer H: En rolle for substantia nigra i læring og motorisk kontroll.
PhD-avhandling, New York University 2004.
Gå tilbake til tekst
15. Fiorillo C, Tobler P, Schultz W: Diskret koding av belønningssannsynlighet og usikkerhet av dopaminnevroner.
Vitenskap 2003, 299 (5614): 1898-1902. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
16. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H: Tilfeldige, men distinkte meldinger fra mellomhjernens dopamin og striatale tonisk aktive nevroner.
Neuron 2004, 43: 133-143. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
17. Barto A, Sutton R, Watkins C: Læring og sekvensiell beslutningstaking. In Learning and Computational Neuroscience: Foundations of Adaptive Networks. Redigert av Gabriel M, Moore J. Cambridge, MA: MIT Press; 1990:539-602.
Gå tilbake til tekst
18. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O: Dopaminnevroner kan representere kontekstavhengig prediksjonsfeil.
Neuron 2004, 41: 269-280. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
19. Gallistel CR, Gibbon J: Tid, hastighet og kondisjonering.
Psykologisk gjennomgang 2000, 107: 289-344. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
20. Daw ND, Kakade S, Dayan P: Motstanderinteraksjoner mellom serotonin og dopamin.
Nevrale nettverk 2002, 15 (4-6): 603-616. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
21. Suri RE, Schultz W: En nevrale nettverksmodell med dopaminlignende forsterkningssignal som lærer en romlig forsinket responsoppgave.
Neurovitenskap 1999, 91: 871-890. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
22. Pearce JM, Hall G: En modell for Pavlovsk læring: Variasjoner i effektiviteten til betingede, men ikke ubetingede stimuli.
Psykologisk gjennomgang 1980, 87: 532-552. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
23. Dayan P, Kakade S, Montague PR: Læring og selektiv oppmerksomhet.
Natur Neurovitenskap 2000, 3: 1218-1223. PubMed Abstract | Utgiver Fulltekst
Gå tilbake til tekst
24. Dayan P, Yu A: Forventet og uventet usikkerhet: Ach og NE i neocortex. [http://books.nips.ce/papers/files/nips15/NS08.pdf] nettsted
I fremskritt i nevrale informasjonsbehandling Sysytems Redigert av Dietterich T, Becker S, Ghahramani Z. Cambridge, MA: MIT Press; 2002, 14: 189-196.
Gå tilbake til tekst
25. Daw N, Niv Y, Dayan P: Handlinger, retningslinjer, verdier og den basale ganglia. I nylige gjennombrudd i forskning på basalganglia. Redigert av Bezard E. New York, USA: Nova Science Publishers, Inc; i trykken.
Gå tilbake til tekst
26. Wickens J, Kötter R: Cellular modeller av forsterkning. I modeller for informasjonsbehandling i basalganglia. Redigert av Houk JC, Davis JL, Beiser DG. MIT Press; 1995:187-214.
Gå tilbake til tekst