Prediktivt belønningssignal for dopaminneuroner (1998)

Funksjoner av belønning

Visse gjenstander og hendelser i miljøet er av særlig motivasjonsmessig betydning av deres effekter på velferd, overlevelse og reproduksjon. I henhold til atferdsreaksjonene som er fremkalt, kan motivasjonsverdien til miljøobjekter være appetittvekkende (givende) eller aversiv (straffe). (Legg merke til at “appetittvekkende” brukes synonymt for “belønning”, men ikke for “forberedende.”. Appetitive objekter har tre separerbare grunnleggende funksjoner. I sin første funksjon belønner fremkallende tilnærming og fullbyrdende atferd. Dette skyldes at objektene er merket med appetittvekkende verdi gjennom medfødte mekanismer eller, i de fleste tilfeller, læring. I sin andre funksjon øker belønningen frekvensen og intensiteten av atferd som fører til slike objekter (læring), og de opprettholder lærd atferd ved å forhindre utryddelse. Belønninger fungerer som positive forsterkere av oppførsel i klassiske og instrumentelle betingelser. Ved generell stimulanselæring får miljøstimuli appetittvekkende verdi etter klassisk betingede stimulus-belønning assosiasjoner og induserer tilnærmingsatferd (Bindra 1968). Ved instrumental kondisjon belønner du "forsterke" atferd ved å styrke assosiasjoner mellom stimuli og atferdsrespons (Law of Effect: Thorndike 1911). Dette er essensen av å "komme tilbake for mer" og er relatert til den vanlige forestillingen om belønning som oppnås for å ha gjort noe bra. I en instrumentell form for insentivlæring er belønning "insentiver" og fungerer som mål for atferd etter assosiasjoner mellom atferdsresponser og utfall (Dickinson og Balleine 1994). I sin tredje funksjon induserer belønninger subjektive følelser av glede (hedonia) og positive følelsesmessige tilstander. Avvikende stimuli fungerer i motsatte retninger. De induserer tilbaketrekningsresponser og fungerer som negative forsterkere ved å øke og opprettholde unngåelsesatferd ved gjentatt presentasjon, og reduserer dermed effekten av skadelige hendelser. Videre induserer de indre emosjonelle tilstander av sinne, frykt og panikk.

Funksjoner av spådommer

Spådommer gir forhåndsinformasjon om fremtidige stimuli, hendelser eller systemtilstander. De gir den grunnleggende fordelen ved å få tid til atferdsreaksjoner. Noen former for prediksjoner tilskriver motivasjonsverdier til miljøstimuli ved tilknytning til spesielle utfall, og identifiserer dermed gjenstander av vital betydning og diskriminerer dem fra mindre verdifulle gjenstander. Andre former koder fysiske parametere for predikerte objekter, for eksempel romlig posisjon, hastighet og vekt. Forutsigelser lar en organisme vurdere fremtidige hendelser før de faktisk inntreffer, tillater valg og forberedelse av atferdsreaksjoner, og øker sannsynligheten for å nærme seg eller unngå objekter merket med motivasjonsverdier. For eksempel gjør gjentatte bevegelser av objekter i samme sekvens at man kan forutsi kommende posisjoner og allerede forberede den neste bevegelsen mens man forfølger det nåværende objektet. Dette reduserer reaksjonstiden mellom individuelle mål, fremskynder den generelle ytelsen og resulterer i et tidligere resultat. Forutsigbare øyebevegelser forbedrer atferdsevne gjennom forhåndsfokusering (Blomster og Downing 1978).

På et mer avansert nivå lar forhåndsinformasjonen gitt av spådommer en ta beslutninger mellom alternativer for å oppnå bestemte systemtilstander, nærme seg sjelden forekommende målobjekter eller unngå uopprettelige bivirkninger. Industrielle applikasjoner bruker intern modellkontroll for å forutsi og reagere på systemtilstander før de faktisk oppstår (Garcia et al. 1989). For eksempel beregner "fly-by-wire" -teknikken i moderne luftfart forutsigbare kommende flystater. Avgjørelser for flyvende manøvrer tar hensyn til denne informasjonen og bidrar til å unngå overdreven belastning på de mekaniske komponentene i flyet, og reduserer dermed vekten og øker driftsområdet.

Bruken av prediktiv informasjon avhenger av arten av de representerte fremtidige hendelser eller systemtilstander. Enkle representasjoner angår direkte plasseringen av kommende mål og den påfølgende atferdsreaksjonen, og reduserer reaksjonstiden på en ganske automatisk måte. Høyere former for prediksjoner er basert på representasjoner som tillater logisk inferens, som kan nås og behandles med ulik grad av intensjonalitet og valg. De blir ofte behandlet bevisst hos mennesker. Før de predikerte hendelsene eller systemtilstandene oppstår og atferdsreaksjoner gjennomføres, tillater slike prediksjoner mentalt å evaluere ulike strategier ved å integrere kunnskap fra forskjellige kilder, utforme forskjellige reaksjonsmåter og sammenligne gevinstene og tapene fra hver mulig reaksjon.

Atferdskondisjonering

Associativ appetittvekkende læring innebærer gjentatt og kontingent sammenkobling mellom en vilkårlig stimulans og en primær belønning (Fig. 1). Dette resulterer i stadig hyppigere tilnærmingsatferd som er indusert av den nå “kondisjonerte” stimulansen, som delvis ligner den tilnærmingsatferden som fremkalles av den primære belønningen og også påvirkes av arten av den betingede stimulansen. Det ser ut til at den kondisjonerte stimulansen fungerer som en prediktor for belønning, og ofte på grunnlag av et passende drivkraft, setter en intern motivasjonstilstand som fører til atferdsreaksjonen. Likheten i tilnærmingsreaksjoner antyder at noen av de generelle, forberedende komponentene i atferdsresponsen blir overført fra den primære belønningen til den tidligste betingede, belønningspredikerende stimulansen. Dermed fungerer den betingede stimulansen delvis som en motivasjonserstatning for den primære stimulansen, sannsynligvis gjennom pavlovsk læring (Dickinson 1980).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 1. 

Prosessering av appetittvekkende stimuli under læring. En vilkårlig stimulans blir assosiert med en primær mat eller flytende belønning gjennom gjentatt, betinget sammenkobling. Denne betingede, belønning-forutsigende stimulansen induserer en indre motivasjonstilstand ved å fremkalle en forventning om belønningen, ofte på grunnlag av en tilsvarende sult eller tørstkraft, og fremkaller atferdsreaksjonen. Denne ordningen kopierer grunnleggende forestillinger om insentivmotivasjonsteori utviklet av Bindra (1968) og Bolles (1972). Det gjelder klassisk kondisjonering, hvor belønning automatisk leveres etter den betingede stimulansen, og instrumentell (operant) kondisjonering, der belønningstilførsel krever en reaksjon fra individet til den betingede stimulansen. Denne ordningen gjelder også for aversiv kondisjonering som ikke er utdypet nærmere av kortfattede årsaker.

Mange såkalte “ubetingede” mat og flytende belønninger læres antagelig gjennom erfaring, slik alle besøkende i utlandet kan bekrefte. Den primære belønningen kan da bestå av smaken som oppleves når objektet aktiverer de gustoriske reseptorene, men det kan igjen læres. Den ytterste givende effekten av næringsstoffer består trolig i deres spesifikke påvirkning på basiske biologiske variabler, for eksempel elektrolytt-, glukose- eller aminosyrekonsentrasjoner i plasma og hjerne. Disse variablene er definert av de vegetative behovene til organismen og oppstår gjennom evolusjon. Dyr unngår næringsstoffer som ikke påvirker viktige vegetative variabler, for eksempel mat som mangler så essensielle aminosyrer som histidin (Rogers og Harper 1970), treonin (Hrupka et al. 1997; Wang et al. 1996) eller metionin (Delaney og Gelperin 1986). Noen få primære belønninger kan bestemmes av medfødte instinkter og støtte innledende tilnærmingsatferd og svelging i det tidlige livet, mens flertallet av belønningene vil bli lært i løpet av den etterfølgende livserfaringen til faget. Det fysiske utseendet til belønninger kan da brukes til å forutsi de mye tregere vegetative effektene. Dette ville dramatisk akselerere oppdagelsen av belønninger og utgjøre en stor fordel for overlevelse. Læring av belønning gjør det også mulig for forsøkspersoner å bruke et mye større utvalg næringsstoffer som effektive belønninger og dermed øke sjansen for overlevelse i soner med knappe ressurser.

Aktivering ved primær appetittvekkende stimuli

Omlag 75% av dopaminneuronene viser fasiske aktiveringer når dyr berører en liten bit skjult mat under utforskende bevegelser i fravær av andre fasiske stimuli, uten å bli aktivert av selve bevegelsen (Romo og Schultz 1990). De resterende dopaminneuronene svarer ikke på noen av de testede miljøstimulene. Dopamin-neuroner aktiveres også av en dråpe væske som leveres ved munnen utenfor enhver atferdsoppgave, eller mens du lærer slike forskjellige paradigmer som visuelle eller auditive reaksjonstidsoppgaver, romlig forsinket respons eller veksling, og visuell diskriminering, ofte i samme dyr (Fig . 2 topp) (Hollerman og Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz og Schultz 1994; Schultz et al. 1993). Belønningssvarene skjer uavhengig av læringssammenheng. Dopamin neuroner ser ikke ut til å skille mellom forskjellige matobjekter og flytende belønninger. Svarene deres skiller imidlertid belønning fra gjenstående objekter (Romo og Schultz 1990). Bare 14% av dopaminneuroner viser de fasiske aktiveringene når primære aversive stimuli blir presentert, for eksempel en luftpuff i hånden eller hypertonisk saltvann i munnen, og de fleste av de aktiverte nevronene reagerer også på belønning (Mirenowicz og Schultz 1996). Selv om de er slitsomme, er disse stimuli aversive ved at de forstyrrer atferd og induserer aktive unngåelsesreaksjoner. Imidlertid er dopaminneuroner ikke helt ufølsomme for aversiv stimuli, som vist ved langsomme depresjoner eller sporadiske sakte aktiveringer etter smerte-klype-stimuli hos bedøvede aper (Schultz og Romo 1987) og ved økt striatal frigjøring av dopamin etter elektrisk støt og haleknipe hos våkne rotter (Abercrombie et al. 1989; Doherty og Gratton 1992; Louilot et al. 1986; Young et al. 1993). Dette antyder at de fasiske responsene fra dopaminuroner fortrinnsvis rapporterer miljømessige stimuli med primær appetittverdi, mens aversive hendelser kan signaliseres med et betydelig langsommere tidsforløp.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 2. 

Dopamin-nevroner rapporterer belønning i henhold til en feil i belønningspediksjon. God: dråpe væske forekommer, selv om det ikke er spådd noen belønning på dette tidspunktet. Forekomst av belønning utgjør dermed en positiv feil i spådommen om belønning. Dopaminneuron aktiveres ved uforutsett forekomst av væsken. Middle: betinget stimulus forutsier en belønning, og belønningen skjer i henhold til prediksjonen, derav ingen feil i prediksjonen av belønning. Dopaminneuron klarer ikke å aktiveres av den forutsagte belønningen (Ikke sant). Den viser også en aktivering etter belønningsforutsigende stimulans, som oppstår uavhengig av en feil i prediksjonen av den senere belønningen (venstre). Bunn: betinget stimulus forutsier en belønning, men belønningen oppstår ikke på grunn av manglende reaksjon fra dyret. Aktiviteten til dopaminneuronet er deprimert nøyaktig på det tidspunktet belønningen ville ha skjedd. Legg merke til depresjonen som oppstår> 1 s etter den betingede stimulansen uten noen mellomliggende stimuli, og avslører en intern prosess med forventning om belønning. Neuronal aktivitet i de 3 grafene følger ligningen: dopaminrespons (belønning) = belønning skjedde - belønning forutsagt. CS, betinget stimulans; R, primærbelønning. Gjengitt fra Schultz et al. (1997) med tillatelse fra American Association for the Advancement of Science.

Uforutsigbarhet av belønning

Et viktig trekk ved dopaminresponser er deres avhengighet av uforutsigbarhet. Aktiveringene etter belønning skjer ikke når mat og væske er gitt av fasiske stimuli som har blitt betinget for å forutsi slike belønninger (Fig. 2, midten) (Ljungberg et al. 1992; Mirenowicz og Schultz 1994; Romo og Schultz 1990). En avgjørende forskjell mellom læring og full ervervet atferd er graden av belønning uforutsigbarhet. Dopamin-neuroner aktiveres av belønning i læringsfasen, men slutter å svare etter full tilegnelse av visuelle og auditive reaksjonstidsoppgaver (Ljungberg et al. 1992; Mirenowicz og Schultz 1994), romlige forsinkede svaroppgaver (Schultz et al. 1993), og samtidig visuell diskriminering (Hollerman og Schultz 1996). Tapet av respons skyldes ikke en generell ufølsomhet overfor belønninger, ettersom aktiveringer etter belønninger levert utenom oppgavene ikke dekrementerer i flere måneder med eksperimentering (Mirenowicz og Schultz 1994). Viktigheten av uforutsigbarhet inkluderer belønningstidspunktet, som vist ved forbigående aktiveringer etter belønninger som plutselig blir levert tidligere eller senere enn forutsagt (Hollerman og Schultz 1996). Samlet må forekomsten av belønning, inkludert tiden, være uforutsagt for å aktivere dopaminuroner.

Depresjon ved utelatelse av spådd belønning

Dopamin-neuroner er deprimerte nøyaktig på tidspunktet for den vanlige forekomsten av belønning når en fullstendig forutsagt belønning ikke klarer å oppstå, selv i fravær av en umiddelbart foregående stimulans (Fig. 2, bunn). Dette observeres når dyr ikke klarer å oppnå belønning på grunn av feil oppførsel, når væskestrømmen stoppes av eksperimentøren til tross for korrekt oppførsel, eller når en ventil åpnes hørbart uten å levere væske (Hollerman og Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). Når belønningsleveranse er forsinket i løpet av 0.5 eller 1.0 s, oppstår en depresjon av nevronaktivitet på belønningens faste tid, og en aktivering følger belønningen på det nye tidspunktet (Hollerman og Schultz 1996). Begge svarene oppstår bare i løpet av noen få repetisjoner til den nye tiden med belønningslevering blir forutsagt igjen. I motsetning til det å levere belønning tidligere enn vanlig fører til en aktivering på den nye belønningstidspunktet, men unnlater å fremkalle en depresjon på vanlig tid. Dette antyder at uvanlig tidlig belønning levering kansellerer belønning prediksjon for den vanlige tiden. Dopamin neuroner overvåker således både forekomsten og belønningstidspunktet. I mangel av stimuli umiddelbart før den utelatte belønningen, utgjør depresjonene ikke en enkel neuronal respons, men reflekterer en forventningsprosess basert på en intern klokke som sporer den nøyaktige tiden for spådd belønning.

Aktivering ved kondisjonerte, belønningspredikerende stimuli

Omtrent 55 – 70% av dopaminuronene aktiveres av betingede visuelle og auditive stimuli i de forskjellige klassisk eller instrumentalt betingede oppgavene beskrevet tidligere (fig. 2, midten og bunn) (Hollerman og Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz og Schultz 1994; Schultz 1986; Schultz og Romo 1990; P. Waelti, J. Mirenowicz og W. Schultz, upubliserte data). De første dopaminresponsene på kondisjonert lys ble rapportert av Miller et al. (1981) hos rotter behandlet med haloperidol, noe som økte forekomsten og spontan aktiviteten til dopamin-neuroner, men resulterte i mer vedvarende respons enn hos uopplagte dyr. Selv om svar forekommer nær atferdsreaksjoner (Nishino et al. 1987), er ikke relatert til arm- og øyebevegelser selv, da de også forekommer ipsilateralt med den bevegelige armen og i forsøk uten arm- eller øyebevegelser (Schultz og Romo 1990). Kondisjonerte stimuli er noe mindre effektive enn primære belønninger når det gjelder responsstørrelse og fraksjoner av nevroner aktivert. Dopaminuroner reagerer bare på begynnelsen av betingede stimuli og ikke på deres forskyvning, selv om stimuleringsforskyvning spår belønningen (Schultz og Romo 1990). Dopaminneuroner skiller ikke mellom visuelle og auditive modaliteter for kondisjonert appetittvekkende stimuli. Imidlertid skiller de mellom appetittvekkende og nøytral eller aversiv stimuli så lenge de fysisk er tilstrekkelig forskjellige (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz og W. Schultz, upubliserte data). Bare 11% av dopaminneuroner, de fleste av dem med appetittvekkende responser, viser de typiske fasiske aktiveringene også som svar på kondisjonerte aversive visuelle eller auditive stimuli i aktive unngåelsesoppgaver der dyr slipper en nøkkel for å unngå en luftpuff eller en dråpe hypertonisk saltvann (Mirenowicz og Schultz 1996), selv om en slik unngåelse kan bli sett på som "givende." Disse få aktiveringene er ikke tilstrekkelig sterke til å indusere et gjennomsnittlig populasjonsrespons. Dermed rapporterer de fasiske responsene fra dopaminsneuroner fortrinnsvis miljømessige stimuli med appetittvekkende motivasjonsverdi, men uten å skille mellom forskjellige sensoriske modaliteter.

Overføring av aktivering

I løpet av innlæringen aktiveres dopaminuroner gradvis av betingede, belønningspredikerende stimuli og mister gradvis svarene sine på primær mat eller flytende belønning som blir forutsagt (Hollerman og Schultz 1996; Ljungberg et al. 1992; Mirenowicz og Schultz 1994) (Fig. 2 og 3). I løpet av en kortvarig læringsperiode fremkaller både belønning og betinget stimuli dopaminaktivering. Denne overføringen fra primær belønning til den kondisjonerte stimulansen skjer øyeblikkelig i enkelt dopamin-neuroner testet i to vellærte oppgaver som bruker henholdsvis uforutsagte og forutsagte belønninger (Romo og Schultz 1990).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 3. 

Dopaminresponsoverføring til den tidligste prediktive stimulansen. Responser på uforutsett primær belønning overføring til gradvis tidligere belønning-forutsi stimuli. Alle viser populasjonshistogrammer oppnådd ved gjennomsnitt av normaliserte perievent-tidshistogrammer av alle dopaminuroner registrert i de angitte atferdssituasjoner, uavhengig av tilstedeværelse eller fravær av en respons. God: utenfor noen atferdsoppgave er det ingen populasjonsrespons i 44 nevroner testet med et lite lys (data fra Ljungberg et al. 1992), men en gjennomsnittlig respons forekommer i 35 nevroner til en dråpe væske som leveres ved en tut foran dyrets munn (Mirenowicz og Schultz 1994). Middle: svar på en belønning-forutsigende triggerstimulus i en 2-valgt romlig nåoppgave, men fravær av respons på belønning levert under etablert oppgaveutførelse i de samme 23 nevronene (Schultz et al. 1993). Bunn: svar på en instruksjonssignal som går foran belønning-forutsigende trigger stimulus med et fast intervall på 1 s i en instruert romlig nående oppgave (19 nevroner) (Schultz et al. 1993). Tidsbase er delt på grunn av varierende intervaller mellom betingede stimuli og belønning. Gjenopptrykt fra Schultz et al. (1995b) med tillatelse fra MIT Press.

Uforutsigbarhet av betingede stimuli

Aktiveringene etter kondisjonerte, belønningspredikerende stimuli forekommer ikke når disse stimuliene selv blir gitt foran med et fast intervall av fasiske betingede stimuli i fullt etablerte atferdssituasjoner. Således med seriekondisjonerte stimuli aktiveres dopaminuroner av den tidligste belønningspredikerende stimulansen, mens alle stimuli og fordeler som følger etter forutsigbare øyeblikk etterpå, er ineffektive (fig. 3) (Schultz et al. 1993). Bare tilfeldig stimulerte sekvensielle stimuli fremkaller individuelle responser. Dessuten demper omfattende overtrening med sterkt stereotyp oppgaveytelse responsene på betingede stimuli, sannsynligvis fordi stimuli blir forutsagt av hendelser i den forrige studien (Ljungberg et al. 1992). Dette antyder at stimulus uforutsigbarhet er et vanlig krav for alle stimuliaktiverende dopaminuroner.

Depresjon ved utelatelse av forutsagt betingede stimuli

Foreløpige data fra et tidligere eksperiment (Schultz et al. 1993) antyder at dopaminneuroner også er deprimerte når en betinget, belønning-forutsigende stimulus blir forutsagt på et bestemt tidspunkt av en foregående stimulus, men ikke oppstår på grunn av en feil av dyret. Som med primære belønninger, forekommer depresjonene på tidspunktet for den vanlige forekomsten av den betingede stimulansen, uten å bli direkte fremkalt av en foregående stimulus. Dermed kan den utelatelsesinduserte depresjonen bli generalisert til alle appetittvekkende hendelser.

Aktiveringsdepresjon med responsgeneralisering

Dopaminuroner reagerer også på stimuli som ikke forutsier belønning, men som ligner nær belønningspredikatoriske stimuli som oppstår i samme sammenheng. Disse svarene består for det meste av en aktivering etterfulgt av en umiddelbar depresjon, men kan av og til bestå av ren aktivering eller ren depresjon. Aktiveringene er mindre og sjeldnere enn de som følger etter belønning-forutsigende stimuli, og depresjonene er observert i 30 – 60% av nevronene. Dopaminuroner reagerer på visuelle stimuli som ikke følges av belønning, men ligner nær belønningspredikatoriske stimuli, til tross for korrekt atferdsdiskriminering (Schultz og Romo 1990). Åpning av en tom boks klarer ikke å aktivere dopamin-nevroner, men blir effektiv i hver prøve så snart boksen av og til inneholder mat (Ljungberg et al. 1992; Schultz 1986; Schultz og Romo 1990) eller når en nærliggende, identisk boks som alltid inneholder mat, åpnes i tilfeldig veksling (Schultz og Romo 1990). Den tomme boksen vekker svakere aktiveringer enn agnboksen. Dyr utfører kritiske okulære orienteringsreaksjoner på hver boks, men bare nærmer seg den agnede esken med hånden. Under læring fortsetter dopaminneuroner å svare på tidligere betingede stimuli som mister sin belønningspådiks når belønningssituasjoner endres (Schultz et al. 1993) eller svare på nye stimuli som ligner tidligere betingede stimuli (Hollerman og Schultz 1996). Svarene oppstår til og med på aversiv stimuli presentert i tilfeldig veksling med fysisk like, kondisjonerte appetittvekkende stimuli med samme sensoriske modalitet, idet den aversive responsen er svakere enn den appetittvekkende (Mirenowicz og Schultz 1996). Svarene generaliserer seg selv til atferdsmessig slukket appetittvekkende stimuli. Tilsynelatende generaliserer nevronale responser til ikke-appetitive stimuli på grunn av deres fysiske likhet med appetittvekkende stimuli.

Nyhetssvar

Nye stimuli fremkaller aktiviseringer i dopaminneuroner som ofte blir fulgt av depresjoner og vedvarer så lenge atferdsorienterende reaksjoner oppstår (for eksempel okulære saccades). Aktiveringene avtar sammen med orienterende reaksjoner etter flere stimulusrepetisjoner, avhengig av den fysiske effekten av stimuli. Mens små lysdioder knapt fremkaller nyhetsresponser, blinker lys og den raske visuelle og auditive åpningen av en liten boks aktiveringer som forfaller gradvis til baseline i løpet av <100 studier (Ljungberg et al. 1992). Høye klikk eller store bilder rett foran et dyr fremkaller sterke nyhetsresponser som forfaller, men fremdeles induserer målbare aktiveringer med> 1,000 forsøk (Hollerman og Schultz 1996; Horvitz et al. 1997; Steinfels et al. 1983). Figur 4 viser skjematisk de forskjellige responsstørrelsene med nye stimuli av ulik fysisk sunnhet. Responsene forfaller gradvis ved gjentatt eksponering, men kan vedvare i reduserte størrelser med veldig fremtredende stimuli. Responsstørrelsene øker igjen når de samme stimuli er appetittvekkende. Derimot avtar responser på nye, til og med store, stimuli raskt når stimuliene brukes til å konditionere aktiv unngåelsesatferd (Mirenowicz og Schultz 1996). Svært få nevroner (<5%) svarer i mer enn noen få forsøk på iøynefallende, men fysisk svake stimuli, som for eksempel smuldring av papir eller grove håndbevegelser fra eksperimentatoren.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 4. 

Tidskurs for aktiveringer av dopaminuroner til nye, varslende og betingede stimuli. Aktiveringer etter nye stimuli avtar med gjentatt eksponering over påfølgende studier. Størrelsen avhenger av den fysiske saltholdigheten til stimuli ettersom sterkere stimuli induserer høyere aktiveringer som tidvis overstiger de etter betingede stimuli. Spesielt fremtredende stimuli fortsetter å aktivere dopaminuroner med begrenset styrke, selv etter å ha mistet nyheten uten å være sammenkoblet med primære belønninger. Konsekvente aktiveringer vises igjen når stimuli blir assosiert med primære belønninger. Denne ordningen ble bidratt av Jose Contreras-Vidal.

Responsenes homogene karakter

Eksperimentene som er utført så langt, har avdekket at flertallet av nevroner i dopamincellegrupper i mellomhjerne A8, A9 og A10 viser svært like aktiveringer og depresjoner i en gitt atferdssituasjon, mens de resterende dopaminneuronene ikke svarer i det hele tatt. Det er en tendens til at høyere fraksjoner av nevroner reagerer i mer mediale regioner i mellomhinnen, slik som det ventrale tegmentale området og medial substantia nigra, sammenlignet med mer laterale regioner, som tidvis når statistisk betydning (Schultz 1986; Schultz et al. 1993). Svarforsinkelser (50-110 ms) og varighet (<200 ms) er like blant primære belønninger, kondisjonerte stimuli og nye stimuli. Dopaminresponsen utgjør således et relativt homogent, skalar populasjonssignal. Det er gradert i størrelse av responsen til individuelle nevroner og av brøkdelen av reagerende nevroner i befolkningen.

Sammendrag 1: adaptive svar under innlæringsepisoder

Egenskapene til dopaminresponser på belønningsrelaterte stimuli illustreres best i læringsepisoder under at belønning er spesielt viktig for å oppnå atferdsresponser. Dopamin-belønningssignalet gjennomgår systematiske forandringer under læringsutviklingen og oppstår til den tidligste fasiske belønningsrelaterte stimulansen, dette er enten en primær belønning eller en belønning-forutsigende stimulus (Ljungberg et al. 1992; Mirenowicz og Schultz 1994). Under læring induserer nye, intrinsielt nøytrale stimuli forbigående svar som svekkes snart og forsvinner (fig. 4). Primære belønninger skjer uforutsigbart under innledende sammenkobling med slike stimuli og fremkaller nevronale aktiveringer. Ved gjentatt sammenkobling blir belønninger spådd av betingede stimuli. Aktiveringer etter belønningen avtar gradvis og overføres til den betingede, belønningspredikerende stimulansen. Hvis imidlertid en forutsagt belønning ikke klarer å oppstå på grunn av en feil fra dyret, blir dopamin-neuroner deprimerte på det tidspunktet belønningen ville ha skjedd. Under gjentatt læring av oppgaver (Schultz et al. 1993) eller oppgavekomponenter (Hollerman og Schultz 1996), aktiverer de tidligste betingede stimuli dopaminuroner i alle læringsfaser på grunn av generalisering til tidligere innlærte, lignende stimuli, mens påfølgende betingede stimuli og primære belønninger aktiverer dopaminuroner bare forbigående mens de er usikre og nye tilfeller etableres.

Sammendrag 2: effektive stimuli for dopaminuroner

Dopaminrespekter fremmes av tre kategorier av stimuli. Den første kategorien omfatter primære belønninger og stimuli som har blitt gyldige belønningsprediktorer gjennom gjentatt og betinget sammenkobling med belønning. Disse stimuli danner en vanlig klasse av eksplisitte belønningspredikatoriske stimuli, da primære belønninger fungerer som prediktorer for vegetative belønningseffekter. Effektive stimuli har tilsynelatende en varslende komponent, da bare stimuli med tydelig inntreden er effektive. Dopamin-neuroner viser rene aktiveringer etter eksplisitte belønning-forutsigende stimuli og blir deprimerte når en forutsagt, men utelatt belønning ikke klarer å oppstå (Fig. 5, topp).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 5. 

Skjematisk visning av responser fra dopaminuroner på 2 typer kondisjonerte stimuli. God: presentasjon av en eksplisitt belønningsforutsigende stimulus fører til aktivering etter stimulansen, ingen respons på den forutsagte belønningen og depresjon når en predikert belønning ikke oppstår. Bunn: presentasjon av en stimulus som ligner en betinget, belønningsforutsigende stimulus fører til aktivering etterfulgt av depresjon, aktivering etter belønningen og ingen respons når ingen belønning skjer. Aktivering etter stimulansen gjenspeiler sannsynligvis responsgeneralisering på grunn av fysisk likhet. Denne stimulansen forutsier ikke eksplisitt en belønning, men er relatert til belønningen via dens likhet med stimulusen som forutsier belønningen. I sammenligning med eksplisitte belønningspredikatoriske stimuli, er aktiveringene lavere og blir ofte fulgt av depresjoner, og skiller dermed mellom belønnet (CS +) og ubevisst (CS−) betinget stimuli. Denne ordningen oppsummerer resultater fra tidligere og nåværende eksperimenter (Hollerman og Schultz 1996; Ljungberg et al. 1992; Mirenowicz og Schultz 1996; Schultz og Romo 1990; Schultz et al. 1993; P. Waelti og W. Schultz, upubliserte resultater).

Den andre kategorien inkluderer stimuli som fremkaller generaliserende svar. Disse stimuli forutsier ikke eksplisitt belønning, men er effektive på grunn av deres fysiske likhet med stimuli som har blitt eksplisitte belønningsprediktorer gjennom kondisjonering. Disse stimuli induserer aktiveringer som er lavere i størrelsesorden og involverer færre nevroner, sammenlignet med eksplisitte belønningspredikatoriske stimuli (fig. 5, bunn). De blir ofte fulgt av umiddelbare depresjoner. Mens den første aktiveringen kan utgjøre en generalisert appetittveksling som signaliserer en mulig belønning, kan den påfølgende depresjonen gjenspeile prediksjonen om ingen belønning i en generell belønningsforutsigende kontekst og avbryte den feilaktige belønningsantakelsen. Mangelen på eksplisitt belønningspådiks antydes videre av tilstedeværelsen av aktivering etter primær belønning og fravær av depresjon uten belønning. Sammen med svarene på belønning-forutsi stimuli, virker det som om dopaminaktiveringer rapporterer en appetittvekkende "tag" festet til stimuli som er relatert til belønning.

Den tredje kategorien omfatter nye eller spesielt viktige stimuli som ikke nødvendigvis er relatert til spesifikke belønninger. Ved å lokke fram atferdsorienterende reaksjoner, er disse stimuli alarmerende og kommandoer oppmerksomhet. De har imidlertid også motiverende funksjoner og kan være givende (Fujita 1987). Novelle stimuli er potensielt appetittvekkende. Nye eller spesielt fremtredende stimuli induserer aktiveringer som ofte følges av depresjoner, som tilsvarer respons på generaliserende stimuli.

Dermed rapporterer de fasiske responsene fra dopaminneuroner hendelser med positive og potensielt positive motiverende effekter, som primær belønning, belønning-forutsigende stimuli, belønning-lignende hendelser og varslende stimuli. De oppdager imidlertid ikke i stor grad hendelser med negative motiverende effekter, som aversiv stimuli.

Sammendrag 3: dopamin belønning prediksjon feil signal

Dopaminresponsene på eksplisitte belønningsrelaterte hendelser kan best konseptualiseres og forstås i form av formelle teorier om læring. Dopaminneuroner rapporterer belønning i forhold til deres prediksjon i stedet for å signalisere primære belønninger ubetinget (Fig. 2). Dopaminresponsen er positiv (aktivering) når primære belønninger oppstår uten å bli forutsagt. Responsen er null når belønning skjer som forutsagt. Responsen er negativ (depresjon) når spådommer er utelatt. Dopaminuroner rapporterer derfor primære belønninger i henhold til forskjellen mellom forekomst og forutsigelse av belønning, som kan betegnes som en feil i prediksjon av belønning (Schultz et al. 1995b, 1997) og er tentativt formalisert som

Ligning 1T Dette forslaget kan utvides til å betjene appetittvekkende hendelser som også er rapportert av dopaminuroner i forhold til prediksjon. Dopamin neuroner kan således rapportere en feil i prediksjonen av alle appetittvekkende hendelser, og Eq. 1 kan oppgis i den mer generelle formen

Ligning 2Denne generaliseringen er forenlig med ideen om at de fleste belønningene faktisk er betingede stimuli. Med flere påfølgende, veletablerte belønningspredikatoriske hendelser, er bare den første hendelsen uforutsigbar og fremkaller dopaminaktiveringen.

Opphavet til dopaminresponsen

Hvilke anatomiske innganger kan være ansvarlige for selektiviteten og polysensoriske karakteren av dopaminresponser? Hvilken inputaktivitet kan føre til koding av prediksjonsfeil, indusere den adaptive responsoverføringen til den tidligste uforutsigede appetittvekkende hendelsen og estimere belønningstidspunktet?

Fasisk dopaminpåvirkning på målstrukturer

GLOBAL NATUR AV DOPAMINSIGNAL.

Avvikende anslag. Det er N8,000 dopamin-neuroner i hver substantia nigra av rotter (Oorschot 1996) og 80,000 – 116,000 i makakeaper (German et al. 1988; Percheron et al. 1989). Hvert striatum inneholder ∼2.8 millioner nevroner i rotter og 31 millioner i makaker, noe som resulterer i en nigrostriatal divergensfaktor på 300 – 400. Hvert dopaminakson forgrenes rikelig i et begrenset terminalområde i striatum og har N500,000 striatale varikositeter som dopamin frigjøres fra (Andén et al. 1966). Dette resulterer i dopamininnspill til nesten alle striatal nevroner (Groves et al. 1995) og en moderat topografisk nigrostriatal projeksjon (Lynd-Balta og Haber 1994). Den kortikale dopamin-innervasjonen hos aper er høyest i områdene 4 og 6, er fremdeles betydelig i frontal, parietal og temporal lob, og er lavest i occipital lob (Berger et al. 1988; Williams og Goldman-Rakic ​​1993). Kortikale dopamin-synapser finnes hovedsakelig i lag I og V – VI, og berører en stor andel kortikale nevroner der. Sammen med den ganske homogene respons-naturen antyder disse dataene at dopaminresponsen fortsetter som en samtidig, parallell aktivitetsbølge fra mellomhinnen til striatum og frontal cortex (fig. 7).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 7. 

Globalt dopamin signal avanserer til striatum og cortex. Relativt homogen populasjonsrespons av majoriteten av dopamin-nevronene på appetittvekkende og varslende stimuli og dens progresjon fra substantia nigra til postsynaptiske strukturer kan sees skjematisk som en bølge av synkron, parallell aktivitet som går videre med en hastighet på 1 – 2 m / s (Schultz og Romo 1987) langs de divergerende fremspringene fra mellomhinnen til striatum (caudat og putamen) og cortex. Svarene er kvalitativt ikke skille mellom nevroner fra substantia nigra (SN) pars compacta og ventral tegmental area (VTA). Dopamin-innervasjon av alle nevroner i striatum og mange nevroner i frontal cortex ville tillate dopaminforsterkningssignalet å utøve en ganske global effekt. Wave er blitt komprimert for å understreke den parallelle naturen.

Dopaminfrigjøring. Impulser av dopaminuroner ved intervaller på 20 – 100 ms fører til en mye høyere dopaminkonsentrasjon i striatum enn det samme antall impulser med intervaller på 200 ms (Garris og Wightman 1994; Gonon 1988). Denne ikke-lineariteten skyldes hovedsakelig den raske metningen av dopamin-gjenopptakstransportøren, som fjerner den frigitte dopamin fra det ekstrasynaptiske området (Chergui et al. 1994). Den samme effekten observeres i nucleus accumbens (Wightman og Zimmerman 1990) og oppstår selv med lengre impulsintervaller på grunn av sparsere gjenopptakssteder (Garris et al. 1994b; Marshall et al. 1990; Stamford et al. 1988). Dopaminfrigjøring etter en impulsutbrudd på <300 ms er for kort til å aktivere den autoreseptormedierte reduksjonen av frigjøring (Chergui et al. 1994) eller enda langsommere enzymatisk nedbrytning (Michael et al. 1985). Således er en sprengning av dopaminrespons spesielt effektiv for å frigjøre dopamin.

Anslag basert på in vivo voltammetri antyder at en enkelt impuls frigjør ∼1,000 dopaminmolekyler ved synapser i striatum og nucleus accumbens. Dette fører til umiddelbare synaptiske dopaminkonsentrasjoner av 0.5 – 3.0 μM (Garris et al. 1994a; Kawagoe et al. 1992). Ved 40 μs etter frigjøringsdebut har> 90% av dopamin forlatt synapsen, noe av resten blir senere eliminert ved synaptisk gjenopptak (halvstartstid på 30–37 ms). 3–9 ms etter utgivelsesdebut når dopaminkonsentrasjonene en topp på ~ 250 nM når alle nærliggende åreknuter samtidig frigjør dopamin. Konsentrasjonen er homogen i en sfære med en diameter på 4 mikrometer (Gonon 1997), som er den gjennomsnittlige avstanden mellom varicosities (Doucet et al. 1986; Groves et al. 1995). Maksimal diffusjon er begrenset til 12 mikrometer av gjenopptakstransportøren og oppnås i 75 ms etter frigjøringsstart (halv transportørstartstid på 30–37 ms). Konsentrasjoner vil være litt lavere og mindre homogene i regioner med færre åreknuter eller når <100% av dopaminneuroner aktiveres, men de er to til tre ganger høyere med impulsutbrudd. Dermed kan de belønningsinduserte, mildt synkrone, sprengningsaktiveringene i ~ 75% av dopaminneuronene føre til ganske homogene konsentrasjonstopper i størrelsesorden 150–400 nM. Total økning av ekstracellulær dopamin varer 200 ms etter en enkelt impuls og 500–600 ms etter flere impulser på 20–100 ms intervaller brukt i løpet av 100–200 ms (Chergui et al. 1994; Dugast et al. 1994). Den ekstrasynaptiske gjenopptakstransportøren (Nirenberg et al. 1996) bringer deretter dopaminkonsentrasjoner tilbake til baseline av 5 – 10 nM (Herrera-Marschitz et al. 1996). I motsetning til klassisk, strengt synaptisk nevrotransmisjon, diffunderer synaptisk frigitt dopamin raskt i det umiddelbare juxtasynaptiske området og når korte topper med regionalt homogene ekstracellulære konsentrasjoner.

Reseptorer. Av de to hovedtyper av dopaminreseptorer utgjør de adenylat-syklase-aktiverende D1-reseptorene ∼80% av dopaminreseptorer i striatum. Av disse 80% er i lavaffinitetstilstanden 2 – 4 μM og 20% i den høye affinitetstilstanden 9 – 74 nM (Richfield et al. 1989). De resterende 20% av striatal dopaminreseptorer tilhører den adenylase syklasehemmende D2-typen, hvor 10 – 0% er i lav affinitetstilstand og 80 – 90% i høy affinitetstilstand, med lignende affiniteter som D1-reseptorer. D1-reseptorer har således totalt sett ∼100 ganger lavere affinitet enn D2-reseptorer. Striatal D1 reseptorer er hovedsakelig lokalisert på nevroner som projiserer til indre pallidum og substantia nigra pars reticulata, mens striatal D2 reseptorer er hovedsakelig lokalisert på nevroner som projiserer til ekstern pallidum (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey et al. 1993). Imidlertid kan det hende at forskjellene i reseptorfølsomhet ikke spiller noen rolle utover signaltransduksjon, og dermed reduserer forskjellene i dopaminsensitivitet mellom de to typene av striatal utgangsnevroner.

Dopamin frigjøres til 30 – 40% fra synaptisk og til 60 – 70% fra ekstrasynaptiske varikositeter (Descarries et al. 1996). Synaptisk frigjorte dopamin virker på postsynaptiske dopaminreseptorer på fire anatomisk distinkte steder i striatum, nemlig inne i dopaminsynapser, rett ved siden av dopaminsynapser, inne i kortikostriatale glutamatsynapser, og på ekstrasynaptiske steder fjernt fra frigjøringssteder (fig. 8) (Levey et al. 1993; Sesack et al. 1994; Yung et al. 1995). D1-reseptorer er lokalisert hovedsakelig utenfor dopaminsynapser (Caillé et al. 1996). De høye forbigående konsentrasjoner av dopamin etter fasiske impulssprengninger ville aktivere D1-reseptorer i umiddelbar nærhet av de aktive frigjøringsstedene og aktivere og til og med mette D2-reseptorer overalt. D2-reseptorer vil forbli delvis aktivert når den omgivende dopaminkonsentrasjonen kommer tilbake til baseline etter fasisk økning.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 8. 

Påvirkning av frigjøring av dopamin på typiske medium spiny nevroner i rygg og ventral striatum. Dopamin frigitt ved impulser fra synaptiske varicositeter aktiverer noen få synaptiske reseptorer (sannsynligvis av D2-type i lav affinitetstilstand) og diffunderer raskt ut av synapsen for å nå lav-affinitet D1-type reseptorer (D1?) Som er lokalisert i nærheten, innenfor kortikostriatale synapser , eller med begrenset avstand. Fasisk økt dopamin aktiverer nærliggende høyaffinitetsreseptorer av D2-typen til metning (D2?). D2-reseptorer forblir delvis aktivert av de omgivende dopaminkonsentrasjoner etter den fasisk økte frigjøringen. Ekstrasynaptisk frigitt dopamin kan bli fortynnet ved diffusjon og aktivere D2-reseptorer med høy affinitet. Det skal bemerkes at de fleste D1- og D2-reseptorer ligger i forskjellige skjematiske diagrammer på forskjellige nevroner. Glutamat frigjort fra kortikostriatale terminaler når postsynaptiske reseptorer lokalisert på de samme dendritiske ryggradene som dopaminvarikositeter. Glutamat når også presynaptiske dopaminvarikositeter der det kontrollerer frigjøring av dopamin. Dopaminpåvirkning på spiny nevroner i frontal cortex er sammenlignbare i mange henseender.

Sammendrag. Den observerte, moderat sprengende, kortvarige, nesten synkrone responsen fra majoriteten av dopamin-nevroner fører til optimal, samtidig dopaminfrigjøring fra majoriteten av tett fordelt striatal varicositet. Den neuronale responsen induserer en kort puff av dopamin som frigjøres fra ekstrasynaptiske steder eller diffunderer raskt fra synapser inn i det juxtasynaptiske området. Dopamin når raskt regionale homogene konsentrasjoner som sannsynligvis vil påvirke dendrittene til sannsynligvis alle striatale og mange kortikale nevroner. På denne måten sendes belønningsmeldingen i 60 – 80% av dopamin-nevroner som et divergerende, ganske globalt forsterkende signal til striatum, nucleus accumbens og frontal cortex, noe som sikrer en fasisk innflytelse på et maksimalt antall synapser involvert i behandlingen av stimuli og handlinger som fører til belønning (Fig. 7). Dopamin frigitt ved nevronale aktiveringer etter belønning og belønning-forutsigende stimuli vil påvirke juxtasynaptiske D1-reseptorer på striatal nevroner som projiseres til intern pallidum og substantia nigra pars reticulata og alle D2-reseptorer på nevroner som projiseres til ekstern pallidum. Reduksjonen av dopaminfrigjøring indusert av depresjoner med utelatte belønninger og belønning-forutsigende stimuli ville redusere tonisk stimulering av D2 reseptorer av omgivelsesdopamin. Dermed ville positive belønningspredikasjonsfeil påvirke alle typer striatal utgangs neuroner, mens den negative prediksjonsfeilen hovedsakelig kan påvirke nevroner som projiseres til ekstern pallidum.

Potensielle kokainmekanismer. Blokkering av dopamin-gjenopptakstransportøren av medisiner som kokain eller amfetamin forbedrer og forlenger den fasiske økningen i dopaminkonsentrasjoner (Church et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). Forbedringen vil være spesielt uttalt når raske, brist-induserte økninger i dopaminkonsentrasjonen når et topp før tilbakekoblingsregulering blir effektiv. Denne mekanismen vil føre til et massivt forbedret dopaminsignal etter primær belønning og belønning-forutsigende stimuli. Det vil også øke det noe svakere dopaminsignalet etter stimuli som likner belønning, nye stimuli og spesielt fremtredende stimuli som kan være hyppig i hverdagen. Forbedring av kokain ville la disse stimulerende stimuliene fremstå som sterke eller enda sterkere enn naturlige belønninger uten kokain. Postsynaptiske nevroner kan feiltolke et slikt signal som en spesielt fremtredende belønningsrelatert hendelse og gjennomgå langsiktige endringer i synaptisk overføring.

Lære teorier

Forsterkningsalgoritmer

TEMPORAL FORSKJELLSLÆRING.

I en spesielt effektiv klasse av forsterkningsalgoritmer (Sutton 1988; Sutton og Barto 1981), synaptiske vekter modifiseres i henhold til feilen i forsterkningsforutsigelse beregnet over påfølgende tidstrinn (t) i hver prøve

rˆ(t)=r(t)+P(t)-P(t-l)

Ligning 6where r er forsterkning og P er forsterkning prediksjon. P (t) multipliseres vanligvis med en rabattfaktor γ med 0 ≤ γ <1 for å redegjøre for den avtagende innflytelsen av stadig mer eksterne belønninger. For enkelhets skyld er γ satt til 1 her. I tilfelle av en enkelt stimulus som forutsier en enkelt forsterkning, prediksjonen P(t - 1) eksisterer før klokka t av armering, men slutter på armeringstidspunktet [P (t) = 0]. Dette fører til et effektivt forsterkningssignal den gangen (T) av forsterkning

rˆ (t)=r(t)-P(t-l)

Ligning 6aOcuco r(t) begrep indikerer forskjellen mellom faktisk og spådd forsterkning. Under læring er forsterkning ufullstendig forutsagt, feiluttrykket er positivt når forsterkning oppstår, og synaptiske vekter økes. Etter læring er forsterkning fullt ut predikert av en foregående stimulans [P(t - 1) = r(t)], er feiluttrykket null på riktig oppførsel, og synaptiske vekter forblir uendret. Når armering er utelatt på grunn av utilstrekkelig ytelse eller endrede betingelser, er feilen negativ og synaptiske vekter reduseres. De r(t) uttrykket er analogt med (λ-V) feilperiode for Rescorla-Wagner-modellen (Eq. 4 ). Det gjelder imidlertid individuelle tidstrinn (t) innenfor hver prøve fremfor spådommer som utvikler seg etter påfølgende studier. Disse temporære forsterkningsmodellene utnytter det faktum at de anskaffede spådommene inkluderer den eksakte forsterkningstiden (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

Den tidsmessige forskjellen (TD) algoritmer bruker også anskaffede prediksjoner for å endre synaptiske vekter. Når det gjelder en uforutsagt, enkelt betinget stimulus som forutsier en enkelt forsterkning, er prediksjonen P (t) begynner på tid (T) det er ingen foregående prediksjon [P(t - 1) = 0], og forsterkning har ikke skjedd ennå [r(t) = 0]. I følge Eq. 6, modellen avgir et rent prediktivt effektivt forsterkningssignal den gangen (t) av prediksjonen

rˆ=P(t)

Ligning 6b Ved flere, påfølgende prediktive stimuli, igjen med forsterkning fraværende på tidspunktet for spådommer, det effektive forsterkningssignalet på det tidspunktet (T) av prediksjonen gjenspeiler forskjellen mellom den nåværende prediksjonen P (t) og den foregående prediksjonen P(t - 1)

rˆ=P(t)-P(t-l)

Ligning 6cDette utgjør en feilbegrep for forsterkning av høyere ordre. I likhet med fullt forutsagte forsterkere, avbrytes alle prediktive stimuli som er fullstendig forutsagt selv [P(t - 1) = P(t)], resulterer i r = 0 til tider (T) av disse stimuli. Bare den tidligste prediktive stimulansen bidrar til det effektive forsterkningssignalet, da denne stimulansen P (t) er ikke spådd av en annen stimulans [P(t - 1) = 0]. Dette resulterer i det samme r = P (t) på den tiden (T) av den første prediksjonen som for en enkelt prediksjon (Eq. 6b).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 9. 

Grunnleggende arkitekturer av nevrale nettverksmodeller som implementerer tidsmessige forskjellsalgoritmer i sammenligning med basal ganglia-tilkobling. A: i den opprinnelige implementeringen det effektive undervisningssignalet y - ȳ er beregnet i modellneuron A og sendt til presynaptiske terminaler av innganger x til nevron B, og dermed påvirke x → B behandler og endrer synaptiske vekter ved x → B synapse. neuron B påvirker atferdsutgang via axon y og bidrar samtidig til de adaptive egenskapene til nevron A, nemlig responsen på forsterkende forutsigende stimuli. Nyere implementeringer av denne enkle arkitekturen bruker nevron A heller enn nevron B for å sende ut en utgang O av modellen (Montague et al. 1996; Schultz et al. 1997). Gjenopptrykt fra Sutton og Barto (1981) med tillatelse fra American Psychological Association. B: nylig implementering skiller undervisningskomponenten A, ringte kritikeren (Ikke sant), fra en utgangskomponent bestående av flere behandlingsenheter B, betegnet skuespilleren (venstre). Det effektive forsterkningssignalet r(t) beregnes ved å trekke fra den tidsmessige forskjellen i vektet armeringsprediksjon γP(t) - P(t - 1) fra primærarmering r(t) mottatt fra miljøet (γ er rabattfaktoren som reduserer verdien til fjernere forsterkere). Forsterkningsforutsigelse beregnes i en egen prediksjonsenhet C, som er en del av kritikeren og danner en lukket sløyfe med undervisningselementet A, mens primær forsterkning kommer inn i kritikeren gjennom et eget innspill r_t. Effektivt forsterkningssignal påvirker synaptiske vekter ved innkommende aksoner i skuespilleren, noe som formidler output og i kritikkenes adaptive prediksjonsenhet. Gjenopptrykt fra Barto (1995) med tillatelse fra MIT Press. C: grunnleggende tilkobling av basalgangliene avslører slående likheter med skuespiller-kritikerarkitekturen. Dopamin-projeksjon avgir forsterkningssignalet til striatum og kan sammenlignes med enheten A i deler A og B, det limbiske striatum (eller striosom-lappen) tar posisjonen til prediksjonsenheten C hos kritikeren, og sensorimotor striatum (eller matrise) ligner skuespillerenhetene B. I den originale modellen (EN), det eneste store avviket fra etablert basal ganglia-anatomi består i påvirkning av nevron A rettet mot presynaptiske terminaler, mens dopaminsynapser er lokalisert på postsynaptiske dendritter av striatal nevroner (Freund et al. 1984). Gjenopptrykt fra Smith og Bolam (1990) med tillatelse fra Elsevier Press.

Samlet det effektive forsterkningssignalet (Eq. 6 ) er sammensatt av den primære forsterkningen, som avtar med nye prediksjoner (Eq. 6a) og erstattes gradvis av ervervede prediksjoner (EQS. 6b og 6c). Med påfølgende prediktiv stimuli, beveger det effektive forsterkningssignalet bakover i tid fra den primære forsterkeren til den tidligste forsterkende forutsigende stimulansen. Den retrograde overføringen resulterer i en mer spesifikk tildeling av kreditt til de involverte synapser, ettersom spådommer forekommer nærmere i tid til stimuli og atferdsreaksjoner som skal kondisjoneres, sammenlignet med forsterkning ved prøveslutt (Sutton og Barto 1981).

Implementeringer av forsterkende læringsalgoritmer benytter prediksjonsfeilen på to måter, for å endre synaptiske vekter for atferdsutgang og for å tilegne seg forutsigelser for kontinuerlig å beregne prediksjonsfeilen (fig. 9 A) (McLaren 1989; Sutton og Barto 1981). Disse to funksjonene er atskilt i nylige implementeringer, der prediksjonsfeilen beregnes i den adaptive kritikerkomponenten og endrer synaptiske vekter i aktørkomponenten som medierer atferdsutgang (fig. 9 B) (Barto 1995). En positiv feil øker forsterkningsforutsigelsen til kritikeren, mens en negativ feil fra utelatt forsterkning reduserer prediksjonen. Dette gjør det effektive forsterkningssignalet svært tilpasningsdyktig.

Nevrobiologiske implementeringer av tidsmessig læringsforskjell

ANSØKNINGER OM NEUROBIOLOGISKE PROBLEMER.

Selv om de opprinnelig ble utviklet på grunnlag av Rescorla-Wagner-modellen for klassisk kondisjonering, lærer modeller som bruker TD-algoritmer en lang rekke atferdsoppgaver gjennom i utgangspunktet instrumentelle former for kondisjonering. Disse oppgavene strekker seg fra å balansere en stolpe på et vognhjul (Barto et al. 1983) å spille backgammon i verdensklasse (Tesauro 1994). Roboter som bruker TD-algoritmer lærer å bevege seg rundt todimensjonalt rom og unngå hindringer, rekkevidde og forståelse (Fagg 1993) eller sett en knagg i et hull (Gullapalli et al. 1994). Bruk av TD-forsterkningssignalet for å direkte påvirke og velge atferd (fig. 9 A), TD-modeller gjenskape fôringsatferd hos honningbier (Montague et al. 1995) og simulere menneskelige beslutninger (Montague et al. 1996). TD-modeller med en eksplisitt kritiker-skuespillerarkitektur utgjør veldig kraftige modeller som effektivt lærer øyebevegelser (Friston et al. 1994; Montague et al. 1993), sekvensielle bevegelser (fig. 10) og orienterende reaksjoner (Contreras-Vidal og Schultz 1996). En nylig modell la til aktiverende-deprimerende nyhetssignaler for å forbedre undervisningssignalet, brukte stimulus og handlingsspor i kritikeren og skuespilleren, og benyttet alle vinnere-ta-alle regler for å forbedre undervisningssignalet og for å velge skuespillerneuroner med den største aktiveringen. Dette gjengitt i detalj både responsene fra dopaminuroner og læringsatferden til dyr i forsinkede responsoppgaver (Suri og Schultz 1996). Det er spesielt interessant å se at undervisningssignaler ved bruk av prediksjonsfeil resulterer i raskere og mer fullstendig læring sammenlignet med ubetingede forsterkningssignaler (fig. 10) (Friston et al. 1994).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 10. 

Fordel med prediktive forsterkningssignaler for læring. En tidsmessig forskjellsmodell med kritiker-skuespillerarkitektur og valgbarhetsspor i skuespilleren ble trent i en sekvensiell 2 trinn-3 valgoppgave (innsatt øverst til venstre). Læringen avanserte raskere og nådde høyere ytelse når et prediktivt forsterkningssignal ble brukt som undervisningssignal (adaptiv kritiker, topp) sammenlignet med å bruke et ubetinget forsterkningssignal ved prøveslutt (bunn). Denne effekten blir gradvis mer uttalt med lengre sekvenser. Sammenlignbar ytelse med det ubetingede forsterkningssignalet ville kreve et mye lengre valgbar spor. Data ble innhentet fra 10-simuleringer (R. Suri og W. Schultz, upubliserte observasjoner). En lignende forbedring i læring med prediktiv forsterkning ble funnet i en modell for oculomotorisk atferd (Friston et al. 1994).

Mulige læringsmekanismer ved bruk av dopaminsignalet

Det foregående avsnitt har vist at det formelle prediksjonsfeilsignalet som sendes ut av dopaminresponsen kan utgjøre et spesielt egnet undervisningssignal for modelllæring. Følgende seksjoner beskriver hvordan den biologiske dopaminresponsen potensielt kan brukes til læring av basale ganglia-strukturer og antyder testbare hypoteser.

POSTSYNAPTISK PLASTISITET MEDIERET AV TILBUDSPREDIKKSJONSIGNAL.

Læring ville gå i to trinn. Det første trinnet innebærer anskaffelse av en dopamin-belønningspredikatorisk respons. I påfølgende studier ville det prediktive dopaminsignalet spesifikt styrke de synaptiske vektene (ω) av corticostriatal synapser av hebbisk type som er aktive på tidspunktet for belønning-forutsi stimulans, mens de inaktive kortikostriatale synapser blir uendret. Dette resulterer i tre-faktor læringsregelen

Δω=ɛ rˆ i o

Ligning 8where r er dopaminforsterkende signal, i er inputaktivitet, o er utgangsaktivitet, og ɛ er læringsfrekvens.

I en forenklet modell kommer fire kortikale innganger (i1 – i4) i kontakt med dendritiske ryggrader fra tre mellomstore spiny striatale nevroner (o1 – o3; Fig. 11). Kortikale innganger konvergerer på striatal nevroner, hver inngang kommer i kontakt med en annen ryggrad. De samme ryggradene blir selektivt kontaktet av en vanlig dopamininngang R. Aktivering av dopamininngang R indikerer at en uforutsett belønningspredikatorisk stimulus skjedde i omgivelsene, uten å gi ytterligere detaljer (godhetssignal). La oss anta at cortical input i2 aktiveres samtidig med dopamin-neuroner og koder en av flere spesifikke parametere for den samme belønningsforutsigende stimulansen, for eksempel dens sensoriske modalitet, kroppsside, farge, tekstur og posisjon, eller en spesifikk parameter for en bevegelse utløst av stimulansen. Et sett med parametere for denne hendelsen vil bli kodet av et sett kortikale innganger i2. Kortikale innganger i1, i3 og i4 uten tilknytning til aktuelle stimuli og bevegelser er inaktive. Dopaminresponsen fører til selektiv dopaminfrigjøring ved alle varicositeter, men ville selektivt styrke bare de aktive kortikostriatale synapser i2 – o1 og i2 – o2, forutsatt at de kortikale inngangene er sterke nok til å aktivere striatal nevroner o1 og o2.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 11. 

Differensiell påvirkning av et globalt dopaminforsterkende signal på selektiv corticostriatal aktivitet. Dendritiske ryggrader av 3 mellomstore spiny striatale nevroner o1, o2 og o3 blir kontaktet av 4 kortikale innganger i1, i2, i3 og i4 og ved aksonale varikositeter fra en enkelt dopamin-neuron Rons ). Hver striatal nevron mottar ∼10,000 kortikale og 1,000 dopamininnganger. Ved enkelt dendritiske ryggdeler konvergerer forskjellige kortikale innganger med dopamininngangen. I 1-versjonen av modellen forbedrer dopaminsignalet samtidig aktiv kortikostriatal overføring i forhold til ikke-aktiv overføring. For eksempel er dopamininngang R aktiv samtidig med kortikalinngang i2, mens i1, i3, i4 er inaktive. Dette fører til en modifisering av i2 → o1 og i2 → o2 overføring, men etterlater i1 → o1, i3 → o2, i3 → o3 og i4 → o3 overføringer uendret. I en versjon av modellen som bruker plastisitet, blir synaptiske vekter av kortikostriatale synapser langsiktig modifisert av dopaminsignalet i henhold til samme regel. Dette kan oppstå når dopaminresponser på en betinget stimulus virker på kortikostriatale synapser som også aktiveres av denne stimulansen. I en annen versjon som bruker plastisitet, kan dopaminresponser til en primær belønning fungere bakover i tid på kortikostriatale synapser som tidligere var aktive. Disse synapser ville bli kvalifisert for modifisering av et hypotetisk postsynaptisk nevronalt spor igjen fra den aktiviteten. Ved sammenligning av basalganglia-strukturen med den nylige TD-modellen på fig. 9 B, dopamininngang R replikerer kritikeren med nevron A, striatum med nevroner o1 – o3 replikerer skuespilleren med nevron B, kortikale innganger i1 – i4 gjengir skuespillerinnspillet, og den divergerende projeksjonen av dopaminuroner R på flere ryggrader av flere striatale nevroner o1 – o3 replikerer den globale innflytelsen fra kritikeren på skuespilleren. En lignende sammenligning ble gjort av Houk et al. (1995). Denne tegningen er basert på anatomiske data av Freund et al. (1984), Smith og Bolam (1990), Flaherty og Graybiel (1993)og Smith et al. (1994).

Denne læringsmekanismen benytter den ervervede dopaminresponsen på tidspunktet for belønningspredikatorisk stimulus som et undervisningssignal for å indusere langvarige synaptiske endringer (fig. 12 A). Læring av den prediktive stimulansen eller utløst bevegelse er basert på den påviste tilegnelsen av dopaminrespons på den belønningspredikerende stimulansen, sammen med dopaminavhengig plastisitet i striatum. Plastisitetsendringer kan alternativt forekomme i kortikale eller subkortikale strukturer nedstrøms fra striatum etter dopaminformidlet kortsiktig forbedring av synaptisk overføring i striatum. De tilbakevirkende virkningene av belønning på stimuli og bevegelser som går foran belønningen, medieres av responsoverføringen til den tidligste belønningspredikerende stimulansen. Dopaminresponsen til forutsagt eller utelatt primær belønning brukes ikke for plastisitetsendringer i striatum, da den ikke forekommer samtidig med hendelsene som skal kondisjoneres, selv om det kan være involvert i beregning av dopaminresponsen til belønningspredikatorisk stimulans i analogi med arkitekturen og mekanismen til TD-modeller.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 12. 

Påvirkning av dopaminarmeringssignal på mulige læringsmekanismer i striatum. A: prediktiv dopamin-belønningsrespons på en betinget stimulus (CS) har en direkte forsterkende eller plastisitetseffekt på striatal nevrotransmisjon relatert til den stimulansen. B: dopaminrespons på primær belønning har en tilbakegående plastisitetseffekt på striatal nevrotransmisjon relatert til den foregående betingede stimulansen. Denne mekanismen er formidlet av en kvalifisert spor som overskrider striatal aktivitet. Solide piler indikerer direkte effekter av dopaminsignal på striatal nevrotransmisjon (A) eller valgbarhetsspor (B) liten pil inn B indikerer indirekte effekt på striatal nevrotransmisjon via kvalifiseringsspor.

Elektrisk stimulering av dopaminuroner som ubetinget stimulans

Elektrisk stimulering av omskrevne hjerneområder fungerer pålitelig som forsterkning for å tilegne seg og opprettholde tilnærmingsatferd (Olds og Milner 1954). Noen veldig effektive selvstimuleringssteder sammenfaller med dopamincellelegemer og aksonbunter i mellomhinnen (Corbett og Wise 1980), nucleus accumbens (Phillips et al. 1975), striatum (Phillips et al. 1976) og prefrontal cortex (Mora og Myers 1977; Phillips et al. 1979), men finnes også i strukturer som ikke er relatert til dopaminsystemer (Hvit og Milner 1992). Elektrisk selvstimulering innebærer aktivering av dopaminuroner (Fibiger og Phillips 1986; Wise og Rompré 1989) og reduseres med 6-hydroksydopamin-induserte lesjoner av dopaminaksoner (Fibiger et al. 1987; Phillips og Fibiger 1978), hemming av dopaminsyntese (Edmonds og Gallistel 1977), depolarisasjonsinaktivering av dopaminuroner (Rompré og Wise 1989), og dopaminreseptorantagonister administrert systemisk (Furiezos og Wise 1976) eller i nucleus accumbens (Mogenson et al. 1979). Selvstimulering forenkles med kokain- eller amfetamininduserte økninger i ekstracellulær dopamin (Colle og Wise 1980; Stein 1964; Wauquier 1976). Selvstimulering øker direkte utnyttelse av dopamin i nucleus accumbens, striatum og frontal cortex (Fibiger et al. 1987; Mora og Myers 1977).

Det er spennende å forestille seg at elektrisk fremkalte dopaminimpulser og frigjøring kan tjene som ubetinget stimulans i assosiativ læring, på lik linje med stimulering av octopaminuroner hos honningbier som lærer proboscis refleks (Hammer 1993). Imidlertid skiller dopaminrelatert selvstimulering seg i minst tre viktige aspekter fra den naturlige aktiveringen av dopaminuroner. I stedet for bare å aktivere dopaminneuroner, aktiverer naturlige belønninger vanligvis flere nevronale systemer parallelt og tillater distribuert koding av forskjellige belønningskomponenter (se videre tekst). For det andre blir elektrisk stimulering brukt som ubetinget forsterkning uten å gjenspeile en feil i belønningspediksjon. For det tredje leveres elektrisk stimulering bare som en belønning etter en atferdsreaksjon, i stedet for på tidspunktet for en belønning-forutsigende stimulus. Det ville være interessant å bruke elektrisk selvstimulering på nøyaktig samme måte som dopamin-neuroner avgir signalet.

Læringsunderskudd med nedsatt dopamin nevrotransmisjon

Mange studier undersøkte oppførselen til dyr med nedsatt dopamin-nevrotransmisjon etter lokal eller systemisk påføring av dopaminreseptorantagonister eller ødeleggelse av dopaminaksoner i ventral mellomhjerne, nucleus accumbens eller striatum. I tillegg til å observere lokomotoriske og kognitive mangler som minner om parkinsonisme, avslørte disse studiene svekkelser i behandlingen av belønningsinformasjon. De tidligste studiene argumenterte for underskudd i den subjektive, hedoniske oppfatningen av belønning (Wise 1982; Wise et al. 1978). Ytterligere eksperimenteringer avdekket svekket bruk av primære belønninger og betinget appetittvekkende stimuli for tilnærming og fullbyrdende atferd (Beninger et al. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Wise og Colle 1984; Klok og Rompre 1989). Mange studier beskrev svikt i motivasjons- og oppmerksomhetsprosesser som ligger til grunn for appetittvekkende læring (Beninger 1983, 1989; Beninger og Hahn 1983; Fibiger og Phillips 1986; LeMoal og Simon 1991; Robbins og Everitt 1992, 1996; Hvit og Milner 1992; Wise 1982). De fleste læringsunderskudd er assosiert med nedsatt dopamin-neurotransmisjon i nucleus accumbens, mens svekkelse i ryggstriatum fører til sensorimotorisk mangel (Amalric og Koob 1987; Robbins og Everitt 1992; hvit 1989). Imidlertid ser læring av instrumentelle oppgaver generelt og diskriminerende stimulusegenskaper spesielt ofte ut til å være skånet, og det er ikke helt bestemt om noen av de tilsynelatende læringsunderskuddene kan bli forvirret av motoriske ytelsesunderskudd (Salamone 1992).

Degenerering av dopaminneuroner i Parkinsons sykdom fører også til en rekke deklarative og prosessuelle læringsunderskudd, inkludert assosiativ læring (Linden et al. 1990; Sprengelmeyer et al. 1995). Mangler er til stede i prøving og feiling med umiddelbar forsterkning (Vriezen og Moscovitch 1990) og når man knytter eksplisitte stimuli til forskjellige utfall (Knowlton et al. 1996), selv i tidlige stadier av Parkinsons sykdom uten kortikal atrofi (Canavan et al. 1989). Parkinsonpasienter viser også nedsatt tidsoppfatning (Pastor et al. 1992). Alle disse manglene oppstår i nærvær av L-Dopa-behandling, som gjenoppretter toniske striatale dopaminnivåer uten å gjenopprette fasiske dopaminsignaler.

Disse studiene antyder at dopamin nevrotransmisjon spiller en viktig rolle i prosessering av belønning for tilnærmingsatferd og i læringsformer som involverer assosiasjoner mellom stimuli og belønning, mens involvering i mer instrumentelle læringsformer kan stilles spørsmål ved. Det er uklart om disse manglene reflekterer en mer generell atferdsinaktivering på grunn av tonisk redusert dopaminreseptorstimulering i stedet for fraværet av et fasisk dopamin-belønningssignal. For å løse dette spørsmålet, samt mer konkret belyse dopaminens rolle i forskjellige læringsformer, vil det være nyttig å studere læring i de situasjonene der den fasiske dopaminresponsen på appetittvekkende stimuli faktisk oppstår.

Læringsformer muligens formidlet av dopaminsignalet

Egenskapene til dopaminresponser og den potensielle påvirkningen av dopamin på striatal nevroner kan bidra til å avgrense noen av læringsformene der dopaminuroner kan være involvert. De foretrukne svarene på appetittvekkende i motsetning til aversive hendelser vil favorisere et engasjement i læring av tilnærmingsatferd og formidle positive forsterkningseffekter, snarere enn tilbaketrekning og straff. Responsene på primære belønninger utenom oppgaver og læringssammenhenger vil tillate at dopaminuroner kan spille en rolle i et relativt bredt spekter av læring som involverer primære belønninger, både i klassisk og instrumentell kondisjonering. Svarene på belønning-forutsi stimuli reflekterer stimulus-belønning assosiasjoner og ville være forenlig med et engasjement i belønning forventning som ligger til grunn for generell insentiv læring (Bindra 1968). Derimot koder ikke dopaminresponser belønninger eksplisitt som målobjekter, ettersom de bare rapporterer feil i belønningsprediksjon. De ser også ut til å være ufølsomme overfor motiverende tilstander, og dermed ugunstige for en spesifikk rolle i statsavhengig insentivlæring av målrettede handlinger (Dickinson og Balleine 1994). Mangelen på tydelige forhold til arm- og øyebevegelser ville ugunstiggjøre en rolle i direkte mediering av atferdsresponsene som følger incentivstimuli. Imidlertid er sammenligninger mellom utslipp av individuelle nevroner og læring av hele organismer i seg selv vanskelig. På synaptisk nivå når fasisk frigjort dopamin mange dendritter på sannsynligvis hvert striatal nevron og kan dermed utøve en plastisitetseffekt på det store utvalget av atferdskomponenter som involverer striatum, som kan inkludere læring av bevegelser.

De spesifikke forholdene som fasiske dopaminsignaler kan spille en rolle i læringen, bestemmes av hvilke typer stimuli som effektivt induserer en dopaminrespons. I dyrelaboratoriet krever dopaminresponser den fasiske forekomsten av appetittvekkende, nye eller spesielt fremtredende stimuli, inkludert primær næringsbelønning og belønning-forutsigende stimuli, mens aversive stimuli ikke spiller noen stor rolle. Dopaminresponser kan forekomme i alle atferdssituasjoner kontrollert av fasiske og eksplisitte utfall, selv om høyere ordensbetingede stimuli og sekundære forsterkere ennå ikke var testet. Fasiske dopaminresponser vil sannsynligvis ikke spille noen rolle i læringsformer som ikke er formidlet av fasisk forekommende utfall, og den prediktive responsen vil ikke kunne bidra til læring i situasjoner der fasisk prediktiv stimuli ikke forekommer, for eksempel relativt langsomme endringer i kontekst . Dette fører til det interessante spørsmålet om skoningen av noen former for læring ved dopaminlesjoner eller nevroleptika rett og slett kan gjenspeile fraværet av fasiske dopaminresponser i utgangspunktet fordi den effektive stimuli som fremkalte dem ikke ble brukt.

Dopaminsignalers involvering i læring kan illustreres ved et teoretisk eksempel. Se for deg dopaminresponser under anskaffelse av en seriell reaksjonstidsoppgave når en riktig reaksjon plutselig fører til en næringsbelønning. Belønningssvaret blir deretter overført til gradvis tidligere belønningspredikatoriske stimuli. Reaksjonstidene forbedres ytterligere med langvarig praksis etter hvert som de romlige posisjonene til mål blir stadig mer forutsigbare. Selv om dopamin-neuroner fortsetter å svare på belønning-forutsigende stimuli, kan den videre atferdsforbedringen hovedsakelig skyldes anskaffelse av prediktiv prosessering av romlige posisjoner av andre nevronale systemer. Dopaminresponser vil således oppstå under den innledende, insentiv delen av læringen der fagene kommer til å nærme seg objekter og oppnå eksplisitte primære, og muligens betingede belønninger. De vil være mindre involvert i situasjoner der fremdriften for læring går utover induksjon av tilnærmingsatferd. Dette vil ikke begrense dopaminrollen til innledende læringstrinn, ettersom mange situasjoner krever å lære fra eksempler og først senere involvere læring ved eksplisitte resultater.

Prediksjonsfeil

Forutsigelsesfeilsignalet til dopaminuroner vil være en utmerket indikator på den appetittvekkende verdien av miljøhendelser i forhold til prediksjon, men unnlater å skille mellom matvarer, væsker og belønningspredikatoriske stimuli og blant visuelle, auditive og somatosensoriske modaliteter. Dette signalet kan utgjøre en belønningsvarslingsmelding som postsynaptiske nevroner blir informert om det overraskende utseendet eller utelatelsen av en givende eller potensielt givende hendelse uten å indikere ytterligere dens identitet. Det har alle de formelle egenskapene til et kraftig forsterkningssignal for læring. Informasjon om belønningens spesifikke natur er imidlertid avgjørende for å bestemme hvilke av gjenstandene som skal kontaktes og på hvilken måte. For eksempel skal et sultent dyr først og fremst nærme seg mat, men ikke væske. For å skille relevant fra irrelevante belønninger, må dopaminsignalet suppleres med tilleggsinformasjon. Nyere in vivo-dialyseforsøk viste høyere matindusert dopaminfrigjøring hos sultne enn hos mettede rotter (Wilson et al. 1995). Denne drivavhengigheten av dopaminfrigjøring kan ikke innebære impulsresponser, da vi ikke har klart å finne klar driveavhengighet med dopaminresponser når vi sammenligner mellom tidlige og sene perioder med individuelle eksperimentelle økter der dyr ble væskemettede (JL Contreras-Vidal og W. Schultz, upubliserte data).

Belønningsspesifikasjoner

Informasjon om belønning med væske og mat behandles også i andre hjernestrukturer enn dopamin-nevroner, for eksempel rygg- og ventral striatum, subthalamisk kjerne, amygdala, dorsolateral prefrontal cortex, orbitofrontal cortex og fremre cingulate cortex. Imidlertid ser ikke disse strukturene ut til å avgi et globalt belønning prediksjon feil signal som ligner på dopamin neuroner. I primater behandler disse strukturene belønninger som 1) kortvarige svar etter levering av belønning (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki og Watanabe 1979; Nishijo et al. 1988; Tremblay og Schultz 1995; Watanabe 1989), 2) forbigående svar på belønning-forutsigende signaler (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay og Schultz 1995; Williams et al. 1993), 3) vedvarende aktiveringer i forventning om umiddelbart kommende belønninger (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay og Schultz 1995), Og 4) moduleringer av atferdsrelaterte aktiveringer etter spådd belønning (Hollerman et al. 1994; Watanabe 1990, 1996). Mange av disse nevronene skiller godt mellom forskjellige matbelønninger og mellom forskjellige flytende belønninger. Dermed behandler de den spesifikke arten av den givende hendelsen og kan tjene oppfatningen av belønning. Noen av belønningssvarene avhenger av uforutsigbarhet til belønning og er redusert eller fraværende når belønningen spås av en betinget stimulans (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay og W. Schultz, upubliserte data). De kan behandle prediksjoner for spesifikke belønninger, selv om det er uklart om de signaliserer prediksjonsfeil ettersom deres svar på utelatte belønninger er ukjente.

Opprettholde etablert ytelse

Tre nevronale mekanismer ser ut til å være viktige for å opprettholde etablert atferdsevne, nemlig påvisning av utelatte belønninger, påvisning av belønning-forutsigende stimuli og påvisning av forutsagte belønninger. Dopaminneuroner er deprimerte når forutsagte belønninger blir utelatt. Dette signalet kan redusere den synaptiske effekten relatert til feil atferdsrespons og forhindre gjentagelse av dem. Dopaminresponsen på belønning-forutsi stimuli opprettholdes under etablert atferd og fortsetter dermed å fungere som forhåndsinformasjon. Selv om fullt predikerte belønninger ikke blir oppdaget av dopaminuroner, blir de behandlet av de ikke-vitamin-kortikale og subkortikale systemene nevnt ovenfor. Dette ville være viktig for å unngå utryddelse av innlært atferd.

Sammensatt ser det ut til at prosessering av spesifikke belønninger for å lære og opprettholde tilnærmingsatferd vil tjene sterkt på et samarbeid mellom dopaminuroner som signaliserer uforutsett forekomst eller unnlatelse av belønning og nevroner i de andre strukturene samtidig, noe som indikerer belønningens spesifikke natur.

Noradrenaline nevroner

Nesten hele populasjonen av noradrenaline nevroner i locus coeruleus hos rotter, katter og aper viser ganske homogene, bifasiske aktiveringsdepressive reaksjoner på visuelle, auditive og somatosensoriske stimuli som vekker orienteringsreaksjoner (Aston-Jones og Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Spesielt effektive er sjeldne hendelser som dyrene legger merke til, for eksempel visuelle stimuli i en oddballdiskrimineringsoppgave (Aston-Jones et al. 1994). Noradrenaline nevroner skiller veldig godt mellom å vekke eller motiverende og nøytrale hendelser. De får raskt svar på ny målstimulering under reversering og mister svar på tidligere mål før atferds reversering er fullført (Aston-Jones et al. 1997). Respons oppstår for å frigjøre væske utenfor enhver oppgave og overføre til belønning-forutsigende målstimuli innen en oppgave så vel som til primær og betinget aversiv stimuli (Aston-Jones et al. 1994; Foote et al. 1980; Rasmussen og Jacobs 1986; Sara og Segal 1991). Svarene er ofte forbigående og ser ut til å gjenspeile endringer i stimulusforekomst eller mening. Aktiveringer kan bare skje i noen få studier med gjentatte presentasjoner av matgjenstander (Vankov et al. 1995) eller med kondisjonerte auditive stimuli assosiert med flytende belønning, aversivt luftpust eller elektrisk fotstøt (Rasmussen og Jacobs 1986; Sara og Segal 1991). Under kondisjonering oppstår svar på de første presentasjonene av nye stimuli og dukker opp kortvarig når forsterkningsbetingelser endres under anskaffelse, reversering og utryddelse (Sara og Segal 1991).

Sammensatt ligner responsene fra noradrenalin-neuroner responsene fra dopamin-neuroner på flere måter, og aktiveres av primære belønninger, belønning-forutsi stimuli og nye stimuli og overfører responsen fra primære til betingede appetittvekkende hendelser. Imidlertid skiller noradrenaline nevroner seg fra dopaminneuroner ved å svare på et mye større utvalg av stimulerende stimuli, ved å reagere godt på primære og betingede aversive stimuli, ved å diskriminere godt mot nøytrale stimuli, ved raskt å følge atferdsendringer og ved å vise dekrementerende svar med gjentatt stimulus. presentasjon som kan kreve 100-studier for solide appetittvekkende svar (Aston-Jones et al. 1994). Noradrenalin-responser er sterkt relatert til de vekke eller oppmerksomhetsgripende egenskapene til stimuli som vekker orienterende reaksjoner, mens de er mye mindre fokusert på appetittvekkende stimulusegenskaper som de fleste dopamin-nevroner. De er sannsynligvis drevet mer av oppmerksomhetsgrep enn motiverende komponenter i appetittvekkende hendelser.

Serotonin nevroner

Aktivitet i de forskjellige raphe kjerner letter motoreffekten ved å stille inn muskeltonus og stereotyp motorisk aktivitet (Jacobs og Fornal 1993). Dorsal raphe nevroner hos katter viser fasiske, ikke-bofaste reaksjoner på visuell og auditiv stimuli uten spesiell atferdsmessig betydning (Heym et al. 1982; LeMoal og Olds 1979). Disse svarene ligner responser fra dopaminuroner på nye og spesielt fremtredende stimuli. Ytterligere sammenligninger ville kreve mer detaljert eksperimentering.

Nucleus basalis Meynert

Primære basale forhjernenevroner aktiveres fasisk av et stort utvalg av atferdshendelser, inkludert betingede, belønningspredikerende stimuli og primære belønninger. Mange aktiveringer er avhengige av hukommelse og assosiasjoner til forsterkning i diskriminering og forsinkede responsoppgaver. Aktiveringer gjenspeiler kjennskapen til stimuli (Wilson and Rolls 1990a), bli viktigere med stimuli og bevegelser som oppstår nærmere belønningstidspunktet (Richardson og DeLong 1990), skille godt mellom visuelle stimuli på bakgrunn av appetittvekkende og aversive assosiasjoner (Wilson and Rolls 1990b), og endre seg i løpet av noen få studier under reversering (Wilson and Rolls 1990c). Nevroner aktiveres også av aversiv stimuli, forutsagt visuell og auditiv stimuli og bevegelser. De reagerer ofte på fullt forutsagte belønninger i veletablerte atferdsoppgaver (Mitchell et al. 1987; Richardson og DeLong 1986, 1990), selv om svar på uforutsett belønning er rikelig i noen studier (Richardson og DeLong 1990) men ikke i andre (Wilson and Rolls 1990a-c). Sammenlignet med dopaminuroner, aktiveres de av et mye større spekter av stimuli og hendelser, inkludert aversive hendelser, og viser ikke den ganske homogene populasjonsresponsen på uforutsett belønning og overføringen til belønningspredikerende stimuli.

Cerebellar klatrefibre

Sannsynligvis ble det første feildrevne undervisningssignalet i hjernen postulert til å involvere projeksjonen av klatrefibre fra den underordnede oliven til Purkinje nevroner i hjernebarken (Marr 1969), og mange cerebellar læringsstudier er basert på dette konseptet (Houk et al. 1996; Ito 1989; Kawato og Gomi 1992; Llinas og walisiske 1993). Klatring av fiberinnganger til Purkinje nevroner endrer forbigående sin aktivitet når belastninger for bevegelser eller gevinster mellom bevegelser og visuell tilbakemelding endres og aper tilpasser seg den nye situasjonen (Gilbert og Thach 1977; Ojakangas og Ebner 1992). De fleste av disse endringene består av økt aktivitet snarere enn aktivering kontra depresjonsresponser sett med feil i motsatte retninger i dopaminuroner. Hvis aktivering av klatrefibre skulle fungere som undervisningssignal, bør sammenklatring av fiberparallell fiberaktivering føre til endringer i parallell fiberinngang til Purkinje nevroner. Dette skjer faktisk som langvarig depresjon av parallell fiberinnføring, hovedsakelig i in vitro-preparater (Ito 1989). Imidlertid er sammenlignbare parallelle fiberendringer vanskeligere å finne i atferdsmessige læringssituasjoner (Ojakangas og Ebner 1992), slik at konsekvensene av potensielle undervisningssignaler for klatrefibre er åpne for øyeblikket.

Et annet argument for en rolle å klatre fibre i læring innebærer aversiv klassisk kondisjonering. En brøkdel av klatrefibre aktiveres av aversive luftpuffer til hornhinnen. Disse svarene går tapt etter kondisjon av øyelokk ved hjelp av en auditiv stimulans (Sears og Steinmetz 1991), noe som antyder et forhold til uforutsigbarheten av primære aversive hendelser. Etter kondisjonering reagerer nevroner i den cerebellare interpositus-kjernen på den betingede stimulansen (Berthier og Moore 1990; McCormick og Thompson 1984). Lesjoner av denne kjernen eller injeksjoner av GABA-antagonisten bicuculline i den underordnede oliven forhindrer tap av dårligere reaksjoner fra olivenluft etter kondisjonering, noe som antyder at monosynaptisk eller polysynaptisk hemming fra interpositus til underordnede oliven undertrykker responsene etter kondisjonering (Thompson og Gluck 1991). Dette kan tillate underordnede olivenetroner å bli deprimert i fravær av forutsagt aversiv stimuli og dermed rapportere en negativ feil i prediksjonen av aversive hendelser som ligner på dopamin-neuroner.

Klatrefibre kan således rapportere feil i motorisk ytelse og feil i prediksjon av aversive hendelser, selv om dette ikke alltid involverer toveisendringer som med dopaminuroner. Klatrefibre ser ikke ut til å få svar på kondisjonerte aversive stimuli, men slike responser finnes i nucleus interpositus. Beregningen av aversive prediksjonsfeil kan innebære synkende inhiberende tilførsler til underordnede oliven nevroner, i analogi med striatal fremskrivninger til dopaminuroner. Dermed behandler cerebellare kretsløp feilsignaler, om enn annerledes enn dopaminuroner og TD-modeller, og de kan implementere regler for feilinnlæring som Rescorla-Wagner-regelen (Thompson og Gluck 1991) eller den formelt ekvivalente Widrow-Hoff-regelen (Kawato og Gomi 1992).