Prediktivt belønningssignal for dopaminneuroner (1998)

Funksjoner av belønning

Visse objekter og hendelser i miljøet har spesiell motivasjonsmessig betydning på grunn av deres effekter på velferd, overlevelse og reproduksjon. I henhold til de atferdsreaksjonene som fremkalles, kan motivasjonsverdien til miljøobjekter være appetittvekkende (belønnende) eller aversiv (straffende). (Merk at «appetittvekkende» brukes synonymt med «belønnende», men ikke med «forberedende».) Appetittvekkende objekter har tre separerbare grunnleggende funksjoner. I sin første funksjon fremkaller belønninger tilnærmings- og fullbyrdelsesatferd. Dette skyldes at objektene er merket med appetittvekkende verdi gjennom medfødte mekanismer eller, i de fleste tilfeller, læring. I sin andre funksjon øker belønninger hyppigheten og intensiteten av atferd som fører til slike objekter (læring), og de opprettholder lært atferd ved å forhindre utryddelse. Belønninger fungerer som positive forsterkere av atferd i klassiske og instrumentelle betingingsprosedyrer. Generelt sett får miljøstimuli appetittvekkende verdi etter klassisk betingede stimulus-belønningsassosiasjoner og induserer tilnærmingsatferd ( Bindra 1968 ). I instrumentell betinging «forsterker» belønninger atferd ved å styrke assosiasjonene mellom stimuli og atferdsresponser (effektloven: Thorndike 1911 ). Dette er essensen av å «komme tilbake for mer» og er relatert til den vanlige forestillingen om at belønninger oppnås for å ha gjort noe bra. I en instrumentell form for insentivlæring er belønninger «insentiver» og fungerer som mål for atferd etter assosiasjoner mellom atferdsresponser og utfall ( Dickinson og Balleine 1994 ). I sin tredje funksjon induserer belønninger subjektive følelser av glede (hedoni) og positive emosjonelle tilstander. Aversive stimuli fungerer i motsatte retninger. De induserer tilbaketrekningsresponser og fungerer som negative forsterkere ved å øke og opprettholde unngåelsesatferd ved gjentatt presentasjon, og dermed redusere virkningen av skadelige hendelser. Videre induserer de interne emosjonelle tilstander av sinne, frykt og panikk.

Funksjoner av spådommer

Prediksjoner gir forhåndsinformasjon om fremtidige stimuli, hendelser eller systemtilstander. De gir den grunnleggende fordelen at de får tid til atferdsreaksjoner. Noen former for prediksjoner tilskriver motivasjonsverdier til miljøstimuli ved å assosieres med bestemte utfall, og identifiserer dermed objekter av vital betydning og skiller dem fra mindre verdifulle objekter. Andre former koder fysiske parametere for predikerte objekter, som romlig posisjon, hastighet og vekt. Prediksjoner lar en organisme evaluere fremtidige hendelser før de faktisk inntreffer, tillater valg og forberedelse av atferdsreaksjoner, og øker sannsynligheten for å nærme seg eller unngå objekter merket med motivasjonsverdier. For eksempel lar gjentatte bevegelser av objekter i samme sekvens en forutsi kommende posisjoner og allerede forberede neste bevegelse mens man forfølger det nåværende objektet. Dette reduserer reaksjonstiden mellom individuelle mål, øker den generelle ytelsen og resulterer i et tidligere utfall. Prediktive øyebevegelser forbedrer atferdsytelsen gjennom forhåndsfokusering ( Flowers og Downing 1978 ).

På et mer avansert nivå lar den avanserte informasjonen som gis av prediksjoner en ta avgjørelser mellom alternativer for å oppnå bestemte systemtilstander, nærme seg sjelden forekommende målobjekter eller unngå uopprettelige bivirkninger. Industrielle applikasjoner bruker intern modellkontroll for å forutsi og reagere på systemtilstander før de faktisk oppstår ( Garcia et al. 1989 ). For eksempel beregner «fly-by-wire»-teknikken i moderne luftfart forutsigbare kommende tilstander for fly. Beslutninger for flymanøvrer tar hensyn til denne informasjonen og bidrar til å unngå overdreven belastning på flyets mekaniske komponenter, og reduserer dermed vekten og øker operasjonsområdet.

Bruken av prediktiv informasjon avhenger av arten av de representerte fremtidige hendelser eller systemtilstander. Enkle representasjoner angår direkte plasseringen av kommende mål og den påfølgende atferdsreaksjonen, og reduserer reaksjonstiden på en ganske automatisk måte. Høyere former for prediksjoner er basert på representasjoner som tillater logisk inferens, som kan nås og behandles med ulik grad av intensjonalitet og valg. De blir ofte behandlet bevisst hos mennesker. Før de predikerte hendelsene eller systemtilstandene oppstår og atferdsreaksjoner gjennomføres, tillater slike prediksjoner mentalt å evaluere ulike strategier ved å integrere kunnskap fra forskjellige kilder, utforme forskjellige reaksjonsmåter og sammenligne gevinstene og tapene fra hver mulig reaksjon.

Atferdskondisjonering

Assosiativ appetitiv læring involverer den gjentatte og betingede sammenkoblingen mellom en vilkårlig stimulus og en primær belønning (fig. 1 ). Dette resulterer i stadig hyppigere tilnærmingsatferd indusert av den nå «betingede» stimulusen, som delvis ligner tilnærmingsatferden fremkalt av den primære belønningen og også påvirkes av den betingede stimulusens natur. Det ser ut til at den betingede stimulusen fungerer som en prediktor for belønning og, ofte basert på en passende drivkraft, setter en intern motivasjonstilstand som fører til den atferdsmessige reaksjonen. Likheten mellom tilnærmingsreaksjoner antyder at noen av de generelle, forberedende komponentene i den atferdsmessige responsen overføres fra den primære belønningen til den tidligste betingede, belønningspredikende stimulusen. Dermed fungerer den betingede stimulusen delvis som en motivasjonserstatning for den primære stimulusen, sannsynligvis gjennom pavlovsk læring ( Dickinson 1980 ).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 1. 

Bearbeiding av appetittvekkende stimuli under læring. En vilkårlig stimulus blir assosiert med en primær mat- eller væskebelønning gjennom gjentatt, betinget paring. Denne betingede, belønningspredikende stimulusen induserer en intern motivasjonstilstand ved å fremkalle en forventning om belønningen, ofte på grunnlag av en tilsvarende sult- eller tørstetrang, og fremkaller den atferdsmessige reaksjonen. Denne ordningen gjenskaper grunnleggende forestillinger om insentivmotivasjonsteori utviklet av Bindra (1968) og Bolles (1972) . Den gjelder klassisk betinging, der belønning leveres automatisk etter den betingede stimulusen, og instrumentell (operant) betinging, der belønningslevering krever en reaksjon fra subjektet på den betingede stimulusen. Denne ordningen gjelder også aversiv betinging, som ikke er ytterligere utdypet av korthetshensyn.

Mange såkalte «ubetingede» mat- og væskebelønninger læres sannsynligvis gjennom erfaring, noe enhver besøkende i utlandet kan bekrefte. Den primære belønningen kan da bestå av smaken som oppleves når objektet aktiverer smaksreseptorene, men det kan igjen læres. Den ultimate givende effekten av næringsobjekter består sannsynligvis i deres spesifikke påvirkning på grunnleggende biologiske variabler, som elektrolytt-, glukose- eller aminosyrekonsentrasjoner i plasma og hjerne. Disse variablene er definert av organismens vegetative behov og oppstår gjennom evolusjon. Dyr unngår næringsstoffer som ikke påvirker viktige vegetative variabler, for eksempel mat som mangler essensielle aminosyrer som histidin ( Rogers og Harper 1970 ), treonin ( Hrupka et al. 1997 ; Wang et al. 1996 ) eller metionin ( Delaney og Gelperin 1986 ). Noen få primære belønninger kan bestemmes av medfødte instinkter og støtte innledende tilnærmingsatferd og inntak tidlig i livet, mens de fleste belønningene ville bli lært i løpet av individets påfølgende livserfaring. Det fysiske utseendet til belønninger kan da brukes til å forutsi de mye langsommere vegetative effektene. Dette ville dramatisk akselerere oppdagelsen av belønninger og utgjøre en stor fordel for overlevelse. Å lære belønninger lar også forsøkspersoner bruke et mye større utvalg av næringsstoffer som effektive belønninger og dermed øke sjansene for å overleve i soner med knappe ressurser.

Aktivering ved primær appetittvekkende stimuli

Omlag 75% av dopaminneuronene viser fasiske aktiveringer når dyr berører en liten bit skjult mat under utforskende bevegelser i fravær av andre fasiske stimuli, uten å bli aktivert av selve bevegelsen (Romo og Schultz 1990). De resterende dopaminneuronene svarer ikke på noen av de testede miljøstimulene. Dopamin-neuroner aktiveres også av en dråpe væske som leveres ved munnen utenfor enhver atferdsoppgave, eller mens du lærer slike forskjellige paradigmer som visuelle eller auditive reaksjonstidsoppgaver, romlig forsinket respons eller veksling, og visuell diskriminering, ofte i samme dyr (Fig . 2 topp) (Hollerman og Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz og Schultz 1994; Schultz et al. 1993). Belønningssvarene skjer uavhengig av læringssammenheng. Dopamin neuroner ser ikke ut til å skille mellom forskjellige matobjekter og flytende belønninger. Svarene deres skiller imidlertid belønning fra gjenstående objekter (Romo og Schultz 1990). Bare 14% av dopaminneuroner viser de fasiske aktiveringene når primære aversive stimuli blir presentert, for eksempel en luftpuff i hånden eller hypertonisk saltvann i munnen, og de fleste av de aktiverte nevronene reagerer også på belønning (Mirenowicz og Schultz 1996). Selv om de er slitsomme, er disse stimuli aversive ved at de forstyrrer atferd og induserer aktive unngåelsesreaksjoner. Imidlertid er dopaminneuroner ikke helt ufølsomme for aversiv stimuli, som vist ved langsomme depresjoner eller sporadiske sakte aktiveringer etter smerte-klype-stimuli hos bedøvede aper (Schultz og Romo 1987) og ved økt striatal frigjøring av dopamin etter elektrisk støt og haleknipe hos våkne rotter (Abercrombie et al. 1989; Doherty og Gratton 1992; Louilot et al. 1986; Young et al. 1993). Dette antyder at de fasiske responsene fra dopaminuroner fortrinnsvis rapporterer miljømessige stimuli med primær appetittverdi, mens aversive hendelser kan signaliseres med et betydelig langsommere tidsforløp.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 2. 

Dopaminnevroner rapporterer belønninger i henhold til en feil i belønningsprediksjonen. Øverst : en dråpe væske forekommer, selv om ingen belønning er predikert på dette tidspunktet. Forekomst av belønning utgjør dermed en positiv feil i prediksjonen av belønning. Dopaminnevron aktiveres av den uforutsette forekomsten av væsken. Midten : en betinget stimulus predikerer en belønning, og belønningen skjer i henhold til prediksjonen, dermed ingen feil i prediksjonen av belønning. Dopaminnevron aktiveres ikke av den predikerte belønningen (høyre). Den viser også en aktivering etter den belønningspredikende stimulusen, som skjer uavhengig av en feil i prediksjonen av den senere belønningen (venstre). Nederst : en betinget stimulus predikerer en belønning, men belønningen skjer ikke på grunn av manglende reaksjon fra dyret. Aktiviteten til dopaminnevronen er deprimert nøyaktig på det tidspunktet belønningen ville ha skjedd. Legg merke til depresjonen som oppstår >1 sekund etter den betingede stimulusen uten noen mellomliggende stimuli, noe som avslører en intern prosess med belønningsforventning. Nevronaktivitet i de tre grafene følger ligningen: dopaminrespons (belønning) = belønning oppstått - predikert belønning. CS, betinget stimulus; R, primærbelønning. Gjengitt fra Schultz et al. (1997) med tillatelse fra American Association for the Advancement of Science.

Uforutsigbarhet av belønning

Et viktig trekk ved dopaminresponser er deres avhengighet av hendelsesuforutsigbarhet. Aktiveringene etter belønninger skjer ikke når mat- og væskebelønninger innledes av fasiske stimuli som er betinget til å forutsi slike belønninger (fig. 2 , midten ) ( Ljungberg et al. 1992 ; Mirenowicz og Schultz 1994 ; Romo og Schultz 1990 ). En avgjørende forskjell mellom læring og fullstendig tilegnet atferd er graden av belønningsuforutsigbarhet. Dopaminnevroner aktiveres av belønninger i læringsfasen, men slutter å reagere etter fullstendig tilegnelse av visuelle og auditive reaksjonstidsoppgaver ( Ljungberg et al. 1992 ; Mirenowicz og Schultz 1994 ), romlige forsinkede responsoppgaver ( Schultz et al. 1993 ) og samtidige visuelle diskrimineringer ( Hollerman og Schultz 1996 ). Tapet av respons skyldes ikke en utviklende generell ufølsomhet for belønninger, ettersom aktiveringer etter belønninger gitt utenfor oppgaver ikke avtar i løpet av flere måneder med eksperimentering ( Mirenowicz og Schultz 1994 ). Betydningen av uforutsigbarhet inkluderer tidspunktet for belønning, noe som demonstreres av forbigående aktiveringer etter belønninger som plutselig leveres tidligere eller senere enn forutsagt ( Hollerman og Schultz 1996 ). Samlet sett må forekomsten av belønning, inkludert tidspunktet, være uforutsigbar for å aktivere dopaminneuroner.

Depresjon ved utelatelse av spådd belønning

Dopaminneuroner er deprimerte nøyaktig på tidspunktet for den vanlige forekomsten av belønning når en fullt forutsagt belønning ikke inntreffer, selv i fravær av en umiddelbart forutgående stimulus (fig. 2 , nederst ). Dette observeres når dyr ikke klarer å motta belønning på grunn av feilaktig atferd, når væskestrømmen stoppes av forsøkslederen til tross for korrekt atferd, eller når en ventil åpnes hørbart uten å tilføre væske ( Hollerman og Schultz 1996 ; Ljungberg et al. 1991 ; Schultz et al. 1993 ). Når belønningsleveringen forsinkes i 0.5 eller 1.0 s, skjer en depresjon av nevronaktivitet på det vanlige tidspunktet for belønningen, og en aktivering følger belønningen på det nye tidspunktet ( Hollerman og Schultz 1996 ). Begge responsene forekommer bare i løpet av noen få repetisjoner inntil det nye tidspunktet for belønningslevering blir forutsagt igjen. Derimot resulterer levering av belønning tidligere enn vanlig i en aktivering på det nye belønningstidspunktet, men klarer ikke å indusere en depresjon på det vanlige tidspunktet. Dette tyder på at uvanlig tidlig belønningslevering kansellerer belønningsprediksjonen for det vanlige tidspunktet. Dermed overvåker dopaminnevroner både forekomsten og tidspunktet for belønning. I fravær av stimuli umiddelbart før den utelatte belønningen, utgjør ikke depresjonene en enkel nevral respons, men reflekterer en forventningsprosess basert på en intern klokke som sporer det nøyaktige tidspunktet for predikert belønning.

Aktivering ved kondisjonerte, belønningspredikerende stimuli

Omtrent 55 – 70% av dopaminuronene aktiveres av betingede visuelle og auditive stimuli i de forskjellige klassisk eller instrumentalt betingede oppgavene beskrevet tidligere (fig. 2, midten og bunn) (Hollerman og Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz og Schultz 1994; Schultz 1986; Schultz og Romo 1990; P. Waelti, J. Mirenowicz og W. Schultz, upubliserte data). De første dopaminresponsene på kondisjonert lys ble rapportert av Miller et al. (1981) hos rotter behandlet med haloperidol, noe som økte forekomsten og spontan aktiviteten til dopamin-neuroner, men resulterte i mer vedvarende respons enn hos uopplagte dyr. Selv om svar forekommer nær atferdsreaksjoner (Nishino et al. 1987), er ikke relatert til arm- og øyebevegelser selv, da de også forekommer ipsilateralt med den bevegelige armen og i forsøk uten arm- eller øyebevegelser (Schultz og Romo 1990). Kondisjonerte stimuli er noe mindre effektive enn primære belønninger når det gjelder responsstørrelse og fraksjoner av nevroner aktivert. Dopaminuroner reagerer bare på begynnelsen av betingede stimuli og ikke på deres forskyvning, selv om stimuleringsforskyvning spår belønningen (Schultz og Romo 1990). Dopaminneuroner skiller ikke mellom visuelle og auditive modaliteter for kondisjonert appetittvekkende stimuli. Imidlertid skiller de mellom appetittvekkende og nøytral eller aversiv stimuli så lenge de fysisk er tilstrekkelig forskjellige (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz og W. Schultz, upubliserte data). Bare 11% av dopaminneuroner, de fleste av dem med appetittvekkende responser, viser de typiske fasiske aktiveringene også som svar på kondisjonerte aversive visuelle eller auditive stimuli i aktive unngåelsesoppgaver der dyr slipper en nøkkel for å unngå en luftpuff eller en dråpe hypertonisk saltvann (Mirenowicz og Schultz 1996), selv om en slik unngåelse kan bli sett på som "givende." Disse få aktiveringene er ikke tilstrekkelig sterke til å indusere et gjennomsnittlig populasjonsrespons. Dermed rapporterer de fasiske responsene fra dopaminsneuroner fortrinnsvis miljømessige stimuli med appetittvekkende motivasjonsverdi, men uten å skille mellom forskjellige sensoriske modaliteter.

Overføring av aktivering

I løpet av læringsprosessen aktiveres dopaminnevroner gradvis av betingede, belønningsprediktoriske stimuli, og mister gradvis responsene sine på primære mat- eller flytende belønninger som blir predikerte ( Hollerman og Schultz 1996 ; Ljungberg et al. 1992 ; Mirenowicz og Schultz 1994 ) (fig. 2 og 3 ). I løpet av en forbigående læringsperiode fremkaller både belønninger og betingede stimuli dopaminaktivering. Denne overføringen fra primær belønning til den betingede stimulusen skjer umiddelbart i enkeltdopaminnevroner testet i to vellærte oppgaver som benytter henholdsvis uforutsette og predikerte belønninger ( Romo og Schultz 1990 ).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 3. 

Dopaminresponsoverføring til tidligste prediktive stimulus. Responser på uforutsett primær belønningsoverføring til progressivt tidligere belønningspredikende stimuli. Alle skjermer viser populasjonshistogrammer oppnådd ved å beregne gjennomsnittet av normaliserte perieventidhistogrammer for alle dopaminnevroner registrert i de angitte atferdssituasjonene, uavhengig av tilstedeværelse eller fravær av en respons. Øverst : Utenom enhver atferdsoppgave er det ingen populasjonsrespons i 44 nevroner testet med et lite lys (data fra Ljungberg et al. 1992 ), men en gjennomsnittlig respons forekommer i 35 nevroner på en dråpe væske levert ved en tut foran dyrets munn ( Mirenowicz og Schultz 1994 ). Midten : Respons på en belønningspredikende triggerstimulus i en romlig rekkeviddeoppgave med to valg, men fravær av respons på belønning levert under etablert oppgaveutførelse i de samme 23 nevronene ( Schultz et al. 1993 ). Nederst : respons på et instruksjonssignal som går forut for den belønningspredikende triggerstimulusen med et fast intervall på 1 sekund i en instruert romlig rekkeviddeoppgave (19 nevroner) ( Schultz et al. 1993 ). Tidsbasen er delt på grunn av varierende intervaller mellom betingede stimuli og belønning. Gjengitt fra Schultz et al. (1995b) med tillatelse fra MIT Press.

Uforutsigbarhet av betingede stimuli

Aktiveringene etter betingede, belønningspredikende stimuli skjer ikke når disse stimuliene i seg selv innledes med et fast intervall av fasisk betingede stimuli i fullt etablerte atferdssituasjoner. Med serielle betingede stimuli aktiveres dopaminnevroner dermed av den tidligste belønningspredikende stimulusen, mens alle stimuli og belønninger som følger på forutsigbare tidspunkter etterpå er ineffektive (fig. 3 ) ( Schultz et al. 1993 ). Bare tilfeldig fordelte sekvensielle stimuli fremkaller individuelle responser. Omfattende overtrening med svært stereotypisk oppgaveutførelse demper også responsene på betingede stimuli, sannsynligvis fordi stimuli blir predikert av hendelser i den foregående forsøket ( Ljungberg et al. 1992 ). Dette antyder at stimulusuforutsigbarhet er et vanlig krav for alle stimuli som aktiverer dopaminnevroner.

Depresjon ved utelatelse av forutsagt betingede stimuli

Foreløpige data fra et tidligere eksperiment ( Schultz et al. 1993 ) antyder at dopaminneuroner også er deprimerte når en betinget, belønningspredikende stimulus predikeres på et fast tidspunkt av en foregående stimulus, men ikke oppstår på grunn av en feil hos dyret. Som med primære belønninger oppstår depresjonene på tidspunktet for den vanlige forekomsten av den betingede stimulusen, uten å bli direkte fremkalt av en foregående stimulus. Dermed kan den utelatelsesinduserte depresjonen generaliseres til alle appetittvekkende hendelser.

Aktiveringsdepresjon med responsgeneralisering

Dopaminnevroner reagerer også på stimuli som ikke forutsier belønninger, men som ligner mye på belønningspredikende stimuli som oppstår i samme kontekst. Disse responsene består hovedsakelig av en aktivering etterfulgt av en umiddelbar depresjon, men kan av og til bestå av ren aktivering eller ren depresjon. Aktiveringene er mindre og sjeldnere enn de som følger belønningspredikende stimuli, og depresjonene observeres i 30–60 % av nevronene. Dopaminnevroner reagerer på visuelle stimuli som ikke etterfølges av belønning, men som ligner mye på belønningspredikende stimuli, til tross for korrekt atferdsdiskriminering ( Schultz og Romo 1990 ). Åpning av en tom boks aktiverer ikke dopaminnevroner, men blir effektiv i hvert forsøk så snart boksen av og til inneholder mat ( Ljungberg et al. 1992 ; Schultz 1986 ; Schultz og Romo 1990 ) eller når en nærliggende, identisk boks som alltid inneholder mat åpnes i tilfeldig veksling ( Schultz og Romo 1990 ). Den tomme boksen fremkaller svakere aktiveringer enn boksen med agn. Dyr utfører vilkårlige okulære orienteringsreaksjoner på hver boks, men nærmer seg bare den agnede boksen med hånden. Under læring fortsetter dopaminneuroner å reagere på tidligere betingede stimuli som mister sin belønningsprediksjon når belønningskontingensene endres ( Schultz et al. 1993 ) eller reagerer på nye stimuli som ligner tidligere betingede stimuli ( Hollerman og Schultz 1996 ). Responser oppstår selv på aversive stimuli presentert i tilfeldig veksling med fysisk lignende, betingede appetittvekkende stimuli med samme sensoriske modalitet, hvor den aversive responsen er svakere enn den appetittvekkende ( Mirenowicz og Schultz 1996 ). Responser generaliserer selv til atferdsmessig slukkede appetittvekkende stimuli. Tilsynelatende generaliserer nevrale responser til ikke-appetittvekkende stimuli på grunn av deres fysiske likhet med appetittvekkende stimuli.

Nyhetssvar

Nye stimuli fremkaller aktiveringer i dopaminneuroner som ofte etterfølges av depresjoner og vedvarer så lenge atferdsorienterende reaksjoner oppstår (f.eks. okulære sakkader). Aktiveringer avtar sammen med orienterende reaksjoner etter flere stimulusrepetisjoner, avhengig av den fysiske effekten av stimuliene. Mens små lysdioder knapt fremkaller nyhetsresponser, fremkaller lysglimt og den raske visuelle og auditive åpningen av en liten boks aktiveringer som gradvis avtar til baseline i løpet av <100 forsøk ( Ljungberg et al. 1992 ). Høye klikk eller store bilder rett foran et dyr fremkaller sterke nyhetsresponser som avtar, men fortsatt induserer målbare aktiveringer med >1,000 forsøk ( Hollerman og Schultz 1996 ; Horvitz et al. 1997 ; Steinfels et al. 1983 ). Figur 4 viser skjematisk de forskjellige responsstørrelsene med nye stimuli med ulik fysisk fremtredende betydning. Responsene avtar gradvis med gjentatt eksponering, men kan vedvare ved reduserte størrelser med svært fremtredende stimuli. Responsstørrelsene øker igjen når de samme stimuliene er appetittmessig betinget. I motsetning til dette avtar responser på nye, selv store, stimuli raskt når stimuliene brukes til å betinge aktiv unngåelsesatferd ( Mirenowicz og Schultz 1996 ). Svært få nevroner (<5 %) reagerer i mer enn noen få forsøk på iøynefallende, men fysisk svake stimuli, som smuldring av papir eller grove håndbevegelser fra forsøkslederen.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 4. 

Tidskurs for aktiveringer av dopaminuroner til nye, varslende og betingede stimuli. Aktiveringer etter nye stimuli avtar med gjentatt eksponering over påfølgende studier. Størrelsen avhenger av den fysiske saltholdigheten til stimuli ettersom sterkere stimuli induserer høyere aktiveringer som tidvis overstiger de etter betingede stimuli. Spesielt fremtredende stimuli fortsetter å aktivere dopaminuroner med begrenset styrke, selv etter å ha mistet nyheten uten å være sammenkoblet med primære belønninger. Konsekvente aktiveringer vises igjen når stimuli blir assosiert med primære belønninger. Denne ordningen ble bidratt av Jose Contreras-Vidal.

Responsenes homogene karakter

Eksperimentene som er utført så langt har vist at majoriteten av nevronene i dopamincellegruppene A8, A9 og A10 i mellomhjernen viser svært like aktiveringer og depresjoner i en gitt atferdssituasjon, mens de resterende dopaminnevronene ikke reagerer i det hele tatt. Det er en tendens til at høyere andeler av nevroner reagerer i mer mediale regioner av mellomhjernen, slik som det ventrale tegmentale området og mediale substantia nigra, sammenlignet med mer laterale regioner, som av og til når statistisk signifikans ( Schultz 1986 ; Schultz et al. 1993 ). Responslatenser (50–110 ms) og varigheter (<200 ms) er like blant primære belønninger, betingede stimuli og nye stimuli. Dermed utgjør dopaminresponsen et relativt homogent, skalart populasjonssignal. Den graderes i størrelsesorden etter responsiviteten til individuelle nevroner og etter andelen responderende nevroner innenfor populasjonen.

Sammendrag 1: adaptive svar under innlæringsepisoder

Kjennetegnene ved dopaminresponser på belønningsrelaterte stimuli illustreres best i læringsepisoder der belønninger er spesielt viktige for å tilegne seg atferdsresponser. Dopaminbelønningssignalet gjennomgår systematiske endringer under læringsprosessen og oppstår ved den tidligste fasiske belønningsrelaterte stimulusen, som enten er en primær belønning eller en belønningsprediktorisk stimulus ( Ljungberg et al. 1992 ; Mirenowicz og Schultz 1994 ). Under læring induserer nye, iboende nøytrale stimuli forbigående responser som svekkes raskt og forsvinner (fig. 4 ). Primærbelønninger oppstår uforutsigbart under den første paringen med slike stimuli og fremkaller nevrale aktiveringer. Ved gjentatt paring blir belønninger predikert av betingede stimuli. Aktiveringer etter belønningen avtar gradvis og overføres til den betingede, belønningsprediktoriske stimulusen. Hvis imidlertid en predikert belønning ikke inntreffer på grunn av en feil fra dyrets side, er dopaminnevroner deprimerte på det tidspunktet belønningen ville ha skjedd. Under gjentatt læring av oppgaver ( Schultz et al. 1993 ) eller oppgavekomponenter ( Hollerman og Schultz 1996 ), aktiverer de tidligste betingede stimuliene dopaminneuroner i alle læringsfaser på grunn av generalisering til tidligere lærte, lignende stimuli, mens påfølgende betingede stimuli og primære belønninger bare aktiverer dopaminneuroner forbigående mens de er usikre og nye kontingenser etableres.

Sammendrag 2: effektive stimuli for dopaminuroner

Dopaminresponser fremkalles av tre kategorier av stimuli. Den første kategorien omfatter primære belønninger og stimuli som har blitt gyldige belønningsprediktorer gjennom gjentatt og betinget paring med belønninger. Disse stimuliene danner en vanlig klasse av eksplisitte belønningsprediktorer, ettersom primære belønninger fungerer som prediktorer for vegetative belønningseffekter. Effektive stimuli har tilsynelatende en varslingskomponent, ettersom bare stimuli med en tydelig debut er effektive. Dopaminnevroner viser rene aktiveringer etter eksplisitte belønningsprediktorer og er deprimerte når en forutsagt, men utelatt belønning ikke inntreffer (fig. 5 , øverst ).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 5. 

Skjematisk visning av dopaminneurons responser på to typer betingede stimuli. Øverst : presentasjon av en eksplisitt belønningspredikende stimulus fører til aktivering etter stimulusen, ingen respons på den predikerte belønningen, og depresjon når en predikert belønning ikke inntreffer. Nederst : presentasjon av en stimulus som ligner mye på en betinget, belønningspredikende stimulus, fører til aktivering etterfulgt av depresjon, aktivering etter belønningen, og ingen respons når ingen belønning inntreffer. Aktivering etter stimulusen gjenspeiler sannsynligvis responsgeneralisering på grunn av fysisk likhet. Denne stimulusen predikerer ikke eksplisitt en belønning, men er relatert til belønningen via dens likhet med stimulusen som predikerer belønningen. Sammenlignet med eksplisitte belønningspredikende stimuli er aktiveringer lavere og etterfølges ofte av depresjoner, og dermed skiller man mellom belønnede (CS+) og ubelønnede (CS−) betingede stimuli. Dette skjemaet oppsummerer resultater fra tidligere og nåværende eksperimenter ( Hollerman og Schultz 1996 ; Ljungberg et al. 1992 ; Mirenowicz og Schultz 1996 ; Schultz og Romo 1990 ; Schultz et al. 1993 ; P. Waelti og W. Schultz, upubliserte resultater).

Den andre kategorien omfatter stimuli som fremkaller generaliserende responser. Disse stimuliene predikerer ikke eksplisitt belønninger, men er effektive på grunn av deres fysiske likhet med stimuli som har blitt eksplisitte belønningsprediktorer gjennom betinging. Disse stimuliene induserer aktiveringer som er lavere i størrelsesorden og engasjerer færre nevroner, sammenlignet med eksplisitte belønningspredikende stimuli (fig. 5 , nederst ). De etterfølges ofte av umiddelbare depresjoner. Mens den første aktiveringen kan utgjøre en generalisert appetittrespons som signaliserer en mulig belønning, kan den påfølgende depresjonen gjenspeile prediksjonen om ingen belønning i en generell belønningspredikende kontekst og kansellere den feilaktige belønningsantagelsen. Mangelen på eksplisitt belønningsprediksjon antydes ytterligere av tilstedeværelsen av aktivering etter primær belønning og fraværet av depresjon uten belønning. Sammen med responsene på belønningspredikende stimuli ser det ut til at dopaminaktiveringer rapporterer en appetittvekkende "tag" festet til stimuli som er relatert til belønninger.

Den tredje kategorien omfatter nye eller spesielt fremtredende stimuli som ikke nødvendigvis er relatert til spesifikke belønninger. Ved å fremkalle atferdsorienterende reaksjoner er disse stimuliene alarmerende og pådrar seg oppmerksomhet. De har imidlertid også motiverende funksjoner og kan være givende ( Fujita 1987 ). Nye stimuli er potensielt appetittvekkende. Nye eller spesielt fremtredende stimuli induserer aktiveringer som ofte etterfølges av depresjoner, i likhet med responser på generaliserende stimuli.

Dermed rapporterer de fasiske responsene fra dopaminneuroner hendelser med positive og potensielt positive motiverende effekter, som primær belønning, belønning-forutsigende stimuli, belønning-lignende hendelser og varslende stimuli. De oppdager imidlertid ikke i stor grad hendelser med negative motiverende effekter, som aversiv stimuli.

Sammendrag 3: dopamin belønning prediksjon feil signal

Dopaminresponsene på eksplisitte belønningsrelaterte hendelser kan best konseptualiseres og forstås i form av formelle læringsteorier. Dopaminnevroner rapporterer belønninger i forhold til prediksjonen deres, snarere enn å signalisere primære belønninger ubetinget (fig. 2 ). Dopaminresponsen er positiv (aktivering) når primære belønninger inntreffer uten å bli forutsagt. Responsen er null når belønninger inntreffer som forutsagt. Responsen er negativ (depresjon) når forutsagte belønninger utelates. Dermed rapporterer dopaminnevroner primære belønninger i henhold til forskjellen mellom forekomsten og prediksjonen av belønning, noe som kan betegnes som en feil i prediksjonen av belønning ( Schultz et al. 1995b , 1997 ) og er foreløpig formalisert som

Ligning 1 Dette forslaget kan utvides til betingede appetitthendelser som også rapporteres av dopaminneuroner i forhold til prediksjon. Dermed kan dopaminneuroner rapportere en feil i prediksjonen av alle appetitthendelser, og ligning 1 kan angis i den mer generelle formen .

Ligning 2 Denne generaliseringen er kompatibel med ideen om at de fleste belønninger faktisk er betingede stimuli. Med flere påfølgende, veletablerte belønningsprediktoriske hendelser, er det bare den første hendelsen som er uforutsigbar og utløser dopaminaktivering.

Opphavet til dopaminresponsen

Hvilke anatomiske innganger kan være ansvarlige for selektiviteten og polysensoriske karakteren av dopaminresponser? Hvilken inputaktivitet kan føre til koding av prediksjonsfeil, indusere den adaptive responsoverføringen til den tidligste uforutsigede appetittvekkende hendelsen og estimere belønningstidspunktet?

Fasisk dopaminpåvirkning på målstrukturer

GLOBAL NATUR AV DOPAMINSIGNAL.

Divergerende projeksjoner. Det er ~8,000 dopaminneuroner i hver substantia nigra hos rotter ( Oorschot 1996 ) og 80 000–116 000 hos makakaper ( German et al. 1988 ; Percheron et al. 1989 ). Hvert striatum inneholder ~2.8 millioner neuroner hos rotter og 31 millioner hos makaker, noe som resulterer i en nigrostriatal divergensfaktor på 300–400. Hvert dopaminakson forgrener seg rikelig i et begrenset terminalt område i striatum og har ~500 000 striatale varicositeter hvorfra dopamin frigjøres ( Andén et al. 1966 ). Dette resulterer i dopamintilførsel til nesten alle striatale neuroner ( Groves et al. 1995 ) og en moderat topografisk nigrostriatal projeksjon ( Lynd-Balta og Haber 1994 ). Den kortikale dopamin-innervasjonen hos aper er høyest i område 4 og 6, er fortsatt betydelig i frontal-, isse- og temporallappen, og er lavest i occipitallappen ( Berger et al. 1988 ; Williams og Goldman-Rakic ​​1993 ). Kortikale dopaminsynapser finnes hovedsakelig i lag I og V–VI, og er i kontakt med en stor andel av kortikale nevroner der. Sammen med den ganske homogene responsnaturen tyder disse dataene på at dopaminresponsen utvikler seg som en samtidig, parallell bølge av aktivitet fra mellomhjernen til striatum og frontal cortex (fig. 7 ).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 7. 

Globalt dopaminsignal som beveger seg mot striatum og cortex. Den relativt homogene populasjonsresponsen til majoriteten av dopaminnevroner på appetittvekkende og varslende stimuli, og dens progresjon fra substantia nigra til postsynaptiske strukturer, kan skjematisk sees på som en bølge av synkron, parallell aktivitet som beveger seg med en hastighet på 1–2 m/s ( Schultz og Romo 1987 ) langs de divergerende projeksjonene fra mellomhjernen til striatum (caudatus og putamen) og cortex. Responsene er kvalitativt umulige å skille mellom nevroner i substantia nigra (SN) pars compacta og ventral tegmental area (VTA). Dopamininnervasjon av alle nevroner i striatum og mange nevroner i frontal cortex ville tillate dopaminforsterkningssignalet å utøve en ganske global effekt. Bølgen er komprimert for å understreke den parallelle naturen.

Dopaminfrigjøring. Impulser fra dopaminnevroner med intervaller på 20–100 ms fører til en mye høyere dopaminkonsentrasjon i striatum enn det samme antallet impulser med intervaller på 200 ms ( Garris og Wightman 1994 ; Gonon 1988 ). Denne ikke-lineariteten skyldes hovedsakelig den raske metningen av dopaminreopptakstransportøren, som fjerner den frigjorte dopaminen fra den ekstrasynaptiske regionen ( Chergui et al. 1994 ). Den samme effekten observeres i nucleus accumbens ( Wightman og Zimmerman 1990 ) og forekommer selv med lengre impulsintervaller på grunn av sparsommere reopptakssteder ( Garris et al. 1994b ; Marshall et al. 1990 ; Stamford et al. 1988 ). Dopaminfrigjøring etter et impulsutbrudd på <300 ms er for kort til å aktivere den autoreseptormedierte reduksjonen av frigjøring ( Chergui et al. 1994 ) eller den enda langsommere enzymatiske nedbrytningen ( Michael et al. 1985 ). Dermed er en dopaminutbruddrespons spesielt effektiv for frigjøring av dopamin.

Estimater basert på in vivo voltammetri antyder at en enkelt impuls frigjør ~1,000 dopaminmolekyler ved synapser i striatum og nucleus accumbens. Dette fører til umiddelbare synaptiske dopaminkonsentrasjoner på 0.5–3.0 μM ( Garris et al. 1994a ; Kawagoe et al. 1992 ). 40 μs etter at frigjøringen har startet, har >90 % av dopaminen forlatt synapsen, og noe av resten elimineres senere ved synaptisk gjenopptak (halveringstid på 30–37 ms). 3–9 ms etter at frigjøringen har startet, når dopaminkonsentrasjonene en topp på ~250 nM når alle nærliggende varicer samtidig frigjør dopamin. Konsentrasjonene er homogene innenfor en sfære på 4 μm i diameter ( Gonon 1997 ), som er den gjennomsnittlige avstanden mellom varicer ( Doucet et al. 1986 ; Groves et al. 1995 ). Maksimal diffusjon er begrenset til 12 μm av reopptakstransportøren og nås 75 ms etter at frigjøringen har startet (halv transportørstarttid på 30–37 ms). Konsentrasjonene ville være litt lavere og mindre homogene i regioner med færre varicositeter eller når <100 % av dopaminnevronene er aktivert, men de er to til tre ganger høyere med impulsutbrudd. Dermed kan de belønningsinduserte, mildt synkrone, utbruddsaktiveringene i ~75 % av dopaminnevronene føre til ganske homogene konsentrasjonstopper i størrelsesorden 150–400 nM. Total økning av ekstracellulær dopamin varer 200 ms etter en enkelt impuls og 500–600 ms etter flere impulser med intervaller på 20–100 ms brukt i løpet av 100–200 ms ( Chergui et al. 1994 ; Dugast et al. 1994 ). Den ekstrasynaptiske reopptakstransportøren ( Nirenberg et al. 1996 ) bringer deretter dopaminkonsentrasjonene tilbake til grunnlinjen på 5–10 nM ( Herrera-Marschitz et al. 1996 ). I motsetning til klassisk, strengt synaptisk nevrotransmisjon, diffunderer synaptisk frigjort dopamin raskt inn i det umiddelbare juxtasynaptiske området og når korte topper med regionalt homogene ekstracellulære konsentrasjoner.

Reseptorer. Av de to hovedtypene dopaminreseptorer utgjør de adenylatcyklase-aktiverende D1-typereseptorene omtrent 80 % av dopaminreseptorene i striatum. Av disse er 80 % i lav affinitetstilstanden på 2–4 μM og 20 % i høy affinitetstilstanden på 9–74 nM ( Richfield et al. 1989 ). De resterende 20 % av striatale dopaminreseptorer tilhører den adenylasecyklase-hemmende D2-typen, hvorav 10–0 % er i lav affinitetstilstanden og 80–90 % i høy affinitetstilstanden, med lignende affiniteter som D1-reseptorer. Dermed har D1-reseptorer totalt sett omtrent 100 ganger lavere affinitet enn D2-reseptorer. Striatale D1-reseptorer er hovedsakelig lokalisert på nevroner som projiserer mot interna pallidum og substantia nigra pars reticulata, mens striatale D2-reseptorer hovedsakelig er lokalisert på nevroner som projiserer mot externa pallidum ( Bergson et al. 1995 ; Gerfen et al. 1990 ; Hersch et al. 1995 ; Levey et al. 1993 ). Forskjellene i reseptorfølsomhet spiller imidlertid kanskje ikke en rolle utover signaltransduksjon, og reduserer dermed forskjellene i dopaminfølsomhet mellom de to typene striatale utgangsnevroner.

Dopamin frigjøres 30–40 % fra synaptiske og 60–70 % fra ekstrasynaptiske varicositeter ( Descarries et al. 1996 ). Synaptisk frigjort dopamin virker på postsynaptiske dopaminreseptorer på fire anatomisk forskjellige steder i striatum, nemlig inne i dopaminsynapser, rett ved siden av dopaminsynapser, inne i kortikostriatale glutamatsynapser og på ekstrasynaptiske steder fjernt fra frigjøringssteder (fig. 8 ) ( Levey et al. 1993 ; Sesack et al. 1994 ; Yung et al. 1995 ). D1-reseptorer er hovedsakelig lokalisert utenfor dopaminsynapser ( Caillé et al. 1996 ). De høye, forbigående konsentrasjonene av dopamin etter fasiske impulsutbrudd vil aktivere D1-reseptorer i umiddelbar nærhet av de aktive frigjøringsstedene og aktivere og til og med mette D2-reseptorer overalt. D2-reseptorer vil forbli delvis aktivert når den omgivende dopaminkonsentrasjonen går tilbake til baseline etter fasisk økning.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 8. 

Påvirkning av frigjøring av dopamin på typiske medium spiny nevroner i rygg og ventral striatum. Dopamin frigitt ved impulser fra synaptiske varicositeter aktiverer noen få synaptiske reseptorer (sannsynligvis av D2-type i lav affinitetstilstand) og diffunderer raskt ut av synapsen for å nå lav-affinitet D1-type reseptorer (D1?) Som er lokalisert i nærheten, innenfor kortikostriatale synapser , eller med begrenset avstand. Fasisk økt dopamin aktiverer nærliggende høyaffinitetsreseptorer av D2-typen til metning (D2?). D2-reseptorer forblir delvis aktivert av de omgivende dopaminkonsentrasjoner etter den fasisk økte frigjøringen. Ekstrasynaptisk frigitt dopamin kan bli fortynnet ved diffusjon og aktivere D2-reseptorer med høy affinitet. Det skal bemerkes at de fleste D1- og D2-reseptorer ligger i forskjellige skjematiske diagrammer på forskjellige nevroner. Glutamat frigjort fra kortikostriatale terminaler når postsynaptiske reseptorer lokalisert på de samme dendritiske ryggradene som dopaminvarikositeter. Glutamat når også presynaptiske dopaminvarikositeter der det kontrollerer frigjøring av dopamin. Dopaminpåvirkning på spiny nevroner i frontal cortex er sammenlignbare i mange henseender.

Sammendrag. Den observerte, moderat eksplosive, kortvarige, nesten synkrone responsen fra majoriteten av dopaminnevroner fører til optimal, samtidig dopaminfrigjøring fra majoriteten av tettliggende striatale varicositeter. Den neuronale responsen induserer et kort pust av dopamin som frigjøres fra ekstrasynaptiske steder eller diffunderer raskt fra synapser inn i det juxtasynaptiske området. Dopamin når raskt regionalt homogene konsentrasjoner som sannsynligvis vil påvirke dendrittene til sannsynligvis alle striatale og mange kortikale nevroner. På denne måten kringkastes belønningsbudskapet i 60–80 % av dopaminnevroner som et divergerende, ganske globalt forsterkningssignal til striatum, nucleus accumbens og frontal cortex, noe som sikrer en fasisk påvirkning på et maksimalt antall synapser involvert i behandlingen av stimuli og handlinger som fører til belønning (fig. 7 ). Dopamin frigjort av nevrale aktiveringer etter belønninger og belønningspredikende stimuli ville påvirke juxtasynaptiske D1-reseptorer på striatale nevroner som projiserer til intern pallidum og substantia nigra pars reticulata, og alle D2-reseptorer på nevroner som projiserer til ekstern pallidum. Reduksjonen av dopaminfrigjøring indusert av depresjoner med utelatte belønninger og belønningspredikende stimuli ville redusere den toniske stimuleringen av D2-reseptorer av ambient dopamin. Dermed ville positive belønningsprediksjonsfeil påvirke alle typer striatale utgangsnevroner, mens den negative prediksjonsfeilen hovedsakelig kan påvirke nevroner som projiserer til ekstern pallidum.

Potensielle kokainmekanismer. Blokkering av dopaminreopptakstransportøren av legemidler som kokain eller amfetamin forsterker og forlenger fasiske økninger i dopaminkonsentrasjoner ( Church et al. 1987a ; Giros et al. 1996 ; Suaud-Chagny et al. 1995 ). Forsterkningen ville være spesielt uttalt når raske, utbruddsinduserte økninger i dopaminkonsentrasjon når en topp før tilbakekoblingsregulering blir effektiv. Denne mekanismen ville føre til et massivt forsterket dopaminsignal etter primære belønninger og belønningsprediktoriske stimuli. Det ville også øke det noe svakere dopaminsignalet etter stimuli som ligner belønninger, nye stimuli og spesielt fremtredende stimuli som kan være hyppige i hverdagen. Forsterkningen av kokain ville la disse ikke-belønnende stimuliene virke like sterke eller til og med sterkere enn naturlige belønninger uten kokain. Postsynaptiske nevroner kan feiltolke et slikt signal som en spesielt fremtredende belønningsrelatert hendelse og gjennomgå langsiktige endringer i synaptisk overføring.

Lære teorier

Forsterkningsalgoritmer

TEMPORAL FORSKJELLSLÆRING.

I en spesielt effektiv klasse av forsterkningsalgoritmer ( Sutton 1988 ; Sutton og Barto 1981 ) modifiseres synaptiske vekter i henhold til feilen i forsterkningsprediksjonen beregnet over påfølgende tidstrinn ( t ) i hver prøve.

rˆ(t)=r(t)+P(t)-P(t-l)

Ligning 6, hvor r er forsterkning og P er forsterkningsprediksjon. P(t) multipliseres vanligvis med en diskonteringsfaktor γ med 0 ≤ γ < 1 for å ta hensyn til den avtagende påvirkningen av stadig fjernere belønninger. Av enkelhetshensyn settes γ til 1 her. I tilfelle en enkelt stimulus som predikerer en enkelt forsterker, eksisterer prediksjonen P ( t − 1) før tidspunktet t for forsterkning, men avsluttes ved forsterkningstidspunktet [ P(t) = 0]. Dette fører til et effektivt forsterkningssignal ved tidspunktet (t) for forsterkning.

rˆ (t)=r(t)-P(t-l)

Ligning 6aOcuco r(t) begrep indikerer forskjellen mellom faktisk og spådd forsterkning. Under læring er forsterkning ufullstendig forutsagt, feiluttrykket er positivt når forsterkning oppstår, og synaptiske vekter økes. Etter læring er forsterkning fullt ut predikert av en foregående stimulans [P(t - 1) = r(t)], er feiluttrykket null på riktig oppførsel, og synaptiske vekter forblir uendret. Når armering er utelatt på grunn av utilstrekkelig ytelse eller endrede betingelser, er feilen negativ og synaptiske vekter reduseres. De r(t) uttrykket er analogt med (λ-V) feilperiode for Rescorla-Wagner-modellen (Eq. 4 ). Det gjelder imidlertid individuelle tidstrinn (t) innenfor hver prøve fremfor spådommer som utvikler seg etter påfølgende studier. Disse temporære forsterkningsmodellene utnytter det faktum at de anskaffede spådommene inkluderer den eksakte forsterkningstiden (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

Temporal difference (TD)-algoritmene bruker også ervervede prediksjoner for endrede synaptiske vekter. I tilfelle en uforutsagt, enkelt betinget stimulus som predikerer en enkelt forsterker, begynner prediksjonen P(t) på tidspunktet (t), det er ingen forutgående prediksjon [ P ( t − 1) = 0], og forsterkning har ennå ikke skjedd [ r ( t ) = 0]. I følge ligning 6 sender modellen ut et rent prediktivt effektivt forsterkningssignal på tidspunktet ( t ) for prediksjonen.

rˆ=P(t)

Ligning 6b Ved flere, påfølgende prediktive stimuli, igjen med fraværende forsterkning på prediksjonstidspunktet, reflekterer det effektive forsterkningssignalet på prediksjonstidspunktet (t) forskjellen mellom den nåværende prediksjonen P(t) og den foregående prediksjonen P ( t − 1)

rˆ=P(t)-P(t-l)

Ligning 6c Dette utgjør et feilledd for høyere ordens forsterkning. I likhet med fullt predikerte forsterkere, blir alle prediktive stimuli som i seg selv er fullt predikerte, kansellert ut [ P ( t − 1) = P ( t )], noe som resulterer i r̂ = 0 på tidspunktene (t) for disse stimuliene. Bare den tidligste prediktive stimulusen bidrar til det effektive forsterkningssignalet, ettersom denne stimulusen P(t) ikke er predikert av en annen stimulus [ P ( t − 1) = 0]. Dette resulterer i samme r̂ = P(t) på tidspunktet (t) for den første prediksjonen som i tilfellet med en enkelt prediksjon ( ligning 6b ).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 9. 

Grunnleggende arkitekturer av nevrale nettverksmodeller som implementerer tidsmessige forskjellsalgoritmer i sammenligning med basal ganglia-tilkobling. A: i den opprinnelige implementeringen det effektive undervisningssignalet y - ȳ er beregnet i modellneuron A og sendt til presynaptiske terminaler av innganger x til nevron B, og dermed påvirke x → B behandler og endrer synaptiske vekter ved x → B synapse. neuron B påvirker atferdsutgang via axon y og bidrar samtidig til de adaptive egenskapene til nevron A, nemlig responsen på forsterkende forutsigende stimuli. Nyere implementeringer av denne enkle arkitekturen bruker nevron A heller enn nevron B for å sende ut en utgang O av modellen (Montague et al. 1996; Schultz et al. 1997). Gjenopptrykt fra Sutton og Barto (1981) med tillatelse fra American Psychological Association. B: nylig implementering skiller undervisningskomponenten A, ringte kritikeren (Ikke sant), fra en utgangskomponent bestående av flere behandlingsenheter B, betegnet skuespilleren (venstre). Det effektive forsterkningssignalet r(t) beregnes ved å trekke fra den tidsmessige forskjellen i vektet armeringsprediksjon γP(t) - P(t - 1) fra primærarmering r(t) mottatt fra miljøet (γ er rabattfaktoren som reduserer verdien til fjernere forsterkere). Forsterkningsforutsigelse beregnes i en egen prediksjonsenhet C, som er en del av kritikeren og danner en lukket sløyfe med undervisningselementet A, mens primær forsterkning kommer inn i kritikeren gjennom et eget innspill r_t. Effektivt forsterkningssignal påvirker synaptiske vekter ved innkommende aksoner i skuespilleren, noe som formidler output og i kritikkenes adaptive prediksjonsenhet. Gjenopptrykt fra Barto (1995) med tillatelse fra MIT Press. C: grunnleggende tilkobling av basalgangliene avslører slående likheter med skuespiller-kritikerarkitekturen. Dopamin-projeksjon avgir forsterkningssignalet til striatum og kan sammenlignes med enheten A i deler A og B, det limbiske striatum (eller striosom-lappen) tar posisjonen til prediksjonsenheten C hos kritikeren, og sensorimotor striatum (eller matrise) ligner skuespillerenhetene B. I den originale modellen (EN), det eneste store avviket fra etablert basal ganglia-anatomi består i påvirkning av nevron A rettet mot presynaptiske terminaler, mens dopaminsynapser er lokalisert på postsynaptiske dendritter av striatal nevroner (Freund et al. 1984). Gjenopptrykt fra Smith og Bolam (1990) med tillatelse fra Elsevier Press.

Samlet sett består det effektive forsterkningssignalet ( ligning 6 ) av den primære forsterkningen , som avtar med nye prediksjoner ( ligning 6a ) og gradvis erstattes av de ervervede prediksjonene ( ligning 6b og 6c ). Med påfølgende prediktive stimuli beveger det effektive forsterkningssignalet seg bakover i tid fra den primære forsterkeren til den tidligste forsterkerprediktive stimulusen. Den retrograde overføringen resulterer i en mer spesifikk tildeling av kreditt til de involverte synapsene, ettersom prediksjoner forekommer nærmere i tid til stimuliene og atferdsreaksjonene som skal betinges, sammenlignet med forsterkning ved forsøkets slutt ( Sutton og Barto 1981 ).

Implementeringer av forsterkningslæringsalgoritmer bruker prediksjonsfeilen på to måter, for å endre synaptiske vekter for atferdsutgang og for å innhente selve prediksjonene for kontinuerlig å beregne prediksjonsfeilen (fig. 9 A ) ( McLaren 1989 ; Sutton og Barto 1981 ). Disse to funksjonene er atskilt i nyere implementeringer, der prediksjonsfeilen beregnes i den adaptive kritikerkomponenten og endrer de synaptiske vektene i aktørkomponenten som medierer atferdsutgang (fig. 9 B ) ( Barto 1995 ). En positiv feil øker forsterkningsprediksjonen til kritikeren, mens en negativ feil fra utelatt forsterkning reduserer prediksjonen. Dette gjør det effektive forsterkningssignalet svært adaptivt.

Nevrobiologiske implementeringer av tidsmessig læringsforskjell

ANSØKNINGER OM NEUROBIOLOGISKE PROBLEMER.

Selv om de opprinnelig ble utviklet på grunnlag av Rescorla-Wagner-modellen for klassisk kondisjonering, lærer modeller som bruker TD-algoritmer en lang rekke atferdsoppgaver gjennom i utgangspunktet instrumentelle former for kondisjonering. Disse oppgavene strekker seg fra å balansere en stolpe på et vognhjul (Barto et al. 1983) å spille backgammon i verdensklasse (Tesauro 1994). Roboter som bruker TD-algoritmer lærer å bevege seg rundt todimensjonalt rom og unngå hindringer, rekkevidde og forståelse (Fagg 1993) eller sett en knagg i et hull (Gullapalli et al. 1994). Bruk av TD-forsterkningssignalet for å direkte påvirke og velge atferd (fig. 9 A), TD-modeller gjenskape fôringsatferd hos honningbier (Montague et al. 1995) og simulere menneskelige beslutninger (Montague et al. 1996). TD-modeller med en eksplisitt kritiker-skuespillerarkitektur utgjør veldig kraftige modeller som effektivt lærer øyebevegelser (Friston et al. 1994; Montague et al. 1993), sekvensielle bevegelser (fig. 10) og orienterende reaksjoner (Contreras-Vidal og Schultz 1996). En nylig modell la til aktiverende-deprimerende nyhetssignaler for å forbedre undervisningssignalet, brukte stimulus og handlingsspor i kritikeren og skuespilleren, og benyttet alle vinnere-ta-alle regler for å forbedre undervisningssignalet og for å velge skuespillerneuroner med den største aktiveringen. Dette gjengitt i detalj både responsene fra dopaminuroner og læringsatferden til dyr i forsinkede responsoppgaver (Suri og Schultz 1996). Det er spesielt interessant å se at undervisningssignaler ved bruk av prediksjonsfeil resulterer i raskere og mer fullstendig læring sammenlignet med ubetingede forsterkningssignaler (fig. 10) (Friston et al. 1994).

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 10. 

Fordel med prediktive forsterkningssignaler for læring. En temporal differansemodell med kritiker-aktør-arkitektur og kvalifiseringsspor i aktøren ble trent i en sekvensiell 2-trinns-3 valgoppgave ( innsatt øvre venstre ). Læringen gikk raskere og oppnådde høyere ytelse når et prediktivt forsterkningssignal ble brukt som læringssignal (adaptiv kritiker, øverst ) sammenlignet med bruk av et ubetinget forsterkningssignal ved forsøksslutt ( nederst ). Denne effekten blir gradvis mer uttalt med lengre sekvenser. Sammenlignbar ytelse med det ubetingede forsterkningssignalet ville kreve et mye lengre kvalifiseringsspor. Data ble innhentet fra 10 simuleringer (R. Suri og W. Schultz, upubliserte observasjoner). En lignende forbedring i læring med prediktiv forsterkning ble funnet i en modell av okulomotorisk atferd ( Friston et al. 1994 ).

Mulige læringsmekanismer ved bruk av dopaminsignalet

Det foregående avsnitt har vist at det formelle prediksjonsfeilsignalet som sendes ut av dopaminresponsen kan utgjøre et spesielt egnet undervisningssignal for modelllæring. Følgende seksjoner beskriver hvordan den biologiske dopaminresponsen potensielt kan brukes til læring av basale ganglia-strukturer og antyder testbare hypoteser.

POSTSYNAPTISK PLASTISITET MEDIERET AV TILBUDSPREDIKKSJONSIGNAL.

Læring ville gå i to trinn. Det første trinnet innebærer anskaffelse av en dopamin-belønningspredikatorisk respons. I påfølgende studier ville det prediktive dopaminsignalet spesifikt styrke de synaptiske vektene (ω) av corticostriatal synapser av hebbisk type som er aktive på tidspunktet for belønning-forutsi stimulans, mens de inaktive kortikostriatale synapser blir uendret. Dette resulterer i tre-faktor læringsregelen

Δω=ɛ rˆ i o

Ligning 8 hvor r̂ er dopaminforsterkningssignalet, i er inngangsaktivitet, o er utgangsaktivitet og ɛ er læringshastigheten.

I en forenklet modell kontakter fire kortikale innganger (i1–i4) de dendrittiske piggene til tre mellomstore, piggete striatale nevroner (o1–o3; fig. 11 ). Kortikale innganger konvergerer mot striatale nevroner, der hver inngang kontakter en annen ryggrad. De samme piggene blir uselektivt kontaktet av en felles dopamininngang R. Aktivering av dopamininngang R indikerer at en uforutsett belønningsprediktorisk stimulus oppstod i miljøet, uten å gi ytterligere detaljer (godhetssignal). La oss anta at kortikal inngang i2 aktiveres samtidig med dopaminneuroner og koder for en av flere spesifikke parametere for den samme belønningsprediktoriske stimulusen, for eksempel dens sensoriske modalitet, kroppsside, farge, tekstur og posisjon, eller en spesifikk parameter for en bevegelse utløst av stimulusen. Et sett med parametere for denne hendelsen ville bli kodet av et sett med kortikale innganger i2. Kortikale innganger i1, i3 og i4 som ikke er relatert til nåværende stimuli og bevegelser er inaktive. Dopaminresponsen fører til uselektiv dopaminfrigjøring ved alle varicositeter, men ville selektivt bare styrke de aktive kortikostriatale synapsene i2–o1 og i2–o2, forutsatt at de kortikale signalene er sterke nok til å aktivere striatale nevroner O1 og O2.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 11. 

Differensielle påvirkninger av et globalt dopaminforsterkningssignal på selektiv kortikostriatal aktivitet. Dendrittiske spines av 3 mellomstore, piggete striatale nevroner o1, o2 og o3 blir kontaktet av 4 kortikale input i1, i2, i3 og i4 og av aksonale varicositeter fra et enkelt dopaminnevron R (eller fra en populasjon av homogent aktiverte dopaminnevroner). Hver striatale nevron mottar ~10 000 kortikale og 1,000 dopamininput. Ved enkeltstående dendrittiske spines konvergerer forskjellige kortikale input med dopamininputen. I 1 versjon av modellen forsterker dopaminsignalet samtidig aktiv kortikostriatal overføring i forhold til inaktiv overføring. For eksempel er dopamininput R aktiv samtidig som kortikal input i2, mens i1, i3, i4 er inaktive. Dette fører til en modifikasjon av i2 → o1- og i2 → o2-overføringen, men lar i1 → o1-, i3 → o2-, i3 → o3- og i4 → o3-overføringene forbli uendret. I en versjon av modellen som bruker plastisitet, blir synaptiske vekter av kortikostriatale synapser langtidsmodifisert av dopaminsignalet i henhold til samme regel. Dette kan skje når dopaminresponser på en betinget stimulus virker på kortikostriatale synapser som også aktiveres av denne stimulusen. I en annen versjon som bruker plastisitet, kan dopaminresponser på en primær belønning virke bakover i tid på kortikostriatale synapser som tidligere var aktive. Disse synapsene ville bli gjort kvalifisert for modifikasjon av et hypotetisk postsynaptisk nevronalt spor igjen fra den aktiviteten. Ved sammenligning av basalganglienes struktur med den nylige TD-modellen i figur 9 B, replikerer dopamininput R kritikeren med nevron A, striatum med nevroner o1–o3 replikerer aktøren med nevron B, kortikale input i1–i4 replikerer aktørinputen, og den divergerende projeksjonen av dopaminneuroner R på flere spines av flere striatale nevroner o1–o3 replikerer den globale innflytelsen fra kritikeren på aktøren. En lignende sammenligning ble gjort av Houk et al. (1995) . Denne tegningen er basert på anatomiske data fra Freund et al. (1984) , Smith og Bolam (1990) , Flaherty og Graybiel (1993) , og Smith et al. (1994).

Denne læringsmekanismen benytter den ervervede dopaminresponsen på tidspunktet for den belønningspredikende stimulusen som et læringssignal for å indusere langvarige synaptiske endringer (fig. 12 A ). Læring av den prediktive stimulusen eller den utløste bevegelsen er basert på den demonstrerte ervervelsen av dopaminrespons på den belønningspredikende stimulusen, sammen med dopaminavhengig plastisitet i striatum. Plastisitetsendringer kan alternativt forekomme i kortikale eller subkortikale strukturer nedstrøms fra striatum etter dopaminmediert kortsiktig forbedring av synaptisk overføring i striatum. De retroaktive effektene av belønning på stimuli og bevegelser som går forut for belønningen, medieres av responsoverføringen til den tidligste belønningspredikende stimulusen. Dopaminresponsen på predikert eller utelatt primær belønning brukes ikke for plastisitetsendringer i striatum, da den ikke skjer samtidig med hendelsene som skal betinges, selv om den kan være involvert i beregning av dopaminresponsen på den belønningspredikende stimulusen i analogi med arkitekturen og mekanismen til TD-modeller.

• Last ned figur
• Åpne i ny fane
• Last ned powerpoint

Fig. 12. 

Påvirkning av dopaminforsterkningssignal på mulige læringsmekanismer i striatum. A : Prediktiv dopaminbelønningsrespons på en betinget stimulus (CS) har en direkte forsterkende eller plastisitetseffekt på striatal nevrotransmisjon relatert til den stimulusen. B : Dopaminrespons på primær belønning har en retrograd plastisitetseffekt på striatal nevrotransmisjon relatert til den foregående betingede stimulusen. Denne mekanismen medieres av et kvalifiseringsspor som varer lenger enn striatal aktivitet. Heltrukne piler indikerer direkte effekter av dopaminsignal på striatal nevrotransmisjon (A) eller kvalifiseringssporet (B), liten pil i B indikerer indirekte effekt på striatal nevrotransmisjon via kvalifiseringssporet.

Elektrisk stimulering av dopaminuroner som ubetinget stimulans

Elektrisk stimulering av omskrevne hjerneområder fungerer pålitelig som forsterkning for å tilegne seg og opprettholde tilnærmingsatferd (Olds og Milner 1954). Noen veldig effektive selvstimuleringssteder sammenfaller med dopamincellelegemer og aksonbunter i mellomhinnen (Corbett og Wise 1980), nucleus accumbens (Phillips et al. 1975), striatum (Phillips et al. 1976) og prefrontal cortex (Mora og Myers 1977; Phillips et al. 1979), men finnes også i strukturer som ikke er relatert til dopaminsystemer (Hvit og Milner 1992). Elektrisk selvstimulering innebærer aktivering av dopaminuroner (Fibiger og Phillips 1986; Wise og Rompré 1989) og reduseres med 6-hydroksydopamin-induserte lesjoner av dopaminaksoner (Fibiger et al. 1987; Phillips og Fibiger 1978), hemming av dopaminsyntese (Edmonds og Gallistel 1977), depolarisasjonsinaktivering av dopaminuroner (Rompré og Wise 1989), og dopaminreseptorantagonister administrert systemisk (Furiezos og Wise 1976) eller i nucleus accumbens (Mogenson et al. 1979). Selvstimulering forenkles med kokain- eller amfetamininduserte økninger i ekstracellulær dopamin (Colle og Wise 1980; Stein 1964; Wauquier 1976). Selvstimulering øker direkte utnyttelse av dopamin i nucleus accumbens, striatum og frontal cortex (Fibiger et al. 1987; Mora og Myers 1977).

Det er spennende å forestille seg at elektrisk fremkalte dopaminimpulser og -frigjøring kan tjene som ubetinget stimulus i assosiativ læring, på samme måte som stimulering av oktopaminneuroner hos honningbier som lærer proboscisrefleksen ( Hammer 1993 ). Dopaminrelatert selvstimulering skiller seg imidlertid på minst tre viktige måter fra den naturlige aktiveringen av dopaminneuroner. I stedet for bare å aktivere dopaminneuroner, aktiverer naturlige belønninger vanligvis flere nevrale systemer parallelt og tillater distribuert koding av forskjellige belønningskomponenter (se videre tekst). For det andre brukes elektrisk stimulering som ubetinget forsterkning uten å reflektere en feil i belønningsprediksjon. For det tredje leveres elektrisk stimulering bare som en belønning etter en atferdsreaksjon, snarere enn på tidspunktet for en belønningsprediksjonsstimulus. Det ville være interessant å anvende elektrisk selvstimulering på nøyaktig samme måte som dopaminneuroner avgir signalet sitt.

Læringsunderskudd med nedsatt dopamin nevrotransmisjon

Mange studier undersøkte oppførselen til dyr med nedsatt dopamin-nevrotransmisjon etter lokal eller systemisk påføring av dopaminreseptorantagonister eller ødeleggelse av dopaminaksoner i ventral mellomhjerne, nucleus accumbens eller striatum. I tillegg til å observere lokomotoriske og kognitive mangler som minner om parkinsonisme, avslørte disse studiene svekkelser i behandlingen av belønningsinformasjon. De tidligste studiene argumenterte for underskudd i den subjektive, hedoniske oppfatningen av belønning (Wise 1982; Wise et al. 1978). Ytterligere eksperimenteringer avdekket svekket bruk av primære belønninger og betinget appetittvekkende stimuli for tilnærming og fullbyrdende atferd (Beninger et al. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Wise og Colle 1984; Klok og Rompre 1989). Mange studier beskrev svikt i motivasjons- og oppmerksomhetsprosesser som ligger til grunn for appetittvekkende læring (Beninger 1983, 1989; Beninger og Hahn 1983; Fibiger og Phillips 1986; LeMoal og Simon 1991; Robbins og Everitt 1992, 1996; Hvit og Milner 1992; Wise 1982). De fleste læringsunderskudd er assosiert med nedsatt dopamin-neurotransmisjon i nucleus accumbens, mens svekkelse i ryggstriatum fører til sensorimotorisk mangel (Amalric og Koob 1987; Robbins og Everitt 1992; hvit 1989). Imidlertid ser læring av instrumentelle oppgaver generelt og diskriminerende stimulusegenskaper spesielt ofte ut til å være skånet, og det er ikke helt bestemt om noen av de tilsynelatende læringsunderskuddene kan bli forvirret av motoriske ytelsesunderskudd (Salamone 1992).

Degenerasjon av dopaminneuroner ved Parkinsons sykdom fører også til en rekke deklarative og prosedyremessige læringsvansker, inkludert assosiativ læring ( Linden et al. 1990 ; Sprengelmeyer et al. 1995 ). Vansker er tilstede ved prøving og feiling med umiddelbar forsterkning ( Vriezen og Moscovitch 1990 ) og ved assosiasjon av eksplisitte stimuli med forskjellige utfall ( Knowlton et al. 1996 ), selv i tidlige stadier av Parkinsons sykdom uten kortikal atrofi ( Canavan et al. 1989 ). Parkinsonpasienter viser også svekket tidsoppfatning ( Pastor et al. 1992 ). Alle disse vanskene oppstår i nærvær av L-Dopa-behandling, som gjenoppretter toniske striatale dopaminnivåer uten å gjeninnføre fasiske dopaminsignaler.

Disse studiene antyder at dopamin nevrotransmisjon spiller en viktig rolle i prosessering av belønning for tilnærmingsatferd og i læringsformer som involverer assosiasjoner mellom stimuli og belønning, mens involvering i mer instrumentelle læringsformer kan stilles spørsmål ved. Det er uklart om disse manglene reflekterer en mer generell atferdsinaktivering på grunn av tonisk redusert dopaminreseptorstimulering i stedet for fraværet av et fasisk dopamin-belønningssignal. For å løse dette spørsmålet, samt mer konkret belyse dopaminens rolle i forskjellige læringsformer, vil det være nyttig å studere læring i de situasjonene der den fasiske dopaminresponsen på appetittvekkende stimuli faktisk oppstår.

Læringsformer muligens formidlet av dopaminsignalet

Kjennetegnene ved dopaminresponser og den potensielle påvirkningen av dopamin på striatale nevroner kan bidra til å avgrense noen av læringsformene der dopamin-nevroner kan være involvert. De foretrukne responsene på appetittvekkende i motsetning til aversive hendelser ville favorisere en involvering i læring av tilnærmingsatferd og mediering av positive forsterkningseffekter, snarere enn tilbaketrekning og straff. Responsene på primære belønninger utenfor oppgaver og læringskontekster ville tillate dopamin-nevroner å spille en rolle i et relativt bredt spekter av læring som involverer primære belønninger, både i klassisk og instrumentell betinging. Responsene på belønningspredikende stimuli reflekterer stimulus-belønningsassosiasjoner og ville være kompatible med en involvering i belønningsforventning som ligger til grunn for generell insentivlæring ( Bindra 1968 ). I motsetning til dette koder ikke dopaminresponser eksplisitt belønninger som målobjekter, da de bare rapporterer feil i belønningsprediksjon. De ser også ut til å være ufølsomme for motivasjonstilstander, og dermed disfavoriserer en spesifikk rolle i tilstandsavhengig insentivlæring av målrettede handlinger ( Dickinson og Balleine 1994 ). Mangelen på klare forhold til arm- og øyebevegelser ville disfavorisere en rolle i direkte mediering av atferdsresponsene som følger insentivstimuli. Det er imidlertid iboende vanskelig å sammenligne utladninger fra individuelle nevroner og læring av hele organismer. På synaptisk nivå når fasisk frigjort dopamin mange dendritter på sannsynligvis alle striatale nevroner, og kan dermed ha en plastisitetseffekt på det store utvalget av atferdskomponenter som involverer striatum, som kan inkludere læring av bevegelser.

De spesifikke forholdene som fasiske dopaminsignaler kan spille en rolle i læringen, bestemmes av hvilke typer stimuli som effektivt induserer en dopaminrespons. I dyrelaboratoriet krever dopaminresponser den fasiske forekomsten av appetittvekkende, nye eller spesielt fremtredende stimuli, inkludert primær næringsbelønning og belønning-forutsigende stimuli, mens aversive stimuli ikke spiller noen stor rolle. Dopaminresponser kan forekomme i alle atferdssituasjoner kontrollert av fasiske og eksplisitte utfall, selv om høyere ordensbetingede stimuli og sekundære forsterkere ennå ikke var testet. Fasiske dopaminresponser vil sannsynligvis ikke spille noen rolle i læringsformer som ikke er formidlet av fasisk forekommende utfall, og den prediktive responsen vil ikke kunne bidra til læring i situasjoner der fasisk prediktiv stimuli ikke forekommer, for eksempel relativt langsomme endringer i kontekst . Dette fører til det interessante spørsmålet om skoningen av noen former for læring ved dopaminlesjoner eller nevroleptika rett og slett kan gjenspeile fraværet av fasiske dopaminresponser i utgangspunktet fordi den effektive stimuli som fremkalte dem ikke ble brukt.

Dopaminsignalers involvering i læring kan illustreres ved et teoretisk eksempel. Se for deg dopaminresponser under anskaffelse av en seriell reaksjonstidsoppgave når en riktig reaksjon plutselig fører til en næringsbelønning. Belønningssvaret blir deretter overført til gradvis tidligere belønningspredikatoriske stimuli. Reaksjonstidene forbedres ytterligere med langvarig praksis etter hvert som de romlige posisjonene til mål blir stadig mer forutsigbare. Selv om dopamin-neuroner fortsetter å svare på belønning-forutsigende stimuli, kan den videre atferdsforbedringen hovedsakelig skyldes anskaffelse av prediktiv prosessering av romlige posisjoner av andre nevronale systemer. Dopaminresponser vil således oppstå under den innledende, insentiv delen av læringen der fagene kommer til å nærme seg objekter og oppnå eksplisitte primære, og muligens betingede belønninger. De vil være mindre involvert i situasjoner der fremdriften for læring går utover induksjon av tilnærmingsatferd. Dette vil ikke begrense dopaminrollen til innledende læringstrinn, ettersom mange situasjoner krever å lære fra eksempler og først senere involvere læring ved eksplisitte resultater.

Prediksjonsfeil

Prediksjonsfeilsignalet fra dopaminneuroner ville være en utmerket indikator på appetittverdien av miljøhendelser i forhold til prediksjon, men klarer ikke å skille mellom mat, væsker og belønningspredikende stimuli og mellom visuelle, auditive og somatosensoriske modaliteter. Dette signalet kan utgjøre en belønningsvarselmelding der postsynaptiske nevroner informeres om det overraskende opptredenen eller utelatelsen av en givende eller potensielt givende hendelse uten å indikere dens identitet ytterligere. Det har alle de formelle egenskapene til et kraftig forsterkningssignal for læring. Imidlertid er informasjon om den spesifikke naturen til belønninger avgjørende for å bestemme hvilke av objektene som bør nærmes og på hvilken måte. For eksempel bør et sultent dyr primært nærme seg mat, men ikke væske. For å skille relevante fra irrelevante belønninger, må dopaminsignalet suppleres med tilleggsinformasjon. Nyere in vivo dialyseeksperimenter viste høyere matindusert dopaminfrigjøring hos sultne enn hos mette rotter ( Wilson et al. 1995 ). Denne drivavhengigheten av dopaminfrigjøring involverer kanskje ikke impulsresponser, ettersom vi ikke har funnet en klar drivavhengighet med dopaminresponser når vi sammenligner mellom tidlige og sene perioder av individuelle forsøksøkter der dyrene ble væskemettede (JL Contreras-Vidal og W. Schultz, upubliserte data).

Belønningsspesifikasjoner

Informasjon om belønning med væske og mat behandles også i andre hjernestrukturer enn dopamin-nevroner, for eksempel rygg- og ventral striatum, subthalamisk kjerne, amygdala, dorsolateral prefrontal cortex, orbitofrontal cortex og fremre cingulate cortex. Imidlertid ser ikke disse strukturene ut til å avgi et globalt belønning prediksjon feil signal som ligner på dopamin neuroner. I primater behandler disse strukturene belønninger som 1) kortvarige svar etter levering av belønning (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki og Watanabe 1979; Nishijo et al. 1988; Tremblay og Schultz 1995; Watanabe 1989), 2) forbigående svar på belønning-forutsigende signaler (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay og Schultz 1995; Williams et al. 1993), 3) vedvarende aktiveringer i forventning om umiddelbart kommende belønninger (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay og Schultz 1995), Og 4) moduleringer av atferdsrelaterte aktiveringer etter spådd belønning (Hollerman et al. 1994; Watanabe 1990, 1996). Mange av disse nevronene skiller godt mellom forskjellige matbelønninger og mellom forskjellige flytende belønninger. Dermed behandler de den spesifikke arten av den givende hendelsen og kan tjene oppfatningen av belønning. Noen av belønningssvarene avhenger av uforutsigbarhet til belønning og er redusert eller fraværende når belønningen spås av en betinget stimulans (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay og W. Schultz, upubliserte data). De kan behandle prediksjoner for spesifikke belønninger, selv om det er uklart om de signaliserer prediksjonsfeil ettersom deres svar på utelatte belønninger er ukjente.

Opprettholde etablert ytelse

Tre nevronale mekanismer ser ut til å være viktige for å opprettholde etablert atferdsevne, nemlig påvisning av utelatte belønninger, påvisning av belønning-forutsigende stimuli og påvisning av forutsagte belønninger. Dopaminneuroner er deprimerte når forutsagte belønninger blir utelatt. Dette signalet kan redusere den synaptiske effekten relatert til feil atferdsrespons og forhindre gjentagelse av dem. Dopaminresponsen på belønning-forutsi stimuli opprettholdes under etablert atferd og fortsetter dermed å fungere som forhåndsinformasjon. Selv om fullt predikerte belønninger ikke blir oppdaget av dopaminuroner, blir de behandlet av de ikke-vitamin-kortikale og subkortikale systemene nevnt ovenfor. Dette ville være viktig for å unngå utryddelse av innlært atferd.

Sammensatt ser det ut til at prosessering av spesifikke belønninger for å lære og opprettholde tilnærmingsatferd vil tjene sterkt på et samarbeid mellom dopaminuroner som signaliserer uforutsett forekomst eller unnlatelse av belønning og nevroner i de andre strukturene samtidig, noe som indikerer belønningens spesifikke natur.

Noradrenaline nevroner

Nesten hele populasjonen av noradrenalinnevroner i locus coeruleus hos rotter, katter og aper viser ganske homogene, bifasiske aktiverende-depressive responser på visuelle, auditive og somatosensoriske stimuli som fremkaller orienterende reaksjoner ( Aston-Jones og Bloom 1981 ; Foote et al. 1980 ; Rasmussen et al. 1986 ). Spesielt effektive er sjeldne hendelser som dyr vier oppmerksomhet, for eksempel visuelle stimuli i en rar diskrimineringsoppgave ( Aston-Jones et al. 1994 ). Noradrenalinnevroner skiller veldig godt mellom opphissende eller motiverende og nøytrale hendelser. De tilegner seg raskt responser på nye målstimuli under reversering og mister responser på tidligere mål før atferdsreverseringen er fullført ( Aston-Jones et al. 1997 ). Responser oppstår på fri væske utenfor enhver oppgave og overføres til belønningspredikende målstimuli innenfor en oppgave, så vel som til primære og betingede aversive stimuli ( Aston-Jones et al. 1994 ; Foote et al. 1980 ; Rasmussen og Jacobs 1986 ; Sara og Segal 1991 ). Responser er ofte forbigående og ser ut til å gjenspeile endringer i stimulusforekomst eller betydning. Aktiveringer kan bare forekomme i noen få forsøk med gjentatte presentasjoner av matobjekter ( Vankov et al. 1995 ) eller med betingede auditive stimuli assosiert med væskebelønning, aversive luftpust eller elektrisk fotsjokk ( Rasmussen og Jacobs 1986 ; Sara og Segal 1991 ). Under betinging oppstår responser på de første presentasjonene av nye stimuli og dukker opp igjen forbigående når forsterkningskontingenter endres under tilegnelse, reversering og ekstinksjon ( Sara og Segal 1991 ).

Samlet sett ligner responsene til noradrenalinnevroner responsene til dopaminnevroner på flere måter, ved å aktiveres av primære belønninger, belønningsprediktoriske stimuli og nye stimuli, og overføre responsen fra primære til betingede appetitthendelser. Noradrenalinnevroner skiller seg imidlertid fra dopaminnevroner ved å reagere på et mye større utvalg av vekkende stimuli, ved å reagere godt på primære og betingede aversive stimuli, ved å skille godt fra nøytrale stimuli, ved raskt å følge atferdsmessige reverseringer, og ved å vise avtagende responser med gjentatt stimuluspresentasjon, noe som kan kreve 100 forsøk for solide appetittresponser ( Aston-Jones et al. 1994 ). Noradrenalinresponser er sterkt relatert til de vekkende eller oppmerksomhetsfangende egenskapene til stimuli som fremkaller orienterende reaksjoner, mens de er mye mindre fokusert på appetittstimulerende stimulusegenskaper som de fleste dopaminnevroner. De er sannsynligvis drevet mer av oppmerksomhetsfangende enn motiverende komponenter i appetitthendelser.

Serotonin nevroner

Aktivitet i de forskjellige raphe-kjernene fremmer motorisk ytelse ved å sette muskeltonus og stereotyp motorisk aktivitet ( Jacobs og Fornal 1993 ). Dorsale raphe-nevroner hos katter viser fasiske, ikke-habituerende responser på visuelle og auditive stimuli uten spesiell atferdsmessig betydning ( Heym et al. 1982 ; LeMoal og Olds 1979 ). Disse responsene ligner responser fra dopaminnevroner på nye og spesielt fremtredende stimuli. Ytterligere sammenligninger vil kreve mer detaljert eksperimentering.

Nucleus basalis Meynert

Primaters basale forhjernenevroner aktiveres fasisk av et stort utvalg av atferdshendelser, inkludert betingede, belønningspredikende stimuli og primære belønninger. Mange aktiveringer er avhengige av hukommelse og assosiasjoner med forsterkning i diskriminerings- og forsinkede responsoppgaver. Aktiveringer gjenspeiler hvor kjente stimuliene er ( Wilson og Rolls 1990a ), blir viktigere med stimuli og bevegelser som oppstår nærmere belønningstidspunktet ( Richardson og DeLong 1990 ), skiller godt mellom visuelle stimuli på grunnlag av appetittvekkende og uønskede assosiasjoner ( Wilson og Rolls 1990b ), og endres i løpet av få forsøk under reversering ( Wilson og Rolls 1990c ). Nevroner aktiveres også av uønskede stimuli, predikerte visuelle og auditive stimuli og bevegelser. De reagerer ofte på fullt forutsagte belønninger i veletablerte atferdsoppgaver ( Mitchell et al. 1987 ; Richardson og DeLong 1986 , 1990 ), selv om responser på uforutsagte belønninger er mer utbredt i noen studier ( Richardson og DeLong 1990 ), men ikke i andre ( Wilson og Rolls 1990a – c ). Sammenlignet med dopaminneuroner aktiveres de av et mye større spekter av stimuli og hendelser, inkludert aversive hendelser, og viser ikke den ganske homogene populasjonsresponsen på uforutsagte belønninger og overføringen til belønningsprediktoriske stimuli.

Cerebellar klatrefibre

Sannsynligvis ble det første feildrevne læringssignalet i hjernen postulert å involvere projeksjonen av klatrefibre fra den inferiore olivennerven til Purkinje-nevroner i lillehjernen ( Marr 1969 ), og mange studier av lillehjernens læring er basert på dette konseptet ( Houk et al. 1996 ; Ito 1989 ; Kawato og Gomi 1992 ; Llinas og Welsh 1993 ). Klatrefiberinput til Purkinje-nevroner endrer midlertidig aktiviteten sin når belastninger for bevegelser eller gevinster mellom bevegelser og visuell tilbakemelding endres, og aper tilpasser seg den nye situasjonen ( Gilbert og Thach 1977 ; Ojakangas og Ebner 1992 ). De fleste av disse endringene består av økt aktivitet snarere enn aktiverings- versus depresjonsresponser sett med feil i motsatte retninger i dopaminnevroner. Hvis aktivering av klatrefibre skulle tjene som læringssignal, burde konjunksjonell klatrefiber-parallell fiberaktivering føre til endringer i parallell fiberinput til Purkinje-nevroner. Dette forekommer faktisk som langvarig depresjon av parallellfibertilførsel, hovedsakelig i in vitro-preparater ( Ito 1989 ). Imidlertid er sammenlignbare endringer i parallelle fibre vanskeligere å finne i atferdsmessige læringssituasjoner ( Ojakangas og Ebner 1992 ), noe som gjør konsekvensene av potensielle signaler om klatrende fibre åpenbare for øyeblikket.

Et annet argument for en rolle klatrefibre spiller i læring involverer aversiv klassisk betinging. En brøkdel av klatrefibrene aktiveres av aversive luftpust til hornhinnen. Disse responsene går tapt etter Pavlovsk øyelokksbetinging ved bruk av en auditiv stimulus ( Sears og Steinmetz 1991 ), noe som tyder på en sammenheng med uforutsigbarheten av primære aversive hendelser. Etter betinging reagerer nevroner i den cerebellare interpositus-kjernen på den betingede stimulusen ( Berthier og Moore 1990 ; McCormick og Thompson 1984 ). Lesjoner i denne kjernen eller injeksjoner av GABA-antagonisten bikukullin i den inferiore olivennerven forhindrer tap av inferiore olivennerve-luftpustresponser etter betinging, noe som tyder på at monosynaptisk eller polysynaptisk hemming fra interpositus til inferior olivennerve undertrykker responser etter betinging ( Thompson og Gluck 1991 ). Dette kan tillate at inferiore olivennerver blir deprimert i fravær av forutsagte aversive stimuli og dermed rapportere en negativ feil i prediksjonen av aversive hendelser som ligner på dopaminneuroner.

Klatrefibre kan dermed rapportere feil i motorisk ytelse og feil i prediksjonen av aversive hendelser, selv om dette ikke alltid involverer toveis endringer som med dopaminneuroner. Klatrefibre ser ikke ut til å tilegne seg responser på betingede aversive stimuli, men slike responser finnes i nucleus interpositus. Beregningen av aversive prediksjonsfeil kan involvere synkende hemmende input til inferiore olivenuroner, analogt med striatale projeksjoner til dopaminneuroner. Dermed behandler cerebellare kretser feilsignaler, om enn annerledes enn dopaminneuroner og TD-modeller, og de kan implementere feillæringsregler som Rescorla-Wagner-regelen ( Thompson og Gluck 1991 ) eller den formelt tilsvarende Widrow-Hoff-regelen ( Kawato og Gomi 1992 ).