Wolfram Schultz 1
Behav Brain Funct. 2010; 6: 24.
Publisert online 2010 april 23. doi: 10.1186 / 1744-9081-6-24.
FULL STUDIE: Dopaminsignaler for belønningsverdi og grunnleggende og nylige data for risiko
1 Institutt for fysiologi, utvikling og nevrovitenskap, University of Cambridge, Downing Street, Cambridge CB2 3DY, UK
Tilsvarende forfatter.
Wolfram Schultz: [e-postbeskyttet]
Abstrakt
Bakgrunn
Tidligere lesjoner, elektrisk selvstimulering og medikamentavhengighetsstudier antyder at dopaminsystemene i mellomhinnen er deler av belønningssystemet i hjernen. Denne gjennomgangen gir en oppdatert oversikt om de grunnleggende signalene fra dopaminuroner til miljøstimuli.
Metoder
De beskrevne eksperimentene brukte standard atferdsmessige og nevrofysiologiske metoder for å registrere aktiviteten til enkeltdopaminuroner i våkne aper under spesifikke atferdsoppgaver.
Resultater
Dopaminuroner viser fasiske aktiveringer til ytre stimuli. Signalet gjenspeiler belønning, fysisk sunnhet, risiko og straff, i synkende rekkefølge av brøkdeler av responderende nevroner. Forventet belønningsverdi er en viktig beslutningsvariabel for økonomiske valg. Belønningssvarskodene belønner verdi, sannsynlighet og deres oppsummerte produkt, forventet verdi. Nevronene koder belønningsverdien når den skiller seg fra prediksjon, og oppfyller dermed det grunnleggende kravet for en toveis prediksjon feil undervisningssignal postulert av læringsteori. Dette svaret er skalert i enheter med standardavvik. Derimot viser relativt få dopaminuroner den fasiske aktiveringen etter straffere og kondisjonerte aversive stimuli, noe som antyder et manglende forhold mellom belønningssvaret til generell oppmerksomhet og opphisselse. Store andeler dopaminuroner aktiveres også ved intens, fysisk viktig stimuli. Denne responsen forbedres når stimuliene er nye; det ser ut til å være forskjellig fra belønningsverdisignalet. Dopaminuroner viser også uspesifikke aktiveringer til ikke-givende stimuli som muligens skyldes generalisering ved lignende stimuli og pseudokondisjonering ved primære belønninger. Disse aktiveringene er kortere enn belønningsresponser og blir ofte fulgt av depresjon av aktivitet. Et eget, tregere dopaminsignal informerer om risiko, en annen viktig beslutningsvariabel. Svaret til prediksjonsfeil forekommer bare med belønning; det skaleres av risikoen for spådd belønning.
Konklusjoner
Neurofysiologiske studier avslører phasic dopamin signaler som overfører informasjon relatert overveiende, men ikke utelukkende for å belønne. Selv om det ikke er helt homogent, er dopaminsignalet mer begrenset og stereotyp enn neuronal aktivitet i de fleste andre hjernekonstruksjoner som er involvert i målrettet oppførsel.
Bakgrunn
Resultater fra lesjon og psykofarmakologiske studier antyder et bredt spekter av atferdsfunksjoner for dopaminsystemer i mellomhinnen. Det viktigste spørsmålet er, hvilke av disse mange funksjonene er aktivt kodet av et fasisk dopaminsignal som er kompatibelt med raske nevronale mekanismer? Gode hint kommer fra narkotikaavhengighet og elektrisk selvstimulering, noe som tyder på at dopaminaktivitet har givende og tilnærmingsgenererende effekter [1,2].
Vi kan definere belønning som objekter eller hendelser som skaper tilnærming og fullbyrdende atferd, produserer læring av slik atferd, representerer positive resultater av økonomiske beslutninger og engasjerer positive følelser og hedoniske følelser. Belønning er avgjørende for individuell og genoverlevelse og støtter elementære prosesser som drikking, spising og reproduksjon. Denne atferdsdefinisjonen tilskriver belønningsfunksjon også til visse ikke-spedisjonelle og ikke-seksuelle enheter, inkludert penger, tekniske gjenstander, estetiske stimulusattributter og mentale hendelser. Belønninger engasjerer agenter i så mangfoldig oppførsel som foraging og handel på aksjemarkeder.
Enkle konsepter
Belønninger har spesifikke størrelser og oppstår med spesifikke sannsynligheter. Agenter tar sikte på å optimalisere valg mellom alternativer hvis verdier bestemmes av typen valgobjekt og dets størrelse og sannsynlighet [3]. Derfor kan belønninger beskrives tilstrekkelig ved sannsynlighetsfordeling av belønningsverdier. I en ideell verden følger disse distribusjonene en gaussisk funksjon, med ekstreme belønninger sjeldnere enn mellomliggende resultater. Eksperimentelle tester bruker ofte binære sannsynlighetsfordelinger med likeverdige verdier (hver belønningsverdi forekommer ved p = 0.5). Gaussisk og binær sannsynlighetsfordeling er fullstendig beskrevet av den matematiske forventede verdien (første øyeblikk av sannsynlighetsfordeling) og spredning eller avvik av verdier fra gjennomsnittet, nemlig (forventet) varians (andre øyeblikk) eller (forventet) standardavvik (kvadratrot av varians). Avvik og standardavvik blir ofte sett på som risikomål. I atferdsøkonomi refererer begrepet "risiko" til en form for usikkerhet der sannsynlighetsfordelingen er kjent, mens "tvetydighet" indikerer ufullstendig kunnskap om sannsynligheter og ofte blir referert til som "usikkerhet". Risiko refererer til sjansen for å vinne eller tape, snarere enn den mer smale, sunne foreningen med tap.
Spådommer er av grunnleggende betydning for å ta informert vedtak ved å gi forhåndsinformasjon om tilgjengelige valgalternativer, i motsetning til gjetninger som oppstår når utfall er ukjent. Ettersom belønning kan kvantifiseres med sannsynlighetsfordeling av verdi, angir belønningspådommer forventet verdi og (forventet) varians eller standardavvik for distribusjonen.
Evolusjonært trykk favoriserer energieffektiv prosessering av informasjon. En potensiell løsning er å lagre spådommer om fremtidige hendelser i høyere hjernesentre og beregne i lavere hjernesentre forskjellen mellom ny miljøinformasjon og den lagrede prediksjonen. Avviket mellom den faktiske hendelsen og dens prediksjon kalles en feilforutsigelse. Å følge med den endrede miljøsituasjonen fra høyere hjernesentre vil ganske enkelt innebære å oppdatere spådommene med mindre informasjon som inneholder, og mindre energikrevende, prediksjonsfeil i stedet for å behandle full perifer informasjon hver gang en liten ting har endret seg [4]. På denne måten har høyere hjernesentre tilgang til full informasjon om den ytre verden for oppfatninger, beslutninger og atferdsreaksjoner til en mye lavere energikostnad. Denne grunnleggende egenskapen til spådommer fører til det observerbare fenomenet med læring, som definert av endringer i atferd basert på oppdaterte prediksjoner.
Dyrelæringsteori og effektive tidsmessige forskjellsforsterkningsmodeller postulerer at utfallsprognosefeil er avgjørende for Pavlovian og operant condition [5,6]. Nåværende synspunkter konseptualiserer pavlovsk læring som enhver form for anskaffelse av prediksjon som fører til endrede vegetative reaksjoner eller strierte muskelsammentrekninger, så lenge resultatet ikke er betinget av atferdsreaksjonen. Dermed formidler Pavlovian-belønningsprognoser ikke bare informasjon om belønningsverdien (forventet verdi), men også om risikoen (variansen) ved fremtidige belønninger, som utgjør en viktig utvidelse av konseptet som Pavlov foreslo for hundre år siden. Viktigheten av prediksjonsfeil er basert på Kamins blokkeringseffekt [7] som viser at læring og utryddelse bare går videre i den grad en forsterkning er bedre eller dårligere enn forutsagt; læring avtar gradvis når spådommen nærmer seg asymptotisk verdien av forsterkeren.
Dopaminrespons på belønningsmottak
Flertallet av midhjerne dopamin-neuroner (75-80%) viser ganske stereotypiske, faseaktiveringer med ventetid på <100 ms og varighet på <200 ms etter temporært uforutsett mat og væskebelønning (figur (figur 1A) .1A). Denne burst-responsen avhenger av aktivering og plastisitet av glutamatergiske NMDA- og AMPA-reseptorer lokalisert på dopaminneuroner [8-12]. Utbruddet er kritisk for atferdsmessig læring av appetittvekkende oppgaver som betinget stedpreferanse og T-labyrintvalg for mat eller kokainbelønning og for betingede fryktresponser [9].
Figur 1
Fasiske aktiveringer av nevrofysiologisk impulsaktivitet av dopaminneuroner. Svar: Fasiske aktiveringer etter primære belønninger. B: Fasiske aktiveringer etter betingede, belønningsforutsigende stimuli. C: Topp: Mangel på faseaktivering etter primær (mer ...)
Belønning av prediksjonsfeilkoding
Dopaminresponsen ved belønningstilførsel ser ut til å kode en prediksjonsfeil; en belønning som er bedre enn spådd fremkaller en aktivering (positiv prediksjonsfeil), en fullstendig forutsagt belønning trekker ingen respons, og en belønning som er dårligere enn spådd induserer en depresjon (negativ feil) [13-24]. Dopaminresponsen implementerer således fullt ut det avgjørende uttrykket i Rescorla-Wagner læringsmodellen og ligner nær undervisningssignalet til effektive tidsmessige forskjellsforsterkende læringsmodeller [6,23].
Feilresponsen varierer kvantitativt med forskjellen mellom mottatt belønningsverdi og forventet belønningsverdi [18-23]. Predikasjonsfeilresponsen er følsom for belønningstidspunktet; en forsinket belønning induserer en depresjon på sin opprinnelige tid og en aktivering på det nye tidspunktet [24,25]. Den kvantitative feilkodingen er tydelig for aktiveringer som reflekterer positive prediksjonsfeil. Derimot viser depresjonen som oppstår med negative prediksjonsfeil, naturlig nok et smalere dynamisk område, da nevronaktivitet ikke kan falle under null, og passende kvantitativ vurdering krever å ta hele depresjonsperioden i betraktning [26].
Dopaminuroner reagerer således på belønning bare i den grad det skiller seg fra prediksjon. Ettersom prediksjon stammer fra tidligere opplevd belønning, aktiveres dopaminneuroner bare når den nåværende belønningen er bedre enn den forrige belønningen. Den samme belønningen igjen vil ikke aktivere dopaminuroner. Hvis aktivering av dopaminuroner har en positiv forsterkende effekt på atferden, vil bare økende belønning gi kontinuerlig forsterkning via dopaminergiske mekanismer. Dette kan være en grunn til at konstante, uforanderlige belønninger ser ut til å miste sin stimulerende innflytelse, og hvorfor vi alltid trenger mer belønning.
Strengende tester for belønning prediksjon feil koding
Dyrelæringsteori har utviklet formelle paradigmer for å teste belønningspredikasjonsfeil. I blokkeringstesten [7] kan ikke en stimulus som er parret med en fullstendig forutsagt belønning læres og dermed ikke bli en gyldig belønningsprediktor. Fraværet av en belønning etter den blokkerte stimulansen utgjør ikke en prediksjonsfeil og fører ikke til en respons i dopaminuroner, selv etter omfattende stimulus-belønningsparring [27]. Derimot utleverer belønningen etter en blokkert stimulus en positiv prediksjonsfeil og fremkaller følgelig en dopaminaktivering.
Det kondisjonerte hemmingsparadigmet [28] tilbyr en ekstra test for prediksjonsfeil. I oppgaven som brukes i våre eksperimenter, presenteres en teststimulus samtidig med en etablert belønning som forutsier stimulus, men det gis ingen belønning etter forbindelsen, noe som gjør teststimulansen til en prediktor for fravær av belønning. Belønning utelatelse etter en slik kondisjonert hemmer utgjør ikke en negativ prediksjonsfeil og følgelig mislykkes i å indusere en depresjon i dopaminuroner [29]. Derimot gir levering av belønning etter hemmeren en sterk positiv prediksjonsfeil og følgelig en sterk dopaminaktivering.
Resultatene fra disse to formelle testene bekrefter at dopaminuroner viser toveisk koding av belønningsprediksjonsfeil.
Feil koding av adaptiv belønning prediksjon
I generell forstand spesifiserer en belønning som forutsier stimulans verdien av fremtidige belønninger ved å informere om sannsynlighetsfordelingen av belønningsverdier. Dermed indikerer stimulansen forventet verdi (første øyeblikk) og (forventet) varians (andre moment) eller standardavvik for distribusjonen.
Dopaminverdien forutsigelsesfeilrespons er følsom for både det første og det andre øyeblikket av den forutsagte belønningsfordelingen to sekunder etter stimulansen. I et eksperiment kan forskjellige visuelle stimuli forutsi spesifikke binære sannsynlighetsfordelinger av utstyrbare belønningsstørrelser med forskjellige forventede verdier og avvik. Ettersom prediksjonsfeilresponsen gjenspeiler forskjellen mellom den oppnådde og forventede belønningsverdien, produserer den identiske størrelsesorden til den mottatte belønningen enten en økning eller reduksjon av dopaminaktivitet, avhengig av om belønningen er henholdsvis større eller mindre enn dens prediksjon [23]. Dette resultatet antyder at feilkoding av verdiforsyning gir informasjon i forhold til en referanse- eller ankerverdi.
Dopamin-kodingen av prediksjonsfeil for belønningsverdi tilpasser seg distribusjonen eller variansen eller standardavviket. I en binær fordeling av utstyrbare fordeler, gir belønning med større styrke innenfor hver distribusjon den samme dopaminaktiveringen med hver distribusjon, til tross for 10 foldforskjeller mellom oppnådde belønningsstørrelser (og de resulterende feilforutsigelsesfeil) [23]. Numeriske beregninger avslører at dopaminresponsen koder verdien for prediksjonsfeil delt på standardavviket for den forutsagte fordelingen. Dette utgjorde en effektiv normalisering eller skalering av responsen for forutsigelse av feilverdier når det gjelder standardavvik, som indikerer hvor mye den oppnådde belønningsverdien skiller seg fra den forventede verdien i enheter med standardavvik. Teoretiske betraktninger antyder at feilundervisningssignaler som skaleres av varians eller standardavvik snarere enn middel kan formidle stabil læring som er motstandsdyktig mot den forutsagte risikoen for utfall [30].
Dopaminrespons for å belønne forutsi stimuli
Dopaminneuroner viser aktiveringer ('eksitasjoner') etter belønning som forutsier visuelle, auditive og somatosensoriske stimuli (figur (figur 1B) 1B) [31-33]. Svarene oppstår uavhengig av sensoriske modaliteter og romlige posisjoner av stimuli, og uansett om effektorene er arm-, munn- eller øyebevegelser.
Aktiveringene øker monotonisk med belønningssannsynlighet [18] og belønningsstørrelse, for eksempel væskevolum [23]. Imidlertid skiller ikke dopaminresponsene mellom belønningssannsynlighet og størrelsesorden så lenge forventet verdi er identisk [23]. Aktiveringene ser dermed ut til å kode den forventede verdien av spådommer for belønningssannsynlighet. Forventet verdi er den mer tankevekkende forklaringen, og støyen i nevronsvarene forhindrer en karakterisering i form av forventet (subjektiv) nytteverdi. Vær oppmerksom på at den tidsmessige diskonteringen beskrevet nedenfor avslører subjektiv koding og kan gi noe lys på problemet.
Responsstørrelsen øker med avtagende atferdsreaksjonstid, noe som indikerer at dopaminresponsen er følsom for dyrets motivasjon [19]. I valg mellom forskjellige belønningsverdier eller forsinkelser gjenspeiler dopaminresponsene på presentasjonen av valgalternativer dyrets fremtidige valgte belønning [34] eller høyest mulig belønning av to tilgjengelige valgalternativer [35].
I løpet av læringen avtar dopaminaktiveringen til belønningen gradvis på tvers av suksessive læringsforsøk, og en aktivering til belønningen som forutsier stimulans utvikles samtidig [36,37]. Anskaffelse av kondisjonert reaksjon er følsomt for blokkering, noe som indikerer at prediktonfeil spiller en rolle i anskaffelsen av dopaminresponser til betingede stimuli [27]. Responsoverføringen for å belønne forutsi stimuli samsvarer med de viktigste egenskapene til undervisningssignaler til effektive tidsmessige forskjellsforsterkningsmodeller [38]. Responsskiftet innebærer ikke tilbakepropagering av prediksjonsfeil over stimulus-belønningsintervallet fra tidligere tidsmessige forskjellsmodeller [27,38], men er gjengitt i den originale tidsmessige forskjellsmodellen og i de originale og nyere tidsmessige forskjellsimplementeringene [6,37,39].
Subjektiv belønningskoding vist ved tidsdiskontering
Den objektive målingen av subjektiv belønningsverdi etter valgpreferanser avslører at belønning mister noe av verdien når de blir forsinket. Faktisk foretrekker rotter, duer, aper og mennesker tidligere raskere belønning fremfor senere større belønninger [40-42]. Dermed ser det ut til at den subjektive verdien av belønning forfaller med økende tidsforsinkelser, selv om den fysiske belønningen, og dermed den objektive belønningsverdien, er den samme.
Psykometriske målinger av intertemporale atferdsvalg mellom før og senere belønning justerer størrelsen på den tidlige belønningen til forekomsten av valgmessig likegyldighet, definert som sannsynligheten for å velge hvert alternativ med p = 0.5. Dermed indikerer en lavere tidlig belønning ved valg av likegyldighet en lavere subjektiv verdi av den senere belønningen. I vårt nylige eksperiment på aper falt valgmessige likegyldighetsverdier for belønninger forsinket med 4, 8 og 16 s monotonisk med henholdsvis 25%, 50% og 75%, sammenlignet med en belønning etter 2 s [43]. Nedgangen passer til en hyperbolsk diskonteringsfunksjon.
Dopaminresponsene for å belønne forutsi stimuli avtar monotonisk over belønningsforsinkelser på 2 til 16 s [25,43], til tross for at samme fysiske belønning blir levert etter hver forsinkelse. Disse dataene antyder at tidsmessige forsinkelser påvirker dopaminresponsene for å belønne forutsi stimuli på en lignende måte som de påvirker subjektiv belønningsverdi vurdert ved intertemporale valg. Interessant er reduksjonen av dopaminrespons med belønningsforsinkelse utydelig fra responsnedgangen med lavere belønningsstørrelse. Denne likheten antyder at tidsmessige forsinkelser påvirker dopaminresponsene via endringer i belønningsverdien. For dopaminuroner ser det ut som forsinkede belønninger som om de var mindre.
Dermamin-neuroner ser ut til å kode den subjektive snarere enn den fysiske, objektive verdien av forsinkede belønninger. Gitt at nytteverdi er et mål for den subjektive belønningen snarere enn den objektive verdien av belønning, kan responsnedgangen med tidsmessig diskontering tyde på at dopaminuroner koder belønning som (subjektiv) nytte i stedet for som (objektiv) verdi. Ytterligere eksperimenter kan bidra til å teste verktøyskodingen mer direkte.
Dopaminrespons på aversiv stimuli
Aversive stimuli som luftpust, hypertonisk saltvann og elektrisk støt induserer aktiverende ('eksitatoriske') responser i en liten andel dopaminneuroner hos våkne dyr (14% [33]; 18-29% [44]; 23% [45] ; 11% [46]), og flertallet av dopaminneuroner er enten deprimerte i sin aktivitet eller ikke påvirket av aversive hendelser (figur (figur 1C1C øverst). I motsetning til belønninger, klarer ikke luftpust å indusere toveis prediksjon feilrespons typisk for belønning ; prediksjon modulerer bare aversive aktiveringer [45,46].
Aversiv stimulering hos bedøvede dyr gir varierende, men ofte lave grader av for det meste tregere, aktiverende responser (50% [47]; 18% [48]; 17% [49]; 14% [50]) og ofte aktivitetsdepresjoner. Nevrofysiologiske reinvesteringer med bedre identifikasjon av dopaminuroner bekreftet den generelle lave forekomsten av aversiv dopaminaktivering hos anestesiserte dyr [51] og lokaliserte aversivt responderende dopaminuroner i det ventromediale tegmentale området i mellomhinnen [52].
Kondisjonerte, luftpust som forutsier stimuli hos våkne aper, fremkaller aktiveringer i mindretall av dopaminuroner, og depresjoner i en større brøkdel av dopaminuroner (11% [33]; 13% [45]; 37% [46]). De depressive responsene avbryter de få aktiveringene i gjennomsnittlige populasjonsresponser av dopaminuroner mot aversiv stimuli [33] (se figur Figur 1C1C bunn, svart). I en studie aktiverte den kondisjonerte aversive stimulusen flere nevroner enn selve luftpuffen (37% vs. 11% [46]), selv om en betinget stimulus er mindre aversiv enn den primære aversive hendelsen den forutsier, for eksempel en luftpuff. Det høyere antallet aktiveringer til den kondisjonerte stimulusen sammenlignet med luftsuffen antyder et omvendt forhold mellom aversjonsevne og aktivering (jo mer aversiv stimulus desto mindre hyppig aktivering) eller en ekstra, ikke-aversiv stimulansekomponent som er ansvarlig for å øke andelen aktiverte nevroner fra 11% til 37%. Selv om stimulusaktiveringene korrelerte positivt med sannsynlighet for luftpust i befolkningen, ble de ikke vurdert i individuelle nevroner [46]. En populasjonskorrelasjon kan oppstå fra et relativt lite antall positivt korrelerte nevroner i denne populasjonen, og de virkelig aversive stimulusaktiveringene kan være nærmere 11% enn 37%. I en annen studie viste store proporsjoner dopaminuroner fasiske aktiveringer til kondisjonerte aversive stimuli når disse ble presentert i tilfeldig veksling med belønning som forutsi stimuli av den samme sensoriske modaliteten (Figur (Figur1C1C bunn, grå) (65% [33]); var mye sjeldnere når de to typene kondisjonerte stimuli hadde forskjellige sensoriske modaliteter (figur (figur1C1C bunn, svart) (11%). Det neste kapittelet vil diskutere faktorene som muligens ligger til grunn for disse uforklarlige aktiveringene til aversiv og annen, ubevisst stimuli.
Selv om noen dopaminuroner aktiveres av aversive hendelser, er den største dopaminaktiveringen relatert til belønning. Data innhentet med andre metoder fører til lignende konklusjoner. Rask scan voltammetri hos oppførende rotter viser striatal dopaminfrigjøring indusert av belønning og et skifte til å belønne forutsi stimuli etter kondisjonering [53], noe som tyder på at impulsresponser fra dopaminuroner fører til tilsvarende dopaminfrigjøring fra striatal variasjoner. Økningen av dopamin varer bare noen få sekunder og har dermed det korteste løpet av alle nevrokjemiske metoder, nærmest elektrofysiologisk aktivering. Dopaminfrigjøring er forskjellig for belønning (sukrose) og klarer ikke å skje med straff (kinin) [54]. Ettersom voltammetri vurderer lokale gjennomsnitt av dopaminkonsentrasjon, kan fraværet av målbar frigivelse med kinin skjule noen få aktiveringer kansellert av depresjoner i dopaminpopulasjonsresponset [33]. Studier som bruker veldig følsom mikrodialyse in vivo, oppdager frigjøring av dopamin etter aversiv stimuli [55].
Denne responsen kan reflektere en dopaminendring indusert av de få nevronene som er aktivert av aversiv stimuli, selv om tidsforløpet for målinger av mikrodialyse er omtrent 300-500 ganger saktere enn impulsresponsen og kan være tilstrekkelig til å la presynaptiske interaksjoner påvirke dopaminfrigjøring [56] . Forstyrrelse av sprenging av dopaminuroner forstyrrer flere appetittvekkende læringsoppgaver, men frykter også kondisjonering [9]. Resultatet kan antyde en læringsfunksjon av aversive dopaminresponser hvis den uspesifikke, generelt deaktiverende effekten av lavere dopaminkonsentrasjon utelukkes, som fortsatt er å vise. Den spesifikke stimuleringen av dopaminuroner ved optogenetiske metoder via genetisk innsatt kanalhodopsin induserer pavlovsk stedskondisjonering hos mus [57]. I motsetning til dette ville en netto aversiv effekt av dopaminstimulering muligens ha gitt sted å unngå undervisning. Disse resultatene bekrefter forestillingen om en global positiv forsterkende funksjon av dopaminsystemer avledet fra tidligere lesjonering, elektrisk selvstimulering og rusavhengighetsarbeid [1,2]. Imidlertid postulerer disse argumentene verken at belønning er den eneste funksjonen til dopaminsystemer, eller at alle belønningsfunksjoner involverer dopaminuroner.
Fasiske dopaminaktiveringer som ikke koder belønning
Stimuli kan indusere varslende og oppmerksomhetsreaksjoner når de er fysisk viktige (fysisk oppmerksomhet) eller når de er relatert til forsterkere ('motivasjons' eller 'affektiv' fremtredende). Atferdsmessige reaksjoner på fremtredende stimuli blir gradert av henholdsvis den fysiske intensiteten av stimuli og verdien av forsterkeren. Fysisk oppmerksomhet er ikke avhengig av forsterkning i det hele tatt, og motiverende fremtredende avhenger ikke av forsterkernes valens (belønning og straff).
Responses to fysisk fremtredende stimuli
Fysisk intens visuell og auditiv stimuli induserer aktiveringer i dopaminuroner (Figur (Figur1D) .1D). Disse svarene forbedres av stimulansnyhet [58-60], men vedvarer på et lavere nivå i flere måneder forutsatt at stimuli er tilstrekkelig fysisk intense. Svarene blir gradert etter størrelsen på stimuli (figur 4 i [15]). Fysisk sunnhet kan også delvis forklare svar til primære straffe med betydelig fysisk intensitet [45]. Disse responsene kan utgjøre en egen type dopaminrespons relatert til den fysiske saltheten til oppmerksomhet som induserer miljøstimuli, eller de kan være relatert til de positivt motiverende og forsterkende egenskapene til intens og ny stimuli.
Aktiveringene til fysisk fremtredende stimuli ser ikke ut til å gjenspeile en generell tendens til at dopaminuroner aktiveres av noen oppmerksomhetsgenererende hendelse. Spesielt andre sterke oppmerksomhetsgenererende hendelser som belønning unnlatelse, kondisjonerte hemmere og aversive stimuli induserer overveiende depresjoner og sjelden ekte dopaminaktiveringer [14,29]. Dopaminaktivering ved fysisk fremtredende stimuli kan derfor ikke utgjøre en generell varslingsrespons. Belønningsresponsen vil sannsynligvis utgjøre et eget svar som kanskje ikke reflekterer oppmerksomheten som er gitt av belønningens motiverende omstendighet.
Andre ikke-belønning koding aktiveringer
Andre stimuli induserer aktiveringer i dopaminuroner uten tilsynelatende koding av belønningsverdi. Disse aktiveringene er mindre og kortere enn svarene på belønning av å forutsi stimuli, og blir ofte fulgt av depresjon når stimuli er uovertruffen (Figur (Figur1E1E).
Dopaminuroner viser aktiveringer etter kontrollstimuli som presenteres i pseudorandom veksling med belønnet stimuli [27,29,32]. Forekomsten av aktiveringer avhenger av antall alternative, belønnet stimuli i atferdsoppgaven; aktiveringer er hyppige når tre av fire oppgavestimuli belønnes (25% -63% [27]) og blir sjeldne når bare en av fire oppgavestimulier ikke blir gitt ut (1% [29]). Denne avhengigheten argumenterer mot en rent sensorisk karakter av responsen.
Dopamin-nevroner viser en ganske stereotyp typisk aktiveringskomponent for å stimulere forutsi belønning som oppstår etter forskjellige forsinkelser [43]. Den første aktiveringen varierer veldig lite med belønningsforsinkelse, og ser dermed ikke ut til å kode belønningsverdi. Derimot avtar den etterfølgende responskomponenten med økende forsinkelser og koder dermed (subjektiv) belønningsverdi (se over).
Dopaminuroner viser hyppige aktiveringer etter kondisjonerte aversive stimuli presentert i tilfeldig veksling med belønning som forutsier stimuli; aktiveringene forsvinner stort sett når forskjellige sensoriske modaliteter brukes (65% vs. 11% av nevroner [33]), noe som tyder på koding av ikke-aversive stimuluskomponenter. Selv når aversive og appetittvekkende stimuli skilles i forskjellige prøveblokker, aktiveres dopaminuroner betydelig av betingede aversive stimuli. Imidlertid antyder de hyppigere aktiveringene av de betingede stimuli sammenlignet med den mer aversive primærluftspusten (37% vs. 11% [46]) et omvendt forhold til stimulansen og eventuelt ikke-aversive responskomponenter.
Årsakene til disse forskjellige dopaminaktiveringene kan ligge i generalisering, pseudokondisjonering eller motivasjonsstimuleringsevne. Generalisering oppstår fra likheter mellom stimuli. Det kan forklare dopaminaktiveringer i en rekke situasjoner, nemlig aktiveringene til uanmeldte visuelle stimuli når disse veksler med belønning som forutsier visuelle stimuli (figur (Figur1E1E til venstre) [27,29,32] og den innledende, dårlig graderte aktiveringskomponenten for å belønne forsinkelse av forutsi stimuli (figur) (Figur1E1E til høyre) [43]. Generalisering kan spille en rolle når stimuli med forskjellige sensoriske modaliteter gir mindre dopaminaktiveringer til uanmeldte stimuli enn stimuli med samme modaliteter, sett med visuell aversiv og auditiv appetittvekkende stimuli (Figur (Figur1C1C bunn) [33] .
Pseudokondisjonering kan oppstå når en primær forsterker setter en kontekstuell bakgrunn og provoserer uspesifikke atferdsresponser på eventuelle hendelser i denne konteksten [61]. Siden dopaminuroner er veldig følsomme for belønning, kan en givende kontekst indusere pseudokondisjonering til stimuli satt i denne sammenhengen og derav en neuronal aktivering. Denne mekanismen kan ligge til grunn for neuronale aktiveringer til ikke-givende stimuli som oppstår i en givende kontekst, for eksempel laboratoriet der et dyr får daglig belønning, uavhengig av at stimuli blir presentert i tilfeldig veksling med belønnet stimuli eller i separate prøveblokker [46]. Pseudokondisjonering kan forklare aktiveringer til uanmeldt kontrollstimuli [27,29,32], de fleste aktiveringer etter aversiv stimuli [33,45,46] og den innledende, dårlig graderte aktiveringskomponenten for å belønne forsinkelse av forutsigende stimuli [43]. Således kan pseudokondisjonering oppstå fra den primære belønningen snarere enn en betinget stimulans og påvirke dopaminaktiveringer til både kondisjonerte stimuli og primære forsterkere som oppstår i en givende sammenheng.
Selv om stimuli med betydelig fysisk salighet ser ut til å drive dopaminuroner [15,58-60] (se over), er stimuliene som induserer ikke-belønningskodende dopaminaktiveringer ofte små og ikke fysisk veldig fremtredende. Motivasjonsmessighet er per definisjon vanlig for belønninger og straffere, og på egen hånd kan det forklare aktiveringene til både belønning og straff i 10-20% av dopamin-nevroner. Ikke-forsterkende stimuli kan bli motiverende fremtredende gjennom deres nærhet til belønning og straff via pseudokondisjonering. Dopaminaktiveringer ser imidlertid ut til å være langt mer følsomme for belønning enn straff. Ettersom motiverende velferdighet involverer følsomhet for begge forsterkere, kan motivasjonsevne som er oppnådd via pseudokondisjonering kanskje ikke forklare de ikke-belønningskodende dopaminaktiveringene.
Sammenlagt kan mange av de ikke-belønningskodende dopaminaktiveringene skyldes stimulusgeneralisering eller spesielt pseudokondisjonering. Likevel ser det ut til å forbli sanne aktiveringer til uanmeldt kontrollstimuli og til primær og kondisjonert aversiv stimuli i en begrenset andel dopaminuroner når disse faktorene utelukkes. Ytterligere eksperimenter som vurderer slike svar, bør bruke bedre kontroller og fullstendig eliminere alle kontekstuelle belønningsassosiasjoner med stimuli i laboratoriet.
Gitt forekomsten av ikke-belønningskodende aktiveringer, er det rimelig å spørre hvordan et dyr vil skille belønning fra ubevisst stimuli basert på en dopaminrespons. Den veldig raske, innledende, pseudokondisjonerte og dårlig diskriminerende responskomponenten kan gi en tidsmessig bonus for å lette raske, standard atferdsreaksjoner som hjelper dyret til raskt å oppdage en potensiell belønning [62]. Derimot oppdager den umiddelbart følgende responskomponenten den sanne naturen til hendelsen gjennom sin graderte aktivering med belønningsverdi [43] og dens hyppige depresjon med uanmeldt og aversiv stimuli [27,29,32,33] (Figur (Figur1E) .1E). Videre er dopaminsystemet ikke den eneste hjernestrukturen som koder belønning, og andre nevronale systemer som orbitofrontal cortex, striatum og amygdala kan gi ytterligere diskriminerende informasjon.
Dopamin belønning risikosignal
Hvis et belønningssignal reflekterer den gjennomsnittlige belønningsprediksjonsfeilen skalert av standardavviket for belønningssannsynlighetsfordelinger, og hvis vi ser standardavvik som et mål på risiko, kan det da være et direkte nevronalt signal for risiko? Når belønningssannsynligheter varierer fra 0 til 1 og belønningsstørrelsen forblir konstant, øker den gjennomsnittlige belønningsverdien monotonisk med sannsynlighet, mens risikomengden følger en omvendt U-funksjon som topper seg på p = 0.5 (Figur (Figur2,2, innsatt). Ved p = 0.5, det er nøyaktig like stor sjanse for å få en belønning som det er å savne en belønning, mens høyere og lavere sannsynlighet enn p = 0.5 gjør henholdsvis gevinster og tap mer sikre, og dermed er forbundet med lavere risiko.
Figur 2
Vedvarende aktiveringer knyttet til risiko. Risikoresponsen oppstår i løpet av stimuleringsbelønningsintervallet (pilen) etter den fasiske, verdirelaterte aktivering av stimulansen (trekanten). Innfelt øverst til høyre viser at risiko (ordinat) varierer i henhold til (mer ...)
Omtrent en tredjedel av dopaminnevronene viser en relativt langsom, moderat, statistisk signifikant aktivering som øker gradvis i løpet av intervallet mellom belønningen som forutsier stimulans og belønningen; denne responsen varierer monotonisk med risiko (figur (figur2) 2) [18]. Aktiveringen skjer i individuelle studier og ser ikke ut til å utgjøre en prediksjonsfeilrespons som forplantes tilbake fra belønning til belønning som forutsier stimulans. Aktiveringen øker monotonisk også med standardavvik eller varians når binære distribusjoner av forskjellige utstyrsbare, ikke-null belønningsstørrelser brukes. Således ser standardavvik eller varians ut til å være levedyktige tiltak for risiko som kodes av dopaminuroner. Risikorelaterte aktiveringer har lengre forsinkelser (ca. 1 s), langsommere tidskurs og lavere topper sammenlignet med belønningsverdien svar på stimuli og belønning.
På grunn av sin lavere styrke, vil risikosignalet sannsynligvis indusere lavere dopaminfrigjøring ved dopaminvarikositeter sammenlignet med de mer fasiske aktiveringene som koder belønningsverdien. Den relativt lave dopaminkonsentrasjonen som muligens er indusert av risikosignalet, kan aktivere D2-reseptorene som stort sett er i en høy affinitetstilstand, men ikke den lave affinitet D1 reseptorene [63]. Derimot kan den høyere fasiske belønningsverdien svare føre til flere dopaminkonsentrasjoner som er tilstrekkelige til å kort aktivere D1-reseptorene i deres for det meste lav affinitetstilstand. Dermed kan de to signalene bli differensiert av postsynaptiske nevroner på basis av de forskjellige dopaminreseptorene som er aktivert. I tillegg vil dopaminverdien og risikosignalene sammen føre til nesten samtidig aktivering av både D1 og D2 reseptorer som i mange normale og kliniske situasjoner er essensielt for adekvate dopaminavhengige funksjoner.
Et dopaminrisikosignal kan ha flere funksjoner. For det første kan det påvirke skaleringen av umiddelbart etter prediksjonsfeilrespons ved standardavvik umiddelbart etter belønningen [23]. For det andre kan det forbedre dopaminfrigjøringen indusert av umiddelbart etter prediksjonsfeilrespons. Siden risiko induserer oppmerksomhet, vil forbedring av et potensielt undervisningssignal ved risiko være forenlig med oppmerksomhetens rolle i læring i henhold til assosiasjonelle læringsteoriene [64,65]. For det tredje kan det gi et innspill til hjernestrukturer som er involvert i vurderingen av belønningsrisiko per se. For det fjerde kan det kombinere med et økonomisk forventet verdisignal for å representere betydelig informasjon om forventet nytteverdi hos risikofølsomme individer i henhold til middelvarians-tilnærmingen i finansiell beslutningsteori [66]. Latensen på omtrent 1 s er imidlertid for lang til at signalet kan spille en øyeblikkelig rolle i valg under usikkerhet.
Konkurrerende interesser
Forfatteren erklærer at han ikke har noen konkurrerende interesser.
Forfatterens bidrag
WS skrev avisen.
Takk til
Denne anmeldelsen ble skrevet i anledning Symposium on Attention Deficit Hyperactivity Disorder (ADHD) i Oslo, februar 2010. Arbeidet vårt ble støttet av Wellcome Trust, Swiss National Science Foundation, Human Frontiers Science Program og andre stipend- og stipendbyråer.
Referanser
1. Wise RA, Rompre PP. Hjerner dopamin og belønning. Ann Rev Psychol. 1989, 40: 191-225. doi: 10.1146 / annurev.ps.40.020189.001203.
2. Everitt BJ, Robbins TW. Nevrale forsterkningssystemer for narkotikamisbruk: fra handlinger til vaner til tvang. Nat Neurosci. 2005, 8: 1481-1489. doi: 10.1038 / nn1579. [PubMed] [Cross Ref]
3. Bernoulli D. Specimen theoriae novae de mensura sortis. Comentarii Academiae Scientiarum Imperialis Petropolitanae (Papers Imp. Acad. Sci. St. Petersburg) 1738; 5: 175 – 192. Oversatt som: Eksponering av en ny teori om måling av risiko. Econometrica 1954, 22: 23-36.
4. Rao RPN, Ballard DH. Prediktiv koding i visuell cortex: en funksjonell tolkning av noen ekstra-klassiske reseptive felteffekter. Nat Neurosci. 1999, 2: 79-87. doi: 10.1038 / 4580. [PubMed] [Cross Ref]
5. Rescorla RA, Wagner AR. I: Classical Conditioning II: Current Research and Theory. Black AH, Prokasy WF, redaktør. New York: Appleton Century Crofts; 1972. En teori om pavlovsk kondisjonering: Variasjoner i effektiviteten av armering og ikke-forsterkning; s. 64 – 99.
6. Sutton RS, Barto AG. Mot en moderne teori om adaptive nettverk: forventning og spådom. Psychol Rev. 1981; 88: 135 – 170. doi: 10.1037 / 0033-295X.88.2.135. [PubMed] [Cross Ref]
7. Kamin LJ. I: Grunnleggende problemer i instrumentell læring. Mackintosh NJ, Honig WK, redaktør. Halifax: Dalhousie University Press; 1969. Selektiv forening og kondisjonering; s. 42 – 64.
8. Blythe SN, Atherton JF, Bevan MD. Synaptisk aktivering av dendritiske AMPA- og NMDA-reseptorer genererer forbigående høyfrekvente avfyring i substantia nigra dopamin-neuroner in vitro. J Neurophysiol. 2007, 97: 2837-2850. doi: 10.1152 / jn.01157.2006. [PubMed] [Cross Ref]
9. Zweifel LS, Parker JG, Lobb CJ, Rainwater A, Wall VZ, Fadok JP, Darvas M, Kim MJ, Mizumori SJ, Paladini CA, Phillips PEM, Palmiter RD. Forstyrrelse av NMDAR-avhengig avfyring av dopamin av nevroner gir selektiv vurdering av fasisk dopaminavhengig atferd. Proc Natl Acad Sci. 2009, 106: 7281-7288. doi: 10.1073 / pnas.0813415106. [PMC gratis artikkel] [PubMed] [Cross Ref]
10. Harnett MT, Bernier BE, Ahn KC, Morikawa H. Burst-Timing-Dependent Plasticity of NMDA Receptor-Mediated Transmission in Midbrain Dopamine Neurons. Neuron. 2009, 62: 826-838. doi: 10.1016 / j.neuron.2009.05.011. [PMC gratis artikkel] [PubMed] [Cross Ref]
11. Jones S, Bonci A. Synaptisk plastisitet og rusavhengighet. Curr Opin Pharmacol. 2005, 5: 20-25. doi: 10.1016 / j.coph.2004.08.011. [PubMed] [Cross Ref]
12. Kauer JA, Malenka RC. Synaptisk plastisitet og avhengighet. Nat Rev Neurosci. 2007, 8: 844-858. doi: 10.1038 / nrn2234. [PubMed] [Cross Ref]
13. Ljungberg T, Apicella P, Schultz W. Svar fra dopaminuroner fra ape i mellomhinnen under forsinket ytelsesprestasjon. Brain Res. 1991, 586: 337-341. doi: 10.1016 / 0006-8993 (91) 90816-E.
14. Schultz W, Apicella P, Ljungberg T. Respons av ape-dopamin-neuroner for å belønne og kondisjonerte stimuli under påfølgende trinn for å lære en forsinket responsoppgave. J Neurosci. 1993; 13:. 900-913 [PubMed]
15. Schultz W. Prediktivt belønningssignal for dopaminuroner. J Neurophysiol. 1998; 80:. 1-27 [PubMed]
16. Schultz W, Dayan P, Montague RR. Et nevralt underlag av prediksjon og belønning. Vitenskap. 1997, 275: 1593-1599. doi: 10.1126 / science.275.5306.1593. [PubMed] [Cross Ref]
17. Hollerman JR, Schultz W. Dopamine nevroner rapporterer en feil i den tidsmessige prediksjonen av belønning under læring. Nature Neurosci. 1998, 1: 304-309. doi: 10.1038 / 1124. [PubMed] [Cross Ref]
18. Fiorillo CD, Tobler PN, Schultz W. Diskret koding av belønningssannsynlighet og usikkerhet av dopaminuroner. Vitenskap. 2003, 299: 1898-1902. doi: 10.1126 / science.1077349. [PubMed] [Cross Ref]
19. Satoh T, Nakai S, Sato T, Kimura M. Korrelert koding av motivasjon og resultatet av beslutningen fra dopaminuroner. J Neurosci. 2003; 23:. 9913-9923 [PubMed]
20. Morris G, Arkadir D, Nevet A, Vaadia E, Bergman H. Tilfeldig, men tydelige meldinger om dopamin i mellomhinnen og striatal tonisk aktive nevroner. Neuron. 2004, 43: 133-143. doi: 10.1016 / j.neuron.2004.06.012. [PubMed] [Cross Ref]
21. Nakahara H, Itoh H, Kawagoe R, Takikawa Y, Hikosaka O. Dopamine nevroner kan representere kontekstavhengig prediksjonsfeil. Neuron. 2004, 41: 269-280. doi: 10.1016 / S0896-6273 (03) 00869-9. [PubMed] [Cross Ref]
22. Bayer HM, Glimcher PW. Midtbrain dopaminuroner koder for et kvantitativt belønning prediksjon feil signal. Neuron. 2005, 47: 129-141. doi: 10.1016 / j.neuron.2005.05.020. [PMC gratis artikkel] [PubMed] [Cross Ref]
23. Tobler PN, Fiorillo CD, Schultz W. Adaptiv koding av belønningsverdi av dopaminuroner. Vitenskap. 2005, 307: 1642-1645. doi: 10.1126 / science.1105370. [PubMed] [Cross Ref]
24. Zaghloul KA, Blanco JA, Weidemann CT, McGill K, Jaggi JL, Baltuch GH, Kahana MJ. Menneskelige substantia nigra nevroner koder for uventede økonomiske fordeler. Vitenskap. 2009, 323: 1496-1499. doi: 10.1126 / science.1167342. [PMC gratis artikkel] [PubMed] [Cross Ref]
25. Fiorillo CD, Newsome WT, Schultz W. Den tidsmessige presisjonen for belønningsprediksjon i dopaminuroner. Nat Neurosci. 2008, 11: 966-973. doi: 10.1038 / nn.2159.
26. Bayer HM, Lau B, Glimcher PW. Statistikk over dopamin neuron pigg tog i den våkne primaten. J Neurophysiol. 2007, 98: 1428-1439. doi: 10.1152 / jn.01140.2006. [PubMed] [Cross Ref]
27. Waelti P, Dickinson A, Schultz W. Dopamine-svar samsvarer med grunnleggende forutsetninger for formell læringsteori. Natur. 2001, 412: 43-48. doi: 10.1038 / 35083500. [PubMed] [Cross Ref]
28. Rescorla RA. Pavlovsk betinget hemming. Psychol Bull. 1969, 72: 77-94. doi: 10.1037 / h0027760.
29. Tobler PN, Dickinson A, Schultz W. Koding av forutsagt belønnings unnlatelse av dopaminuroner i et betinget hemmingsparadigme. J Neurosci. 2003; 23:. 10402-10410 [PubMed]
30. Preuschoff, Bossaerts P. Legger prediksjonsrisiko til teorien om belønningslæring. Ann NY Acad Sci. 2007, 1104: 135-146. doi: 10.1196 / annals.1390.005. [PubMed] [Cross Ref]
31. Romo R, Schultz W. Dopamine nevroner fra ape midthjernen: Betingelser for responser til aktiv berøring under selvinitierte armbevegelser. J Neurophysiol. 1990; 63:. 592-606 [PubMed]
32. Schultz W, Romo R. Dopamine nevroner fra ape midthjernen: Betingelser for responser til stimuli som fremkaller umiddelbare atferdsreaksjoner. J Neurophysiol. 1990; 63:. 607-624 [PubMed]
33. Mirenowicz J, Schultz W. Foretrukket aktivering av dopamin neuroner i mellomhinnen ved appetittvekkende snarere enn aversiv stimuli. Natur. 1996, 379: 449-451. doi: 10.1038 / 379449a0. [PubMed] [Cross Ref]
34. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain-dopaminuroner koder for beslutninger for fremtidig handling. Nat Neurosci. 2006, 9: 1057-1063. doi: 10.1038 / nn1743. [PubMed] [Cross Ref]
35. Roesch MR, Calu DJ, Schoenbaum G. Dopamin-nevroner koder for det bedre alternativet hos rotter som bestemmer mellom forskjellig forsinkede eller store belønninger. Nat Neurosci. 2007, 10: 1615-1624. doi: 10.1038 / nn2013. [PMC gratis artikkel] [PubMed] [Cross Ref]
36. Takikawa Y, Kawagoe R, Hikosaka O. En mulig rolle som dopaminuroner i mellomhjerne i kort- og langvarig tilpasning av saccader til kartlegging av posisjonsbelønning. J Neurophysiol. 2004, 92: 2520-2529. doi: 10.1152 / jn.00238.2004. [PubMed] [Cross Ref]
37. Pan WX, Schmidt R, Wickens JR, Hyland BI. Dopaminceller reagerer på forutsagte hendelser under klassisk kondisjonering: Bevis for kvalifiseringsspor i belønningslæringsnettverket. J Neurosci. 2005, 25: 6235-6242. doi: 10.1523 / JNEUROSCI.1478-05.2005. [PubMed] [Cross Ref]
38. Montague PR, Dayan P, Sejnowski TJ. Et rammeverk for mesencefaliske dopaminsystemer basert på prediktiv hebbisk læring. J Neurosci. 1996; 16:. 1936-1947 [PubMed]
39. Suri R, Schultz W. Et nevralt nettverk med dopaminlignende forsterkningssignal som lærer en romlig forsinket responsoppgave. Neuroscience. 1999, 91: 871-890. doi: 10.1016 / S0306-4522 (98) 00697-6. [PubMed] [Cross Ref]
40. Ainslie G. Spesielle belønninger: en atferdsteori om impulsivitet og impulskontroll. Psych Bull. 1975, 82: 463-496. doi: 10.1037 / h0076860.
41. Rodriguez ML, Logue AW. Justere forsinkelse til forsterkning: sammenligne valg hos duer og mennesker. J Exp Psychol Anim Behav Process. 1988, 14: 105-117. doi: 10.1037 / 0097-7403.14.1.105. [PubMed] [Cross Ref]
42. Richards JB, Mitchell SH, de Wit H, Seiden LS. Bestemmelse av rabattfunksjoner hos rotter med en justeringsmengde-prosedyre. J Exp Anal Behav. 1997, 67: 353-366. doi: 10.1901 / jeab.1997.67-353. [PMC gratis artikkel] [PubMed] [Cross Ref]
43. Kobayashi S, Schultz W. Påvirkning av belønningsforsinkelser på responser fra dopaminuroner. J Neurosci. 2008, 28: 7837-7846. doi: 10.1523 / JNEUROSCI.1600-08.2008. [PubMed] [Cross Ref]
44. Guarraci FA, Kapp BS. En elektrofysiologisk karakterisering av dopaminerge nevroner i det ventrale tegmentale området under differensiell pavlovsk fryktkondisjonering i den våken kaninen. Behav Brain Res. 1999, 99: 169-179. doi: 10.1016 / S0166-4328 (98) 00102-8. [PubMed] [Cross Ref]
45. Joshua M, Adler A, Mitelman R, Vaadia E, Bergman H. Midtsprengende dopaminerge nevroner og striatal kolinergiske interneuroner koder for forskjellen mellom belønning og aversive hendelser ved forskjellige epoker av sannsynlige klassiske konditioneringsforsøk. J Neurosci. 2008, 28: 1673-11684. doi: 10.1523 / JNEUROSCI.3839-08.2008.
46. Matsumoto M, Hikosaka O. To typer dopaminneuron formidler tydelig positive og negative motivasjonssignaler. Natur. 2009, 459: 837-841. doi: 10.1038 / nature08028. [PMC gratis artikkel] [PubMed] [Cross Ref]
47. Chiodo LA, Antelman SM, Caggiula AR, Lineberry CG. Sensoriske stimuli endrer utslippshastigheten til dopamin (DA) nevroner: Bevis for to funksjonelle typer DA-celler i substantia nigra. Brain Res. 1980, 189: 544-549. doi: 10.1016 / 0006-8993 (80) 90366-2. [PubMed] [Cross Ref]
48. Mantz J, Thierry AM, Glowinski J. Effekt av skadelig haleknipe på utslippshastigheten til mesokortikale og mesolimbiske dopaminuroner: selektiv aktivering av det mesokortikale systemet. Brain Res. 1989, 476: 377-381. doi: 10.1016 / 0006-8993 (89) 91263-8. [PubMed] [Cross Ref]
49. Schultz W, Romo R. Responser av nigrostriatal dopaminuroner på somatosensorisk stimulering med høy intensitet i den bedøvede apen. J Neurophysiol. 1987; 57:. 201-217 [PubMed]
50. Coizet V, Dommett EJ, Redgrave P, Overton PG. Nociceptive responser av dopaminergiske neuroner i mellomhinnen moduleres av den overordnede colliculus hos rotta. Neuroscience. 2006, 139: 1479-1493. doi: 10.1016 / j.neuroscience.2006.01.030. [PubMed] [Cross Ref]
51. Brown MTC, Henny P, Bolam JP, Magill PJ. Aktivitet av nevrokjemisk heterogene dopaminerge nevroner i substantia nigra under spontane og drevne endringer i hjernetilstand. J Neurosci. 2009, 29: 2915-2925. doi: 10.1523 / JNEUROSCI.4423-08.2009. [PubMed] [Cross Ref]
52. Brischoux F, Chakraborty S, Brierley DI, Ungless MA. Fasisk eksitering av dopaminuroner i ventral VTA ved skadelig stimuli. Proc Natl Acad Sci USA. 2009, 106: 4894-4899. doi: 10.1073 / pnas.0811507106. [PMC gratis artikkel] [PubMed] [Cross Ref]
53. Day JJ, Roitman MF, Wightman RM, Carelli RM. Associativ læring formidler dynamiske skift i dopamin-signalering i nucleus accumbens. Nat Neurosci. 2007, 10: 1020-1028. doi: 10.1038 / nn1923. [PubMed] [Cross Ref]
54. Roitman MF, Wheeler RA, Wightman RM, Carelli RM. Kjemiske reaksjoner i sanntid i kjernen accumbens skiller givende og aversive stimuli. Nat Neurosci. 2008, 11: 1376-1377. doi: 10.1038 / nn.2219. [PubMed] [Cross Ref]
55. Ung AMJ. Økt ekstracellulær dopamin i nucleus accumbens som svar på ukondisjonerte og betingede aversive stimuli: studier som bruker 1 min mikrodialyse hos rotter. J Neurosci Meth. 2004, 138: 57-63. doi: 10.1016 / j.jneumeth.2004.03.003.
56. Schultz W. Flere dopaminfunksjoner på forskjellige tidskurs. Ann Rev Neurosci. 2007, 30: 259-288. doi: 10.1146 / annurev.neuro.28.061604.135722. [PubMed] [Cross Ref]
57. Tsai HC, Zhang F, Adamantidis A, Stuber GD, Bonci A, de Lecea L, Deisseroth K. Fasisk avfyring i dopaminergiske nevroner er tilstrekkelig for atferdskondisjonering. Vitenskap. 2009, 324: 1080-1084. doi: 10.1126 / science.1168878. [PubMed] [Cross Ref]
58. Strecker RE, Jacobs BL. Substantia nigra dopaminerg enhetsaktivitet hos oppførsel av katter: Effekt av opphisselse på spontan utflod og sensorisk fremkalt aktivitet. Brain Res. 1985, 361: 339-350. doi: 10.1016 / 0006-8993 (85) 91304-6. [PubMed] [Cross Ref]
59. Ljungberg T, Apicella P, Schultz W. Svar fra ape-dopamin-neuroner under læring av atferdsreaksjoner. J Neurophysiol. 1992; 67:. 145-163 [PubMed]
60. Horvitz JC, Stewart T, Jacobs BL. Burstaktivitet av ventrale tegmentale dopaminuroner fremmes av sensoriske stimuli hos den våkne katten. Brain Res. 1997, 759: 251-258. doi: 10.1016 / S0006-8993 (97) 00265-5. [PubMed] [Cross Ref]
61. Sheafor PJ. Pseudokondisjonerte kjevebevegelser hos kaninen gjenspeiler assosiasjoner som er betinget av kontekstuelle bakgrunnsspor. J Exp Psychol: Anim Behav Proc. 1975, 104: 245-260. doi: 10.1037 / 0097-7403.1.3.245.
62. Kakade S, Dayan P. Dopamine: generalisering og bonuser. Neural Netw. 2002, 15: 549-559. doi: 10.1016 / S0893-6080 (02) 00048-5. [PubMed] [Cross Ref]
63. Richfield EK, Pennney JB, Young AB. Anatomisk sammenligningstilstand sammenligning mellom dopamin D1 og D2 reseptorer i rottens sentralnervesystem. Neuroscience. 1989, 30: 767-777. doi: 10.1016 / 0306-4522 (89) 90168-1. [PubMed] [Cross Ref]
64. Mackintosh NJ. En oppmerksomhetsteori: Variasjoner i tilknytning til stimulus med forsterkning. Psychol Rev. 1975; 82: 276 – 298. doi: 10.1037 / h0076778.
65. Pearce JM, Hall G. En modell for pavlovsk kondisjonering: variasjoner i effektiviteten av betingede, men ikke av ubetingede stimuli. Psychol Rev. 1980; 87: 532 – 552. doi: 10.1037 / 0033-295X.87.6.532. [PubMed] [Cross Ref]
66. Levy H, Markowitz HM. Tilnærmet forventet nytteverdi av en funksjon av middel og varians. Am Econ Rev. 1979; 69: 308 – 317.