Prediktiv belöningssignal för dopaminneuroner (1998)

Funktioner av belöningar

Vissa objekt och händelser i miljön är av särskild motivationell betydelse genom deras effekter på välfärd, överlevnad och reproduktion. Enligt de framkallade beteendereaktionerna kan motivationsvärdet för miljöobjekt vara appetitiva (givande) eller aversiva (straffande). (Observera att "appetitiv" används synonymt med "belöning" men inte för "förberedande".) Appetitiva föremål har tre separerbara grundläggande funktioner. I sin första funktion framkallar belöningar tillvägagångssätt och konsumtionsbeteende. Detta beror på att föremålen är märkta med aptitvärde genom medfödda mekanismer eller i de flesta fall lärande. I sin andra funktion ökar belöningen frekvensen och intensiteten av beteende som leder till sådana objekt (lärande), och de upprätthåller lärt beteende genom att förhindra utrotning. Belöningar tjänar som positiva förstärkare av beteende i klassiska och instrumentella konditioneringsförfaranden. Generellt stimulans lärande, miljö stimuli förvärva appetitivt värde efter klassiskt konditionerade stimulans-belöning föreningar och inducera beteende beteende (Bindra 1968). I instrumentell konditionering belönas "förstärka" beteenden genom att stärka sammanslutningar mellan stimuli och beteendemässiga svar (Effect of Effect: Thorndike 1911). Detta är kärnan i att "komma tillbaka till mer" och är relaterad till det gemensamma begreppet belöningar som erhålls för att ha gjort något bra. I en instrumental form av incitament lärande är belöningar "incitament" och tjänar som mål för beteende efter sammanslutningar mellan beteende svar och resultat (Dickinson och Balleine 1994). I sin tredje funktion ger belöningar subjektiva känslor av nöje (hedonia) och positiva känslomässiga tillstånd. Aversive stimuli funktion i motsatta riktningar. De inducerar uttagssvar och verkar som negativa förstärkare genom att öka och upprätthålla undvikande beteende vid upprepad presentation, vilket reducerar skadan av skadliga händelser. Dessutom inducerar de inre känslomässiga tillstånd av ilska, rädsla och panik.

Funktioner av förutsägelser

Förutsägelser ger förhandsinformation om framtida stimuli, händelser eller systemtillstånd. De ger den grundläggande fördelen att man får tid för beteendemässiga reaktioner. Vissa former av förutsägelser anger motivativa värden för miljömässiga stimuli genom associering med specifika resultat och identifierar därmed objekt av vital betydelse och diskriminerar dem från mindre värdefulla objekt. Andra former kodar fysiska parametrar för förutsagda objekt, såsom rumslig position, hastighet och vikt. Förutsägelser tillåter en organism att utvärdera framtida händelser innan de faktiskt inträffar, tillåta val och förberedelse av beteendemässiga reaktioner och öka sannolikheten för att närma sig eller undvika objekt märkta med motivationsvärden. Till exempel tillåter upprepade rörelser av objekt i samma sekvens att man förutspår kommande positioner och redan förbereder nästa rörelse medan man förföljer det föreliggande objektet. Detta minskar reaktionstiden mellan individuella mål, vilket ökar den totala prestandan och resulterar i ett tidigare resultat. Prediktiva ögonrörelser förbättrar beteendemässig prestanda genom förskottsfokusering (Blommor och Downing 1978).

På en mer avancerad nivå möjliggör förskottsinformationen enligt förutsägelser att man fattar beslut mellan alternativ för att uppnå specifika systemtillstånd, närmar sig sällan förekommande målobjekt eller undviker irreparabla negativa effekter. Industriella applikationer använder Internal Model Control för att förutsäga och reagera på systemtillstånd innan de faktiskt uppstår (Garcia et al. 1989). Till exempel beräknar "fly-by-wire" -tekniken i modern luftfart förutsägbara kommande flygplanstillstånd. Beslut för flygande manövrer tar hänsyn till denna information och hjälper till att undvika överdriven belastning på planetens mekaniska komponenter, vilket minskar vikten och ökar användningsområdet.

Användningen av prediktiv information beror på arten av de representerade framtida händelserna eller systemtillstånden. Enkla representationer berör direkt positionen för kommande mål och den efterföljande beteendereaktionen, vilket reducerar reaktionstiden på ett ganska automatiskt sätt. Högre former av förutsägelser baseras på representationer som tillåter logisk inferens, som kan nås och behandlas med varierande grad av intentionality och val. De bearbetas ofta medvetet hos människor. Innan de förutspådda händelserna eller systemtillstånden uppträder och beteendereaktioner utförs möjliggör sådana förutsägelser att man mentalt kan utvärdera olika strategier genom att integrera kunskap från olika källor, utforma olika sätt att reagera och jämföra vinster och förluster från varje möjlig reaktion.

Behavioral konditionering

Associativt appetitivt lärande involverar upprepad och kontingentparing mellan en godtycklig stimulans och en primär belöning (Fig. 1). Detta resulterar i allt frekventare beteendebeteende som induceras av den nu "konditionerade" stimulansen, som delvis liknar det beteendebeteende som framkallas av primärbelöningen och påverkas också av naturen hos den konditionerade stimulansen. Det verkar som om den konditionerade stimulansen tjänar som en prediktor av belöning och, ofta på grundval av en lämplig enhet, sätter ett internt motiverande tillstånd som leder till beteendereaktionen. Likheten av tillvägagångssreaktioner antyder att några av de allmänna preparatets komponenter i beteenderesponsen överförs från primärbelöningen till den tidigast konditionerade, belöningsspecifika stimulansen. Således fungerar den konditionerade stimulansen delvis som ett motivationsutbyte för primär stimulans, förmodligen genom Pavlovsk lärande (Dickinson 1980).

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 1. 

Behandling av aptitiva stimuli under inlärning. En godtycklig stimulans blir associerad med en primär mat eller flytande belöning genom upprepad, kontingent parning. Denna konditionerade, belöningsspecifika stimulans inducerar ett internt motiverande tillstånd genom att framkalla en förväntan på belöningen, ofta på grundval av en motsvarande hunger- eller törstdrift, och framkallar beteendereaktionen. Detta schema replikerar grundläggande begrepp om incitament motivationsteori utvecklad av Bindra (1968) och Bolles (1972). Det gäller klassisk konditionering, där belöning automatiskt levereras efter den konditionerade stimulansen och till instrumental (operant) konditionering, där belöningsleverans kräver en reaktion av subjektet till den konditionerade stimulansen. Detta system gäller också för aversiv konditionering som inte vidareutvecklas av korthetsskäl.

Många så kallade "okonditionerade" mat och likvida belöningar lär sig troligen genom erfarenhet, som alla besökare i utlandet kan bekräfta. Den primära belöningen kan då bestå av den smak som upplevs när objektet aktiverar gustatoriska receptorer, men det kan återigen läras. Den ultimat givande effekten av näringsämnen består förmodligen av deras specifika påverkan på grundläggande biologiska variabler, såsom elektrolyt-, glukos- eller aminosyrakoncentrationer i plasma och hjärna. Dessa variabler definieras av organismens vegetativa behov och uppstår genom evolutionen. Djur undviker näringsämnen som inte påverkar viktiga vegetativa variabler, till exempel livsmedel som saknar sådana väsentliga aminosyror som histidin (Rogers och Harper 1970), treonin (Hrupka et al. 1997; Wang et al. 1996) eller metionin (Delaney och Gelperin 1986). Några primära belöningar kan bestämmas av medfödda instinkter och stödja initialt beteendebeteende och intag i tidigt liv, medan majoriteten av belöningarna skulle läras under den efterföljande livserfarenheten av ämnet. Det fysiska utseendet av belöningar då kan användas för att förutsäga de mycket långsammare vegetativa effekterna. Detta skulle dramatiskt påskynda upptäckten av belöningar och utgöra en stor fördel för överlevnad. Lärande av belöningar tillåter också att ämnen använder en mycket större mängd näringsämnen som effektiva belöningar och därigenom ökar deras chans att överleva i zoner med knappa resurser.

Aktivering med primär aptitiva stimuli

Om 75% av dopaminneuroner visar fasaktioner när djur berör en liten bit av dold mat under utforskande rörelser i frånvaro av andra fasastimuli, utan att aktiveras av själva rörelsen (Romo och Schultz 1990). De återstående dopaminneuronerna svarar inte på någon av de testade miljömässiga stimuli. Dopaminneuroner aktiveras också av en droppe vätska som levereras i munnen utanför någon beteendemässig uppgift eller samtidigt som man lär sig sådana olika paradigmer som visuell eller auditiv reaktionstid, rumsfördröjt svar eller växelverkan och visuell diskriminering, ofta i samma djur (Fig . 2 topp) (Hollerman och Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz och Schultz 1994; Schultz et al. 1993). Belöningssvaret uppstår oberoende av en inlärningskontext. Dopaminneuroner verkar således inte diskriminera mellan olika matobjekt och flytande belöningar. Men deras svar skiljer belöningar från icke-återvändande objekt (Romo och Schultz 1990). Endast 14% av dopaminneuroner visar fasaktiviseringen när primära aversiva stimuli presenteras, såsom en luftpuff på handen eller hypertonisk saltlösning i munnen, och de flesta aktiverade neuronerna svarar också till belöningar (Mirenowicz och Schultz 1996). Även om de är nonnoxious, är dessa stimuli aversiva eftersom de stör uppförande och inducerar aktiva undvikande reaktioner. Dopaminneuroner är emellertid inte helt okänsliga för aversiva stimuli, vilket framgår av långsamma depression eller tillfälliga långsamma aktiveringar efter smärta nypa stimuli i bedövade apor (Schultz och Romo 1987) och genom ökad striatal dopaminfrisättning efter elektrisk stöt och svansnyp i vakna råttor (Abercrombie et al. 1989; Doherty och Gratton 1992; Louilot et al. 1986; Young et al. 1993). Detta tyder på att de phasiska responserna hos dopaminneuroner företrädesvis rapporterar miljömässiga stimuli med primärt appetitivt värde, medan aversiva händelser kan signaleras med en betydligt långsammare tidskurs.

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 2. 

Dopaminneuroner rapporterar belöningar enligt ett fel i belöningsprognos. ★★★★: droppe vätska inträffar trots att ingen belöning förutspås vid denna tidpunkt. Förekomst av belöning utgör således ett positivt fel i förutsägelsen av belöning. Dopaminneuron aktiveras av oförutsedd förekomst av vätskan. Mitten: Konditionerad stimulans förutsäger en belöning, och belöningen sker enligt förutsägelsen, följaktligen inget fel i förutsägelsen av belöning. Dopaminneuron misslyckas med att aktiveras av det förutspådda belöningen (höger). Det visar också en aktivering efter den belöningsspecifika stimulansen, vilket uppstår oberoende av ett fel i förutsägelsen av den senare belöningen (vänster). Botten: konditionerad stimulans förutsäger en belöning, men belöningen uppstår inte på grund av bristande reaktion från djuret. Aktiviteten hos dopaminneuronen deprimeras exakt vid den tidpunkt då belöningen skulle ha inträffat. Observera depression som inträffar> 1 s efter den konditionerade stimulansen utan några mellanliggande stimuli, vilket avslöjar en intern process av belöningsförväntan. Neuronal aktivitet i de 3 graferna följer ekvationen: dopaminrespons (belöning) = belöning inträffade - belöning förutsagt. CS, konditionerad stimulans; R, primär belöning. Omtryckt från Schultz et al. (1997) med tillstånd av American Association for Advance of Science.

Oförutsägbarhet av belöning

Ett viktigt inslag i dopaminreaktioner är deras beroende av händelse oförutsägbarhet. Aktiveringarna som följer belöningar uppstår inte när mat och flytande belöningar föregås av fasiska stimuli som har varit konditionerade för att förutsäga sådana belöningar (Fig. 2, mitten) (Ljungberg et al. 1992; Mirenowicz och Schultz 1994; Romo och Schultz 1990). En avgörande skillnad mellan lärande och fullt förvärvat beteende är graden av belöning oförutsägbarhet. Dopaminneuroner aktiveras av belöningar under inlärningsfasen men slutar reagera efter fullständigt förvärv av visuella och auditiva reaktionstidsuppgifter (Ljungberg et al. 1992; Mirenowicz och Schultz 1994), rumsliga fördröjda svarsuppgifter (Schultz et al. 1993) och samtidiga visuella diskrimineringar (Hollerman och Schultz 1996). Förlusten av respons beror inte på en generell generell okänslighet för belöningar, eftersom aktiveringar efter belöningar som levereras utanför uppgifterna inte minskar under flera månader av experiment (Mirenowicz och Schultz 1994). Betydelsen av oförutsägbarhet innefattar belöningstid, vilket visas genom övergående aktiveringar efter belöningar som plötsligt levereras tidigare eller senare än förutspådda (Hollerman och Schultz 1996). Tillsammans måste förekomsten av belöning, inklusive dess tid, vara oförutsedd för att aktivera dopaminneuroner.

Depression genom utelämnandet av förutsagt belöning

Dopaminneuroner är deprimerade exakt vid tiden för den vanliga förekomsten av belöning när en fullständigt förutspådd belöning inte uppstår, även i avsaknad av en omedelbart föregående stimulans (Fig. 2, botten). Detta observeras när djur inte får belöning på grund av felaktigt beteende, när vätskeflödet avbryts av experimentet trots korrekt beteende eller när en ventil öppnas hörbart utan att leverera vätska (Hollerman och Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). När belöningsavgiften försenas för 0.5 eller 1.0 s sker en depression av neuronaktivitet vid löpande tidpunkt och en aktivering följer belöningen vid den nya tiden (Hollerman och Schultz 1996). Båda svaren uppstår endast under några repetitioner tills den nya tiden för belöningsleverans förutspås igen. Däremot levererar belöning tidigare än vanligt resulterar i en aktivering vid den nya tiden av belöning men misslyckas med att inducera en depression vid den vanliga tiden. Detta föreslår att ovanligt tidig belöningsavgift avbryter belöningsprognosen för den vanliga tiden. Dopaminneuroner övervakar således både förekomsten och tiden för belöning. I avsaknad av stimuli som omedelbart föregår den utelämnade belöningen utgör depressionerna inte ett enkelt neuronalt svar utan återspeglar en förväntningsprocess baserad på en intern klocka som spårar den exakta tiden för förutsagt belöning.

Aktivering genom konditionerad, belönings-förutsägande stimuli

Om 55-70% av dopaminneuroner aktiveras av konditionerade visuella och auditiva stimuli i de olika klassiskt eller instrumentellt konditionerade uppgifter som beskrivits tidigare (Fig. 2, mitten och botten) (Hollerman och Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz och Schultz 1994; Schultz 1986; Schultz och Romo 1990; P. Waelti, J. Mirenowicz och W. Schultz, opublicerade data). De första dopaminreaktionerna på konditionerat ljus rapporterades av Miller et al. (1981) hos råttor behandlade med haloperidol, vilket ökade incidensen och spontan aktivitet av dopaminneuroner men resulterade i mer vidhäftande responser än i ej utdragna djur. Även om reaktioner uppstår nära beteendereaktioner (Nishino et al. 1987), de är inte relaterade till arm- och ögonrörelser själva, eftersom de också uppträder ipsilaterala i rörelsearmen och i försök utan arm- eller ögonrörelser (Schultz och Romo 1990). Konditionerade stimuli är något mindre effektiva än primära belöningar när det gäller responsstyrka och fraktioner av neuroner som aktiveras. Dopaminneuroner svarar endast på uppkomsten av konditionerade stimuli och inte till deras kompensation, även om stimulansförskjutningen förutspår belöningen (Schultz och Romo 1990). Dopaminneuroner skiljer inte mellan visuella och auditiva modaliteter av konditionerade aptitiva stimuli. De diskriminerar emellertid mellan aptitiva och neutrala eller aversiva stimuli så länge de är fysiskt tillräckligt olika (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz och W. Schultz, opublicerade data). Endast 11% av dopaminneuroner, de flesta av dem med appetitiva svar, visar de typiska fasaktiviseringen också som svar på konditionerade aversiva visuella eller auditiva stimuli vid aktiva undvikningsuppgifter där djur släpper ut en nyckel för att undvika en luftpuff eller en droppe hypertonisk saltlösning (Mirenowicz och Schultz 1996), även om sådan undvikning kan betraktas som "givande". Dessa få aktiveringar är inte tillräckligt starka för att inducera ett genomsnittligt befolkningssvar. Följaktligen rapporterar de phasiska svaren på dopaminneuroner företrädesvis miljömässiga stimuli med appetitivt motivationsvärde men utan att skilja mellan olika sensoriska modaliteter.

Överföring av aktivering

Under loppet av inlärning blir dopaminneuroner gradvis aktiverade av konditionerade, belöningsspecifika stimuli och gradvis förlorar sina svar på primärmat eller flytande belöningar som förutspås (Hollerman och Schultz 1996; Ljungberg et al. 1992; Mirenowicz och Schultz 1994) (Fig. 2 och 3). Under en övergående inlärningsperiod framkallar både belöningar och konditionerade stimuli dopaminaktiveringar. Denna överföring från primär belöning till den konditionerade stimulansen uppstår omedelbart i enkla dopaminneuroner testade i två vällärdade uppgifter som utnyttjar respektive oförutsedda och förutspådda belöningar (Romo och Schultz 1990).

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 3. 

Dopaminresponsöverföring till tidigast prediktiv stimulans. Svar på oförutsedd primär belöning överföra till progressivt tidigare belöning-förutsägande stimuli. Alla bildskärmar visar populationshistogram erhållna genom medelvärde för normaliserad periektidshistogram av alla dopaminneuroner registrerade i de angivna beteendessituationerna oberoende av närvaron eller frånvaron av ett svar. ★★★★: Utan någon beteendemässig uppgift finns inget befolkningssvar i 44-neuroner testat med ett litet ljus (data från Ljungberg et al. 1992), men ett genomsnittligt svar inträffar i 35 nervceller till en droppe vätska som levereras vid en pip framför djurets mun (Mirenowicz och Schultz 1994). Mitten: Svar på ett belöningsspådom för utlösande stimulans i en XDOM-val av rumslig uppgift, men frånvaro av respons på belöning som levereras under etablerad uppgift i samma 2-neuroner (Schultz et al. 1993). Botten: svar på en instruktion cue som föregår den belöningsspecifika trigger-stimulansen med ett bestämt intervall av 1 s i en instruerad rumslig uppgift (19-neuroner) (Schultz et al. 1993). Tidsbasen är uppdelad på grund av varierande intervall mellan konditionerade stimuli och belöning. Reprinted from Schultz et al. (1995b) med tillstånd från MIT Press.

Oförutsägbarhet för konditionerade stimuli

Aktiveringarna efter konditionerade, belöningsspecifika stimuli uppträder inte när dessa stimuli själva föregås vid ett bestämt intervall med fasakonditionerade stimuli i fullt etablerade beteendessituationer. Sålunda aktiveras med seriekonditionerade stimuli dopaminneuroner med den tidigaste belöningsspecifika stimulansen, medan alla stimuli och belöningar som följer vid förutsägbara stunder efteråt är ineffektiva (Fig. 3) (Schultz et al. 1993). Endast slumpmässigt åtskilda sekventiella stimuli framkallar individuella svar. Vidare dämpar omfattande överträning med starkt stereotyp arbetsuppgift prestationerna på konditionerade stimuli, förmodligen för att stimuli förutspås av händelser i föregående försök (Ljungberg et al. 1992). Detta tyder på att stimulans oförutsägbarhet är ett vanligt krav för alla stimuliaktiverande dopaminneuroner.

Depression genom utelämnande av förutsagda konditionerade stimuli

Preliminära data från ett tidigare experiment (Schultz et al. 1993) föreslår att dopaminneuroner också är deprimerade när en konditionerad, belöningsspecifik stimulans förutses vid en bestämd tid av en föregående stimulans men misslyckas att uppstå på grund av ett fel hos djuret. Precis som med primärt belöningar inträffar depressionerna vid tiden för den vanliga förekomsten av den konditionerade stimulansen utan att direkt framkallas av en föregående stimulans. Sålunda kan den utelämningsinducerade depressionen generaliseras till alla aptitliga händelser.

Aktiveringsdepression med responsgeneralisering

Dopaminneuroner svarar också på stimuli som inte förutsäger belöningar men liknar likartat belöning - förutsäga stimuli som förekommer i samma sammanhang. Dessa svar består huvudsakligen av en aktivering följt av en omedelbar depression men kan ibland bestå av ren aktivering eller ren depression. Aktiveringarna är mindre och mindre frekventa än de som följer belöningsspecifika stimuli, och depressionerna observeras i 30-60% av neuroner. Dopaminneuroner svarar mot visuella stimuli som inte följs av belöning men liknar snarlikt belöningsprognoser, trots korrekt beteendeskriminering (Schultz och Romo 1990). Öppning av en tom låda misslyckas med att aktivera dopaminneuroner men blir effektiv i varje försök så snart som låsen ibland innehåller mat (Ljungberg et al. 1992; Schultz 1986; Schultz och Romo 1990) eller när en närliggande, identisk låda som alltid innehåller mat öppnas i slumpmässig växling (Schultz och Romo 1990). Den tomma rutan framkallar svagare aktiveringar än betet låda. Djur utför oskulära ögonreaktionsreaktioner på varje lådan, men ansluter endast den baited lådan med sin hand. Under inlärningen fortsätter dopaminneuronerna att reagera på tidigare konditionerade stimuli som förlorar deras belöningsspecifikation när belöningsförändringar förändras (Schultz et al. 1993) eller svara på nya stimuli som liknar tidigare konditionerade stimuli (Hollerman och Schultz 1996). Svar förekommer även till aversiva stimuli presenterade i slumpmässig växling med fysiskt liknande, konditionerade aptitiva stimuli av samma sensoriska modalitet, det aversiva svaret är svagare än den aptitativa (Mirenowicz och Schultz 1996). Responsen generaliserar till och med till behavioralt släckta aptitiva stimuli. Uppenbarligen genererar neuronala svar till icke-aptitiva stimuli på grund av deras fysiska likhet med aptitiva stimuli.

Nyhetssvar

Nya stimuli framkallar aktiveringar i dopaminneuroner som ofta följs av depressioner och kvarstår så länge beteendeorienterande reaktioner förekommer (t.ex. okulära sackader). Aktiveringarna avtar tillsammans med orienterande reaktioner efter flera stimulusupprepningar, beroende på stimulans fysiska inverkan. Medan små ljusdioder knappast framkallar nyhetssvar, ljusblinkar och den snabba visuella och hörselöppningen av en liten låda framkallar aktiveringar som sönderfaller gradvis till baslinjen under <100 försök (Ljungberg et al. 1992). Höga klick eller stora bilder direkt framför ett djur framkallar starka nyhetssvar som förfaller men ändå inducerar mätbara aktiveringar med> 1,000 försök (Hollerman och Schultz 1996; Horvitz et al. 1997; Steinfels et al. 1983). Figur 4 visar schematiskt de olika responsnivåerna med nya stimuli av olika fysiska salience. Svaren försvinner gradvis med upprepad exponering men kan kvarstå vid reducerade storheter med mycket framträdande stimuli. Response magnitudes ökar igen när samma stimuli är aptitligt konditionerade. Däremot minskar responsen på nya, till och med stora stimuli snabbt när stimuli används för att konditionera aktivt undvikande beteende (Mirenowicz och Schultz 1996). Mycket få nervceller (<5%) svarar i mer än några få försök på iögonfallande men fysiskt svaga stimuli, som att papper smuler eller grova handrörelser från experimentet.

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 4. 

Tidskurser av aktiveringar av dopaminneuroner till nya, varnande och konditionerade stimuli. Aktiveringar efter nya stimuli minskar med upprepad exponering under pågående försök. Deras storlek beror på stimulans fysiska hälsa, eftersom starkare stimuli inducerar högre aktiveringar som ibland överstiger de efter konditionerade stimuli. Särskilt framträdande stimuli fortsätter att aktivera dopaminneuroner med begränsad storlek även efter att ha förlorat sin nyhet utan att vara parad med primärbelöning. Konsekventa aktiveringar visas igen när stimuli blir associerade med primärbelöningar. Detta system har bidragits av Jose Contreras-Vidal.

Homogen karaktär av svaren

De experiment som utförts hittills har visat att majoriteten av neuroner i dopamincellsgrupperna A8, A9 och A10 i mittenharts visar mycket liknande aktiveringar och depressioner i en given beteendessituation, medan de återstående dopaminneuronerna inte svarar alls. Det finns en tendens för högre fraktioner av neuroner som svarar i mer mediala områden i midbrainen, såsom det ventrala tegmentala området och mediala substantia nigra, jämfört med fler laterala regioner som ibland når statistisk signifikans (Schultz 1986; Schultz et al. 1993). Svarsfördröjningar (50–110 ms) och varaktigheter (<200 ms) är lika bland primära belöningar, konditionerade stimuli och nya stimuli. Sålunda utgör dopaminsvaret en relativt homogen, skalär populationssignal. Det klassificeras i storlek av responsen hos enskilda neuroner och av andelen svarande neuroner inom befolkningen.

Sammanfattning 1: adaptiva svar vid lära episoder

Egenskaperna hos dopaminresponser till belöningsrelaterade stimuli illustreras bäst i lärandepisoderna under det att dessa belöningar är särskilt viktiga för att förvärva beteenderesponser. Dopaminbelöningssignalen genomgår systematiska förändringar under lärandets framsteg och uppträder vid den tidigaste fasbaserade belöningsrelaterade stimulansen, detta är antingen en primär belöning eller en belöningsspådande stimulans (Ljungberg et al. 1992; Mirenowicz och Schultz 1994). Under inlärning inducerar nya, intrinsikt neutrala stimuli transienta reaktioner som försvagar snart och försvinner (Fig. 4). Primärbelöningar uppträder oförutsägbart under initial parning med sådana stimuli och framkallar neuronala aktiveringar. Med upprepad parning förutspås belöningar av konditionerade stimuli. Aktiveringar efter belöningen minskar gradvis och överförs till den konditionerade, belöningsspecifika stimulansen. Om emellertid en förutsedd belöning inte uppstår på grund av ett fel hos djuret, dopaminneuroner deprimeras vid den tid belöningen skulle ha inträffat. Vid upprepat lärande av uppgifter (Schultz et al. 1993) eller uppgiftskomponenter (Hollerman och Schultz 1996) aktiverar de tidigast konditionerade stimuli dopaminneuronerna under alla inlärningsfaser på grund av generalisering till tidigare lärda, liknande stimuli, medan efterföljande konditionerade stimuli och primärbelöningar endast aktiverar dopaminneuroner medan de är osäkra och nya händelser etableras.

Sammanfattning 2: Effektiva stimuli för dopaminneuroner

Dopaminreaktioner framkallas av tre kategorier av stimuli. Den första kategorin består av primära belöningar och stimuli som har blivit giltiga belöningspredictorer genom upprepad och kontingentparning med belöningar. Dessa stimuli bildar en gemensam klass av uttryckliga belöningsspecifika stimuli, eftersom primära belöningar tjänar som prediktorer av vegetativa givande effekter. Effektiva stimuli har uppenbarligen en varningskomponent, eftersom endast stimuli med en klar inverkan är effektiva. Dopaminneuroner visar rena aktiveringar efter uttryckliga belöningsspecifika stimuli och är deprimerade när en förutspådd men utelämd belöning inte uppstår (Fig. 5, topp).

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 5. 

Schematisk visning av svar på dopaminneuroner till 2-typer av konditionerade stimuli. ★★★★: Presentation av en uttrycklig belöningsspecifik stimulans leder till aktivering efter stimulans, inget svar på det förutspådda belöningen och depression när en förutsedd belöning inte uppstår. Botten: Presentation av en stimulans som nära liknar en konditionerad, belöningsspecifik stimulans leder till aktivering följt av depression, aktivering efter belöningen och inget svar när ingen belöning uppstår. Aktivering efter stimulansen återspeglar antagligen generalisering av respons på grund av fysisk likhet. Denna stimulans förutsätter inte uttryckligen en belöning men är relaterad till belöningen via dess likhet med stimulansen som förutsäger belöningen. I jämförelse med uttryckliga belöningsspecifika stimuli är aktiveringarna lägre och följs ofta av fördjupningar, vilket således diskriminerar mellan belönade (CS +) och obelöna (CS-) konditionerade stimuli. Detta schema sammanfattar resultaten från tidigare och nuvarande experiment (Hollerman och Schultz 1996; Ljungberg et al. 1992; Mirenowicz och Schultz 1996; Schultz och Romo 1990; Schultz et al. 1993; P. Waelti och W. Schultz, opublicerade resultat).

Den andra kategorin omfattar stimuli som framkallar generaliserande svar. Dessa stimuli förutspår inte uttryckligen belöningar men är effektiva på grund av deras fysiska likhet med stimuli som har blivit uttryckliga belöningsspecifika medel genom konditionering. Dessa stimuli inducerar aktiveringar som är lägre i storlek och involverar färre neuroner, jämfört med uttryckliga belöningsspecifika stimuli (Fig. 5, botten). De följs ofta av omedelbara depressioner. Den initiala aktiveringen kan utgöra ett generaliserat appetitivt svar som signalerar en eventuell belöning, men den efterföljande depressionen kan spegla förutsägelsen av ingen belöning i ett generellt belöningsspecifikt sammanhang och avbryta felaktigt beloppsantagandet. Bristen på uttrycklig belöningsprognos föreslås ytterligare genom närvaron av aktivering efter primär belöning och frånvaro av depression utan belöning. Tillsammans med svaren på belöningsspecifika stimuli verkar det som om dopaminaktivering rapporterar en appetitiv "tagg" anbringad på stimuli som är relaterade till belöningar.

Den tredje kategorin omfattar nya eller särskilt framträdande stimuli som inte nödvändigtvis är relaterade till specifika fördelar. Genom att framkalla beteendeorienterande reaktioner, larmar dessa stimuli och kommenderar uppmärksamhet. De har emellertid också motiverande funktioner och kan vara givande (Fujita 1987). Nya stimuli är potentiellt aptitliga. Nya eller särskilt framträdande stimuli inducerar aktiveringar som ofta följs av depressioner, liknande reaktioner på generaliserande stimuli.

Således rapporterar de fasiska responserna hos dopaminneuroner händelser med positiva och potentiellt positiva motivativa effekter, såsom primärbelöningar, belöningsspecifika stimuli, belöningsliknande händelser och varnande stimuli. De upptäcker emellertid inte i stor utsträckning händelser med negativa motivativa effekter, såsom aversiva stimuli.

Sammanfattning 3: Dopaminprisförutsägningsfelsignalen

Dopaminresponserna till uttryckliga belöningsrelaterade händelser kan bäst konceptualiseras och förstås i form av formella teorier om lärande. Dopaminneuroner rapporterar belöningar i förhållande till deras förutsägelse snarare än att signalera primärbelöningar ovillkorligt (Fig. 2). Dopaminresponsen är positiv (aktivering) när primärbelöning uppstår utan att förutsäga. Svaret är noll när belöningar uppträder som förutsagt. Svaret är negativt (depression) när förutsagda belöningar utelämnas. Dopaminneuroner rapporterar således primärbelöningar enligt skillnaden mellan förekomsten och förutsägelsen av belöning, vilket kan betecknas som ett fel i förutsägelsen av belöning (Schultz et al. 1995b, 1997) och är preliminärt formaliserad som

Ekvation 1Detta förslag kan utökas till konditionerade aptitliga händelser som också rapporteras av dopaminneuroner i förhållande till prediktionen. Dopaminneuroner kan sålunda rapportera ett fel i förutsägelsen av alla aptitliga händelser, och Eq. 1 kan anges i mer generell form

Ekvation 2Denna generalisering är förenlig med tanken att de flesta belöningar faktiskt är konditionerade stimuli. Med flera på varandra följande, väletablerade belöningsspecifika händelser är endast den första händelsen oförutsägbar och framkallar dopaminaktivering.

Ursprung av dopaminreaktionen

Vilka anatomiska ingångar kan vara ansvariga för selektiviteten och polysensoriska beskaffenheten av dopaminreaktioner? Vilken inmatningsaktivitet kan leda till kodning av förutsägelsesfel, inducera den adaptiva responsöverföringen till den tidigast oförutsedda händelsehändelsen och uppskatta belöningstidpunkten?

Fasisk dopaminpåverkan på målstrukturer

GLOBAL NATUR AV DOPAMIN SIGNAL.

Divergerande utsprång. Det finns ~8,000 dopaminneuroner i varje substantiv nigra av råttor (Oorschot 1996) och 80,000-116,000 i macaque apor (German et al. 1988; Percheron et al. 1989). Varje striatum innehåller ~2.8 miljoner neuroner hos råttor och 31-miljoner i makaques, vilket resulterar i en nigrostriatal divergensfaktor av 300-400. Varje dopaminaxon ramifieras rikligt i ett begränsat terminalområde i striatum och har ~500,000 striatala varicositeter från vilka dopamin frisätts (Anden et al. 1966). Detta resulterar i dopamininmatning till nästan varje striatal neuron (Groves et al. 1995) och en måttlig topografisk nigrostriatalprojektion (Lynd-Balta och Haber 1994). Den kortikala dopamininnervationen hos apor är högst i områdena 4 och 6, är fortfarande stor i frontal, parietal och temporal lobes och är lägst i occipitalloben (Berger et al. 1988; Williams och Goldman-Rakic ​​1993). Cortikala dopaminsynapser finns övervägande i skikten I och V-VI, där en stor del av kortikala nervceller kontaktas där. Tillsammans med den ganska homogena responsen naturen föreslår dessa data att dopaminreaktionen förflyttas som en simultan parallellvåg av aktivitet från mitten till striatum och frontal cortex (Fig. 7).

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 7. 

Global dopamin signal sträcker sig till striatum och cortex. Relativt homogent populationsvar hos majoriteten av dopaminneuroner till appetitiva och varnande stimuli och dess progression från substantia nigra till postsynaptiska strukturer kan ses schematiskt som en våg av synkron parallell aktivitet som utvecklas med en hastighet av 1-2 m / s (Schultz och Romo 1987) längs de divergerande utsprången från midbrain till striatum (caudate och putamen) och cortex. Svaren är kvalitativt oskiljbara mellan neuroner av substantia nigra (SN) pars compacta och ventral tegmental area (VTA). Dopamin innervation av alla neuroner i striatum och många neuroner i frontal cortex skulle göra det möjligt för dopaminförstärkningssignalen att utöva en ganska global effekt. Wave har komprimerats för att betona parallell natur.

Dopaminfrisättning. Impulser av dopaminneuroner med intervall av 20-100 ms leder till en mycket högre dopaminkoncentration i striatum än samma antal impulser med intervall av 200 ms (Garris och Wightman 1994; Gonon 1988). Denna olinjäritet beror huvudsakligen på den snabba mättnaden av dopaminreceptionstransportören, vilken rensar den frigjorda dopaminen från det extrasynaptiska området (Chergui et al. 1994). Samma verkan observeras i nukleär accumbens (Wightman och Zimmerman 1990) och uppträder även med längre impulsintervall på grund av sämre återupptagningsställen (Garris et al. 1994b; Marshall et al. 1990; Stamford et al. 1988). Dopaminfrisättning efter en impulsutbrott på <300 ms är för kort för att aktivera den autoreceptormedierade minskningen av frisättningen (Chergui et al. 1994) eller den ännu långsammare enzymatiska nedbrytningen (Michael et al. 1985). Således är ett sprängande dopaminrespons särskilt effektivt för frisättning av dopamin.

Uppskattningar baserade på in vivo voltammetri antyder att en enda impulsavgivning ~1,000 dopaminmolekyler vid synapser i striatum och kärnan accumbens. Detta leder till omedelbara synaptiska dopaminkoncentrationer av 0.5-3.0 ^ M (Garris et al. 1994a; Kawagoe et al. 1992). Vid 40 μs efter frisättningsdebut har> 90% av dopamin lämnat synapsen, en del av resten elimineras senare genom synaptisk återupptagning (halvstartstid på 30–37 ms). 3–9 ms efter frisättningsdebut når dopaminkoncentrationerna en topp på ~ 250 nM när alla angränsande varicositeter samtidigt frigör dopamin. Koncentrationerna är homogena inom en sfär av 4 μm diam (Gonon 1997), vilket är det genomsnittliga avståndet mellan varicosities (Doucet et al. 1986; Groves et al. 1995). Maximal diffusion är begränsad till 12 μm av återupptagningstransportören och uppnås i 75 ms efter utsläppets början (halva transportörens starttid på 30–37 ms). Koncentrationerna skulle vara något lägre och mindre homogena i regioner med färre varicositeter eller när <100% av dopaminneuroner aktiveras, men de är två till tre gånger högre med impulsutbrott. Således kan de belöningsinducerade, mildt synkrona, sprickande aktiveringarna i ~ 75% av dopaminneuronerna leda till ganska homogena koncentrationstoppar i storleksordningen 150–400 nM. Totala ökningar av extracellulär dopamin varar 200 ms efter en enda impuls och 500–600 ms efter flera impulser med intervaller på 20–100 ms applicerade under 100–200 ms (Chergui et al. 1994; Dugast et al. 1994). Den extrasynaptiska återupptagstransportören (Nirenberg et al. 1996) leder därefter dopaminkoncentrationer tillbaka till deras baslinje av 5-10 nM (Herrera-Marschitz et al. 1996). I motsats till klassisk, strikt synaptisk neurotransmission diffunderar synaptiskt frisatt dopamin snabbt i det närmaste juxtasynaptiska området och når korta toppar av regionalt homogena extracellulära koncentrationer.

Receptorer. Av de två huvudtyperna av dopaminreceptorer utgör adenylatcyklasaktiverande D1-typreceptorer ~80% dopaminreceptorer i striatum. Av dessa 80% finns i lågaffinitetstillståndet för 2-4 ^ M och 20% i högaffinitetstillståndet för 9-74 nM (Richfield et al. 1989). De återstående 20% av striataldopaminreceptorerna hör till den adenylascyklasinhiberande D2-typen, av vilken 10-0% är i lågaffinitetstillståndet och 80-90% i högaffinitetstillståndet med liknande affiniteter som D1-receptorer. Således har D1-receptorer generellt en ~100-gånger lägre affinitet än D2-receptorer. Striatal D1-receptorer lokaliseras huvudsakligen på neuroner som projicerar till intern pallidum och substantia nigra pars reticulata, medan striatala D2-receptorer lokaliseras mestadels på neuroner som projicerar till yttre pallidum (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey et al. 1993). Skillnaderna i receptorkänslighet kan emellertid inte spela en roll bortom signaltransduktion, vilket reducerar skillnaderna i dopamin-känslighet mellan de två typerna av striatala utgångsneuroner.

Dopamin frisätts till 30-40% från synaptisk och till 60-70% från extrasynaptiska varicositeter (Descarries et al. 1996). Synaptiskt frisatt dopamin verkar på postsynaptiska dopaminreceptorer vid fyra anatomiskt distinkta platser i striatumet, nämligen inuti dopaminsynapser, omedelbart intill dopaminsynapser, inuti kortikostriatala glutamatsynapser och vid extrasynaptiska ställen som är avlägsna från frisättningsställen (Fig. 8) (Levey et al. 1993; Sesack et al. 1994; Yung et al. 1995). D1-receptorer lokaliseras huvudsakligen utanför dopaminsynapser (Caillé et al. 1996). De höga transienta koncentrationerna av dopamin efter fasisk impulsburst skulle aktivera D1-receptorer i omedelbar närhet av de aktiva frisättningsställena och aktivera och till och med mätta D2-receptorer överallt. D2-receptorer skulle förbli delvis aktiverade när den omgivande dopaminkoncentrationen återgår till baslinjen efter fashöjningar.

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 8. 

Påverkan av dopaminfrisättning på typiska mediumspina neuroner i dorsalt och ventralstriatum. Dopamin frisläppt med impulser från synaptiska varicositeter aktiverar några synaptiska receptorer (förmodligen av D2-typen i lågaffinitetstillståndet) och diffunderar snabbt ut ur synaps för att nå D1-receptorer med låg affinitet (D1?) Som finns i närheten, inom kortikostriatala synapser , eller på ett begränsat avstånd. Fasiskt ökad dopamin aktiverar närliggande högaffinitets D2-typreceptorer till mättnad (D2?). D2-receptorer förblir delvis aktiverade av de omgivande dopaminkoncentrationerna efter den fasiskt ökade frisättningen. Extrasynaptiskt frisatt dopamin kan spädas genom diffusion och aktivera D2-receptorer med hög affinitet. Det bör noteras att i motsats till detta schematiska diagram ligger de flesta D1- och D2-receptorer på olika neuroner. Glutamat frigjort från kortikostriatala terminaler når postsynaptiska receptorer belägna på samma dendritiska spines som dopaminvaricositeter. Glutamat når också presynaptiska dopaminvaricositeter där det kontrollerar dopaminfrisättning. Dopaminpåverkan på spiny neuroner i frontal cortex är jämförbara i många avseenden.

Sammanfattning. Det observerade, måttligt sprungande, kortvariga, nästan synkrona svaret hos majoriteten av dopaminneuroner leder till optimal samtidig dopaminfrisättning från de flesta av de nära avståndna striatalvarikositeterna. Det neuronala svaret inducerar en kort puff dopamin som frigörs från extrasynaptiska ställen eller diffunderar snabbt från synapser till det juxtasynaptiska området. Dopamin når snabbt regionalt homogena koncentrationer som sannolikt kommer att påverka dendriter av förmodligen alla striatala och många kortikala neuroner. På så sätt sänds belöningsmeddelandet i 60-80% av dopaminneuroner som en divergerande, ganska global förstärkningssignal till striatumen, kärnan accumbens och frontal cortex, vilket säkerställer en fasisk påverkan på ett maximalt antal synapser involverade i behandlingen av stimuli och handlingar som leder till belöning (Fig. 7). Dopamin frisläppt genom neuronaktivering efter belöningar och belöningsspecifika stimuli skulle påverka juxtasynaptiska D1-receptorer på striatala neuroner som projicerar till intern pallidum och substantia nigra pars reticulata och alla D2-receptorer på neuroner som projicerar till yttre pallidum. Reduktionen av dopaminfrisättning inducerad av fördjupningar med utelämnade belöningar och belöningsspecifika stimuli skulle minska tonisk stimulering av D2-receptorer med omgivande dopamin. Således skulle positiva felsökningsfel påverka alla typer av striatala utgångsneuroner, medan det negativa prediktionsfelet i huvudsak kan påverka neuroner som projicerar till yttre pallidum.

Potentiella kokainmekanismer. Blockering av dopaminreceptionstransportören med droger som kokain eller amfetamin ökar och förlänger fashöjningar i dopaminkoncentrationer (Church et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). Förhöjningen skulle vara särskilt uttalad när snabba, burst-inducerade ökar i dopaminkoncentrationen når en topp innan återkopplingsreglering blir effektiv. Denna mekanism skulle leda till en kraftigt förbättrad dopamin-signal efter primärt belöningar och belöningsspecifika stimuli. Det skulle också öka den något svagare dopamin-signalen efter stimuli som liknar belöningar, nya stimuli och särskilt framträdande stimuli som kan vara vanliga i vardagen. Förhöjningen av kokain skulle låta dessa nonrewarding stimuli verkar lika stark eller till och med starkare än naturliga belöningar utan kokain. Postsynaptiska neuroner kan misstolka en sådan signal som en särskilt framstående belöningsrelaterad händelse och genomgå långsiktiga förändringar i synaptisk överföring.

Lärande teorier

Förstärkningsalgoritmer

TEMPORAL DIFFERENCE LEARNING.

I en särskilt effektiv klass av förstärkningsalgoritmer (Sutton 1988; Sutton och Barto 1981), synaptiska vikter modifieras enligt felet i förstärkningsprognos beräknad över varandra följande tidssteg (t) i varje försök

rˆ(t)=r(t)+P(t)-P(t-l)

Ekvation 6where r är förstärkning och P är förstärkningsprognos. P (t) multipliceras vanligtvis med en rabattfaktor γ med 0 ≤ γ <1 för att ta hänsyn till det minskande inflytandet av alltmer avlägsna belöningar. Av enkelhetsskäl är γ satt till 1 här. I fallet med en enda stimulans som förutsäger en enda förstärkare, förutsägelsen P(t - 1) existerar före tiden t av förstärkning men slutar vid tiden för förstärkning [P (t) = 0]. Detta leder till en effektiv förstärkningssignal vid den tiden (T) av förstärkning

rˆ (t)=r(t)-P(t-l)

Ekvation 6aSmakämnen r(t) termen indikerar skillnaden mellan faktisk och förutsedd förstärkning. Under inlärning förutses förstärkning ofullständigt, felperioden är positiv när förstärkning sker och synaptiska vikter ökas. Efter inlärning förutses förstärkning fullt ut av en föregående stimulans [P(t - 1) = r(t)] är felperioden noll på korrekt beteende, och synaptiska vikter förblir oförändrade. När förstärkning utelämnas på grund av otillräcklig prestanda eller förändrade händelser är felet negativt och synaptiska vikter reduceras. De r(t) termen är analog med (A-V) Felperioden för Rescorla-Wagner-modellen (Eq. 4 ). Det handlar dock om enskilda tidssteg (t) inom varje försök snarare än förutsägelser som utvecklas under konsekutiva försök. Dessa temporala modeller av förstärkning kapitaliseras på det faktum att de förvärvade förutsägelserna innefattar exakt tiden för förstärkning (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

Tidsmässiga skillnad (TD) -algoritmerna använder också förvärvade förutsägelser för att ändra synaptiska vikter. I fallet med en oförutsedd, enstaka konditionerad stimulans som förutsäger en enda förstärkare, förutsägelsen P (t) börjar vid tidpunkten (T), det finns ingen föregående förutsägelse [P(t - 1) = 0], och förstärkning har ännu inte skett [r(t) = 0]. Enligt Eq. 6, modellen avger en rent prediktiv effektiv förstärkningssignal vid den tiden (t) av förutsägelsen

rˆ=P(t)

Ekvation 6bI fallet med multipla, konsekutiva prediktiva stimuli, återigen med förstärkning frånvarande vid tidpunkten för förutsägelser, den effektiva förstärkningssignalen vid den tiden (T) av förutsägelsen speglar skillnaden mellan nuvarande förutsägelse P (t) och föregående förutsägelse P(t - 1)

rˆ=P(t)-P(t-l)

Ekvation 6cDetta utgör en felperiod för högre orderförstärkning. På samma sätt som helt förutspådda förstärkare avbryts alla prediktiva stimuli som helt förutspås själva [P(t - 1) = P(t)], resulterar i r = 0 vid tiden (T) av dessa stimuli. Endast den tidigaste prediktiva stimulansen bidrar till den effektiva förstärkningssignalen, som denna stimulans P (t) förutspås inte av någon annan stimulans [P(t - 1) = 0]. Detta resulterar i samma r = P (t) just då (T) av den första förutsägelsen som i fallet med en enda förutsägelse (Eq. 6b).

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 9. 

Grundläggande arkitekturer av neurala nätverksmodeller som implementerar tidsskillnadalgoritmer i jämförelse med basal ganglia-anslutning. A: i den ursprungliga genomförandet den effektiva undervisningssignalen y - ȳ beräknas i modellneuron A och skickas till presynaptiska terminaler av ingångar x till neuron B, på så sätt påverka x → B bearbetning och förändring av synaptiska vikter vid x → B synaps. Nervcell B påverkar beteendeutgång via axon y och bidrar samtidigt till de adaptiva egenskaperna hos neuron A, nämligen dess svar på förstärknings-förutsägande stimuli. Nyare implementeringar av denna enkla arkitektur använder neuron A snarare än neuron B för utgivning av en utgång O av modellen (Montague et al. 1996; Schultz et al. 1997). Reprinted from Sutton och Barto (1981) med tillstånd av American Psychological Association. B: Det senaste genomförandet skiljer undervisningskomponenten A, kallade kritikern (höger), från en utgångskomponent bestående av flera behandlingsenheter B, kallas skådespelaren (vänster). Den effektiva förstärkningssignalen r(t) beräknas genom att subtrahera den temporära skillnaden i viktad förstärkningsprognos γP(t) - P(t - 1) från primär förstärkning r(t) mottagen från miljön (y är rabattfaktorn som minskar värdet på mer avlägsna förstärkare). Förstärkningsprognos beräknas i en separat prediktionsenhet C, som är en del av kritikern och bildar en sluten slinga med undervisningselementet A, medan primär förstärkning kommer in i kritiken genom en separat ingång r_t. Effektiv förstärkningssignal påverkar synaptiska vikter vid inkommande axoner i skådespelaren, vilket medierar utmatningen och i kritikens adaptiva prediktionsenhet. Reprinted from Barto (1995) med tillstånd från MIT Press. C: basala gangliernas grundläggande anslutning avslöjar slående likheter med skådespelarkritikerarkitekturen. Dopaminprojektion avger förstärkningssignalen till striatumen och kan jämföras med enheten A i delar A och B, Den limbiska striatumen (eller striosomplåstret) tar positionen för prediktionsenheten C i kritiken, och den sensorimotoriska striatumen (eller matrisen) liknar skådespelarenheterna B. I den ursprungliga modellen (EN), Den enda stora avvikelsen från etablerad basalgangliaanatomi består av neuronets inverkan A riktas mot presynaptiska terminaler, medan dopaminsynapser är placerade på postsynaptiska dendriter av striatalneuroner (Freund et al. 1984). Reprinted from Smith och Bolam (1990) med tillstånd av Elsevier Press.

Tillsammans, den effektiva förstärkningssignalen (Eq. 6 ) består av den primära förstärkningen, som minskar med framväxande förutsägelser (Eq. 6a) och ersätts gradvis med de förvärvade förutsägelserna (Miljökvalitetsnormen. 6b och 6c). Med konsekutiva prediktiva stimuli rör sig den effektiva förstärkningssignalen bakåt i tiden från den primära förstärkaren till den tidigaste förstärkningsförutsägande stimulansen. Den retrograde överföringen resulterar i en mer specifik tilldelning av kredit till de involverade synapserna, eftersom förutsägelser förekommer närmare i tid till de stimuli och beteendereaktioner som skall betingas, jämfört med förstärkning vid försöksänden (Sutton och Barto 1981).

Implementeringar av förstärkningsinlärningsalgoritmer utnyttjar prediksionsfelet på två sätt, för att ändra synaptiska vikter för beteendeutmatning och för att förvärva förutsägelserna för att kontinuerligt beräkna förutsägelsesfelet (Fig. 9 A) (McLaren 1989; Sutton och Barto 1981). Dessa två funktioner separeras i de senaste implementationerna, där prediksionsfelet beräknas i den adaptiva kritikskomponenten och ändrar synaptiska vikter i skådespelarkomponenten medierande beteendeutgång (Fig. 9 B) (Barto 1995). Ett positivt fel ökar kritikens förstärkningsprognos, medan ett negativt fel från utelämnad förstärkning minskar förutsägelsen. Detta gör den effektiva förstärkningssignalen mycket adaptiv.

Neurobiologiska implementeringar av temporärt skillnadslärande

ANSÖKAN OM NEUROBIOLOGISKA PROBLEMER.

Även om de ursprungligen utvecklades på grundval av Rescorla-Wagner-modellen av klassisk konditionering, lär modeller med TD-algoritmer ett brett spektrum av beteendemässiga uppgifter genom grundläggande instrumentella former av konditionering. Dessa uppgifter når från att balansera en pol på ett vagnhjul (Barto et al. 1983) för att spela backgammon i världsklass (Tesauro 1994). Robotar som använder TD-algoritmer lär sig att flytta runt tvådimensionellt utrymme och undvika hinder, nå och greppa (Fagg 1993) eller sätt in en pinne i ett hål (Gullapalli et al. 1994). Använda TD-förstärkningssignalen för att direkt påverka och välja beteende (Fig. 9 A), TD-modeller replikerar förädlingsbeteende hos honungsbinnar (Montague et al. 1995) och simulera mänskligt beslutsfattande (Montague et al. 1996). TD-modeller med en explicit kritikskådespelarkitektur utgör mycket kraftfulla modeller som effektivt lär sig ögonrörelser (Friston et al. 1994; Montague et al. 1993), sekventiella rörelser (fig. 10) och orienteringsreaktioner (Contreras-Vidal och Schultz 1996). En ny modell lade till aktiviserande deprimerande nyhetssignaler för att förbättra undervisningssignalen, använde stimulans- och aktionsspår i kritiker och skådespelare och anställde vinnande-ta-alla regler för att förbättra undervisningssignalen och för att välja aktörsneuroner med störst aktivering. Detta reproducerade i stor detalj både svaren på dopaminneuroner och djurens lärande beteende i fördröjda svarsuppgifter (Suri och Schultz 1996). Det är särskilt intressant att se att undervisningssignaler som använder prediktionsfel resulterar i snabbare och mer fullständigt lärande jämfört med ovillkorliga förstärkningssignaler (Fig. 10) (Friston et al. 1994).

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 10. 

Fördel av prediktiva förstärkningssignaler för lärande. En tidsskillnadsmodell med kritikskådespelarkitektur och behörighetsspår i skådespelaren utbildades i en sekventiell 2-steg-3-valuppgift (inset övre vänstra). Lärande avancerad snabbare och uppnådde högre prestanda när en prediktiv förstärkningssignal användes som undervisningssignal (adaptiv kritik, topp) jämfört med användning av en ovillkorlig förstärkningssignal vid provänden (botten). Denna effekt blir gradvis mer uttalad med längre sekvenser. Jämförbar prestanda med den ovillkorliga förstärkningssignalen skulle kräva ett mycket längre stödberättigande spår. Data erhölls från 10-simuleringar (R. Suri och W. Schultz, opublicerade observationer). En liknande förbättring av inlärning med prediktiv förstärkning hittades i en modell av oculomotoriskt beteende (Friston et al. 1994).

Möjliga inlärningsmekanismer som använder dopamin-signalen

Den föregående sektionen har visat att den formella prediktionsfelsignalen emitterad av dopaminreaktionen kan utgöra en särskilt lämplig undervisningssignal för modellinlärning. Följande avsnitt beskriver hur det biologiska dopamin-svaret potentiellt kan användas för inlärning av basala ganglianstrukturer och föreslå testbara hypoteser.

POSTSYNAPTISK PLASTICITY MEDIERADE AV REWARD PREDICTION SIGNAL.

Lärandet skulle gå vidare i två steg. Det första steget involverar förvärv av ett dopamin-belöningsspådjande svar. I efterföljande försök skulle den prediktiva dopamin-signalen stärka synaptiska vikter (ω) av kortikostriatala synapser av hebbisk typ som är aktiva vid tiden för den belöningsspecifika stimulansen, medan de inaktiva kortikostriatala synapserna lämnas oförändrade. Detta resulterar i trefaktorns inlärningsregeln

Δω=ɛ rˆ i o

Ekvation 8where r är dopaminförstärkningssignal, i är inmatningsaktivitet, o är utmatningsaktivitet och ɛ är lärandesats.

I en förenklad modell, kontaktar fyra kortikala ingångar (i1-i4) de dendritiska spinesna av tre medelstora strimmiga striatalneuroner (o1-o3; Fig. 11). Kortikala ingångar konvergerar på striatala neuroner, varvid varje ingång kontaktar en annan ryggrad. Samma ryggraden berörs ej av en gemensam dopamininmatning R. Aktivering av dopamininmatning R indikerar att en oförutsedd belöningsspecifik stimulans inträffade i miljön utan att ge ytterligare detaljer (godhetssignal). Låt oss anta att kortikala ingångar i2 aktiveras samtidigt med dopaminneuroner och kodar en av flera specifika parametrar av samma belöningsspecifika stimulans, såsom sin sensoriska modalitet, kroppssida, färg, struktur och position eller en specifik rörelseparameter utlöst av stimulansen. En uppsättning parametrar för denna händelse skulle kodas av en uppsättning kortikala ingångar i2. Kortikala ingångar i1, i3 och i4 utan samband med nuvarande stimuli och rörelser är inaktiva. Dopaminreaktionen leder till oselektivt dopaminfrisättning vid alla varicositeter, men skulle selektivt förstärka endast de aktiva kortikostriatala synapserna i2-o1 och i2-o2, förutsatt att de kortikala ingångarna är starka nog för att aktivera striatala neuroner o1 och o2.

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 11. 

Differentiella influenser av en global dopaminförstärkningssignal på selektiv kortikostriatal aktivitet. Dendritiska spines av 3 medelstora spiny striatalneuroner o1, o2 och o3 kontaktas av 4 kortikala ingångar i1, i2, i3 och i4 och genom axonala varicositeter från en enda dopaminneuron R (eller från en population av homogentaktiverade dopaminneuroner ). Varje striatal neuron mottar ~10,000 corticala och 1,000 dopamin ingångar. Vid enskilda dendritiska ryggraden, sammanfaller olika kortikala ingångar med dopamininmatningen. I 1-versionen av modellen ökar dopamin-signalen samtidigt aktiv kortikostriatal överföring relativt icke-aktiv överföring. Dopamininmatning R är till exempel aktiv samtidigt som kortikaltillgång i2, medan i1, i3, i4 är inaktiva. Detta leder till en modifiering av i2 → o1 och i2 → o2-överföringen, men lämnar i1 → o1, i3 → o2, i3 → o3 och i4 → o3-sändningar oförändrade. I en version av modellen som använder plasticitet, är synaptiska vikter av kortikostriatala synapser långsiktigt modifierade av dopamin-signalen enligt samma regel. Detta kan inträffa när dopaminreaktioner på en konditionerad stimulus verkar på kortikostriatala synapser som också aktiveras av denna stimulans. I en annan version som använder plasticitet kan dopaminreaktioner till en primär belöning verka bakåt i tid på kortikostriatala synapser som tidigare var aktiva. Dessa synapser skulle kunna göras modifierade genom ett hypotetiskt postsynaptiskt neuronspår kvar från den aktiviteten. Vid jämförelse av den basala ganglia-strukturen med den senaste TD-modellen i fig. 9 B, dopamininmatning R replikerar kritikern med neuron A, striatumen med neuroner o1-o3 replikerar skådespelaren med neuron B, kortikala ingångar i1-i4 replikerar skådespelarens inmatning, och den divergerande projiceringen av dopaminneuroner R på flera ryggrader av multipla striatala neuroner o1-O3 replikerar den globala påverkan av kritikern på skådespelaren. En liknande jämförelse gjordes av Houk et al. (1995). Denna ritning är baserad på anatomiska data av Freund et al. (1984), Smith och Bolam (1990), Flaherty och Graybiel (1993)och Smith et al. (1994).

Denna inlärningsmekanism utnyttjar det förvärvade dopamin-svaret vid tiden för den belöningsspecifika stimulansen som en undervisningssignal för att framkalla långvariga synaptiska förändringar (Fig. 12 A). Inlärning av den prediktiva stimulansen eller utlösningen av rörelsen är baserad på det demonstrerade förvärvet av dopaminrespons mot den belöningsspecifika stimulansen, tillsammans med dopaminberoende plasticitet i striatumet. Plastitetsförändringar kan alternativt uppträda i kortikala eller subkortiska strukturer nedströms striatum efter dopaminförmedlad kortvarig förbättring av synaptisk överföring i striatumet. De retroaktiva effekterna av belöning på stimuli och rörelser som föregår belöningen förmedlas av responsöverföringen till den tidigaste belöningsspecifika stimulansen. Dopaminreaktionen mot förutspådd eller utelämnad primärbelöning används inte för plastitetsförändringar i striatumet eftersom det inte uppstår samtidigt med händelserna som skall konditioneras, fastän det kan vara involverat i beräkning av dopaminreaktionen mot den belöningsspecifika stimulansen analogt med TD-modellernas arkitektur och mekanism.

• Ladda ner bild
• Öppna i ny flik
• Ladda ner powerpoint

Fig. 12. 

Påverkan av dopaminförstärkningssignal på möjliga inlärningsmekanismer i striatumet. A: Prediktivt dopaminbelöningssvar på en konditionerad stimulus (CS) har en direkt förstärkning eller plasticitetseffekt på striatal neurotransmission relaterad till den stimulansen. B: dopaminreaktion mot primärbelöning har en retrograd plastisk effekt på striatal neurotransmission relaterad till föregående konditionerade stimulans. Denna mekanism är förmedlad av en stödberättigande spåra överlåtande striatal aktivitet. Fasta pilar indikerar direkta effekter av dopamin-signalen på striatal neurotransmission (A) eller berättigande spår (B), liten pil in B indikerar indirekt effekt på striatal neurotransmission via stödberättigande spår.

Elektrisk stimulering av dopaminneuroner som okonditionerad stimulans

Elektrisk stimulering av avgränsade hjärnregioner betjänar på ett tillförlitligt sätt som förstärkning för förvärv och upprätthållande av beteendebeteende (Olds och Milner 1954). Några mycket effektiva självstimulationsställen sammanfaller med dopamincellkroppar och axonbuntar i midjen (Corbett och Wise 1980), nucleus accumbens (Phillips et al. 1975), striatum (Phillips et al. 1976) och prefrontal cortex (Mora och Myers 1977; Phillips et al. 1979), men finns även i strukturer som inte är relaterade till dopamin-system (Vit och Milner 1992). Elektrisk självstimulering innefattar aktivering av dopaminneuroner (Fibiger och Phillips 1986; Wise och Rompré 1989) och reduceras med 6-hydroxidopamininducerad lesioner av dopaminaxoner (Fibiger et al. 1987; Phillips och Fibiger 1978), inhibering av dopaminsyntes (Edmonds och Gallistel 1977), depolarisationsinaktivering av dopaminneuroner (Rompré och Wise 1989) och dopaminreceptorantagonister administrerade systemiskt (Furiezos och Wise 1976) eller in i kärnan accumbens (Mogenson et al. 1979). Självstimulering underlättas med kokain- eller amfetamininducerad ökning av extracellulär dopamin (Colle och Wise 1980; Stein 1964; Wauquier 1976). Självstimulering ökar direkt dopaminutnyttjandet i nucleus accumbens, striatum och frontal cortex (Fibiger et al. 1987; Mora och Myers 1977).

Det är spännande att föreställa sig att elektriskt framkallade dopaminimpulser och frisättning kan fungera som okonditionerad stimulans i associativt lärande, liknande stimulering av oktopaminneuroner i honungsbin som lär sig proboscisreflexen (Hammer 1993). Dopaminrelaterad självstimulering skiljer emellertid åtminstone tre viktiga aspekter från den naturliga aktiveringen av dopaminneuroner. I stället för att bara aktivera dopaminneuroner aktiverar naturliga belöningar vanligtvis flera neuronala system parallellt och tillåter distribuerad kodning av olika belöningsdelar (se vidare text). För det andra appliceras elektrisk stimulering som ovillkorlig förstärkning utan att återspegla ett fel i belöningsprognos. För det tredje levereras elektrisk stimulering bara som en belöning efter en beteendereaktion, snarare än vid tidpunkten för en belöningsspecifik stimulans. Det skulle vara intressant att tillämpa elektrisk självstimulering på exakt samma sätt som dopaminneuroner avger sin signal.

Lärande underskott med nedsatt dopamin neurotransmission

Många studier undersökte beteendet hos djur med nedsatt dopamin-neurotransmission efter lokal eller systemisk applicering av dopaminreceptorantagonister eller förstöring av dopaminaxoner i ventral mittbråck, kärnbärare eller striatum. Förutom att observera lokomotoriska och kognitiva underskott som påminner om Parkinsonism, avslöjade dessa studier nedskrivningar i behandlingen av belöningsinformation. De tidigaste studierna hävdade underskott i den subjektiva, hedoniska uppfattningen av belöningar (Wise 1982; Wise et al. 1978). Ytterligare experiment avslöjade nedsatt användning av primära belöningar och konditionerade aptitiva stimuli för tillvägagångssätt och konsumtionellt beteende (Beninger et al. 1987; Ettenberg 1989; Miller et al. 1990; Salamon 1987; Ungerstedt 1971; Wise and Colle 1984; Wise and Rompre 1989). Många studier beskrev försämringar i motivations- och uppmärksamhetsprocesser som ligger till grund för appetitivt lärande (Beninger 1983, 1989; Beninger och Hahn 1983; Fibiger och Phillips 1986; LeMoal och Simon 1991; Robbins och Everitt 1992, 1996; Vit och Milner 1992; Wise 1982). De flesta lärandemässiga underskotten är förknippade med nedsatt dopamin-neurotransmission i nukleär accumbens, medan dorsala striatum-försämringar leder till sensorimotoriska underskott (Amalric och Koob 1987; Robbins och Everitt 1992; vit 1989). Inlärningen av instrumentala uppgifter i allmänhet och diskriminerande stimulansegenskaper verkar emellertid speciellt skonsam, och det är inte helt löst om några av de uppenbara lärandemässiga underskotten kan vara förvirrade av brister i motorernas prestanda (Salamon 1992).

Degeneration av dopaminneuroner i Parkinsons sjukdom leder också till ett antal deklarativa och procedurella inlärningsunderskott, inklusive associativ inlärning (Linden et al. 1990; Sprengelmeyer et al. 1995). Deficits är närvarande i trial-and-error-lärande med omedelbar förstärkning (Vriezen och Moscovitch 1990) och när man associerar explicit stimuli med olika resultat (Knowlton et al. 1996), även i tidiga stadier av Parkinsons sjukdom utan kortikal atrofi (Canavan et al. 1989). Parkinsoniska patienter visar också nedsatt tiduppfattning (Pastor et al. 1992). Alla dessa underskott uppträder i närvaro av L-Dopa-behandling, vilket återställer tonisk striataldopaminnivåer utan att återinföra fasdopamin-signaler.

Dessa studier tyder på att dopamin neurotransmission spelar en viktig roll i behandlingen av belöningar för beteendebeteende och i former av inlärning som involverar föreningar mellan stimuli och belöningar, medan en inblandning i mer instrumentella former av lärande kan ifrågasättas. Det är oklart huruvida dessa underskott återspeglar en mer generell beteendeinaktivering på grund av toniskt reducerad dopaminreceptorstimulering snarare än avsaknaden av en fasisk dopaminbelöningssignal. För att lösa denna fråga, liksom mer specifikt belysa rollen av dopamin i olika inlärningsformer, skulle det vara till hjälp att studera lärande i de situationer där phasic dopamin-svaret på aptitstimuler verkligen uppstår.

Former av lärande som eventuellt medieras av dopamin-signalen

Egenskaperna hos dopaminreaktioner och det potentiella inflytandet av dopamin på striatala neuroner kan bidra till att avgränsa några av de inlärningsformer där dopaminneuroner kan vara involverade. De förmånliga svaren på aptitliga i motsats till aversiva händelser skulle gynna ett engagemang i att lära sig beteendebeteende och förmedla positiva förstärkningseffekter snarare än tillbakadragande och bestraffning. Svaren på primärbelöningar utanför arbetsuppgifter och inlärningssammanhang skulle göra det möjligt för dopaminneuroner att spela en roll i ett relativt brett spektrum av lärande med primärbelöning, både i klassisk och instrumentell konditionering. Svaren på belöningsspecifika stimuli speglar stimulans-belöningsföreningar och skulle vara förenliga med engagemang i belöningsförväntningar som ligger till grund för det allmänna incitamentet lärande (Bindra 1968). Dopaminreaktioner uttrycker däremot inte uttryckligen kodbelöningar som målobjekt, eftersom de endast rapporterar fel i belöningsprognos. De verkar också vara okänsliga mot motivationsstater och därmed missnöja en särskild roll i statligt beroende incitament att lära sig målriktade handlingar (Dickinson och Balleine 1994). Bristen på tydliga relationer till arm och ögonrörelser skulle missnöja en roll för att direkt förmedla de beteenderesponser som följer incitamentstimuli. Men jämförelser mellan utsläpp av enskilda neuroner och lärande av hela organismer är egentligen svåra. På synaptisk nivå når phasiskt frisatt dopamin många dendriter på förmodligen varje striatal neuron och kan således utöva en plasticitetseffekt på den stora variationen av beteendeskomponenter som involverar striatumet, vilket kan innefatta inlärning av rörelser.

De specifika förhållandena i vilka phasic dopaminsignaler kan spela en roll vid inlärning bestäms av de typer av stimuli som effektivt inducerar ett dopaminrespons. I djurlaboratoriet kräver dopaminreaktioner den fasiska förekomsten av aptitiva, nya eller särskilt framträdande stimuli, inklusive primärnäringsbelöningar och belöningsspecifika stimuli, medan aversiva stimuli inte spelar en viktig roll. Dopaminreaktioner kan uppträda i alla beteendessituationer som kontrolleras av fasiska och uttryckliga resultat, även om högre orderkonditionerade stimuli och sekundära förstärkare ännu inte testades. Phasiska dopaminreaktioner skulle antagligen inte spela en roll i former av inlärning som inte medieras av fasiskt förekommande resultat och det prediktiva svaret skulle inte kunna bidra till lärande i situationer där fasiska prediktiva stimuli inte uppträder, såsom relativt långsamma förändringar i sammanhanget . Detta leder till den intressanta frågan om huruvida sparsamheten av vissa former av inlärning av dopaminskador eller neuroleptika helt enkelt skulle återspegla frånvaron av fasisk dopaminreaktioner i första hand eftersom effektiva stimuli som framkallade dem inte användes.

Inblandning av dopaminsignaler vid inlärning kan illustreras med ett teoretiskt exempel. Föreställ dig dopaminreaktioner vid förvärv av en seriell reaktionstiduppgift när en korrekt reaktion plötsligt leder till en näringsbelöning. Belöningsresponsen överförs därefter till progressivt tidigare belöningsspecifika stimuli. Reaktionstiderna förbättras ytterligare med långvarig övning, eftersom de rumsliga ställningarna för mål blir alltmer förutsägbara. Även om dopaminneuroner fortsätter att reagera på belöningsspecifika stimuli, kan den ytterligare beteendeförbättringen huvudsakligen bero på förvärv av prediktiv behandling av rumsliga positioner av andra neuronala system. Dopaminreaktioner skulle således inträffa under den inledande incitamentdelen av lärandet där ämnen kommer att närma sig föremål och erhålla explicit primär och eventuellt betingad belöning. De skulle vara mindre inblandade i situationer där lärandets framsteg går utöver induktion av beteendebeteende. Detta skulle inte begränsa dopaminrollen till de inledande inlärningsstegen, eftersom många situationer kräver att man först lär sig från exempel och först senare involverar inlärning med uttryckliga resultat.

Förutsägningsfel

Prediktionsfelsignalen för dopaminneuroner skulle vara en utmärkt indikator på det appetitiva värdet av miljöhändelser i förhållande till prediktionen men misslyckas med att diskriminera bland livsmedel, vätskor och belöningsspecifika stimuli och bland visuella, auditiva och somatosensoriska modaliteter. Denna signal kan utgöra ett belöningsvarslingsmeddelande genom vilket postsynaptiska neuroner informeras om det överraskande utseendet eller utelämnandet av en givande eller potentiellt givande händelse utan att ytterligare indikera dess identitet. Det har alla formella egenskaper hos en kraftfull förstärkningssignal för lärande. Information om belöningens särskilda karaktär är dock avgörande för att avgöra vilken av objekten som ska närmas och på vilket sätt. Till exempel bör ett hungrigt djur främst närma sig mat men inte flytande. För att diskriminera relevant från irrelevanta belöningar måste dopamin-signalen kompletteras med ytterligare information. Nyliga in vivo dialys-experiment visade högre matinducerad dopaminfrisättning i hungrig än hos mättade råttor (Wilson et al. 1995). Denna typ av beroendet av dopaminfrisättning kan inte innebära impulsrespons, eftersom vi inte lyckats hitta ett tydligt körberoende med dopaminreaktioner när vi jämförde mellan tidiga och sena perioder av individuella försökssessioner, under vilka djuren blev vätskemättade (JL Contreras-Vidal och W. Schultz, opublicerad data).

Belöningsdetaljer

Information om flytande och matbelöningar behandlas också i andra hjärnstrukturer än dopaminneuroner, såsom dorsal och ventralstriatum, subthalamuskärna, amygdala, dorsolateral prefrontal cortex, orbitofrontal cortex och främre cingulatcortex. Dessa strukturer verkar emellertid inte avge en global felsökningssignal som liknar dopaminneuroner. I primater, dessa strukturer behandla belöningar som 1) övergående svar efter leverans av belöning (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki och Watanabe 1979; Nishijo et al. 1988; Tremblay och Schultz 1995; Watanabe 1989), 2) övergående svar på belöningsprognoser (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay och Schultz 1995; Williams et al. 1993), 3) Hållbara aktiveringar under förväntan om omedelbara kommande belöningar (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay och Schultz 1995), Och 4) Moduleringar av beteenderelaterade aktiveringar enligt förutspådd belöning (Hollerman et al. 1994; Watanabe 1990, 1996). Många av dessa neuroner skiljer sig väl mellan olika matfördelar och mellan olika flytande belöningar. Således bearbetar de den givande händelsens specifika natur och kan tjäna uppfattningen av belöningar. Några av belöningsresponserna beror på belöning oförutsägbarhet och är reducerade eller frånvarande när belöningen förutses av en konditionerad stimulans (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay och W. Schultz, opublicerade data). De kan bearbeta förutsägelser för specifika fördelar, men det är oklart huruvida de signaliserar prediktionsfel eftersom deras svar på utelämnade belöningar är okända.

Underhålla etablerade prestationer

Tre neuronala mekanismer verkar vara viktiga för att upprätthålla etablerat beteendeförmåga, nämligen detektering av utelämnade belöningar, detektering av belöningsspecifika stimuli och detektering av förutsagda belöningar. Dopaminneuroner är deprimerade när förutsagda belöningar utelämnas. Denna signal kan minska synaptisk effekt relaterad till felaktiga beteendemässiga svar och förhindra upprepning. Dopaminreaktionen mot belöningsspådlande stimuli upprätthålls under etablerat beteende och fortsätter sålunda att fungera som förhandsinformation. Även om helt förutspådda belöningar inte detekteras av dopaminneuroner, behandlas de av de nondopaminerga kortikala och subkortiska systemen som nämnts ovan. Detta skulle vara viktigt för att undvika utrotning av lärt beteende.

Sammantaget framgår det att behandlingen av specifika belöningar för att lära och upprätthålla beteendebeteendet skulle gynnas starkt av ett samarbete mellan dopaminneuroner som signalerar den oförutsedda förekomsten eller utelämnandet av belöning och neuroner i de andra strukturerna samtidigt, vilket indikerar belöningens specifika karaktär.

Noradrenalin-neuroner

Nästan hela populationen av noradrenalin-neuroner i lokus coeruleus hos råttor, katter och apor visar ganska homogena bifasiska aktiviserande depressiva reaktioner på visuell, auditiv och somatosensorisk stimuli som framkallar orienteringsreaktioner (Aston-Jones och Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Särskilt effektiva är sällsynta händelser som djur uppmärksammar, såsom visuella stimuli i en oddball-diskrimineringsuppgift (Aston-Jones et al. 1994). Noradrenalin neuroner diskriminerar mycket väl mellan väckande eller motiverande och neutrala händelser. De får snabbt svar på nya målstimuli under omkörning och förlorar svar på tidigare mål innan beteendeomvandling är avslutad (Aston-Jones et al. 1997). Svar förekommer för att frigöra vätska utanför någon uppgift och överföra för att belöna-förutsäga målstimuli inom en uppgift såväl som till primär och konditionerad aversiv stimuli (Aston-Jones et al. 1994; Foote et al. 1980; Rasmussen och Jacobs 1986; Sara och Segal 1991). Svaren är ofta övergående och verkar spegla förändringar i stimulans förekomst eller mening. Aktiveringar kan endast inträffa för några försök med upprepade presentationer av livsmedelsobjekt (Vankov et al. 1995) eller med konditionerade auditiva stimuli associerade med flytande belöning, aversiv luftpuff eller elektrisk fotstöt (Rasmussen och Jacobs 1986; Sara och Segal 1991). Under konditionering förekommer svaren till de första presentationerna av nya stimuli och återkommer tillfälligt när förstärkningsförändringar förändras under förvärv, reversering och utrotning (Sara och Segal 1991).

Sammanfattningsvis liknar svaren på noradrenalin-neuroner svaren på dopaminneuroner i flera avseenden, aktiveras av primärbelöningar, belöningsspecifika stimuli och nya stimuli och överför svaret från primär till konditionerade aptitiva händelser. Men noradrenalin-neuroner skiljer sig från dopaminneuroner genom att svara på en mycket större variation av upphetsningsstimuli genom att reagera bra på primär och konditionerad aversiv stimuli genom att diskriminera väl mot neutrala stimuli genom att snabbt följa beteendeomvandlingar och genom att visa minskande responser med upprepad stimulans presentation som kan kräva 100-försök för fasta appetitiva svar (Aston-Jones et al. 1994). Noradrenalinreaktioner är starkt relaterade till väckande eller uppmärksammande egenskaper hos stimuli som framkallar orienteringsreaktioner medan de är mycket mindre fokuserade på aptitiva stimulansegenskaper som de flesta dopaminneuroner. De drivs förmodligen mer av uppmärksamhetsfyllda än motiverande komponenter i aptitliga händelser.

Serotoninneuroner

Aktiviteten i de olika raphe-kärnorna underlättar motorutgången genom att ställa in muskelton och stereotyp motoraktivitet (Jacobs och Fornal 1993). Dorsala raphe-neuroner hos katter visar fasiska, icke-reaktiva svar på visuella och auditiva stimuli utan särskild beteendemässig betydelse (Heym et al. 1982; LeMoal och Olds 1979). Dessa svar liknar svaren på dopaminneuroner till nya och särskilt framträdande stimuli. Ytterligare jämförelser skulle kräva mer detaljerat experiment.

Nucleus basalis Meynert

Primate-basala förhärningsneuroner aktiveras phasically av en stor variation av beteendemässiga händelser inklusive konditionerade, belöningsspecifika stimuli och primära belöningar. Många aktiveringar beror på minne och föreningar med förstärkning i diskriminering och fördröjda svarsuppgifter. Aktiveringarna speglar stimuliets kännedom (Wilson och Rolls 1990a), blir viktigare med stimuli och rörelser som inträffar närmare belöningstiden (Richardson och DeLong 1990), skiljer sig väl mellan visuella stimuli på basis av appetitiva och aversiva föreningar (Wilson och Rolls 1990b) och förändras inom några försök under reversering (Wilson och Rolls 1990c). Neuroner aktiveras också av aversiva stimuli, förutsagda visuella och auditiva stimuli och rörelser. De svarar ofta på fullt utspådda belöningar i väletablerade beteendeuppgifter (Mitchell et al. 1987; Richardson och DeLong 1986, 1990), även om svar på oförutsedda belöningar är mer rikliga i vissa studier (Richardson och DeLong 1990) men inte i andra (Wilson och Rolls 1990a-c). I jämförelse med dopaminneuroner aktiveras de av ett mycket större spektrum av stimuli och händelser, inklusive aversiva händelser, och visar inte det ganska homogena befolkningsreaktionen på oförutsedda belöningar och dess överföring till belöningsspecifika stimuli.

Cerebellar klättrande fibrer

Förmodligen postulerades den första feldrivna undervisningssignalen i hjärnan för att involvera projiceringen av klättrande fibrer från den underlägsna olivin till Purkinje-neuronerna i hjärnbarken (Marr 1969), och många cerebellära inlärningsstudier bygger på detta begrepp (Houk et al. 1996; Ito 1989; Kawato och Gomi 1992; Llinas och Welsh 1993). Klättringsfiberingångar till Purkinje-neuroner förändras tillfälligt när de belastar rörelser eller vinster mellan rörelser och visuell återkoppling ändras och aporna anpassar sig till den nya situationen (Gilbert och Thach 1977; Ojakangas och Ebner 1992). De flesta av dessa förändringar består av ökad aktivitet snarare än aktiveringen jämfört med depression svaren ses med fel i motsatta riktningar i dopaminneuroner. Om klättring av fiberaktivering skulle fungera som undervisningssignal, bör sammanfogning med fiberparallell fiberoptimering leda till förändringar i parallellfiberingång till Purkinje-neuroner. Detta förekommer faktiskt som långsiktig depression av parallellfiberingång, huvudsakligen i in vitro-preparat (Ito 1989). Men jämförbara parallella fiberförändringar är svårare att hitta i beteendeinlärningssituationer (Ojakangas och Ebner 1992), vilket leder till konsekvenserna av potentiella klimatfibrer undervisningssignaler öppna för tillfället.

Ett andra argument för en roll att klättra fibrer i lärande innebär aversiv klassisk konditionering. En fraktion av klättrande fibrer aktiveras av aversiva luftpustar till hornhinnan. Dessa svar går förlorade efter Pavlovian ögonloppskonditionering med hjälp av en auditiv stimulans (Sears och Steinmetz 1991), vilket tyder på ett förhållande till oförutsägbarheten hos primära aversiva händelser. Efter konditionering svarar neuroner i cerebellar interpositus-kärnan på den konditionerade stimulansen (Berthier och Moore 1990; McCormick och Thompson 1984). Lesioner av denna kärna eller injektioner av GABA-antagonisten bicucullin i den underlägsna oljan förhindrar förlusten av sämre olivluftpuffreaktioner efter konditionering, vilket föreslår att monosynaptisk eller polysynaptisk inhibering från interpositus till sämre oliv undertrycker respons efter konditionering (Thompson och Gluck 1991). Detta kan möjliggöra att sämre oliv neuroner deprimeras i avsaknad av förutsagda aversiva stimuli och därmed rapportera ett negativt fel i förutsägelsen av aversiva händelser liknande dopaminneuroner.

Klättrande fibrer kan således rapportera fel i motorprestanda och fel vid förutsägelsen av aversiva händelser, även om detta inte alltid innefattar dubbelriktningsändringar som med dopaminneuroner. Klättringsfibrer verkar inte få svar på konditionerade aversiva stimuli, men sådana svar återfinns i kärnpunktsinterpositus. Beräkningen av aversiva prediktionsfel kan innebära nedåtgående hämmande ingångar till sämre oliv neuroner, analogt med striatalprojektioner mot dopaminneuroner. Sålunda behandlar cerebellära kretsar felsignaler, om än annorlunda än dopaminneuroner och TD-modeller, och de kan implementera felinlärningsregler som Rescorla-Wagner-regeln (Thompson och Gluck 1991) eller den formellt ekvivalenta Widrow-Hoff-regeln (Kawato och Gomi 1992).