Voorspellend beloningssignaal van dopamine-neuronen (1998)

Functies van beloningen

Bepaalde objecten en gebeurtenissen in de omgeving zijn van bijzonder motivationele betekenis door hun effecten op welzijn, overleving en voortplanting. Volgens de uitgelokte gedragsreacties kan de motivationele waarde van omgevingsobjecten appetitief (belonend) of aversief (bestraffend) zijn. (Merk op dat "appetitief" wordt gebruikt als synoniem voor "belonen" maar niet voor "voorbereidend".) Doelgerichte objecten hebben drie afzonderlijke basisfuncties. In hun eerste functie lokken beloningen aanpak en consumerend gedrag uit. Dit komt doordat de objecten met eetlust worden gelabeld door aangeboren mechanismen of, in de meeste gevallen, door leren. In hun tweede functie verhogen beloningen de frequentie en intensiteit van gedrag dat naar dergelijke objecten leidt (leren), en behouden ze het aangeleerde gedrag door uitroeiing te voorkomen. Beloningen dienen als positieve gedragsversterkers in klassieke en instrumentale conditioneringsprocedures. In het algemeen leren prikkels, stimuli in de omgeving krijgen een hogere waarde als gevolg van klassiek geconditioneerde stimulusbeloningsassociaties en leiden tot naderend gedrag (Bindra 1968). In instrumentele conditionering beloont "versterken" gedrag door het versterken van associaties tussen stimuli en gedragsreacties (Law of Effect: Thorndike 1911). Dit is de essentie van 'terugkomen voor meer' en houdt verband met het algemene idee van beloningen die worden verkregen voor het hebben van iets goeds. In een instrumentele vorm van incentive learning zijn beloningen "prikkels" en dienen als doelen van gedrag na associaties tussen gedragsreacties en uitkomsten (Dickinson en Balleine 1994). In hun derde functie leiden beloningen tot subjectieve gevoelens van plezier (hedonie) en positieve emotionele toestanden. Aversieve stimuli functioneren in tegengestelde richtingen. Ze induceren ontwenningsverschijnselen en werken als negatieve versterkers door vermijdingsgedrag bij herhaalde presentatie te verhogen en te handhaven, waardoor de impact van schadelijke gebeurtenissen wordt verminderd. Bovendien veroorzaken ze interne emotionele toestanden van woede, angst en paniek.

Functies van voorspellingen

Voorspellingen bieden vooraf informatie over toekomstige stimuli, gebeurtenissen of systeemstaten. Ze bieden het basisvoordeel van het verkrijgen van tijd voor gedragsreacties. Sommige voorspellingen schrijven motivationele waarden toe aan omgevingsprikkels door ze te associëren met bepaalde uitkomsten, waardoor objecten van vitaal belang worden geïdentificeerd en ze worden onderscheiden van minder waardevolle objecten. Andere vormen coderen fysieke parameters van voorspelde objecten, zoals ruimtelijke positie, snelheid en gewicht. Voorspellingen stellen een organisme in staat om toekomstige gebeurtenissen te evalueren voordat ze daadwerkelijk plaatsvinden, de selectie en voorbereiding van gedragsreacties mogelijk te maken en de kans te vergroten dat objecten met motivationele waarden worden benaderd of vermeden. Herhaalde bewegingen van objecten in dezelfde volgorde laten bijvoorbeeld toe om toekomstige posities te voorspellen en bereiden al de volgende beweging voor terwijl ze het huidige object nastreven. Dit vermindert de reactietijd tussen individuele doelen, versnelt de algehele prestaties en resulteert in een eerdere uitkomst. Voorspellende oogbewegingen verbeteren de gedragsprestaties door vooraf scherpstellen (Bloemen en Downing 1978).

Op een meer gevorderd niveau, maakt de door voorspellingen verschafte vooruitgangsinformatie het mogelijk om beslissingen te nemen tussen alternatieven om bepaalde systeemtoestanden te bereiken, om zelden voorkomende doelobjecten te benaderen of om onherstelbare nadelige effecten te vermijden. Industriële toepassingen gebruiken interne modelcontrole om systeemstaten te voorspellen en erop te reageren voordat ze daadwerkelijk optreden (Garcia et al. 1989). De 'fly-by-wire'-techniek in de moderne luchtvaart berekent bijvoorbeeld voorspelbare komende staten van vliegtuigen. Beslissingen voor vliegmanoeuvres houden rekening met deze informatie en helpen overmatige belasting van de mechanische componenten van het vliegtuig te voorkomen, waardoor het gewicht wordt verminderd en het werkbereik wordt vergroot.

Het gebruik van voorspellende informatie is afhankelijk van de aard van de vertegenwoordigde toekomstige gebeurtenissen of systeemtoestanden. Eenvoudige representaties hebben rechtstreeks betrekking op de positie van aankomende doelen en de daaruit voortvloeiende gedragsreactie, waardoor de reactietijd op een nogal automatische manier wordt verkort. Hogere vormen van voorspellingen zijn gebaseerd op representaties die logische gevolgtrekkingen mogelijk maken, die toegankelijk en behandeld kunnen worden met verschillende mate van intentionaliteit en keuze. Ze worden vaak bewust verwerkt bij mensen. Voordat de voorspelde gebeurtenissen of systeemtoestanden plaatsvinden en gedragsreacties worden uitgevoerd, maken dergelijke voorspellingen het mogelijk om verschillende strategieën mentaal te evalueren door kennis uit verschillende bronnen te integreren, verschillende manieren van reactie te ontwerpen en de winsten en verliezen van elke mogelijke reactie te vergelijken.

Gedragsmatige conditionering

Associatief appetitief leren omvat het herhaald en contingent koppelen tussen een willekeurige stimulus en een primaire beloning (Fig. 1). Dit resulteert in steeds frequentere naderingsgedragingen die worden geïnduceerd door de nu "geconditioneerde" stimulus, die gedeeltelijk lijkt op het naderingsgedrag dat door de primaire beloning wordt opgewekt en die ook wordt beïnvloed door de aard van de geconditioneerde stimulus. Het lijkt erop dat de geconditioneerde stimulus als een voorspeller van beloning dient en, vaak op basis van een gepaste drive, een interne motivationele toestand instelt die leidt tot de gedragsreactie. De gelijkenis van benaderingsreacties suggereert dat sommige van de algemene, voorbereidende componenten van de gedragsrespons worden overgedragen van de primaire beloning naar de vroegst geconditioneerde, beloningsvoorspellende stimulus. Dus de geconditioneerde stimulus fungeert gedeeltelijk als een motiverende substituut voor de primaire stimulus, waarschijnlijk door Pavloviaans leren (Dickinson 1980).

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 1. 

Verwerking van appetijtstimuli tijdens het leren. Een willekeurige stimulus wordt geassocieerd met een primaire voedsel- of vloeibare beloning door herhaalde, voorwaardelijke koppeling. Deze geconditioneerde beloningsvoorspellende stimulus induceert een interne motiverende toestand door een verwachting van de beloning op te roepen, vaak op basis van een overeenkomstige honger of dorst, en de gedragsreactie op te wekken. Dit schema repliceert de basisbegrippen van de motiv motivatie theorie ontwikkeld door Bindra (1968) en Bolles (1972). Het is van toepassing op klassieke conditionering, waarbij beloning automatisch wordt afgegeven na de geconditioneerde stimulus, en op instrumentele (operante) conditionering, waarbij beloningaflevering een reactie van het subject op de geconditioneerde stimulus vereist. Deze regeling is ook van toepassing op aversieve conditionering die om redenen van beknoptheid niet verder is uitgewerkt.

Veel zogenaamde 'ongeconditioneerde' voedsel- en vloeibare beloningen worden waarschijnlijk door ervaring geleerd, zoals elke bezoeker van het buitenland kan bevestigen. De primaire beloning zou dan kunnen bestaan ​​uit de smaak die wordt ervaren wanneer het object de smaakreceptoren activeert, maar dat kan opnieuw worden geleerd. Het uiteindelijke belonende effect van voedingsstofobjecten bestaat waarschijnlijk uit hun specifieke invloeden op biologische basisvariabelen, zoals elektrolyt-, glucose- of aminozuurconcentraties in plasma en hersenen. Deze variabelen worden bepaald door de vegetatieve behoeften van het organisme en ontstaan ​​door evolutie. Dieren vermijden voedingsstoffen die geen invloed hebben op belangrijke vegetatieve variabelen, bijvoorbeeld voedingsmiddelen zonder essentiële aminozuren als histidine (Rogers en Harper 1970), threonine (Hrupka et al. 1997; Wang et al. 1996), of methionine (Delaney en Gelperin 1986). Een paar primaire beloningen kunnen worden bepaald door aangeboren instincten en ondersteunen aanvankelijk benaderingsgedrag en opname in het vroege leven, terwijl de meerderheid van de beloningen zou worden geleerd tijdens de daaropvolgende levenservaring van het onderwerp. Het fysieke uiterlijk van beloningen kan dan worden gebruikt voor het voorspellen van de veel langzamere vegetatieve effecten. Dit zou de detectie van beloningen drastisch versnellen en een groot voordeel voor overleving vormen. Door het leren van beloningen kunnen proefpersonen ook een veel grotere verscheidenheid aan voedingsstoffen gebruiken als effectieve beloningen en zo hun overlevingskansen vergroten in zones met schaarse bronnen.

Activering door primaire appetitieve stimuli

Over 75% dopamine-neuronen vertonen fasische activeringen wanneer dieren een klein stukje verborgen voedsel aanraken tijdens verkenningsbewegingen in afwezigheid van andere fasische stimuli, zonder te worden geactiveerd door de beweging zelf (Romo en Schultz 1990). De resterende dopamine-neuronen reageren niet op een van de geteste omgevingsstimuli. Dopamine-neuronen worden ook geactiveerd door een druppel vloeistof die aan de mond wordt afgegeven buiten een gedragstaak of door het leren van zulke verschillende paradigma's als visuele of auditieve reactietijdtaken, ruimtelijke vertraagde reactie of afwisseling, en visuele discriminatie, vaak in hetzelfde dier (Fig. . 2 top) (Hollerman en Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz en Schultz 1994; Schultz et al. 1993). De respons op beloning gebeurt onafhankelijk van een leercontext. Dus lijken dopamine-neuronen geen onderscheid te maken tussen verschillende voedselobjecten en vloeibare beloningen. In hun antwoorden worden beloningen echter onderscheiden van niet-renderende objecten (Romo en Schultz 1990). Alleen 14% dopamine-neuronen vertonen de fasische activeringen wanneer primaire aversieve stimuli worden gepresenteerd, zoals een luchtdruk in de hand of hypertone zoutoplossing in de mond, en de meeste geactiveerde neuronen reageren ook op beloningen (Mirenowicz en Schultz 1996). Hoewel ze niet irriterend zijn, zijn deze stimuli aversief omdat ze het gedrag verstoren en actieve vermijdingsreacties veroorzaken. Dopamine-neuronen zijn echter niet volledig ongevoelig voor aversieve stimuli, zoals wordt aangetoond door langzame depressies of af en toe langzame activeringen na pijnknijpprikkels bij anesthesiemonnen (Schultz en Romo 1987) en door verhoogde striatale dopamine-afgifte na elektrische schok en staartknijpen bij wakkere ratten (Abercrombie et al. 1989; Doherty en Gratton 1992; Louilot et al. 1986; Young et al. 1993). Dit suggereert dat de faserische reacties van dopamine-neuronen bij voorkeur omgevingsstimuli met primaire eetlustwaarde rapporteren, terwijl aversieve gebeurtenissen kunnen worden gesignaleerd met een aanzienlijk langzamer tijdsverloop.

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 2. 

Dopamine-neuronen rapporteren beloningen volgens een fout in beloningsvoorspelling. Top: druppel vloeistof treedt op, hoewel er op dit moment geen beloning wordt voorspeld. Het optreden van beloning vormt dus een positieve fout in de voorspelling van beloning. Dopamine-neuron wordt geactiveerd door het onvoorspelbare voorkomen van de vloeistof. Midden: geconditioneerde stimulus voorspelt een beloning en de beloning vindt plaats volgens de voorspelling, dus geen fout in de voorspelling van beloning. Dopamine-neuron wordt niet geactiveerd door de voorspelde beloning (rechts). Het toont ook een activering na de beloningsvoorspellende stimulus, die optreedt ongeacht een fout in de voorspelling van de latere beloning (links). Onder: geconditioneerde stimulus voorspelt een beloning, maar de beloning vindt niet plaats omdat het dier niet reageert. De activiteit van het dopamine-neuron wordt onderdrukt precies op het moment dat de beloning zou hebben plaatsgevonden. Let op de depressie die optreedt> 1 s na de geconditioneerde stimulus zonder enige tussenliggende stimuli, waardoor een intern proces van beloningsverwachting wordt onthuld. Neuronale activiteit in de 3 grafieken volgt de vergelijking: dopamine-respons (beloning) = beloning opgetreden - beloning voorspeld. CS, geconditioneerde stimulus; R, primaire beloning. Herdrukt van Schultz et al. (1997) met toestemming van de American Association for the Advancement of Science.

Onvoorspelbaarheid van beloning

Een belangrijk kenmerk van dopamine-reacties is hun afhankelijkheid van de onvoorspelbaarheid van gebeurtenissen. De activeringen na beloningen vinden niet plaats wanneer voedsel- en vloeistofbeloningen worden voorafgegaan door fasische stimuli die zijn geconditioneerd om dergelijke beloningen te voorspellen (Fig. 2, midden) (Ljungberg et al. 1992; Mirenowicz en Schultz 1994; Romo en Schultz 1990). Een cruciaal verschil tussen leren en volledig verworven gedrag is de mate van onvoorspelbaarheid van beloningen. Dopamine-neuronen worden geactiveerd door beloningen tijdens de leerfase, maar stoppen met reageren na volledige verwerving van visuele en auditieve reactietijdtaken (Ljungberg et al. 1992; Mirenowicz en Schultz 1994), ruimtelijk vertraagde responsietaken (Schultz et al. 1993), en gelijktijdige visuele discriminatie (Hollerman en Schultz 1996). Het verlies van respons is niet het gevolg van een zich ontwikkelende algemene ongevoeligheid voor beloningen, omdat activeringen na beloningen die buiten de taken worden gegeven niet afnemen gedurende meerdere maanden van experimenten (Mirenowicz en Schultz 1994). Het belang van onvoorspelbaarheid omvat de tijd van beloning, zoals blijkt uit voorbijgaande activeringen na beloningen die plotseling eerder of later worden geleverd dan voorspeld (Hollerman en Schultz 1996). Alles bij elkaar genomen, moet het voorkomen van beloning, inclusief de tijd, onvoorspelbaar zijn om dopamine-neuronen te activeren.

Depressie door weglating van voorspelde beloning

Dopamine-neuronen worden depressief precies op het moment van het gebruikelijke optreden van beloning wanneer een volledig voorspelde beloning niet optreedt, zelfs in afwezigheid van een onmiddellijk voorafgaande stimulus (Fig. 2, bodem). Dit wordt waargenomen wanneer dieren geen beloning krijgen vanwege foutief gedrag, wanneer de vloeistofstroom ondanks correct gedrag door de onderzoeker wordt gestopt of wanneer een klep hoorbaar opent zonder dat er vloeistof wordt afgegeven (Hollerman en Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). Wanneer beloningslevering wordt vertraagd voor 0.5 of 1.0 s, vindt er een depressie van neuronale activiteit plaats op het normale tijdstip van de beloning en volgt een activering de beloning op het nieuwe tijdstip (Hollerman en Schultz 1996). Beide antwoorden komen slechts gedurende een paar herhalingen voor totdat de nieuwe tijd van beloning opnieuw wordt voorspeld. Daarentegen levert beloning eerder dan de gebruikelijke resultaten op bij een activering op het nieuwe tijdstip van beloning, maar slaagt er niet in om een ​​depressie op de gebruikelijke tijd te veroorzaken. Dit suggereert dat ongewoon vroege beloningslevering de beloningsvoorspelling voor de gebruikelijke tijd annuleert. Dus dopamine-neuronen bewaken zowel het voorkomen als het tijdstip van beloning. Bij afwezigheid van stimuli die onmiddellijk voorafgaan aan de weggelaten beloning, vormen de depressies geen eenvoudige neurale respons, maar weerspiegelen ze een verwachtingsproces dat is gebaseerd op een interne klok die de precieze tijd van de voorspelde beloning volgt.

Activering door geconditioneerde, beloningsvoorspellende stimuli

Over 55-70% van dopamine-neuronen wordt geactiveerd door geconditioneerde visuele en auditieve stimuli in de verschillende klassiek of instrumenteel geconditioneerde taken die eerder zijn beschreven (Fig. 2, midden en bodem) (Hollerman en Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz en Schultz 1994; Schultz 1986; Schultz en Romo 1990; P. Waelti, J. Mirenowicz en W. Schultz, ongepubliceerde gegevens). De eerste dopaminereacties op geconditioneerd licht werden gerapporteerd door Miller et al. (1981) bij ratten behandeld met haloperidol, die de incidentie en de spontane activiteit van dopamineneuronen verhoogden maar resulteerden in meer aanhoudende reacties dan bij niet-gegradueerde dieren. Hoewel de reacties dichtbij gedragsreacties voorkomen (Nishino et al. 1987), ze zijn niet gerelateerd aan arm- en oogbewegingen zelf, omdat ze ook ipsilateraal zijn voor de bewegende arm en bij onderzoeken zonder arm- of oogbewegingen (Schultz en Romo 1990). Geconditioneerde stimuli zijn enigszins minder effectief dan primaire beloningen in termen van responsomvang en fracties van geactiveerde neuronen. Dopamine-neuronen reageren alleen op het begin van geconditioneerde stimuli en niet op hun offset, zelfs als stimuluscompensatie de beloning voorspelt (Schultz en Romo 1990). Dopamine-neuronen maken geen onderscheid tussen visuele en auditieve modaliteiten van geconditioneerde appetitieve stimuli. Ze discrimineren echter tussen appetijtelijke en neutrale of aversieve stimuli, zolang ze fysiek voldoende ongelijk zijn (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz en W. Schultz, ongepubliceerde gegevens). Alleen 11% dopamine-neuronen, de meesten met appetijtrespons, vertonen de typische fasische activeringen ook als reactie op geconditioneerde aversieve visuele of auditieve stimuli bij actieve vermijdingsactiviteiten waarbij dieren een sleutel vrijgeven om een ​​luchtrookje of een druppel hypertonische zoutoplossing te vermijden (Mirenowicz en Schultz 1996), hoewel een dergelijke vermijding als "lonend" kan worden beschouwd. Deze paar activeringen zijn niet sterk genoeg om een ​​gemiddelde respons van de bevolking te induceren. Aldus rapporteren de fasische reacties van dopamine-neuronen bij voorkeur omgevingsstimuli met een appetijtelijke motivatiewaarde maar zonder onderscheid te maken tussen verschillende sensorische modaliteiten.

Overdracht van activering

In de loop van het leren worden dopamine-neuronen geleidelijk geactiveerd door geconditioneerde, beloningsvoorspellende stimuli en verliezen ze geleidelijk hun respons op primaire voedsel- of vloeistofbeloningen die worden voorspeld (Hollerman en Schultz 1996; Ljungberg et al. 1992; Mirenowicz en Schultz 1994) (Fig. 2 en 3). Tijdens een voorbijgaande leerperiode veroorzaken zowel beloningen als geconditioneerde stimuli dopamine-activeringen. Deze overdracht van primaire beloning naar de geconditioneerde stimulus gebeurt onmiddellijk in enkele dopamine-neuronen, getest in twee goed geleerde taken met respectievelijk onverwachte en voorspelde beloningen (Romo en Schultz 1990).

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 3. 

Dopamine-responsoverdracht naar de vroegste voorspellende stimulus. Antwoorden op onvoorspelbare primaire beloningsoverdracht naar progressief eerdere stimulus voorspellende stimuli. Alle displays tonen populatiehistogrammen verkregen door het middelen van genormaliseerde histogrammen van perieve histogrammen van alle dopamine-neuronen die zijn geregistreerd in de aangegeven gedragssituaties, onafhankelijk van de aanwezigheid of afwezigheid van een respons. Top: buiten elke gedragstaak, is er geen respons van de bevolking in 44-neuronen getest met een klein lichtje (gegevens van Ljungberg et al. 1992), maar een gemiddelde reactie treedt op bij 35 neuronen op een druppel vloeistof die wordt afgegeven aan een tuit voor de mond van het dier (Mirenowicz en Schultz 1994). Midden: reactie op een beloningstimulerende triggerstimulus in een 2-keuze ruimtelijk bereikende taak, maar afwezigheid van respons op beloning geleverd tijdens vastgestelde taakprestaties in dezelfde 23-neuronen (Schultz et al. 1993). Onder: reactie op een instructiecue voorafgaand aan de beloningsprikkelende trigger-stimulus door een vast interval van 1 s in een geïnstrueerde ruimtelijke reiktaak (19-neuronen) (Schultz et al. 1993). Tijdbasis wordt gesplitst vanwege variërende intervallen tussen geconditioneerde stimuli en beloning. Overgenomen van Schultz et al. (1995b) met toestemming van MIT Press.

Onvoorspelbaarheid van geconditioneerde stimuli

De activeringen na geconditioneerde, beloningsvoorspellende stimuli komen niet voor wanneer deze stimuli zelf worden voorafgegaan met een gefixeerd interval door fasisch geconditioneerde stimuli in volledig vastgestelde gedragssituaties. Dus met seriële geconditioneerde stimuli worden dopamine-neuronen geactiveerd door de vroegste beloningsvoorspellende stimulus, terwijl alle prikkels en beloningen die volgen op voorspelbare momenten daarna niet effectief zijn (Fig. 3) (Schultz et al. 1993). Alleen willekeurig verdeelde sequentiële stimuli lokken individuele responsen uit. Ook vermindert uitgebreide overtraining met sterk stereotiepe taakprestaties de reacties op geconditioneerde stimuli, waarschijnlijk omdat stimuli worden voorspeld door gebeurtenissen in de vorige test (Ljungberg et al. 1992). Dit suggereert dat stimulus onvoorspelbaarheid een algemene vereiste is voor alle stimuli die dopamine-neuronen activeren.

Depressie door weglating van voorspelde geconditioneerde stimuli

Voorlopige gegevens van een eerder experiment (Schultz et al. 1993) suggereren dat dopamine-neuronen ook depressief zijn wanneer een geconditioneerde, beloningsvoorspellende stimulus zelf wordt voorspeld op een vast tijdstip door een voorgaande stimulus maar niet optreedt vanwege een fout van het dier. Net als bij primaire beloningen treden de depressies op ten tijde van het gebruikelijke optreden van de geconditioneerde stimulus, zonder direct te worden uitgelokt door een voorgaande stimulus. Aldus kan de weglating-geïnduceerde depressie worden gegeneraliseerd naar alle appetijtgebeurtenissen.

Activatie-depressie met responsgeneralisatie

Dopamine-neuronen reageren ook op stimuli die geen beloningen voorspellen, maar sterk lijken op beloningsprikkelende stimuli die in dezelfde context voorkomen. Deze reacties bestaan ​​voornamelijk uit een activering gevolgd door een onmiddellijke depressie, maar kunnen af ​​en toe bestaan ​​uit pure activering of pure depressie. De activeringen zijn kleiner en minder frequent dan die na beloning-voorspellende stimuli, en de depressies worden waargenomen in 30-60% van de neuronen. Dopamine-neuronen reageren op visuele stimuli die niet worden gevolgd door beloning, maar lijken sterk op beloningsprikkelende stimuli, ondanks correcte gedragsdiscriminatie (Schultz en Romo 1990). Het openen van een lege doos slaagt er niet in om dopamine-neuronen te activeren, maar wordt bij elke proef effectief zodra het vak af en toe voedsel bevat (Ljungberg et al. 1992; Schultz 1986; Schultz en Romo 1990) of wanneer een naburige, identieke doos die altijd voedsel bevat, in willekeurige afwisseling opengaat (Schultz en Romo 1990). De lege doos roept zwakkere activeringen op dan de box met aas. Dieren voeren willekeurige oogoriëntereacties uit op elke doos, maar benaderen alleen de box met aas met hun hand. Tijdens het leren blijven dopamine-neuronen reageren op eerder geconditioneerde stimuli die hun beloningsvoorspelling verliezen wanneer onvoorziene omstandigheden veranderen (Schultz et al. 1993) of reageren op nieuwe stimuli die lijken op eerder geconditioneerde stimuli (Hollerman en Schultz 1996). Antwoorden komen zelfs voor bij aversieve stimuli die worden gepresenteerd in willekeurige afwisseling met fysiek vergelijkbare, geconditioneerde aanzuigende stimuli van dezelfde sensorische modaliteit, waarbij de aversieve respons zwakker is dan de appetijtelijke (Mirenowicz en Schultz 1996). Antwoorden generaliseren zelfs tot gedragsgedoofde appetitieve stimuli. Blijkbaar generaliseren neuronale reacties op nonappetitive stimuli vanwege hun fysieke gelijkenis met appetitieve stimuli.

Nieuwheidsreacties

Nieuwe stimuli wekken activeringen op in dopamine-neuronen die vaak worden gevolgd door depressies en blijven bestaan ​​zolang gedragsoriënterende reacties optreden (bijv. Oculaire saccades). Activeringen nemen samen met oriënterende reacties af na verschillende stimulusherhalingen, afhankelijk van de fysieke impact van stimuli. Terwijl kleine lichtgevende diodes nauwelijks nieuwheidsreacties uitlokken, lokken lichtflitsen en de snelle visuele en auditieve opening van een kleine doos activeringen uit die geleidelijk vervallen tot de basislijn tijdens <100 proeven (Ljungberg et al. 1992). Luide klikken of grote afbeeldingen direct voor een dier lokken sterke nieuwheidsreacties uit die vervallen maar toch meetbare activeringen veroorzaken met> 1,000 proeven (Hollerman en Schultz 1996; Horvitz et al. 1997; Steinfels et al. 1983). Figuur 4 toont schematisch de verschillende responsgroottes met nieuwe stimuli van verschillende fysieke saillantie. Reacties vervallen geleidelijk met herhaalde blootstelling, maar ze kunnen zich voortzetten met verminderde grootheden met zeer opvallende stimuli. Responsgroottes nemen opnieuw toe wanneer dezelfde stimuli op een prettige manier worden geconditioneerd. Daarentegen verdwijnen reacties op nieuwe, zelfs grote, stimuli snel wanneer de stimuli worden gebruikt voor het conditioneren van actief vermijdingsgedrag (Mirenowicz en Schultz 1996). Zeer weinig neuronen (<5%) reageren meer dan een paar proeven op opvallende maar fysiek zwakke stimuli, zoals afbrokkelen van papier of grove handbewegingen van de onderzoeker.

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 4. 

Tijdcursussen van activaties van dopamine-neuronen tot nieuwe, alerte en geconditioneerde stimuli. Activaties na nieuwe stimuli nemen af ​​bij herhaalde blootstelling tijdens opeenvolgende onderzoeken. Hun omvang is afhankelijk van de fysieke saillantie van stimuli, omdat sterkere stimuli hogere activeringen induceren die soms hoger zijn dan die na geconditioneerde stimuli. Vooral saillante stimuli blijven dopamine-neuronen activeren met een beperkte omvang, zelfs nadat ze hun nieuwigheid hebben verloren zonder gepaard te zijn met primaire beloningen. Consistente activeringen verschijnen opnieuw wanneer stimuli worden geassocieerd met primaire beloningen. Dit schema werd bijgedragen door Jose Contreras-Vidal.

Homogeen karakter van de antwoorden

De experimenten die tot nu toe zijn uitgevoerd, hebben aangetoond dat de meerderheid van de neuronen in dopamine-celgroepen A8, A9 en A10 bij dopatie zeer vergelijkbare activeringen en depressies vertonen in een bepaalde gedragssituatie, terwijl de resterende dopamine-neuronen helemaal niet reageren. Er is een tendens tot hogere fracties van neuronen die reageren in meer mediale regio's van de middenhersenen, zoals het ventrale tegmentale gebied en mediale substantia nigra, in vergelijking met meer laterale regio's, die af en toe statistische significantie bereiken (Schultz 1986; Schultz et al. 1993). Responslatenties (50-110 ms) en duur (<200 ms) zijn vergelijkbaar tussen primaire beloningen, geconditioneerde stimuli en nieuwe stimuli. De dopamine-respons vormt dus een relatief homogeen, scalair populatiesignaal. Het wordt in omvang beoordeeld door de responsiviteit van individuele neuronen en door de fractie van reagerende neuronen binnen de populatie.

Samenvatting 1: adaptieve responsen tijdens het leren van afleveringen

De kenmerken van dopamine-reacties op beloningsgerelateerde stimuli worden het best geïllustreerd in het leren van afleveringen, terwijl beloningen vooral belangrijk zijn voor het verkrijgen van gedragsreacties. Het dopamine-beloningssignaal ondergaat systematische veranderingen tijdens de voortgang van het leren en vindt plaats tot de vroegste fasische beloningsgerelateerde stimulus, waarbij dit ofwel een primaire beloning of een beloning-voorspellende stimulus is (Ljungberg et al. 1992; Mirenowicz en Schultz 1994). Tijdens het leren induceren nieuwe, intrinsiek neutrale stimuli tijdelijk responsen die snel verzwakken en verdwijnen (Fig. 4). Primaire beloningen vinden onvoorspelbaar plaats tijdens initiële paring met dergelijke stimuli en lokken neuronale activeringen uit. Met herhaald paren, worden beloningen voorspeld door geconditioneerde stimuli. Activaties na de beloning nemen geleidelijk af en worden overgebracht naar de geconditioneerde, beloningsvoorspellende stimulus. Als echter een voorspelde beloning niet optreedt vanwege een fout van het dier, worden dopamine-neuronen depressief op het moment dat de beloning zou zijn opgetreden. Tijdens herhaald leren van taken (Schultz et al. 1993) of taakcomponenten (Hollerman en Schultz 1996), activeren de vroegst geconditioneerde stimuli dopamine-neuronen tijdens alle leerfasen vanwege generalisatie naar eerder geleerde, vergelijkbare stimuli, terwijl daaropvolgende geconditioneerde stimuli en primaire beloningen dopamine-neuronen slechts tijdelijk activeren terwijl ze onzeker zijn en nieuwe onvoorziene gebeurtenissen worden vastgesteld.

Samenvatting 2: effectieve stimuli voor dopamine-neuronen

Dopamine-reacties worden opgewekt door drie categorieën stimuli. De eerste categorie omvat primaire beloningen en stimuli die geldige beloningsvoorspellers zijn geworden door herhaalde en toevallige koppeling met beloningen. Deze stimuli vormen een gemeenschappelijke klasse van expliciete beloningsvoorspellende stimuli, aangezien primaire beloningen dienen als voorspellers van vegetatieve belonende effecten. Effectieve stimuli hebben blijkbaar een waarschuwende component, omdat alleen stimuli met een duidelijk begin effectief zijn. Dopamine-neuronen vertonen zuivere activeringen na expliciete beloningsvoorspellende stimuli en zijn depressief wanneer een voorspelde maar weggelaten beloning niet optreedt (Fig. 5, top).

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 5. 

Schematische weergave van reacties van dopamine-neuronen op 2-typen geconditioneerde stimuli. Top: presentatie van een expliciete beloning-voorspellende stimulus leidt tot activering na de stimulus, geen reactie op de voorspelde beloning en depressie wanneer een voorspelde beloning niet optreedt. Onder: presentatie van een stimulus die veel lijkt op een geconditioneerde stimulus voorspellende stimulus leidt tot activering gevolgd door depressie, activering na de beloning en geen respons wanneer er geen beloning plaatsvindt. Activering na de stimulus weerspiegelt waarschijnlijk de generalisatie van de respons vanwege fysieke gelijkenis. Deze stimulus voorspelt niet expliciet een beloning maar is gerelateerd aan de beloning via de gelijkenis met de stimulus die de beloning voorspelt. In vergelijking met expliciete beloningsvoorspellende stimuli, zijn activeringen lager en worden vaak gevolgd door depressies, waardoor onderscheid wordt gemaakt tussen beloonde (CS +) en niet-beloonde (CS-) geconditioneerde stimuli. Dit schema vat de resultaten van eerdere en huidige experimenten samen (Hollerman en Schultz 1996; Ljungberg et al. 1992; Mirenowicz en Schultz 1996; Schultz en Romo 1990; Schultz et al. 1993; P. Waelti en W. Schultz, ongepubliceerde resultaten).

De tweede categorie omvat stimuli die generaliserende responsen opwekken. Deze stimuli voorspellen niet expliciet beloningen maar zijn effectief vanwege hun fysieke gelijkenis met stimuli die expliciete beloningsvoorspellers zijn geworden door conditionering. Deze stimuli induceren activeringen die kleiner zijn en minder neuronen aangaan, in vergelijking met expliciete beloningsvoorspellende stimuli (Fig. 5, bodem). Ze worden vaak gevolgd door onmiddellijke depressies. Terwijl de initiële activering een gegenereerde appetijtrespons kan vormen die een mogelijke beloning signaleert, kan de daaropvolgende depressie de voorspelling van geen beloning weerspiegelen in een algemene beloningsvoorspellende context en de foutieve beloningsvermoeden annuleren. Het ontbreken van expliciete beloningsvoorspelling wordt verder gesuggereerd door de aanwezigheid van activering na primaire beloning en de afwezigheid van depressie zonder beloning. Samen met de antwoorden op beloningsvoorspellende stimuli lijkt het erop dat dopamine-activeringen een appetijtelijk "label" bevatten dat is aangebracht op stimuli die gerelateerd zijn aan beloningen.

De derde categorie omvat nieuwe of bijzonder opvallende stimuli die niet noodzakelijkerwijs gerelateerd zijn aan specifieke beloningen. Door het uitlokken van gedragsgerichte reacties, zijn deze stimuli alert en vragen ze aandacht. Ze hebben echter ook motiverende functies en kunnen lonend zijn (Fujita 1987). Nieuwe stimuli zijn potentieel smakelijk. Nieuwe of bijzonder opvallende stimuli induceren activaties die vaak worden gevolgd door depressies, vergelijkbaar met reacties op generaliserende stimuli.

Zo rapporteren de faserische reacties van dopamine-neuronen gebeurtenissen met positieve en potentieel positieve motiverende effecten, zoals primaire beloningen, beloningsvoorspellende stimuli, belonings-lijkende gebeurtenissen en waarschuwende stimuli. Ze detecteren echter niet in grote mate gebeurtenissen met negatieve, motiverende effecten, zoals aversieve stimuli.

Samenvatting 3: het dopamine-beloningsvoorspellingsfoutsignaal

De dopaminereacties op expliciete beloningsgerelateerde gebeurtenissen kunnen het beste worden geconceptualiseerd en begrepen in termen van formele theorieën over leren. Dopamine-neuronen rapporteren beloningen met betrekking tot hun voorspelling in plaats van onvoorwaardelijke primaire beloningen te signaleren (Fig. 2). De dopamine-respons is positief (activering) wanneer primaire beloningen plaatsvinden zonder te worden voorspeld. Het antwoord is nihil wanneer beloningen plaatsvinden zoals voorspeld. De respons is negatief (depressie) wanneer voorspelde beloningen worden weggelaten. Dus dopamine-neuronen rapporteren primaire beloningen volgens het verschil tussen het voorkomen en de voorspelling van beloning, wat een fout kan worden genoemd in de voorspelling van beloning (Schultz et al. 1995b, 1997) en is voorlopig geformaliseerd als

Vergelijking 1Deze suggestie kan worden uitgebreid tot geconditioneerde appetitieve gebeurtenissen die ook door dopamine-neuronen worden gerapporteerd ten opzichte van voorspelling. Dus dopamine-neuronen kunnen een fout melden in de voorspelling van alle appetitieve gebeurtenissen, en Eq. 1 kan in de meer algemene vorm worden vermeld

Vergelijking 2Deze generalisatie is compatibel met het idee dat de meeste beloningen daadwerkelijk geconditioneerde stimuli zijn. Met verschillende opeenvolgende, goed gevestigde gebeurtenissen die de voorspelling voorspellen, is alleen de eerste gebeurtenis onvoorspelbaar en veroorzaakt deze de dopamine-activering.

Oorsprong van de dopamine-respons

Welke anatomische input zou verantwoordelijk kunnen zijn voor de selectiviteit en polysensorische aard van dopamine-reacties? Welke input-activiteit kan leiden tot het coderen van voorspellingsfouten, de adaptieve responsoverdracht naar de vroegste onvoorspelbare appetijtgebeurtenis induceren en de beloningstijd schatten?

Fasische dopamine-invloeden op doelstructuren

GLOBALE AARD VAN HET DOPAMINE SIGNAAL.

Uiteenlopende projecties. Er zijn ~8,000 dopamine-neuronen in elke substantia nigra van ratten (Oorschot 1996) en 80,000-116,000 bij makaken (German et al. 1988; Percheron et al. 1989). Elk striatum bevat ~2.8 miljoen neuronen in ratten en 31 miljoen in makaken, resulterend in een nigrostriatale divergentie factor van 300-400. Elk dopamine-axon vertakt zich rijkelijk in een beperkt eindgebied in striatum en heeft ~500,000 striatale varicositeiten waaruit dopamine vrijkomt (Andén et al. 1966). Dit resulteert in dopamine-invoer voor bijna elk striataal neuron (Groves et al. 1995) en een matig topografische nigrostriatale projectie (Lynd-Balta en Haber 1994). De corticale dopamine-innervatie bij apen is het hoogst in de gebieden 4 en 6, is nog steeds aanzienlijk in de frontale, pariëtale en temporale lobben en is het laagst in de occipitale lob (Berger et al. 1988; Williams en Goldman-Rakic ​​1993). Corticale dopamine synapsen worden voornamelijk aangetroffen in lagen I en V-VI en maken daar contact met een groot deel van de corticale neuronen. Samen met de nogal homogene responsaard suggereren deze gegevens dat de dopamine-respons voortschrijdt als een gelijktijdige, parallelle golf van activiteit van de middenhersenen naar het striatum en de frontale cortex (Fig. 7).

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 7. 

Globaal dopamine-signaal dat doorgaat naar striatum en cortex. Relatief homogene populatie-respons van de meerderheid van de dopamine-neuronen op stimulerende en waarschuwende stimuli en de progressie van substantia nigra naar postsynaptische structuren kan schematisch worden gezien als een golf van synchrone parallelle activiteit die voortschrijdt met een snelheid van 1-2 m / s (Schultz en Romo 1987) langs de divergerende projecties van de middenhersenen naar striatum (caudate en putamen) en cortex. Antwoorden zijn kwalitatief niet te onderscheiden tussen neuronen van substantia nigra (SN) pars compacta en ventraal tegmentaal gebied (VTA). Dopamine-innervatie van alle neuronen in striatum en vele neuronen in de frontale cortex zouden het dopamine-versterkingssignaal een tamelijk globaal effect kunnen geven. Golf is gecomprimeerd om de parallelle aard te benadrukken.

Dopamine-afgifte. Impulsen van dopamine-neuronen met intervallen van 20-100 ms leiden tot een veel hogere dopamineconcentratie in striatum dan hetzelfde aantal impulsen met intervallen van 200 ms (Garris en Wightman 1994; Gonon 1988). Deze niet-lineariteit is voornamelijk te wijten aan de snelle verzadiging van de dopamine-heropname-transporter, die het afgegeven dopamine uit het extrasynaptische gebied opruimt (Chergui et al. 1994). Hetzelfde effect wordt waargenomen in nucleus accumbens (Wightman en Zimmerman 1990) en treedt zelfs met langere impulsintervallen op vanwege herhalingsplaatsen van sparsers (Garris et al. 1994b; Marshall et al. 1990; Stamford et al. 1988). Dopamine-afgifte na een impulssalvo van <300 ms is te kort om de autoreceptor-gemedieerde reductie van afgifte te activeren (Chergui et al. 1994) of de nog langzamere enzymatische afbraak (Michael et al. 1985). Een barstende dopamine-reactie is dus bijzonder efficiënt voor het vrijmaken van dopamine.

Schattingen op basis van in vivo voltammetrie suggereren dat een enkele impuls ~1,000 dopaminemoleculen bij synapsen in striatum en nucleus accumbens vrijgeeft. Dit leidt tot onmiddellijke synaptische dopamineconcentraties van 0.5-3.0 μM (Garris et al. 1994a; Kawagoe et al. 1992). Bij 40 μs na het begin van de afgifte heeft> 90% van de dopamine de synaps verlaten, en een deel van de rest wordt later geëlimineerd door synaptische heropname (halveringstijd van 30-37 ms). Op 3-9 ms na het begin van de afgifte bereiken dopamineconcentraties een piek van -250 nM wanneer alle naburige varicositeiten gelijktijdig dopamine afgeven. Concentraties zijn homogeen binnen een bol van 4 μm diam (Gonon 1997), de gemiddelde afstand tussen varicositeiten (Doucet et al. 1986; Groves et al. 1995). Maximale diffusie wordt beperkt tot 12 μm door de heropname transporter en wordt bereikt in 75 ms na het begin van de release (aanvangstijd van de halve transporter van 30-37 ms). Concentraties zouden iets lager en minder homogeen zijn in regio's met minder varicositeiten of wanneer <100% van de dopamine-neuronen geactiveerd zijn, maar ze zijn twee tot drie keer hoger bij impulsuitbarstingen. De door beloning geïnduceerde, licht synchrone, burst-activeringen in ∼75% van de dopamine-neuronen kunnen dus leiden tot vrij homogene concentratiepieken in de orde van 150-400 nM. De totale toename van extracellulaire dopamine duurt 200 ms na een enkele impuls en 500-600 ms na meerdere impulsen van 20-100 ms intervallen toegepast gedurende 100-200 ms (Chergui et al. 1994; Dugast et al. 1994). De extrasynaptische reuptake transporter (Nirenberg et al. 1996) brengt vervolgens de dopamineconcentraties terug naar hun basislijn van 5-10 nM (Herrera-Marschitz et al. 1996). Dus in tegenstelling tot klassieke, strikt synaptische neurotransmissie diffundeert synaptisch afgegeven dopamine snel in het onmiddellijke juxtasynaptische gebied en bereikt het korte pieken van regionaal homogene extracellulaire concentraties.

Receptoren. Van de twee belangrijkste typen dopaminereceptoren vormen de adenylaatcyclase-activerende, D1-type receptoren ~80% dopaminereceptoren in striatum. Van deze 80% bevinden zich in de laag-affiniteitstoestand van 2-4 μM en 20% in de hoge affiniteitstoestand van 9-74 nM (Richfield et al. 1989). Het resterende 20% van de striatale dopaminereceptoren behoort tot het adenylasecyclaaseremmende D2-type waarvan 10-0% zich in de lage affiniteitstoestand en 80-90% bevindt in de hoge affiniteitstoestand, met vergelijkbare affiniteiten als D1-receptoren. Aldus hebben D1-receptoren in het algemeen een ~ 100 maal lagere affiniteit dan D2-receptoren. Striatale D1-receptoren bevinden zich voornamelijk op neuronen die naar interne pallidum en substantia nigra pars reticulata projecteren, terwijl striatale D2-receptoren zich meestal op neuronen bevinden die naar externe pallidum projecteren (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey et al. 1993). De verschillen in receptorgevoeligheid spelen mogelijk echter geen rol buiten de signaaltransductie, waardoor de verschillen in dopaminegevoeligheid tussen de twee soorten striatale outputneuronen worden verminderd.

Dopamine wordt vrijgegeven naar 30-40% van synaptische en naar 60-70% van extrasynaptische varicositeiten (Descarries et al. 1996). Synaptisch afgegeven dopamine werkt op postsynaptische dopaminereceptoren op vier anatomisch verschillende plaatsen in het striatum, namelijk in dopaminesynapsen, onmiddellijk grenzend aan dopaminesynapsen, in corticostriatale glutamaatsynapsen en op extrasynaptische locaties op afstand van afgifteplaatsen (Fig. 8) (Levey et al. 1993; Sesack et al. 1994; Yung et al. 1995). D1-receptoren zijn voornamelijk gelokaliseerd buiten dopamine-synapsen (Caillé et al. 1996). De hoge transiënte concentraties van dopamine na fasische impulssalvo's zouden D1-receptoren activeren in de onmiddellijke nabijheid van de actieve afgifteplaatsen en D2-receptoren overal activeren en zelfs verzadigen. D2-receptoren zouden gedeeltelijk geactiveerd blijven wanneer de omgevings-dopamineconcentratie terugkeert naar de basislijn na fasische toenames.

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 8. 

Invloeden van dopamineafgifte op typische middelgrote stekelige neuronen in het dorsale en ventrale striatum. Dopamine vrijgemaakt door impulsen van synaptische varicositeiten activeert enkele synaptische receptoren (waarschijnlijk van het D2-type in de toestand met lage affiniteit) en diffundeert snel uit de synaps om D1-type receptoren met lage affiniteit (D1?) Te bereiken die zich in de buurt van corticostriatale synapsen bevinden , of op een beperkte afstand. Fasisch verhoogde dopamine activeert nabijgelegen receptoren van het hoge affiniteits D2-type tot verzadiging (D2?). D2-receptoren blijven gedeeltelijk geactiveerd door de omgevingsconcentraties van dopamine na de fasisch verhoogde afgifte. Extra-synaptisch afgegeven dopamine kan verdund raken door diffusie en D2-receptoren met hoge affiniteit activeren. Opgemerkt moet worden dat, in afwijking van dit schema, de meeste D1- en D2-receptoren zich op verschillende neuronen bevinden. Glutamaat dat vrijkomt uit corticostriatale terminalen bereikt postsynaptische receptoren die zich op dezelfde dendritische ruggengraat bevinden als dopaminevariaties. Glutamaat bereikt ook presynaptische dopaminevisserij waar het de dopamine-afgifte regelt. Dopamine-invloeden op stekelneuronen in de frontale cortex zijn in veel opzichten vergelijkbaar.

Samenvatting. De waargenomen, matig barstende, kortstondige, bijna synchrone respons van de meerderheid van dopamine-neuronen leidt tot een optimale, gelijktijdige afgifte van dopamine uit de meerderheid van dicht op elkaar liggende striatale varicositeiten. De neuronale respons induceert een korte wolk dopamine die vrijkomt van extrasynaptische plaatsen of snel diffundeert van synapsen naar het juxtasynaptische gebied. Dopamine bereikt snel regionaal homogene concentraties die waarschijnlijk de dendrieten van waarschijnlijk alle striatale en veel corticale neuronen zullen beïnvloeden. Op deze manier wordt het beloningsbericht in 60-80% van dopamine-neuronen uitgezonden als een divergerend, nogal globaal versterkingssignaal naar het striatum, nucleus accumbens en de frontale cortex, waardoor een fasische invloed op een maximumaantal synapsen bij de verwerking wordt verzekerd van stimuli en acties die leiden tot beloning (Fig. 7). Dopamine vrijgemaakt door neuronale activeringen na beloningen en belonings-voorspellende stimuli zou juxtasynaptische D1-receptoren op striatale neuronen die naar interne pallidum en substantia nigra pars reticulata projecteren en alle D2-receptoren op neuronen die naar externe pallidum projecteren, beïnvloeden. De reductie van dopamine-afgifte geïnduceerd door depressies met weglating van beloningen en beloningsvoorspellende stimuli zou de tonische stimulatie van D2-receptoren door omgevingsdopamine verminderen. Positieve beloningsvoorspellingsfouten zouden dus alle soorten striatale outputneuronen beïnvloeden, terwijl de negatieve voorspellingsfout voornamelijk neuronen kan beïnvloeden die naar externe pallidum projecteren.

Potentiële cocaïnemechanismen. Blokkade van de dopamine-heropname-transporter door drugs zoals cocaïne of amfetamine verhoogt en verlengt fasische verhogingen van de dopamineconcentraties (Church et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). De verbetering zou met name uitgesproken zijn wanneer snelle, door burst geïnduceerde toenames van de dopamineconcentratie een piek bereiken voordat feedbackregulering effectief wordt. Dit mechanisme zou leiden tot een massaal versterkt dopaminesignaal na primaire beloningen en beloningsvoorspellende stimuli. Het zou ook het ietwat zwakkere dopaminesignaal verhogen na stimuli die op beloningen lijken, nieuwe stimuli en vooral opvallende stimuli die in het dagelijks leven vaak voorkomen. De versterking door cocaïne zou deze niet-lonende stimuli als sterk of zelfs sterker laten lijken dan natuurlijke beloningen zonder cocaïne. Postsynaptische neuronen zouden een dergelijk signaal verkeerd kunnen interpreteren als een bijzonder prominente beloningsgerelateerde gebeurtenis en langetermijnveranderingen in synaptische transmissie ondergaan.

Leren theorieën

Versterkingsalgoritmen

TIJDELIJK VERSCHIL LEREN.

In een bijzonder efficiënte klasse van versterkingsalgoritmen (Sutton 1988; Sutton en Barto 1981), worden synaptische gewichten aangepast volgens de fout in de wapeningsvoorspelling berekend over opeenvolgende tijdstappen (t) in elke proef

rˆ(t)=r(t)+P(t)-P(t-l)

Vergelijking 6where r is versterking en P is versterkingsvoorspelling. P (t) wordt gewoonlijk vermenigvuldigd met een disconteringsfactor γ met 0 ≤ γ <1 om rekening te houden met de afnemende invloed van beloningen die steeds verder weg gaan. Eenvoudigheidshalve wordt γ hier op 1 gezet. In het geval van een enkele stimulus die een enkele bekrachtiger voorspelt, de voorspelling P(t - 1) bestaat vóór de tijd t van wapening maar eindigt op het moment van wapening [P (t) = 0]. Dit leidt op dat moment tot een effectief versterkingssignaal (T) van versterking

rˆ (t)=r(t)-P(t-l)

Vergelijking 6aDe r(t) term geeft het verschil aan tussen werkelijke en voorspelde wapening. Tijdens het leren wordt de wapening onvolledig voorspeld, de foutterm is positief wanneer er wapening optreedt en de synaptische gewichten worden verhoogd. Na het leren wordt de wapening volledig voorspeld door een voorafgaande prikkel [P(t - 1) = r(t)], is de foutterm nul op correct gedrag en blijven de synaptische gewichten ongewijzigd. Wanneer versterking wordt weggelaten vanwege onvoldoende prestaties of gewijzigde onvoorziene omstandigheden, is de fout negatief en worden synaptische gewichten verminderd. De r(t) term is analoog aan de (λ-V) fouttermijn van het Rescorla-Wagner-model (Eq. 4 ). Het betreft echter individuele tijdstappen (t) binnen elke test in plaats van voorspellingen die evolueren in opeenvolgende trials. Deze temporele modellen van versterking maken gebruik van het feit dat de verkregen voorspellingen het exacte tijdstip van wapening bevatten (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

De temporele verschil (TD) algoritmen maken ook gebruik van verworven voorspellingen voor het veranderen van synaptische gewichten. In het geval van een onvoorspelbare, enkel geconditioneerde stimulus die een enkele versterker voorspelt, de voorspelling P (t) begint op tijd (T), er is geen voorgaande voorspelling [P(t - 1) = 0] en er is nog geen wapening [r(t) = 0]. Volgens Eq. 6, het model geeft op dat moment een zuiver voorspellend effectief versterkingssignaal af (t) van de voorspelling

rˆ=P(t)

Vergelijking 6bIn het geval van meerdere, opeenvolgende voorspellende stimuli, opnieuw met versteviging afwezig op het moment van voorspellingen, het effectieve versterkingssignaal op dat moment (T) van de voorspelling weerspiegelt het verschil tussen de huidige voorspelling P (t) en de voorgaande voorspelling P(t - 1)

rˆ=P(t)-P(t-l)

Vergelijking 6cDit vormt een foutterm van hogere orde versterking. Net als bij volledig voorspelde versterkers worden alle voorspellende stimuli die volledig voorspeld zijn zelf geannuleerd [P(t - 1) = P(t)], met als resultaat r = 0 op de tijden (T) van deze stimuli. Alleen de vroegste voorspellende stimulus draagt ​​bij aan het effectieve versterkingssignaal, als deze stimulus P (t) wordt niet voorspeld door een andere stimulus [P(t - 1) = 0]. Dit resulteert hetzelfde r = P (t) destijds (T) van de eerste voorspelling zoals in het geval van een enkele voorspelling (Eq. 6b).

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 9. 

Basisarchitecturen van neurale netwerkmodellen die temporele verschilalgoritmen implementeren in vergelijking met basale ganglia-connectiviteit. A: in de originele uitvoering het effectieve onderwijssignaal y - ȳ wordt berekend in modelneuron A en verzonden naar presynaptische terminals van ingangen x naar neuron B, dus beïnvloedend x → B verwerken en veranderen van synaptische gewichten op de x → B synaps. neuron B beïnvloedt gedragsoutput via axon y en draagt ​​tegelijkertijd bij aan de adaptieve eigenschappen van neuronen A, namelijk de reactie op versterkingsvoorspellende stimuli. Meer recente implementaties van deze eenvoudige architectuur gebruiken neuron A in plaats van neuron B voor het uitstoten van een uitgang O van het model (Montague et al. 1996; Schultz et al. 1997). Overgenomen van Sutton en Barto (1981) met toestemming van American Psychological Association. B: recente implementatie scheidt de onderwijscomponent A, riep de criticus (Rechts), van een uitvoercomponent bestaande uit verschillende verwerkingseenheden B, de acteur genoemd (links). Het effectieve versterkingssignaal r(t) wordt berekend door het tijdelijke verschil in gewogen versterkingsvoorspelling γ af te trekkenP(t) - P(t - 1) van primaire wapening r(t) ontvangen van de omgeving (γ is de kortingsfactor die de waarde van meer verre versterkers vermindert). Reinforcer-voorspelling wordt berekend in een afzonderlijke voorspellingseenheid C, die deel uitmaakt van de criticus en een gesloten lus vormt met het leerelement A, terwijl primaire versterking de criticus binnenkomt via een afzonderlijke input r_t. Effectief versterkingssignaal beïnvloedt synaptische gewichten bij binnenkomende axons in de actor, die de uitvoer medieert en in de adaptieve voorspellingseenheid van de criticus. Overgenomen van Barto (1995) met toestemming van MIT Press. C: basisconnectiviteit van de basale ganglia onthult opvallende overeenkomsten met de acteur-criticusarchitectuur. Dopamine-projectie zendt het versterkingssignaal uit naar het striatum en is vergelijkbaar met de eenheid A in stukken A en B, het limbische striatum (of striosome-patch) neemt de positie van de voorspellingseenheid in C in de criticus, en het sensorimotorische striatum (of de matrix) lijkt op de actoreenheden B. In het originele model (EEN), de enkele grote afwijking van de gevestigde basale ganglia-anatomie bestaat uit de invloed van neuronen A gericht op presynaptische terminals, terwijl dopamine-synapsen zich bevinden op postsynaptische dendrieten van striatale neuronen (Freund et al. 1984). Overgenomen van Smith en Bolam (1990) met toestemming van Elsevier Press.

Alles bij elkaar genomen, het effectieve versterkingssignaal (Eq. 6 ) is samengesteld uit de primaire versterking, die afneemt met opkomende voorspellingen (Eq. 6a) en wordt geleidelijk vervangen door de verworven voorspellingen (Vergelijkingen. 6b en 6c). Met opeenvolgende voorspellende stimuli beweegt het effectieve versterkingssignaal achteruit in de tijd vanaf de primaire bekrachtiging tot de vroegste stimulator-voorspellende stimulus. De retrograde overdracht resulteert in een meer specifieke toewijzing van krediet aan de betrokken synapsen, omdat voorspellingen dichter bij de stimuli en gedragsreacties voorkomen die geconditioneerd moeten worden, in vergelijking met versterking aan het einde van het onderzoek (Sutton en Barto 1981).

Implementaties van versterkingslerende algoritmen gebruiken de voorspellingsfout op twee manieren, voor het veranderen van synaptische gewichten voor gedragsoutput en voor het verkrijgen van de voorspellingen zelf om de voorspellingsfout (Fig. 9 A) (McLaren 1989; Sutton en Barto 1981). Deze twee functies zijn gescheiden in recente implementaties, waarin de voorspellingsfout wordt berekend in de adaptieve criticuscomponent en de synaptische gewichten in de actorcomponent die gedragsuitvoer medieert wijzigt (Fig. 9 B) (Barto 1995). Een positieve fout verhoogt de voorspelling van de bekrachtiging van de criticus, terwijl een negatieve fout van weglating uit de weglating de voorspelling vermindert. Dit maakt het effectieve versterkingssignaal zeer adaptief.

Neurobiologische implementaties van temporeel verschil-leren

TOEPASSINGEN VOOR NEUROBIOLOGISCHE PROBLEMEN.

Hoewel oorspronkelijk ontwikkeld op basis van het Rescorla-Wagner-model van klassieke conditionering, leren modellen die TD-algoritmen gebruiken een breed scala aan gedragstaken door middel van instrumentele vormen van conditionering. Deze taken reiken van het balanceren van een paal op een karwiel (Barto et al. 1983) om backgammon van wereldklasse te spelen (Tesauro 1994). Robots die TD-algoritmen gebruiken, leren bewegen over tweedimensionale ruimte en vermijden obstakels, reiken en grijpen (Fagg 1993) of steek een pen in een gat (Gullapalli et al. 1994). Het gebruik van het TD-versterkingssignaal om het gedrag direct te beïnvloeden en te selecteren (Afb. 9 A), Repliceren TD-modellen foeragegedrag van honingbijen (Montague et al. 1995) en simuleer menselijke besluitvorming (Montague et al. 1996). TD-modellen met een expliciete architectuur van criticus-acteurs vormen zeer krachtige modellen die oogbewegingen efficiënt leren (Friston et al. 1994; Montague et al. 1993), opeenvolgende bewegingen (Fig. 10) en oriëntatiereacties (Contreras-Vidal en Schultz 1996). Een recent model voegde activerende deprimerende nieuwheidssignalen toe voor het verbeteren van het onderwijssignaal, gebruikte stimulus- en actie-sporen in de criticus en actor, en gebruikte regels voor het nemen van winsten voor het verbeteren van het onderwijssignaal en voor het selecteren van acteurneuronen met de grootste activering. Dit reproduceerde tot in detail zowel de respons van dopamine-neuronen als het leergedrag van dieren in vertraagde responsietaken (Suri en Schultz 1996). Het is bijzonder interessant om te zien dat het onderwijzen van signalen met behulp van voorspellingsfouten resulteert in sneller en vollediger leren in vergelijking met onvoorwaardelijke versterkingssignalen (Fig. 10) (Friston et al. 1994).

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 10. 

Voordeel van voorspellende versterkingssignalen voor leren. Een temporeel verschilmodel met criticus-actorarchitectuur en geschiktheidstracering bij de acteur werd getraind in een sequentiële 2 step-3 keuzetaak (inzet linksboven). Leren ging sneller vooruit en bereikte hogere prestaties wanneer een voorspellend versterkingssignaal werd gebruikt als onderwijssignaal (adaptieve criticus, top) in vergelijking met het gebruik van een onvoorwaardelijk versterkingssignaal aan het einde van het onderzoek (bodem). Dit effect wordt steeds duidelijker met langere reeksen. Vergelijkbare prestaties met het onvoorwaardelijke versterkingssignaal zouden een veel langere traceerbaarheid vereisen. Gegevens werden verkregen uit 10-simulaties (R. Suri en W. Schultz, ongepubliceerde waarnemingen). Een vergelijkbare verbetering in leren met voorspellende versterking werd gevonden in een model van oculomotorisch gedrag (Friston et al. 1994).

Mogelijke leermechanismen met behulp van het dopamine-signaal

De voorgaande sectie heeft aangetoond dat het formele voorspellingsfoutsignaal dat wordt geëmitteerd door de dopamineactie een bijzonder geschikt onderwijssignaal kan vormen voor het leren van een model. In de volgende secties wordt beschreven hoe de biologische dopamine-respons mogelijk kan worden gebruikt voor het leren van basale ganglia-structuren en het suggereren van toetsbare hypotheses.

POSTSYNAPTISCHE PLASTIC GEMENGD DOOR VOORREDICTIE SIGNAAL BELONING.

Leren zou in twee stappen verlopen. De eerste stap omvat de verwerving van een dopamine-beloning-voorspellende respons. In vervolgproeven zou het voorspellende dopaminesignaal specifiek de synaptische gewichten (ω) van corticostriatale synapsen van het Hebbian-type versterken die actief zijn op het moment van de beloningssporende stimulus, terwijl de inactieve corticostriatale synapsen ongewijzigd blijven. Dit resulteert in de drie factoren leerregel

Δω=ɛ rˆ i o

Vergelijking 8where r is dopamine versterkingssignaal, i is invoeractiviteit, o is uitvoeractiviteit en learning is leersnelheid.

In een vereenvoudigd model komen vier corticale inputs (i1-i4) in contact met de dendritische uitsteeksels van drie stekelige striatale neuronen van gemiddelde grootte (o1-o3; Fig. 11). Corticale inputs komen samen op striatale neuronen, waarbij elke input contact maakt met een andere wervelkolom. Dezelfde stekels worden niet selectief in contact gebracht door een gemeenschappelijke dopamineringang R. Activering van dopamine-invoer R geeft aan dat een niet-voorspelde beloningsvoorspellende stimulus plaatsvond in de omgeving, zonder verdere details te verschaffen (goedheidssignaal). Laten we aannemen dat corticale input i2 gelijktijdig wordt geactiveerd met dopamine-neuronen en een van de verschillende specifieke parameters van dezelfde beloningsvoorspellende stimulus codeert, zoals de sensorische modaliteit, lichaamszijde, kleur, textuur en positie, of een specifieke parameter van een beweging getriggerd door de stimulus. Een set parameters van deze gebeurtenis zou worden gecodeerd door een set corticale inputs i2. Corticale invoer i1, i3 en i4 die geen verband houden met de huidige stimuli en bewegingen zijn inactief. De dopamine-respons leidt tot niet-selectieve dopamine-afgifte bij alle varicositeiten, maar zou selectief alleen de actieve corticostriatale synapsen i2-o1 en i2-o2 versterken, op voorwaarde dat de corticale inputs sterk genoeg zijn om de striatale neuronen o1 en o2 te activeren.

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 11. 

Differentiële invloeden van een globaal dopamine versterkingssignaal op selectieve corticostriatale activiteit. Dendritische stekels van 3 middelgrote stekelige striatale neuronen o1, o2 en o3 worden benaderd door 4 corticale ingangen i1, i2, i3 en i4 en door axonale varicositeiten van een enkele dopamine-neuron R (of van een populatie van homogeen geactiveerde dopamine neuronen ). Elk striataal neuron ontvangt ~10,000 corticale en 1,000 dopamine-ingangen. Bij enkele dendritische stekels convergeren verschillende corticale inputs met de dopamine-input. In de 1-versie van het model verbetert het dopaminesignaal tegelijk de actieve corticostriatale transmissie ten opzichte van niet-actieve transmissie. De dopamineringang R is bijvoorbeeld tegelijkertijd actief als corticale invoer i2, terwijl i1, i3, i4 niet actief zijn. Dit leidt tot een wijziging van de i2 → o1- en i2 → o2-transmissie, maar laat i1 → o1, i3 → o2, i3 → o3 en i4 → o3-uitzendingen ongewijzigd. In een versie van het model met plasticiteit worden synaptische gewichten van corticostriatale synapsen op lange termijn gemodificeerd door het dopaminesignaal volgens dezelfde regel. Dit kan voorkomen wanneer dopamine-reacties op een geconditioneerde stimulus werken op corticostriatale synapsen die ook door deze stimulus worden geactiveerd. In een andere versie die plasticiteit gebruikt, kunnen dopamine-reacties op een primaire beloning achteruitgaan in de tijd op corticostriatale synapsen die eerder actief waren. Deze synapsen zouden in aanmerking komen voor aanpassing door een hypothetisch postsynaptisch neuronaal spoor dat overblijft na die activiteit. Bij het vergelijken van de basale ganglia-structuur met het recente TD-model van Fig. 9 B, dopamine-input R repliceert de criticus met neuron A, het striatum met neuronen o1-o3 repliceert de actor met neuron B, corticale inputs i1-i4 repliceren de actorinvoer en de divergerende projectie van dopamine-neuronen R op meerdere spines van meerdere striatale neuronen o1-o3 repliceert de globale invloed van de criticus op de actor. Een vergelijkbare vergelijking werd gemaakt door Houk et al. (1995). Deze tekening is gebaseerd op anatomische gegevens van Freund et al. (1984), Smith en Bolam (1990), Flaherty en Graybiel (1993) en Smith et al. (1994).

Dit leermechanisme gebruikt de verworven dopamine-respons op het moment van de beloningspredictiestimulus als een onderwijssignaal voor het induceren van langdurige synaptische veranderingen (fig. 12 A). Het leren van de voorspellende stimulus of getriggerde beweging is gebaseerd op de aangetoonde verwerving van dopamine-respons op de beloningsvoorspellende stimulus, samen met dopamine-afhankelijke plasticiteit in het striatum. Plasticiteitsveranderingen kunnen ook voorkomen in corticale of subcorticale structuren stroomafwaarts van striatum na dopamine-gemedieerde kortetermijnverbetering van synaptische transmissie in het striatum. De retroactieve effecten van beloning op stimuli en bewegingen voorafgaand aan de beloning worden gemedieerd door de responsoverdracht naar de vroegste beloningsvoorspellende stimulus. De dopamine-respons op voorspelde of weggelaten primaire beloning wordt niet gebruikt voor veranderingen in de plasticiteit in het striatum, omdat het niet tegelijkertijd met de te conditioneren gebeurtenissen optreedt, hoewel het mogelijk betrokken zou kunnen zijn bij het berekenen van de dopaminerespons op de beloningssporende stimulus in analogie met de architectuur en het mechanisme van TD-modellen.

• Figuur downloaden
• Openen in nieuw tabblad
• Download PowerPoint

Fig. 12. 

Invloeden van dopamine versterkingssignaal op mogelijke leermechanismen in het striatum. A: voorspellende dopamine-beloningsreactie op een geconditioneerde stimulus (CS) heeft een direct versterkend of plasticiteitseffect op striatale neurotransmissie gerelateerd aan die stimulus. B: dopamine-respons op primaire beloning heeft een retrograde plasticiteitseffect op striatale neurotransmissie gerelateerd aan de voorafgaande geconditioneerde stimulus. Dit mechanisme wordt gemedieerd door een in aanmerking komend spoor dat striatale activiteit overleeft. Vaste pijlen geven directe effecten van dopamine-signaal op striatale neurotransmissie aan (A) of het kwalificatietrack (B) kleine pijl erin B geeft indirect effect aan op striatale neurotransmissie via het ontvankelijkheidsspoor.

Elektrische stimulatie van dopamine-neuronen als ongeconditioneerde stimulus

Elektrische stimulatie van omgeschreven hersengebieden dient op betrouwbare wijze als versterking voor het verkrijgen en behouden van naderheidsgedrag (Olds en Milner 1954). Sommige zeer effectieve zelfstimulatiesites vallen samen met dopamine-cellichamen en axonbundels in de middenhersenen (Corbett en Wise 1980), nucleus accumbens (Phillips et al. 1975), striatum (Phillips et al. 1976) en prefrontale cortex (Mora en Myers 1977; Phillips et al. 1979), maar ook in structuren die geen verband houden met dopamine-systemen (Wit en Milner 1992). Elektrische zelfstimulatie omvat de activering van dopamine-neuronen (Fibiger en Phillips 1986; Wise en Rompré 1989) en wordt gereduceerd door 6-hydroxydopamine-geïnduceerde laesies van dopamine-axons (Fibiger et al. 1987; Phillips en Fibiger 1978), remming van dopamine-synthese (Edmonds en Gallistel 1977), depolarisatie-inactivatie van dopamine-neuronen (Rompré en Wise 1989) en dopamine-receptorantagonisten systemisch toegediend (Furiezos en Wise 1976) of in nucleus accumbens (Mogenson et al. 1979). Zelfstimulering wordt vergemakkelijkt door door cocaïne of amfetamine geïnduceerde verhogingen van extracellulair dopamine (Colle en Wise 1980; Stein 1964; Wauquier 1976). Zelfstimulatie verhoogt direct het gebruik van dopamine in nucleus accumbens, striatum en frontale cortex (Fibiger et al. 1987; Mora en Myers 1977).

Het is intrigerend om je voor te stellen dat elektrisch opgewekte dopamine-impulsen en -afgifte kunnen dienen als ongeconditioneerde stimulans in associatief leren, vergelijkbaar met de stimulatie van octopamine-neuronen in honingbijen die de proboscis-reflex leren (Hammer 1993). Echter, dopamine-gerelateerde zelfstimulatie verschilt in ten minste drie belangrijke aspecten van de natuurlijke activering van dopamine-neuronen. In plaats van alleen dopamine-neuronen te activeren, activeren natuurlijke beloningen meestal meerdere neuronale systemen parallel en maken ze de gedistribueerde codering van verschillende beloningscomponenten mogelijk (zie verdere tekst). Ten tweede wordt elektrische stimulatie toegepast als onvoorwaardelijke versterking zonder een fout in beloningsvoorspelling te weerspiegelen. Ten derde wordt elektrische stimulatie alleen als beloning geleverd na een gedragsreactie, in plaats van op het moment van een beloningssporende stimulus. Het zou interessant zijn om elektrische zelfstimulatie op precies dezelfde manier toe te passen als dopamine-neuronen hun signaal uitzenden.

Leerstoornissen met verminderde dopamine neurotransmissie

Veel studies onderzochten het gedrag van dieren met verminderde dopamine-neurotransmissie na lokale of systemische toediening van dopamine-receptorantagonisten of vernietiging van dopamine-axonen in ventrale middenhersenen, nucleus accumbens of striatum. Naast het observeren van locomotorische en cognitieve gebreken die doen denken aan Parkinsonisme, onthulden deze onderzoeken stoornissen in de verwerking van beloningsinformatie. De vroegste studies pleitten voor tekorten in de subjectieve, hedonische perceptie van beloningen (Wise 1982; Wise et al. 1978). Verdere experimenten onthulden een verminderd gebruik van primaire beloningen en geconditioneerde appetitieve stimuli voor aanpak en consumerend gedrag (Beninger et al. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Wise en Colle 1984; Wise en Rompre 1989). Veel studies beschreven stoornissen in motivationele en aandachtsprocessen die ten grondslag liggen aan appetitief leren (Beninger 1983, 1989; Beninger en Hahn 1983; Fibiger en Phillips 1986; LeMoal en Simon 1991; Robbins en Everitt 1992, 1996; Wit en Milner 1992; Wise 1982). De meeste leerachterstanden worden geassocieerd met verminderde dopamine-neurotransmissie in nucleus accumbens, terwijl dorsale striatumstoornissen leiden tot sensomotorische tekorten (Amalric en Koob 1987; Robbins en Everitt 1992; Witte 1989). Het leren van instrumentele taken in het algemeen en van discriminerende stimuluseigenschappen in het bijzonder lijkt echter vaak te worden bespaard en het is niet helemaal opgelost of sommige van de schijnbare leerachterstanden kunnen worden vertroebeld door motorische prestatiestoornissen (Salamone 1992).

Degeneratie van dopamine-neuronen bij de ziekte van Parkinson leidt ook tot een aantal declaratieve en procedurele leerachterstanden, waaronder associatief leren (Linden et al. 1990; Sprengelmeyer et al. 1995). Tekorten zijn aanwezig bij trial-and-error leren met onmiddellijke versterking (Vriezen en Moscovitch 1990) en wanneer expliciete stimuli worden geassocieerd met verschillende uitkomsten (Knowlton et al. 1996), zelfs in vroege stadia van de ziekte van Parkinson zonder corticale atrofie (Canavan et al. 1989). Parkinsonpatiënten vertonen ook een verminderde tijdperceptie (Pastor et al. 1992). Al deze tekorten komen voor in de aanwezigheid van L-Dopa-behandeling, die tonische striatale dopaminegehalten herstelt zonder fasische dopaminesignalen te herstellen.

Deze studies suggereren dat dopamine-neurotransmissie een belangrijke rol speelt bij de verwerking van beloningen voor naderingsgedrag en bij vormen van leren waarbij associaties tussen stimuli en beloningen worden gecombineerd, terwijl een betrokkenheid bij meer instrumentele vormen van leren in twijfel kan worden getrokken. Het is onduidelijk of deze tekorten een meer algemene gedragsinactivatie weerspiegelen als gevolg van tonisch verminderde dopamine-receptorstimulatie in plaats van de afwezigheid van een fasisch dopamine-beloningsignaal. Om deze vraag op te lossen, en meer specifiek de rol van dopamine in verschillende leervormen op te helderen, zou het nuttig zijn om het leren te bestuderen in die situaties waarin de fasische dopamine-respons op appetitieve stimuli daadwerkelijk optreedt.

Vormen van leren mogelijk gemedieerd door het dopamine-signaal

De kenmerken van dopamine-responsen en de mogelijke invloed van dopamine op striatale neuronen kunnen helpen bij het afbakenen van enkele leervormen waarin dopamine-neuronen kunnen worden betrokken. De voorkeursreacties op appetitief in tegenstelling tot aversieve gebeurtenissen zouden een voorkeur hebben voor betrokkenheid bij het leren van naderingsgedrag en het mediëren van positieve versterkingseffecten, eerder dan terugtrekking en bestraffing. De antwoorden op primaire beloningen buiten de taken en leercontexten zouden dopamineneuronen in staat stellen een rol te spelen in een relatief breed spectrum van leren met primaire beloningen, zowel in klassieke als instrumentele conditionering. De antwoorden op beloningsvoorspellende stimuli weerspiegelen stimulus-beloningsassociaties en zouden verenigbaar zijn met een betrokkenheid bij beloningsverwachtingen die ten grondslag liggen aan algemeen incentive-leren (Bindra 1968). Daarentegen coderen dopamine-responsen niet expliciet beloningen als doelobjecten, omdat ze alleen fouten in beloningsvoorspelling rapporteren. Ze lijken ook ongevoelig te zijn voor motiverende staten, waardoor ze een specifieke rol in het van staten afhankelijk stimuleren van doelgerichte handelingen (Dickinson en Balleine 1994). Het ontbreken van duidelijke relaties met arm- en oogbewegingen zou een rol wegnemen in het direct bemiddelen van de gedragsreacties die volgen op stimuleringsstimuli. Vergelijkingen tussen ontladingen van individuele neuronen en het leren van hele organismen zijn echter intrinsiek moeilijk. Op het synaptische niveau bereikt fasisch afgegeven dopamine vele dendrieten op waarschijnlijk elk striataal neuron en kan dus een plasticiteitseffect uitoefenen op de grote verscheidenheid aan gedragscomponenten waarbij het striatum is betrokken, waaronder het leren van bewegingen.

De specifieke omstandigheden waarin fasische dopamine signalen een rol kunnen spelen bij het leren, worden bepaald door de soorten stimuli die effectief een dopamine-respons induceren. In het dierlaboratorium vereisen dopamine-reacties het fasisch voorkomen van appetijtelijke, nieuwe of bijzonder saillante stimuli, waaronder beloningen voor primaire voedingsstoffen en beloningsvoorspellende stimuli, terwijl aversieve stimuli geen grote rol spelen. Dopamine-reacties kunnen voorkomen in alle gedragssituaties die worden beheerst door fasische en expliciete resultaten, hoewel geconditioneerde stimuli van hogere orde en secundaire versterkers nog niet waren getest. Fasische dopamine-reacties zouden waarschijnlijk geen rol spelen bij vormen van leren die niet worden gemedieerd door fasisch voorkomende uitkomsten, en de voorspellende respons zou niet kunnen bijdragen aan leren in situaties waarin fasische voorspellende stimuli niet voorkomen, zoals relatief trage veranderingen in de context . Dit leidt tot de interessante vraag of het sparen van sommige vormen van leren door dopamine-laesies of neuroleptica eenvoudigweg de afwezigheid van fasische dopaminereacties zou kunnen weerspiegelen omdat de effectieve stimuli die ze opwekten niet werden gebruikt.

De betrokkenheid van dopamine-signalen bij het leren kan worden geïllustreerd aan de hand van een theoretisch voorbeeld. Stel je dopamine-reacties voor tijdens het verwerven van een seriële reactietijdstaak, wanneer een correcte reactie plotseling tot een voedingsbeloning leidt. De beloningsrespons wordt vervolgens overgedragen naar progressief eerdere beloningsvoorspellende stimuli. Reactietijden verbeteren verder door langdurig oefenen omdat de ruimtelijke posities van doelen steeds voorspelbaarder worden. Hoewel dopamine-neuronen blijven reageren op de beloning-voorspellende stimuli, kan de verdere gedragsverbetering voornamelijk te wijten zijn aan de verwerving van voorspellende verwerking van ruimtelijke posities door andere neuronale systemen. Aldus zouden dopamine-responsen optreden tijdens het initiële, stimulerende deel van leren waarin onderwerpen voorwerpen naderen en expliciete primaire, en mogelijk geconditioneerde, beloningen verkrijgen. Ze zouden minder betrokken zijn in situaties waarin de voortgang van het leren verder gaat dan het induceren van naderingsgedrag. Dit zou de dopaminerol niet beperken tot de eerste leerstappen, omdat veel situaties vereisen dat ze in eerste instantie van voorbeelden leren en pas later leren door expliciete resultaten.

Voorspellingsfout

Het voorspellingsfoutsignaal van dopamine-neuronen zou een uitstekende indicator zijn van de appetijtelijke waarde van omgevingsgebeurtenissen ten opzichte van voorspelling maar faalt om onderscheid te maken tussen voedingsmiddelen, vloeistoffen en beloningsvoorspellende stimuli en tussen visuele, auditieve en somatosensorische modaliteiten. Dit signaal kan een beloningsbericht vormen waarmee postsynaptische neuronen worden geïnformeerd over het verrassende uiterlijk of weglaten van een lonende of potentieel lonende gebeurtenis zonder de identiteit ervan aan te geven. Het heeft alle formele kenmerken van een krachtig versterkingssignaal voor leren. Informatie over de specifieke aard van beloningen is echter cruciaal om te bepalen welke objecten moeten worden benaderd en op welke manier. Een hongerig dier moet bijvoorbeeld in de eerste plaats voedsel benaderen, maar niet vloeibaar. Om relevante irrelevante beloningen te onderscheiden, moet het dopaminesignaal worden aangevuld met aanvullende informatie. Recente in vivo dialyse-experimenten toonden hogere voedselgeïnduceerde dopamine-afgifte bij hongerigen dan bij verzadigde ratten (Wilson et al. 1995). Deze drangafhankelijkheid van dopamine-afgifte impliceert mogelijk geen impulsrespons, omdat we er niet in slaagden om een ​​duidelijke drangafhankelijkheid te vinden met dopamine-responsen bij het vergelijken van vroege en late perioden van individuele experimentele sessies waarbij dieren vloeibaar verzadigd werden (JL Contreras-Vidal en W. Schultz, niet-gepubliceerde gegevens).

Beloningsspecificaties

Informatie met betrekking tot vloeibare en voedselbeloningen wordt ook verwerkt in hersenstructuren anders dan dopamine-neuronen, zoals dorsaal en ventraal striatum, subthalamische kern, amygdala, dorsolaterale prefrontale cortex, orbitofrontale cortex en anterior cingulate cortex. Deze structuren lijken echter geen globaal beloningspredictiefoutsignaal uit te stralen dat vergelijkbaar is met dopamine-neuronen. In primaten verwerken deze structuren beloningen als 1) voorbijgaande reacties na de levering van de beloning (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki en Watanabe 1979; Nishijo et al. 1988; Tremblay en Schultz 1995; Watanabe 1989), 2) voorbijgaande reacties op beloningsvoorspellende signalen (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay en Schultz 1995; Williams et al. 1993), 3) aanhoudende activeringen tijdens de verwachting van direct aankomende beloningen (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay en Schultz 1995), En 4) modulaties van gedragsgerelateerde activaties door voorspelde beloning (Hollerman et al. 1994; Watanabe 1990, 1996). Veel van deze neuronen differentiëren goed tussen verschillende voedselbeloningen en tussen verschillende vloeistofbeloningen. Zo verwerken ze de specifieke aard van de lonende gebeurtenis en kunnen ze de beloningsbeleving dienen. Sommige van de beloningsreacties zijn afhankelijk van onvoorspelbaarheid van beloningen en zijn verminderd of afwezig wanneer de beloning wordt voorspeld door een geconditioneerde stimulus (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay en W. Schultz, ongepubliceerde gegevens). Ze kunnen voorspellingen voor specifieke beloningen verwerken, hoewel het onduidelijk is of ze voorspellingsfouten signaleren, omdat hun antwoorden op weggelaten beloningen onbekend zijn.

De gevestigde prestaties handhaven

Drie neuronale mechanismen lijken belangrijk te zijn voor het handhaven van gevestigde gedragsprestaties, namelijk de detectie van weggelaten beloningen, de detectie van stimulus voorspellende stimuli en de detectie van voorspelde beloningen. Dopamine-neuronen zijn depressief wanneer voorspelde beloningen worden weggelaten. Dit signaal zou de synaptische werkzaamheid in verband met foutieve gedragsreacties kunnen verminderen en hun herhaling kunnen voorkomen. De dopamine-respons op stimulus-voorspellende stimuli wordt gehandhaafd tijdens vastgesteld gedrag en blijft dus dienst doen als voorafgaande informatie. Hoewel de volledig voorspelde beloningen niet worden gedetecteerd door dopamine-neuronen, worden ze verwerkt door de niet-dopaminergische corticale en subcorticale systemen die hierboven zijn genoemd. Dit zou belangrijk zijn om het uitsterven van aangeleerd gedrag te voorkomen.

Bij elkaar genomen, lijkt het erop dat de verwerking van specifieke beloningen voor het leren en onderhouden van naderheidsgedrag sterk zou profiteren van een samenwerking tussen dopamine-neuronen die het onvoorziene optreden of weglaten van beloning en neuronen in de andere structuren simultaan signaleren, hetgeen de specifieke aard van de beloning aangeeft.

Noradrenaline neuronen

Bijna de gehele populatie van noradrenaline neuronen in locus coeruleus bij ratten, katten en apen vertoont vrij homogene, bifasische activerende / depressieve reacties op visuele, auditieve en somatosensorische stimuli die oriëntatiereacties opwekken (Aston-Jones en Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Met name effectief zijn zeldzame gebeurtenissen waar dieren aandacht aan besteden, zoals visuele stimuli in een vreemde taak (Aston-Jones et al. 1994). Noradrenaline-neuronen maken een onderscheid tussen stimulerende of motiverende en neutrale gebeurtenissen. Ze krijgen snel reacties op nieuwe doelstimuli tijdens omkering en verliezen reacties op eerdere doelwitten voordat gedragsomkering is voltooid (Aston-Jones et al. 1997). Antwoorden komen naar buiten om vloeistof te bevrijden van elke taak en worden overgezet naar beloningsvoorspellende doelstimuli binnen een taak, evenals naar primaire en geconditioneerde aversieve stimuli (Aston-Jones et al. 1994; Foote et al. 1980; Rasmussen en Jacobs 1986; Sara en Segal 1991). Antwoorden zijn vaak van voorbijgaande aard en lijken de veranderingen in het optreden of de betekenis van een prikkel te weerspiegelen. Activaties kunnen slechts optreden bij een paar proeven met herhaalde presentaties van voedselobjecten (Vankov et al. 1995) of met geconditioneerde auditieve stimuli geassocieerd met vloeibare beloning, aversieve luchtdruk of elektrische voetschok (Rasmussen en Jacobs 1986; Sara en Segal 1991). Tijdens conditionering komen de reacties terug op de eerste paar presentaties van nieuwe stimuli en komen ze tijdelijk terug wanneer versterkingscondities tijdens acquisitie, omkering en extinctie veranderen (Sara en Segal 1991).

Samen genomen lijken de responsen van noradrenaline-neuronen op de responsen van dopamine-neuronen in verschillende opzichten, geactiveerd door primaire beloningen, beloningsvoorspellende stimuli en nieuwe stimuli en overdracht van de respons van primaire naar geconditioneerde appetitieve gebeurtenissen. Noradrenaline-neuronen verschillen echter van dopamine-neuronen door te reageren op een veel grotere variëteit van opwekkende stimuli, door goed te reageren op primaire en geconditioneerde aversieve stimuli, door goed te discrimineren tegen neutrale stimuli, door gedrags-omkeringen snel te volgen en door decrementele responsen te vertonen met herhaalde stimulus presentatie die 100-proeven kan vereisen voor solide appetijtgevoelens (Aston-Jones et al. 1994). Noradrenaline-reacties zijn sterk gerelateerd aan de opwindende of aandacht trekkende eigenschappen van stimuli die oriëntatiereacties uitlokken, terwijl ze veel minder gericht zijn op stimulerende eigenschappen zoals de meeste dopamineneuronen. Ze worden waarschijnlijk meer gedreven door aandacht trekkende dan motiverende componenten van appetijtelijke gebeurtenissen.

Serotonine neuronen

Activiteit in de verschillende raphe-kernen bevordert de motorische output door de spiertonus en stereotype motoractiviteit in te stellen (Jacobs en Fornal 1993). Dorsale raphe-neuronen bij katten vertonen fasische, niet-evacuerende reacties op visuele en auditieve stimuli van geen bepaalde gedragsmatige betekenis (Heym et al. 1982; LeMoal and Olds 1979). Deze responsen lijken op reacties van dopamine-neuronen op nieuwe en vooral opvallende stimuli. Verdere vergelijkingen vereisen meer gedetailleerde experimenten.

Nucleus basalis Meynert

Fundamentele neuronen van primaten van primaten worden op fasische wijze geactiveerd door een grote verscheidenheid aan gedragsgebeurtenissen, waaronder geconditioneerde, beloningsvoorspellende stimuli en primaire beloningen. Veel activeringen zijn afhankelijk van geheugen en associaties met versterking van discriminatie en vertraagde reactietaken. Activaties weerspiegelen de bekendheid van stimuli (Wilson en Rolls 1990a), belangrijker worden met stimuli en bewegingen die dichter bij de beloningstijd komen (Richardson en DeLong 1990), differentiëren goed tussen visuele stimuli op basis van appetitieve en aversieve associaties (Wilson en Rolls 1990b) en veranderen binnen een paar onderzoeken tijdens omkering (Wilson en Rolls 1990c). Neuronen worden ook geactiveerd door aversieve stimuli, voorspelde visuele en auditieve stimuli en bewegingen. Ze reageren vaak op volledig voorspelde beloningen in gevestigde gedragstaken (Mitchell et al. 1987; Richardson en DeLong 1986, 1990), hoewel antwoorden op onvoorziene beloningen in sommige studies overvloediger zijn (Richardson en DeLong 1990) maar niet in andere (Wilson en Rolls 1990a-c). In vergelijking met dopamine-neuronen worden ze geactiveerd door een veel groter spectrum van stimuli en gebeurtenissen, waaronder aversieve gebeurtenissen, en vertonen ze niet de tamelijk homogene populatie-respons op onvoorspelbare beloningen en de overdracht ervan naar beloningsvoorspellende stimuli.

Cerebellaire klimvezels

Waarschijnlijk werd verondersteld dat het eerste foutgestuurd onderwijsleersignaal in de hersenen de projectie inhield van het beklimmen van vezels van de inferieure olifant tot Purkinje-neuronen in de cerebellaire cortex (Marr 1969), en veel cerebellaire leerstudies zijn gebaseerd op dit concept (Houk et al. 1996; Ito 1989; Kawato en Gomi 1992; Llinas en Welsh 1993). Het beklimmen van vezelinvoer naar Purkinje-neuronen verandert tijdelijk hun activiteit wanneer ladingen voor bewegingen of winst tussen bewegingen en visuele feedback worden veranderd en apen zich aanpassen aan de nieuwe situatie (Gilbert en Thach 1977; Ojakangas en Ebner 1992). De meeste van deze veranderingen bestaan ​​uit verhoogde activiteit in plaats van de activering versus depressiereacties die worden gezien met fouten in tegenovergestelde richtingen in dopamine-neuronen. Als het beklimmen van vezelactivatie zou dienen als onderwijssignaal, zou conjoint climbing fiber-parallel fiber activation moeten leiden tot veranderingen in de parallelle vezelinvoer naar Purkinje-neuronen. Dit komt inderdaad voor als langdurige depressie van parallelle vezelinvoer, hoofdzakelijk in in vitro preparaten (Ito 1989). Vergelijkbare veranderingen in parallelle vezels zijn echter moeilijker te vinden in gedragssituaties (Ojakangas en Ebner 1992), waardoor de consequenties van potentiële leertracering voor het beklimmen van vezels op dit moment open blijven.

Een tweede argument voor een rol van het beklimmen van vezels bij het leren, betreft aversieve klassieke conditionering. Een fractie van de klimvezels wordt geactiveerd door aversieve luchtwervelingen naar het hoornvlies. Deze reacties gaan verloren na Pavlovian ooglidcorrectie met behulp van een auditieve prikkel (Sears en Steinmetz 1991), wat duidt op een relatie met de onvoorspelbaarheid van primaire aversieve gebeurtenissen. Na conditionering reageren neuronen in de cerebrale interpositus nucleus op de geconditioneerde stimulus (Berthier en Moore 1990; McCormick en Thompson 1984). Laesies van deze kern of injecties van de GABA-antagonist bicuculline in de inferieure olijven voorkomen het verlies van inferieure olieluchtrookrespons na conditionering, wat suggereert dat monosynaptische of polysynaptische remming van interpositus naar inferieure olijf de reacties na conditionering onderdrukt (Thompson en Gluck 1991). Dit zou het mogelijk kunnen maken dat inferieure olijfneuronen depressief zijn in de afwezigheid van voorspelde aversieve stimuli en aldus een negatieve fout rapporteren in de voorspelling van aversieve gebeurtenissen vergelijkbaar met dopamine neuronen.

Klimvezels kunnen dus fouten in de motorprestaties en fouten in de voorspelling van aversieve gebeurtenissen melden, hoewel dit niet altijd bidirectionele veranderingen met zich meebrengt zoals dopamine-neuronen. Klimvezels lijken geen reacties te krijgen op geconditioneerde aversieve stimuli, maar dergelijke responses worden gevonden in nucleus interpositus. De berekening van aversieve voorspellingsfouten kan betrekking hebben op dalende remmende inputs voor inferieure olijfneuronen, analoog aan striatale projecties voor dopamine-neuronen. Aldus verwerken cerebellaire circuits foutsignalen, zij het op een andere manier dan dopamine-neuronen en TD-modellen, en ze kunnen regels voor foutleren implementeren, zoals de Rescorla-Wagner-regel (Thompson en Gluck 1991) of de formeel equivalente Widrow-Hoff-regel (Kawato en Gomi 1992).