Voorspellende beloning sein van dopamienneurone (1998)

Funksies van belonings

Sekere voorwerpe en gebeure in die omgewing is van besondere motiveringsbetekenis deur hul uitwerking op welsyn, oorlewing en voortplanting. Volgens die gedragsreaksies wat ontlok word, kan die motiveringswaarde van omgewingsvoorwerpe aptytwekkend (lonend) of afkeerend (straf) wees. (Let daarop dat "aptytwekkende" sinoniem vir "belonend" gebruik word, maar nie vir "voorbereidend nie.") Appetitiewe voorwerpe het drie skeibare basiese funksies. In hul eerste funksie ontlok belonings benadering en volkome gedrag. Dit is as gevolg van die voorwerpe wat deur aangebore meganismes of, in die meeste gevalle, leer, met aptytwaarde gemerk word. In hul tweede funksie verhoog belonings die frekwensie en intensiteit van gedrag wat tot sulke voorwerpe lei (leer), en handhaaf hulle aangeleerde gedrag deur uitwissing te voorkom. Belonings dien as positiewe versterkers van gedrag in klassieke en instrumentele kondisioneringsprosedures. In algemene aansporingsleer verkry omgewingstimuli aptytwaarde na aanleiding van klassiek gekondisioneerde stimulus-beloning assosiasies en induseer benaderingsgedrag (Bindra 1968). In instrumentele kondisionering "versterk" belonings gedrag deur assosiasies tussen stimuli en gedragsreaksies te versterk (Wet van effek: Thorndike 1911). Dit is die essensie van "terugkom vir meer" en hou verband met die algemene idee van belonings wat verkry word vir iets goed gedoen. In 'n instrumentele vorm van aansporingsleer, is belonings "aansporings" en dien dit as doelwitte van gedrag na aanleiding van assosiasies tussen gedragsreaksies en -uitkomste (Dickinson en Balleine 1994). In hul derde funksie veroorsaak belonings subjektiewe gevoelens van plesier (hedonia) en positiewe emosionele toestande. Aversiewe stimuli funksioneer in teenoorgestelde rigtings. Hulle veroorsaak onttrekkingsreaksies en tree op as negatiewe versterkers deur vermydingsgedrag op herhaalde aanbieding te verhoog en te handhaaf, en sodoende die impak van skadelike gebeurtenisse te verminder. Verder veroorsaak hulle interne emosionele toestande van woede, vrees en paniek.

Funksies van voorspellings

Voorspellings verskaf vooraf inligting oor toekomstige stimuli, gebeure of stelseltoestande. Hulle bied die basiese voordeel om tyd te wen vir gedragsreaksies. Sommige vorme van voorspellings skryf motiveringswaardes toe aan omgewingstimuli deur assosiasie met spesifieke uitkomste, en identifiseer dus voorwerpe van lewensbelang en onderskei hulle van minder waardevolle voorwerpe. Ander vorme kodeer fisiese parameters van voorspelde voorwerpe, soos ruimtelike posisie, snelheid en gewig. Voorspellings laat 'n organisme toe om toekomstige gebeure te evalueer voordat dit werklik plaasvind, laat die keuse en voorbereiding van gedragsreaksies toe, en verhoog die waarskynlikheid om voorwerpe wat met motiveringswaardes gemerk is, te nader of te vermy. Byvoorbeeld, herhaalde bewegings van voorwerpe in dieselfde volgorde laat 'n mens toe om komende posisies te voorspel en reeds die volgende beweging voor te berei terwyl jy die huidige voorwerp najaag. Dit verminder reaksietyd tussen individuele teikens, versnel algehele prestasie en lei tot 'n vroeëre uitkoms. Voorspellende oogbewegings verbeter gedragsprestasie deur vooraffokusering (Blomme en Downing 1978).

Op 'n meer gevorderde vlak stel die vooraf-inligting wat deur voorspellings verskaf word, 'n mens in staat om besluite te neem tussen alternatiewe om bepaalde stelseltoestande te bereik, doelwitvoorwerpe wat selde voorkom, te benader of onherstelbare nadelige effekte te vermy. Industriële toepassings gebruik interne modelbeheer om stelseltoestande te voorspel en daarop te reageer voordat dit werklik plaasvind (Garcia et al. 1989). Byvoorbeeld, die "vlieg-vir-draad"-tegniek in moderne lugvaart bereken voorspelbare komende toestande van vliegtuie. Besluite vir vliegmaneuvers neem hierdie inligting in ag en help om oormatige spanning op die meganiese komponente van die vliegtuig te vermy en sodoende gewig te verminder en die werkingsreeks te vergroot.

Die gebruik van voorspellende inligting hang af van die aard van die voorgestelde toekomstige gebeure of stelseltoestande. Eenvoudige voorstellings het direk betrekking op die posisie van opkomende teikens en die daaropvolgende gedragsreaksie, en verminder dus reaksietyd op 'n taamlik outomatiese wyse. Hoër vorme van voorspellings is gebaseer op voorstellings wat logiese inferensie toelaat, wat met verskillende grade van intensionaliteit en keuse toeganklik en behandel kan word. Hulle word dikwels bewustelik in mense verwerk. Voordat die voorspelde gebeure of sisteemtoestande plaasvind en gedragsreaksies uitgevoer word, laat sulke voorspellings 'n mens toe om verskeie strategieë verstandelik te evalueer deur kennis uit verskillende bronne te integreer, verskeie maniere van reaksie te ontwerp en die winste en verliese van elke moontlike reaksie te vergelyk.

Gedragskondisionering

Assosiatiewe aptytsleer behels die herhaalde en voorwaardelike paring tussen 'n arbitrêre stimulus en 'n primêre beloning (Fig. 1). Dit lei tot toenemend gereelde benaderingsgedrag wat deur die nou "gekondisioneerde" stimulus geïnduseer word, wat deels lyk soos die benaderingsgedrag wat deur die primêre beloning ontlok word en ook deur die aard van die gekondisioneerde stimulus beïnvloed word. Dit blyk dat die gekondisioneerde stimulus dien as 'n voorspeller van beloning en, dikwels op grond van 'n gepaste dryfkrag, 'n interne motiveringstoestand stel wat tot die gedragsreaksie lei. Die ooreenkoms van benaderingsreaksies dui daarop dat sommige van die algemene, voorbereidende komponente van die gedragsreaksie van die primêre beloning na die vroegste gekondisioneerde, beloning-voorspellende stimulus oorgedra word. Dus dien die gekondisioneerde stimulus deels as 'n motiverende plaasvervanger vir die primêre stimulus, waarskynlik deur Pavloviaanse leer (Dickinson 1980).

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 1. 

Verwerking van aptytstimuli tydens leer. 'n Willekeurige stimulus word geassosieer met 'n primêre voedsel- of vloeistofbeloning deur herhaalde, voorwaardelike paring. Hierdie gekondisioneerde, beloning-voorspellende stimulus veroorsaak 'n interne motiveringstoestand deur 'n verwagting van die beloning op te wek, dikwels op grond van 'n ooreenstemmende honger- of dorsdrang, en ontlok die gedragsreaksie. Hierdie skema herhaal basiese idees van aansporingsmotiveringsteorie wat ontwikkel is deur Bindra (1968) en Bolles (1972). Dit is van toepassing op klassieke kondisionering, waar beloning outomaties gelewer word na die gekondisioneerde stimulus, en op instrumentele (operante) kondisionering, waar beloningslewering 'n reaksie deur die subjek op die gekondisioneerde stimulus vereis. Hierdie skema is ook van toepassing op aversiewe kondisionering wat om kortheidsredes nie verder uitgebrei word nie.

Baie sogenaamde "ongekondisioneerde" kos en vloeibare belonings word waarskynlik deur ondervinding geleer, soos elke besoeker aan die buiteland kan bevestig. Die primêre beloning kan dan bestaan ​​uit die smaak wat ervaar word wanneer die voorwerp die smaakreseptore aktiveer, maar dit kan weer geleer word. Die uiteindelike lonende effek van voedingsvoorwerpe bestaan ​​waarskynlik in hul spesifieke invloede op basiese biologiese veranderlikes, soos elektroliet-, glukose- of aminosuurkonsentrasies in plasma en brein. Hierdie veranderlikes word gedefinieer deur die vegetatiewe behoeftes van die organisme en ontstaan ​​deur evolusie. Diere vermy voedingstowwe wat nie belangrike vegetatiewe veranderlikes beïnvloed nie, byvoorbeeld voedsel wat sulke essensiële aminosure soos histidien (Rogers en Harper 1970), threonien (Hrupka et al. 1997; Wang et al. 1996), of metionien (Delaney en Gelperin 1986). 'n Paar primêre belonings kan bepaal word deur aangebore instinkte en ondersteun aanvanklike benaderingsgedrag en inname in die vroeë lewe, terwyl die meerderheid van belonings tydens die daaropvolgende lewenservaring van die vak geleer sal word. Die fisiese voorkoms van belonings kan dan gebruik word om die veel stadiger vegetatiewe effekte te voorspel. Dit sal die opsporing van belonings dramaties versnel en 'n groot voordeel vir oorlewing inhou. Die aanleer van belonings stel vakke ook in staat om 'n veel groter verskeidenheid voedingstowwe as effektiewe belonings te gebruik en sodoende hul kans op oorlewing in sones van skaars hulpbronne te verhoog.

Aktivering deur primêre aptytstimuli

Ongeveer 75% van dopamienneurone toon fasiese aktiverings wanneer diere aan 'n klein stukkie versteekte kos raak tydens ondersoekende bewegings in die afwesigheid van ander fasiese stimuli, sonder om deur die beweging self geaktiveer te word (Romo en Schultz 1990). Die oorblywende dopamienneurone reageer nie op enige van die getoetste omgewingstimuli nie. Dopamienneurone word ook geaktiveer deur 'n druppel vloeistof wat by die mond afgelewer word buite enige gedragstaak of terwyl verskillende paradigmas soos visuele of ouditiewe reaksietydtake, ruimtelike vertraagde reaksie of afwisseling, en visuele diskriminasie, dikwels in dieselfde dier geleer word (Fig. . 2 Top) (Hollerman en Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz en Schultz 1994; Schultz et al. 1993). Die beloningsreaksies vind onafhanklik van 'n leerkonteks plaas. Dit lyk dus nie asof dopamienneurone tussen verskillende voedselvoorwerpe en vloeibare belonings onderskei nie. Hulle antwoorde onderskei egter belonings van voorwerpe wat nie beloon word nie (Romo en Schultz 1990). Slegs 14% van dopamienneurone toon die fasiese aktiverings wanneer primêre aversiewe stimuli aangebied word, soos 'n lugpof na die hand of hipertoniese soutoplossing na die mond, en die meeste van die geaktiveerde neurone reageer ook op belonings (Mirenowicz en Schultz 1996). Alhoewel dit nie skadelik is nie, is hierdie stimuli aversief deurdat hulle gedrag ontwrig en aktiewe vermydingsreaksies veroorsaak. Dopamienneurone is egter nie heeltemal onsensitief vir aversiewe stimuli nie, soos getoon deur stadige depressies of af en toe stadige aktiverings na pynknyp-stimuli by verdoofde ape (Schultz en Romo 1987) en deur verhoogde striatale dopamienvrystelling na elektriese skok en stertknyp by wakker rotte (Abercrombie et al. 1989; Doherty en Gratton 1992; Louilot et al. 1986; Young et al. 1993). Dit dui daarop dat die fasiese reaksies van dopamienneurone verkieslik omgewingstimuli met primêre aptytwaarde rapporteer, terwyl afkerende gebeurtenisse met 'n aansienlik stadiger tydsverloop aangedui kan word.

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 2. 

Dopamienneurone rapporteer belonings volgens 'n fout in beloningsvoorspelling. Top: druppel vloeistof kom voor alhoewel geen beloning op hierdie tydstip voorspel word nie. Voorkoms van beloning vorm dus 'n positiewe fout in die voorspelling van beloning. Dopamienneuron word geaktiveer deur die onvoorspelbare voorkoms van die vloeistof. Midde-: gekondisioneerde stimulus voorspel 'n beloning, en die beloning vind plaas volgens die voorspelling, dus geen fout in die voorspelling van beloning nie. Dopamienneuron word nie geaktiveer deur die voorspelde beloning nie (Regs). Dit toon ook 'n aktivering na die beloning-voorspellende stimulus, wat plaasvind ongeag 'n fout in die voorspelling van die latere beloning (Links). Bottom: gekondisioneerde stimulus voorspel 'n beloning, maar die beloning vind nie plaas nie weens 'n gebrek aan reaksie deur die dier. Aktiwiteit van die dopamienneuron is onderdruk presies op die tydstip wanneer die beloning sou plaasgevind het. Let op die depressie wat > 1 s na die gekondisioneerde stimulus voorkom sonder enige tussenliggende stimuli, wat 'n interne proses van beloningverwagting openbaar. Neuronale aktiwiteit in die 3 grafieke volg die vergelyking: dopamienreaksie (Beloning) = beloning het plaasgevind - beloning voorspel. CS, gekondisioneerde stimulus; R, primêre beloning. Herdruk uit Schultz et al. (1997) met toestemming van American Association for the Advancement of Science.

Onvoorspelbaarheid van beloning

'n Belangrike kenmerk van dopamienreaksies is hul afhanklikheid van gebeurtenis onvoorspelbaarheid. Die aktiverings na belonings vind nie plaas wanneer voedsel- en vloeistofbelonings voorafgegaan word deur fasiese stimuli wat gekondisioneer is om sulke belonings te voorspel nie (Fig. 2, middel) (Ljungberg et al. 1992; Mirenowicz en Schultz 1994; Romo en Schultz 1990). Een deurslaggewende verskil tussen leer en ten volle verworwe gedrag is die mate van beloning onvoorspelbaarheid. Dopamienneurone word geaktiveer deur belonings tydens die leerfase, maar hou op om te reageer na volle verkryging van visuele en ouditiewe reaksietydtake (Ljungberg et al. 1992; Mirenowicz en Schultz 1994), ruimtelike vertraagde reaksietake (Schultz et al. 1993), en gelyktydige visuele diskriminasies (Hollerman en Schultz 1996). Die verlies aan reaksie is nie te wyte aan 'n ontwikkelende algemene onsensitiwiteit vir belonings nie, aangesien aktiverings na belonings wat buite take gelewer word, nie afneem gedurende 'n paar maande van eksperimentering nie (Mirenowicz en Schultz 1994). Die belangrikheid van onvoorspelbaarheid sluit die tyd van beloning in, soos gedemonstreer deur kortstondige aktiverings na belonings wat skielik vroeër of later gelewer word as wat voorspel is (Hollerman en Schultz 1996). Saamgevat moet die voorkoms van beloning, insluitend die tyd daarvan, onvoorspelbaar wees om dopamienneurone te aktiveer.

Depressie deur weglating van voorspelde beloning

Dopamienneurone word onderdruk presies op die tyd van die gewone voorkoms van beloning wanneer 'n volledig voorspelde beloning nie plaasvind nie, selfs in die afwesigheid van 'n onmiddellik voorafgaande stimulus (Fig. 2, onderkant). Dit word waargeneem wanneer diere versuim om beloning te kry as gevolg van foutiewe gedrag, wanneer vloeistofvloei deur die eksperiment gestop word ten spyte van korrekte gedrag, of wanneer 'n klep hoorbaar oopmaak sonder om vloeistof te lewer (Hollerman en Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). Wanneer beloning aflewering vir 0.5 of 1.0 s vertraag word, vind 'n onderdrukking van neuronale aktiwiteit plaas op die gereelde tyd van die beloning, en 'n aktivering volg op die beloning op die nuwe tyd (Hollerman en Schultz 1996). Albei reaksies vind slegs tydens 'n paar herhalings plaas totdat die nuwe tyd van beloningslewering weer voorspel word. Daarenteen lei die lewering van beloning vroeër as gewoonlik tot 'n aktivering op die nuwe tyd van beloning, maar versuim om 'n depressie op die gewone tyd te veroorsaak. Dit dui daarop dat buitengewone vroeë aflewering van beloning die beloningvoorspelling vir die gewone tyd kanselleer. Dopamienneurone monitor dus beide die voorkoms en die tyd van beloning. In die afwesigheid van stimuli wat die weggelaat beloning onmiddellik voorafgaan, vorm die depressies nie 'n eenvoudige neuronale reaksie nie, maar weerspieël 'n verwagtingsproses gebaseer op 'n interne klok wat die presiese tyd van voorspelde beloning volg.

Aktivering deur gekondisioneerde, beloning-voorspellende stimuli

Ongeveer 55-70% van dopamienneurone word geaktiveer deur gekondisioneerde visuele en ouditiewe stimuli in die verskillende klassiek of instrumenteel gekondisioneerde take wat vroeër beskryf is (Fig. 2, middel en onderkant) (Hollerman en Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz en Schultz 1994; Schultz 1986; Schultz en Romo 1990; P. Waelti, J. Mirenowicz en W. Schultz, ongepubliseerde data). Die eerste dopamienreaksies op gekondisioneerde lig is deur Miller et al. (1981) in rotte wat met haloperidol behandel is, wat die voorkoms en spontane aktiwiteit van dopamienneurone verhoog het, maar tot meer volgehoue ​​reaksies gelei het as in ongerugte diere. Alhoewel reaksies naby aan gedragsreaksies voorkom (Nishino et al. 1987), is hulle nie verwant aan arm- en oogbewegings self nie, aangesien hulle ook ipsilateraal tot die bewegende arm voorkom en in proewe sonder arm- of oogbewegings (Schultz en Romo 1990). Gekondisioneerde stimuli is ietwat minder effektief as primêre belonings in terme van reaksiegrootte en fraksies van neurone wat geaktiveer is. Dopamienneurone reageer slegs op die aanvang van gekondisioneerde stimuli en nie op hul afwyking nie, selfs al voorspel stimulusafset die beloning (Schultz en Romo 1990). Dopamienneurone onderskei nie tussen visuele en ouditiewe modaliteite van gekondisioneerde aptytstimuli nie. Hulle onderskei egter tussen aptytwekkende en neutrale of aversiewe stimuli solank hulle fisies genoeg verskillend is (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz en W. Schultz, ongepubliseerde data). Slegs 11% van dopamienneurone, die meeste van hulle met aptytresponse, toon die tipiese fasiese aktiverings ook in reaksie op gekondisioneerde aversiewe visuele of ouditiewe stimuli in aktiewe vermydingstake waarin diere 'n sleutel vrystel om 'n lugpof of 'n druppel hipertoniese sout te vermy (Mirenowicz en Schultz 1996), hoewel sulke vermyding as "lonend" beskou kan word. Hierdie paar aktiverings is nie sterk genoeg om 'n gemiddelde bevolkingsreaksie te veroorsaak nie. Dus rapporteer die fasiese reaksies van dopamienneurone verkieslik omgewingstimuli met aptytwekkende motiveringswaarde, maar sonder om tussen verskillende sensoriese modaliteite te onderskei.

Oordrag van aktivering

Gedurende die loop van leer word dopamienneurone geleidelik geaktiveer deur gekondisioneerde, beloning-voorspellende stimuli en verloor geleidelik hul reaksies op primêre voedsel- of vloeibare belonings wat voorspel word (Hollerman en Schultz 1996; Ljungberg et al. 1992; Mirenowicz en Schultz 1994) (Fig. 2 en 3). Tydens 'n verbygaande leerperiode ontlok beide belonings en gekondisioneerde stimuli dopamienaktiverings. Hierdie oordrag van primêre beloning na die gekondisioneerde stimulus vind oombliklik plaas in enkele dopamienneurone wat in twee goed aangeleerde take getoets word met onderskeidelik onvoorspelde en voorspelde belonings (Romo en Schultz 1990).

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 3. 

Dopamienreaksie-oordrag na vroegste voorspellende stimulus. Reaksies op onvoorspelde primêre beloning-oordrag na progressief vroeër beloning-voorspellende stimuli. Alle uitstallings toon populasiehistogramme wat verkry is deur gemiddeld genormaliseerde perievent-tyd-histogramme van alle dopamienneurone wat in die aangeduide gedragsituasies aangeteken is, onafhanklik van die teenwoordigheid of afwesigheid van 'n reaksie. Top: buite enige gedragstaak is daar geen bevolkingsreaksie in 44 neurone wat met 'n klein lig getoets is nie (data van Ljungberg et al. 1992), maar 'n gemiddelde reaksie vind in 35 neurone plaas op 'n druppel vloeistof wat by 'n tuit voor die dier se mond afgelewer word (Mirenowicz en Schultz 1994). Midde-: reaksie op 'n beloning-voorspellende snellerstimulus in 'n 2-keuse ruimtelike bereikingstaak, maar afwesigheid van reaksie op beloning gelewer tydens gevestigde taakverrigting in dieselfde 23 neurone (Schultz et al. 1993). Bottom: reaksie op 'n instruksieteken wat die beloning-voorspellende snellerstimulus voorafgaan met 'n vaste interval van 1 s in 'n opdragte ruimtelike bereikingstaak (19 neurone) (Schultz et al. 1993). Tydbasis word verdeel as gevolg van wisselende intervalle tussen gekondisioneerde stimuli en beloning. Herdruk uit Schultz et al. (1995b) met toestemming deur MIT Press.

Onvoorspelbaarheid van gekondisioneerde stimuli

Die aktiverings na gekondisioneerde, beloning-voorspellende stimuli vind nie plaas wanneer hierdie stimuli self op 'n vaste interval voorafgegaan word deur fasiese gekondisioneerde stimuli in ten volle gevestigde gedragsituasies nie. Met reeksgekondisioneerde stimuli word dopamienneurone dus geaktiveer deur die vroegste beloning-voorspellende stimulus, terwyl alle stimuli en belonings wat op voorspelbare oomblikke daarna volg, ondoeltreffend is (Fig. 3) (Schultz et al. 1993). Slegs ewekansig gespasieerde opeenvolgende stimuli lok individuele response uit. Uitgebreide ooroefening met hoogs stereotipe taakverrigting verswak ook die reaksies op gekondisioneerde stimuli, waarskynlik omdat stimuli voorspel word deur gebeure in die voorafgaande proef (Ljungberg et al. 1992). Dit dui daarop dat stimulus onvoorspelbaarheid 'n algemene vereiste is vir alle stimuli wat dopamienneurone aktiveer.

Depressie deur weglating van voorspelde gekondisioneerde stimuli

Voorlopige data van 'n vorige eksperiment (Schultz et al. 1993) stel voor dat dopamienneurone ook depressief is wanneer 'n gekondisioneerde, beloning-voorspellende stimulus self op 'n vaste tyd deur 'n voorafgaande stimulus voorspel word, maar nie plaasvind nie as gevolg van 'n fout van die dier. Soos met primêre belonings, vind die depressies plaas ten tyde van die gewone voorkoms van die gekondisioneerde stimulus, sonder om direk deur 'n voorafgaande stimulus ontlok te word. Dus kan die weglating-geïnduseerde depressie veralgemeen word na alle aptytgebeurtenisse.

Aktivering-depressie met responsveralgemening

Dopamienneurone reageer ook op stimuli wat nie belonings voorspel nie, maar baie ooreenstem met beloningsvoorspellende stimuli wat in dieselfde konteks voorkom. Hierdie response bestaan ​​meestal uit 'n aktivering gevolg deur 'n onmiddellike depressie, maar kan soms uit suiwer aktivering of suiwer depressie bestaan. Die aktiverings is kleiner en minder gereeld as dié wat volg op stimuli wat beloning voorspel, en die depressies word in 30-60% van neurone waargeneem. Dopamienneurone reageer op visuele stimuli wat nie deur beloning gevolg word nie, maar baie soos beloning-voorspellende stimuli lyk, ten spyte van korrekte gedragsdiskriminasie (Schultz en Romo 1990). Die oopmaak van 'n leë boks slaag nie daarin om dopamienneurone te aktiveer nie, maar word effektief in elke proef sodra die boks af en toe kos bevat (Ljungberg et al. 1992; Schultz 1986; Schultz en Romo 1990) of wanneer 'n naburige, identiese boks wat altyd kos bevat, ewekansig afwisselend oopmaak (Schultz en Romo 1990). Die leë boks ontlok swakker aktiverings as die aas boks. Diere voer onoordeelkundige oogoriënterende reaksies op elke boks uit, maar nader slegs die aasboks met hul hand. Tydens leer, gaan dopamienneurone voort om te reageer op voorheen gekondisioneerde stimuli wat hul beloningsvoorspelling verloor wanneer beloning gebeurlikhede verander (Schultz et al. 1993) of reageer op nuwe stimuli wat lyk soos voorheen gekondisioneerde stimuli (Hollerman en Schultz 1996). Reaksies vind selfs plaas op aversiewe stimuli wat in ewekansige afwisseling aangebied word met fisies soortgelyke, gekondisioneerde aptytstimuli van dieselfde sensoriese modaliteit, die aversiewe respons is swakker as die aptytwekkende een (Mirenowicz en Schultz 1996). Reaksies veralgemeen selfs tot gedragsgedoofde aptytstimuli. Blykbaar veralgemeen neuronale response na nie-aptyttige stimuli as gevolg van hul fisiese ooreenkoms met eetlusstimuli.

Nuwigheidsreaksies

Nuwe stimuli ontlok aktiverings in dopamienneurone wat dikwels deur depressies gevolg word en voortduur solank gedragsgerigte reaksies plaasvind (bv. okulêre sakkades). Aktiverings neem af saam met oriënterende reaksies na verskeie stimulusherhalings, afhangende van die fisiese impak van stimuli. Terwyl klein lig-emitterende diodes skaars nuwe reaksies ontlok, lig flitse en die vinnige visuele en ouditiewe opening van 'n klein boks aktiverings ontlok wat geleidelik tot basislyn verval gedurende <100 proewe (Ljungberg et al. 1992). Harde klikke of groot prente onmiddellik voor 'n dier ontlok sterk nuwigheidsreaksies wat verval, maar steeds meetbare aktiverings veroorsaak met >1,000 XNUMX proewe (Hollerman en Schultz 1996; Horvitz et al. 1997; Steinfels et al. 1983). Figuur 4 toon skematies die verskillende reaksiegroottes met nuwe stimuli van verskillende fisiese opvallendheid. Reaksies verval geleidelik met herhaalde blootstelling, maar kan voortduur teen verminderde groottes met baie opvallende stimuli. Reaksiegroottes neem weer toe wanneer dieselfde stimuli appetitief gekondisioneer word. In teenstelling hiermee neem reaksies op nuwe, selfs groot, stimuli vinnig af wanneer die stimuli gebruik word om aktiewe vermydingsgedrag te kondisioneer (Mirenowicz en Schultz 1996). Baie min neurone (<5%) reageer vir meer as 'n paar proewe op opvallende dog fisies swak stimuli, soos verkrummeling van papier of growwe handbewegings van die eksperimenteerder.

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 4. 

Tydsverloop van aktiverings van dopamienneurone tot nuwe, waarskuwing en gekondisioneerde stimuli. Aktiverings na nuwe stimuli neem af met herhaalde blootstelling oor opeenvolgende proewe. Hul omvang hang af van die fisiese opvallendheid van stimuli aangesien sterker stimuli hoër aktiverings veroorsaak wat soms dié na gekondisioneerde stimuli oorskry. Veral opvallende stimuli gaan voort om dopamienneurone met beperkte omvang te aktiveer, selfs nadat hulle hul nuwigheid verloor het sonder om met primêre belonings gepaard te gaan. Konsekwente aktiverings verskyn weer wanneer stimuli geassosieer word met primêre belonings. Hierdie skema is bygedra deur Jose Contreras-Vidal.

Homogene karakter van response

Die eksperimente wat tot dusver uitgevoer is, het aan die lig gebring dat die meerderheid neurone in middelbrein dopamien selgroepe A8, A9 en A10 baie soortgelyke aktiverings en depressies toon in 'n gegewe gedragsituasie, terwyl die oorblywende dopamienneurone glad nie reageer nie. Daar is 'n neiging vir hoër fraksies van neurone wat in meer mediale streke van die middelbrein reageer, soos die ventrale tegmentale area en mediale substantia nigra, in vergelyking met meer laterale streke, wat soms statistiese betekenisvolheid bereik (Schultz 1986; Schultz et al. 1993). Reaksielatens (50-110 ms) en duur (<200 ms) is soortgelyk onder primêre belonings, gekondisioneerde stimuli en nuwe stimuli. Die dopamienreaksie vorm dus 'n relatief homogene, skalêre bevolkingsein. Dit word in grootte gegradeer deur die responsiwiteit van individuele neurone en deur die fraksie van reageer neurone binne die populasie.

Opsomming 1: aanpasbare response tydens leerepisodes

Die kenmerke van dopamienreaksies op beloningsverwante stimuli word die beste geïllustreer in leerepisodes terwyl belonings veral belangrik is vir die verkryging van gedragsreaksies. Die dopamienbeloningsein ondergaan sistematiese veranderinge tydens die vordering van leer en vind plaas tot die vroegste fasiese beloningsverwante stimulus, dit is óf 'n primêre beloning óf 'n beloning-voorspellende stimulus (Ljungberg et al. 1992; Mirenowicz en Schultz 1994). Tydens leer veroorsaak nuwe, intrinsiek neutrale stimuli kortstondig reaksies wat gou verswak en verdwyn (Fig. 4). Primêre belonings vind onvoorspelbaar plaas tydens aanvanklike paring met sulke stimuli en ontlok neuronale aktiverings. Met herhaalde paring word belonings voorspel deur gekondisioneerde stimuli. Aktiverings na die beloning neem geleidelik af en word oorgedra na die gekondisioneerde, beloning-voorspellende stimulus. As 'n voorspelde beloning egter nie plaasvind nie as gevolg van 'n fout van die dier, is dopamienneurone onderdruk op die tydstip waarop die beloning sou plaasgevind het. Tydens herhaalde leer van take (Schultz et al. 1993) of taakkomponente (Hollerman en Schultz 1996), aktiveer die vroegste gekondisioneerde stimuli dopamienneurone tydens alle leerfases as gevolg van veralgemening na voorheen aangeleerde, soortgelyke stimuli, terwyl daaropvolgende gekondisioneerde stimuli en primêre belonings dopamienneurone net kortstondig aktiveer terwyl hulle onseker is en nuwe gebeurlikhede gevestig word.

Opsomming 2: effektiewe stimuli vir dopamienneurone

Dopamienreaksies word deur drie kategorieë stimuli ontlok. Die eerste kategorie bestaan ​​uit primêre belonings en stimuli wat geldige beloningsvoorspellers geword het deur herhaalde en voorwaardelike paring met belonings. Hierdie stimuli vorm 'n algemene klas eksplisiete beloning-voorspellende stimuli, aangesien primêre belonings dien as voorspellers van vegetatiewe lonende effekte. Effektiewe stimuli het blykbaar 'n waarskuwingskomponent, aangesien slegs stimuli met 'n duidelike aanvang effektief is. Dopamienneurone toon suiwer aktiverings na eksplisiete beloning-voorspellende stimuli en is depressief wanneer 'n voorspelde maar weggelaat beloning nie plaasvind nie (Fig. 5, Top).

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 5. 

Skematiese vertoning van reaksies van dopamienneurone op 2 tipes gekondisioneerde stimuli. Top: aanbieding van 'n eksplisiete beloning-voorspellende stimulus lei tot aktivering na die stimulus, geen reaksie op die voorspelde beloning, en depressie wanneer 'n voorspelde beloning nie plaasvind nie. Bottom: aanbieding van 'n stimulus wat baie ooreenstem met 'n gekondisioneerde, beloning-voorspellende stimulus lei tot aktivering gevolg deur depressie, aktivering na die beloning, en geen reaksie wanneer geen beloning plaasvind nie. Aktivering na die stimulus weerspieël waarskynlik reaksieveralgemening as gevolg van fisiese ooreenkoms. Hierdie stimulus voorspel nie eksplisiet 'n beloning nie, maar hou verband met die beloning via sy ooreenkoms met die stimulus wat die beloning voorspel. In vergelyking met eksplisiete beloning-voorspellende stimuli, is aktiverings laer en word dit dikwels gevolg deur depressies, wat dus onderskei tussen beloonde (CS+) en onbeloonde (CS-) gekondisioneerde stimuli. Hierdie skema som resultate van vorige en huidige eksperimente op (Hollerman en Schultz 1996; Ljungberg et al. 1992; Mirenowicz en Schultz 1996; Schultz en Romo 1990; Schultz et al. 1993; P. Waelti en W. Schultz, ongepubliseerde resultate).

Die tweede kategorie bestaan ​​uit stimuli wat veralgemenende response ontlok. Hierdie stimuli voorspel nie belonings eksplisiet nie, maar is effektief vanweë hul fisiese ooreenkoms met stimuli wat eksplisiete beloningsvoorspellers geword het deur kondisionering. Hierdie stimuli veroorsaak aktiverings wat laer in omvang is en minder neurone betrek, in vergelyking met eksplisiete beloning-voorspellende stimuli (Fig. 5, onderkant). Hulle word gereeld gevolg deur onmiddellike depressies. Terwyl die aanvanklike aktivering 'n algemene aptytrespons kan uitmaak wat 'n moontlike beloning aandui, kan die daaropvolgende depressie die voorspelling van geen beloning in 'n algemene beloning-voorspellende konteks weerspieël en die foutiewe beloningsaanname kanselleer. Die gebrek aan eksplisiete beloningsvoorspelling word verder voorgestel deur die teenwoordigheid van aktivering na primêre beloning en die afwesigheid van depressie sonder beloning. Saam met die reaksies op stimuli wat beloning voorspel, blyk dit asof dopamienaktiverings 'n aptytwekkende "merker" aanbring wat aan stimuli gekoppel is wat verband hou met belonings.

Die derde kategorie bestaan ​​uit nuwe of besonder opvallende stimuli wat nie noodwendig met spesifieke belonings verband hou nie. Deur gedragsgerigte reaksies uit te lok, is hierdie stimuli waarskuwend en afdwing hulle aandag. Hulle het egter ook motiverende funksies en kan lonend wees (Fujita 1987). Nuwe stimuli is potensieel aptytwekkend. Nuwe of besonder opvallende stimuli veroorsaak aktiverings wat gereeld deur depressies gevolg word, soortgelyk aan reaksies op veralgemenende stimuli.

Dus rapporteer die fasiese reaksies van dopamienneurone gebeurtenisse met positiewe en potensieel positiewe motiverende effekte, soos primêre belonings, beloning-voorspellende stimuli, beloning-gelykende gebeurtenisse en waarskuwingstimuli. Hulle bespeur egter nie in 'n groot mate gebeurtenisse met negatiewe motiverende effekte, soos aversiewe stimuli nie.

Opsomming 3: die dopamienbeloningvoorspellingsfoutsein

Die dopamienreaksies op eksplisiete beloningsverwante gebeure kan die beste gekonseptualiseer en verstaan ​​word in terme van formele leerteorieë. Dopamienneurone rapporteer belonings relatief tot hul voorspelling eerder as om primêre belonings onvoorwaardelik aan te dui (Fig. 2). Die dopamienreaksie is positief (aktivering) wanneer primêre belonings plaasvind sonder om voorspel te word. Die reaksie is nul wanneer belonings plaasvind soos voorspel. Die reaksie is negatief (depressie) wanneer voorspelde belonings weggelaat word. Dopamienneurone rapporteer dus primêre belonings volgens die verskil tussen die voorkoms en die voorspelling van beloning, wat 'n fout in die voorspelling van beloning genoem kan word (Schultz et al. 1995b, 1997) en word voorlopig geformaliseer as

Vergelyking 1 Hierdie voorstel kan uitgebrei word na gekondisioneerde eetlusgebeurtenisse wat ook deur dopamienneurone gerapporteer word relatief tot voorspelling. Dopamienneurone kan dus 'n fout in die voorspelling van alle eetlusgebeurtenisse rapporteer, en Aand. 1 kan in die meer algemene vorm gestel word

Vergelyking 2Hierdie veralgemening is versoenbaar met die idee dat die meeste belonings eintlik gekondisioneerde stimuli is. Met verskeie opeenvolgende, goed gevestigde beloning-voorspellende gebeure, is slegs die eerste gebeurtenis onvoorspelbaar en ontlok die dopamienaktivering.

Oorsprong van die dopamienreaksie

Watter anatomiese insette kan verantwoordelik wees vir die selektiwiteit en polisensoriese aard van dopamienreaksies? Watter insetaktiwiteit kan lei tot die kodering van voorspellingsfoute, die aanpasbare reaksie-oordrag na die vroegste onvoorspelde aptytgebeurtenis veroorsaak en die tyd van beloning skat?

Fasiese dopamieninvloede op teikenstrukture

GLOBALE AARD VAN DOPAMIEN SIGNAL.

Uiteenlopende projeksies. Daar is ~8,000 XNUMX dopamienneurone in elke substantia nigra van rotte (Oorschot 1996) en 80,000 116,000–XNUMX XNUMX in makaakape (German et al. 1988; Percheron et al. 1989). Elke striatum bevat ~2.8 miljoen neurone in rotte en 31 miljoen in makake, wat lei tot 'n nigrostriatale divergensiefaktor van 300–400. Elke dopamien-akson vertak oorvloedig in 'n beperkte terminale area in striatum en het ~500,000 XNUMX striatale varicosities waaruit dopamien vrygestel word (Andén et al. 1966). Dit lei tot dopamientoevoer na byna elke striatale neuron (Groves et al. 1995) en 'n matig topografiese nigrostriatale projeksie (Lynd-Balta en Haber 1994). Die kortikale dopamieninnervering by ape is die hoogste in gebiede 4 en 6, is steeds groot in frontale, pariëtale en temporale lobbe, en is die laagste in die oksipitale lob (Berger et al. 1988; Williams en Goldman-Rakic ​​1993). Kortikale dopamien-sinapse word hoofsaaklik in lae I en V-VI aangetref, wat 'n groot deel van kortikale neurone daar kontak. Saam met die taamlik homogene reaksie aard, dui hierdie data daarop dat die dopamienreaksie vorder as 'n gelyktydige, parallelle golf van aktiwiteit vanaf die middelbrein na striatum en frontale korteks (Fig. 7).

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 7. 

Wêreldwye dopamiensein wat na striatum en korteks vorder. Relatief homogene populasiereaksie van die meerderheid dopamienneurone op aptytwekkende en waarskuwende stimuli en die progressie daarvan van substantia nigra na postsinaptiese strukture kan skematies beskou word as 'n golf van sinchrone, parallelle aktiwiteit wat teen 'n snelheid van 1-2 m/s vorder (Schultz en Romo 1987) langs die divergerende projeksies van die middelbrein na striatum (caudate en putamen) en korteks. Response is kwalitatief ononderskeibaar tussen neurone van substantia nigra (SN) pars compacta en ventrale tegmentale area (VTA). Dopamieninnervering van alle neurone in striatum en baie neurone in frontale korteks sal die dopamienversterkingssein 'n taamlik globale effek laat uitoefen. Golf is saamgepers om die parallelle aard te beklemtoon.

Dopamien vrystelling. Impulse van dopamienneurone met intervalle van 20–100 ms lei tot 'n baie hoër dopamienkonsentrasie in striatum as dieselfde aantal impulse met intervalle van 200 ms (Garris en Wightman 1994; Gonon 1988). Hierdie nie-lineariteit is hoofsaaklik te wyte aan die vinnige versadiging van die dopamien heropname vervoerder, wat die vrygestelde dopamien uit die ekstrasinaptiese gebied (Chergui et al. 1994). Dieselfde effek word waargeneem in nucleus accumbens (Wightman en Zimmerman 1990) en kom selfs met langer impulsintervalle voor as gevolg van yler heropnameplekke (Garris et al. 1994b; Marshall et al. 1990; Stamford et al. 1988). Dopamienvrystelling na 'n impulsuitbarsting van <300 ms is te kort vir die aktivering van die outoreseptor-gemedieerde vermindering van vrystelling (Chergui et al. 1994) of die selfs stadiger ensiematiese afbraak (Michael et al. 1985). Dus is 'n barsende dopamienreaksie besonder doeltreffend vir die vrystelling van dopamien.

Beramings gebaseer op in vivo voltammetrie dui daarop dat 'n enkele impuls ~1,000 0.5 dopamienmolekules vrystel by sinapse in striatum en nucleus accumbens. Dit lei tot onmiddellike sinaptiese dopamienkonsentrasies van 3.0–XNUMX μM (Garris et al. 1994a; Kawagoe et al. 1992). By 40 μs na vrystelling begin, het > 90% van dopamien die sinaps verlaat, sommige van die res word later uitgeskakel deur sinaptiese heropname (halwe aanvangstyd van 30-37 ms). Op 3-9 ms na vrystelling begin, bereik dopamien konsentrasies 'n piek van ~250 nM wanneer alle naburige spatare gelyktydig dopamien vrystel. Konsentrasies is homogeen binne 'n sfeer van 4 μm diam (Gonon 1997), wat die gemiddelde afstand tussen varicosities (Doucet et al. 1986; Groves et al. 1995). Maksimum diffusie word beperk tot 12 μm deur die heropname vervoerder en word bereik in 75 ms na vrystelling aanvang (half vervoerder aanvangstyd van 30–37 ms). Konsentrasies sal effens laer en minder homogeen wees in streke met minder varicosities of wanneer <100% van dopamienneurone geaktiveer is, maar hulle is twee tot drie keer hoër met impulsuitbarstings. Dus kan die beloning-geïnduseerde, effens sinchrone, barsende aktiverings in ~75% van dopamienneurone lei tot taamlik homogene konsentrasiepieke in die orde van 150-400 nM. Totale toenames van ekstrasellulêre dopamien duur 200 ms na 'n enkele impuls en 500-600 ms na veelvuldige impulse van 20-100 ms-intervalle toegepas gedurende 100-200 ms (Chergui et al. 1994; Dugast et al. 1994). Die ekstrasinaptiese heropname vervoerder (Nirenberg et al. 1996) bring daarna dopamienkonsentrasies terug na hul basislyn van 5–10 nM (Herrera-Marschitz et al. 1996). Dus, in teenstelling met klassieke, streng sinaptiese neurotransmissie, diffundeer sinapties vrygestelde dopamien vinnig in die onmiddellike jukstasinaptiese area en bereik kort pieke van streeks homogene ekstrasellulêre konsentrasies.

Reseptors. Van die twee hooftipes dopamienreseptore, vorm die adenilaatsiklase-aktiverende, D1-tipe reseptore ~80% van dopamienreseptore in striatum. Hiervan is 80% in die lae-affiniteitstoestand van 2–4 μM en 20% in die hoë-affiniteitstoestand van 9–74 nM (Richfield et al. 1989). Die oorblywende 20% van striatale dopamienreseptore behoort aan die adenilase siklase-inhiberende D2-tipe waarvan 10-0% in die lae-affiniteitstoestand is en 80-90% in die hoë-affiniteitstoestand, met soortgelyke affiniteite as D1-reseptore. D1-reseptore het dus in die algemeen 'n ~100 keer laer affiniteit as D2-reseptore. Striatale D1-reseptore is hoofsaaklik geleë op neurone wat na interne pallidum en substantia nigra pars reticulata uitsteek, terwyl striatale D2-reseptore meestal op neurone geleë is wat na eksterne pallidum uitsteek (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey et al. 1993). Die verskille in reseptor sensitiwiteit speel dalk nie 'n rol verder as seintransduksie nie, en verminder dus die verskille in dopamien sensitiwiteit tussen die twee tipes striatale uitset neurone.

Dopamien word tot 30–40% vrygestel vanaf sinaptiese en tot 60–70% van ekstrasinaptiese spatare (Descarries et al. 1996). Sinapties vrygestelde dopamien werk op postsinaptiese dopamienreseptore op vier anatomies verskillende plekke in die striatum, naamlik binne dopamien sinapse, onmiddellik aangrensend aan dopamien sinapse, binne kortikostriatale glutamaat sinapse, en by ekstrasinaptiese plekke ver van vrystelling plekke (Fig. 8) (Levey et al. 1993; Sesack et al. 1994; Yung et al. 1995). D1 reseptore is hoofsaaklik gelokaliseer buite dopamien sinapse (Caillé et al. 1996). Die hoë verbygaande konsentrasies van dopamien na fasiese impulsuitbarstings sal D1-reseptore in die onmiddellike omgewing van die aktiewe vrystellingsplekke aktiveer en D2-reseptore oral aktiveer en selfs versadig. D2-reseptore sal gedeeltelik geaktiveer bly wanneer die omringende dopamienkonsentrasie na die basislyn terugkeer na fasiese verhogings.

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 8. 

Invloede van dopamienvrystelling op tipiese medium stekelrige neurone in die dorsale en ventrale striatum. Dopamien vrygestel deur impulse van sinaptiese varicosities aktiveer 'n paar sinaptiese reseptore (waarskynlik van D2 tipe in die lae-affiniteit toestand) en diffundeer vinnig uit die sinaps om lae affiniteit D1 tipe reseptore (D1?) te bereik wat naby geleë is, binne kortikostriatale sinapse , of op 'n beperkte afstand. Fasies verhoogde dopamien aktiveer nabygeleë hoë-affiniteit D2 tipe reseptore tot versadiging (D2?). D2-reseptore bly gedeeltelik geaktiveer deur die omringende dopamienkonsentrasies na die fasies verhoogde vrystelling. Ekstrasinapties vrygestelde dopamien kan deur diffusie verdun word en hoë-affiniteit D2-reseptore aktiveer. Daar moet kennis geneem word dat, in afwyking van hierdie skematiese diagram, die meeste D1- en D2-reseptore op verskillende neurone geleë is. Glutamaat wat uit kortikostriatale terminale vrygestel word, bereik postsinaptiese reseptore wat op dieselfde dendritiese stekels as dopamien spatare geleë is. Glutamaat bereik ook presinaptiese dopamien-varikositeite waar dit dopamienvrystelling beheer. Dopamieninvloede op stekelrige neurone in frontale korteks is in baie opsigte vergelykbaar.

Opsomming. Die waargenome, matig bars, kort-duur, byna sinchroniese, reaksie van die meerderheid van dopamien neurone lei tot optimale, gelyktydige dopamien vrystelling van die meerderheid van nou gespasieerde striatale varicosities. Die neuronale reaksie veroorsaak 'n kort rukkie dopamien wat vrygestel word vanaf ekstrasinaptiese plekke of vinnig diffundeer vanaf sinapse na die jukstasinaptiese area. Dopamien bereik vinnig streeks homogene konsentrasies wat waarskynlik die dendriete van waarskynlik alle striatale en baie kortikale neurone sal beïnvloed. Op hierdie manier word die beloningsboodskap in 60–80% van dopamienneurone uitgesaai as 'n uiteenlopende, taamlik globale versterkingssein na die striatum, nucleus accumbens en frontale korteks, wat 'n fasiese invloed verseker op 'n maksimum aantal sinapse wat by die verwerking betrokke is. van stimuli en aksies wat tot beloning lei (Fig. 7). Dopamien wat vrygestel word deur neuronale aktiverings na belonings en beloning-voorspellende stimuli sal jukstasinaptiese D1-reseptore beïnvloed op striatale neurone wat uitsteek na interne pallidum en substantia nigra pars reticulata en alle D2-reseptore op neurone wat na eksterne pallidum uitsteek. Die vermindering van dopamienvrystelling wat veroorsaak word deur depressies met weggelaat belonings en beloning-voorspellende stimuli sal die toniese stimulasie van D2-reseptore deur omringende dopamien verminder. Positiewe beloningsvoorspellingsfoute sal dus alle tipe striatale uitsetneurone beïnvloed, terwyl die negatiewe voorspellingsfout hoofsaaklik neurone kan beïnvloed wat na eksterne pallidum uitsteek.

Potensiële kokaïenmeganismes. Blokkering van die dopamien heropname vervoerder deur dwelms soos kokaïen of amfetamien verhoog en verleng fasiese toenames in dopamien konsentrasies (Kerk et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). Die verbetering sal veral uitgespreek word wanneer vinnige, bars-geïnduseerde toenames in dopamienkonsentrasie 'n hoogtepunt bereik voordat terugvoerregulering effektief word. Hierdie meganisme sal lei tot 'n massief verbeterde dopamiensein na primêre belonings en beloning-voorspellende stimuli. Dit sal ook die ietwat swakker dopamiensein verhoog na stimuli wat lyk soos belonings, nuwe stimuli en veral opvallende stimuli wat gereeld in die alledaagse lewe kan voorkom. Die verbetering deur kokaïen sal hierdie nie-belonende stimuli so sterk of selfs sterker laat lyk as natuurlike belonings sonder kokaïen. Postsinaptiese neurone kan so 'n sein verkeerd interpreteer as 'n besonder prominente beloningsverwante gebeurtenis en langtermynveranderinge in sinaptiese oordrag ondergaan.

Leerteorieë

Versterkingsalgoritmes

TYDELIKE VERSKIL LEER.

In 'n besonder doeltreffende klas van versterkingsalgoritmes (Sutton 1988; Sutton en Barto 1981), word sinaptiese gewigte gewysig volgens die fout in versterkingsvoorspelling wat oor opeenvolgende tydstappe bereken word (t) in elke proef

rˆ(t)=r(t)+P(t)-P(t-l)

Vergelyking 6 waar r is versterking en P is versterkingsvoorspelling. P(t) word gewoonlik vermenigvuldig met 'n verdiskonteringsfaktor γ met 0 ≤ γ < 1 om rekening te hou met die dalende invloed van toenemend afgeleë belonings. Vir redes van eenvoud word γ hier op 1 gestel. In die geval van 'n enkele stimulus wat 'n enkele versterker voorspel, die voorspelling P(t − 1) bestaan ​​voor die tyd t van versterking maar eindig ten tyde van versterking [P(t) = 0]. Dit lei tot 'n effektiewe versterkingssein op daardie tydstip (T) van versterking

rˆ (t)=r(t)-P(t-l)

Vergelyking 6aDie r̂(t) term dui die verskil aan tussen werklike en voorspelde versterking. Tydens leer word versterking onvolledig voorspel, die foutterm is positief wanneer versterking plaasvind, en sinaptiese gewigte word verhoog. Na leer, word versterking ten volle voorspel deur 'n voorafgaande stimulus [P(t − 1) = r(t)], die foutterm is nul op korrekte gedrag, en sinaptiese gewigte bly onveranderd. Wanneer versterking weggelaat word as gevolg van onvoldoende werkverrigting of veranderde gebeurlikhede, is die fout negatief en word sinaptiese gewigte verminder. Die r̂(t) term is analoog aan die (λ-V) foutterm van die Rescorla-Wagner-model (Aand. 4 ). Dit gaan egter oor individuele tydstappe (t) binne elke verhoor eerder as voorspellings wat oor opeenvolgende proewe ontwikkel. Hierdie tydelike modelle van versterking kapitaliseer op die feit dat die verworwe voorspellings die presiese tyd van versterking insluit (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

Die temporele verskil (TD) algoritmes gebruik ook verworwe voorspellings vir die verandering van sinaptiese gewigte. In die geval van 'n onvoorspelde, enkelgekondisioneerde stimulus wat 'n enkele versterker voorspel, die voorspelling P(t) begin op tyd (t), daar is geen voorafgaande voorspelling nie [P(t − 1) = 0], en versterking het nog nie plaasgevind nie [r(t) = 0]. Volgens Aand. 6, die model stuur 'n suiwer voorspellende effektiewe versterkingssein op daardie tydstip (t) van die voorspelling

rˆ=P(t)

Vergelyking 6bIn die geval van veelvuldige, opeenvolgende voorspellende stimuli, weer met versterking afwesig ten tyde van voorspellings, die effektiewe versterkingssein op daardie tydstip (T) van die voorspelling weerspieël die verskil tussen die huidige voorspelling P(t) en die voorafgaande voorspelling P(t - 1)

rˆ=P(t)-P(t-l)

Vergelyking 6cDit vorm 'n foutterm van hoër orde versterking. Soortgelyk aan ten volle voorspelde versterkers, word alle voorspellende stimuli wat self ten volle voorspel is uitgekanselleer [P(t − 1) = P(t)], wat tot gevolg het r̂ = 0 op die tye (T) van hierdie stimuli. Slegs die vroegste voorspellende stimulus dra by tot die effektiewe versterkingsein, aangesien hierdie stimulus P(t) word nie deur 'n ander stimulus voorspel nie [P(t − 1) = 0]. Dit lei tot dieselfde r̂ = P(t) op daardie stadium (T) van die eerste voorspelling soos in die geval van 'n enkele voorspelling (Aand. 6b).

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 9. 

Basiese argitekture van neurale netwerkmodelle wat temporele verskilalgoritmes implementeer in vergelyking met basale ganglia-konnektiwiteit. A: in die oorspronklike implementering die effektiewe onderrigsein y - ȳ word in modelneuron bereken A en na presinaptiese terminale van insette gestuur x na neuron B, dus beïnvloed x → B verwerking en verandering van sinaptiese gewigte by die x → B sinaps. Neuron B beïnvloed gedragsuitset via akson y en dra terselfdertyd by tot die aanpasbare eienskappe van neuron A, naamlik sy reaksie op versterker-voorspellende stimuli. Meer onlangse implementerings van hierdie eenvoudige argitektuur gebruik neuron A eerder as neuron B vir die uitstraal van 'n uitset O van die model (Montague et al. 1996; Schultz et al. 1997). Herdruk uit Sutton en Barto (1981) met toestemming van American Psychological Association. B: onlangse implementering skei die onderrigkomponent A, roep die kritikus (Regs), van 'n uitsetkomponent wat uit verskeie verwerkingseenhede bestaan B, die akteur genoem (Links). Die effektiewe versterkingssein r̂(t) word bereken deur die temporele verskil in geweegde versterkervoorspelling γ af te trekP(t) - P(t − 1) van primêre versterking r(t) ontvang van die omgewing (γ is die afslagfaktor wat die waarde van verder versterkers verminder). Versterker-voorspelling word in 'n aparte voorspellingseenheid bereken C, wat 'n deel van die kritikus is en 'n geslote lus met die onderrigelement vorm A, terwyl primêre versterking die kritikus binnekom deur 'n aparte inset r_t. Effektiewe versterkingsein beïnvloed sinaptiese gewigte by inkomende aksone in die akteur, wat die uitset en in die adaptiewe voorspellingseenheid van die kritikus bemiddel. Herdruk uit Barto (1995) met toestemming deur MIT Press. C: basiese konnektiwiteit van die basale ganglia openbaar treffende ooreenkomste met die akteur-kritiese argitektuur. Dopamienprojeksie stuur die versterkingssein na die striatum uit en is vergelykbaar met die eenheid A in dele A en B, die limbiese striatum (of striosoom-pleister) neem die posisie van die voorspellingseenheid in C in die kritikus, en die sensorimotoriese striatum (of matriks) lyk soos die akteurseenhede B. In die oorspronklike model (A), die enkele groot afwyking van gevestigde basale ganglia-anatomie bestaan ​​uit die invloed van neuron A gerig op presinaptiese terminale, terwyl dopamien-sinapse op postsinaptiese dendriete van striatale neurone geleë is (Freund et al. 1984). Herdruk uit Smith en Bolam (1990) met toestemming van Elsevier Press.

Tesame, die effektiewe versterkingssein (Aand. 6 ) is saamgestel uit die primêre versterking, wat afneem met opkomende voorspellings (Aand. 6a) en word geleidelik vervang deur die verworwe voorspellings (Vgl. 6b en 6c). Met opeenvolgende voorspellende stimuli beweeg die effektiewe versterkingsein terug in tyd van die primêre versterker na die vroegste versterker-voorspellende stimulus. Die retrograde oordrag lei tot 'n meer spesifieke toewysing van krediet aan die betrokke sinapse, aangesien voorspellings nader betyds plaasvind aan die stimuli en gedragsreaksies wat gekondisioneer moet word, in vergelyking met versterking aan die einde van die proef (Sutton en Barto 1981).

Implementerings van versterkingsleeralgoritmes gebruik die voorspellingsfout op twee maniere, om sinaptiese gewigte vir gedragsuitset te verander en om die voorspellings self te verkry om die voorspellingsfout voortdurend te bereken (Fig. 9 A) (McLaren 1989; Sutton en Barto 1981). Hierdie twee funksies word geskei in onlangse implementerings, waarin die voorspellingsfout in die adaptiewe kritikus-komponent bereken word en die sinaptiese gewigte in die akteurskomponent wat gedragsuitset bemiddel (Fig. 9 B) (Barto 1995). 'n Positiewe fout verhoog die versterkingsvoorspelling van die kritikus, terwyl 'n negatiewe fout van weggelaat versterking die voorspelling verminder. Dit maak die effektiewe versterkingsein hoogs aanpasbaar.

Neurobiologiese implementering van temporele verskilleer

AANSOEKE VIR NEUROBIOLOGIESE PROBLEME.

Alhoewel dit oorspronklik ontwikkel is op die basis van die Rescorla-Wagner-model van klassieke kondisionering, leer modelle wat TD-algoritmes gebruik 'n wye verskeidenheid gedragstake deur basies instrumentele vorme van kondisionering. Hierdie take bereik vanaf die balansering van 'n paal op 'n wawiel (Barto et al. 1983) om wêreldklas backgammon te speel (Tesauro 1994). Robotte wat TD-algoritmes gebruik, leer om oor tweedimensionele ruimte te beweeg en hindernisse te vermy, te bereik en te gryp (Fagg 1993) of steek 'n pen in 'n gaatjie (Gullapalli et al. 1994). Deur die TD-versterkingssein te gebruik om gedrag direk te beïnvloed en te kies (Fig. 9 A), TD-modelle repliseer voergedrag van heuningbye (Montague et al. 1995) en simuleer menslike besluitneming (Montague et al. 1996). TD-modelle met 'n eksplisiete kritikus-akteur-argitektuur vorm baie kragtige modelle wat oogbewegings doeltreffend aanleer (Friston et al. 1994; Montague et al. 1993), opeenvolgende bewegings (Fig. 10), en oriënterende reaksies (Contreras-Vidal en Schultz 1996). 'n Onlangse model het aktiveer-depressiewe nuwigheidseine bygevoeg vir die verbetering van die onderrigsein, stimulus- en aksiespore in die kritikus en akteur gebruik, en wen-neem-alles-reëls gebruik vir die verbetering van die onderrigsein en om akteurneurone met die grootste aktivering te kies. Dit het beide die reaksies van dopamienneurone en die leergedrag van diere in vertraagde reaksietake in groot detail weergegee (Suri en Schultz 1996). Dit is veral interessant om te sien dat onderrigseine wat voorspellingsfoute gebruik, lei tot vinniger en meer volledige leer in vergelyking met onvoorwaardelike versterkingsseine (Fig. 10) (Friston et al. 1994).

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 10. 

Voordeel van voorspellende versterkingsseine vir leer. 'n Tydelike verskilmodel met kritikus-akteur-argitektuur en geskiktheidsspoor in die akteur is opgelei in 'n opeenvolgende 2 stap-3 keuse taak (ingevoeg links bo). Leer het vinniger gevorder en hoër prestasie bereik wanneer 'n voorspellende versterkingsein as onderrigsein gebruik is (aanpasbare kritikus, Top) in vergelyking met die gebruik van 'n onvoorwaardelike versterkingsein aan die einde van die proef (onderkant). Hierdie effek word geleidelik meer uitgesproke met langer reekse. Vergelykbare prestasie met die onvoorwaardelike versterkingsein sal 'n baie langer geskiktheidsspoor vereis. Data is verkry uit 10 simulasies (R. Suri en W. Schultz, ongepubliseerde waarnemings). 'n Soortgelyke verbetering in leer met voorspellende versterking is gevind in 'n model van okulomotoriese gedrag (Friston et al. 1994).

Moontlike leermeganismes deur die dopamiensein te gebruik

Die voorafgaande afdeling het getoon dat die formele voorspellingsfoutsein wat deur die dopamienreaksie uitgestuur word, 'n besonder geskikte onderrigsein vir modelleer kan uitmaak. Die volgende afdelings beskryf hoe die biologiese dopamienreaksie moontlik gebruik kan word vir leer deur basale ganglia strukture en stel toetsbare hipoteses voor.

POSSINAPTIESE PLASTISITEIT GEMIDDELD DEUR BELONING VOORSPELLINGSSIN.

Leer sou in twee stappe voortgaan. Die eerste stap behels die verkryging van 'n dopamienbeloningvoorspellende reaksie. In daaropvolgende proewe sal die voorspellende dopamiensein spesifiek die sinaptiese gewigte (ω) van Hebbiese tipe kortikostriatale sinapse versterk wat aktief is ten tyde van die beloning-voorspellende stimulus, terwyl die onaktiewe kortikostriatale sinapse onveranderd gelaat word. Dit lei tot die drie faktor leerreël

Δω=ɛ rˆ i o

Vergelyking 8 waar r̂ is dopamienversterkingssein, i is invoeraktiwiteit, o is uitsetaktiwiteit, en ɛ is leertempo.

In 'n vereenvoudigde model kontak vier kortikale insette (i1–i4) die dendritiese stekels van drie mediumgrootte stekelrige striatale neurone (o1–o3; Fig. 11). Kortikale insette konvergeer op striatale neurone, elke inset kontak 'n ander ruggraat. Dieselfde stekels word onselektief gekontak deur 'n algemene dopamien inset R. Aktivering van dopamien inset R dui aan dat 'n onvoorspelbare beloning voorspellende stimulus in die omgewing plaasgevind het, sonder om verdere besonderhede (goedheid sein) te verskaf. Kom ons neem aan dat kortikale inset i2 gelyktydig met dopamienneurone geaktiveer word en een van verskeie spesifieke parameters van dieselfde beloning-voorspellende stimulus kodeer, soos die sensoriese modaliteit, liggaamskant, kleur, tekstuur en posisie, of 'n spesifieke parameter van 'n beweging. veroorsaak deur die stimulus. 'n Stel parameters van hierdie gebeurtenis sal gekodeer word deur 'n stel kortikale insette i2. Kortikale insette i1, i3 en i4 wat nie verband hou met huidige stimuli en bewegings nie, is onaktief. Die dopamienreaksie lei tot onselektiewe dopamienvrystelling by alle varicositeite, maar sal slegs die aktiewe kortikostriatale sinapse i2–o1 en i2–o2 selektief versterk, mits die kortikale insette sterk genoeg is om striatale neurone o1 en o2 te aktiveer.

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 11. 

Differensiële invloede van 'n globale dopamienversterkingssein op selektiewe kortikostriatale aktiwiteit. Dendritiese stekels van 3 mediumgrootte stekelrige striatale neurone o1, o2 en o3 word gekontak deur 4 kortikale insette i1, i2, i3 en i4 en deur aksonale varicosities van 'n enkele dopamienneuron R (of van 'n populasie van homogeen geaktiveerde dopamienneurone ). Elke striatale neuron ontvang ~10,000 1,000 kortikale en 1 2 dopamieninsette. By enkele dendritiese stekels konvergeer verskillende kortikale insette met die dopamieninsette. In 1 weergawe van die model verbeter die dopamiensein gelyktydig aktiewe kortikostriatale oordrag relatief tot nieaktiewe oordrag. Byvoorbeeld, dopamieninvoer R is aktief op dieselfde tyd as kortikale inset i3, terwyl i4, i2, i1 onaktief is. Dit lei tot 'n wysiging van i2 → o2 en i1 → o1 transmissie maar laat i3 → o2, i3 → o3, i4 → o3, en iXNUMX → oXNUMX transmissies onveranderd. In 'n weergawe van die model wat plastisiteit gebruik, word sinaptiese gewigte van kortikostriatale sinapse langtermyn gemodifiseer deur die dopamiensein volgens dieselfde reël. Dit kan voorkom wanneer dopamienreaksies op 'n gekondisioneerde stimulus op kortikostriatale sinapse inwerk wat ook deur hierdie stimulus geaktiveer word. In 'n ander weergawe wat plastisiteit gebruik, kan dopamienreaksies op 'n primêre beloning agteruit in die tyd optree op kortikostriatale sinapse wat voorheen aktief was. Hierdie sinapse sou geskik gemaak word vir wysiging deur 'n hipotetiese postsinaptiese neuronale spoor wat van daardie aktiwiteit gelaat word. In die vergelyking van die basale ganglia-struktuur met die onlangse TD-model van Fig. 9 B, dopamieninvoer R repliseer die kritikus met neuron A, die striatum met neurone o1–o3 repliseer die akteur met neuron B, kortikale insette i1–i4 repliseer die akteur insette, en die uiteenlopende projeksie van dopamienneurone R op veelvuldige stekels van veelvuldige striatale neurone o1–o3 repliseer die globale invloed van die kritikus op die akteur. 'n Soortgelyke vergelyking is gemaak deur Houk et al. (1995). Hierdie tekening is gebaseer op anatomiese data deur Freund et al. (1984), Smith en Bolam (1990), Flaherty en Graybiel (1993), en Smith et al. (1994).

Hierdie leermeganisme gebruik die verworwe dopamienreaksie ten tyde van die beloning-voorspellende stimulus as 'n onderrigsein om langdurige sinaptiese veranderinge te veroorsaak (Fig. 12 A). Leer van die voorspellende stimulus of geaktiveerde beweging is gebaseer op die gedemonstreerde verkryging van dopamienreaksie op die beloning-voorspellende stimulus, tesame met dopamien-afhanklike plastisiteit in die striatum. Plastisiteitsveranderinge kan alternatiewelik voorkom in kortikale of subkortikale strukture stroomaf van striatum na dopamien-gemedieerde korttermynverbetering van sinaptiese oordrag in die striatum. Die terugwerkende effekte van beloning op stimuli en bewegings wat die beloning voorafgaan, word bemiddel deur die reaksie-oordrag na die vroegste beloning-voorspellende stimulus. Die dopamienreaksie op voorspelde of weggelaat primêre beloning word nie gebruik vir plastisiteitsveranderinge in die striatum nie, aangesien dit nie gelyktydig plaasvind met die gebeure wat gekondisioneer moet word nie, hoewel dit betrokke kan wees by die berekening van die dopamienreaksie op die beloning-voorspellende stimulus in analogie met die argitektuur en meganisme van TD-modelle.

• Laai figuur af
• Open in 'n nuwe oortjie
• Laai powerpoint af

Fig. 12. 

Invloede van dopamienversterkingssein op moontlike leermeganismes in die striatum. A: voorspellende dopamienbeloningsreaksie op 'n gekondisioneerde stimulus (CS) het 'n direkte versterkende of plastisiteitseffek op striatale neurotransmissie wat verband hou met daardie stimulus. B: dopamienreaksie op primêre beloning het 'n retrograde plastisiteitseffek op striatale neurotransmissie wat verband hou met die voorafgaande gekondisioneerde stimulus. Hierdie meganisme word bemiddel deur 'n geskiktheidsspoor wat langer as striatale aktiwiteit voortduur. Soliede pyle dui direkte effekte van dopamiensein op striatale neurotransmissie aan (A) of die geskiktheidsspoor (B), klein pyltjie in B dui indirekte effek op striatale neurotransmissie via die geskiktheidsspoor aan.

Elektriese stimulasie van dopamienneurone as ongekondisioneerde stimulus

Elektriese stimulasie van omskrewe breinstreke dien betroubaar as versterking vir die verkryging en handhawing van benaderingsgedrag (Olds en Milner 1954). Sommige baie effektiewe selfstimulasieplekke val saam met dopamienselliggame en aksonbundels in die middelbrein (Corbett en Wise 1980), nucleus accumbens (Phillips et al. 1975), striatum (Phillips et al. 1976), en prefrontale korteks (Mora en Myers 1977; Phillips et al. 1979), maar word ook gevind in strukture wat nie met dopamienstelsels verband hou nie (White en Milner 1992). Elektriese selfstimulasie behels die aktivering van dopamienneurone (Fibiger en Phillips 1986; Wise en Rompré 1989) en word verminder deur 6-hidroksiedopamien-geïnduseerde letsels van dopamien-aksone (Fibiger et al. 1987; Phillips en Fibiger 1978), inhibisie van dopamiensintese (Edmonds en Gallistel 1977), depolarisasie inaktivering van dopamienneurone (Rompré en Wise 1989), en dopamienreseptorantagoniste wat sistemies toegedien word (Furiezos en Wise 1976) of in nucleus accumbens (Mogenson et al. 1979). Selfstimulasie word gefasiliteer met kokaïen- of amfetamien-geïnduseerde toenames in ekstrasellulêre dopamien (Colle en Wise 1980; Stein 1964; Wauquier 1976). Selfstimulasie verhoog direk dopamienbenutting in nucleus accumbens, striatum en frontale korteks (Fibiger et al. 1987; Mora en Myers 1977).

Dit is intrigerend om te dink dat elektries opgewekte dopamienimpulse en vrystelling kan dien as ongekondisioneerde stimulus in assosiatiewe leer, soortgelyk aan stimulasie van oktopamienneurone in heuningbye wat die proboscis refleks leer (Hammer 1993). Dopamienverwante selfstimulasie verskil egter in ten minste drie belangrike aspekte van die natuurlike aktivering van dopamienneurone. Eerder as om net dopamienneurone te aktiveer, aktiveer natuurlike belonings gewoonlik verskeie neuronale stelsels in parallel en laat die verspreide kodering van verskillende beloningskomponente toe (sien verdere teks). Tweedens word elektriese stimulasie toegepas as onvoorwaardelike versterking sonder om 'n fout in beloningsvoorspelling te weerspieël. Derdens word elektriese stimulasie slegs gelewer soos 'n beloning na 'n gedragsreaksie, eerder as ten tyde van 'n beloning-voorspellende stimulus. Dit sal interessant wees om elektriese selfstimulasie op presies dieselfde manier toe te pas as wat dopamienneurone hul sein uitstraal.

Leer tekorte met verswakte dopamien neurotransmissie

Baie studies het die gedrag van diere met verswakte dopamienneurotransmissie ondersoek na plaaslike of sistemiese toediening van dopamienreseptorantagoniste of vernietiging van dopamienaksone in ventrale middelbrein, nucleus accumbens of striatum. Benewens die waarneming van lokomotoriese en kognitiewe tekorte wat aan Parkinsonisme herinner, het hierdie studies gestremdhede in die verwerking van beloningsinligting aan die lig gebring. Die vroegste studies het aangevoer vir tekorte in die subjektiewe, hedoniese persepsie van belonings (Wyslike 1982; Wise et al. 1978). Verdere eksperimentering het die verswakte gebruik van primêre belonings en gekondisioneerde aptytstimuli vir benadering en volmaakte gedrag aan die lig gebring (Beninger et al. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Wise en Colle 1984; Wise en Rompre 1989). Baie studies het gestremdhede in motiverings- en aandagsprosesse beskryf wat aptytlike leer onderlê (Beninger 1983, 1989; Beninger en Hahn 1983; Fibiger en Phillips 1986; LeMoal en Simon 1991; Robbins en Everitt 1992, 1996; White en Milner 1992; Wyslike 1982). Die meeste leertekorte word geassosieer met verswakte dopamien-neurotransmissie in nucleus accumbens, terwyl dorsale striatum-afwykings lei tot sensories-motoriese tekorte (Amalric en Koob 1987; Robbins en Everitt 1992; Wit 1989). Die aanleer van instrumentele take in die algemeen en van diskriminatiewe stimulus-eienskappe in die besonder blyk egter gereeld gespaar te word, en dit word nie heeltemal opgelos of sommige van die oënskynlike leeragterstande deur motoriese prestasie-agterstande verwar kan word nie (Salamone 1992).

Degenerasie van dopamienneurone in Parkinson se siekte lei ook tot 'n aantal verklarende en prosedurele leertekorte, insluitend assosiatiewe leer (Linden et al. 1990; Sprengelmeyer et al. 1995). Tekorte is teenwoordig in proef-en-fout leer met onmiddellike versterking (Vriezen en Moscovitch 1990) en wanneer eksplisiete stimuli met verskillende uitkomste geassosieer word (Knowlton et al. 1996), selfs in vroeë stadiums van Parkinson se siekte sonder kortikale atrofie (Canavan et al. 1989). Parkinson-pasiënte toon ook verswakte tydpersepsie (Pastoor et al. 1992). Al hierdie tekorte kom voor in die teenwoordigheid van L-Dopa-behandeling, wat toniese striatale dopamienvlakke herstel sonder om fasiese dopamienseine te herstel.

Hierdie studies dui daarop dat dopamienneurotransmissie 'n belangrike rol speel in die verwerking van belonings vir benaderingsgedrag en in vorme van leer wat assosiasies tussen stimuli en belonings behels, terwyl 'n betrokkenheid by meer instrumentele vorme van leer bevraagteken kan word. Dit is onduidelik of hierdie tekorte 'n meer algemene gedragsinaktivering weerspieël as gevolg van tonies verminderde dopamienreseptorstimulasie eerder as die afwesigheid van 'n fasiese dopamienbeloningsein. Om hierdie vraag op te los, sowel as meer spesifiek die rol van dopamien in verskillende leervorme toe te lig, sal dit nuttig wees om leer te bestudeer in daardie situasies waarin die fasiese dopamienreaksie op aptytstimuli eintlik voorkom.

Vorme van leer moontlik bemiddel deur die dopamiensein

Die kenmerke van dopamienreaksies en die potensiële invloed van dopamien op striatale neurone kan help om sommige van die leervorme waarin dopamienneurone betrokke kan wees, af te baken. Die voorkeurreaksies op aptytlike in teenstelling met afkerende gebeure sal 'n betrokkenheid by die aanleer van benaderingsgedrag en die bemiddeling van positiewe versterkingseffekte bevoordeel, eerder as onttrekking en straf. Die reaksies op primêre belonings buite take en leerkontekste sal dopamienneurone in staat stel om 'n rol te speel in 'n relatief wye spektrum van leer wat primêre belonings behels, beide in klassieke en instrumentele kondisionering. Die reaksies op stimuli wat beloning voorspel, weerspieël stimulus-beloning assosiasies en sal versoenbaar wees met 'n betrokkenheid by beloningsverwagting onderliggend aan algemene aansporingsleer (Bindra 1968). Daarenteen kodeer dopamienreaksies nie belonings eksplisiet as doelwitvoorwerpe nie, aangesien dit slegs foute in beloningsvoorspelling rapporteer. Hulle blyk ook onsensitief te wees vir motiverende toestande, wat dus 'n spesifieke rol in staatsafhanklike aansporingsleer van doelgerigte handelinge benadeel (Dickinson en Balleine 1994). Die gebrek aan duidelike verwantskappe met arm- en oogbewegings sal 'n rol in die direkte bemiddeling van die gedragsreaksies wat op aansporingstimuli volg, benadeel. Vergelykings tussen ontladings van individuele neurone en aanleer van hele organismes is egter intrinsiek moeilik. Op die sinaptiese vlak bereik fasies vrygestelde dopamien baie dendriete op waarskynlik elke striatale neuron en kan dus 'n plastisiteitseffek uitoefen op die groot verskeidenheid gedragskomponente wat die striatum betrek, wat die aanleer van bewegings kan insluit.

Die spesifieke toestande waarin fasiese dopamienseine 'n rol in leer kan speel, word bepaal deur die soorte stimuli wat effektief 'n dopamienreaksie veroorsaak. In die dierelaboratorium vereis dopamienreaksies die fasiese voorkoms van aptytwekkende, nuwe of besonder opvallende stimuli, insluitend primêre voedingstofbelonings en beloningsvoorspellende stimuli, terwyl aversiewe stimuli nie 'n groot rol speel nie. Dopamienreaksies kan voorkom in alle gedragsituasies wat deur fasiese en eksplisiete uitkomste beheer word, hoewel hoër orde gekondisioneerde stimuli en sekondêre versterkers nog nie getoets is nie. Fasiese dopamienresponse sal waarskynlik nie 'n rol speel in vorme van leer wat nie bemiddel word deur fasies-voorkomende uitkomste nie, en die voorspellende respons sal nie tot leer kan bydra in situasies waarin fasiese voorspellende stimuli nie voorkom nie, soos relatief stadige veranderinge van konteks . Dit lei tot die interessante vraag of die spaar van sommige vorme van leer deur dopamienletsels of neuroleptika bloot die afwesigheid van fasiese dopamienreaksies in die eerste plek kan weerspieël omdat die effektiewe stimuli wat dit ontlok nie gebruik is nie.

Die betrokkenheid van dopamienseine by leer kan geïllustreer word deur 'n teoretiese voorbeeld. Stel jou dopamienreaksies voor tydens die verkryging van 'n reeksreaksietydtaak wanneer 'n korrekte reaksie skielik lei tot 'n voedingstofbeloning. Die beloningsreaksie word daarna oorgedra na progressief vroeër beloning-voorspellende stimuli. Reaksietye verbeter verder met langdurige oefening namate die ruimtelike posisies van teikens toenemend voorspelbaar word. Alhoewel dopamienneurone voortgaan om te reageer op die beloning-voorspellende stimuli, kan die verdere gedragsverbetering hoofsaaklik te wyte wees aan die verkryging van voorspellende verwerking van ruimtelike posisies deur ander neuronale stelsels. Dopamienreaksies sal dus plaasvind tydens die aanvanklike aansporingsgedeelte van leer waarin vakke kom om voorwerpe te benader en eksplisiete primêre, en moontlik gekondisioneerde, belonings te verkry. Hulle sal minder betrokke wees by situasies waarin die vordering van leer verder gaan as die induksie van benaderingsgedrag. Dit sal nie die dopamienrol beperk tot aanvanklike leerstappe nie, aangesien baie situasies vereis om aanvanklik uit voorbeelde te leer en eers later leer deur eksplisiete uitkomste behels.

Voorspellingsfout

Die voorspellingsfoutsein van dopamienneurone sou 'n uitstekende aanduiding wees van die aptytwaarde van omgewingsgebeure relatief tot voorspelling, maar slaag nie daarin om te onderskei tussen voedsel, vloeistowwe en beloning-voorspellende stimuli en tussen visuele, ouditiewe en somatosensoriese modaliteite nie. Hierdie sein kan 'n beloningwaarskuwingsboodskap uitmaak waardeur postsinaptiese neurone ingelig word oor die verrassende voorkoms of weglating van 'n lonende of potensieel lonende gebeurtenis sonder om die identiteit daarvan verder aan te dui. Dit het al die formele kenmerke van 'n kragtige versterkingssein vir leer. Inligting oor die spesifieke aard van belonings is egter van kardinale belang om te bepaal watter van die voorwerpe benader moet word en op watter wyse. Byvoorbeeld, 'n honger dier moet hoofsaaklik kos nader, maar nie vloeistof nie. Om relevant van irrelevante belonings te onderskei, moet die dopamiensein aangevul word met bykomende inligting. Onlangse in vivo dialise-eksperimente het hoër voedsel-geïnduseerde dopamienvrystelling in honger as by versadigde rotte getoon (Wilson et al. 1995). Hierdie dryfafhanklikheid van dopamienvrystelling behels moontlik nie impulsreaksies nie, aangesien ons nie daarin geslaag het om duidelike dryfafhanklikheid met dopamienreaksies te vind wanneer ons tussen vroeë en laat periodes van individuele eksperimentele sessies vergelyk het waartydens diere vloeistofversadig geraak het nie (JL Contreras-Vidal en W. Schultz, ongepubliseerde data).

Besonderhede van beloning

Inligting rakende vloeistof- en voedselbelonings word ook in ander breinstrukture as dopamienneurone verwerk, soos dorsale en ventrale striatum, subtalamiese kern, amygdala, dorsolaterale prefrontale korteks, orbitofrontale korteks en anterior cingulate korteks. Dit lyk egter nie of hierdie strukture 'n globale beloningsvoorspellingsfoutsein uitstuur soortgelyk aan dopamienneurone nie. By primate verwerk hierdie strukture belonings as 1) verbygaande reaksies na die lewering van beloning (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki en Watanabe 1979; Nishijo et al. 1988; Tremblay en Schultz 1995; Watanabe 1989), 2) verbygaande reaksies op leidrade wat beloning voorspel (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay en Schultz 1995; Williams et al. 1993), 3) volgehoue ​​aktiverings tydens die verwagting van onmiddellike komende belonings (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay en Schultz 1995), En 4) modulasies van gedragsverwante aktiverings deur voorspelde beloning (Hollerman et al. 1994; Watanabe 1990, 1996). Baie van hierdie neurone onderskei goed tussen verskillende voedselbelonings en tussen verskillende vloeibare belonings. Hulle verwerk dus die spesifieke aard van die lonende gebeurtenis en kan die persepsie van belonings dien. Sommige van die beloningsreaksies hang af van beloningonvoorspelbaarheid en is verminder of afwesig wanneer die beloning deur 'n gekondisioneerde stimulus voorspel word (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay en W. Schultz, ongepubliseerde data). Hulle kan voorspellings vir spesifieke belonings verwerk, hoewel dit onduidelik is of hulle voorspellingsfoute aandui aangesien hul reaksies op weggelaat belonings onbekend is.

Handhawing van gevestigde prestasie

Drie neuronale meganismes blyk belangrik te wees vir die handhawing van gevestigde gedragsprestasie, naamlik die opsporing van weggelaat belonings, die opsporing van beloning-voorspellende stimuli en die opsporing van voorspelde belonings. Dopamienneurone word depressief wanneer voorspelde belonings weggelaat word. Hierdie sein kan die sinaptiese doeltreffendheid wat verband hou met foutiewe gedragsreaksies verminder en hul herhaling voorkom. Die dopamienreaksie op stimuli wat beloning voorspel, word gehandhaaf tydens gevestigde gedrag en dien dus steeds as voorafinligting. Alhoewel volledig voorspelde belonings nie deur dopamienneurone opgespoor word nie, word dit verwerk deur die nie-dopaminerge kortikale en subkortikale stelsels hierbo genoem. Dit sal belangrik wees om die uitwissing van aangeleerde gedrag te vermy.

Saamgevat blyk dit dat die verwerking van spesifieke belonings vir die aanleer en instandhouding van benaderingsgedrag sterk sal baat by 'n samewerking tussen dopamienneurone wat die onvoorspelde voorkoms of weglating van beloning aandui en neurone in die ander strukture gelyktydig, wat die spesifieke aard van die beloning aandui.

Noradrenalien neurone

Byna die hele populasie van noradrenalienneurone in locus coeruleus in rotte, katte en ape toon taamlik homogene, bifasiese aktiveer-depressante reaksies op visuele, ouditiewe en somatosensoriese stimuli wat oriënterende reaksies ontlok (Aston-Jones en Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Veral effektief is ongereelde gebeurtenisse waaraan diere aandag gee, soos visuele stimuli in 'n vreemde diskriminasietaak (Aston-Jones et al. 1994). Noradrenalienneurone onderskei baie goed tussen prikkelende of motiverende en neutrale gebeurtenisse. Hulle verkry vinnig reaksies op nuwe teikenstimuli tydens omkering en verloor reaksies op vorige teikens voordat gedragsomkering voltooi is (Aston-Jones et al. 1997). Reaksies vind plaas op vrye vloeistof buite enige taak en oorgedra na beloning-voorspellende teikenstimuli binne 'n taak sowel as na primêre en gekondisioneerde aversiewe stimuli (Aston-Jones et al. 1994; Foote et al. 1980; Rasmussen en Jacobs 1986; Sara en Segal 1991). Reaksies is dikwels verbygaande en blyk veranderinge in stimulusvoorkoms of betekenis te weerspieël. Aktiverings mag slegs plaasvind vir 'n paar proewe met herhaalde aanbiedings van voedselvoorwerpe (Vankov et al. 1995) of met gekondisioneerde ouditiewe stimuli wat geassosieer word met vloeibare beloning, aversiewe lugpof of elektriese voetskok (Rasmussen en Jacobs 1986; Sara en Segal 1991). Tydens kondisionering vind reaksies plaas op die eerste paar aanbiedings van nuwe stimuli en verskyn weer kortstondig wanneer versterkingsgebeurlikhede verander tydens verkryging, omkering en uitwissing (Sara en Segal 1991).

Saamgevat lyk die reaksies van noradrenalienneurone in verskeie opsigte soos die reaksies van dopamienneurone, wat geaktiveer word deur primêre belonings, beloning-voorspellende stimuli en nuwe stimuli en die reaksie van primêre na gekondisioneerde eetlusgebeurtenisse oor te dra. Noradrenalienneurone verskil egter van dopamienneurone deur op 'n veel groter verskeidenheid prikkelende stimuli te reageer, deur goed te reageer op primêre en gekondisioneerde aversiewe stimuli, deur goed te onderskei teen neutrale stimuli, deur vinnig gedragsomkerings te volg, en deur afnemende reaksies met herhaalde stimulus te toon. aanbieding wat 100 proewe mag vereis vir soliede aptytresponse (Aston-Jones et al. 1994). Noradrenalienreaksies is sterk verwant aan die wek- of aandagtrekkende eienskappe van stimuli wat oriënterende reaksies ontlok terwyl dit baie minder gefokus is op aptytstimulus-eienskappe soos die meeste dopamienneurone. Hulle word waarskynlik meer gedryf deur aandag te trek as motiverende komponente van aptytgebeurtenisse.

Serotonienneurone

Aktiwiteit in die verskillende raphe-kerne fasiliteer motoriese uitset deur spiertonus te stel en stereotipe motoriese aktiwiteit (Jacobs en Fornal 1993). Dorsale raphe neurone by katte toon fasiese, nie-habituerende reaksies op visuele en ouditiewe stimuli van geen spesifieke gedragsbetekenis nie (Heym et al. 1982; LeMoal en Olds 1979). Hierdie reaksies lyk soos reaksies van dopamienneurone op nuwe en veral opvallende stimuli. Verdere vergelykings sal meer gedetailleerde eksperimentering vereis.

Nucleus basalis Meynert

Primaat basale voorbrein neurone word fasies geaktiveer deur 'n groot verskeidenheid gedragsgebeure, insluitend gekondisioneerde, beloning-voorspellende stimuli en primêre belonings. Baie aktiverings is afhanklik van geheue en assosiasies met versterking in diskriminasie en vertraagde reaksietake. Aktiverings weerspieël die bekendheid van stimuli (Wilson en Rolls 1990a), word belangriker met stimuli en bewegings wat nader aan die tyd van beloning plaasvind (Richardson en DeLong 1990), onderskei goed tussen visuele stimuli op grond van aptyt- en afkeer-assosiasies (Wilson en Rolls 1990b), en verander binne 'n paar proewe tydens omkering (Wilson en Rolls 1990c). Neurone word ook geaktiveer deur aversiewe stimuli, voorspelde visuele en ouditiewe stimuli en bewegings. Hulle reageer gereeld op ten volle voorspelde belonings in goed gevestigde gedragstake (Mitchell et al. 1987; Richardson en DeLong 1986, 1990), hoewel reaksies op onvoorspelbare belonings meer volop is in sommige studies (Richardson en DeLong 1990) maar nie in ander nie (Wilson en Rolls 1990a-c). In vergelyking met dopamienneurone, word hulle geaktiveer deur 'n veel groter spektrum van stimuli en gebeure, insluitende afkeerlike gebeurtenisse, en toon nie die taamlik homogene bevolkingsreaksie op onvoorspelbare belonings en die oordrag daarvan na beloning-voorspellende stimuli nie.

Serebellêre klimvesels

Waarskynlik is die eerste foutgedrewe onderrigsein in die brein gepostuleer om die projeksie van klimvesels van die inferior olyf na Purkinje neurone in die serebellêre korteks te behels (Maart 1969), en baie serebellêre leerstudies is gebaseer op hierdie konsep (Houk et al. 1996; Ito 1989; Kawato en Gomi 1992; Llinas en Wallies, 1993). Klimveselinsette na Purkinje-neurone verander hul aktiwiteit verbygaande wanneer ladings vir bewegings of winste tussen bewegings en visuele terugvoer verander word en ape aanpas by die nuwe situasie (Gilbert en Thach 1977; Ojakangas en Ebner 1992). Die meeste van hierdie veranderinge bestaan ​​uit verhoogde aktiwiteit eerder as die aktivering teenoor depressie reaksies gesien met foute in opponerende rigtings in dopamienneurone. As klimveselaktivering as onderrigsein sou dien, behoort gesamentlike klimvesel-parallelle veselaktivering te lei tot veranderinge in parallelle veselinvoer na Purkinje-neurone. Dit kom inderdaad voor as langtermyn onderdrukking van parallelle veselinsette, hoofsaaklik in in vitro-preparate (Ito 1989). Vergelykbare parallelle veselveranderinge is egter moeiliker om te vind in gedragsleersituasies (Ojakangas en Ebner 1992), en laat die gevolge van potensiële klimveselonderrigseine op die oomblik oop.

'n Tweede argument vir 'n rol van veselklim in leer behels aversiewe klassieke kondisionering. 'n Fraksie van klimvesels word geaktiveer deur aversiewe lugpoffertjies na die kornea. Hierdie response gaan verlore na Pavloviaanse ooglidkondisionering deur 'n ouditiewe stimulus (Sears en Steinmetz 1991), wat 'n verwantskap met die onvoorspelbaarheid van primêre aversiewe gebeure voorstel. Na kondisionering reageer neurone in die serebellêre interpositus kern op die gekondisioneerde stimulus (Berthier en Moore 1990; McCormick en Thompson 1984). Letsels van hierdie kern of inspuitings van die GABA-antagonis bicuculline in die inferior olyf voorkom die verlies van inferior olyfolie lugpof-reaksies na kondisionering, wat daarop dui dat monosinaptiese of polisinaptiese inhibisie van interpositus tot inferior olyf reaksies na kondisionering onderdruk (Thompson en Gluck 1991). Dit kan toelaat dat minderwaardige olyfneurone onderdruk word in die afwesigheid van voorspelde aversiewe stimuli en dus 'n negatiewe fout in die voorspelling van aversiewe gebeurtenisse soortgelyk aan dopamienneurone rapporteer.

Klimvesels kan dus foute in motoriese werkverrigting en foute in die voorspelling van aversiewe gebeure rapporteer, alhoewel dit nie altyd tweerigtingveranderinge behels soos met dopamienneurone nie. Klimvesels blyk nie reaksies op gekondisioneerde aversiewe stimuli te verkry nie, maar sulke reaksies word in nucleus interpositus gevind. Die berekening van aversiewe voorspellingsfoute kan dalende inhiberende insette na minderwaardige olyfneurone behels, in analogie met striatale projeksies na dopamienneurone. Serebellêre stroombane verwerk dus foutseine, al is dit anders as dopamienneurone en TD-modelle, en hulle kan foutleerreëls soos die Rescorla-Wagner-reël (Thompson en Gluck 1991) of die formeel ekwivalente Widrow-Hoff-reël (Kawato en Gomi 1992).