Voorspellende beloning sein van dopamienneurone (1998)

J Neurophysiol. 1998 Jul;80(1):1-27.

Schultz W1.

Abstract

Die effekte van letsels, reseptorblokkering, elektriese selfstimulasie en dwelmmiddels dui daarop dat midbrain dopamien stelsels betrokke is by die verwerking van beloningsinligting en leerbenadering. Die meeste dopamienneurone toon fasiese aktiverings na primêre vloeibare en voedselbelonings en gekondisioneerde, beloningsvoorspellings vir visuele en ouditiewe stimuli. Hulle toon bifasiese, aktiverings-depressie reaksies na stimuli wat lyk soos beloning-voorspellende stimuli of is roman of besonder opvallend. Slegs enkele fasiese aktiverings volg aversiewe stimuli. Dopamienneurone merk sodoende omgewingsprikkels met appetitiewe waarde, voorspel en ontdek belonings en waarskuwing en motiverende gebeurtenisse. Deur nie te onderskei tussen verskillende belonings, blyk dit dat dopamienneurone 'n waarskuwende boodskap uitstuur oor die verrassende teenwoordigheid of afwesigheid van belonings. Alle reaksies op belonings en beloning-voorspellende stimuli hang af van voorspelbaarheid van gebeurtenisse. Dopamienneurone word geaktiveer deur gebeurtenisse wat beter is as wat voorspel word, te beloon, bly nie beïnvloed deur gebeurtenisse wat so goed soos voorspel is nie, en word depressief deur gebeurtenisse wat erger is as wat voorspel word. Deur die toekenning van belonings volgens 'n voorspellingsfout, het dopamienreaksies die formele eienskappe van 'n onderrigsein gepostuleer deur versterkingsleerteorieë. Dopamien-response oordra tydens leer van primêre belonings om belonings te voorspel. Dit kan bydra tot neuronale meganismes onderliggend aan die retrograde-aksie van belonings, een van die hoofraaisels in versterkingsleer. Die impulsrespons stel 'n kort pols van dopamien op baie dendriete vry, wat 'n redelik globale versterkingssin na postsynaptiese neurone uitsaai. Hierdie sein kan benaderingsgedrag verbeter deur voorafbeloningsinligting te verskaf voordat die gedrag plaasvind, en kan bydra tot leer deur sinaptiese oordrag te verander. Die dopamienbeloningssignaal word aangevul deur aktiwiteit in neurone in striatum, frontale korteks en amygdala, wat spesifieke beloningsinligting verwerk, maar nie 'n globale voorspellingsfoutsein uitstuur nie. 'N samewerking tussen die verskillende belonings seine kan verseker dat spesifieke belonings gebruik word vir selektief versterkende gedrag. Onder die ander projeksiestelsels dien noradrenalienneurone oorwegend aandagsmeganismes en kern basalis neurone kode belonings heterogeen. Serebellêre klimvesels sein foute in motoriese prestasie of foute in die voorspelling van aversive gebeure tot serebellêre Purkinje-selle. Die meeste tekorte wat dopamien-afbrekende letsels veroorsaak, word nie maklik verklaar deur 'n gebrekkige beloningssignaal nie, maar kan die afwesigheid van 'n algemene moontlikheidsfunksie van toniese vlakke van ekstrasellulêre dopamien weerspieël. Dopamienstelsels kan dus twee funksies hê, die fasiese oordrag van beloningsinligting en die toniese aanwending van postsynaptiese neurone.

INLEIDING

Toe meersellige organismes ontstaan ​​deur die evolusie van selfreproduserende molekules, het hulle endogene, outoregulerende meganismes ontwikkel wat verseker dat daar in hul behoeftes vir welsyn en oorlewing voorsien word. Vakke neem verskillende vorme van benaderingsgedrag in om hulpbronne te bekom om homeostatiese balans te handhaaf en weer te gee. Een klas hulpbronne word belonings genoem, wat benaderingsgedrag ontlok en versterk. Die funksies van belonings is tydens die evolusie van hoër soogdiere verder ontwikkel om meer gesofistikeerde vorms van individuele en sosiale gedrag te ondersteun. Dus definieer biologiese en kognitiewe behoeftes die aard van belonings, en die beskikbaarheid van belonings bepaal sommige van die basiese parameters van die lewensomstandighede van die proefpersoon.

Belonings kom in verskillende fisiese vorme voor, is hoogs veranderlik in tyd en hang af van die spesifieke omgewing van die vak. Ten spyte van hul belangrikheid, beïnvloed belonings nie die brein deur toegewyde perifere reseptore wat ingestel is op 'n beperkte reeks fisiese modaliteite soos in die geval van primêre sensoriese stelsels nie. In plaas daarvan word beloningsinligting deur die brein onttrek uit 'n groot verskeidenheid polisensoriese, inhomogene en onstabiele stimuli deur gebruik te maak van spesifieke neuronale meganismes. Die hoogs veranderlike aard van belonings vereis hoë grade van aanpassing in neuronale stelsels wat hulle verwerk.

Een van die belangrikste neuronale stelsels wat betrokke is by die verwerking van beloning-inligting, blyk die dopamienstelsel te wees. Gedragstudies toon dat dopamienprojeksies op die striatum en frontale korteks 'n sentrale rol speel in die bemiddeling van die effekte van belonings op benaderingsgedrag en leer. Hierdie resultate is afgelei van selektiewe letsels van verskillende komponente van dopamienstelsels, sistemiese en intracerebrale toediening van direkte en indirekte dopamienreseptoragonistiese en antagonistiese middels, elektriese selfstimulasie en selfadministrasie van belangrike dwelmmiddels, soos kokaïen, amfetamien, opiate, alkohol en nikotien (Beninger en Hahn 1983; Di Chiara 1995; Fibiger en Phillips 1986; Robbins en Everitt 1992; Robinson en Berridge 1993; Wyslike 1996; Wise en Hoffman 1992; Wise et al. 1978).

Die huidige artikel gee 'n opsomming van onlangse navorsing oor die teken van omgewingsmotiverende stimuli deur dopamienneurone en evalueer die potensiële funksies van hierdie seine vir die verandering van gedragsreaksies aan die hand van anatomiese organisasie, leerteorieë, kunsmatige neuronale modelle, ander neuronale stelsels en tekorte na letsels. Al die bekende reaksie eienskappe van dopamienneurone sal beskryf word, maar oorwegend sal die reaksies op beloningsverwante stimuli gekonseptualiseer word omdat hulle die beste verstaan ​​word. As gevolg van die groot hoeveelheid data wat in die literatuur beskikbaar is, sal die hoofstelsel bespreek word, die nigrostriatale dopamienprojeksie, maar projeksies van midbrain dopamienneurone tot ventrale striatum en frontale korteks sal ook oorweeg word sover die huidige kennis dit toelaat.

REWARDS AND PREDICTIONS

Funksies van belonings

Sekere voorwerpe en gebeurtenisse in die omgewing is van besondere motiverende belang deur hul uitwerking op welsyn, oorlewing en voortplanting. Volgens die gedragsreaksies wat ontlok word, kan die motiveringswaarde van omgewingsvoorwerpe aangepas word (lonend) of afkeer (straf). (Let daarop dat "appetitief" sinoniem gebruik word vir "beloonend" maar nie vir "voorbereidend nie.") Appetitiewe voorwerpe het drie skeibare basiese funksies. In hul eerste funksie, belonings ontlok benadering en verbruiksgedrag. Dit is as gevolg van die feit dat die voorwerpe gemerk word met appetitiewe waarde deur middel van aangebore meganismes of, in die meeste gevalle, leer. In hul tweede funksie verhoog belonings die frekwensie en intensiteit van gedrag wat tot sulke voorwerpe lei (leer), en hulle handhaaf geleerde gedrag deur uitwissing te voorkom. Belonings dien as positiewe versterkers van gedrag in klassieke en instrumentele kondisioneringsprosedures. In algemene aansporing leer, omgewings stimuli verkry aptytwaarde na klassiek gekondisioneerde stimulus-beloning verenigings en induksie benadering gedrag (induksie gedrag)Bindra 1968). In instrumentele kondisionering, beloon "versterk" gedrag deur versterking van assosiasies tussen stimuli en gedragsreaksies (Effekwet: Thorndike 1911). Dit is die kern van "terugkom vir meer" en is verwant aan die algemene idee dat belonings verkry word omdat hulle iets goed gedoen het. In 'n instrumentele vorm van aansporingsleer is belonings "aansporings" en dien as doelwitte van gedrag as gevolg van assosiasies tussen gedragsresponse en uitkomste (Dickinson en Balleine 1994). In hul derde funksie, beloon belonings subjektiewe gevoelens van plesier (hedonia) en positiewe emosionele toestande. Aversive stimuli funksioneer in teenoorgestelde rigtings. Hulle veroorsaak onttrekkingsreaksies en tree op as negatiewe versterkers deur vermydingsgedrag op herhaalde voorkoms te verhoog en te handhaaf en sodoende die impak van skadelike gebeurtenisse te verminder. Verder veroorsaak hulle interne emosionele toestande van woede, vrees en paniek.

Funksies van voorspellings

Voorspellings gee vooraf inligting oor toekomstige stimuli, gebeure of stelselstate. Hulle bied die basiese voordeel om tyd vir gedragsreaksies te kry. Sommige vorme van voorspellings skryf motiverende waardes toe aan omgewingsprikkels deur assosiasie met bepaalde uitkomste, en identifiseer dus voorwerpe van noodsaaklike belang en onderskei hulle van minder waardevolle voorwerpe. Ander vorms kode fisiese parameters van voorspelde voorwerpe, soos ruimtelike posisie, snelheid en gewig. Voorspellings laat 'n organisme toe om toekomstige gebeure te evalueer voordat hulle eintlik voorkom, die seleksie en voorbereiding van gedragsreaksies toelaat, en verhoog die waarskynlikheid om voorwerpe wat gemotiveer is met motiverende waardes, te benader of te vermy. Byvoorbeeld, herhaalde bewegings van voorwerpe in dieselfde volgorde laat een toe om toekomstige posisies te voorspel en berei die volgende beweging voor terwyl die huidige voorwerp nagestreef word. Dit verminder reaksietyd tussen individuele teikens, versnel algehele prestasie en lei tot 'n vorige uitkoms. Voorspellende oogbewegings vergemaklik gedragsprestasie deur vooraf fokusering (Blomme en Downing 1978).

Op 'n meer gevorderde vlak kan die voorspellings wat deur voorspellings verskaf word, een maak om besluite te neem tussen alternatiewe om bepaalde stelsel toestande te bereik, selde voorwerpe te bereik, of onherstelbare nadelige effekte te vermy. Industriële toepassings gebruik Interne Model Beheer om te voorspel en te reageer op stelsel toestande voordat hulle eintlik voorkom (Garcia et al. 1989). Byvoorbeeld, die "vlieg-vir-draad" -tegniek in moderne lugvaart bereken voorspelbare toekomstige toestande van vliegtuie. Besluite vir vlieënde maneuvers neem hierdie inligting in ag en help om oormatige spanning op die meganiese komponente van die vliegtuig te vermy, waardeur die gewig verminder word en die omvang van die operasie verhoog word.

Die gebruik van voorspellende inligting hang af van die aard van die voorgestelde gebeure of stelselstatus. Eenvoudige voorstellings het direk betrekking op die posisie van opkomende teikens en die daaropvolgende gedragsreaksie, wat die reaksietyd op 'n nogal outomatiese manier verminder. Hoër vorme van voorspellings is gegrond op vertoë wat logiese inferensie toelaat, wat toeganklik en behandel word met verskillende mate van voorneme en keuse. Hulle word dikwels bewustelik in die mens verwerk. Voordat die voorspelde gebeure of stelsel toestande voorkom en gedragsreaksies uitgevoer word, kan sulke voorspellings 'n mens verstandelik evalueer deur kennis van verskillende bronne te integreer, verskillende maniere van reaksie te ontwerp en die winste en verliese van elke moontlike reaksie te vergelyk.

Gedragskondisionering

Assosiatiewe aptitiewe leer behels die herhaalde en voorwaardelike koppeling tussen 'n arbitrêre stimulus en 'n primêre beloning (Fig. 1). Dit lei tot toenemende aanpakgedrag wat veroorsaak word deur die nou "gekondisioneerde" stimulus, wat gedeeltelik ooreenstem met die benaderingsgedrag wat deur die primêre beloning ontlok word en ook beïnvloed word deur die aard van die gekondisioneerde stimulus. Dit blyk dat die gekondisioneerde stimulus dien as 'n voorspeller van beloning en stel dikwels 'n interne motiveringstoestand wat lei tot die gedragsreaksie op grond van 'n gepaste ry. Die ooreenkomste van benaderingsreaksies dui daarop dat sommige van die algemene voorbereidende komponente van die gedragsreaksie van die primêre beloning oorgedra word na die vroegste gekondisioneerde, beloningsvoorspellende stimulus. Dus tree die gekondisioneerde stimulus deels op as 'n motiverende plaasvervanger vir die primêre stimulus, waarskynlik deur Pavloviese leer (Dickinson 1980).

Fig. 1. 

Verwerking van aptitiewe stimuli tydens leer. 'N Arbitrêre stimulus word geassosieer met 'n primêre voedsel- of vloeibare beloning deur herhaalde, kontingente paring. Hierdie gekondisioneerde, stimulerende voorspellende stimulus veroorsaak 'n interne motiveringstoestand deur 'n verwagting van die beloning aan te kondig, dikwels op grond van 'n ooreenstemmende honger- of dorsrit, en ontlok die gedragsreaksie. Hierdie skema repliseer basiese begrippe van aansporingsmotiveringsteorie ontwikkel deur Bindra (1968) en Bolles (1972). Dit geld vir klassieke kondisionering, waar beloning outomaties afgelewer word na die gekondisioneerde stimulus, en tot instrumentele (operante) kondisionering, waar beloning aflewering 'n reaksie deur die vak vereis op die gekondisioneerde stimulus. Hierdie skema is ook van toepassing op afwykende kondisionering wat nie verder uitgewerk word nie.

Baie sogenaamde "onvoorsiene" kos en vloeibare belonings word waarskynlik deur ondervinding geleer, soos elke besoeker aan die buiteland kan bevestig. Die primêre beloning kan dan bestaan ​​uit die smaak wat ervaar word wanneer die voorwerp die gustatoriese reseptore aktiveer, maar dit kan weer geleer word. Die uiteindelike lonende effek van voedingsvoorwerpe bestaan ​​waarskynlik in hul spesifieke invloede op basiese biologiese veranderlikes, soos elektrolyt-, glukose- of aminosuurkonsentrasies in plasma en brein. Hierdie veranderlikes word gedefinieer deur die vegetatiewe behoeftes van die organisme en ontstaan ​​deur evolusie. Diere vermy voedingstowwe wat nie belangrike vegetatiewe veranderlikes beïnvloed nie, byvoorbeeld voedsel wat sulke essensiële aminosure as histidien ontbreek (Rogers en Harper 1970), threonine (Hrupka et al. 1997; Wang et al. 1996), of metionien (Delaney en Gelperin 1986). 'N paar primêre belonings kan bepaal word deur aangebore instinkte en ondersteun aanvanklike benadering gedrag en inname in die vroeë lewe, terwyl die meerderheid van die belonings geleer sou word tydens die daaropvolgende lewenservaring van die vak. Die fisiese voorkoms van belonings kan dan gebruik word om die baie stadiger vegetatiewe effekte te voorspel. Dit sal die opsporing van belonings dramaties versnel en 'n groot voordeel vir oorlewing uitmaak. Leer van belonings stel ook vakke in staat om 'n veel groter verskeidenheid voedingstowwe as effektiewe belonings te gebruik en sodoende hul kans op oorlewing in gebiede met skaars hulpbronne te verhoog.

AANPASSENDE ANTWOORDE AAN TOEPASSENDE STIMULIUM

Selliggame van dopamienneurone is meestal in middelbreingroepe A8 (dorsale na laterale substantia nigra), A9 (pars compacta van substantia nigra) en A10 (ventrale tegmentale area mediale tot substantia nigra). Hierdie neurone vrystel die neurotransmitter dopamien met senuwee-impulse van aksonale varicosities in die striatum (caudate-kern, putamen en ventrale striatum insluitend nucleus accumbens) en frontale korteks om die belangrikste plekke te noem. Ons rekord die impulsaktiwiteit van selliggame van enkel dopamienneurone gedurende periodes van 20-60 min met beweegbare mikroelektrodes vanaf ekstrasellulêre posisies, terwyl ape leerstellings leer of uitvoer. Die kenmerkende polifasiese, relatief lang impulse wat by lae frekwensies ontslaan word, maak dopamienneurone maklik onderskeibaar van ander middelbreinneurone. Die werkende gedragsparadigmas sluit in reaksietydtakke, regstreekse en vertraagde go-no go-take, ruimtelike vertraagde reaksie- en afwisselingstake, lugpyp- en soutaktiewe aktiewe vermydingstake, operante en klassiek gekondisioneerde visuele diskriminasie take, selfinisieerde bewegings en onvoorspelbare aflewering van beloon in die afwesigheid van enige formele taak. Oor 100-250 dopamienneurone word in elke gedragsituasie bestudeer, en breuke van taakmoduleerde neurone verwys na hierdie monsters.

Aanvanklike opname studies het gesoek na korrelate van parkinsoniese motoriese en kognitiewe tekorte in dopamienneurone, maar het nie duidelike kovariasies met arm- en oogbewegings gevind nie (DeLong et al. 1983; Schultz en Romo 1990; Schultz et al. 1983) of met mnemoniese of ruimtelike komponente van vertraagde reaksietake (Schultz et al. 1993). Daarenteen is bevind dat dopamienneurone op 'n baie onderskeidende wyse geaktiveer word deur die lonende eienskappe van 'n wye reeks somatosensoriese, visuele en ouditiewe stimuli.

Aktivering deur primêre appetitiewe stimuli

Ongeveer 75% van dopamienneurone toon fasiese aktiverings wanneer diere 'n klein stukkie verborge voedsel tydens verkennende bewegings raak in die afwesigheid van ander fasiese stimuli, sonder om deur die beweging self geaktiveer te word (Romo en Schultz 1990). Die oorblywende dopamienneurone reageer nie op enige van die getoetsde omgewingstimuli nie. Dopamienneurone word ook geaktiveer deur 'n druppel vloeistof wat buite die gedragstaak by die mond gelewer word, of terwyl hulle so verskillende paradigmas leer as visuele of ouditiewe reaksietydstake, ruimtelike vertraagde reaksie of afwisseling, en visuele diskriminasie, dikwels in dieselfde dier (Fig . 2 Top) (Hollerman en Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz en Schultz 1994; Schultz et al. 1993). Die beloningsreaksies kom onafhanklik van 'n leerkonteks voor. Dopamienneurone blyk dus nie te onderskei tussen verskillende voedselvoorwerpe en vloeibare belonings nie. Hulle reaksies onderskei egter belonings uit nie-regverdige voorwerpe (Romo en Schultz 1990). Slegs 14% van dopamienneurone toon die fasiese aktiverings wanneer primêre aversive stimuli aangebied word, soos 'n lugpof aan die hand of hipertoniese sout na die mond, en die meeste geaktiveerde neurone reageer ook op belonings (Mirenowicz en Schultz 1996). Alhoewel dit onaangenaam is, is hierdie stimuli afgryslik omdat hulle gedrag ontwrig en aktiewe vermydingsreaksies veroorsaak. Dopamienneurone is egter nie heeltemal onsensitief vir aversiewe stimuli nie, soos aangedui deur stadige depressies of af en toe stadige aktiverings na pynklem stimulasies in verdoofde apeSchultz en Romo 1987) en deur verhoogde striatale dopamien vrystelling na elektriese skok en stertknippie in wakker rotte (Abercrombie et al. 1989; Doherty en Gratton 1992; Louilot et al. 1986; Young et al. 1993). Dit dui daarop dat die fasiese reaksies van dopamienneurone veral omgewingsprikkels met primêre aptytwaarde rapporteer, terwyl afwykende gebeure met 'n aansienlik stadiger tydskursus aangedui kan word.

Fig. 2. 

Dopamienneurone rapporteer belonings volgens 'n fout in beloningsvoorspelling. Top: druppel vloeistof vind plaas, hoewel geen beloning in hierdie tyd voorspel word nie. Voorkoms van beloning beteken dus 'n positiewe fout in die voorspelling van beloning. Dopamienneuron word geaktiveer deur die onvoorspelbare voorkoms van die vloeistof. Midde-: gekondisioneerde stimulus voorspel 'n beloning, en die beloning vind volgens die voorspelling plaas, dus geen fout in die voorspelling van beloning nie. Dopamienneuron versuim om geaktiveer te word deur die voorspelde beloning (Regs). Dit toon ook 'n aktivering na die beloning-voorspelde stimulus, wat plaasvind ongeag 'n fout in die voorspelling van die latere beloning (Links). Bottom: gekondisioneerde stimulus voorspel 'n beloning, maar die beloning vind nie plaas nie weens 'n gebrek aan reaksie deur die dier. Die aktiwiteit van die dopamienneuron word presies neergedruk op die tydstip waarop die beloning sou plaasvind. Let op die depressie wat plaasvind> 1 s na die gekondisioneerde stimulus sonder tussenliggende stimuli, wat 'n interne proses van beloningsverwagting openbaar. Neuronale aktiwiteit in die 3 grafieke volg die vergelyking: dopamienrespons (beloning) = beloning het plaasgevind - beloning word voorspel. CS, gekondisioneerde stimulus; R, primêre beloning. Herdruk vanaf Schultz et al. (1997) met toestemming van die Amerikaanse Vereniging vir die Bevordering van Wetenskap.

Onvoorspelbaarheid van beloning

'N Belangrike kenmerk van dopamienreaksies is hul afhanklikheid van onvoorspelbaarheid van die gebeurtenis. Die aktiverings wat belonings volg, kom nie voor wanneer kos- en vloeistofbelonings voorafgegaan word deur fasiese stimuli wat gekondisioneer is om sulke belonings te voorspel nie (Fig. 2, middel) (Ljungberg et al. 1992; Mirenowicz en Schultz 1994; Romo en Schultz 1990). Een belangrike verskil tussen leer en ten volle verworwe gedrag is die mate van beloning onvoorspelbaarheid. Dopamienneurone word deur belonings gedurende die leerfase geaktiveer, maar hou op om te reageer na die volle verkryging van visuele en ouditiewe reaksietydstake (Ljungberg et al. 1992; Mirenowicz en Schultz 1994), ruimtelike vertraagde respons take (Schultz et al. 1993), en gelyktydige visuele diskriminasie (Hollerman en Schultz 1996). Die verlies van reaksie is nie te wyte aan 'n ontwikkelende algemene ongevoeligheid vir belonings nie, aangesien aktiverings wat volg op belonings wat buite take afgelewer word, nie verminder word gedurende 'n paar maande van eksperimentering nie (Mirenowicz en Schultz 1994). Die belangrikheid van onvoorspelbaarheid sluit in die tyd van beloning, soos getoon deur voorlopige aktiverings na belonings wat skielik vroeër of later afgelewer word as voorspel (Hollerman en Schultz 1996). Saam met mekaar moet die voorkoms van beloning, insluitend sy tyd, onvoorspelbaar wees om dopamienneurone te aktiveer.

Depressie deur weglating van voorspelde beloning

Dopamienneurone word depressief presies in die tyd van die gewone voorkoms van beloning wanneer 'n ten volle voorspelde beloning nie voorkom nie, selfs in die afwesigheid van 'n onmiddellik voorafgaande stimulus (Fig. 2, onderkant). Dit word waargeneem wanneer diere nie beloning kry as gevolg van foutiewe gedrag nie, wanneer vloeibare vloei deur die eksperimentator gestop word ten spyte van korrekte gedrag, of wanneer 'n klep hoorbaar word sonder om vloeistof te lewer (Hollerman en Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). Wanneer beloning aflewering vir 0.5 of 1.0 s vertraag word, vind 'n depressie van neuronale aktiwiteit plaas op die gereelde tyd van die beloning, en 'n aktivering volg die beloning op die nuwe tyd (Hollerman en Schultz 1996). Albei reaksies vind slegs plaas tydens 'n paar herhalings totdat die nuwe tyd van beloning aflewering weer voorspel word. Daarteenoor lewer beloning vroeër as gewone resultate 'n aktivering op die nuwe tyd van beloning, maar versuim om 'n depressie by die gewone tyd te veroorsaak. Dit dui daarop dat ongewone vroeë beloning aflewering die beloning voorspelling vir die gewone tyd kanselleer. Dus monitor dopamienneurone beide die voorkoms en die tyd van beloning. In die afwesigheid van stimuli wat onmiddellik voorafgaan aan die weggelaat beloning, vorm die depressies nie 'n eenvoudige neuronale reaksie nie, maar weerspieël 'n verwagtingsproses gebaseer op 'n interne klok wat die presiese tyd van voorspelde beloning volg.

Aktivering deur gekondisioneerde, beloning-voorspelde stimuli

Omtrent 55-70% van dopamienneurone word geaktiveer deur gekondisioneerde visuele en ouditiewe stimuli in die verskillende klassieke of instrumentele gekondisioneerde take wat vroeër beskryf is (Fig. 2, middel en onderkant) (Hollerman en Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz en Schultz 1994; Schultz 1986; Schultz en Romo 1990; P. Waelti, J. Mirenowicz, en W. Schultz, ongepubliseerde data). Die eerste dopamienreaksies op gekondisioneerde lig is aangemeld deur Miller et al. (1981) by rotte wat behandel is met haloperidol, wat die voorkoms en spontane aktiwiteit van dopamienneurone verhoog het, maar het tot meer volgehoue ​​responses as in ongedrukte diere gelei. Alhoewel antwoorde naby aan gedragsreaksies voorkom (Nishino et al. 1987), hulle is nie verwant aan arm- en oogbewegings self nie, aangesien hulle ook ipsilateraal voorkom in die bewegende arm en in proewe sonder arm of oogbewegings (Schultz en Romo 1990). Voorwaarde-stimuli is ietwat minder effektief as primêre belonings in terme van responsgrootte en breuke van neurone wat geaktiveer word. Dopamienneurone reageer slegs op die aanvang van gekondisioneerde stimuli en nie teen hulle verreken nie, selfs as stimulusverskil die beloning voorspel (Schultz en Romo 1990). Dopamienneurone onderskei nie tussen visuele en ouditiewe modaliteite van gekondisioneerde aptytstimuli nie. Hulle diskrimineer egter tussen aptyt- en neutrale of aversive stimuli solank hulle fisies genoeg verskil (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz, en W. Schultz, ongepubliseerde data). Slegs 11% van dopamienneurone, die meeste van hulle met aanvullende reaksies, toon die tipiese fasiese aktiverings ook in reaksie op gekondisioneerde aversive visuele of ouditiewe stimuli in aktiewe vermydingstake waarin diere 'n sleutel vrylaat om 'n lugvlaag of 'n druppel hipertoniese sout te vermy (Mirenowicz en Schultz 1996), hoewel sulke vermyding as "beloonend" beskou kan word. Hierdie paar aktiverings is nie voldoende sterk om 'n gemiddelde bevolkingsrespons te bewerkstellig nie. Die fasiese reaksies van dopamienneurone rapporteer dus omgewingsprikkies met voornemende motiveringswaarde, maar sonder om tussen verskillende sensoriese modaliteite te onderskei.

Oordrag van aktivering

Gedurende die verloop van leer word dopamienneurone geleidelik geaktiveer deur gekondisioneerde, beloningsvoorspellende stimuli en verloor hul antwoorde progressief op primêre voedsel- of vloeibare belonings wat voorspel word (Hollerman en Schultz 1996; Ljungberg et al. 1992; Mirenowicz en Schultz 1994) (Figs. 2 en 3). Tydens 'n oorgangsleerperiode word beide belonings en gekondisioneerde stimuli dopamienaktiwiteite uitgelok. Hierdie oordrag vanaf primêre beloning na die gekondisioneerde stimulus kom onmiddellik voor in enkel dopamienneurone wat getoets word in twee goed geleerde take wat onderskeidelik onvoorspelbare en voorspelde belonings gebruik (Romo en Schultz 1990).

Fig. 3. 

Dopamien reaksie oordrag na vroegste voorspellende stimulus. Reaksies op onvoorspelbare primêre beloning oordrag na progressief vroeër beloning-voorspellende stimuli. Alle uitstallings toon bevolkingshistogramme verkry deur die gemiddelde van genormaliseerde periektyd histogramme van alle dopamienneurone wat in die aangetoonde gedragsituasies aangetoon is, onafhanklik van die teenwoordigheid of afwesigheid van 'n respons. Top: buite enige gedragstaak is daar geen populasie reaksie in 44 neurone getoets met 'n klein lig (data uit Ljungberg et al. 1992), maar 'n gemiddelde reaksie kom voor in 35 neurone op 'n druppel vloeistof wat by 'n tuit voor die bek van die dier afgelewer word (Mirenowicz en Schultz 1994). Midde-: reaksie op 'n beloningsvoorspellende sneller stimulus in 'n 2-keuse ruimtelike bereikende taak, maar afwesigheid van reaksie op beloning wat tydens gevestigde taakprestasie in dieselfde 23-neurone gelewer word (Schultz et al. 1993). Bottom: reaksie op 'n instruksie cue voorafgaande aan die beloning-voorspellende sneller stimulus deur 'n vaste interval van 1 s in 'n opdrag spatiale bereik taak (19 neurone) (Schultz et al. 1993). Tydbasis word gesplete as gevolg van wisselende tussenposes tussen gekondisioneerde stimuli en beloning. Herdruk vanaf Schultz et al. (1995b) met toestemming van MIT Press.

Onvoorspelbaarheid van gekondisioneerde stimuli

Die aktiverings na gekondisioneerde, beloningsvoorspellende stimuli kom nie voor wanneer hierdie stimuli self op 'n vasgestelde interval gevorder word deur fasiese gekondisioneerde stimuli in ten volle gevestigde gedragsituasies nie. Dus met seriële gekondisioneerde stimuli word dopamienneurone geaktiveer deur die vroegste beloningsvoorspellende stimulus, terwyl alle stimuli en belonings wat gevolglik op voorspelbare oomblikke volg, ondoeltreffend is (Fig. 3) (Schultz et al. 1993). Slegs ewekansige spasiërende sekwensiële stimuli ontlok individuele response. Daarbenewens word uitgebreide responsies aan gekondisioneerde stimuli vergemaklik deur uitgebreide ooropleiding met hoogs stereotipe taakverrigting, waarskynlik omdat stimuli voorspel word deur gebeure in die voorafgaande verhoor (Ljungberg et al. 1992). Dit dui daarop dat stimulus onvoorspelbaarheid 'n algemene vereiste is vir alle stimuli wat dopamienneurone aktiveer.

Depressie deur weglating van voorspelde gekondisioneerde stimuli

Voorlopige data van 'n vorige eksperiment (Schultz et al. 1993) dui daarop dat dopamienneurone ook depressief is wanneer 'n gekondisioneerde, beloningsvoorspellende stimulus self op 'n vasgestelde tyd deur 'n voorafgaande stimulus voorspel word, maar versuim om te voorkom as gevolg van 'n fout van die dier. Soos met die primêre belonings, vind die depressie plaas tydens die normale voorkoms van die gekondisioneerde stimulus, sonder dat dit direk deur 'n voorafgaande stimulus veroorsaak word. Dus kan die versuim-geïnduseerde depressie veralgemaak word op alle aptitiewe gebeure.

Aktivering-depressie met reaksie-veralgemening

Dopamienneurone reageer ook op stimuli wat nie voordele voorspel nie, maar lyk baie soos beloning-voorspellende stimuli wat in dieselfde konteks voorkom. Hierdie response bestaan ​​hoofsaaklik uit 'n aktivering gevolg deur 'n onmiddellike depressie, maar kan af en toe bestaan ​​uit suiwer aktivering of suiwer depressie. Die aktiverings is kleiner en minder gereeld as die volgende belonings-voorspellende stimuli, en die depressies word waargeneem in 30-60% neurone. Dopamienneurone reageer op visuele stimuli wat nie deur beloning gevolg word nie, maar lyk baie soos beloning-voorspellende stimuli, ten spyte van korrekte gedragsdiskriminasie (Schultz en Romo 1990). Opening van 'n leë boks versuim om dopamienneurone te aktiveer, maar word effektief in elke verhoor sodra die boks soms kos bevat (Ljungberg et al. 1992; Schultz 1986; Schultz en Romo 1990) of wanneer 'n naburige, identiese boks wat altyd kos bevat, in willekeurige afwisseling oopgaan (Schultz en Romo 1990). Die leë boks ontlok swakker aktiverings as die lokaas. Diere voer willekeurige okulêre oriënterende reaksies op elke boks uit, maar betree net die lokaas met hul hand. Gedurende leer, dopamienneurone bly reageer op voorheen gekondisioneerde stimuli wat hul beloningsvoorspelling verloor wanneer beloningsvoorsienings verander (Schultz et al. 1993) of reageer op nuwe stimuli wat voorheen gekondisioneerde stimuli lyk (Hollerman en Schultz 1996). Reaksies kom selfs voor op afwykende stimuli wat in willekeurige afwisseling aangebied word, met fisies soortgelyke, gekondisioneerde stimulerende stimuli van dieselfde sensoriese modaliteit, die afkeerlike reaksie is swakker as die aptytige een (Mirenowicz en Schultz 1996). Reaksies veralgemeen op gedraggestremde eetstimulasies. Klaarblyklik, neuronale reaksies veralgemeen na nonappetitive stimuli as gevolg van hul fisiese gelykvormigheid met aptitiewe stimuli.

Novelty response

Nuwe stimuli veroorsaak aktivering in dopamienneurone wat dikwels deur depressies gevolg word en aanhou solank as wat gedragsgerigte reaksies voorkom (bv. Oogsakkades). Aktiverings neem af saam met oriënterende reaksies na verskeie stimulusherhalings, afhangende van die fisiese impak van stimuli. Terwyl klein liguitstralende diodes skaars nuwigheidsreaksies ontlok, ligflitse en die vinnige visuele en ouditiewe opening van 'n klein boksie veroorsaak aktivasies wat gedurende <100 proewe geleidelik verval tot by die basislyn (Ljungberg et al. 1992). Harde klik of groot foto's onmiddellik voor 'n dier lok sterk reaksies uit wat verval, maar steeds meetbare aktivering veroorsaak met> 1,000 proewe (Hollerman en Schultz 1996; Horvitz et al. 1997; Steinfels et al. 1983). Figuur 4 toon skematies die verskillende responsgroottes met nuwe stimuli van verskillende fisiese versadiging. Reaksies verval geleidelik met herhaalde blootstelling, maar kan met verminderde groottes voortduur met baie belangrike stimuli. Reaksiegroottes verhoog weer wanneer dieselfde stimuli aangepas word. Daarenteen verdedig reaksies op nuwe, selfs groot stimuli vinnig wanneer die stimuli gebruik word vir die kondisionering van aktiewe vermydingsgedrag (Mirenowicz en Schultz 1996). Baie min neurone (<5%) reageer meer as 'n paar proewe op opvallende, maar fisies swak stimuli, soos die verkrummel van papier of grof handbewegings van die eksperimenteerder.

Fig. 4. 

Tydskursusse van aktiverings van dopamienneurone tot roman, waarskuwing, en gekondisioneerde stimuli. Aktiwiteite na nuwe stimuli verminder met herhaalde blootstelling oor opeenvolgende proewe. Hul grootte hang af van die fisiese versadiging van stimuli, aangesien sterker stimuli hoër aktiverings veroorsaak wat soms na die gekondisioneerde stimuli oorskry. Veral opvallende stimuli bly dopamienneurone met beperkte grootte aktiveer, selfs nadat hulle hul nuwigheid verloor het sonder om met primêre belonings gepaard te gaan. Konsekwente aktiverings verskyn weer wanneer stimuli geassosieer word met primêre belonings. Hierdie skema is deur José Contreras-Vidal bygedra.

Homogene karakter van reaksies

Die eksperimente wat tot dusver uitgevoer is, het getoon dat die meerderheid neurone in midbrain dopamien selgroepe A8, A9 en A10 baie soortgelyke aktiverings en depressies toon in 'n gegewe gedragsituasie, terwyl die oorblywende dopamienneurone glad nie reageer nie. Daar is 'n neiging vir hoër breuke neurone wat reageer in meer mediale streke van die middelbrein, soos die ventrale tegmentale area en mediale substantia nigra, in vergelyking met meer laterale streke wat soms statistiese betekenisvolheid bereik (Schultz 1986; Schultz et al. 1993). Responslatensies (50-110 ms) en duur (<200 ms) is soortgelyk onder primêre belonings, gekondisioneerde stimuli en nuwe stimuli. Die dopamienrespons vorm dus 'n relatief homogene, skalêre populasie sein. Dit word in grootte beoordeel deur die responsiwiteit van individuele neurone en deur die fraksie van reagerende neurone binne die bevolking.

Opsomming 1: Aanpasbare response tydens die aanleer van episodes

Die kenmerke van dopamienresponse op beloningsverwante stimuli word die beste geïllustreer in die aanleer van episodes, terwyl belonings veral belangrik is vir die verkryging van gedragsresponse. Die dopamienbeloningssignaal ondergaan stelselmatige veranderinge tydens die vordering van leer en kom voor by die vroegste fasiese beloningsverwante stimulus, dit is óf 'n primêre beloning of 'n beloningsvoorspellende stimulus (Ljungberg et al. 1992; Mirenowicz en Schultz 1994). Tydens leer, lei roman, intrinsiek neutrale stimuli kortliks die reaksies wat verswak en verdwyn (Fig. 4). Primêre belonings vind onvoorspelbaar plaas tydens aanvanklike paring met sulke stimuli en ontlok neuronale aktiverings. Met herhaalde paring word belonings voorspel deur gekondisioneerde stimuli. Aktiwiteite na die beloning verminder geleidelik en word oorgedra na die gekondisioneerde, beloningsvoorspellende stimulus. As 'n voorspelde beloning egter nie plaasvind nie as gevolg van 'n fout van die dier, is dopamienneurone depressief op die oomblik dat die beloning sou plaasvind. Tydens herhaalde leer van take (Schultz et al. 1993) of taakkomponente (Hollerman en Schultz 1996), die vroegste gekondisioneerde stimuli aktiveer dopamienneurone gedurende alle leerfases as gevolg van veralgemening aan voorheen geleerde, soortgelyke stimuli, terwyl daaropvolgende gekondisioneerde stimuli en primêre belonings slegs dodemiese dopamienneurone aktiveer terwyl hulle onseker is en nuwe gebeurlikhede gevestig word.

Opsomming 2: effektiewe stimuli vir dopamienneurone

Dopamienreaksies word uit drie kategorieë stimuli verkry. Die eerste kategorie bestaan ​​uit primêre belonings en stimuli wat geldige beloningsvoorspellers geword het deur herhaalde en voorwaardelike koppeling met belonings. Hierdie stimuli vorm 'n gemeenskaplike klas van eksplisiete beloning-voorspellende stimuli, aangesien primêre belonings dien as voorspellers van vegetatiewe belonende effekte. Effektiewe stimuli het blykbaar 'n waarskuwende komponent, aangesien slegs stimuli met 'n duidelike aanvang effektief is. Dopamienneurone toon suiwer aktiverings na eksplisiete beloning-voorspellende stimuli en is depressief wanneer 'n voorspelde, maar weggelaat beloning versuim om te voorkom (Fig. 5, Top).

Fig. 5. 

Skematiese vertoning van response van dopamienneurone tot 2-tipes gekondisioneerde stimuli. Top: aanbieding van 'n eksplisiete beloningsvoorspellende stimulus lei tot aktivering na die stimulus, geen reaksie op die voorspelde beloning en depressie wanneer 'n voorspelde beloning nie plaasvind nie. Bottom: Voorstelling van 'n stimulus wat nou lyk soos 'n gekondisioneerde, beloningsvoorspellende stimulus, lei tot aktivering gevolg deur depressie, aktivering na die beloning, en geen reaksie wanneer geen beloning plaasvind nie. Aktivering na die stimulus weerspieël waarskynlik reaksie-veralgemening as gevolg van fisiese ooreenkomste. Hierdie stimulus gee nie eksplisiet 'n beloning voor nie, maar is verwant aan die beloning via sy ooreenkoms met die stimulus wat die beloning voorspel. In vergelyking met eksplisiete beloningsvoorspellende stimuli, is aktiverings laer en word dikwels gevolg deur depressies, en sodoende onderskei tussen beloonde (CS +) en onbetaalde (CS-) gekondisioneerde stimuli. Hierdie skema gee 'n opsomming van die resultate van vorige en huidige eksperimente (Hollerman en Schultz 1996; Ljungberg et al. 1992; Mirenowicz en Schultz 1996; Schultz en Romo 1990; Schultz et al. 1993; P. Waelti en W. Schultz, ongepubliseerde resultate).

Die tweede kategorie bestaan ​​uit stimuli wat veralgemenende antwoorde uitlok. Hierdie stimuli gee nie eksplisiete voordele voor nie, maar is effektief as gevolg van hul fisiese ooreenkomste met stimuli wat eksplisiete beloningsvoorspellers deur kondisionering geword het. Hierdie stimuli veroorsaak aktiverings wat laer in grootte is en minder neurone betrek, in vergelyking met eksplisiete beloning-voorspellende stimuli (Fig. 5, onderkant). Hulle word gereeld gevolg deur onmiddellike depressies. AANGESIEN die aanvanklike aktivering 'n algemene aanvanklike reaksie kan uitmaak wat 'n moontlike beloning aandui, kan die daaropvolgende depressie die voorspelling van geen beloning weerspieël in 'n algemene beloning-voorspellings konteks en die foutiewe beloning aanname kanselleer. Die gebrek aan eksplisiete beloning voorspelling word verder voorgestel deur die teenwoordigheid van aktivering na primêre beloning en die afwesigheid van depressie sonder beloning. Saam met die reaksies vir die voorspel van stimuli, blyk dit dat dopamienaktiwiteite 'n aangename "tag" aanbring wat aan belewings gekoppel is.

Die derde kategorie bestaan ​​uit nuwe of besonder belangrike stimuli wat nie noodwendig verband hou met spesifieke belonings nie. Deur optrede-oriënterende reaksies uit te lok, is hierdie stimuli waarskuwend en gee aandag aan die aandag. Hulle het egter ook motiverende funksies en kan beloon word (Fujita 1987). Nuwe stimuli is potensieel aptyt. Nuwe of besonder belangrike stimuli veroorsaak aktiverings wat dikwels deur depressies gevolg word, soortgelyk aan antwoorde op veralgemeenende stimuli.

Dus rapporteer die fasiese response van dopamienneurone gebeurtenisse met positiewe en potensieel positiewe motiveringseffekte, soos primêre belonings, beloning-voorspellende stimuli, beloningsverwante gebeurtenisse en waarskuwing van stimuli. Hulle ontdek egter nie in groot mate gebeurtenisse met negatiewe motiverende effekte, soos afersive stimuli nie.

Opsomming 3: die dopamien beloning voorspellings foutsein

Die dopamienresponse op eksplisiete beloningsverwante gebeure kan die beste gekonseptualiseer en verstaan ​​word in terme van formele teorieë van leer. Dopamienneurone rapporteer belonings relatief tot hul voorspelling eerder as om primêre belonings onvoorwaardelik aan te dui (Fig. 2). Die dopamienreaksie is positief (aktivering) wanneer primêre belonings voorkom sonder om voorspel te word. Die reaksie is nul wanneer belonings voorkom soos voorspel. Die reaksie is negatief (depressie) wanneer voorspelde belonings weggelaat word. Dopamienneurone rapporteer dus primêre belonings volgens die verskil tussen die voorkoms en die voorspelling van beloning, wat 'n fout in die voorspelling van beloning kan noem (Schultz et al. 1995b, 1997) en is tentatief geformaliseer as

DopamineResponse (Beloon)=RewardOccurred-RewardPredicted

Vergelyking 1 Hierdie voorstel kan uitgebrei word tot gekondisioneerde aptyt-gebeurtenisse wat ook deur dopamienneurone gerapporteer word in verhouding tot voorspelling. Dopamienneurone kan dus 'n fout in die voorspelling van alle aptitiewe gebeure aanmeld, en Aand. 1 kan in die meer algemene vorm gestel word

DopamineResponse (ApEvent)=ApEventOccurred-ApEventPredicted

Vergelyking 2Hierdie veralgemening is verenigbaar met die idee dat die meeste belonings eintlik gekondisioneerde stimuli is. Met verskeie opeenvolgende, goed gevestigde beloningsvoorspellings, is slegs die eerste gebeurtenis onvoorspelbaar en word die dopamienaktivering uitlok.

AANSLUITENDHEID VAN DOPAMIENNEURONE

Oorsprong van die dopamienrespons

Watter anatomiese insette kan verantwoordelik wees vir die selektiwiteit en polisensoriese aard van dopamienresponse? Watter insetaktiwiteit kan lei tot die kodering van voorspellingsfoute, veroorsaak die aanpasbare reaksie-oordrag na die vroegste onvoorspelbare aptyt-gebeurtenis en skat die tyd van beloning?

DORSALE EN VENTRAAL STRIATUM.

Die GABAergic neurone in die striosome (kolle) van die striatum-projek in 'n breë topografiese en deels oorvleuelende interdigiterende wyse aan dopamienneurone in byna die hele pars compacta van substantia nigra, terwyl neurone van die veel groter striatale matriks hoofsaaklik kontak met die nondopamienneurone van pars reticulata van substantia nigra, benewens hul projeksie na globus pallidus (Gerfen 1984; Hedreen en DeLong 1991; Holstein et al. 1986; Jimenez-Castellanos en Graybiel 1989; Selemon en Goldman-Rakic ​​1990; Smith en Bolam 1991). Neurone in die ventrale striatumprojek op nontopografiese wyse aan beide pars compacta en pars reticulata van mediale substantia nigra en na die ventrale tegmentale area (Berendse et al. 1992; Haber et al. 1990; Lynd-Balta en Haber 1994; Somogyi et al. 1981). Die GABAergiese striatonigrale projeksie kan twee duidelik verskillende invloede op dopamienneurone uitoefen, 'n direkte inhibisie en 'n indirekte aktivering (Grace and Bunney 1985; Smith en Grace 1992; Tepper et al. 1995). Laasgenoemde word bemiddel deur striatale inhibisie van pars retikulata neurone en gevolglike GABAergiese inhibisie van plaaslike akson collaterals van pars reticulata uitset neurone op dopamienneurone. Dit vorm 'n dubbel inhibitiewe skakel en lei tot die netto aktivering van dopamienneurone deur die striatum. Dus kan striosome en ventrale striatum monosinapties inhibeer en die matriks kan indirekte dopamienneurone aktiveer.

Dorsale en ventrale striatale neurone toon 'n aantal aktiverings wat kan bydra tot dopamienbeloningsresponse, naamlik antwoorde op primêre belonings (Apicella et al. 1991a; Williams et al. 1993), antwoorde op beloning-voorspellende stimuli (Hollerman et al. 1994; Romo et al. 1992) en volgehoue ​​aktiverings tydens die verwagting van beloning-voorspelde stimuli en primêre belonings (Apicella et al. 1992; Schultz et al. 1992). Die posisies van hierdie neurone relatief tot striosome en matriks is egter onbekend, en stralingsaktiwiteite wat die tyd van verwagte beloning weerspieël is nog nie gerapporteer nie.

Die polisensoriese beloningsreaksies kan die gevolg wees van funksie-ekstraksie in kortikale assosiasie areas. Reaksie latensies van 30-75 ms in primêre en assosiatiewe visuele korteks (Maunsell en Gibson 1992; Miller et al. 1993) kan kombineer met vinnige geleiding na striatum en dubbele inhibisie van substantia nigra om die kort dopamienresponslatensies van <100 ms te veroorsaak. Terwyl beloningsverwante aktiwiteit nie gerapporteer is vir posterior assosiasie korteks nie, reageer neurone in dorsolaterale en orbitale prefrontale korteks op primêre belonings en beloningsvoorspellende stimuli en toon aanhoudende aktivering tydens beloningsverwagting (Rolls et al. 1996; Thorpe et al. 1983; Tremblay en Schultz 1995; Watanabe 1996). Sommige beloningsreaksies in frontale korteks hang af van onvoorspelbaarheid van beloning (Matsumoto et al. 1995; L. Tremblay en W. Schultz, ongepubliseerde resultate) of weerspieël gedragsfoute of weggelaat belonings (Niki en Watanabe 1979; Watanabe 1989). Die kortikale invloed op dopamienneurone sal selfs vinniger wees deur middel van 'n direkte projeksie, afkomstig van prefrontale korteks by rotte (Gariano en Groves 1988; Sesack en Pickel 1992; Tong et al. 1996) maar swak in ape (Künzle 1978).

NUCLEUS PEDUNCULOPONTINUS.

Kort vertakkinge van beloningsreaksies kan afgelei word van adaptiewe, funksieverwerkingsmeganismes in die breinstam. Nucleus pedunculopontinus is 'n evolusionêre voorloper van substantia nigra. In nie-mammale vertebrate bevat dit dopamienneurone en -projekte aan die paleostriatum (Lohman en Van Woerden-Verkley 1978). By soogdiere stuur hierdie kern sterk opwekkende, cholinergiese en glutamatergiese invloede na 'n hoë fraksie dopamienneurone met latensies van ~7 ms (Bolam et al. 1991; Clarke et al. 1987; Futami et al. 1995; Scarnati et al. 1986). Aktivering van pedunculopontine-dopamien projeksies veroorsaak sirkelgedrag (Niijima en Yoshida 1988), wat 'n funksionele invloed op dopamienneurone voorstel.

Amigdala.

'N Massiewe, waarskynlik opwindende insette aan dopamienneurone kom uit verskillende kerne van die amygdala (Gonzalez en Chesselet 1990; Prys en Amaral 1981). Amygdala neurone reageer op primêre belonings en beloon-voorspel visuele en ouditiewe stimuli. Die neuronale antwoorde wat tot dusver bekend is, is onafhanklik van stimulus-onvoorspelbaarheid en diskrimineer nie goed tussen appetitiewe en aversive gebeure nie (Nakamura et al. 1992; Nishijo et al. 1988). Die meeste antwoorde toon latensies van 140-310 ms, wat langer as dopamienneurone is, hoewel 'n paar reaksies by latensies van 60-100 ms voorkom.

DORSAL RAPHÉ.

Die monosinaptiese projeksie van dorsale rafe (Corvaja et al. 1993; Nedergaard et al. 1988) het 'n depressiewe invloed op dopamienneurone (Fibiger et al. 1977; Trent en Tepper 1991). Raphe-neurone wys kortlatende aktiverings na hoë-intensiteit omgewingsimbole (Heym et al. 1982), wat hulle toelaat om by te dra tot dopamienreaksies na nuwe of veral belangrike stimuli.

SINTESE.

'N Paar bekende insetstrukture is die mees waarskynlike kandidate vir die bemiddeling van die dopamienresponse, alhoewel addisionele insette ook mag bestaan. Aktiwiteite van dopamienneurone deur primêre belonings en beloningsvoorspellende stimuli kan bemiddel word deur dubbel inhibitiewe, netto aktiverende insette van die striatale matriks (vir 'n vereenvoudigde diagram, sien Fig. 6). Aktiwiteite kan ook voortspruit uit pedunculopontine-kern of moontlik van verwagtingsverwante aktiwiteit in neurone van die subthalamiese kern wat na dopamienneurone uitsteek (Hammond et al. 1983; Matsumura et al. 1992; Smith et al. 1990). Die afwesigheid van aktivering met ten volle voorspelbare belonings kan die gevolg wees van monosinaptiese inhibisie van striosome, wat gelyktydig die aktiverende matriksinvoer uitskakel. Depressies ten tyde van die uitgelaat beloning kan bemiddel word deur inhibitiewe insette van neurone in striatale striosome (Houk et al. 1995) of globus pallidus (Haber et al. 1993; Hattori et al. 1975; Y. Smith en Bolam 1990, 1991). Konvergensie tussen verskillende insette voor of op die vlak van dopamienneurone kan lei tot die taamlik komplekse kodering van beloningsvoorspellingsfoute en die adaptiewe reaksie-oordrag van primêre belonings om belonings te voorspel.

Fig. 6. 

Vereenvoudigde diagram van insette tot middeldronne dopamienneurone wat moontlik dopamienresponsie bemiddel. Slegs insette van caudate na substantia nigra (SN) pars compacta en reticulata word getoon vir redes van eenvoud. Aktiwiteite kan ontstaan ​​deur 'n dubbel inhibitiewe, netto aktiverende invloed van GABAergic matriks neurone in caudate en putamen via GABAergic neurone van SN pars reticulata na dopamiene neurone van SN pars compacta. Aktiwiteite kan ook bemiddel word deur opwekkerende cholinergiese of aminosuurbevattende projeksies van nucleus pedunculopontinus. Depressies kan wees as gevolg van monosinaptiese GABAergiese projeksies van striosome (kolle) in caudate en putamen na dopamienneurone. Soortgelyke projeksies bestaan ​​van ventrale striatum tot dopamienneurone in mediale SN pars compacta en groep A10 in die ventrale tegmentale area en van dorsale striatum tot groep A8 dopamienneurone dorsolaterale tot SN (Lynd-Balta en Haber 1994). Swaar sirkel verteenwoordig dopamienneurone. Hierdie projeksies verteenwoordig die waarskynlikste insette onderliggend aan die dopamienreaksies, sonder om insette van globus pallidus en subthalamiese kern uit te sluit.

Fasiese dopamien invloede op teikenstrukture

GLOBALE AARD VAN DOPAMIEN SIGNAL.

Divergente projeksies. Daar is ~8,000 dopamienneurone in elke substantia nigra van rotte (Oorschot 1996) en 80,000-116,000 in macaque ape (Duits et al. 1988; Percheron et al. 1989). Elke striatum bevat ~2.8 miljoen neurone in rotte en 31 miljoen in makaques, wat 'n nigrostriatale divergensiefaktor van 300-400 tot gevolg het. Elke dopamien-akson word oorvloedig in 'n beperkte terminaal area in striatum belemmer en het ~500,000 striatale varicosities waaruit dopamien vrygestel word (Anden et al. 1966). Dit lei tot dopamien-insette byna elke striatale neuron (Groves et al. 1995) en 'n matige topografiese nigrostriatale projeksie (Lynd-Balta en Haber 1994). Die kortikale dopamien-innervering by ape is die hoogste in gebiede 4 en 6, is steeds groot in frontale, parietale en temporale lobbe, en is die laagste in die oksipitale lob (Berger et al. 1988; Williams en Goldman-Rakic ​​1993). Cortikale dopamien sinapse word hoofsaaklik in lae I en V-VI aangetref, wat 'n groot deel van kortikale neurone in kontak bring. Saam met die eerder homogene respons aard, dui hierdie data aan dat die dopamienrespons vorder as 'n gelyktydige, parallelle golf aktiwiteit vanaf die middelbrein na striatum en frontale korteks (Fig. 7).

Fig. 7. 

Globale dopamien sein wat aan streatum en korteks bevorder. Relatief homogene bevolkingsreaksie van die meerderheid dopamienneurone tot appetitiewe en waarskuwende stimuli en die progressie daarvan vanaf substantia nigra na postsynaptiese strukture kan skematies gesien word as 'n golf van sinchrone, parallelle aktiwiteit wat teen 'n snelheid van 1-2 m / s beweeg.Schultz en Romo 1987) langs die uiteenlopende projeksies vanaf die middelbrein na striatum (caudate en putamen) en korteks. Antwoorde is kwalitatief onderskeibaar tussen neurone van substantia nigra (SN) pars compacta en ventrale tegmentale area (VTA). Dopamien innervering van alle neurone in striatum en baie neurone in die voorste korteks sal die dopamien versterkingssin toelaat om 'n redelik globale effek uit te oefen. Wave is saamgepers om die parallelle aard te beklemtoon.

Dopamien vrystelling. Impulse van dopamienneurone met tussenposes van 20-100 ms lei tot 'n veel hoër dopamien konsentrasie in striatum as dieselfde aantal impulse met intervalle van 200 ms (Garris en Wightman 1994; Gonon 1988). Hierdie nie-lineariteit is hoofsaaklik te wyte aan die vinnige versadiging van die dopamien heropname vervoerder, wat die vrygestelde dopamien uit die ekstrasynaptiese gebied skoonmaak (Chergui et al. 1994). Dieselfde effek word waargeneem in nucleus accumbens (Wightman en Zimmerman 1990) en kom selfs voor met langer impulsintervalle as gevolg van sperre heropname-terreine (Garris et al. 1994b; Marshall et al. 1990; Stamford et al. 1988). Dopamienvrystelling na 'n impulsuitbarsting van <300 ms is te kort om die outoreceptor-gemedieerde vermindering van vrystelling te aktiveer (Chergui et al. 1994) of die selfs stadiger ensimatiese agteruitgang (Michael et al. 1985). So 'n uitbarstende dopamienreaksie is veral doeltreffend vir die vrystelling van dopamien.

Skattings gebaseer op in vivo voltammetrie dui daarop dat 'n enkele impuls vrystelling ~1,000 dopamienmolekules by sinapse in striatum en nucleus accumbens. Dit lei tot onmiddellike sinaptiese dopamien konsentrasies van 0.5-3.0 μM (Garris et al. 1994a; Kawagoe et al. 1992). Op 40 μs na die aanvang van die vrystelling het> 90% van die dopamien die sinaps verlaat, waarvan die res later deur sinaptiese heropname uitgeskakel is (half aanvangstyd van 30-37 ms). Op 3-9 ms na die aanvang van die vrystelling bereik dopamienkonsentrasies 'n hoogtepunt van ~ 250 nM wanneer alle naburige varicosities gelyktydig dopamien vrystel. Konsentrasies is homogeen binne 'n sfeer van 4 μm diam (Gonon 1997), wat die gemiddelde afstand tussen varicosities is (Doucet et al. 1986; Groves et al. 1995). Die maksimum diffusie word beperk tot 12 μm deur die heropname-vervoerder en word binne 75 ms bereik na die aanvang van die vrystelling (halwe vervoerder-aanvangstyd van 30-37 ms). Konsentrasies sal effens laer en minder homogeen wees in streke met minder varicosities of wanneer <100% van die dopamienneurone geaktiveer word, maar hulle is twee tot drie keer hoër met impulsure. Dus kan die beloning-geïnduseerde, effens sinchrone, bars aktivasies in ~ 75% van dopamienneurone lei tot taamlik homogene konsentrasiepieke in die orde van 150-400 nM. Totale toenames van ekstrasellulêre dopamien duur 200 ms na 'n enkele impuls en 500-600 ms na veelvuldige impulse van 20-100 ms intervalle toegepas gedurende 100-200 ms (Chergui et al. 1994; Dugast et al. 1994). Die ekstrasynaptiese heropname vervoerder (Nirenberg et al. 1996) bring dan dopamien konsentrasies terug na hul basislyn van 5-10 nM (Herrera-Marschitz et al. 1996). Dus, in teenstelling met klassieke, streng sinaptiese neurotransmissie, diffundeer sinapties vrygestelde dopamien vinnig in die onmiddellike juxtasynaptiese gebied en bereik kort pieke van regionaal-homogene ekstrasellulêre konsentrasies.

Reseptore. Van die twee hoof tipes dopamienreseptore vorm die adenylaat-siklasasaktiverende, D1-tipe reseptore ~80% dopamienreseptore in striatum. Van hierdie 80% is in die lae-affiniteitstoestand van 2-4 μM en 20% in die hoë affiniteitstoestand van 9-74 nM (Richfield et al. 1989). Die oorblywende 20% striatal dopamienreseptore behoort aan die adenylase-siklasasinhiberende D2-tipe waarvan 10-0% in die lae affiniteitsstatus en 80-90% in die hoëaffiniteitsstatus is, met soortgelyke affiniteite as D1-reseptore. D1 reseptore het dus 'n ~ 100 keer laer affiniteit as D2 reseptore. Striatal D1-reseptore is hoofsaaklik geleë op neurone wat na interne pallidum en substantia nigra pars reticulata uitsteek, terwyl striatale D2-reseptore meestal geleë is op neurone wat na eksterne pallidum uitsteek (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey et al. 1993). Die verskille in reseptor sensitiwiteit mag egter nie 'n rol verby seintransduksie speel nie, en sodoende die verskille in dopamien sensitiwiteit tussen die twee tipes striatale uitsette neurone verminder.

Dopamien word vrygestel aan 30-40% van sinaptiese en 60-70% van ekstrasynaptiese varicosities (Descarries et al. 1996). Synapties vrygestelde dopamien tree op postsynaptiese dopamienreseptore op vier anatomies uiteenlopende terreine in die striatum, naamlik binne dopamien sinapse, direk langs dopamien sinapse, binne kortikostriatale glutamaat sinapse, en by ekstrasynaptiese terreine wat ver van bevrydingsplekke af geleë is (Fig. 8) (Levey et al. 1993; Sesack et al. 1994; Yung et al. 1995). D1-reseptore word hoofsaaklik buite dopamien-sinapse gelokaliseer (Caillé et al. 1996). Die hoë voorlopige konsentrasies van dopamien na fasiese impulsuitbarstings sal D1-reseptore in die onmiddellike omgewing van die aktiewe vrylatingsterreine aktiveer en D2-reseptore oral soteer en selfs versadig. D2 reseptore sal gedeeltelik geaktiveer word wanneer die omgewingsdopamien konsentrasie terugkeer na die basislyn na phasic toeneem.

Fig. 8. 

Invloede van dopamien vrylating op tipiese medium-spinyneurone in die dorsale en ventrale striatum. Dopamien vrygestel deur impulse uit sinaptiese varicosities aktiveer 'n paar sinaptiese reseptore (waarskynlik van D2-tipe in die lae-affiniteits toestand) en diffundeer vinnig uit die sinaps om lae affiniteit D1 tipe reseptore (D1?) Te kry wat naby geleë is, binne kortikostriatale sinapse , of op 'n beperkte afstand. Fosies verhoogde dopamien aktiveer nabye hoë-affiniteit D2 tipe reseptore tot versadiging (D2?). D2 reseptore bly deels geaktiveer deur die omliggende dopamien konsentrasies na die fasies verhoogde vrystelling. Ekstrasynapties vrygestelde dopamien kan deur diffusie verdun word en D2-reseptore met hoë affiniteit aktiveer. Daar moet kennis geneem word dat, in afwyking met hierdie skematiese diagram, die meeste D1- en D2-reseptore op verskillende neurone geleë is. Glutamaat vrygestel van kortikostriatale terminale bereik postsynaptiese reseptore wat op dieselfde dendritiese stekels voorkom as dopamien-varicosities. Glutamaat bereik ook presynaptiese dopamien varicosities waar dit dopamien vrystelling beheer. Dopamien invloede op stekel neurone in frontale korteks is in baie opsigte vergelykbaar.

Opsomming. Die waargenome, matig bars, korttermyn, byna sinchroniese reaksie van die meerderheid dopamienneurone, lei tot optimale gelyktydige dopamien vrystelling van die meerderheid van noue spasiërende streatale varicosities. Die neuronale respons veroorsaak 'n kort blomp dopamien wat vrygestel word van ekstrasinaptiese terreine of diffundeer vinnig van sinapse na die laterasintetiese area. Dopamien bereik vinnig streeks-homogene konsentrasies waarskynlik die dendriete van waarskynlik alle striatale en baie kortikale neurone kan beïnvloed. Op hierdie wyse word die beloningsboodskap in 60-80% van dopamienneurone uitgesaai as 'n uiteenlopende, eerder globale versterkings sein na die striatum, kernakkoue en frontale korteks, wat 'n fasiese invloed op 'n maksimum aantal sinapse wat by die verwerking betrokke is, verseker. van stimuli en aksies wat lei tot beloning (Fig. 7). Dopamien vrygestel deur neuronale aktiverings na belonings en beloning-voorspellende stimuli, sou die sintasynaptiese D1-reseptore op striatale neurone beïnvloed wat na interne pallidum en substantia nigra pars reticulata beïnvloed en alle D2-reseptore op neurone wat na eksterne pallidum uitsteek. Die vermindering van dopamien vrystelling wat veroorsaak word deur depressies met weggelaat belonings en beloning-voorspellende stimuli, sal die toniese stimulasie van D2 reseptore verminder deur omgewingsdopamien. So positiewe beloningsvoorspellingsfoute sal alle tipes striatale uitsette neurone beïnvloed, terwyl die negatiewe voorspellingsfout hoofsaaklik neurone kan beïnvloed wat na eksterne pallidum uitsteek.

Potensiële kokaïen meganismes. Blokkering van die dopamien heropname vervoerder deur dwelms soos kokaïen of amfetamien verhoog en verleng phasic toenames in dopamien konsentrasies (Church et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). Die verbetering sal veral uitgespreek word wanneer vinnige, gebarsgeïnduceerde toenames in dopamien konsentrasie 'n piek bereik voordat terugvoerregulering effektief word. Hierdie meganisme sal lei tot 'n massiewe versterk dopamien sein na primêre belonings en beloning-voorspellende stimuli. Dit sal ook die ietwat swakker dopamien sein verhoog na stimuli wat op lone, nuwe stimuli en veral opvallende stimuli wat in die alledaagse lewe gereeld voorkom, lyk. Die vermeerdering deur kokaïen sal hierdie onbelangrike stimuli laat lyk as sterk of selfs sterker as natuurlike belonings sonder kokaïen. Postsynaptiese neurone kan so 'n sein verkeerd interpreteer as 'n besonder prominente beloningsverwante gebeurtenis en ondergaan langtermyn veranderinge in sinaptiese oordrag.

DOPAMIEN MEMBRANE AKSIES.

Dopamienaksies op striatale neurone hang af van die tipe reseptor wat geaktiveer word, is verwant aan die depolariseerde versus hiperpolariseerde toestande van membraanpotensiale en sluit dikwels glutamaatreseptore in. Aktivering van D1 dopamienreseptore verhoog die opwekking wat veroorsaak word deur aktivering van N-metyl-d-aspartaat (NMDA) reseptore na kortikale insette via L-tipe Ca2+ kanale wanneer die membraanpotensiaal in die depolariseerde toestand is (Cepeda et al. 1993, 1998; Hernandez-Lopez et al. 1997; Kawaguchi et al. 1989). D1-aktivering blyk daarenteen uitgelokte opwekkings te verminder wanneer die membraanpotensiaal in die hiperpolariseerde toestand is (Hernandez-Lopez et al. 1997). In vivo dopamiene iontophorese en aksonale stimulasie veroorsaak D1-gemedieerde eksitasies wat 100-500 ms verby dopamien vrylating hou (Gonon 1997; Williams en Millar 1991). Aktivering van D2 dopamienreseptore verminder Na+ en N-tipe Ca2+ strome en verswak excitasies wat veroorsaak word deur die aktivering van NMDA- of α-aminotoxum-3-hydroxy-5-metiel-4-isoksasoolpropiensuur (AMPA) reseptore in enige membraan toestand (Cepeda et al. 1995; Yan et al. 1997). Op die stelselvlak oefen dopamien 'n fokus-effek uit, waardeur slegs die sterkste insette deur striatum na eksterne en interne pallidum beweeg, terwyl swakker aktiwiteit verlore gaan (Brown en Arbuthnott 1983; Filion et al. 1988; Toan en Schultz 1985; Yim en Mogenson 1982). Dus kan die dopamien wat vrygestel word deur die dopamienrespons lei tot 'n onmiddellike algehele vermindering in striatale aktiwiteit, alhoewel 'n fasiliterende effek op korties uitgesproke eksitasies via D1-reseptore bemiddel kan word. Die volgende bespreking sal aantoon dat die effekte van dopamienneurotransmissie nie beperk mag word tot veranderinge in membraanpolarisasie nie.

DOPAMIEN-AFHANKLIKE PLASTICITEIT.

Tetaniese elektriese stimulasie van kortikale of limbiese insette aan striatum en nukleus-accumbens veroorsaak posttetaniese depressies wat 'n paar tiene minute in snye hou (Calabresi et al. 1992a; Lovinger et al. 1993; Pennartz et al. 1993; Walsh 1993; Wickens et al. 1996). Hierdie manipulasie verhoog ook die opwinding van kortikostriatale terminale (Garcia-Munoz et al. 1992). Posttetaniese potensiasie van soortgelyke duurstasies word waargeneem in striatum en nucleus accumbens wanneer postsynaptiese depolarisasie gefasiliteer word deur die verwydering van magnesium of toediening van γ-aminobutoorsuur (GABA) antagoniste (Boeijinga et al. 1993; Calabresi et al. 1992b; Pennartz et al. 1993). D1- of D2-dopamienreseptorantagoniste of D2-reseptor-uitsluiting verwyder posttetaniese kortikostriatale depressie (Calabresi et al. 1992a; Calabresi et al. 1997; Garcia-Munoz et al. 1992) maar beïnvloed nie potensiëring in nukleus accumbens nie (Pennartz et al. 1993). Toepassing van dopamien herstel straling posttetaniese depressie in snye van dopamien-lae-rottende rotte (Calabresi et al. 1992a), maar versuim om posttetaniese potensiëring te verander (Pennartz et al. 1993). Kort pulse dopamien (5-20 ms) induceer langtermyn potensiering in striatale snye wanneer dit gelyktydig toegedien word met tetaniese kortikostriatale stimulasie en postsynaptiese depolarisasie, wat voldoen aan 'n drie-faktor versterkings leerreël (Wickens et al. 1996).

Verdere bewyse vir dopamienverwante sinaptiese plastisiteit word in ander breinstrukture of met verskillende metodes aangetref. In die hippokampus word posttetaniese potensiëring verhoog deur badtoediening van D1-agoniste (Otmakhova en Lisman 1996) en benadeel deur D1 en D2 reseptor blokkade (Frey et al. 1990). Burst kontingente maar nie gebreek nie-kontinente plaaslike toepassings van dopamien- en dopamienagoniste verhoog neuronale bars in hippocampale snye (Stein et al. 1994). In vis retina, aktiveer die aktivering van D2 dopamienreseptore bewegings van fotoreseptore in of uit die pigmentepiteel (Rogawski 1987). Posttriële inspuitings van amfetamien- en dopamienagoniste in rat caudate-kern verbeter prestasie in geheue take (Packard en White 1991). Dopamien-denervasies in die striatum verminder die aantal dendritiese stekels (Arbuthnott en Ingham 1993; Anglade et al. 1996; Ingham et al. 1993), wat daarop dui dat die dopamien innervasie aanhoudende effekte op kortikostriatale sinapse het.

VERWERKING IN STRAATSE NEURONE.

'N beraamde 10,000 kortikale terminale en 1,000 dopamien varicosities kontak die dendritiese ruggraat van elke striatale neuron (Doucet et al. 1986; Groves et al. 1995; Wilson 1995). Die digte dopamien-innervering word sigbaar as mandjies wat individuele perikarya in duiwepaleostriatum uiteensit (Wynne en Güntürkün 1995). Dopamien varicosities vorm sinapse op dieselfde dendritiese stekels van striatale neurone wat gekontak word deur kortikale glutamaat afferente (Fig. 8) (Bouyer et al. 1984; Freund et al. 1984; Pickel et al. 1981; Smith et al. 1994), en sommige dopamienreseptore is geleë binne kortikostriatale sinapse (Levey et al. 1993; Yung et al. 1995). Die hoë aantal kortikale insette aan striatale neurone, die konvergensie tussen dopamien- en glutamaatinsette by die stekels van striatale neurone, en die grootliks homogene dopamien sein wat waarskynlik alle striatale neurone bereik, is ideale substrates vir dopamien-afhanklike sinaptiese veranderinge by die stekels van striatale neurone. . Dit kan ook vashou aan die korteks waar dendritiese stekels gekontak word deur sinaptiese insette van beide dopamien en kortikale neurone (Goldman-Rakic ​​et al. 1989), hoewel dopamien waarskynlik nie elke kortikale neuron beïnvloed nie.

Die basale ganglia word verbind deur oop en geslote lusse met die korteks en met subkortiese limbiese strukture. Die striatum ontvang in wisselende mate insette van alle kortikale gebiede. Basale ganglia uitsette word hoofsaaklik gerig op frontale kortikale areas, maar bereik ook die temporale lob (Middleton en Strick 1996). Baie insette van funksioneel heterogene kortikale areas na die striatum word georganiseer in gesegregeerde, parallelle kanale, asook die uitsette van interne pallidum wat gerig is op verskillende motoriese kortikale areas (Alexander et al. 1986; Hoover and Strick 1993). Afferente van funksioneel verwante maar anatomies verskillende kortikale gebiede kan egter op striatale neurone kom. Byvoorbeeld, projeksies vanaf somatotopies verwante gebiede van primêre somatosensoriese en motoriese korteks projek na gemeenskaplike striatale streke (Flaherty en Graybiel 1993, 1994). Kortikostriatale projeksies divergeer in afsonderlike striatale "matrisome" en herleef in die pallidum, wat sodoende die sinaptiese "oppervlak" vir modulerende interaksies en verenigings verhoog (Graybiel et al. 1994). Hierdie anatomiese reëling sal die dopamien sein toelaat om die doeltreffendheid van hoogs gestruktureerde, taakspesifieke kortikale insette aan striatale neurone te bepaal en 'n wydverspreide invloed op voorhoedesentrums wat betrokke is by die beheer van gedragsaksie, uit te oefen.

GEBRUIK VAN DIE DOPAMIENREKENING PREDIKSIEFOUT SEIGNAL

Dopamienneurone blyk appetitiewe gebeure aan te meld volgens 'n voorspellingsfout (EQS. 1 en 2 ). Huidige leerteorieë en neuronale modelle demonstreer die kardinale belang van voorspellingsfoute vir leer.

Leerteorieë

RESCORLA-WAGNER MODEL.

Gedragsleerteorieë formaliseer die verkryging van assosiasies tussen arbitrêre stimuli en primêre motiverende gebeurtenisse in klassieke kondisioneringsparadigmas. Stimuli kry assosiatiewe sterkte oor opeenvolgende proewe deur herhaaldelik met 'n primêre motiverende gebeurtenis gepaard te gaan

ΔV=αβ(λ-V)

Vergelyking 3where V is die huidige assosiatiewe sterkte van die stimulus, λ is die maksimum assosiatiewe sterkte wat moontlik deur die primêre motiverende gebeurtenis onderhou word, α en ß is konstantes wat onderskeidelik die saligheid van gekondisioneerde en onvoorwaardelike stimuli weerspieël (Dickinson 1980; Mackintosh 1975; Pearce en Hall 1980; Rescorla en Wagner 1972). Die (λ-V) term dui aan op watter mate die primêre motiverende gebeurtenis onvoorspelbaar voorkom en 'n fout in die voorspelling van versterking voorstel. Dit bepaal die tempo van leer, aangesien assosiatiewe krag toeneem wanneer die foutterm positief is en die gekondisioneerde stimulus nie die versterking ten volle voorspel nie. Wanneer V = λ, die gekondisioneerde stimulus voorspel die versterker ten volle en V sal nie verder toeneem nie. So leer vind slegs plaas wanneer die primêre motiverende gebeurtenis nie ten volle voorspel word deur 'n gekondisioneerde stimulus nie. Hierdie interpretasie word voorgestel deur die blokkeringsverskynsel, waarvolgens 'n stimulus versuim om assosiatiewe krag te kry wanneer dit saam met 'n ander stimulus aangebied word wat op sigself die versterker ten volle voorspel (Kamin 1969). Die (λ-V) fout termyn word negatief wanneer 'n voorspelde versterker nie plaasvind nie, wat lei tot 'n verlies van assosiatiewe sterkte van die gekondisioneerde stimulus (uitwissing). Let daarop dat hierdie modelle die term "versterking" in die breë sin gebruik om die frekwensie en intensiteit van spesifieke gedrag te verhoog en verwys nie na enige spesifieke tipe leer nie.

DELTA REGLEMENT.

Die Rescorla-Wagner-model hou verband met die algemene beginsel van leer wat gedryf word deur foute tussen die gewenste en die werklike uitset, soos die minste gemiddelde vierkante foutprosedure (Kalman 1960; Wenkbrood en Sterns 1985). Hierdie beginsel is toegepas op neuronale netwerkmodelle in die Delta-reël, volgens watter sinaptiese gewigte (ω) aangepas word deur

Δω=η(t-a)x

Vergelyking 4where t is gewenste (teiken) uitset van die netwerk, a is werklike uitset, en η en x is leerkoers en insetaktivering onderskeidelik (Rumelhart et al. 1986; Widrow en Hoff 1960). Die verlangde uitset (t) is analoog aan die uitkoms (λ), die werklike uitset (a) is analoog aan die voorspelling wat tydens leer aangepas is (V), en die delta fout term (δ = t - a) is gelykstaande aan die versterkingsfouttermyn (λ-V) van die Rescorla-Wagner-reël (Vgl. 3) (Sutton en Barto 1981).

Die algemene afhanklikheid van uitkoms onvoorspelbaarheid hou intuïtief verband met die kern van leer. As leer behels die verkryging of verandering van voorspellings van die uitkoms, sal geen verandering in voorspellings en dus sal geen leer plaasvind wanneer die uitkoms perfek goed voorspel word nie. Dit beperk leer tot stimuli en gedragsreaksies wat tot verrassende of veranderde uitkomste lei, en oorbodige stimuli wat voorafgaan wat reeds deur ander gebeure voorspel is, word nie geleer nie. Behalwe hul rol in die totstandkoming van leer, het versterkers 'n tweede, kenmerkend verskillende funksie. Wanneer leer voltooi is, is voorspelde versterkers noodsaaklik vir die handhawing van geleerde gedrag en die voorkoming van uitsterwing.

Baie vorme van leer kan die vermindering van voorspellingsfoute insluit. In algemene sin verwerk hierdie stelsels 'n eksterne gebeurtenis, genereer voorspellings van hierdie gebeurtenis, bereken die fout tussen die gebeurtenis en sy voorspelling en verander beide prestasie en voorspelling volgens die voorspellingsfout. Dit mag nie beperk word tot leerstelsels wat handel oor biologiese versterkers nie, maar het betrekking op 'n veel groter verskeidenheid neurale operasies, soos visuele herkenning in serebrale korteks (Rao en Ballard 1997).

Versterking algoritmes

ONKONDERSIONELE VERHOGING.

Neuronale netwerk modelle kan opgelei word met eenvoudige versterkings seine wat 'n voorspellings-onafhanklike sein uitstraal wanneer 'n gedragsreaksie korrek uitgevoer word, maar geen sein met 'n foutiewe reaksie nie. Leer in hierdie grootliks instrumentele leermodelle behels die verandering van die sinaptiese gewigte (ω) van modelneurone volgens

Δω=ɛrxy

Vergelyking 5where ɛ is leerkoers, r is versterking, en x en y is aktiverings van pre- en postsynaptiese neurone, onderskeidelik, wat verseker dat slegs sinapse wat aan die versterkte gedrag deelneem, gewysig word. 'N Gewilde voorbeeld is die assosiatiewe beloning-strafmodel (Barto en Anandan 1985). Hierdie modelle verkry skelet- of oculomotoriese antwoorde, leer rye, en voer die Wisconsin-kaart-sorteringstoets uit (Arbib en Dominey 1995; Dehaene en Changeux 1991; Dominey et al. 1995; Fagg en Arbib 1992). Verwerkingseenhede in hierdie modelle verkry soortgelyke eienskappe as neurone in parietale assosiasie korteks (Mazzoni et al. 1991).

Die volharding van die onderrigsein na leer vereis egter addisionele algoritmes om sinaptiese sterk punte te voorkom (Montague en Sejnowski 1994) en om die verkryging van oortollige stimuli te vermy, wat saam met versterker-voorspellende stimuli aangebied word. Voorheen geleerde gedrag volhard wanneer gebeurlikhede verander, aangesien die versterking versuim om 'n negatiewe sein te veroorsaak. Leersnelheid kan verhoog word deur eksterne inligting van 'n onderwyser by te voeg (Ballard 1997) en deur inligting oor die vorige prestasie in te sluit (McCallum 1995).

TYDELIKE VERSKILLENDE LEER.

In 'n besonder doeltreffende klas van versterkingsalgoritmes (Sutton 1988; Sutton en Barto 1981), word sinaptiese gewigte gewysig volgens die fout in versterkingsvoorspelling bereken oor opeenvolgende tydstappe (t) in elke verhoor

rˆ(t)=r(t)+P(t)-P(t-l)

Vergelyking 6where r is versterking en P is versterkingsvoorspelling. P (t) word gewoonlik vermenigvuldig met 'n afslagfaktor γ met 0 ≤ γ <1 om die afnemende invloed van toenemend afgeleë belonings te verreken. Om eenvoudige redes is γ hier op 1 gestel. In die geval van 'n enkele stimulus wat 'n enkele versterking voorspel, is die voorspelling P(t - 1) bestaan ​​voor die tyd t van versterking maar eindig ten tyde van versterking [P (t) = 0]. Dit lei tot 'n effektiewe versterkingssignaal op die oomblik (T) van versterking

rˆ (t)=r(t)-P(t-l)

Vergelyking 6aDie r(t) term dui die verskil aan tussen werklike en voorspelde versterking. Tydens leer word versterking onvolledig voorspel, die foutterm is positief wanneer versterking plaasvind en sinaptiese gewigte word verhoog. Na die leer word versterking ten volle voorspel deur 'n voorafgaande stimulus [P(t - 1) = r(t)], die fout term is nul op korrekte gedrag, en sinaptiese gewigte bly onveranderd. Wanneer versterking weggelaat word weens onvoldoende prestasie of veranderings, is die fout negatief en word die sinaptiese gewigte verminder. Die r(t) term is analoog aan die (λ-V) fout termyn van die Rescorla-Wagner model (Aand. 4 ). Dit gaan egter oor individuele tydstappe (t) binne elke proef eerder as voorspellings wat oor opeenvolgende proewe ontwikkel. Hierdie tydelike modelle van versterking kapitaliseer op die feit dat die verworwe voorspellings die presiese tyd van versterking insluit (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

Die tydelike verskil (TD) algoritmes gebruik ook verworwe voorspellings vir die verandering van sinaptiese gewigte. In die geval van 'n onvoorspelbare, enkelgekondisioneerde stimulus wat 'n enkele versterker voorspel, is die voorspelling P (t) begin op tyd (T), daar is geen voorafgaande voorspelling nie [P(t - 1) = 0], en versterking het nog nie plaasgevind nie [r(t) = 0]. Volgens Aand. 6, die model gee 'n suiwer voorspellende effektiewe versterkingssignaal op die oomblik uit (t) van die voorspelling

rˆ=P(t)

Vergelyking 6bIn die geval van veelvuldige, opeenvolgende voorspellende stimuli, weer met versterking afwesig ten tyde van voorspellings, het die effektiewe versterkings sein destyds (T) van die voorspelling weerspieël die verskil tussen die huidige voorspelling P (t) en die voorafgaande voorspelling P(t - 1)

rˆ=P(t)-P(t-l)

Vergelyking 6cDit is 'n foutterm van hoër orde versterking. Soortgelyk aan ten volle voorspel versterkers, word alle voorspellende stimuli wat hulself ten volle voorspel het, uitgeskakel [P(t - 1) = P(t)], wat lei tot r = 0 by die tye (T) van hierdie stimuli. Slegs die vroegste voorspellende stimulus dra by tot die effektiewe versterkings sein, as hierdie stimulus P (t) word nie deur 'n ander stimulus voorspel nie [P(t - 1) = 0]. Dit lei tot dieselfde r = P (t) op daardie stadium (T) van die eerste voorspelling soos in die geval van 'n enkele voorspelling (Aand. 6b).

Fig. 9. 

Basiese argitekture van neurale netwerkmodelle wat tydelike verskil-algoritmes implementeer in vergelyking met basale ganglia-konnektiwiteit. A: in die oorspronklike implementering die effektiewe onderrigsein y - ȳ word bereken in die model neuron A en gestuur na presynaptiese terminale van insette x na neuron B, dus beïnvloed xB verwerking en verandering van sinaptiese gewigte by die xB sinaps. neuron B beïnvloed gedragsuitset via akson y en terselfdertyd dra by tot die adaptiewe eienskappe van neuron A, naamlik sy reaksie op versterker-voorspelde stimuli. Meer onlangse implementasies van hierdie eenvoudige argitektuur gebruik neuron A eerder as neuron B vir die uitstuur van 'n uitset O van die model (Montague et al. 1996; Schultz et al. 1997). Herdruk vanaf Sutton en Barto (1981) met toestemming van American Psychological Association. B: onlangse implementering skei die onderrigkomponent af A, noem die kritikus (Regs), uit 'n uitset komponent wat bestaan ​​uit verskeie verwerkingseenhede B, die akteur genoem (Links). Die effektiewe versterkings sein r(t) word bereken deur die temporale verskil in geweegde versterkervoorspelling γ af te trekP(t) - P(t - 1) vanaf primêre versterking r(t) ontvang vanuit die omgewing (γ is die afslagfaktor wat die waarde van verre versterkers verminder). Versterkervoorspelling word in 'n afsonderlike voorspellingseenheid bereken C, wat deel is van die kritikus en vorm 'n geslote lus met die onderrigelement A, terwyl primêre versterking deur middel van 'n aparte inset die kritikus betree rt. Effektiewe versterkings sein beïnvloed sinaptiese gewigte by inkomende aksone in die akteur, wat die uitset en die adaptiewe voorspellings-eenheid van die kritikus bemiddel. Herdruk vanaf Barto (1995) met toestemming van MIT Press. C: basiese konneksiwiteit van die basale ganglia toon opvallende ooreenkomste met die aktrise-kritikusargitektuur. Dopamien projeksie stuur die versterkings sein na die striatum en is vergelykbaar met die eenheid A in dele A en B, die limbiese striatum (of striosome-pleister) neem die posisie van die voorspellings-eenheid in C in die kritikus, en die sensorimotoriese striatum (of matriks) lyk soos die akteurseenhede B. In die oorspronklike model (A), die enkele hoofafwyking van gevestigde basale ganglia-anatomie bestaan ​​in die invloed van neuron A word gerig op presynaptiese terminale, terwyl dopamien sinapse geleë is op postsynaptiese dendriete van striatale neurone (Freund et al. 1984). Herdruk vanaf Smith en Bolam (1990) met toestemming van Elsevier Press.

Saam die effektiewe versterkings sein (Aand. 6 ) bestaan ​​uit die primêre versterking, wat afneem met opkomende voorspellings (Aand. 6a) en word geleidelik vervang deur die verworwe voorspellings (EQS. 6b en 6c). Met opeenvolgende voorspellende stimuli beweeg die effektiewe versterkings sein betyds van die primêre versterker na die vroegste versterker-voorspellende stimulus. Die retrograde-oordrag lei tot 'n meer spesifieke opdrag van krediet vir die betrokke sinapse, aangesien voorspellings nader aan die tyd voorgekom het tot die stimuli en gedragsreaksies wat gekondisioneer moet word, in vergelyking met versterking aan die einde van die toets (Sutton en Barto 1981).

Implementering van versterkingsleeralgoritmes maak gebruik van die voorspellingsfout op twee maniere, vir die verandering van sinaptiese gewigte vir gedragsproduksie en om self die voorspellings te verkry om die voorspellingsfout voortdurend te bereken (Fig. 9 A) (McLaren 1989; Sutton en Barto 1981). Hierdie twee funksies word geskei in onlangse implementerings, waarin die voorspellingsfout in die adaptiewe kritikakomponent bereken word en die sinaptiese gewigte in die akteurskomponent verander wat die gedragspatroon bemiddel (Fig. 9 B) (Barto 1995). 'N positiewe fout verhoog die versterkingsvoorspelling van die kritikus, terwyl 'n negatiewe fout uit die weglaat van versterking die voorspelling verminder. Dit maak die effektiewe versterkings sein hoogs aanpasbaar.

Neurobiologiese implementering van tydelike verskil leer

VERGELYKING VAN DOPAMIENE REAKSIE MET VERWERKINGS MODELLE.

Die dopamienrespons wat 'n fout in die voorspelling van beloning koester (Aand. 1 ) lyk baie soos die effektiewe fouttermyn van dierleerreëls (λ-V; Aand. 4 ) en die effektiewe versterkings sein van TD-algoritmes destyds (t) van versterking [r(t) - P(t - 1); Aand. 6a], soos voorheen genoem (Montague et al. 1996). Net so is die voorspellingsfout van die dopamien-appetitiewe gebeurtenis (Aand. 2 ) lyk op die hoër orde TD versterkingsfout [P(t) - P(t - 1); Aand. 6c]. Die aard van die wydverspreide, divergente projeksies van dopamienneurone tot waarskynlik alle neurone in die striatum en baie neurone in die voorste korteks is verenigbaar met die idee van 'n TD-globale versterkingssin, wat deur die kritikus vir die invloed van alle modelneurone in die akteur uitgestraal word. (vergelyk Fig. 7 met Fig. 9 B). Die kritiek-akteurargitektuur is veral aantreklik vir neurobiologie as gevolg van sy aparte onderrig- ​​en uitvoeringsmodules. In die besonder, dit lyk baie na die verbindings van die basale ganglia, insluitende die wederkerigheid van striatonigrale projeksies (Fig. 9 C), soos voorheen aangedui deur Houk et al. (1995). Die kritikus simuleer dopamienneurone, die beloningsvoorspelling kom van striosomale striatonigrale projeksies, en die akteur lyk op striatale matriksneurone met dopamien-afhanklike plastisiteit. Interessant genoeg is beide dopamienrespons en teoretiese foutterme tekenafhanklik. Hulle verskil van foute met absolute waardes wat nie tussen verkryging en uitwissing diskrimineer nie en hoofsaaklik aandag moet hê.

TOEPASSINGS VIR NEUROBIOLOGIESE PROBLEME.

Hoewel dit oorspronklik ontwikkel is op grond van die Rescorla-Wagner-model van klassieke kondisionering, leer modelle met behulp van TD-algoritmes 'n wye verskeidenheid gedragstake deur basies instrumentele vorme van kondisionering. Hierdie take bereik van die balansering van 'n paal op 'n karwielwiel (Barto et al. 1983) om wêreldklas backgammon te speel (Tesauro 1994). Robotte wat TD-algoritmes gebruik, leer om tweedimensionele ruimte te beweeg en struikelblokke te vermy, bereik en gryp (Fagg 1993) of steek 'n pen in 'n gaatjie (Gullapalli et al. 1994). Gebruik die TD versterkings sein om direkte gedrag te beïnvloed en te kies (Fig. 9 A), TD-modelle repliseer voergedrag van heuningbye (Montague et al. 1995) en menslike besluitneming te simuleer (Montague et al. 1996). TD-modelle met 'n eksplisiete kritikus-akteurargitektuur vorm baie kragtige modelle wat oogbewegings doeltreffend leer (Friston et al. 1994; Montague et al. 1993), sekwensiële bewegings (Fig. 10), en oriënterende reaksies (Contreras-Vidal en Schultz 1996). 'N Onlangse model het aktiewe depressiewe nuwigheidseine vir die verbetering van die onderrigsein toegepas, stimulus- en aksiespore in die kritikus en akteur gebruik en winnaar-neem-al-reëls vir die verbetering van die onderrigsein en vir die kies van akteurneurone met die grootste aktivering. Dit het in groot detail sowel die respons van dopamienneurone as die leergedrag van diere in vertraagde reaksietakeSuri en Schultz 1996). Dit is veral interessant om te sien dat onderrigseine met voorspellingsfoute lei tot vinniger en meer volledige leer in vergelyking met onvoorwaardelike versterkings seine (Fig. 10) (Friston et al. 1994).

Fig. 10. 

Voordeel van voorspellende versterkings seine vir leer. 'N Tydsverskilmodel met kritiek-akteurargitektuur en die geskiktheidspore in die akteur is opgelei in 'n opeenvolgende 2-stap-3-keuse taak (inset bo links). Leer gevorderder vinniger en bereik hoër prestasie as 'n voorspellende versterkingsinligting gebruik word as onderrigsein (adaptiewe kritikus, Top) in vergelyking met die gebruik van 'n onvoorwaardelike versterkings sein by proefpunt (onderkant). Hierdie effek word toenemend meer uitgespreek met langer rye. Vergelykbare prestasie met die onvoorwaardelike versterkings sein sal 'n veel langer geskikte spoor benodig. Data is verkry uit 10 simulasies (R. Suri en W. Schultz, ongepubliseerde waarnemings). 'N Soortgelyke verbetering in leer met voorspellende versterking is gevind in 'n model van oculomotoriese gedrag (Friston et al. 1994).

Moontlike leermeganismes wat die dopamien sein gebruik

Die voorafgaande afdeling het getoon dat die formele voorspellingsfout sein wat deur die dopamienreaksie uitgestraal word, 'n besonder geskikte onderrigsein vir modelleer kan vorm. Die volgende afdelings beskryf hoe die biologiese dopamienreaksie potensieel gebruik kan word om te leer deur basale ganglia strukture en toetsbare hipoteses voor te stel.

POSTYNAPTISCHE PLASTICITEIT MEDIAERD MET REWARD PREDICTION SIGNAL.

Leer sal in twee stappe voortgaan. Die eerste stap behels die verkryging van 'n dopamienbeloning-voorspellingsreaksie. In die daaropvolgende proewe sal die voorspellende dopamien sein spesifiek die sinaptiese gewigte (ω) van die Hebbian-tipe kortikostriatale sinapse versterk wat aktief is ten tye van die beloningsvoorspellende stimulus, terwyl die onaktiewe kortikostriatale sinapse onveranderd gelaat word. Dit lei tot die drie-faktor leerreël

Δω=ɛ rˆ i o

Vergelyking 8where r is dopamien versterkings sein, i is inset aktiwiteit, o is uitsetaktiwiteit, en ɛ is leerkoers.

In 'n vereenvoudigde model, kontak vier kortikale insette (i1-i4) die dendritiese stekels van drie mediumgrootte spinaal striatale neurone (o1-o3; Fig. 11). Kortikale insette konvergeer op striatale neurone, elke inset wat 'n ander ruggraat kontak. Dieselfde stekels word selektief gekontak deur 'n algemene dopamien-inset. R. Aktivering van dopamien-inset R dui daarop dat 'n onvoorspelbare beloningsvoorspellende stimulus in die omgewing plaasgevind het, sonder om verdere besonderhede (goedheidsein) te verskaf. Kom ons aanvaar dat kortikale insette i2 gelyktydig met dopamienneurone geaktiveer word en kodes een van verskeie spesifieke parameters van dieselfde beloningsvoorspellende stimulus, soos sy sensoriese modaliteit, liggaamsdeel, kleur, tekstuur en posisie, of 'n spesifieke parameter van 'n beweging veroorsaak deur die stimulus. 'N Stel parameters van hierdie gebeurtenis sal gekodeer word deur 'n stel kortikale insette i2. Kortikale insette i1, i3, en i4 wat nie verband hou met huidige stimuli en bewegings nie, is onaktief. Die dopamienreaksie lei tot onverkiesende dopamien vrystelling by alle varicosities, maar sal selektief slegs die aktiewe kortikostriatale sinapse i2-o1 en i2-o2 versterk, mits die kortikale insette sterk genoeg is om streatale neurone o1 en o2 te aktiveer.

Fig. 11. 

Differensiële invloede van 'n globale dopamienversterkings sein op selektiewe kortikostriatale aktiwiteit. Dendritiese stekels van 3 mediumgroot, stekelstrepale neurone o1, o2 en o3 word gekontak deur 4 kortikale insette i1, i2, i3 en i4 en deur aksonale varicosities van 'n enkele dopamienneuron R (of uit 'n populasie van homogeen geaktiveerde dopamienneurone ). Elke striatale neuron ontvang ~10,000 kortikale en 1,000 dopamien-insette. By enkel dendritiese stekels kom verskillende kortikale insette saam met die dopamien-inset. In die 1-weergawe van die model, verhoog die dopamien sein gelyktydig aktiewe kortikostriatale transmissie relatief tot nie-aktiewe transmissie. Dopamien-inset R is byvoorbeeld aktief op dieselfde tyd as kortikale inset i2, terwyl i1, i3, i4 onaktief is. Dit lei tot 'n verandering van die i2 → o1 en i2 → o2-oordrag, maar laat die i1 → o1, i3 → o2, i3 → o3 en i4 → o3 uitsendings onveranderd. In 'n weergawe van die model wat plastisiteit gebruik, word sinaptiese gewigte van kortikostriatale sinapse op lang termyn gewysig deur die dopamien sein volgens dieselfde reël. Dit kan voorkom wanneer dopamienreaksies op 'n gekondisioneerde stimulus optree op kortikostriatale sinapse wat ook deur hierdie stimulus geaktiveer word. In 'n ander weergawe wat plastisiteit gebruik, kan dopamienreaksies op 'n primêre beloning agteruitgaan in terme van kortikostriatale sinapse wat voorheen aktief was. Hierdie sinapse sal in aanmerking kom vir verandering deur 'n hipotetiese postsynaptiese neuronale spoor wat uit daardie aktiwiteit verlaat is. By die vergelyking van die basale ganglia struktuur met die onlangse TD model van Fig. 9 B, Dopamien-inset R repliseer die kritikus met neuron A, die striatum met neurone o1-o3 repliseer die akteur met neuron B, kortikale insette i1-i4 repliseer die akteurinvoer en die divergente projeksie van dopamienneurone R op meervoudige stekels van verskeie striatale neurone o1-o3 repliseer die globale invloed van die kritikus op die akteur. 'N Soortgelyke vergelyking is gemaak deur Houk et al. (1995). Hierdie tekening is gebaseer op anatomiese data deur Freund et al. (1984), Smith en Bolam (1990), Flaherty en Graybiel (1993), en Smith et al. (1994).

Hierdie leermeganisme gebruik die verworwe dopamienrespons ten tye van die beloningsvoorspellende stimulus as 'n onderrigsein om langdurige sinaptiese veranderinge te bewerkstellig (Fig. 12 A). Leer van die voorspellende stimulus of geaktiveerde beweging is gebaseer op die gedemonstreerde verkryging van dopamienreaksie op die beloningsvoorspellende stimulus, tesame met dopamien-afhanklike plastisiteit in die striatum. Plastisiteitsveranderinge kan alternatief plaasvind in kortikale of subkortiese strukture stroomaf van striatum na dopamien-gemedieerde korttermynverbetering van sinaptiese transmissie in die striatum. Die terugwerkende effekte van beloning op stimuli en bewegings wat die beloning voorafgaan, word bemiddel deur die reaksie-oordrag na die vroegste beloningsvoorspellende stimulus. Die dopamienreaksie op voorspelde of weggelaat primêre beloning word nie gebruik vir plastisiteitsveranderinge in die striatum nie, aangesien dit nie gelyktydig met die gebeurtenisse voorkom wat gekondisioneer word nie, alhoewel dit betrokke kan wees by die berekening van die dopamienreaksie op die beloningsvoorspellende stimulus in analogie tot die argitektuur en meganisme van TD-modelle.

Fig. 12. 

Invloede van dopamien versterkings sein op moontlike leermeganismes in die striatum. A: Voorspellende dopamienbeloningsreaksie op 'n gekondisioneerde stimulus (CS) het 'n direkte verbetering of plastisiteitseffek op striatale neurotransmissie wat verband hou met daardie stimulus. B: dopamienreaksie op primêre beloning het 'n retrograde plastisiteitseffek op striatale neurotransmissie wat verband hou met die voorafgaande gekondisioneerde stimulus. Hierdie meganisme word bemiddel deur 'n streeks-aktiwiteit wat uitstrykbaar is. Soliede pyle dui op direkte effekte van dopamien sein op striatale neurotransmissie (A) of die geskiktheidspoor (B), klein pyltjie in B dui aan indirekte effek op striatale neurotransmissie via die geskiktheidspoor.

POSTYNAPTIESE PLASTICITEIT TUSSEN SYNAPTIESE TOELATINGSVERSLAG.

Leer kan in 'n enkele stap plaasvind as die dopamienbeloningssignaal 'n terugwerkende werking het op striatale sinapse. Dit vereis hipotetiese spore van sinaptiese aktiwiteit wat duur tot versterking plaasvind en maak daardie sinapse in aanmerking vir verandering deur 'n onderrigsein wat aktief was voor versterking (Hull 1943; Klopf 1982; Sutton en Barto 19811). Sinaptiese gewigte (ω) word verander volgens

Δω=ɛ rˆ h (i,o)

Vergelyking 9where r is dopamien versterkings sein, h (ek, o) is die geskikte spoor van konjoint-in- en uitsetaktiwiteit, en ɛ is leerkoers. Potensiële fisiologiese substraten van geskiktheidspore bestaan ​​uit langdurige veranderinge in kalsiumkonsentrasie (Wickens en Kötter 1995), vorming van kalmodulien-afhanklike proteïenkinase II (Houk et al. 1995), of volgehoue ​​neuronale aktiwiteit wat dikwels in striatum voorkom (Schultz et al. 1995a) en korteks.

Dopamien-afhanklike plastisiteit wat behoorlike spore behels, is 'n elegante meganisme om agtervolgings agtereenvolgens te leer (Sutton en Barto 1981). Om te begin, bemiddel die dopamienreaksie op die onvoorspelbare primêre beloning gedragsleer van die onmiddellik voorafgaande gebeurtenis deur die kortikostriatale sinaptiese effektiwiteit te verander (Fig. 11). Terselfdertyd, die dopamien reaksie oorskakel na die beloning-voorspelling gebeurtenis. 'N Depressie ten tye van die uitgelaat beloning verhoed dat leer van foutiewe reaksies geleer word. In die volgende stap vergemaklik die dopamienreaksie aan die onvoorspelbare beloningsvoorspellingsgeleentheid die aanleer van die onmiddellik voorafgaande voorspellende gebeurtenis, en die dopamienrespons dra ook terug na daardie gebeurtenis. Aangesien dit herhaaldelik plaasvind, beweeg die dopamienrespons betyds terug totdat geen verdere gebeure voorafgaan nie, sodat by elke stap die voorafgaande gebeurtenis beloningsvoorspelling kan verkry. Hierdie meganisme sal ideaal wees vir die vorming van gedragseienskappe wat lei tot 'n finale beloning.

Hierdie leermeganisme gebruik ten volle die dopamienfout in die voorspelling van aptitiewe gebeurtenisse as terugwerkende onderrigsein wat langdurige sinaptiese veranderinge inhou (Fig. 12 B). Dit gebruik dopamien-afhanklike plastisiteit tesame met striatale elasticiteitspore waarvan die biologiese geskiktheid vir leer nog ondersoek moet word. Dit lei tot direkte leer deur uitkoms, in wese verenigbaar met die invloed van die onderrigsein op die akteur van TD-modelle. Die gedemonstreerde retrograde-beweging van die dopamienreaksie word gebruik om vroeëre en vroeëre stimuli te leer.

'N ALTERNATIEWE MEGANISME: FASILITATORIESE INFLUENIE VAN PREDIKTIEWE DOPAMIEN SIGNAL.

Beide meganismes soos hierbo beskryf, gebruik die dopamienreaksie as 'n onderrigsein vir die verandering van neurotransmissie in die striatum. Aangesien die bydrae van dopamien-afhanklike streatale plastisiteit tot leer nie heeltemal verstaan ​​word nie, kan 'n ander meganisme gebaseer word op die gedemonstreerde plastisiteit van die dopamienreaksie sonder dat die striatale plastisiteit benodig word. In 'n eerste stap verkry dopamienneurone antwoorde om stimuli te beloon. In 'n daaropvolgende stap kan die voorspellende response gebruik word om die impak van kortikale insette wat gelyktydig by dieselfde dendritiese stekels van striatale neurone voorkom, te verhoog. Postsynaptiese aktiwiteit sal verander volgens

Δaktiwiteit=δrˆ i

Vergelyking 10where r is dopamien versterkings sein, i is insetaktiwiteit, en δ is 'n versterkingskonstante. Eerder as om 'n onderrigsein te vorm, bied die voorspellende dopamienreaksie 'n verbeterende of motiverende sein vir striatale neurotransmissie ten tyde van die beloningsvoorspellende stimulus. Met mededingende stimuli sal neuronale insette wat gelyktydig voorkom met die beloningsvoorspellende dopamien sein verkieslik verwerk word. Gedragsreaksies sal voordeel trek uit die voorafgaande inligting en word meer gereeld, vinniger en meer akkuraat. Die fasiliterende invloed van vooraf inligting word getoon in gedragseksperimente deur 'n gekondisioneerde stimulus te koppel met hefboomdruk (Lovibond 1983).

'N moontlike meganisme kan die fokus effek van dopamien in diens neem. In die vereenvoudigde model van Fig. 11, verminder dopamien wêreldwyd alle kortikale invloede. Dit laat net die sterkste insette na striatale neurone, terwyl die ander swakker insette ondoeltreffend word. Dit vereis 'n nie-lineêre, kontrasverhogende meganisme, soos die drumpel vir die opwekking van aksiepotensiale. 'N vergelykbare verbetering van sterkste insette kan voorkom in neurone wat oorwegend opgewonde sou wees met dopamien.

Hierdie meganisme gebruik die verworwe, beloningsvoorspelde dopamienreaksie as 'n voorspannings- of seleksie sein vir die beïnvloeding van postsynaptiese prosessering (Fig. 12 A). Verbeterde prestasie is geheel en al gebaseer op die gedemonstreerde plastisiteit van dopamienresponse en vereis nie dopamien-afhanklike plastisiteit in striatale neurone nie. Die reaksies op onvoorspelbare of weggelaat beloning kom te laat voor om streatal verwerking te beïnvloed, maar kan help om die voorspellende dopamienrespons in analogie met TD-modelle te bereken.

Elektriese stimulasie van dopamienneurone as ongekondisioneerde stimulus

Elektriese stimulasie van omskrewe breinstreke dien betroubaar as versterking vir die verkryging en handhawing van benaderingsgedrag (Olds en Milner 1954). Sommige baie effektiewe selfstimulasie terreine val saam met dopamien sel liggame en akson bundels in die middellyn (Corbett en Wise 1980), nucleus accumbens (Phillips et al. 1975), striatum (Phillips et al. 1976), en prefrontale korteks (Mora en Myers 1977; Phillips et al. 1979), maar ook gevind in strukture wat nie verband hou met dopamien stelsels nie (Wit en Milner 1992). Elektriese selfstimulasie behels die aktivering van dopamienneurone (Fibiger en Phillips 1986; Wise en Rompré 1989) en word verminder deur 6-hidroksiedopamien-geïnduceerde letsels van dopamien-aksone (Fibiger et al. 1987; Phillips en Fibiger 1978), inhibisie van dopamien sintese (Edmonds en Gallistel 1977), depolarisasie-inaktivering van dopamienneurone (Rompré en Wise 1989), en dopamienreseptorantagoniste sistemies toegedien (Furiezos en Wise 1976) of in nucleus accumbens (Mogenson et al. 1979). Selfstimulasie word gefasiliteer met kokaïen- of amfetamien-geïnduceerde toenames in ekstrasellulêre dopamien (Colle and Wise 1980; Stein 1964; Wauquier 1976). Selfstimulasie verhoog dopamienbenutting direk in die nukleusbalk, striatum en frontale korteks (Fibiger et al. 1987; Mora en Myers 1977).

Dit is intrigerend om te verbeel dat dopamien-impulse wat elektries opgewek word, en vrylating kan dien as onvoorwaardelike stimulus in assosiatiewe leer, soortgelyk aan stimulasie van oktopamienneurone in heuningbye wat die probosisrefleks leerHammer 1993). Dopamienverwante selfstimulasie verskil egter in ten minste drie belangrike aspekte van die natuurlike aktivering van dopamienneurone. Eerder as om net dopamienneurone te aktiveer, aktiveer natuurlike belonings gewoonlik verskeie neuronale stelsels in parallel en laat die verspreide kodering van verskillende beloningskomponente toe (sien verdere teks). Tweedens word elektriese stimulasie as onvoorwaardelike versterking toegepas, sonder om 'n fout in beloningvoorspelling te weerspieël. Derdens word elektriese stimulasie slegs gelewer as 'n beloning ná 'n gedragsreaksie, eerder as ten tye van 'n beloning-voorspellende stimulus. Dit sou interessant wees om elektriese selfstimulasie op presies dieselfde wyse toe te pas as dopamienneurone hul sein uitstoot.

Leer tekorte met verswakte dopamien neurotransmissie

Baie studies het ondersoek ingestel na die gedrag van diere met verswakte dopamienneurotransmissie na plaaslike of sistemiese toediening van dopamienreseptorantagoniste of vernietiging van dopamien-aksone in ventrale midbrein, nucleus accumbens of striatum. Benewens die waarneming van lokomotoriese en kognitiewe tekorte wat aan Parkinsonisme weerspieël, het hierdie studies gebreke getoon in die verwerking van beloningsinligting. Die vroegste studies het aangevoer vir tekorte in die subjektiewe, hedoniese persepsie van belonings (Wyslike 1982; Wise et al. 1978). Verdere eksperimentering het geblyk aan benadeelde gebruik van primêre belonings en gekondisioneerde stimulerende stimuli vir benadering en verbruiksgedrag (Beninger et al. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Wys en Colle 1984; Wys en Rompre 1989). Baie studies het gestremdhede beskryf in motiverings- en aandagtigingsprosesse wat aanleiding gee tot aptyt leer (Beninger 1983, 1989; Beninger en Hahn 1983; Fibiger en Phillips 1986; LeMoal en Simon 1991; Robbins en Everitt 1992, 1996; Wit en Milner 1992; Wyslike 1982). Die meeste leerstekorte word geassosieer met verswakte dopamienneurotransmissie in kernklemme, terwyl dorsale striatumgebrek aan sensorimotoriese tekorte lei (Amalries en Koob 1987; Robbins en Everitt 1992; Wit 1989). Die aanleer van instrumentale take in die algemeen en veral diskriminerende stimulus eienskappe blyk egter gereeld gespaar te word, en dit word nie heeltemal opgelos of sommige van die klaarblyklike leerdekorte in die gesig gestaar kan word deur motorprestasie tekorte nie (Salamone 1992).

Degenerasie van dopamienneurone in Parkinson se siekte lei ook tot 'n aantal verklarende en prosedurele leertekorte, insluitend assosiatiewe leer (Linden et al. 1990; Sprengelmeyer et al. 1995). Tekorte is teenwoordig in toets-en-fout leer met onmiddellike versterking (Vriezen en Moscovitch 1990) en wanneer eksplisiete stimuli met verskillende uitkomste geassosieer word (Knowlton et al. 1996), selfs in die vroeë stadiums van Parkinson se siekte sonder kortikale atrofie (Canavan et al. 1989). Parkinson pasiënte toon ook 'n gebrekkige tydpersepsie (Pastoor et al. 1992). Al hierdie tekorte kom voor in die teenwoordigheid van L-Dopa-behandeling, wat toniese striatale dopamienvlakke herstel sonder om fasiese dopamien seine te herstel.

Hierdie studies dui daarop dat dopamien-neurotransmissie 'n belangrike rol speel in die verwerking van belonings vir benaderingsgedrag en in vorms van leer wat assosiasies tussen stimuli en belonings behels, terwyl 'n betrokkenheid by meer instrumentele vorme van leer bevraagteken kan word. Dit is onduidelik of hierdie tekorte 'n meer algemene gedragsinaktivering weerspieël as gevolg van tonikale verminderde dopamienreseptorstimulasie eerder as die afwesigheid van 'n fasiese dopamienbeloningssignaal. Om hierdie vraag op te los, asook meer spesifiek die rol van dopamien in verskillende leervorme, sal dit nuttig wees om leer te studeer in die situasies waar die fasiese dopamienreaksie op die aanvanklike stimuli eintlik voorkom.

Vorme van leer wat moontlik deur die dopamien sein bemiddel word

Die eienskappe van dopamienresponse en die potensiële invloed van dopamien op striatale neurone kan help om sommige van die leervorme waarin dopamienneurone betrokke kan wees, te definieer. Die voorkeurreaksies vir aptyt in teenstelling met aversiewe gebeure sal 'n betrokkenheid by die aanleer van benaderingsgedrag bevorder en positiewe versterkingseffekte, eerder as onttrekking en straf, bemiddel. Die reaksies op primêre belonings buite take en leerkontekste sal toelaat dat dopamienneurone 'n rol speel in 'n relatief wye spektrum van leer wat primêre belonings behels, beide in klassieke en instrumentele kondisionering. Die reaksies op die voorspel van stimuli weerspieël stimulus-beloning verenigings en sal verenigbaar wees met 'n betrokkenheid by beloningverwagting onderliggend aan algemene aansporing leer (Bindra 1968). Dopamienreaksies dien egter nie eksplisiet kodebelonings as doelvoorwerpe nie, aangesien hulle slegs foute in voorspellings vir beloning rapporteer. Dit lyk ook of hulle ongevoelig is vir motiverende state, wat sodoende 'n spesifieke rol in staatsafhanklike aansporing leer van doelgerigte dade ontken (Dickinson en Balleine 1994). Die gebrek aan duidelike verhoudings tot arm- en oogbewegings sal 'n rol in die direkte bemiddeling van die gedragsresponse wat aansporingstimensies volg, ontwrig. Vergelykings tussen ontslag van individuele neurone en leer van hele organismes is egter eintlik moeilik. Op die sinaptiese vlak bereik fases vrygestel dopamien baie dendriete op waarskynlik elke striatale neuron en kan dus 'n plastisiteitseffek uitoefen op die groot verskeidenheid gedragskomponente wat die striatum insluit, wat die leer van bewegings insluit.

Die spesifieke toestande waarin fasiese dopamien seine 'n rol in leer kan speel, word bepaal deur die soort stimuli wat effektief 'n dopamienreaksie veroorsaak. In die dierlaboratorium benodig dopamienreaksies die fasiese voorkoms van aptyt-, roman- of veral belangrike stimuli, insluitend primêre nutriëntbelonings en beloningsvoorspellende stimuli, terwyl aversiewe stimuli nie 'n belangrike rol speel nie. Dopamienreaksies kan voorkom in alle gedragsituasies wat beheer word deur fasiese en eksplisiete uitkomste, alhoewel hoër orde gekondisioneerde stimuli en sekondêre versterkers nog nie getoets is nie. Fasiese dopamienreaksies sal waarskynlik nie 'n rol speel in vorms van leer nie bemiddeld deur fasies voorkomende uitkomste nie en die voorspellende reaksie sal nie kan bydra tot leer in situasies waarin fasiese voorspellende stimuli nie voorkom nie, soos relatief stadige veranderinge in konteks . Dit lei tot die interessante vraag of die spaar van sommige vorme van leer deur dopamienlesies of neuroleptici die afwesigheid van fasiese dopamienreaksies in die eerste plek eenvoudig weerspieël omdat die effektiewe stimuli wat hulle ontlok het, nie gebruik is nie.

Die betrokkenheid van dopamien seine in leer kan geïllustreer word deur 'n teoretiese voorbeeld. Stel jou voor dopamienresponse tydens die verkryging van 'n seriële reaksietyd-taak wanneer 'n korrekte reaksie skielik tot 'n voedingsbeloning lei. Die beloning reaksie daarna word oorgedra na progressief vroeër beloning-voorspellende stimuli. Reaksietye verbeter verder met langdurige oefening, aangesien die ruimtelike posisies van teikens toenemend voorspelbaar word. Alhoewel dopamienneurone steeds op die beloningsvoorspellende stimuli reageer, kan die verdere gedragsverbetering hoofsaaklik wees as gevolg van die verkryging van voorspellende prosessering van ruimtelike posisies deur ander neuronale stelsels. Dus sal dopamienreaksies plaasvind tydens die aanvanklike, aansporende deel van leer waarin vakke voorwerpe nader en eksplisiete primêre, en moontlik gekondisioneerde, belonings verkry. Hulle sal minder betrokke wees by situasies waarin die vordering van leer verder gaan as die aanleer van benaderingsgedrag. Dit sal nie die dopamienrol beperk tot aanvanklike leerstappe nie, aangesien baie situasies vereis om aanvanklik uit voorbeelde te leer en slegs later behels leer deur eksplisiete uitkomste.

SAMENWERKING TUSSEN REWARD SIGNALS

Voorspellingsfout

Die voorspellingsfout sein van dopamienneurone sal 'n uitstekende aanduiding wees van die aptytwaarde van omgewingsgebeure relatief tot voorspelling, maar misluk om te onderskei tussen voedsel, vloeistowwe en beloning-voorspellende stimuli en onder visuele, ouditiewe en somatosensoriese modaliteite. Hierdie sein kan 'n beloningswaarskuwingsboodskap vorm waarvolgens postsynaptiese neurone ingelig word oor die verrassende voorkoms of weglating van 'n belonende of potensieel belonende gebeurtenis sonder om die identiteit daarvan verder te gee. Dit het al die formele kenmerke van 'n kragtige versterkingssens vir leer. Inligting oor die spesifieke aard van belonings is egter noodsaaklik om te bepaal watter van die voorwerpe benader moet word en op watter wyse. Byvoorbeeld, 'n honger dier moet hoofsaaklik voedsel aanpak, maar nie vloeistof nie. Om dopamien sein relevant te onderskei, moet die dopamien sein aangevul word deur addisionele inligting. Onlangse in vivo dialise-eksperimente het hoër honger-voedsel-geïnduseerde dopamien-vrystelling in honger as in versadigde rotte getoon (Wilson et al. 1995). Hierdie dryfafhanklikheid van dopamien-vrystelling mag nie impulsresponse insluit nie, aangesien ons nie die duidelike ryafhanklikheid met dopamienreaksies gevind het nie, wanneer dit tussen vroeg en laat tydperke van individuele eksperimentele sessies vergelyk is, waartydens diere vloeibaar versadig geword het (JL Contreras-Vidal en W. Schultz, ongepubliseerde data).

Beloningspesifikasies

Inligting oor vloeibare en voedselbelonings word ook verwerk in breinstrukture anders as dopamienneurone, soos dorsale en ventrale striatum, subthalamiese kern, amygdala, dorsolaterale prefrontale korteks, orbitofrontale korteks en anterior cingulêre korteks. Hierdie strukture blyk egter nie 'n wêreldwye beloningvoorspellings foutsein soortgelyk aan dopamienneurone uit te saai nie. In primate, hierdie strukture proses belonings as 1) verbygaande reaksies na die lewering van beloning (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki en Watanabe 1979; Nishijo et al. 1988; Tremblay en Schultz 1995; Watanabe 1989), 2) verbygaande antwoorde op die voorspelling van leidrade (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay en Schultz 1995; Williams et al. 1993), 3) volgehoue ​​aktiverings tydens die verwagting van onmiddellike opkomende belonings (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay en Schultz 1995), En 4) modulasies van gedragverwante aktiverings deur voorspelde beloning (Hollerman et al. 1994; Watanabe 1990, 1996). Baie van hierdie neurone onderskei goed tussen verskillende voedselbelonings en tussen verskillende vloeibare belonings. So verwerk hulle die spesifieke aard van die lonende gebeurtenis en kan die persepsie van belonings dien. Sommige van die beloningsresponse hang af van onvoorspelbaarheid van beloning en is verminder of afwesig wanneer die beloning voorspel word deur 'n gekondisioneerde stimulus (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay en W. Schultz, ongepubliseerde data). Hulle kan voorspellings vir spesifieke belonings verwerk, hoewel dit onduidelik is of hulle voorspellingsfoute aandui aangesien hul antwoorde op uitgelaat belonings onbekend is.

Handhawing van gevestigde prestasie

Drie neuronale meganismes blyk belangrik te wees vir die handhawing van gevestigde gedragsprestasie, naamlik die opsporing van uitgelaat belonings, die opsporing van beloningsvoorspellende stimuli, en die opsporing van voorspelde belonings. Dopamienneurone is depressief wanneer voorspelde belonings weggelaat word. Hierdie sein kan die sinaptiese effektiwiteit wat verband hou met foutiewe gedragsresponse verminder en hul herhaling voorkom. Die dopamienreaksie vir beloningsvoorspellende stimuli word gedurende gevestigde gedrag gehandhaaf en bly dus as vooraf inligting. Alhoewel volle voorspelde belonings nie deur dopamienneurone bespeur word nie, word hulle verwerk deur die nondopaminerge kortikale en subkortiese stelsels wat hierbo genoem word. Dit sal belangrik wees om uitwissing van geleerde gedrag te voorkom.

Tesame blyk dit dat die verwerking van spesifieke belonings vir die aanleer en handhawing van benaderingsgedrag sterk sal baat by die samewerking tussen dopamienneurone wat die onvoorspelbare voorkoms of weglating van beloning en neurone in die ander strukture gelyktydig aandui, wat die spesifieke aard van die beloning aandui.

VERGELYKINGS MET ANDER PROJEKSIESE STELSELS

Noradrenalienneurone

Byna die hele bevolking van noradrenalienneurone in lokus coeruleus by rotte, katte en ape toon eerder homogene, bifasiese aktiverende depressiewe antwoorde op visuele, ouditiewe en somatosensoriese stimuli wat oriënterende reaksies uitlokAston-Jones en Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Besonder effektief is seldsame gebeurtenisse waaraan diere aandag gee, soos visuele stimuli in 'n vreemde diskriminasie taak (Aston-Jones et al. 1994). Noradrenalienneurone onderskei baie goed tussen opwekkende of motiverende en neutrale gebeurtenisse. Hulle verkry vinnig reaksies op nuwe teikenstimulasies tydens omkering en verloor antwoorde op vorige teikens voordat gedragshandeling voltooi is (Aston-Jones et al. 1997). Reaksies kom voor by vrye vloeistof buite enige taak en oordra om beloningstimulasies binne 'n taak te vergoed, asook primêre en gekondisioneerde aversive stimuli (Aston-Jones et al. 1994; Foote et al. 1980; Rasmussen en Jacobs 1986; Sara en Segal 1991). Reaksies is dikwels oorgang en lyk asof dit veranderinge in stimulusvoorkoms of betekenis weerspieël. Aktiwiteite mag slegs plaasvind vir 'n paar proewe met herhaalde aanbiedings van voedselvoorwerpe (Vankov et al. 1995) of met gekondisioneerde ouditiewe stimuli geassosieer met vloeibare beloning, aversive air puff, of elektriese voetskok (Rasmussen en Jacobs 1986; Sara en Segal 1991). Tydens kondisionering vind reaksies plaas op die eerste paar aanbiedings van nuwe stimuli en verskyn voorlopig weer wanneer versterkingsvoorwaardes verander tydens verkryging, omkering en uitsterwing (Sara en Segal 1991).

Saamgestel, lyk die reaksie van noradrenalienneurone op die reaksies van dopamienneurone in verskeie opsigte, wat geaktiveer word deur primêre belonings, beloning-voorspellende stimuli en nuwe stimuli en die oordrag van die respons vanaf primêre tot gekondisioneerde aptyt-gebeurtenisse. Noradrenalienneurone verskil egter van dopamienneurone deur te reageer op 'n veel groter verskeidenheid opwekkingsstimuli, deur goed te reageer op primêre en gekondisioneerde aversive stimuli, deur goed te diskrimineer teen neutrale stimuli, deur vinnig gedragsomkering te volg en om afnemende reaksies met herhaalde stimulus te toon. aanbieding wat 100-toetse benodig vir soliede aptyt-antwoorde (Aston-Jones et al. 1994). Noradrenalienresponse is sterk verwant aan die opwekkende of aandaggrypende eienskappe van stimuli wat oriënterende reaksies uitlok, terwyl dit baie minder gefokus is op aptitiewe stimulus eienskappe soos die meeste dopamienneurone. Hulle word waarskynlik meer gedryf deur aandaggryp as om komponente van aptytgebeure te motiveer.

Serotonienneurone

Aktiwiteit in die verskillende raphe-kerne fasiliteer motoriese uitset deur spiertonus en stereotipe motoraktiwiteit te stel (Jacobs en Fornal 1993). Dorsale raphe neurone in katte toon fasiese, niehabituerende reaksies op visuele en ouditiewe stimuli van geen spesifieke gedrags betekenis nie (Heym et al. 1982; LeMoal en Olds 1979). Hierdie reaksies lyk op response van dopamienneurone tot nuwe en veral opvallende stimuli. Verdere vergelykings sal meer gedetailleerde eksperimente verg.

Nucleus basalis Meynert

Primate basale voorhoede neurone word fasies geaktiveer deur 'n groot verskeidenheid gedragsgebeure, insluitend gekondisioneerde, beloningsvoorspellende stimuli en primêre belonings. Baie aktiverings hang af van geheue en assosiasies met versterking in diskriminasie en vertraagde reaksietake. Aktiwiteite weerspieël die bekendheid van stimuli (Wilson en Rolls 1990a), word belangriker met stimuli en bewegings wat nader aan die tyd van beloning voorkom (Richardson en DeLong 1990), onderskei goed tussen visuele stimuli aan die hand van appetitiewe en aversive verenigings (Wilson en Rolls 1990b), en verander binne 'n paar proewe tydens omkering (Wilson en Rolls 1990c). Neurone word ook geaktiveer deur aversive stimuli, voorspelde visuele en ouditiewe stimuli, en bewegings. Hulle reageer gereeld op ten volle voorspelde belonings in goed gevestigde gedragstake (Mitchell et al. 1987; Richardson en DeLong 1986, 1990), hoewel antwoorde op onvoorspelbare belonings in sommige studies meer oorvloedig is (Richardson en DeLong 1990) maar nie in ander nie (Wilson en Rolls 1990a-c). In vergelyking met dopamienneurone word hulle geaktiveer deur 'n veel groter spektrum van stimuli en gebeure, insluitend aversiewe gebeure, en wys nie die eerder homogene populasie reaksie op onvoorspelbare belonings en die oordrag daarvan om stimuli te beloon.

Serebellêre klimvesels

Waarskynlik is die eerste foutgedrewe onderrigsein in die brein gepostuleer om die projeksie van vesels te beklee van die minderwaardige olyf tot Purkinje-neurone in die serebellêre korteks (Marr 1969), en baie serebellêre leerstudies is gebaseer op hierdie konsep (Houk et al. 1996; Ito 1989; Kawato en Gomi 1992; Llinas en Walliese 1993). Climbing vesel insette na Purkinje neurone verander tydelik hul aktiwiteit wanneer vragte vir bewegings of winste tussen bewegings en visuele terugvoer verander word en ape pas by die nuwe situasie aan (Gilbert en Thach 1977; Ojakangas en Ebner 1992). Die meeste van hierdie veranderinge bestaan ​​uit verhoogde aktiwiteit eerder as die aktivering versus depressie reaksies gesien met foute in teenoorgestelde rigtings in dopamienneurone. As klimvezelaktivering as onderrigsein dien, moet die vesel-parallel-veselaktivering van die vog-parallelle klimaat lei tot veranderinge in parallel veselinvoer na Purkinje-neurone. Dit kom inderdaad voor as langtermyn-depressie van parallelle veselinvoer, hoofsaaklik in in vitro-preparate (Ito 1989). Egter vergelykbare parallelle veselveranderinge is moeiliker om in gedragsleersituasies te vind (Ojakangas en Ebner 1992), wat die gevolge van potensiële klimves-onderrigseine op die oomblik oop laat.

'N Tweede argument vir 'n rol om vesel in leer te klim, behels afersive klassieke kondisionering. 'N Breuk van klimvesels word geaktiveer deur aversiewe lugpoffe na die kornea. Hierdie antwoorde is verlore na Pavlovian ooglid kondisionering met behulp van 'n ouditiewe stimulus (Sears en Steinmetz 1991), wat dui op 'n verhouding met die onvoorspelbaarheid van primêre aversive gebeure. Na kondisionering reageer neurone in die serebellêre interpositus-kern op die gekondisioneerde stimulus (Berthier en Moore 1990; McCormick en Thompson 1984). Lesies van hierdie kern of inspuitings van die GABA antagonist bicuculline in die inferior olyfolie verhoed die verlies van minderwaardige olywe lug puff response na kondisionering, wat daarop dui dat monosinaptiese of polysinaptiese inhibisie van interpositus tot minderwaardige olyfolie onderdrukking van response na kondisionering (Thompson en Gluck 1991). Dit kan toelaat dat minderwaardige olyf neurone depressief word in die afwesigheid van voorspelde aversive stimuli en dus 'n negatiewe fout in die voorspelling van aversive gebeure soortgelyk aan dopamienneurone aanmeld.

Dus, met die veselklim kan foute in motorprestasie en foute in die voorspelling van aversive gebeure gerapporteer word, hoewel dit nie altyd tweerigtingveranderings as met dopamienneurone behels nie. Klimvezels blyk nie antwoorde op gekondisioneerde aversive stimuli te verkry nie, maar sulke antwoorde word in die kern-interpositus gevind. Die berekening van afleidende voorspellingsfoute kan afwykende remmende insette behels tot minderwaardige olyf neurone, in analogie met striatale projeksies vir dopamienneurone. Serebaankringe verwerk dus foutseine, al is dit anders as dopamienneurone en TD-modelle, en hulle kan foute leer reëls implementeer soos die Rescorla-Wagner reël (Thompson en Gluck 1991) of die formele ekwivalente Widrow-Hoff-reël (Kawato en Gomi 1992).

DOPAMIEN REWARD SIGNAL VERSUS PARKINSONIAN DEFICITS

Verswakte dopamienneurotransmissie met Parkinson se siekte, eksperimentele letsels of neuroleptiese behandeling hou verband met baie gedragstekorte in beweging (akinesie, bewing, rigiditeit), kognisie (aandag, bradifrenie, beplanning, leer) en motivering (verminderde emosionele reaksies, depressie). Die reeks tekorte blyk te wyd te wees om eenvoudig verklaar te word deur 'n onklaar dopamienbeloningssein. Die meeste tekorte word aansienlik verbeter deur sistemiese dopamienvoorloper of reseptoragonistiese terapie, alhoewel dit nie op 'n eenvoudige manier die fasiese informasie-oordrag deur neuronale impulse kan herstel nie. Baie aptytstekorte word egter nie deur hierdie terapie herstel nie, soos farmakologies geïnduseerde diskriminasie-tekorte (Ahlenius 1974) en parkinsoniese leerdekorte (Canavan et al. 1989; Knowlton et al. 1996; Linden et al. 1990; Sprengelmeyer et al. 1995; Vriezen en Moscovitch 1990).

Uit hierdie oorwegings blyk dit dat dopamien-neurotransmissie twee afsonderlike funksies in die brein speel, die fasiese verwerking van appetitiewe en waarskuwende inligting en die toniese aanwending van 'n wye reeks gedrag sonder tydelike kodering. Tekorte in 'n soortgelyke dubbele dopamienfunksie kan onderliggend wees aan die patofisiologie van skisofrenie (Grace 1991). Dit is interessant om daarop te let dat fasiese veranderinge van dopamienaktiwiteit by verskillende tydskale voorkom. Terwyl die beloningsreaksies 'n tydskursus volg in die volgorde van tiene en honderde millisekonde, ondersoek dopamien-vrystellingstudies met voltammetrie en mikrodialise tydskale van minute en 'n wyer spektrum van dopamienfunksies, insluitende die verwerking van belonings, voeding, drink, strawwe, stres en sosiale gedrag (Abercrombie et al. 1989; Church et al. 1987b; Doherty en Gratton 1992; Louilot et al. 1986; Young et al. 1992, 1993). Dit blyk dat dopamien-neurotransmissie minstens drie tydskale met progressiewe wyer rolle in gedrag volg, van die vinnige, eerder beperkte funksie van seinbelonings en waarskuwing van stimuli via 'n stadiger funksie van die verwerking van 'n aansienlike verskeidenheid positiewe en negatief-motiverende gebeurtenisse tot die toniese funksie om 'n groot verskeidenheid motoriese, kognitiewe en motiverende prosesse moontlik te maak.

Die toniese dopamienfunksie is gebaseer op lae volgehoue, ekstrasellulêre dopamien konsentrasies in die striatum (5-10 nM) en ander dopamien-geïntererveerde areas wat voldoende is om ekstrasynaptiese, meestal D2-tipe dopamienreseptore in hul hoë affiniteitstoestand te stimuleer (9-74 nM; Fig. 8) (Richfield et al. 1989). Hierdie konsentrasie word plaaslik binne 'n noue reël gereguleer deur sinaptiese oorloop en ekstrasynaptiese dopamien vrystelling wat veroorsaak word deur toniese spontane impulse-aktiwiteit, heropname vervoer, metabolisme, autoreceptor gemedieerde vrystelling en sintese beheer, en presynaptiese glutamaat invloed op dopamien vrystellingChesselet 1984). Die belangrikheid van omgewingsdopamien konsentrasies word eksperimenteel gedemonstreer deur die skadelike effekte van onfisiologiese vlakke van reseptorstimulasie. Verminderde dopamienreseptorstimulasie na letsels van dopamien afferente of plaaslike toediening van dopamienantagoniste in prefrontale korteks lei tot verswakte prestasie van ruimtelike vertraagde respons take in rotte en ape (Brozoski et al. 1979; Sawaguchi en Goldman-Rakic ​​1991; Simon et al. 1980). Interessant genoeg, verhoog die prefrontale dopamienomset soortgelyke gestremdhede (Elliott et al. 1997; Murphy et al. 1996). Klaarblyklik moet die toniese stimulering van dopamienreseptore nie te laag of te hoog wees om 'n optimale funksie van 'n gegewe breingebied te verseker nie. Die verandering van die invloed van goed gereguleerde, omringende dopamien sou die korrekte werking van striatale en kortikale neurone in gevaar stel. Verskillende breinstreke mag spesifieke vlakke van dopamien benodig om spesifieke gedragsfunksies te bemiddel. Dit kan bespiegel word dat omgewingsdopamien konsentrasies ook nodig is vir die handhawing van striatale sinaptiese plastisiteit wat veroorsaak word deur 'n dopamienbeloningssignaal. 'N Rol van toniese dopamien op sinaptiese plastisiteit word voorgestel deur die nadelige uitwerking van dopamienreseptorblokkeer of D2-reseptor-uitslag op posttetaniese depressie (Calabresi et al. 1992a, 1997).

Talle ander neurotransmitters bestaan ​​ook in lae omgewingskonsentrasies in die ekstrasellulêre vloeistof, soos glutamaat in striatum (0.9 μM) en korteks (0.6 μM) (Herrera-Marschitz et al. 1996). Dit kan voldoende wees om hoogs sensitiewe NMDA reseptore te stimuleer (Sands and Barish 1989), maar nie ander glutamaat-reseptortipes nie (Kiskin et al. 1986). Omringende glutamaat fasiliteer aksiepotensiële aktiwiteit via NMDA-reseptorstimulasie in hippokampus (Sah et al. 1989) en aktiveer NMDA reseptore in serebrale korteks (Blanton en Kriegstein 1992). Toniese glutamaatvlakke word gereguleer deur opname in serebellum en verhoog tydens filogenese, wat neuronale migrasie beïnvloed via NMDA-reseptorstimulasie (Rossi en Slater 1993). Ander neurotransmitters bestaan ​​ook in lae omgewingskonsentrasies, soos aspartaat en GABA in striatum en frontale korteks (0.1 μM en 20 nM onderskeidelik) (Herrera-Marschitz et al. 1996), en adenosien in hippokampus waar dit betrokke is by presynaptiese inhibisie (Manzoni et al. 1994). Alhoewel onvolledig, stel hierdie lys voor dat neurone in baie breinstrukture permanent in 'n sop neurotransmitters gebad word wat kragtige spesifieke fisiologiese effekte op neuronale opwinding het.

Gegewe die algemene belang van toniese ekstrasellulêre konsentrasies van neurotransmitters, blyk dit dat die wye verskeidenheid van parkinsoniese simptome nie te wyte is aan die gebrek aan oordrag van beloningsinligting deur dopamienneurone nie, maar weerspieël 'n wanfunksie van striatale en kortikale neurone weens gestremde aktivering deur verminderde omgewingsdopamien . Dopamienneurone sal nie aktief betrokke wees by die wye reeks prosesse wat gebrekkig is in parkinsonisme nie, maar verskaf bloot die agtergrondkonsentrasie van dopamien wat nodig is om behoorlike funksionering van striatale en kortikale neurone wat by hierdie prosesse betrokke is, in stand te hou.

Erkennings

Ek dank drs. Dana Ballard, Anthony Dickinson, Francois Gonon, David D. Potter, Traverse Slater, Roland E. Suri, Richard S. Sutton en R. Mark Wightman vir verhelderende besprekings en kommentaar, en ook twee anonieme skeidsregters vir uitgebreide kommentaar.

Die eksperimentele werk is ondersteun deur die Switserse Nasionale Wetenskapstigting (tans 31.43331.95), die Menslike Kapitaal en Mobiliteit en die Biomed 2-programme van die Europese Gemeenskap via die Switserse Kantoor van Onderwys en Wetenskap (CHRX-CT94-0463 via 93.0121 en BMH4-CT95 -0608 via 95.0313-1), die James S. McDonnell Foundation, die Roche Research Foundation, die United Parkinson Foundation (Chicago) en die Britse Raad.

Verwysings

    1. Abercrombie ED,
    2. Keefe KA,
    3. DiFrischia DS,
    4. Zigmond MJ

    (1989) Differensiële effek van stres op in vivo dopamien vrylating in striatum, nukleus accumbens, en mediale frontale korteks. J. Neurochem. 52: 1655-1658.

    1. Ahlenius S.

    (1974) Effekte van lae en hoë dosisse L-dopa op die tetrabenasien of α-metieltyrosien-geïnduseerde onderdrukking van gedrag in 'n opeenvolgende diskriminasie taak. Psychopharmacologia 39: 199-212.

    1. Alexander GE,
    2. DeLong MR,
    3. Strick PL

    (1986) Parallelle organisasie van funksioneel gesegregeerde stroombane wat basale ganglia en korteks verbind. Annu. Ds. Neurosci. 9: 357-381.

    1. Amaliese M.,
    2. Koob GF

    (1987) Depletie van dopamien in die caudaat-kern, maar nie in die kernklemme, vererger reaksie-tyd prestasie. J. Neurosci. 7: 2129-2134.

    1. Anden NE,
    2. Fuxe K.,
    3. Hamberger B.,
    4. Hökfelt T. A

    (1966) kwantitatiewe studie oor die nigro-neostriatale dopamienneurone. Acta Physiol. Scand. 67: 306-312.

    1. Anglade P.,
    2. Mouatt-Prigent A.,
    3. Agid Y.,
    4. Hirsch EC

    (1996) Sinaptiese plastisiteit in die caudaatkern van pasiënte met Parkinson se siekte. senuweestelsel verval soortgelyk aan 5: 121-128.

    1. Aosaki T.,
    2. Tsubokawa H.,
    3. Ishida A.,
    4. Watanabe K.,
    5. Graybiel AM,
    6. Kimura M.

    (1994) Reaksies van tonies aktiewe neurone in die primatum se striatum ondergaan stelselmatige veranderinge tydens gedragssensor-motoriese kondisionering. J. Neurosci. 14: 3969-3984.

    1. Apicella P.,
    2. Legallet E.,
    3. Trouche E.

    (1996) Reaksies om neurone tononies in aapstriatum af te laai na visuele stimuli wat onder passiewe toestande en tydens taakverrigting aangebied word. Neurosci. Lett. 203: 147-150.

    1. Apicella P.,
    2. Legallet E.,
    3. Trouche E.

    (1997) Reaksies om neurone tononies in die aapstriatum af te laai na primêre belonings wat tydens verskillende gedragstoestande gelewer word. Exp. Brein Res. 116: 456-466.

    1. Apicella P.,
    2. Ljungberg T.,
    3. Scarnati E.,
    4. Schultz W.

    (1991a) Reaksies om te beloon in aap dorsale en ventrale striatum. Exp. Brein Res. 85: 491-500.

    1. Apicella P.,
    2. Scarnati E.,
    3. Ljungberg T.,
    4. Schultz W.

    (1992) Neuronale aktiwiteit in aapstriatum hou verband met die verwagting van voorspelbare omgewingsgebeure. J. Neurophysiol. 68: 945-960.

    1. Apicella P.,
    2. Scarnati E.,
    3. Schultz W.

    (1991b) Tononale neurone van aapstriatum reageer op voorbereidende en lonende stimuli. Exp. Brein Res. 84: 672-675.

    1. Arbib MA,
    2. Dominey PF

    (1995) Modellering van die rolle van die basale ganglia in tydsberekening en volgorde van saccadiese oogbewegings. in Modelle van Inligtingverwerking in die Basale Ganglia, eds Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 149-162.

    1. Arbuthnott GW,
    2. Ingham CA

    (1993) Die dorre probleem van wat dopamien doen in psigiatriese siektes. Prog. Brein Res. 99: 341-350.

    1. Aston-Jones G.,
    2. Bloom FE

    (1981) Norepinefrien-bevattende lokus coeruleus neurone in gedragende rotte vertoon uitgespreek reaksies op onnodige omgewings stimuli. J. Neurosci. 1: 887-900.

    1. Aston-Jones G.,
    2. Rajkowski J.,
    3. Kubiak P.

    (1997) Voorbeelde van monkey locus coeruleus neurone verwag die verkryging van diskriminerende gedrag in 'n waaksaamheid. Neurowetenskap 80: 697-716.

    1. Aston-Jones G.,
    2. Rajkowski J.,
    3. Kubiak P.,
    4. Alexinsky T.

    (1994) Locus coeruleus neurone in aap word selektief geaktiveer deur bywonende leidrade in 'n waaksaamstelling. J. Neurosci. 14: 4467-4480.

    1. Ballard DH

    (1997) 'n Inleiding tot Neurale Rekenaarkunde. (MIT Press, Cambridge, MA).

    1. Barto AG

    (1995) Adaptiewe kritici en die basale ganglia. in Modelle van Inligtingverwerking in die Basale Ganglia, eds Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 215-232.

    1. Barto AG,
    2. Anandan P.

    (1985) Patroon-herkenning van stogastiese leerautomaat. IEEE Trasnact. SYST. Man Cybern. 15: 360-375.

    1. Barto AG,
    2. Sutton RS,
    3. Anderson CW

    (1983) Neuronlike aanpasbare elemente wat moeilike leerprobleme kan oplos. IEEE Trans Syst. Man Cybernet. 13: 834-846.

    1. Beninger RJ

    (1983) Die rol van dopamien in lokomotoriese aktiwiteit en leer. Brein Res. Op 6: 173-196.

    1. Beninger RJ

    (1989) Dissociating die effekte van veranderde dopaminerge funksie op prestasie en leer. Brein Res. Bul. 23: 365-371.

    1. Beninger RJ,
    2. Cheng M.,
    3. Hahn BL,
    4. Hoffman DC,
    5. Mazurski EJ

    (1987) Effekte van uitsterwing, pimozied, SCH 23390 en metoklopramied op voedselbeloonde operante reaksie van rotte. Psigofarmakologie 92: 343-349.

    1. Beninger RJ,
    2. Hahn BL

    (1983) Pimozide blokke vestiging, maar nie uitdrukking van amfetamien-geproduseerde omgewing-spesifieke kondisionering. Wetenskap 220: 1304-1306.

    1. Berendse HW,
    2. Groenewegen HJ,
    3. Lohman AHM

    (1992) Kompartimentele verspreiding van ventrale striatale neurone wat na die mesencephalon in die rat uitsteek. J. Neurosci. 12: 2079-2103.

    1. Berger B.,
    2. Trottier S.,
    3. Verney C.,
    4. Gaspar P.,
    5. Alvarez C.

    (1988) Streeks- en laminêre verspreiding van die dopamien- en serotonien-innervasie in die macaque serebrale korteks: 'n radio-elektroniese studie. J. Comp. Neurol. 273: 99-119.

    1. Bergson C.,
    2. Mrzljak L.,
    3. Smiley JF,
    4. Pappy M.,
    5. Levenson R.,
    6. Goldman-Rakic ​​PS

    (1995) Streeks-, sellulêre en subcellulêre variasies in die verspreiding van D1 en D5 dopamienreseptore in primaatbrein. J. Neurosci. 15: 7821-7836.

    1. Berthier NE,
    2. Moore JW

    (1990) Aktiwiteit van diep serebellêre kernselle tydens klassieke kondisionering van niktiterende membraanuitbreiding by konyne. Exp. Brein Res. 83: 44-54.

    1. Bindra D.

    (1968) Neuropsigologiese interpretasie van die effekte van ry en aansporing-motivering op algemene aktiwiteit en instrumentale gedrag. Psychol. Op 75: 1-22.

    1. Blanton MG,
    2. Kriegstein AR

    (1992) Eienskappe van aminosure-neurotransmitterreseptore van embrio-kortikale neurone wanneer dit geaktiveer word deur eksogene en endogene agoniste. J. Neurophysiol. 67: 1185-1200.

    1. Boeijinga PH,
    2. Mulder AB,
    3. Pennartz OBA,
    4. Manshanden I.,
    5. Lopes da Silva FH

    (1993) Responses of the nucleus accumbens following fornix / fimbria stimulation in the rat. Identifikasie en langtermyn potensiering van mono- en polysinaptiese weë. Neurowetenskap 53: 1049-1058.

    1. Bolam JP,
    2. Francis CM,
    3. Henderson Z.

    (1991) Cholinergiese insette aan dopamienneurone in die substantia nigra: 'n dubbele immuno-cytochemiese studie. Neurowetenskap 41: 483-494.

    1. Bolles RC

    (1972) Versterking, verwagting en leer. Psychol. Op 79: 394-409.

    1. Bowman EM,
    2. Aigner TG,
    3. Richmond BJ

    (1996) Neurale seine in die aap ventrale striatum hou verband met motivering vir sap- en kokaïenbelonings. J. Neurophysiol. 75: 1061-1073.

    1. Bouyer JJ,
    2. Park DH,
    3. Joh TH,
    4. Pickel VM

    (1984) Chemiese en strukturele analise van die verband tussen kortikale insette en tyrosienhidroksielase-bevattende terminale in ratneostriatum. Brein Res. 302: 267-275.

    1. Bruin JR,
    2. Arbuthnott GW

    (1983) Die elektrofisiologie van dopamien (D2) reseptore: 'n studie van die optrede van dopamien op kortikostriatale oordrag. Neurowetenskap 10: 349-355.

    1. Brozoski TJ,
    2. Brown RM,
    3. Rosvold HE,
    4. Goldman PS

    (1979) Kognitiewe tekort veroorsaak deur streeksuitputting van dopamien in prefrontale korteks van rhesus aap. Wetenskap 205: 929-932.

    1. Caillé I.,
    2. Dumartin B.,
    3. Bloch B.

    (1996) Ultrastruktural localization of D1 dopamine receptor immunoreactivity in rat striatonigral neurons and its relationship with dopaminergic innervation. Brein Res. 730: 17-31.

    1. Calabresi P.,
    2. Maj R.,
    3. Pisani A.,
    4. Mercuri NB,
    5. Bernardi G.

    (1992a) Langtermyn-sinaptiese depressie in die striatum: fisiologiese en farmakologiese karakterisering. J. Neurosci. 12: 4224-4233.

    1. Calabresi P.,
    2. Pisani A.,
    3. Mercuri NB,
    4. Bernardi G.

    (1992b) Langtermynversterking in die striatum word ontmasker deur die spanningafhanklike magnesiumblok van NMDA-reseptorkanale te verwyder. EUR. J. Neurosci. 4: 929-935.

    1. Calabresi P.,
    2. Saiardi A.,
    3. Pisani A.,
    4. Baik JH,
    5. Centonze D.,
    6. Mercuri NB,
    7. Bernardi G.,
    8. Borelli E.

    (1997) Abnormale sinaptiese plastisiteit in die striatum van muise sonder dopamien D2 reseptore. J. Neurosci. 17: 4536-4544.

    1. Canavan AJV,
    2. Passingham RE,
    3. Marsden CD,
    4. Quinn N.,
    5. Wyke M.,
    6. Polkey CE

    (1989) Die prestasie op leertake van pasiënte in die vroeë stadiums van die siekte van Parkinson. Neuropsychologia 27: 141-156.

    1. Cepeda C.,
    2. Buchwald NA,
    3. Levine MS

    (1993) Neuromodulatoriese aksies van dopamien in die neostriatum is afhanklik van die geaktiveerde aminosure-reseptor subtipes geaktiveer. Proc. Natl. ACAD. Sci. VSA 90: 9576-9580.

    1. Cepeda C.,
    2. Chandler SH,
    3. Shumate LW,
    4. Levine MS

    (1995) Aanhoudende Na+ konduktansie in mediumgrootte neostriatale neurone: karakterisering met behulp van infrarooi videomikroskopie en hele sel-patch-klem opnames. J. Neurophysiol. 74: 1343-1348.

    1. Cepeda C.,
    2. Colwell CS,
    3. Itri JN,
    4. Chandler SH,
    5. Levine MS

    (1998) Dopaminerge modulasie van NMDA-geïnduceerde hele selstrome in neostriatale neurone in snye: bydrae van kalsiumgeleiding. J. Neurophysiol. 79: 82-94.

    1. Chergui K.,
    2. Suaud-Chagny MF,
    3. Gonon F.

    (1994) Nie-lineêre verwantskap tussen impulsvloei, dopamien vrylating en dopamien eliminasie in die rotbrein in vivo. Neurocience 62: 641-645.

    1. Chesselet MF

    (1984) Presynaptiese regulering van neurotransmitter vrystelling in die brein: feite en hipotese. Neurowetenskap 12: 347-375.

    1. Kerk WH,
    2. Justisie JB Jr,
    3. Byrd LD

    (1987) Ekstracellulêre dopamien in ratstriatum na opname inhibisie deur kokaïen, nomifensien en benstropien. EUR. J. Pharmacol. 139: 345-348.

    1. Kerk WH,
    2. Justisie JB Jr,
    3. Neill DB

    (1987) Deteksie van gedragsverwante veranderinge in ekstrasellulêre dopamien met mikrodialise. Brein Res. 412: 397-399.

    1. Clarke PBS,
    2. Hommer DW,
    3. Pert A.,
    4. Skirboll LR

    (1987) Innervering van substantia nigra neurone deur cholinergiese afferente van pedunculopontine-kern in die rot: neuroanatomiese en elektrofisiologiese bewyse. Neurowetenskap 23: 1011-1019.

    1. Colle WM,
    2. Wise RA

    (1980) Effekte van nukleus verlig amfetamien op laterale hipotalamus brein stimulasie beloning. Brein Res. 459: 356-360.

    1. Contreras-Vidal JL,
    2. Schultz W. A

    (1996) neurale netwerkmodel van beloningsverwante leer, motivering en oriënterende gedrag. Soc. Neurosci. Abstr. 22: 2029.

    1. Corbett D.,
    2. Wise RA

    (1980) Intrakraniale selfstimulasie in verhouding tot die stygende dopaminerge stelsels van die middelbrein: 'n beweegbare mikroelektrode studie. Brein Res. 185: 1-15.

    1. Corvaja N.,
    2. Doucet G.,
    3. Bolam JP

    (1993) Ultrastruktuur en sinaptiese teikens van die raphe-nigrale projeksie in die rot. Neurowetenskap 55: 417-427.

    1. Dehaene S.,
    2. Changeux J.-P.

    (1991) Die Wisconsin kaart sorteringstoets: teoretiese analise en modellering in 'n neuronale netwerk. Cerebr. korteks 1: 62-79.

    1. Delaney K.,
    2. Gelperin A.

    (1986) Na-ingestemde voedsel-aversie leer om aminosuur gebrek aan diëte deur die terrestriële slak Limax maximus. J. Comp. Physiol. [A] 159: 281-295.

    1. DeLong MR,
    2. Crutcher MD,
    3. Georgopoulos AP

    (1983) Verhoudings tussen beweging en enkel selontlading in die substantia nigra van die gedragende aap. J. Neurosci. 3: 1599-1606.

    1. Di Chiara G.

    (1995) Die rol van dopamien in dwelmmisbruik word gesien vanuit die oogpunt van sy rol in motivering. Dwelm Alkohol Afhanklik. 38: 95-137.

    1. Dickinson A.

    (1980) Kontemporêre Dierleerteorie. (Cambridge Univ. Press, Cambridge, UK).

    1. Dickinson A.,
    2. Balleine B.

    (1994) Motiverende beheer van doelgerigte aksie. Anim. Leer. Behav. 22: 1-18.

    1. Dickinson A.,
    2. Hall G.,
    3. Mackintosh NJ

    (1976) Verrassing en die verswakking van blokkeer. J. Exp. Psychol. Anim. Behav. Proc. 2: 313-322.

    1. Doherty MD,
    2. Gratton A.

    (1992) Hoëspoed-chrono-metperometriese metings van mesolimbiese en nigrostriatale dopamien vrystelling wat geassosieer word met herhaalde daaglikse spanning. Brein Res. 586: 295-302.

    1. Dominey P.,
    2. Arbib M.,
    3. Joseph J.-P. A

    (1995) model van kortikostriatale plastisiteit om oculomotoriese assosiasies en sekwense te leer. J. Cognit. Neurosci. 7: 311-336.

    1. Doucet G.,
    2. Descarries L.,
    3. Garcia S.

    (1986) Kwantifisering van die dopamien innervasie in volwasse rat neostriatum. Neurowetenskap 19: 427-445.

    1. Dugast C.,
    2. Suaud-Chagny MF,
    3. Gonon F.

    (1994) Deurlopende in vivo monitering van opgewekte dopamien vrylating in die ratkern deur accumometrie. Neurowetenskap 62: 647-654.

    1. Edmonds DE,
    2. Gallistel CR

    (1977) Beloning versus prestasie in selfstimulasie: elektrode-spesifieke effekte van α-metiel-p-tyrosien op beloning in die rat. J. Comp. Physiol. Psychol. 91: 962-974.

    1. Elliott R.,
    2. Sahakian BJ,
    3. Matthews K.,
    4. Bannerjea A.,
    5. Rimmer J.,
    6. Robbins TW

    (1997) Effekte van metielfenidaat op ruimtelike werkgeheue en beplanning in gesonde jong volwassenes. Psigofarmakologie 131: 196-206.

    1. Ettenberg A.

    (1989) Dopamien, neuroleptika en versterkte gedrag. Neurosci. Biobehav. Op 13: 105-111.

    1. Fagg AH

    (1993) Versterking leer vir die robot bereik en gryp. in Nuwe Perspektiewe in die Beheer van die Reach to Grasp Movement, eds Bennet KMB, Castiello U. (Noord-Holland, Amsterdam), pp 281-308.

    1. Fagg AH,
    2. Arbib MA A

    (1992) model van primaat visuele-motor voorwaardelike leer. Aanpas. Behav. 1: 3-37.

    1. Fibiger HC,
    2. LePiane FG,
    3. Jakubovic A.,
    4. Phillips AG

    (1987) Die rol van dopamien in intrakraniale selfstimulasie van die ventrale tegmentale area. J. Neurosci. 7: 3888-3896.

    1. Fibiger HC,
    2. Miller JJ

    (1977) 'n Anatomiese en elektrofisiologiese ondersoek van die serotonergiese projeksie vanaf die dorsale rafe kern na die substantia nigra in die rot. Neurowetenskap 2: 975-987.

    1. Fibiger HC,
    2. Phillips AG

    Beloning, motivering, kognisie: psigobiologie van mesotelenfale dopamienstelsels. Handboek van Fisiologie. Die Senuweestelsel. Intrinsieke Regulerende Stelsels van die Brein. 1986Am. Physiol. Soc.Bethesda, MA, sek. 1, vol. IV, p. 647-675.

    1. Filion M.,
    2. Tremblay L.,
    3. Bard PJ

    (1988) Abnormale invloede van passiewe ledemaatbeweging op die aktiwiteit van globus pallidus neurone in Parkinson-aap. Brein Res. 444: 165-176.

    1. Flaherty AW,
    2. Graybiel A.

    (1993) Twee insette stelsels vir liggaamsvoorstellings in die primaat-striatale matriks: eksperimentele bewyse in die eekhoringap. J. Neurosci. 13: 1120-1137.

    1. Flaherty AW,
    2. Graybiel A.

    (1994) Inset-uitvoer organisasie van die sensorimotoriese striatum in die eekhoring-aap. J. Neurosci. 14: 599-610.

    1. Blomme K.,
    2. Downing AC

    (1978) Voorspellende beheer van oogbewegings in Parkinson siekte. Ann. Neurol. 4: 63-66.

    1. Foote SL,
    2. Aston-Jones G.,
    3. Bloom FE

    (1980) Impulse aktiwiteit van lokus coeruleus neurone in wakker rotte en ape is 'n funksie van sensoriese stimulasie en opwekking. Proc. Natl. ACAD. Sci. VSA 77: 3033-3037.

    1. Freund TF,
    2. Powell JF,
    3. Smith AD

    (1984) Tyrosien hidroksilase-immunoreaktiewe boutons in sinaptiese kontak met geïdentifiseerde striatonigrale neurone, met spesifieke verwysing na dendritiese stekels. Neurowetenskap 13: 1189-1215.

    1. Frey U.,
    2. Schroeder H.,
    3. Matthies H.

    (1990) Dopaminerge antagoniste voorkom langtermyn-instandhouding van posttetaniese LTP in die CA1-streek van hippocampale snye. Brein Res. 522: 69-75.

    1. Friston KJ,
    2. Tononi G.,
    3. Reeke GN Jr.,
    4. Spore O.,
    5. Edelman GM

    (1994) Waarde-afhanklike seleksie in die brein: simulasie in 'n sintetiese neurale model. Neurowetenskap 59: 229-243.

    1. Fujita K.

    (1987) Soort herkenning deur vyf makaque ape. primate 28: 353-366.

    1. Furiezos G.,
    2. Wise RA

    (1976) Pimozide-geïnduseerde uitwissing van intrakraniale selfstimulasie: responspatrone sluit motor- of prestasie-tekorte uit. Brein Res. 103: 377-380.

    1. Futami T.,
    2. Takakusaki K.,
    3. Kitai ST

    (1995) Glutamatergiese en cholinergiese insette van die pedunculopontine tegmentale kern na dopamienneurone in die substantia nigra pars compacta. Neurosci. Res. 21: 331-342.

    1. Gallistel CR

    (1990) Die Organisasie van Leer. (MIT Press, Cambridge, MA).

    1. Garcia CE,
    2. Prett DM,
    3. Morari M.

    (1989) Model voorspellende beheer: teorie en praktyk - 'n opname. Automatica 25: 335-348.

    1. Garcia-Munoz M.,
    2. Jong SJ,
    3. Groves P.

    (1992) Presynaptiese langtermyn veranderinge in die opwinding van die kortikostriatale baan. Neuroreport 3: 357-360.

    1. Gariano RF,
    2. Groves PM

    (1988) Burst skiet in middeur dopamienneurone deur stimulering van die mediale prefrontale en anterior cingulêre kortikale. Brein Res. 462: 194-198.

    1. Garris PA,
    2. Ciolkowski EL,
    3. Pastore P.,
    4. Wightman RM

    (1994a) Efflux van dopamien uit die sinaptiese spleet in die kernblus van die rotbrein. J. Neurosci. 14: 6084-6093.

    1. Garris PA,
    2. Ciolkowski EL,
    3. Wightman RM

    (1994b) Heterogeniteit van ontlokte dopamien-oorloop binne die striatale en striatoamygdaloid-streke. Neurowetenskap 59: 417-427.

    1. Garris PA,
    2. Wightman RM

    (1994) Verskillende kinetika beheer dopaminerge oordrag in die amygdala, prefrontale korteks en striatum: 'n in vivo voltammetriese studie. J. Neurosci. 14: 442-450.

    1. Gerfen CR

    (1984) Die neostriatale mosaïek: kompartementalisering van kortikostriatale insette en striatonigrale uitsetstelsels. Aard 311: 461-464.

    1. Gerfen CR,
    2. Engber TM,
    3. Mahan LC,
    4. Susel Z.,
    5. Chase TN,
    6. Monsma FJ Jr.,
    7. Sibley DR

    (1990) D1 en D2 dopamienreseptor-gereguleerde geenuitdrukking van striatonigrale en striatopallidale neurone. Wetenskap 250: 1429-1432.

    1. Duitse DC,
    2. Dubach M.,
    3. Askari S.,
    4. Spesiale SG,
    5. Bowden DM

    (1988) 1-metiel-4-feniel-1,2,3,6-tetrahidropiridine (MPTP) -induced parkinson syndroom in macaca fascicularis: watter dopaminerge neurone in die middellyn is verlore? Neurowetenskap 24: 161-174.

    1. Gilbert PFC,
    2. Thach WT

    (1977) Purkinje-sel aktiwiteit tydens motoriese leer. Brein Res. 128: 309-328.

    1. Giros B.,
    2. Jaber M.,
    3. Jones SR,
    4. Wightman RM,
    5. Caron MG

    (1996) Hyperlocomotion en onverskilligheid teenoor kokaïen en amfetamien in muise wat die dopamien-vervoerder ontbreek. Aard 379: 606-612.

    1. Goldman-Rakic ​​PS,
    2. Leranth C.,
    3. Williams MS,
    4. Mons N.,
    5. Geffard M.

    (1989) Dopamien sinaptiese kompleks met piramidale neurone in primate serebrale korteks. Proc. Natl. ACAD. Sci. VSA 86: 9015-9019.

    1. Gonon F.

    (1988) Nie-lineêre verwantskap tussen impulsvloei en dopamien wat vrygestel word deur rat midbrain dopaminerge neurone soos bestudeer deur in vivo elektrochemie. Neurowetenskap 24: 19-28.

    1. Gonon F.

    (1997) Langdurige en ekstrasynaptiese opwekkende werking van dopamien gemedieer deur D1-reseptore in die ratstriatum in vivo. J. Neurosci. 17: 5972-5978.

    1. Gonzales C.,
    2. Chesselet M.-F.

    (1990) Amygdalonigrale weg: 'n Anterograde studie in die rat met Faseolus vulgaris Leucoagglutinien (PHA-L). J. Comp. Neurol. 297: 182-200.

    1. Grace AA

    (1991) Phasic versus toniese dopamien vrylating en die modulasie van dopamien stelsel responsiwiteit: 'n hipotese vir die etiologie van skisofrenie. Neurowetenskap 41: 1-24.

    1. Grace AA,
    2. Bunney BS

    (1985) Opponerende effekte van striatonigrale terugvoerbane op middelbrein dopamien sel aktiwiteit. Brein Res. 333: 271-284.

    1. Graybiel AM,
    2. Aosaki T.,
    3. Flaherty AW,
    4. Kimura M.

    (1994) Die basale ganglia en adaptiewe motoriese beheer. Wetenskap 265: 1826-1831.

    1. Groves PM,
    2. Garcia-Munoz M.,
    3. Linder JC,
    4. Manley MS,
    5. Martone ME,
    6. Jong SJ

    (1995) Elemente van die intrinsieke organisasie en inligtingverwerking in die neostriatum. in Modelle van Inligtingverwerking in die Basale Ganglia, eds Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 51-96.

  • Gullapalli, V., Barto, A. G., en Grupen, R. A. Leer toelatings kartering vir geweldgeleide vergadering. in: Verrigtinge van die 1994 Internasionale Konferensie oor Robotika en Outomatisering. Los Alamitos, CA: Computer Society Press, 1994, p. 2633-2638.
    1. Haber SN,
    2. Lynd E.,
    3. Klein C.,
    4. Groenewegen HJ

    (1990) Topografiese organisasie van die ventrale striatale efferente projeksies in die rhesus aap: 'n autoradiografiese opsporingstudie. J. Comp. Neurol. 293: 282-298.

    1. Haber S.,
    2. Lynd-Balta E.,
    3. Mitchell SJ

    (1993) Die organisasie van die dalende ventrale pallidale projeksies in die aap. J. Comp. Neurol. 329: 111-128.

    1. Hammer M.

    (1993) 'n Geidentifiseerde neuron bemiddel die ongekondisioneerde stimulus in assosiatiewe olfaktoriese leer in heuningbye. Aard 366: 59-63.

    1. Hammond C.,
    2. Shibazaki T.,
    3. Rouzaire-Dubois B.

    (1983) Vertakte uitsetneurone van die rat subthalamiese kern: elektrofisiologiese studie van die sinaptiese effekte op geïdentifiseerde selle in die twee hoof teikenkerns, die entopeduncular-kern en die substantia nigra. Neurowetenskap 9: 511-520.

    1. Hattori T.,
    2. Fibiger HC,
    3. McGeer PL

    (1975) Demonstrasie van 'n pallido-nigrale projeksie innerverende dopaminerge neurone. J. Comp. Neurol. 162: 487-504.

    1. Hedreen JC,
    2. DeLong MR

    (1991) Organisasie van striatopallidale, striatonigrale en nigrostriatale projeksies in die makaak. J. Comp. Neurol. 304: 569-595.

    1. Hernandez-Lopez S.,
    2. Bargas J.,
    3. Surmeier DJ,
    4. Reyes A.,
    5. Galarraga E.

    (1997) D1-reseptor-aktivering verhoog die ontlokde afskeiding in neostriatale medium-spinyneurone deur 'n L-tipe Ca te moduleer2+ geleiding. J. Neurosci. 17: 3334-3342.

    1. Herrera-Marschitz M.,
    2. Jy ZB,
    3. Goiny M.,
    4. Meana JJ,
    5. Silveira R.,
    6. Godukhin OV,
    7. Chen Y.,
    8. Espinoza S.,
    9. Pettersson E.,
    10. Loidl CF,
    11. Lubec G.,
    12. Andersson K.,
    13. Nylander I.,
    14. Terenius L.,
    15. Ungerstedt U.

    (1996) Op die oorsprong van ekstrasellulêre glutamaatvlakke wat in die basale ganglia van die rat gemonitor word deur in vivo mikrodialise. J. Neurochem. 66: 1726-1735.

    1. Hersch SM,
    2. Ciliax BJ,
    3. Gutekunst C.-A.,
    4. Rees HD,
    5. Heilman CJ,
    6. Yung KKL,
    7. Bolam JP,
    8. Ince E.,
    9. Yi H.,
    10. Levey AI

    (1995) Elektronmikroskopiese analise van D1- en D2-dopamienreseptorproteïene in die dorsale striatum en hul sinaptiese verhoudings met motoriese kortikostriatale afferente. J. Neurosci. 15: 5222-5237.

    1. Heym J.,
    2. Trulson ME,
    3. Jacobs BL

    (1982) Raphe-eenheid aktiwiteit in vrybewegende katte: effekte van fasiese ouditiewe en visuele stimuli. Brein Res. 232: 29-39.

    1. Hikosaka O.,
    2. Sakamoto M.,
    3. Usui S.

    (1989) Funksionele eienskappe van aap caudate neurone. III. Aktiwiteite verwant aan verwagting van teiken en beloning. J. Neurophysiol. 61: 814-832.

    1. Hollerman JR,
    2. Schultz W.

    (1996) Aktiwiteit van dopamienneurone tydens leer in 'n bekende taakkonteks. Soc. Neurosci. Abstr. 22: 1388.

    1. Hollerman JR,
    2. Tremblay L.,
    3. Schultz W.

    (1994) Beloningsafhanklikheid van verskeie tipes neuronale aktiwiteit in primaatstriatum. Soc. Neurosci. Abstr. 20: 780.

    1. Holstein GR,
    2. Pasik P.,
    3. Hamori J.

    (1986) Synapses tussen GABA-immunoreaktiewe aksonale en dendritiese elemente in aap substantia nigra. Neurosci. Lett. 66: 316-322.

    1. Hoover JE,
    2. Strick PL

    (1993) Meervoudige uitsetkanale in die basale ganglia. Wetenskap 259: 819-821.

    1. Horvitz JC,
    2. Stewart T.,
    3. Jacobs BL

    (1997) Burst-aktiwiteit van ventrale tegmentale dopamienneurone word veroorsaak deur sensoriese stimuli in die wakker kat. Brein Res. 759: 251-258.

    1. Houk JC,
    2. Adams JL,
    3. Barto AG A

    (1995) model van hoe die basale ganglia genereer en gebruik neurale seine wat versterking voorspel. in Modelle van Inligtingverwerking in die Basale Ganglia, eds Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 249-270.

    1. Houk JC,
    2. Buckingham JT,
    3. Barto AG

    (1996) Modelle van die serebellum en motoriese leer. Behav. Brein Sci. 19: 368-383.

    1. Hrupka BJ,
    2. Lin YM,
    3. Gietzen DW,
    4. Rogers QR

    (1997) Klein veranderinge in essensiële aminosuur konsentrasies verander dieet seleksie in aminosuur-defekte rotte. J. Nutr. 127: 777-784.

    1. Hull CL

    (1943) Beginsels van Gedrag. (Appleton-Century-Crofts, New York).

    1. Ingham CA,
    2. Hood SH,
    3. Weenink A.,
    4. Van Maldegem B.,
    5. Arbuthnott GW

    (1993) Morfologiese veranderinge in die rat neostriatum na eensydige 6-hidroksiedopamien inspuitings in die nigrostriatale baan. Exp. Brein Res. 93: 17-27.

    1. Ito M.

    (1989) Langtermyn-depressie. Annu. Ds. Neurosci. 12: 85-102.

    1. Jacobs BL,
    2. Fornal CA

    (1993) 5-HT en motoriese beheer: 'n hipotese. Neigings Neurosci. 16: 346-352.

    1. Jimenez-Castellanos J.,
    2. Graybiel AM

    (1989) Bewyse dat histochemies afsonderlike sones van die primaat substantia nigra pars compacta verwant is aan patroonverdelings van nigrostriatale projeksie-neurone en striatonigrale vesels. Exp. Brein Res. 74: 227-238.

    1. Kalman RE A

    (1960) nuwe benadering tot lineêre filter- en voorspellingsprobleme. J. Basiese Eng. Trans. SOOS EK 82: 35-45.

  • Kamin, L. J. Selektiewe assosiasie en kondisionering. in: Fundamentele kwessies in instrumentele leer, geredigeer deur N. J. Mackintosh en W. K. Honig. Halifax, Kanada: Dalhousie University Press, 1969, p. 42-64.
    1. Kawagoe KT,
    2. Garris PA,
    3. Wiedemann DJ,
    4. Wightman RM

    (1992) Regulering van oortollige dopamien konsentrasie gradiënte in die mikro-omgewing omliggende senuweesterminale in die ratstriatum. Neurowetenskap 51: 55-64.

    1. Kawaguchi Y.,
    2. Wilson CJ,
    3. Emson PC

    (1989) Intrasellulêre opname van geïdentifiseerde neostriatale pleister en matriks-spiny selle in 'n snyvoorbereiding wat kortikale insette behou. J. Neurophysiol. 62: 1052-1068.

    1. Kawato M.,
    2. Gomi H.

    (1992) Die serebellum- en VOR / OKR leermodelle. Neigings Neurosci. 15: 445-453.

    1. Kiskin NI,
    2. Krishtal OA,
    3. Tsyndrenko AY

    (1986) Opwekende aminosuurreseptore in hippokampale neurone: kainate versuim om hulle te desensibiliseer. Neurosci. Lett. 63: 225-230.

    1. Klopf AH

    (1982) Die Hedonistiese Neuron: 'n Teorie van Geheue, Leer en Intelligensie. (Hemisfeer, Washington, DC).

    1. Knowlton BJ,
    2. Mangels JA,
    3. Squire LR A

    (1996) neostriatale gewoonte-leerstelsel by mense. Wetenskap 273: 1399-1402.

    1. Künzle H.

    (1978) 'n Outoradiografiese analise van die efferente verbindings vanaf premotoriese en aangrensende prefrontale streke (gebiede 6 en 9) in Macaca fascicularis. Brein Behav. Evol. 15: 185-234.

    1. LeMoal M.,
    2. Olds ME

    (1979) Perifere ouditiewe insette by die middelste limbiese area en verwante strukture. Brein Res. 167: 1-17.

    1. LeMoal M.,
    2. Simon H.

    (1991) Mesokortikolimbiese dopaminerge netwerk: funksionele en regulatoriese rolle. Physiol. Op 71: 155-234.

    1. Levey AI,
    2. Hersch SM,
    3. Rog DB,
    4. Sunahara RK,
    5. Niznik HB,
    6. Kitt CA,
    7. Prys DL,
    8. Maggio R.,
    9. Brann MR,
    10. Ciliax BJ

    (1993) Lokalisering van D1- en D2-dopamienreseptore in die brein met subtypespesifieke teenliggaampies. Proc. Natl. ACAD. Sci. VSA 90: 8861-8865.

    1. Linden A.,
    2. Bracke-Tolkmitt R.,
    3. Lutzenberger W.,
    4. Canavan AJV,
    5. Scholz E.,
    6. Diener HC,
    7. Birbaumer N.

    (1990) Stadige kortikale potensiale in parkinson pasiënte tydens 'n assosiatiewe leertaak. J. Psychophysiol. 4: 145-162.

    1. Ljungberg T.,
    2. Apicella P.,
    3. Schultz W.

    (1991) Responses van monkey midbrain dopamine neurons tydens vertraagde alternatiewe prestasie. Brein Res. 586: 337-341.

    1. Ljungberg T.,
    2. Apicella P.,
    3. Schultz W.

    (1992) Reaksies van aapdopamienneurone tydens die leer van gedragsreaksies. J. Neurophysiol. 67: 145-163.

    1. Llinas R.,
    2. Walliese JP

    (1993) Op die serebellum en motoriese leer. Kur. Opin. Neurobiol. 3: 958-965.

    1. Lohman AHM,
    2. Van Woerden-Verkley I.

    (1978) Stijgende verbindings met die voorhoede in die tegu akkedis. J. Comp. Neurol. 182: 555-594.

    1. Louilot A.,
    2. LeMoal M.,
    3. Simon H.

    (1986) Differensiële reaktiwiteit van dopaminerge neurone in die nukleus as gevolg van verskillende gedragsituasies. 'N In vivo voltammetriese studie in vrybewegende rotte. Brein Res. 397: 395-400.

    1. Lovibond PF

    (1983) Fasilitering van instrumentale gedrag deur 'n Pavloviaanse aptytgekondisioneerde stimulus. J. Exp. Psychol. Anim. Behav. Proc. 9: 225-247.

    1. Lovinger DM,
    2. Tyler EC,
    3. Merritt A.

    (1993) Kort- en langtermyn-sinaptiese depressie in ratneostriatum. J. Neurophysiol. 70: 1937-1949.

    1. Lynd-Balta E.,
    2. Haber SN

    (1994) Primate striatonigrale projeksies: 'n vergelyking van die sensorimotoriese verwante striatum en die ventrale striatum. J. Comp. Neurol. 345: 562-578.

    1. Mackintosh NJ A

    (1975) teorie van aandag: variasies in die assosieerbaarheid van stimulus met versterking. Psychol. Op 82: 276-298.

    1. Manzoni OJ,
    2. Manabe T.,
    3. Nicoll RA

    (1994) Vrystelling van adenosien deur aktivering van NMDA-reseptore in die hippokampus. Wetenskap 265: 2098-2101.

    1. Marr D. A

    (1969) teorie van serebellêre korteks. J. Physiol. (Lond.) 202: 437-470.

    1. Marshall JF,
    2. O'Dell SJ,
    3. Navarrete R.,
    4. Rosenstein AJ

    (1990) Dopamien hoëaffiniteitsvervoertopografie in rotbrein: groot verskille tussen dorsale en ventrale striatum. Neurowetenskap 37: 11-21.

  • Matsumoto, K., Nakamura, K., Mikami, A., en Kubota, K. Reaksie op onvoorspelbare waterlewering in die mond van visueel-responsiewe neurone in die orbitofontale korteks van ape. Abstr. Satelliet Sim. IBR-vergadering ter ere van prof. Kubota, Inuyama, Japan, P-14, 1995.
    1. Matsumura M.,
    2. Kojima J.,
    3. Gardiner TW,
    4. Hikosaka O.

    (1992) Visuele en oculomotoriese funksies van aap subthalamiese kern. J. Neurophysiol. 67: 1615-1632.

    1. Maunsell JHR,
    2. Gibson JR

    (1992) Visuele respons latensies in striat korteks van die makaque aap. J. Neurophysiol. 68: 1332-1344.

    1. Mazzoni P.,
    2. Andersen RA,
    3. Jordanië MI A

    (1991) meer biologies geloofwaardige leerreël as terugvoering wat toegepas word op 'n netwerkmodel van kortikale area 7. Cereb. korteks 1: 293-307.

  • McCallum, A. K. Versterking leer met selektiewe persepsie en verborge state (PhD-tesis). Rochester, NY: Univ. Rochester, 1995.
    1. McCormick DA,
    2. Thompson RF

    (1984) Neuronale reaksies van die konyn serebellum tydens die verkryging en verstand van 'n klassiek gekondisioneerde nikte-membraan-ooglidrespons. J. Neurosci. 4: 2811-2822.

    1. McLaren I.

    (1989) Die berekeningseenheid as 'n samestelling van neurone: 'n implementering van 'n foutkorrigerende leeralgoritme. in The Computing Neuron, eds Durbin R., Miall C., Mitchison G. (Addison-Wesley, Amsterdam), pp 160-178.

    1. Michael AC,
    2. Justisie JB Jr,
    3. Neill DB

    (1985) In vivo voltammetriese bepaling van die kinetika van dopamienmetabolisme in die rat. Neurosci. Lett. 56: 365-369.

    1. Middleton FA,
    2. Strick PL

    (1996) Die temporale lob is 'n teiken van uitset van die basale ganglia. Proc. Natl. ACAD. Sci. VSA 93: 8683-8687.

    1. Miller EK,
    2. Li L.,
    3. Desimone R.

    (1993) Aktiwiteit van neurone in anterior inferior temporale korteks tydens 'n korttermyn geheue taak. J. Neurosci. 13: 1460-1478.

    1. Miller JD,
    2. Sanghera MK,
    3. Duitse DC

    (1981) Mesensfaliese dopaminerge eenheid aktiwiteit in die gedragskondisioneerde rat. Life Sci. 29: 1255-1263.

    1. Miller R.,
    2. Wickens JR,
    3. Beninger RJ

    (1990) Dopamien D-1- en D-2-reseptore in verhouding tot beloning en prestasie: 'n saak vir die D-1-reseptor as 'n primêre plek van terapeutiese werking van neuroleptiese middels. Prog. Neurobiol. 34: 143-183.

    1. Mirenowicz J.,
    2. Schultz W.

    (1994) Belangrikheid van onvoorspelbaarheid vir beloningsresponse in primate dopamienneurone. J. Neurophysiol. 72: 1024-1027.

    1. Mirenowicz J.,
    2. Schultz W.

    (1996) Voorkeuraktivering van midbrain dopamienneurone deur middel van aptyt eerder as aversive stimuli. Aard 379: 449-451.

    1. Mitchell SJ,
    2. Richardson RT,
    3. Baker FH,
    4. DeLong MR

    (1987) Die primaat globus pallidus: neuronale aktiwiteit wat verband hou met beweging. Exp. Brein Res. 68: 491-505.

    1. Mogenson GJ,
    2. Takigawa M.,
    3. Robertson A.,
    4. Wu M.

    (1979) Selfstimulasie van die nukleus accumbens en ventrale tegmentale area van Tsai verswak deur mikroinjecties van spiroperidol in die nucleus accumbens. Brein Res. 171: 247-259.

    1. Montague PR,
    2. Dayan P.,
    3. Nowlan SJ,
    4. Pouget A.,
    5. Sejnowski TJ

    (1993) Die gebruik van aperiodiese versterking vir gerigte self-organisasie tydens ontwikkeling. in Neurale Inligtingverwerkingstelsels 5, eds Hanson SJ, Cowan JD, Giles CL (Morgan Kaufmann, San Mateo, CA), pp 969-976.

    1. Montague PR,
    2. Dayan P.,
    3. Persoon C.,
    4. Sejnowski TJ

    (1995) Bee foerageer in onseker omgewings met behulp van voorspellende Hebreeuse leer. Aard 377: 725-728.

    1. Montague PR,
    2. Dayan P.,
    3. Sejnowski TJ A

    (1996) raamwerk vir mesensfaliese dopamienstelsels gebaseer op voorspellende Hebreeuse leer. J. Neurosci. 16: 1936-1947.

    1. Montague PR,
    2. Sejnowski TJ

    (1994) Die voorspellende brein: tydelike toeval en temporale orde in sinaptiese leermeganismes. Leer. Geheue 1: 1-33.

    1. Mora F.,
    2. Myers RD

    (1977) Brein selfstimulasie: direkte bewyse vir die betrokkenheid van dopamien in die prefrontale korteks. Wetenskap 197: 1387-1389.

    1. Murphy BL,
    2. Arnsten AF,
    3. Goldman-Rakic ​​PS,
    4. Roth RH

    (1996) Verhoogde dopamienomset in die voorfrontale korteks verminder die ruimtelike werkgeheueprestasie by rotte en ape. Proc. Natl. ACAD. Sci. VSA 93: 1325-1329.

    1. Nakamura K.,
    2. Mikami A.,
    3. Kubota K.

    (1992) Aktiwiteit van enkele neurone in die aap amygdala tydens die verrigting van 'n visuele diskriminasie taak. J. Neurophysiol. 67: 1447-1463.

    1. Nedergaard S.,
    2. Bolam JP,
    3. Greenfield SA

    (1988) Fasilitering van dendritiese kalsiumgeleiding deur 5-hidroksryptamien in die substantia nigra. Aard 333: 174-177.

    1. Niijima K.,
    2. Yoshida M.

    (1988) Aktivering van mesensfaliese dopamienneurone deur chemiese stimulasie van die kern tegmenti pedunculopontinus pars compacta. Brein Res. 451: 163-171.

    1. Niki H.,
    2. Watanabe M.

    (1979) Prefrontale en cingulate eenheid aktiwiteit tydens die tydsberekening in die aap. Brein Res. 171: 213-224.

    1. Nirenberg MJ,
    2. Vaughan RA,
    3. Uhl GR,
    4. Kuhar MJ,
    5. Pickel VM

    (1996) Die dopamien transporter word gelokaliseer aan dendritiese en aksonale plasmamembrane van nigrostriatale dopaminerge neurone. J. Neurosci. 16: 436-447.

    1. Nishijo H.,
    2. Ono T.,
    3. Nishino H.

    (1988) Topografiese verspreiding van modaliteit-spesifieke amygdalêre neurone in waarskuwende aap. J. Neurosci. 8: 3556-3569.

    1. Nishino H.,
    2. Ono T.,
    3. Muramoto KI,
    4. Fukuda M.,
    5. Sasaki K.

    (1987) Neuronale aktiwiteit in die ventrale tegmentale area (VTA) tydens gemotiveerde bar persvoedingsgedrag in die aap. Brein Res. 413: 302-313.

    1. Ojakangas CL,
    2. Ebner TJ

    (1992) Purkinje-selkompleks en eenvoudige piekveranderings tydens 'n vrywillige armbeweging-leertaak in die aap. J. Neurophysiol. 68: 2222-2236.

    1. Olds J.,
    2. Milner P.

    (1954) Positiewe versterking geproduseer deur elektriese stimulasie van septal area en ander streke van rotbrein. J. Comp. Physiol. Psychol. 47: 419-427.

    1. Otmakhova NA,
    2. Lisman JE

    (1996) D1 / D5 dopamien resetor aktivering verhoog die grootte van die vroeë langtermyn potensiering by CA1 hippocampale sinapse. J. Neurosci. 16: 7478-7486.

    1. Packard MG,
    2. Wit NM

    (1991) Dissociation of hippocampus and caudate nucleus memory systems by posttraining intracerebrale injectie van dopamine agonisten. Behav. Neurosci. 105: 295-306.

    1. Pastoor MA,
    2. Artieda J.,
    3. Jahanshahi M.,
    4. Obeso JA

    (1992) Tydsberaming en voortplanting is abnormaal by Parkinson se siekte. Brein 115: 211-225.

    1. Pearce JM,
    2. Saal G. a

    (1980) model vir Pavlovian kondisionering: variasies in die effektiwiteit van gekondisioneerde maar nie onvoorsiene stimuli nie. Psychol. Op 87: 532-552.

    1. Pennartz OBA,
    2. Ameerun RF,
    3. Groenewegen HJ,
    4. Lopes da Silva FH

    (1993) Sinaptiese plastisiteit in 'n in vitro sny voorbereiding van die rat kern accumbens. EUR. J. Neurosci. 5: 107-117.

  • Percheron, G., Francois, C., Yelnik, J., en Fenelon, G. Die primaat-nigro-striato-pallido-nigrale stelsel. Nie net 'n lus nie. in: Neurale Meganismes in Bewegingsafwykings, geredigeer deur A. R. Crossman en M. A. Sambrook. Londen: John Libbey, 1989, p. 103-109.
    1. Phillips AG,
    2. Brooke SM,
    3. Fibiger HC

    (1975) Effekte van amfetamienisomere en neuroleptika op selfstimulasie vanuit die nukleus accumbens en dorsale noradrenergiese bundel. Brein Res. 85: 13-22.

    1. Phillips AG,
    2. Carter DA,
    3. Fibiger HC

    (1976) Dopaminerge substrate van intrakraniale selfstimulasie in die caudaatkern. Brein Res. 104: 221-232.

    1. Phillips AG,
    2. Fibiger HC

    (1978) Die rol van dopamien in die mediasie van selfstimulasie in die ventrale tegmentum, nukleus accumbens, en mediale prefrontale korteks. Kan. J. Psychol. 32: 58-66.

    1. Phillips AG,
    2. Mora F.,
    3. Rolls ET

    (1979) Intrakraniale selfstimulasie in orbitofrontale korteks en caudate-kern van rhesus-aap: effekte van apomorfien, pimozied, en spiroperidol. Psigofarmakologie 62: 79-82.

    1. Pickel VM,
    2. Beckley SC,
    3. Joh TH,
    4. Reis DJ

    (1981) Ultrastrukturele immuno-cytochemiese lokalisering van tyrosienhidroksilase in die neostriatum. Brein Res. 225: 373-385.

    1. Prys JL,
    2. Amaral DG

    (1981) 'n Outoradiografiese studie van die projeksies van die sentrale kern van die aap amygdala. J. Neurosci. 1: 1242-1259.

    1. Rao RPN,
    2. Ballard DH

    (1997) Dinamiese model van visuele herkenning voorspel neurale respons eienskappe in die visuele korteks. Neurale Computat. 9: 721-763.

    1. Rasmussen K.,
    2. Jacobs BL

    (1986) Enkel eenheid aktiwiteit van lokus coeruleus neurone in die vry bewegende kat. II. Kondisionering en farmakologiese studies. Brein Res. 371: 335-344.

    1. Rasmussen K.,
    2. Morilak DA,
    3. Jacobs BL

    (1986) Enkel eenheid aktiwiteit van lokus coeruleus neurone in die vry bewegende kat. I. Gedurende naturalistiese gedrag en in reaksie op eenvoudige en komplekse stimuli. Brein Res. 371: 324-334.

    1. Rescorla RA,
    2. Wagner AR A

    (1972) teorie van Pavlovian kondisionering: variasies in die doeltreffendheid van versterking en nie-handhawing. in Klassieke Kondisionering II: Huidige Navorsing en Teorie, eds Swart AH, Prokasy WF (Appleton Century Crofts, New York), pp 64-99.

    1. Richardson RT,
    2. DeLong MR

    (1986) Nucleus basalis van Meynert neuronale aktiwiteit tydens 'n vertraagde respons taak in aap. Brein Res. 399: 364-368.

    1. Richardson RT,
    2. DeLong MR

    (1990) Kontekste-afhanklike antwoorde van primate-kern basalis neurone in 'n go / no-go-taak. J. Neurosci. 10: 2528-2540.

    1. Richfield EK,
    2. Pennney JB,
    3. Young AB

    (1989) Anatomiese en affiniteitsstaat vergelykings tussen dopamien D1 en D2 reseptore in die sentrale senuweestelsel van die rat. Neurowetenskap 30: 767-777.

    1. Robbins TW,
    2. Everitt BJ

    (1992) Funksies van dopamien in die dorsale en ventrale striatum. Semin. Neurosci. 4: 119-128.

    1. Robbins TW,
    2. Everitt BJ

    (1996) Neurobehaviourale meganismes van beloning en motivering. Kur. Opin. Neurobiol. 6: 228-236.

    1. Robinson TE,
    2. Berridge KC

    (1993) Die neurale basis vir dwelmverkraging: 'n aansporing-sensibiliseringsteorie van verslawing. Brein Res. Op 18: 247-291.

    1. Rogawski MA

    (1987) Nuwe rigtings in neurotransmitter-aksie: dopamien verskaf enkele belangrike leidrade. Neigings Neurosci. 10: 200-205.

    1. Rogers QR,
    2. Harper AE

    (1970) Seleksie van 'n oplossing wat histidien bevat deur rotte wat 'n histidien-ongebalanseerde dieet gevoer het. J. Comp. Physiol. Psychol. 72: 66-71.

    1. Rolls ET,
    2. Critchley HD,
    3. Mason R.,
    4. Wakeman EA

    (1996) Orbitofrontale korteksneurone: rol in olfaktoriese en visuele assosiasie leer. J. Neurophysiol. 75: 1970-1981.

    1. Romo R.,
    2. Scarnati E.,
    3. Schultz W.

    (1992) Rol van primale basale ganglia en frontale korteks in die interne generasie bewegings: vergelykings in striatale neurone wat geaktiveer word tydens stimulus-geïnduseerde beweginginisiasie en -uitvoering. Exp. Brein Res. 91: 385-395.

    1. Romo R.,
    2. Schultz W.

    (1990) Dopamienneurone van die monkey midbrain: gebeurlikhede van reaksies op aktiewe aanraking tydens self-geïnisieerde armbewegings. J. Neurophysiol. 63: 592-606.

    1. Rompré P.-P.,
    2. Wise RA

    (1989) Gedragswaarneming vir middelbrein dopamien depolarisasie-inaktivering. Brein Res. 477: 152-156.

    1. Rossi DJ,
    2. Slater NT

    (1993) Die ontwikkeling begin van NMDA reseptor kanaal aktiwiteit tydens neuronale migrasie. Neuro Farmacologie 32: 1239-1248.

    1. Rumelhart DE,
    2. Hinton GE,
    3. Williams RJ

    (1986) Leer interne voorstellings deur foute voortplanting. in parallelle verspreide verwerking I, eds Rumelhart DE, McClelland JL (MIT Press, Cambridge, MA), pp 318-362.

    1. Sah P.,
    2. Hestrin S.,
    3. Nicoll RA

    (1989) Toniese aktivering van NMDA reseptore deur omgewingsglutamaat verhoog die opwinding van neurone. Wetenskap 246: 815-818.

    1. Salamone JD

    (1987) Die optrede van neuroleptiese middels op appetitiewe instrumentale gedrag. in Handboek van Psigofarmakologie, eds Iversen LL, Iversen SD, Snyder SH (Plenum, New York), 19: 576-608.

    1. Salamone JD

    (1992) Komplekse motoriese en sensorimotoriese funksies van striatale en accumbens dopamien: betrokkenheid by instrumentale gedragsprosesse. Psigofarmakologie 107: 160-174.

    1. Sands SB,
    2. Barish ME A

    (1989) kwantitatiewe beskrywing van eksitatoriese aminosuur neurotransmitter response op gekweekte ambryoniese Yenopus spinale neurone. Brein Res. 502: 375-386.

    1. Sara SJ,
    2. Segal M.

    (1991) Plastisiteit van sensoriese response van lokus coeruleus neurone in die optredende rot: implikasies vir kognisie. Prog. Brein Res. 88: 571-585.

    1. Sawaguchi T.,
    2. Goldman-Rakic ​​PS

    (1991) D1 Dopamienreseptore in prefrontale korteks: betrokkenheid in werkgeheue. Wetenskap 251: 947-950.

    1. Scarnati E.,
    2. Proia A.,
    3. Campana E.,
    4. Pacitti C. A

    (1986) mikroiontophoretiese studie oor die aard van die vermeende sinaptiese neurotransmitter wat betrokke is by die pedunculopontine-substantia nigra pars compacta-eksitatoriese weg van die rat. Exp. Brein Res. 62: 470-478.

    1. Schultz W.

    (1986) Responses van midbrain dopamienneurone tot gedrags-sneller stimuli in die aap. J. Neurophysiol. 56: 1439-1462.

    1. Schultz W.,
    2. Apicella P.,
    3. Ljungberg T.

    (1993) Reaksies van aapdopamienneurone om beloning en gekondisioneerde stimuli te beloon tydens opeenvolgende stappe om 'n vertraagde respons taak te leer. J. Neurosci. 13: 900-913.

    1. Schultz W.,
    2. Apicella P.,
    3. Romo R.,
    4. Scarnati E.

    (1995a) Kontekstafhanklike aktiwiteit in primaatstriatum wat die verlede en toekomstige gedragsgebeure weerspieël. in Modelle van Inligtingverwerking in die Basale Ganglia, eds Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 11-28.

    1. Schultz W.,
    2. Apicella P.,
    3. Scarnati E.,
    4. Ljungberg T.

    (1992) Neuronale aktiwiteit in aap ventrale striatum verwant aan die verwagting van beloning. J. Neurosci. 12: 4595-4610.

    1. Schultz W.,
    2. Dayan P.,
    3. Montague RR A

    (1997) neurale substraat van voorspelling en beloning. Wetenskap 275: 1593-1599.

    1. Schultz W.,
    2. Romo R.

    (1987) Reaksies van nigrostriatale dopamienneurone tot hoë intensiteit somatosensoriese stimulasie in die verdovende aap. J. Neurophysiol. 57: 201-217.

    1. Schultz W.,
    2. Romo R.

    (1990) Dopamienneurone van die monkey midbrain: gebeurlikheidsreaksies van stimuli wat onmiddellike gedragsreaksies uitlok. J. Neurophysiol. 63: 607-624.

    1. Schultz W.,
    2. Romo R.,
    3. Ljungberg T.,
    4. Mirenowicz J.,
    5. Hollerman JR,
    6. Dickinson A.

    (1995b) Beloningsverwante seine gedra deur dopamienneurone. in Modelle van Inligtingverwerking in die Basale Ganglia, eds Houk JC, Davis JL, Beiser DG (MIT Press, Cambrdige, MA), pp 233-248.

    1. Schultz W.,
    2. Ruffieux A.,
    3. Aebischer P.

    (1983) Die aktiwiteit van pars compacta neurone van die aap substantia nigra in verhouding tot motoraktivering. Exp. Brein Res. 51: 377-387.

    1. Sears LL,
    2. Steinmetz JE

    (1991) Dorsale toebehore inferior olyfaktiwiteit verminder tydens die verkryging van die konyn klassiek gekondisioneerde ooglid reaksie. Brein Res. 545: 114-122.

    1. Selemon LD,
    2. Goldman-Rakic ​​PS

    (1990) Topografiese intermingling van striatonigrale en striatopallidale neurone in die rhesus aap. J. Comp. Neurol. 297: 359-376.

    1. Sesack SR,
    2. Aoki C.,
    3. Pickel VM

    (1994) Ultrastruktural localization of D2 receptor-like immunoreactivity in midbrain dopamine neurons and their striatal targets. J. Neurosci. 14: 88-106.

    1. Sesack SR,
    2. Pickel VM

    (1992) Prefrontale kortikale efferente in die rotsynapsverloop op ongemerkte neuronteikens van katekolamien-terminale in die nucleus accumbens septi en op dopamienneurone in die ventrale tegmentale area. J. Comp. Neurol. 320: 145-160.

    1. Simon H.,
    2. Scatton B.,
    3. LeMoal M.

    (1980) Dopaminerge A10 neurone is betrokke by kognitiewe funksies. Aard 286: 150-151.

    1. Smith AD,
    2. Bolam JP

    (1990) Die neurale netwerk van die basale ganglia soos onthul deur die studie van sinaptiese verbindings van geïdentifiseerde neurone. Neigings Neurosci. 13: 259-265.

    1. Smith ID,
    2. Grace AA

    (1992) Rol van die subthalamiese kern in die regulering van nigrale dopamienneuronaktiwiteit. Sinaps 12: 287-303.

    1. Smith MC

    (1968) CS-VS-interval en Amerikaanse intensiteit in klassieke kondisionering van die nicterende membraanrespons van die haas. J. Comp. Physiol. Psychol. 66: 679-687.

    1. Smith Y.,
    2. Bennett BD,
    3. Bolam JP,
    4. Ouer A.,
    5. Sadikot AF

    (1994) Sinaptiese verhoudings tussen dopaminerge afferente en kortikale of thalamiese insette in die sensorimotoriese gebied van die striatum in aap. J. Comp. Neurol. 344: 1-19.

    1. Smith Y.,
    2. Bolam JP

    (1990) Die uitsetneurone en die dopaminerge neurone van die substantia nigra ontvang 'n GABA-bevattende insette van die globus pallidus in die rat. J. Comp. Neurol. 296: 47-64.

    1. Smith Y.,
    2. Bolam JP

    (1991) Konvergensie van sinaptiese insette van die striatum en die globus pallidus op geïdentifiseerde nigrocollikulêre selle in die rot: 'n dubbele anterograde-etiketteringstudie. Neurowetenskap 44: 45-73.

    1. Smith Y.,
    2. Hazrati L.-N.,
    3. Ouer A.

    (1990) Efferente projeksies van die subtalmiese kern in die eekhoringap, soos bestudeer deur die PHA-L anterograde-spoormetode. J. Comp. Neurol. 294: 306-323.

    1. Somogyi P.,
    2. Bolam JP,
    3. Totterdell S.,
    4. Smith AD

    (1981) Monosinaptiese toevoer vanaf die kern-accumbens-ventrale striatumstreek na retrogradelike benoemde nigrostriatale neurone. Brein Res. 217: 245-263.

    1. Sprengelmeyer R.,
    2. Canavan AJV,
    3. Lange HW,
    4. Hömberg V.

    (1995) Assosiatiewe leer by degeneratiewe neostriatale afwykings: kontraste in eksplisiete en implisiete onthou tussen pasiënte met Parkinson en Huntington. Mov. Disord. 10: 85-91.

    1. Surmeier DJ,
    2. Eberwine J.,
    3. Wilson CJ,
    4. Stefani A.,
    5. Kitai ST

    (1992) Dopamienreseptor subtipes colocaliseer in ratstriatonigrale neurone. Proc. Natl. ACAD. Sci. VSA 89: 10178-10182.

    1. Stamford JA,
    2. Kruk ZL,
    3. Palij P.,
    4. Millar J.

    (1988) Diffusie en opname van dopamien in rat caudate en nucleus accumbens in vergelyking met vinnige sikliese voltammetrie. Brein Res. 448: 381-385.

    1. Stein L.

    (1964) Selfstimulasie van die brein en die sentrale stimulerende werking van amfetamien. Federasie Proc. 23: 836-841.

    1. Stein L.,
    2. Xue BG,
    3. Belluzzi JD

    (1994) In vitro versterking van hippocampale bars: 'n soeke na Skinner se atome van gedrag. J. Exp. Anal. Behav. 61: 155-168.

    1. Steinfels GF,
    2. Heym J.,
    3. Strecker RE,
    4. Jacobs BL

    (1983) Gedragskorrelate van dopaminerge eenheidsaktiwiteit in vrybewegende katte. Brein Res. 258: 217-228.

    1. Suaud-Chagny MF,
    2. Dugast C.,
    3. Chergui K.,
    4. Msghina M.,
    5. Gonon F.

    (1995) Opname van dopamien vrygestel deur impulsvloei in die rat mesolimbiese en striatale stelsel in vivo. J. Neurochem. 65: 2603-2611.

    1. Suri RE,
    2. Schultz W. A

    (1996) neurale leermodel gebaseer op die aktiwiteit van primate dopamienneurone. Soc. Neurosci. Abstr. 22: 1389.

    1. Sutton RS

    (1988) Leer om te voorspel deur die metode van temporale verskil. Masjien leer. 3: 9-44.

    1. Sutton RS,
    2. Barto AG

    (1981) Volgens 'n moderne teorie van adaptiewe netwerke: verwagting en voorspelling. Psychol. Op 88: 135-170.

    1. Tepper J. M,
    2. Martin LP,
    3. Anderson DR

    (1995) GABAA reseptor-gemedieerde inhibisie van rat substantia nigra dopaminerge neurone deur pars reticulata projeksie neurone. J. Neurosci. 15: 3092-3103.

    1. Tesauro G.

    (1994) TD-Gammon, 'n selfonderrig-backgammon-program, behaal meestervlakspel. Neurale Komp. 6: 215-219.

    1. Thompson RF,
    2. Gluck MA

    (1991) Brein substrate van basiese assosiatiewe leer en geheue. in Perspektiewe op Kognitiewe Neurowetenskap, eds Lister RG, Weingartner HJ (Oxford Univ. Press, New York), pp 25-45.

    1. Thorndike EL

    (1911) Animal Intelligence: Experimentele Studies. (MacMillan, New York).

    1. Thorpe SJ,
    2. Rolls ET,
    3. Maddison S.

    (1983) Die orbitofrontale korteks: neuronale aktiwiteit in die optredende aap. Exp. Brein Res. 49: 93-115.

    1. Toan DL,
    2. Schultz W.

    (1985) Responses van rat pallidum selle tot korteks stimulasie en effekte van veranderde dopaminerge aktiwiteit. Neurowetenskap 15: 683-694.

    1. Tremblay L.,
    2. Schultz W.

    (1995) Verwerking van beloningsverwante inligting in primaat-orbitofrontale neurone. Soc. Neurosci. Abstr. 21: 952.

    1. Trent F.,
    2. Tepper JM

    (1991) Dorsale rafe stimulasie modifiseer straling-ontlokte antidromiese inval van nigrale dopamienneurone in vivo. Exp. Brein Res. 84: 620-630.

  • Ungerstedt, U. Adipsia en aphagia na 6-hidroksiedopamien veroorsaak degenerasie van die nigrostriatale dopamienstelsel. Acta Physiol. Scand. Byv. 367: 95-117, 1971.
    1. Vankov A.,
    2. Herve-Minvielle A.,
    3. Sara SJ

    (1995) Reaksie op nuwigheid en sy vinnige gewoontes in lokus coeruleus neurone van die vry verkenning van rot. EUR. J. Neurosci. 7: 1180-1187.

    1. Vriezen ER,
    2. Moscovitch M.

    (1990) Geheue vir tydelike orde en voorwaardelike assosiatiewe leer by pasiënte met Parkinson se siekte. Neuropsychologia 28: 1283-1293.

    1. Walsh JP

    (1993) Depressie van opwindende sinaptiese insette in ratstriatale neurone. Brein Res. 608: 123-128.

    1. Wang Y.,
    2. Cummings SL,
    3. Gietzen DW

    (1996) Temporaal-ruimtelike patroon van c-fos uitdrukking in die rotbrein in reaksie op onontbeerlike aminosuurtekort. I. Die aanvanklike erkenningsfase. Mol. Brein Res. 40: 27-34.

    1. Watanabe M.

    (1989) Die toepaslikheid van gedragsreaksies wat gekodeer word in na-proefaktiwiteit van primate prefrontale eenhede. Neurosci. Lett. 101: 113-117.

    1. Watanabe M.

    (1990) Prefrontale eenheid aktiwiteit tydens assosiatiewe leer in die aap. Exp. Brein Res. 80: 296-309.

    1. Watanabe M.

    (1996) Beloningsverwagting in primate prefrontale neurone. Aard 382: 629-632.

    1. Wauquier A.

    (1976) Die invloed van psigo-middels op brein selfstimulasie by rotte: 'n oorsig. in Brainstimulasie Beloning, eds Wauquier A., ​​Rolls ET (Elsevier, New York), pp 123-170.

    1. Wit NM

    (1989) Beloning of versterking: wat is die verskil? Neurosci. Biobehav. Op 13: 181-186.

    1. Wit NW,
    2. Milner PM

    (1992) Die psigobiologie van versterkers. Annu. Eerw. Psychol. 43: 443-471.

    1. Wightman RM,
    2. Zimmerman JB

    (1990) Beheer van dopamien ekstracellulêre konsentrasie in ratstriatum deur impulsvloei en opname. Brein Res. Op 15: 135-144.

    1. Wickens JR,
    2. Begg AJ,
    3. Arbuthnott GW

    (1996) Dopamien omskep die depressie van ratkortikostriatale sinapse wat normaalweg hoëfrekwensie-stimulasie van korteks in vitro volg. Neurowetenskap 70: 1-5.

    1. Wickens J.,
    2. Kötter R.

    (1995) Sellulêre modelle van versterking. in Modelle van Inligtingverwerking in die Basale Ganglia, eds Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 187-214.

  • Widrow, G. en Hoff, M. E. Adaptive switching circuits. IRE Western Electronic Show Conven., Conven. Rec. deel 4: 96-104, 1960.
  • Widrow, G. en Sterns, S. D. Adaptive Signal Processing. Englewood Cliffs, NJ: Prentice-Hall, 1985.
    1. Williams SM,
    2. Goldman-Rakic ​​PS

    (1993) Karakterisering van die dopaminerge innervasie van die primaatfrontale korteks met behulp van 'n dopamien-spesifieke teenliggaam. Cereb. korteks 3: 199-222.

    1. Williams GV,
    2. Millar J.

    (1990) Konsentrasie-afhanklike aksies van gestimuleerde dopamien vrystelling op neuronale aktiwiteit in ratstriatum. Neurowetenskap 39: 1-16.

    1. Williams GV,
    2. Rolls ET,
    3. Leonard CM,
    4. Stern C.

    (1993) Neuronale reaksies in die ventrale striatum van die gedragende aap. Behav. Brein Res. 55: 243-252.

    1. Wilson C.,
    2. Nomikos GG,
    3. Collu M.,
    4. Fibiger HC

    (1995) Dopaminerge korrelate van gemotiveerde gedrag: belangrikheid van ry. J. Neurosci. 15: 5169-5178.

    1. Wilson CJ

    (1995) Die bydrae van kortikale neurone tot die vuurpatroon van striatale spierneurone. in Modelle van Inligtingverwerking in die Basale Ganglia, eds Houk JC, Davis JL, Beiser DG (MIT Press, Cambridge, MA), pp 29-50.

    1. Wilson FAW,
    2. Rolls ET

    (1990a) Neuronale reaksies het betrekking op die nuwigheid en vertroudheid van visuele stimuli in die substantia innominata, diagonale band van Broca en die periventrikulêre gebied van die primaatvoorhoede. Exp. Brein Res. 80: 104-120.

    1. Wilson FAW,
    2. Rolls ET

    (1990b) Neuronale response verwant aan versterking in die primale basale voorhoede. Brein Res. 509: 213-231.

    1. Wilson FAW,
    2. Rolls ET

    (1990c) Leer en geheue word weerspieël in die respons van versterkingsverwante neurone in die primêre basale voorhoede. J. Neurosci. 10: 1254-1267.

    1. Wise RA

    (1982) Neuroleptika en operante gedrag: die anhedonia hipotese. Behav. Brein Sci. 5: 39-87.

    1. Wise RA

    (1996) Neurobiologie van verslawing. Kur. Opin. Neurobiol. 6: 243-251.

    1. Wise RA,
    2. Colle L.

    (1984) Pimozide verminder vrye voeding: "beste tellings" analise toon 'n motiveringstekort. Psychopharmacologia 84: 446-451.

    1. Wise RA,
    2. Hoffman DC

    (1992) Lokalisering van geneesmiddelbeloningsmeganismes deur intrakraniale inspuitings. Sinaps 10: 247-263.

    1. Wise RA,
    2. Rompre P.-P.

    (1989) Brein dopamien en beloning. Annu. Eerw. Psychol. 40: 191-225.

    1. Wise RA,
    2. Spindler J.,
    3. die Wit H.,
    4. Gerber GJ

    (1978) Neurolepties-geïnduceerde "anhedonia" by rotte: pimozide blokke beloon kwaliteit van voedsel. Wetenskap 201: 262-264.

    1. Wynne B.,
    2. Güntürkün O.

    (1995) Dopaminerge innervasie van die telencephalon van die duif (Columba liva): 'n studie met teenliggaampies teen tyrosien hidroksilase en dopamien. J. Comp. Neurol. 357: 446-464.

    1. Yan Z.,
    2. Song WJ,
    3. Surmeier DJ

    (1997) D2 dopamienreseptore verminder N-tipe Ca2+ strome in rat neostriatale cholinergiese interneurone deur middel van 'n membraan-afgebakende, proteïen-kinase-C-ongevoelige pad. J. Neurophysiol. 77: 1003-1015.

    1. Yim CY,
    2. Mogenson GJ

    (1982) Response van die kern verleen neurone tot amygdala stimulasie en die verandering daarvan deur dopamien. Brein Res. 239: 401-415.

    1. Jong AMJ,
    2. Joseph MH,
    3. Grys ​​JA

    (1992) Verhoogde dopamien vrylating in vivo in nukleus accumbens en caudate kern van die rot tydens drink: 'n mikrodialise studie. Neurowetenskap 48: 871-876.

    1. Jong AMJ,
    2. Joseph MH,
    3. Grys ​​JA

    (1993) Latente remming van gekondisioneerde dopamien vrylating in rat kern accumbens. Neurowetenskap 54: 5-9.

    1. Yung KKL,
    2. Bolam JP,
    3. Smith AD,
    4. Hersch SM,
    5. Ciliax BJ,
    6. Levey AI

    (1995) Immunocytochemische lokalisering van D1 en D2 dopamienreseptore in die basale ganglia van die rat: lig en elektronmikroskopie. Neurowetenskap 65: 709-730.

  •