Signalo de antaŭdira rekompenco de dopamino-neŭronoj (1998)

Funkcioj de rekompencoj

Iuj celoj kaj eventoj en la medio havas aparte motivajn signifojn per siaj efikoj al bonstato, postvivado kaj reprodukto. Laŭ la kondutaj reagoj provokitaj, la instiga valoro de mediaj objektoj povas esti apetema (rekompenca) aŭ avara (puninda). Rimarku, ke "apetema" estas uzata sinonimo por "rekompenci" sed ne por "prepara.") Apetitivaj objektoj havas tri bazajn funkciojn disigeblaj. En ilia unua funkcio, rekompencas provokado kaj konsumata konduto. Ĉi tio estas pro la objektoj etikeditaj kun apetita valoro per denaskaj mekanismoj aŭ, en la plej multaj kazoj, lernado. En ilia dua funkcio, rekompencoj pliigas la oftecon kaj intensecon de konduto kondukanta al tiaj objektoj (lernado), kaj ili konservas lernitan konduton per malhelpado de estingo. Rekompencoj servas kiel pozitivaj plifortigiloj de konduto en klasikaj kaj instrumentaj kondiĉoj. En ĝenerala stimula lernado, mediaj stimuloj akiras apetitan valoron sekvante klasike kondiĉitajn asociojn de stimulo-rekompenco kaj induktaj alproksimiga konduto (Bindra 1968). En instrumenta kondiĉado, rekompencas "plifortigi" kondutojn fortigante asociojn inter stimuloj kaj kondutaj respondoj (Leĝo de Efiko: Thorndike 1911). Jen la esenco de "reveni por pli" kaj rilatas al la komuna nocio de rekompencoj por esti farita ion bone. En instrumenta formo de stimula lernado, rekompencoj estas "stimuloj" kaj servas kiel celoj de konduto post asocioj inter kondutaj respondoj kaj rezultoj (Dickinson kaj Balleine 1994). En ilia tria funkcio, rekompencoj induktas subjektivajn sentojn de plezuro (hedonia) kaj pozitivajn emociajn statojn. Aversaj stimuloj funkcias en kontraŭaj direktoj. Ili indikas retiriĝajn respondojn kaj agas kiel negativaj plifortigiloj per pliigado kaj konservado de evitema konduto dum ripetita prezento, tiel reduktante la efikon de damaĝaj eventoj. Krome ili induktas internajn kortuŝajn statojn de kolero, timo kaj paniko.

Funkcioj de prognozoj

Antaŭdiroj provizas antaŭajn informojn pri estontaj stimuloj, eventoj, aŭ sistemaj statoj. Ili donas la bazan avantaĝon gajni tempon por kondutaj reagoj. Iuj formoj de antaŭdiroj atribuas motivajn valorojn al mediaj stimuloj per asocio kun apartaj rezultoj, tiel identigante objektojn de esenca graveco kaj diskriminaciante ilin de malpli valoraj objektoj. Aliaj formoj kodas fizikajn parametrojn de antaŭviditaj objektoj, kiel spaca pozicio, rapideco, kaj pezo. Antaŭdiroj permesas al organismo taksi estontajn eventojn antaŭ ol ili efektive okazas, permesas la selektadon kaj preparadon de kondutaj reagoj kaj pliigas la probablecon alproksimiĝi aŭ eviti objektojn etikeditajn per motivaj valoroj. Ekzemple, ripetaj movadoj de objektoj en la sama sinsekvo permesas antaŭdiri proksimajn poziciojn kaj jam prepari la sekvan movadon dum sekvado de la aktuala objekto. Ĉi tio reduktas reagotempon inter unuopaj celoj, rapidigas totalan agadon kaj rezultigas pli fruan rezulton. Prognozaj okulaj movadoj plibonigas kondutan agadon per antaŭenfokuso (Floroj kaj Downing 1978).

Je pli altnivela nivelo, la informoj antaŭviditaj de prognozoj permesas decidi inter alternativoj atingi apartajn sistemajn statojn, alproksimiĝi malofte okazantajn celajn objektojn aŭ eviti malreparajn adversajn efikojn. Industriaj aplikoj uzas Internan Modelkontrolon por antaŭdiri kaj reagi al sistemaj statoj antaŭ ol ili efektive okazas (Garcia et al. 1989). Ekzemple, la "muŝo-per-drato" tekniko en moderna aviado komputas antaŭvideblajn venontajn statojn de aviadiloj. Decidoj pri flugaj manovroj konsideras ĉi tiujn informojn kaj helpas eviti troan streĉadon sur la mekanikaj komponentoj de la aviadilo, tiel reduktante pezon kaj pliigante la funkciadon.

La uzo de prognozaj informoj dependas de la naturo de la reprezentataj estontaj eventoj aŭ sistemaj statoj. Simplaj reprezentadoj rekte koncernas la pozicion de venontaj celoj kaj la sekvan kondutan reagon, tiel reduktante reagotempon laŭ iom aŭtomata maniero. Pli altaj formoj de antaŭdiroj baziĝas sur reprezentoj permesantaj logikan inferencon, alirebla kaj traktata kun diversaj gradoj de intencemo kaj elekto. Ili ofte estas prilaboritaj konscie ĉe homoj. Antaŭ ol la antaŭdiritaj eventoj aŭ sistemaj statoj kaj kondutaj reagoj efektiviĝas, tiaj antaŭdiroj permesas unu mense taksi diversajn strategiojn per integriĝo de scioj el diversaj fontoj, desegni diversajn manierojn de reago kaj kompari la gajnojn kaj perdojn de ĉiu ebla reago.

Konduta kondutado

Asocia apetita lernado implikas la ripetan kaj kontingentan parigon inter arbitra stimulo kaj primara rekompenco (Fig. 1). Tio rezultigas ĉiam pli oftan alproksimiĝan konduton induktitan de la nun "kondiĉita" stimulo, kiu parte similas al la alproksimiĝa konduto eligita de la primara rekompenco kaj ankaŭ estas influita de la naturo de la kondiĉita stimulo. Ŝajnas, ke la kondiĉita stimulo servas kiel antaŭdiro de rekompenco kaj ofte surbaze de taŭga veturado starigas internan motivan staton kondukantan al kondutisma reago. La simileco de aliraj reagoj sugestas, ke iuj el la ĝeneralaj, preparaj komponentoj de la kondutisma respondo estas translokigitaj de la primara rekompenco al la plej frua kondiĉita, rekompencanta stimulo. Tiel la kondiĉita stimulo agas parte kiel instiga anstataŭanto por la primara stimulo, probable per Pavloviana lernado (Dickinson 1980).

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 1. 

Procesorado de apetitaj stimuloj dum lernado. Arbitra stimulo iĝas asociita kun primara manĝaĵo aŭ likva rekompenco per ripetaj, kontingaj pariĝoj. Ĉi tiu kondiĉita, rekompenca antaŭjuĝa stimulo estigas internan motivan staton elvokante atendon de la rekompenco, ofte surbaze de responda malsato aŭ soifo, kaj provokas la kondutan reagon. Ĉi tiu skemo reproduktas bazajn nociojn de instiga teorio disvolvita de Bindra (1968) kaj Boleroj (1972). Ĝi validas por klasika kondiĉado, kie rekompenco aŭtomate liveras post la kondiĉita stimulo, kaj al instrumenta (operanta) kondiĉado, kie liverado de rekompenco postulas reagon de la subjekto al la kondiĉita stimulo. Ĉi tiu skemo validas ankaŭ por avantaĝa kondiĉo ne plu ellaborita pro mallongeco.

Multaj tiel nomataj "senkondiĉaj" manĝaĵoj kaj likvaj rekompencoj estas probable lernitaj per sperto, kiel ĉiu vizitanto al fremdaj landoj povas konfirmi. La primara rekompenco tiam eble konsistas el la gusto spertita kiam la objekto aktivigas la gustatajn receptorojn, sed tio eble denove lernos. La fina rekompenca efiko de nutraj objektoj probable konsistas en iliaj specifaj influoj sur bazaj biologiaj variabloj, kiel elektrolito, glukozo, aŭ aminoacidaj koncentriĝoj en plasmo kaj cerbo. Ĉi tiuj variabloj estas difinitaj de la vegetativaj bezonoj de la organismo kaj estiĝas per evoluo. Bestoj evitas nutraĵojn, kiuj ne influas gravajn vegetativajn variablojn, ekzemple manĝaĵoj malhavantaj tiajn esencajn aminoacidojn kiel histidino (Rogers kaj Harper 1970), triono (Hrupka et al. 1997; Wang et al. 1996), aŭ metionino (Delaney kaj Gelperin 1986). Kelkaj primaraj rekompencoj povas esti determinitaj per denaskaj instinktoj kaj subtenas komencan alproksimiĝan konduton kaj ingeston en frua vivo, dum la plej multaj rekompencoj estus lernitaj dum la posta vivosperto de la subjekto. La fizika aspekto de rekompencoj tiam povus esti uzata por antaŭdiri la multe pli malrapidajn vegetativajn efikojn. Ĉi tio draste akcelus la detekton de rekompencoj kaj konsistigus grandan avantaĝon por postvivado. Lernado de rekompencoj ankaŭ permesas al subjektoj uzi multe pli grandan varion de nutraĵoj kiel efikajn rekompencojn kaj tiel pliigi sian eblecon por postvivado en zonoj de malabundaj rimedoj.

Aktivigo per primaraj apetitaj stimuloj

Proksimume 75% de dopaminaj neŭronoj montras fazajn aktivadojn kiam bestoj tuŝas malgrandan morbilon da kaŝita manĝaĵo dum esploraj movadoj sen manko de aliaj fazaj stimuloj, sen esti aktivigitaj de la movado mem (Romo kaj Schultz 1990). La ceteraj dopaminaj neŭronoj ne respondas al iuj el la provitaj mediaj stimuloj. Dopamaj neŭronoj ankaŭ estas aktivigitaj de guto de likvaĵo liverita ĉe la buŝo ekster iu ajn konduta tasko aŭ dum lernado de tiaj malsamaj paradigmoj kiel vidaj aŭ aŭdaj reagotempaj taskoj, spaca malfrua respondo aŭ alternado, kaj vida diskriminacio, ofte en la sama besto (Fig. . 2 supro) (Hollerman kaj Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz kaj Schultz 1994; Schultz et al. 1993). La rekompencaj respondoj okazas sendepende de lernada kunteksto. Tiel ne ŝajnas esti, ke dopaminaj neŭronoj diskriminacias inter malsamaj manĝaĵoj kaj likvaj rekompencoj. Tamen iliaj respondoj distingas rekompencojn de nereprezentaj objektoj (Romo kaj Schultz 1990). Nur 14% de dopaminaj neŭronoj montras la fazajn aktivigojn kiam primaraj aversaj stimuloj estas prezentitaj, kiel aera pugo al la mano aŭ hipertona salo al la buŝo, kaj plej multaj aktivigitaj neŭronoj respondas ankaŭ al rekompencoj (Mirenowicz kaj Schultz 1996). Kvankam nekonstante, ĉi tiuj stimuloj estas maltrankviligaj, ĉar ili perturbas konduton kaj indikas aktivajn evitadajn reagojn. Tamen, dopaminaj neŭronoj ne estas tute sensencaj al avversaj stimuloj, kiel montras malrapidaj deprimoj aŭ foje malrapidaj aktivadoj post doloro pinĉantaj stimuloj en anestezitaj simioj (Schultz kaj Romo 1987) Kaj per pliigita striatala dopamina liberigo post elektra ŝoko kaj vosto pinĉas en vekitaj ratoj (Abercrombie et al. 1989; Doherty kaj Gratton 1992; Louilot et al. 1986; Junulo et al. 1993). Ĉi tio sugestas, ke la fazaj respondoj de dopaminaj neŭronoj raportas prefere mediajn stimulojn kun primara apetita valoro, dum aversaj eventoj povas esti signalitaj kun konsiderinde pli malrapida tempodaŭro.

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 2. 

Neŭronoj de dopamino raportas rekompencojn laŭ eraro en antaŭdiro de rekompenco. supro: falo de likvaĵo okazas kvankam neniu rekompenco tiutempe estas antaŭvidita. Okazo de rekompenco tiel konsistigas pozitivan eraron en la antaŭdiro de rekompenco. Dopamina neŭro estas aktivigita per la neantaŭvidebla okazo de la likvaĵo. Mez: kondiĉita stimulo antaŭdiras rekompencon, kaj la rekompenco okazas laŭ la antaŭdiro, tial neniu eraro en la antaŭdiro de rekompenco. Dopamina neŭro ne aktiviĝas per la antaŭdirita rekompenco (ĝuste) Ĝi ankaŭ montras aktivadon post la rekompenca antaŭdiro-stimulo, kio okazas sendepende de eraro en la antaŭdiro de la posta rekompenco (maldekstre). malsupro: kondiĉita stimulo antaŭdiras rekompencon, sed la rekompenco ne okazas pro manko de reago de la besto. Agado de la dopamina neŭrono estas deprimita ĝuste en la tempo, kiam la rekompenco estus okazinta. Rimarku la depresion okazantan> 1 s post la kondiĉigita stimulo sen intervenaj stimuloj, malkaŝante internan procezon de rekompenca atendo. Neŭrona agado en la 3-grafikaĵoj sekvas la ekvacion: dopamina respondo (Rekompenco) = rekompenco okazis - rekompenco antaŭdirita. CS, kondiĉita stimulo; R, ĉefa rekompenco. Represita de Schultz et al. (1997) kun permeso de Usona Asocio por Antaŭenigo de Scienco.

Neantaŭvidebleco de rekompenco

Grava ĉefaĵo de dopaminaj respondoj estas ilia dependeco de eventuale impredecibleco. Sekvaj rekompencoj ne okazas, kiam manĝaĵoj kaj likvaj rekompencoj estas antaŭitaj de fazaj stimuloj kondiĉitaj por antaŭdiri tiajn rekompencojn (Fig. 2, meza) (Ljungberg et al. 1992; Mirenowicz kaj Schultz 1994; Romo kaj Schultz 1990). Unu kerna diferenco inter lernado kaj plene akirita konduto estas la grado de rekompenco antaŭvidebleco. Dopamaj neŭronoj estas aktivigitaj per rekompenco dum la lernada fazo sed ĉesas respondi post plena akiro de vidaj kaj aŭdaj reagotempaj taskoj (Ljungberg et al. 1992; Mirenowicz kaj Schultz 1994), spacaj malfruaj respondaj taskoj (Schultz et al. 1993), kaj samtempaj vidaj diskriminacioj (Hollerman kaj Schultz 1996). La perdo de respondo ne estas pro disvolviĝanta ĝenerala nesentemo al rekompencoj, ĉar aktivigoj post rekompencoj liveritaj ekstere de taskoj ne malpliiĝas dum pluraj monatoj de eksperimentado (Mirenowicz kaj Schultz 1994). La graveco de neantaŭvidebleco inkluzivas la tempon de rekompenco, kiel pruvite per transiraj aktivadoj post rekompencoj, kiuj subite estas liveritaj pli frue aŭ pli malfrue ol antaŭvidite (Hollerman kaj Schultz 1996). Intermetita, la rekompenco, inkluzive de sia tempo, devas esti neantaŭvidebla aktivigi dopaminajn neŭronojn.

Deprimo per preterlaso de antaŭvidita rekompenco

Dopamaj neŭronoj deprimiĝas ĝuste en la kutima okazo de rekompenco, kiam tute antaŭdirita rekompenco malsukcesas, eĉ en foresto de tuj antaŭanta stimulo (Fig. 2, fundo). Ĉi tio estas observata kiam bestoj ne akiras rekompencon pro erara konduto, kiam la eksperimentanto ĉesigas likvan fluon malgraŭ ĝusta konduto, aŭ kiam valvo malfermiĝas aŭdeble sen liverado de likvaĵo (Hollerman kaj Schultz 1996; Ljungberg et al. 1991; Schultz et al. 1993). Kiam liverado de rekompenco prokrastas 0.5 aŭ 1.0 s, deprimo de neurona agado okazas en la regula tempo de la rekompenco, kaj aktivigo sekvas la rekompencon en la nova tempo (Hollerman kaj Schultz 1996). Ambaŭ respondoj okazas nur dum kelkaj ripetoj ĝis la nova tempo de livera rekompenco denove estos antaŭvidita. Inverse, liveri rekompencon pli frue ol kutimaj rezultoj en aktivado ĉe la nova tempo de rekompenco sed malsukcesas indukti depresion en la kutima tempo. Ĉi tio sugestas, ke nekutime frua rekompenco liveras la rekompencon antaŭ la kutima tempo. Tiel dopaminaj neŭronoj kontrolas ambaŭ la okazon kaj la tempon de rekompenco. En la foresto de stimuloj tuj antaŭ la preterlasita rekompenco, la deprimiĝoj ne konsistigas simplan neuronal respondon, sed reflektas atendoprocezon bazitan sur interna horloĝo spuranta la precizan tempon de antaŭvidita rekompenco.

Aktivigo per kondiĉitaj, rekompencaj antaŭvidaj stimuloj

Pri 55-70% de dopaminaj neŭronoj estas aktivigitaj de kondiĉitaj vidaj kaj aŭdaj stimuloj en la diversaj klasike aŭ instrumente kondiĉitaj taskoj priskribitaj antaŭe. 2, meza kaj fundo) (Hollerman kaj Schultz 1996; Ljungberg et al. 1991, 1992; Mirenowicz kaj Schultz 1994; Schultz 1986; Schultz kaj Romo 1990; P. Waelti, J. Mirenowicz, kaj W. Schultz, nepublikigitaj datumoj). La unuaj dopaminaj respondoj al kondiĉita lumo estis raportitaj de Miller et al. (1981) en ratoj traktitaj kun haloperidol, kiuj pliigis la efikon kaj spontanean agadon de dopaminaj neŭronoj sed rezultigis pli daŭrajn respondojn ol ĉe nedependigitaj bestoj. Kvankam respondoj okazas proksime al kondutaj reagoj (Nishino et al. 1987), ili ne rilatas al brako- kaj okulaj movadoj mem, ĉar ili okazas ankaŭ ipsilate al la movanta brako kaj en provoj sen brako aŭ okula movadoj (Schultz kaj Romo 1990). Kondiĉaj stimuloj estas iom malpli efikaj ol primaraj rekompencoj koncerne respondan grandon kaj frakciojn de neŭronoj aktivigitaj. Dopamaj neŭronoj respondas nur al la ekapero de kondiĉitaj stimuloj kaj ne al ilia kompenso, eĉ se kompenso de stimulo antaŭdiras la rekompencon (Schultz kaj Romo 1990). Dopamaj neŭronoj ne distingas inter vidaj kaj aŭdaj kategorioj de kondiĉigitaj apetitaj stimuloj. Tamen ili diskriminacias inter apetitaj kaj neŭtralaj aŭ avaraj stimuloj kondiĉe ke ili estas fizike sufiĉe malsimilaj (Ljungberg et al. 1992; P. Waelti, J. Mirenowicz, kaj W. Schultz, nepublikigitaj datumoj). Nur 11% de dopaminaj neŭronoj, plej multaj kun apetitaj respondoj, montras la tipajn fazajn aktivigojn ankaŭ en respondo al kondiĉitaj aversaj vidaj aŭ aŭdaj stimuloj en aktivaj evitadaj taskoj, en kiuj bestoj liberigas ŝlosilon por eviti aeran pufon aŭ guton de hipertona salo. (Mirenowicz kaj Schultz 1996), kvankam tia evitado povas esti rigardata kiel "rekompenca." Ĉi tiuj malmultaj aktivadoj ne estas sufiĉe fortaj por indukti mezumon de respondo de populacio. Tiel la fazaj respondoj de dopaminaj neŭronoj raportas prefere al mediaj stimuloj kun apetita motiviga valoro sed sen diskriminacio inter malsamaj sensaj modalecoj.

Transdono de aktivigo

Dum la kurso de lernado, dopaminaj neŭronoj iom post iom aktiviĝas per kondiĉitaj, rekompencaj stimuloj kaj iom post iom perdas siajn respondojn al primara manĝaĵo aŭ likvaj rekompencoj, kiuj antaŭvideblas (Hollerman kaj Schultz 1996; Ljungberg et al. 1992; Mirenowicz kaj Schultz 1994) (Figoj. 2 kaj 3). Dum transira lernada periodo, ambaŭ rekompencoj kaj kondiĉigitaj stimuloj provokas dopaminajn aktivadojn. Ĉi tiu transdono de primara rekompenco al la kondiĉita stimulo okazas senprokraste en unuopaj dopaminaj neŭronoj testitaj en du bone lernitaj taskoj, respektive, ne antaŭviditaj kaj antaŭviditaj rekompencojRomo kaj Schultz 1990).

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 3. 

Dopamina respondo-translokigo al plej frua prognoza stimulo. Respondoj al senprecedenca primara rekompenco al iom post iom pli fruaj rekompencaj stimuloj. Ĉiuj ekranoj montras popolajn histogramojn akiritajn averaĝante normaligitajn tempoperiodajn histogramojn de ĉiuj dopaminaj neŭronoj registritaj en la kondutaj situacioj indikitaj, sendepende de la ĉeesto aŭ foresto de respondo. supro: ekster iu ajn kondutisma tasko, ne ekzistas respondo de la loĝantaro en neŭronoj de 44 provitaj per malgranda lumo (datumoj de Ljungberg et al. 1992), sed averaĝa respondo okazas en 35 neŭronoj al guto da likvo liverita ĉe flutruo antaŭ la buŝo de la besto (Mirenowicz kaj Schultz 1994). Mez: respondo al rekompenco-antaŭdirektiga stimulo en 2-elekta spaca atinga tasko, sed foresto de respondo al rekompenco liverita dum establita tasko-rendimento en la samaj 23-neŭronoj (Schultz et al. 1993). malsupro: respondo al instrukcia antaŭulo antaŭanta la rekompencan antaŭfunkciigan stimulon per fiksa intervalo de 1 s en instruita spaca atinga tasko (19-neŭronoj) (Schultz et al. 1993). Tempa bazo dividiĝas pro diversaj intervaloj inter kondiĉitaj stimuloj kaj rekompenco. Reproduktita de Schultz et al. (1995b) kun permeso de MIT Press.

Neantaŭvidebleco de kondiĉigitaj stimuloj

La aktivigoj post kondiĉigitaj, rekompencaj stimuloj ne okazas kiam ĉi tiuj stimuloj mem estas antaŭitaj je fiksa intervalo per fazaj kondiĉitaj stimuloj en tute establitaj kondutaj situacioj. Tiel kun serialkondiĉaj stimuloj, dopaminaj neŭronoj estas aktivigitaj per la plej frua rekompenca stimulo, dum ĉiuj stimuloj kaj rekompencoj sekvantaj en antaŭvideblaj momentoj poste estas senutilaj (Fig. 3) (Schultz et al. 1993). Nur hazarde interspacigitaj sinsekvaj stimuloj eligas individuajn respondojn. Ankaŭ vasta preterpasado kun tre stereotipa tasko plenumas la respondojn al kondiĉitaj stimuloj, probable ĉar stimuloj fariĝas antaŭdiritaj de eventoj en la antaŭa provo (Ljungberg et al. 1992). Ĉi tio sugestas, ke antaŭvidebleco de stimulo estas ofta postulo por ĉiuj stimuloj aktivigantaj dopaminajn neŭronojn.

Deprimo per preterlaso de antaŭviditaj kondiĉigitaj stimuloj

Preparaj datumoj de antaŭa eksperimento (Schultz et al. 1993) sugestas, ke dopaminaj neŭronoj ankaŭ deprimiĝas, kiam antaŭkondiĉa stimulo kondiĉita, rekompence mem antaŭfiksita de antaŭulo, sed malsukcesas okazi pro eraro de la besto. Kiel ĉe primaraj rekompencoj, la deprimiĝoj okazas en la kutima okazo de la kondiĉita stimulo, sen esti rekte eliritaj de antaŭanta stimulo. Tiel la omisi-induktita depresio povas ĝeneraligi ĉiujn apetitajn eventojn.

Aktivigo-depresio kun respondo-ĝeneraligo

Dopamaj neŭronoj ankaŭ respondas al stimuloj, kiuj ne antaŭdiras rekompencojn, sed proksime similas rekompenc-antaŭvidajn stimulojn okazantajn en la sama kunteksto. Ĉi tiuj respondoj plejparte konsistas el aktivado sekvita de tuja depresio sed foje povas konsisti el pura aktivado aŭ pura depresio. La aktivigoj estas pli malgrandaj kaj malpli oftaj ol tiuj, kiuj sekvas rekompenc-antaŭvidajn stimulojn, kaj la depresioj estas observataj en 30-60% de neŭronoj. Dopamaj neŭronoj respondas al vidaj stimuloj, kiuj ne estas sekvataj de rekompenco sed similas proksime al rekompenc-antaŭvidantaj stimuloj, malgraŭ ĝusta konduta diskriminacio (Schultz kaj Romo 1990). Malfermo de malplena skatolo malsukcesas aktivigi dopaminajn neŭronojn sed efikas dum ĉiu provo tuj kiam la skatolo foje enhavas manĝaĵojn (Ljungberg et al. 1992; Schultz 1986; Schultz kaj Romo 1990) aŭ kiam apuda, identa skatolo ĉiam enhavanta manĝaĵon malfermiĝas hazarde (Schultz kaj Romo 1990). La malplena skatolo provokas pli malfortajn aktivadojn ol la skatolo. Bestoj faras nediskuteblajn okulajn orientiĝajn reagojn al ĉiu skatolo, sed nur alproksimiĝas al la skatolita skatolo per la mano. Dum lernado, dopaminaj neŭronoj daŭre respondas al antaŭe kondiĉitaj stimuloj, kiuj perdas sian rekompencon antaŭdiri kiam ŝanĝo de kontenteco ŝanĝiĝas (Schultz et al. 1993) aŭ respondas al novaj stimuloj similaj al antaŭe kondiĉitaj stimuloj (Hollerman kaj Schultz 1996). Respondoj eĉ al avversaj stimuloj prezentitaj en hazarda alternado kun fizike similaj, kondiĉitaj apetitaj stimuloj de la sama sensa modaleco, la avversa respondo estas pli malforta ol la apetema (Mirenowicz kaj Schultz 1996). La respondoj ĝeneraligas eĉ konduteme estingitajn apetitajn stimulojn. Ŝajne, neŭronaj respondoj ĝeneraligas al nepaciencaj stimuloj pro sia fizika simileco kun apetitaj stimuloj.

Novaj respondoj

Novaj stimuloj estigas aktivigojn en dopaminaj neŭronoj, kiuj ofte estas sekvataj de depresioj kaj daŭras tiel longe, kiel okazas kondutaj orientaj reagoj (ekz. Okulaj sakadoj). Aktivigoj malpliiĝas kune kun orientaj reagoj post pluraj stimulaj ripetoj, depende de la fizika efiko de stimuloj. Dum malgrandaj lumemisiaj diodoj apenaŭ estigas novajn respondojn, lumaj ekbriloj kaj la rapida vida kaj aŭda malfermo de malgranda skatolo estigas aktivigojn, kiuj kadukiĝas iom post iom al bazlinio dum <100 provoj (Ljungberg et al. 1992). Laŭtaj klakoj aŭ grandaj bildoj tuj antaŭ besto provokas fortajn novajn respondojn, kiuj kadukiĝas sed tamen estigas mezureblajn aktivigojn per> 1,000 provoj (Hollerman kaj Schultz 1996; Horvitz et al. 1997; Steinfels et al. 1983). Figuro 4 montras skeme la malsamajn respondajn grandojn kun novaj stimuloj de malsama fizika saleco. La respondoj kadukiĝas iom post iom kun ripetita ekspozicio, sed povas persisti ĉe reduktitaj grandoj kun tre elstaraj stimuloj. Respondecaj grandoj denove pliiĝas kiam la samaj stimuloj estas apetate kondiĉitaj. Kontraŭe, respondoj al romanoj, eĉ grandaj, stimuliĝas rapide, kiam la stimuloj estas uzataj por kondiĉado de aktiva evitema konduto (Mirenowicz kaj Schultz 1996). Tre malmultaj neŭronoj (<5%) respondas dum pli ol kelkaj provoj al evidentaj tamen fizike malfortaj stimuloj, kiel disfalo de papero aŭ krudaj manaj movoj de la eksperimentisto.

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 4. 

Tempokursoj de aktivigoj de dopaminaj neŭronoj por novegi, atentigi, kaj kondiĉigitajn stimulojn. Aktivoj post romanaj stimuloj malpliiĝas kun ripetita ekspozicio super sinsekvaj provoj. Ilia grando dependas de la fizika saleco de stimuloj ĉar pli fortaj stimuloj induktas pli altajn aktivigojn, kiuj foje superas tiujn post kondiĉigitaj stimuloj. Precipe elstaraj stimuloj daŭre aktivigas dopaminajn neŭronojn kun limigita grando eĉ post perdi sian novecon sen esti parigitaj kun primaraj rekompencoj. Konstantaj aktivadoj ree aperas kiam stimuloj asociiĝas kun primaraj rekompencoj. Ĉi tiu skemo estis alportita de Jose Contreras-Vidal.

Homogena karaktero de respondoj

La eksperimentoj faritaj ĝis nun malkaŝis, ke la plimulto de neŭronoj en dubonaj dopaminaj ĉeloj grupoj A8, A9 kaj A10 montras tre similajn aktivadojn kaj deprimojn en difinita kondutisma situacio, dum la restantaj dopaminaj neŭronoj tute ne respondas. Estas tendenco por pli altaj frakcioj de neŭronoj respondantaj en pli mezaj regionoj de la meza cerbo, kiel la ventra tegmenta areo kaj mezaj substancaj nigra, kompare kun pli flankaj regionoj, kiuj de tempo al tempo atingas statistikan signifon (Schultz 1986; Schultz et al. 1993). Respondaj latentecoj (50-110 ms) kaj daŭroj (<200 ms) similas inter primaraj rekompencoj, kondiĉitaj stimuloj kaj novaj stimuloj. Tiel la dopamina respondo konsistigas relative homogenan skalaran populacian signalon. Ĝi ampleksas la respondon de individuaj neŭronoj kaj la frakcio de respondantaj neŭronoj en la loĝantaro.

Resumo 1: adaptaj respondoj dum lernaj epizodoj

La karakterizaĵoj de dopaminaj respondoj al rekompenc-rilataj stimuloj estas plej bone ilustritaj dum lernado de epizodoj dum tiuj rekompencoj estas aparte gravaj por akiri kondutajn respondojn. La dopamina rekompenca signalo spertas sistemajn ŝanĝojn dum la progreso de lernado kaj okazas al la plej frua faz-rilata rekompenco-stimulo, ĉi tio estas aŭ primara rekompenco aŭ rekompenco-antaŭvidanta stimulo (Ljungberg et al. 1992; Mirenowicz kaj Schultz 1994). Dum lernado, romanaj, neintene neŭtralaj stimuloj transigas indikas respondojn, kiuj malfortiĝas baldaŭ kaj malaperas (Fig. 4). Primaraj rekompencoj okazas neeviteble dum komenca parigado kun tiaj stimuloj kaj provokas neŭronajn aktivadojn. Kun ripetaj paroj, rekompencoj fariĝas antaŭdiritaj per kondiĉitaj stimuloj. Aktivigoj post la rekompenco malpliiĝas iom post iom kaj estas transdonitaj al la kondiĉita, rekompenca antaŭdiro stimulo. Se tamen antaŭdirita rekompenco malsukcesas pro eraro de la besto, dopaminaj neŭronoj deprimiĝas tiutempe la rekompenco. Dum ripetita lernado de taskoj (Schultz et al. 1993) aŭ taskojHollerman kaj Schultz 1996), la plej fruaj kondiĉitaj stimuloj aktivigas dopaminajn neŭronojn dum ĉiuj lernadaj fazoj pro ĝeneraligado de antaŭe lernitaj similaj stimuloj, dum postaj kondiĉigitaj stimuloj kaj primaraj rekompencoj aktivigas dopaminajn neŭronojn nur transitione dum ili estas necertaj kaj novaj situacioj estas establitaj.

Resumo 2: efikaj stimuloj por dopaminaj neŭronoj

La respondoj de dopamino estas akiritaj de tri kategorioj de stimuloj. La unua kategorio inkluzivas primarajn rekompencojn kaj stimulojn, kiuj fariĝis validaj rekompencaj antaŭdiroj per ripetaj kaj kontingaj pariĝoj kun rekompencoj. Ĉi tiuj stimuloj formas komunan klason de eksplicitaj rekompenc-antaŭvidantaj stimuloj, ĉar primaraj rekompencoj servas kiel antaŭdiroj de vegetativaj rekompencaj efikoj. Efektivaj stimuloj ŝajne havas atentigan komponenton, ĉar nur stimuloj kun klara komenco estas efikaj. Dopamaj neŭronoj montras purajn aktivadojn post eksplicitaj rekompenc-antaŭvidantaj stimuloj kaj deprimiĝas kiam antaŭvidita sed preterlasita rekompenco malsukcesas okazi (Fig. 5, supro).

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 5. 

Skema montrado de respondoj de dopaminaj neŭronoj al 2 specoj de kondiĉitaj stimuloj. supro: prezento de eksplicita rekompenco-antaŭdira stimulo kondukas al aktivigo post la stimulo, neniu respondo al la antaŭvidita rekompenco, kaj depresio kiam antaŭvidita rekompenco malsukcesas okazi. malsupro: prezento de stimulo proksime similanta al kondiĉita, rekompenca antaŭdiro stimulo kondukas al aktivigo sekvita de depresio, aktivigo post la rekompenco, kaj neniu respondo kiam neniu rekompenco okazas. Aktivigo post la stimulo probable reflektas ĝeneralan respondon pro fizika simileco. Ĉi tiu stimulo ne antaŭvidas eksplicite rekompencon sed rilatas al la rekompenco per sia simileco al la stimulo antaŭdiranta la rekompencon. Kompare kun eksplicitaj rekompencaj antaŭvidaj stimuloj, aktivigoj estas pli malaltaj kaj ofte estas sekvataj de depresioj, tiel diskriminaciante inter rekompencitaj (CS +) kaj nerekomenditaj (CS-) kondiĉigitaj stimuloj. Ĉi tiu skemo resumas rezultojn de antaŭaj kaj aktualaj eksperimentoj (Hollerman kaj Schultz 1996; Ljungberg et al. 1992; Mirenowicz kaj Schultz 1996; Schultz kaj Romo 1990; Schultz et al. 1993; P. Waelti kaj W. Schultz, nepublikigitaj rezultoj).

La dua kategorio inkluzivas stimulojn, kiuj provokas ĝeneraligajn respondojn. Ĉi tiuj stimuloj ne eksplicite antaŭdiras rekompencojn sed estas efikaj pro sia fizika simileco al stimuloj, kiuj fariĝis eksplicitaj rekompencaj antaŭdiroj per kondiĉado. Ĉi tiuj stimuloj induktas aktivojn malpli grandajn kaj engaĝas malpli da neŭronoj, kompare kun eksplicitaj rekompenc-antaŭvidantaj stimuloj (Fig. 5, fundo). Ofte ili sekvas tujajn deprimojn. Dum la komenca aktivigo povas konsistigi ĝeneralan apetitan respondon, kiu signalas eblan rekompencon, la posta depresio povas reflekti la antaŭdiron de neniu rekompenco en ĝenerala antaŭdiro de kunteksto kaj nuligi la eraran supozon de rekompenco. La manko de eksplicita rekompenco-antaŭdiro estas sugestita plu per la ĉeesto de aktivigo post primara rekompenco kaj la foresto de depresio sen rekompenco. Kune kun la respondoj al rekompencaj antaŭvidaj stimuloj, ŝajnas kvazaŭ dopamina aktivaĵo raportas apetitan "etikedon" surloke al stimuloj rilataj al rekompencoj.

La tria kategorio enhavas novajn aŭ precipe elstarajn stimulojn, kiuj ne nepre rilatas al specifaj rekompencoj. Elirigante kondutajn orientiĝajn reagojn, ĉi tiuj stimuloj atentigas kaj ordonas atenton. Tamen ili ankaŭ havas motivajn funkciojn kaj povas esti rekompencaj (Fujita 1987). Novaj stimuloj estas eble apetitaj. Novaj aŭ aparte elstaraj stimuloj induktas aktivadojn ofte sekvitajn de depresioj, similaj al respondoj al ĝeneraligaj stimuloj.

Tiel la fazaj respondoj de dopaminaj neŭronoj raportas pri eventoj kun pozitivaj kaj eble pozitivaj instigaj efikoj, kiel primaraj rekompencoj, rekompenco-antaŭvidaj stimuloj, similaj al rekompenco kaj atentaj stimuloj. Tamen ili ne detektas grandparte eventojn kun negativaj instigaj efikoj, kiel aversaj stimuloj.

Resumo 3: la signalo de erara antaŭdiro de dopamina rekompenco

La dopaminaj respondoj al eksplicitaj rekompenco-rilataj eventoj povas esti plej bone konceptitaj kaj komprenataj koncerne formalajn teoriojn pri lernado. Dopamaj neŭronoj raportas rekompencojn relative al sia antaŭdiro prefere ol signalado de primaraj rekompencoj senkondiĉe (Fig. 2). La dopamina respondo estas pozitiva (aktivigo) kiam primaraj rekompencoj okazas sen esti antaŭdiritaj. La respondo estas nula kiam rekompencoj okazas kiel antaŭvidite. La respondo estas negativa (deprimo) kiam antaŭviditaj rekompencoj estas preterlasitaj. Tiel dopaminaj neŭronoj raportas primarajn rekompencojn laŭ la diferenco inter la okazo kaj la antaŭdiro de rekompenco, kio povas esti nomata eraro en la antaŭdiro de rekompenco (Schultz et al. 1995b, 1997) kaj estas provizore formaligita kiel

Ekvacio 1 Ĉi tiu sugesto povas etendiĝi al kondiĉitaj apetitaj eventoj, kiuj ankaŭ estas raportitaj de dopaminaj neŭronoj relative al antaŭdiro. Tiel dopaminaj neŭronoj povas raporti eraron en la prognozo de ĉiuj apetecaj eventoj, kaj Eq. 1 povas esti deklarita en la pli ĝenerala formo

Ekvacio 2Ĉi tiu ĝeneraligo kongruas kun la ideo, ke plej multaj rekompencoj efektive estas kondiĉitaj stimuloj. Kun pluraj sinsekvaj bone rekonitaj rekompencaj eventoj, nur la unua evento estas neantaŭvidebla kaj provokas la dopaminan aktivadon.

Origino de la dopamina respondo

Kiujn anatomiajn enigaĵojn povus respondecigi pri la selektiveco kaj polisensoria naturo de dopaminaj respondoj? Kiu eniga agado povas konduki al kodado de prognozaj eraroj, indukti la adaptan respondan translokadon al la plej frua nepruvita apetita evento kaj taksi la tempon de rekompenco?

Fazaj dopaminaj influoj sur celaj strukturoj

GLOBA NATURO DE DOPAMINA SIGNALO.

Diverĝaj projekcioj. Estas ∼8,000 dopaminaj neŭronoj en ĉiu substantia nigra de ratoj (Oorschot 1996) kaj 80,000 – 116,000 en makakoj simioj (Germana kaj al. 1988; Percheron et al. 1989). Ĉiu striatumo enhavas ∼2.8 milionojn da neŭronoj en ratoj kaj 31 milionojn en makakoj, kio rezultigas nigrostriatan diverĝfaktoron de 300-400. Ĉiu dopamina akono ramifas abunde en limigita fina areo en striato kaj havas ∼500,000-striitajn varicitojn el kiuj dopamino liberiĝas (Andén et al. 1966). Tio rezultigas dopaminan enigon al preskaŭ ĉiu striala neŭrono (Groves et al. 1995) kaj modere topografia nigrostriatala projekcio (Lynd-Balta kaj Haber 1994). La kortika dopamina restado ĉe simioj estas plej alta en areoj 4 kaj 6, ĝi ankoraŭ grandas en frontaj, parietaj kaj tempaj loboj, kaj estas plej malalta en la okcipita lobo (Berger et al. 1988; Williams kaj Goldman-Rakic ​​1993). Kortalaj dopaminaj sinapsoj estas ĉefe trovitaj en tavoloj I kaj V-VI, kaj ili kontaktas grandan parton de kortikaj neŭronoj. Kune kun la iom homogena responda naturo, ĉi tiuj datumoj sugestas, ke la dopamina respondo antaŭas kiel samtempa, paralela ondo de aktiveco de la cerbo ĝis striato kaj fronta kortekso (Fig. 7).

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 7. 

Suma dopamina signalo antaŭanta al striato kaj kortekso. Relative homogena respondo de la plimulto de dopaminaj neŭronoj al apetitaj kaj atentigaj stimuloj kaj ĝia progresado de substantia nigra al postsinaptaj strukturoj povas esti rigardita skemate kiel ondo de sinkrona, paralela aktiveco antaŭanta je rapideco de 1-2 m / s (Schultz kaj Romo 1987) laŭ la diverĝaj projekcioj de la cerbo ĝis striato (kaŭdato kaj putameno) kaj kortekso. La respondoj estas kvalite nedistingeblaj inter neŭronoj de substantia nigra (SN) pars kompakta kaj ventrala tegmenta areo (VTA). Dopamina senkaŝigo de ĉiuj neŭronoj en striato kaj multaj neŭronoj en frontala kortekso rajtigus la dopaminan plifortikigan signalon praktiki iomete globalan efikon. Ondo kunpremiĝis por emfazi la paralelan naturon.

Dopamina liberigo. Impulsoj de dopaminaj neŭronoj je intervaloj de 20-100-ms kondukas al multe pli alta dopamina koncentriĝo en striato ol la sama nombro da impulsoj je 200 ms (Garris kaj Wightman 1994; Gonon 1988). Ĉi tiu nelinieco estas plejparte pro la rapida saturiĝo de la transporto de dopamina reakiro, kiu forigas la liberigitan dopaminon el la ekstrasinata regiono (Chergui et al. 1994). La sama efiko estas observata en nucleus accumbens (Wightman kaj Zimmerman 1990) kaj ĝi okazas eĉ kun pli longaj impulsaj intertempoj pro malabundaj reaĉetaj lokoj (Garris et al. 1994b; Marshall et al. 1990; Stamford et al. 1988). Liberigo de dopamino post impulsa eksplodo de <300 ms estas tro mallonga por aktivigi la redukton de liberigo mediatebla de aŭtoreceptoro (Chergui et al. 1994) aŭ la eĉ pli malrapida enzimata degenero (Mikaelo et al. 1985). Tiel kreva dopamina respondo estas precipe efika por liberigi dopaminon.

Taksoj bazitaj sur viva voltammetrio sugestas, ke ununura impulso liberigas ∼1,000 dopaminajn molekulojn ĉe sinapsoj en striato kaj kerno akcentaj. Ĉi tio kondukas al tujaj sinaptaj dopaminaj koncentriĝoj de 0.5 – 3.0 μM (Garris et al. 1994a; Kawagoe et al. 1992). Je 40 μs post liberigo,> 90% de dopamino forlasis la sinapson, iuj el la ceteraj poste estas forigitaj per sinapta reakiro (duon-komenca tempo de 30-37 ms). Je 3-9 m post liberiga komenco, dopaminaj koncentriĝoj atingas pinton de ∼250 nM kiam ĉiuj najbaraj varikecoj samtempe liberigas dopaminon. Koncentriĝoj estas homogenaj ene de sfero de 4 μm diam (Gonon 1997), kiu estas la meza distanco inter varicosoj (Doucet et al. 1986; Groves et al. 1995). Maksimuma disvastigo estas limigita al 12 μm per la reakira transportilo kaj atingiĝas en 75 ms post liberiga komenco (duona transporta komenco-tempo de 30-37 ms). Koncentriĝoj estus iomete pli malaltaj kaj malpli homogenaj en regionoj kun malpli da varikecoj aŭ kiam <100% de dopaminaj neŭronoj estas aktivigitaj, sed ili estas du-ĝis-trioble pli altaj kun impulsaj eksplodoj. Tiel la rekompencaj induktitaj, iomete sinkronaj, eksplodaj aktivigoj en ~ 75% de dopaminaj neŭronoj povas konduki al sufiĉe homogenaj koncentriĝaj pintoj en la ordo de 150-400 nM. Totalaj pliiĝoj de eksterĉela dopamino daŭras 200 ms post unu impulso kaj 500-600 ms post multoblaj impulsoj de 20-100 ms-intervaloj aplikitaj dum 100-200 ms (Chergui et al. 1994; Dugast et al. 1994). La ekstrasinaptika reakira transportilo (Nirenberg et al. 1996) poste rekondukas dopaminajn koncentriĝojn al sia bazlinio de 5 – 10 nM (Herrera-Marschitz et al. 1996). Tiel kontraste al klasika, strikte sinapsa neŭtransmisio, sinaptike liberigita dopamino disvastiĝas rapide en la tujan juxtasinaptan areon kaj atingas mallongajn pintojn de regionaj homogenaj eksterĉelaj koncentriĝoj.

Receptoroj. El la du ĉefaj specoj de dopaminaj riceviloj, la adenilata ciklase-aktivigantaj, D1-tipaj riceviloj konstituas ∼80% de dopaminaj riceviloj en striatum. El tiuj 80% estas en la stato de malalta afineco de 2-4 μM kaj 20% en la stato de alta afineco de 9-74 nM (Richfield et al. 1989). La restaj 20% de striatalaj dopaminaj riceviloj apartenas al D2-tipo inhibitanta de adenilasa ciklasa, de kiuj 10-0% estas en stato de malalta afineco kaj 80-90% en la stato de alta afineco, kun similaj afinecoj kiel riceviloj de D1. Tiel D1-receptoroj entute havas ∼100-fojojn pli malaltan afinecon ol D2-receptoroj. Striataj D1-receptoroj situas ĉefe sur neŭronoj projekciantaj al interna pallidum kaj substantia nigra pars reticulata, dum striataj D2-receptoroj situas plejparte sur neŭronoj projekciantaj al ekstera pallidum (Bergson et al. 1995; Gerfen et al. 1990; Hersch et al. 1995; Levey kaj aliaj. 1993). Tamen, la diferencoj en ricevilo-sentiveco eble ne ludas rolon preter signal-transdukto, tiel reduktante la diferencojn en dopamina sentiveco inter la du specoj de striaj elirejaj neŭronoj.

Dopamina estas liberigita al 30-40% el sinaptika kaj al 60-70% el ekstrasinaptaj varicosoj (Descarries et al. 1996). Sinaptike liberigita dopamino agas sur postsinaptaj dopaminaj riceviloj ĉe kvar anatomie distingaj lokoj en la striatumo, nome ene de dopaminaj sinapsoj, tuj najbaraj al dopaminaj sinapsoj, ene de kortikostriataj glutamataj sinapsoj kaj ĉe ekstrasinaptaj lokoj malproksimaj de liberigaj lokoj (Fig. 8) (Levey kaj aliaj. 1993; Sesack et al. 1994; Yung et al. 1995). D1-receptoroj estas lokitaj ĉefe ekster dopaminaj sinapsoj (Caillé et al. 1996). La altaj transiraj koncentriĝoj de dopamino post fazaj impulsaj eksplodoj aktivigus D1-receptorojn en la tuja najbareco de la aktivaj liberigaj lokoj kaj aktivigus kaj eĉ saturos D2-receptorojn ĉie. D2-riceviloj restus parte aktivigitaj kiam la ambienta dopamina koncentriĝo revenos al bazlinio post fazaj pliiĝoj.

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 8. 

Influoj de dopamina liberigo sur tipaj mezaj dornaj neŭronoj en la dorsal kaj ventra striatumo. Dopamino liberigita de impulsoj de sinaptaj varicosoj aktivigas kelkajn sinaptikajn receptorojn (probable de tipo D2 en malalta stato de afineco) kaj disvastiĝas rapide ekster la sinapso por atingi receptorojn de tipo D1 de malalta afineco (D1?), Kiuj troviĝas proksime, ene de kortikostriaj sinapsoj. , aŭ je limigita distanco. Fazeike pliigita dopamino aktivigas proksimajn altajn afinecajn tipojn D2-receptorojn ĝis saturo (D2?). D2-riceviloj restas parte aktivigitaj de la mediaj dopaminaj koncentriĝoj post la fazo pliigita liberigo. Dopamino ekstreneptike liberigita eble diluiĝos per disvastigo kaj aktivigas D2-receptorojn de alta afineco. Oni devas rimarki, ke, konforme al ĉi tiu skema diagramo, plej multaj D1 kaj D2-receptoroj situas sur malsamaj neŭronoj. Glutamato liberigita de kortikostriaj finaĵoj atingas postsinaptajn receptorojn lokitajn sur la samaj dendritaj dornoj kiel dopaminaj varicosoj. Glutamato ankaŭ atingas presinaptajn dopaminajn varicojn, kie ĝi kontrolas liberigon de dopamino. Dopamina influo sur spino neŭronoj en frontala kortekso estas komparebla en multaj aspektoj.

Resumo. La observita, modere kreva, mallongdaŭra, preskaŭ sinkrona respondo de la plej multaj dopaminaj neŭronoj kondukas al optimuma, samtempa dopamina liberigo de la plimulto de proksime interspacigitaj strioj. La neuronal respondo induktas mallongan pufon de dopamino, kiu liberiĝas de ekstrasinaptaj lokoj aŭ disvastiĝas rapide de sinapsoj en la juxtasinaptan areon. Dopamina rapide atingas regionajn homogenajn koncentriĝojn, kiuj probable influas la dendritojn de probable ĉiuj striataj kaj multaj kortikaj neŭronoj. Tiamaniere, la rekompenca mesaĝo en 60-80% de dopaminaj neŭronoj estas elsendita kiel diverĝa, pli ĝuste tutmonda plifortiga signalo al la striatumaj, kerno-akcentoj, kaj fronta kortekso, certigante fazan influon sur maksimuma nombro de sinapsoj implikitaj en la prilaborado. de stimuloj kaj agoj kondukantaj al rekompenco (Fig. 7). Dopamino liberigita per neŭronaj aktivadoj post rekompencoj kaj rekompencaj antaŭfiksaj stimuloj influus juxtasinaptajn D1-receptorojn sur striatajn neŭronojn projektantajn al interna pallidum kaj substantia nigra pars reticulata kaj ĉiujn D2-receptorojn ĉe neŭronoj projekciantaj al ekstera pallidum. La redukto de dopamina liberigo induktita de depresioj kun preterlasitaj rekompencoj kaj rekompencaj stimuloj reduktus la tonikan stimuladon de D2-receptoroj de ambienta dopamino. Tiel pozitivaj rekompenco-prognozaj eraroj influus ĉiujn specojn de striaj elirejaj neŭronoj, dum la negativa prognoza eraro povus influi superregante neŭronojn projektantajn al ekstera pallidum.

Eblaj mekanismoj de kokaino. La blokado de la transporto de dopamina reaperado de drogoj kiel kokaino aŭ amfetamino plibonigas kaj plilongigas fazajn kreskojn de dopaminaj koncentriĝoj (Church et al. 1987a; Giros et al. 1996; Suaud-Chagny et al. 1995). La plibonigo estus precipe prononcita kiam rapidaj, krev-induktitaj kreskoj en dopamina koncentriĝo atingas pinton antaŭ ol retrospektiva regulado fariĝos efika. Ĉi tiu mekanismo kondukus al amase plibonigita dopamina signalo post primaraj rekompencoj kaj rekompencaj antaŭsignoj. Ĝi ankaŭ pliigus la iom pli malfortan dopaminan signalon post stimuloj similaj al rekompencoj, novaj stimuloj kaj precipe elstaraj stimuloj, kiuj povus esti oftaj en ĉiutaga vivo. La plibonigo per kokaino lasus ĉi tiujn nerefendajn stimulojn aperi same fortaj aŭ eĉ pli fortaj ol naturaj rekompencoj sen kokaino. Postsinaptaj neŭronoj povus misinterpreti tian signalon kiel aparte elstara rekompenco-rilata okazaĵo kaj suferi longtempajn ŝanĝojn en sinapsa transdono.

Lernante teoriojn

Plifortigaj algoritmoj

TEMPORALA DIFERENTA LINGVO.

En precipe efika klaso de plifortigaj algoritmoj (Sutton 1988; Sutton kaj Barto 1981), sinaptaj pezoj estas modifitaj laŭ la eraro en plifortiga antaŭdiro kalkulita per sinsekvaj tempaj paŝoj (t) en ĉiu proceso

rˆ(t)=r(t)+P(t)-P(t-l)

Ekvacio 6 ie r estas plifortigo kaj P estas plifortiga antaŭdiro. P (t) estas kutime multobligita per rabata faktoro γ kun 0 ≤ γ <1 por kalkuli la malpliigan influon de pli kaj pli malproksimaj kompensoj. Pro kialoj de simpleco, γ estas agordita al 1 ĉi tie. Se unu stimulo antaŭdiras unu plifortigilon, la antaŭdiro P(t - 1) ekzistas antaŭ la tempo t de plifortigo sed finiĝas en la momento de plifortigo [P (t) = 0]. Ĉi tio tiutempe efikas (T) de plifortigo

rˆ (t)=r(t)-P(t-l)

Ekvacio 6ala r̂(t) termino indikas la diferencon inter reala kaj antaŭdirita plifortigo. Dum lernado, plifortigo estas nekomplete antaŭdirita, la erara termino estas pozitiva kiam plifortigo okazas, kaj sinaptaj pezoj estas pliigitaj. Post lernado, plifortigo plene antaŭdiras antaŭan stimulon [P(t - 1) = r(t)], la eraro-termino estas nula sur ĝusta konduto, kaj sinaptaj pezoj restas senŝanĝaj. Kiam oni preterlasas plifortigon pro neadekvata agado aŭ ŝanĝitaj kontingentoj, la eraro estas negativa kaj sinaptaj pezoj reduktas. La r̂(t) termino estas analoga al la (λ-V) erara termino de la modelo Rescorla-Wagner (Eq. 4 ). Tamen temas pri unuopaj tempaj paŝoj (t) ene de ĉiu proceso prefere ol antaŭdiroj evoluantaj super sinsekvaj provoj. Ĉi tiuj tempaj modeloj de plifortigo kapitaligas pri tio, ke la akiritaj antaŭdiroj inkluzivas la ĝustan tempon de plifortigo (Dickinson et al. 1976; Gallistel 1990; Smith 1968).

La tempaj diferencoj (TD) algoritmoj ankaŭ uzas akiritajn antaŭdirojn por ŝanĝi sinaptikajn pezojn. Kaze de neantaŭvidita, ununura kondiĉita stimulo antaŭdiranta ununuran plifortigilon, la antaŭdiron P (t) komenciĝas ĝustatempe (t), ne ekzistas antaŭdiro [P(t - 1) = 0], kaj plifortigo ankoraŭ ne okazis [r(t) = 0]. Laŭ Eq. 6, la modelo elsendas tiutempe simple prognozan efikan plifortigon (t) de la antaŭdiro

rˆ=P(t)

Ekvacio 6bKaze de multoblaj, sinsekvaj prognozaj stimuloj, denove kun plifortigo forestanta ĉe la antaŭdiroj, la efika plifortiga signalo tiutempe (T) de la prognozo reflektas la diferencon inter la nuna antaŭdiro P (t) kaj la antaŭanta antaŭdiro P(t - 1)

rˆ=P(t)-P(t-l)

Ekvacio 6cĈi tio konsistigas eraran terminon de plifortiga ordo. Simile al plene antaŭdiritaj plifortigiloj, ĉiuj prognozaj stimuloj, kiuj estas plene antaŭdiritaj mem, estas nuligitaj [P(t - 1) = P(t)], rezultante en r̂ = 0 iafoje (T) de ĉi tiuj stimuloj. Nur la plej frua prognoza stimulo kontribuas al la efika plifortiga signalo, kiel ĉi tiu stimulo P (t) ne antaŭdiris per alia stimulo [P(t - 1) = 0]. Ĉi tio rezultas same r̂ = P (t) tiam (T) de la unua antaŭdiro kiel en la kazo de sola antaŭdiroEq. 6b).

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 9. 

Bazaj arkitekturoj de neŭraj retaj modeloj efektivigantaj tempodiferencajn algoritmojn kompare kun bazaj ganglioj. A: en la originala efektivigo la efika instrua signalo y - ȳ estas komputata en modelo neŭro A kaj sendita al presinaptaj fina stacioj x al neŭronoj B, tiel influante x → B pretigo kaj ŝanĝo de sinaptaj pezoj ĉe la x → B sinapso Neŭrono B influas kondutan eliron per axono y kaj samtempe kontribuas al la adapteblaj ecoj de neŭronoj A, nome ĝia respondo al plifortigantaj antaŭvidaj stimuloj. Pli lastatempaj efektivigoj de ĉi tiu simpla arkitekturo uzas neŭronon A prefere ol neŭrono B por elsendi rezulton O de la modelo (Montague et al. 1996; Schultz et al. 1997). Reproduktita de Sutton kaj Barto (1981) kun permeso de Usona Psikologia Asocio. B: lastatempa efektivigo disigas la instruan komponenton A, vokis la kritikisto (ĝuste), de elira komponento konsistanta el pluraj pretigaj unuoj B, kriis la aktoro (maldekstre). La efika plifortiga signalo r̂(t) kalkuliĝas subtrahante la tempodiferencon en pezita plifortikiga antaŭdiro γP(t) - P(t - 1) de primara plifortikigo r(t) ricevita de la medio (γ estas la rabatfakto reduktanta la valoron de pli malproksimaj plifortigiloj). Plifortiga antaŭdiro estas kalkulata en aparta prognozila unuo C, kiu estas parto de la kritiko kaj formas fermitan buklon kun la instrua elemento A, dum primara plifortikigo eniras la kritikon per aparta enigaĵo r_t. Efika plifortiga signalo influas sinaptikajn pezojn ĉe envenantaj akonoj en la aktoro, kiu mediacias la rezulton kaj en la adapta antaŭdiro-unuo de la kritikisto. Reproduktita de Barto (1995) kun permeso de MIT Press. C: baza konektebleco de la bazaj ganglioj malkaŝas frapajn similecojn kun la aktoro-kritika arkitekturo. Dopamina projekcio elsendas la plifortigan signalon al la striato kaj estas komparebla kun la unuo A partoj A kaj B, la limia striato (aŭ striosome-diakilo) prenas la pozicion de la antaŭdira unuo C en la kritiko, kaj la sensimotora striatumo (aŭ matrico) similas al la aktoraj unuoj B. En la originala modelo (A), la ununura grava devio de establitaj bazaj ganglioj-anatomio konsistas en la influo de neŭronoj A esti direktita al presinaptaj finaĵoj, dum dopaminaj sinapsoj situas sur postsinaptaj dendritoj de striaj neŭronoj (Freund et al. 1984). Reproduktita de Smith kaj Bolam (1990) kun permeso de Elsevier Press.

Prenita kune, la efika plifortiga signalo (Eq. 6 ) estas kunmetita de la primara plifortigo, kiu malpliiĝas kun aperantaj prognozoj (Eq. 6a) kaj estas anstataŭigita iom post iom per la akiritaj antaŭdiroj (Eqs. 6b kaj 6c). Kun sinsekvaj prognozaj stimuloj, la efika plifortiga signalo moviĝas malantaŭen en la tempo de la primara plifortikigilo al la plej frua plifortiganta antaŭdira stimulo. La retrograda translokigo rezultigas pli specifan asignadon de kredito al la koncernaj sinapsoj, ĉar antaŭdiroj pli proksimas en la tempo al la stimuloj kaj kondutaj reagoj kondiĉigitaj, kompare kun plifortikigo ĉe provoprezo (Sutton kaj Barto 1981).

Efektivigaj algoritmoj de plifortigado uzas la prognozan eraron en du manieroj, por ŝanĝi sinaptikajn pezojn por kondutisma eligo kaj por akiri la prognozojn mem por konstante kalkuli la prognozan eraron (Fig. 9 A) (McLaren 1989; Sutton kaj Barto 1981). Ĉi tiuj du funkcioj estas apartaj en lastatempaj efektivigoj, en kiuj la prognoza eraro estas kalkulita en la adapta kritika komponento kaj ŝanĝas la sinaptikajn pezojn en la aktora kompanio mediata konduta eligo (Fig. 9 B) (Barto 1995). Pozitiva eraro pliigas la antaŭdiron de plifortikigo de la kritiko, dum negativa eraro de preterlasita plifortigo reduktas la antaŭdiron. Ĉi tio faras la efikan plifortigan signalon tre adapta.

Neurobiologiaj efektivigoj de lernotempaj diferencoj

APLIKOJ POR NEUROBIOLOGIAJ PROBLEMoj.

Kvankam origine disvolvitaj surbaze de la modelo Rescorla-Wagner de klasika kondiĉado, modeloj uzantaj TD-algoritmojn lernas ampleksan varion de kondutaj taskoj per esence instrumentaj formoj de kondiĉado. Ĉi tiuj taskoj atingas balanci stangon sur veturilon (Barto et al. 1983) al ludado de monda klasa backgammon (Tesauro 1994). Robotoj uzantaj TD-algoritmojn lernas movi ĉirkaŭ du dimensia spaco kaj eviti obstaklojn, atingi kaj ekpreni (Fagg 1993) aŭ enmetu pegon en truon (Gullapalli et al. 1994). Uzi la TD-plifortigan signalon por rekte influi kaj elekti konduton (Fig. 9 A), TD-modeloj replikas furaĝan konduton de mielobeloj (Montague et al. 1995) kaj simuli homan decidon (Montague et al. 1996). Modeloj de TD kun eksplicita kritika aktoro-ar architectureitekturo konsistigas tre potencajn modelojn, kiuj efike lernas okulmovojn (Friston et al. 1994; Montague et al. 1993), sinsekvaj movadoj (Fig. 10), kaj orienti reagojn (Contreras-Vidal kaj Schultz 1996). Lastatempa modelo aldonis aktivigan-deprimi novajn signalojn por plibonigo de la instrua signalo, uzis spurojn de stimulo kaj agado en la kritikisto kaj aktoro, kaj dungis gajnant-prenajn ĉiujn regulojn por plibonigo de la instrua signalo kaj por elekto de aktoro-neŭronoj kun la plej granda aktivado. Ĉi tio reproduktis tre detale ambaŭ la respondojn de dopaminaj neŭronoj kaj la lernan konduton de bestoj en malfruaj respondaj taskoj (Suri kaj Schultz 1996). Estas aparte interese vidi, ke instruaj signaloj uzantaj prognozajn erarojn rezultigas lernadon pli rapidan kaj pli kompletan kompare kun senkondiĉaj plifortigaj signaloj (Fig. 10) (Friston et al. 1994).

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 10. 

Avantaĝo de prognozaj plifortigaj signaloj por lernado. Tempo-diferenca modelo kun kritika-aktora arkitekturo kaj elektebla spuro en la aktoro estis trejnita en sinsekva 2-paŝo-3-elekta tasko (ena maldekstra supra). Lernado progresis pli rapide kaj atingis pli altan rendimenton kiam antaŭdira plifortiga signalo estis uzata kiel instrua signalo (adapta kritiko, supro) kompare kun uzado de senkondiĉa plifortiga signalo ĉe prova fino (fundo). Ĉi tiu efiko fariĝas iom post iom pli prononcita kun pli longaj sinsekvoj. Komparebla agado kun la senkondiĉa plifortiga signalo postulus multe pli longan elekteblan spuron. Datenoj estis akiritaj de 10-simuladoj (R. Suri kaj W. Schultz, nepublikigitaj rimarkoj). Simila plibonigo de lernado per prognoziga plifortigo estis trovita en modelo de oculomotora konduto (Friston et al. 1994).

Eblaj mekanismoj de lernado per la dopamina signalo

La antaŭa sekcio montris, ke la formala prognoza erara signalo elsendita de la dopamina respondo povas konsistigi precipe taŭgan instruan signalon por lernado de modeloj. La sekvaj sekcioj priskribas kiel la biologia dopamina respondo povus esti uzita por lernado de bazaj ganglioj-strukturoj kaj sugestas testeblajn hipotezojn.

POSTSINAPTIKA PLASTIKIDO MEDIATA DE SENVALA REPRODUKTA SIGNO.

Lernado daŭrus per du paŝoj. La unua paŝo implikas akiron de dopamina rekompenca respondo. En postaj provoj, la antaŭdira dopamina signalo specife plifortigus la sinaptikajn pezojn (ω) de kortikostriataj sinapsoj de Hebbian, kiuj estas aktivaj en la momento de la antaŭdiro de rekompenco, dum la neaktivaj kortikostriaj sinapsoj restas senŝanĝaj. Tio rezultigas la regulon pri tri faktoroj

Δω=ɛ rˆ i o

Ekvacio 8 ie r̂ estas dopamina plifortiga signalo, i estas eniga agado, o estas produkta agado, kaj ɛ estas lernokosto.

En simpligita modelo, kvar kortikaj enigoj (i1-i4) kontaktas la dendritajn spinojn de tri mezgrandaj spineaj striaj neŭronoj (o1-o3; Fig. 11). Kortikaj enigoj konverĝas al striaj neŭronoj, ĉiu eniro kontakta malsaman spinon. La samaj dornoj estas nekontaktigeblaj per komuna dopamina enigaĵo R. La aktivigo de dopamina enigaĵo R indikas, ke neantaŭvidita rekompenco-antaŭvidanta stimulo okazis en la medio, sen liveri pliajn detalojn (boneco-signalo). Ni supozu, ke kortikala enigaĵo i2 estas aktivigita samtempe kun dopaminaj neŭronoj kaj kodas unu el pluraj specifaj parametroj de la sama rekompenca antaŭdiro-stimulo, kiel ĝia sensa modaleco, korpa flanko, koloro, teksturo kaj pozicio, aŭ specifa parametro de movado. deĉenigita de la stimulo. Aro de parametroj de ĉi tiu evento estus kodita de aro de kortikaj enigoj i2. Tranĉaj enigoj i1, i3, kaj i4 sen rilato al aktualaj stimuloj kaj movadoj estas neaktivaj. La dopamina respondo kondukas al neselekta dopamina liberigo ĉe ĉiuj varicoj sed selektive fortigus nur la aktivajn kortikostriajn sinapsojn i2 – o1 kaj i2 – o2, kondiĉe ke la kortikaj enigoj estas sufiĉe fortaj por aktivigi striatajn neŭronojn o1 kaj o2.

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 11. 

Malsamaj influoj de monda dopamina plifortiga signalo sur selektema kortikostriatala agado. Dendritaj spinoj de 3 mezgrandaj spinejaj neŭronaj neŭronoj o1, o2 kaj o3 estas kontaktitaj de kortikalaj enigaĵoj de 4 i1, i2, i3, kaj i4 kaj per aksonaj varicosoj de ununura dopamina neŭronomo R (aŭ neaktive el populacio). ). Ĉiu stria neurono ricevas ∼10,000-kortikajn kaj 1,000-dopaminajn enigaĵojn. Ĉe unuopaj dornecaj dornoj, malsamaj kortikaj enigoj konverĝas kun la dopamina enigo. En 1-versio de la modelo, la dopamina signalo plibonigas samtempe aktivan kortikostriatan transdonon rilate al nonactiva transdono. Ekzemple, dopamina enigo R estas aktiva samtempe kun kortika enigo i2, dum i1, i3, i4 estas neaktivaj. Ĉi tio kondukas al modifo de i2 → o1 kaj i2 → o2-transdono sed lasas i1 → o1, i3 → o2, i3 → o3, kaj i4 → o3-transdonoj senŝanĝe. En versio de la modelo uzanta plaston, sinaptaj pezoj de kortikostriataj sinapsoj estas longtempe modifitaj de la dopamina signalo laŭ la sama regulo. Ĉi tio povas okazi kiam dopaminaj respondoj al kondiĉita stimulo agas sur kortikostriataj sinapsoj, kiuj ankaŭ estas aktivigitaj de ĉi tiu stimulo. En alia versio, kiu uzas plastikecon, dopaminaj respondoj al primara rekompenco povas agi malantaŭen en la tempo sur kortikostriaj sinapsoj, kiuj antaŭe estis aktivaj. Ĉi tiuj sinapsoj estus elekteblaj por modifo per hipoteza postsinaptika neŭrona spuro forlasita de tiu agado. Komparante la strukturon de bazaj ganglioj kun la freŝa TD-modelo de Fig. 9 B, dopamina enigaĵo R replikas la kritikon kun neŭrono A, la striato kun neŭronoj o1 – o3 replikas la aktoron kun neŭrono B, kortikaj enigaĵoj i1-i4 replikas la aktoran enigon, kaj la diverĝa projekcio de dopaminaj neŭronoj R sur multnombraj spinoj de multoblaj striaj neŭronoj o1-o3 replikas la tutmondan influon de la kritikisto sur la aktoro. Simila komparo estis farita de Houk et al. (1995). Ĉi tiu desegnaĵo baziĝas sur anatomiaj datumoj de Freund et al. (1984), Smith kaj Bolam (1990), Flaherty kaj Graybiel (1993)Kaj Smith et al. (1994).

Ĉi tiu lernadmekanismo uzas la akiritan dopaminan respondon en la momento de la rekompenco-antaŭdiro stimulo kiel instrua signalo por indukti daŭrajn sinaptikajn ŝanĝojn (Fig. 12 A). Lernado de la prognoza stimulo aŭ deĉenigita movado baziĝas sur la pruvita akiro de dopamina respondo al la rekompenca antaŭdiro-stimulo, kune kun dopamina-dependa plasteco en la striatumo. Plastikecaj ŝanĝoj alternative povus okazi en kortikaj aŭ subkortikaj strukturoj sube de striato post dopamina-mediata mallongdaŭra plibonigo de sinaptika transdono en la striatumo. La retroaktaj efikoj de rekompenco sur stimuloj kaj movadoj antaŭantaj la rekompencon estas mediaciitaj per la responda translokado al la plej frua rekompenca stimulo. La dopamina respondo al antaŭdirita aŭ preterlasita primara rekompenco ne estas uzata por plastika ŝanĝo en la striatum, ĉar ĝi ne okazas samtempe kun la eventoj por esti kondiĉita, kvankam ĝi povus esti implikita en komputado de la dopamina respondo al la antaŭdiro de rekompenco analogie al la arkitekturo kaj mekanismo de TD-modeloj.

• Elŝuti figuron
• Malfermu en nova langeto
• Elŝutu Powerpoint

Fig. 12. 

Influoj de dopamina plifortiga signalo pri eblaj lernaj mekanismoj en la striato. A: antaŭdira dopamina rekompenco al kondiĉita stimulo (CS) havas rektan plibonigan aŭ plastan efikon sur striatala neurotransmisio rilata al tiu stimulo. B: dopamina respondo al primara rekompenco havas retrogradan plastican efikon al stria neurotransmisio rilata al la antaŭkondiĉa stimulo. Ĉi tiu mekanismo estas mediaciita per elektebla spuro preterpasanta strian agadon. Solidaj sagoj indikas rektajn efikojn de dopamina signalo sur striita neurotransmisio (A) aŭ la spuro de elektebleco (B), malgranda sago en B indikas nerektan efikon al stria neurotransmisio per la elektebla spuro.

Elektra stimulo de dopaminaj neŭronoj kiel senkondiĉa stimulo

Elektra stimulo de cirkumitaj cerbaj regionoj fidinde servas kiel plifortigo por akiri kaj daŭrigi alproksimiĝan konduton (Olds kaj Milner 1954). Iuj tre efikaj retejoj de mem-stimulo koincidas kun dopaminaj ĉelaj korpoj kaj aksonaj pakaĵoj en la meza cerbo (Corbett kaj Saĝa 1980), kerno accumbens (Phillips et al. 1975), striatum (Phillips et al. 1976), kaj prefrontal kortekso (Mora kaj Myers 1977; Phillips et al. 1979), sed ankaŭ troviĝas en strukturoj senrilataj al dopaminaj sistemoj (White kaj Milner 1992). Elektra memstimulado implikas aktivigon de dopaminaj neŭronoj (Fibro kaj Phillips 1986; Wise kaj Rompré 1989) kaj estas reduktita de 6-hidroksidopamina-induktitaj lezoj de dopaminaj axonoj (Fibiger et al. 1987; Phillips kaj Fibiger 1978), inhibicio de dopamina sintezo (Edmonds kaj Gallistel 1977), depolariza inaktivigo de dopaminaj neŭronoj (Rompré kaj Wise 1989), kaj antagonistoj de la dopamina ricevilo administritaj sisteme (Furiezos kaj Saĝa 1976) aŭ en nukleon accumbens (Mogenson et al. 1979). Memstimulado estas faciligita per kokainaj aŭ anfetamin-induktitaj kreskoj de eksterĉela dopamino (Colle and Wise 1980; Stein 1964; Wauquier 1976). Memstimulado rekte pliigas dopaminan uzadon en kerno accumbens, striatum kaj frontala kortekso (Fibiger et al. 1987; Mora kaj Myers 1977).

Estas mirige imagi, ke elektre elvokitaj dopaminaj impulsoj kaj liberigo povas servi kiel senkondiĉa stimulo en asocia lernado, simila al stimulado de oktopaminaj neŭronoj en mieloj, lernantaj la proboscisan reflekson (Martelo 1993). Tamen, dopamina-rilata mem-stimulo malsamas en almenaŭ tri gravaj aspektoj de la natura aktivado de dopaminaj neŭronoj. Prefere ol nur aktivigi dopaminajn neŭronojn, naturaj rekompencoj kutime aktivigas plurajn neuronajn sistemojn paralele kaj permesas la distribuitan kodadon de diversaj rekompencaj komponentoj (vidu plian tekston). Due, elektra stimulo aplikiĝas kiel senkondiĉa plifortigo sen reflekti eraron en rekompenca antaŭdiro. Trie, elektra stimulo estas liverita nur kiel rekompenco post kondutisma reago, anstataŭ en la momento de rekompenca antaŭdiro de stimulo. Estus interese apliki elektran memstimuladon ekzakte same, kiel dopaminaj neŭronoj elsendas sian signalon.

Lernaj mankoj kun malplibonigita dopamina neŭrotransmisio

Multaj studoj esploris la konduton de bestoj kun difektita dopamina neŭrotransmisio post loka aŭ sistema apliko de antagonistoj de dopamina ricevilo aŭ detruo de dopaminaj axonoj en ventra mezkerno, kerno akcentaj aŭ striatumaj. Krom observado de lokomotoraj kaj kognaj deficitoj rememorigantaj pri Parkinsonismo, ĉi tiuj studoj malkaŝis mankojn en prilaborado de rekompencaj informoj. La plej fruaj studoj argumentis deficitojn en la subjektiva, hedonika percepto de rekompencoj (Saĝa 1982; Wise et al. 1978). Plia eksperimentado rivelis neplibonan uzadon de primaraj rekompencoj kaj kondiĉigitajn apetitajn stimulojn por alproksimiĝo kaj konsumata konduto (Beninger et al. 1987; Ettenberg 1989; Miller et al. 1990; Salamone 1987; Ungerstedt 1971; Wise kaj Colle 1984; Saĝa kaj Rompre 1989). Multaj studoj priskribis mankojn en instigaj kaj atentaj procezoj sub la apetenta lernado (Beninger 1983, 1989; Beninger kaj Hahn 1983; Fibro kaj Phillips 1986; LeMoal kaj Simon 1991; Robbins kaj Everitt 1992, 1996; White kaj Milner 1992; Saĝa 1982). Plej multaj lernadaj deficitoj estas asociitaj kun malplibonigita dopamina neŭrotransmisio en kerno accumbens, dum dorsal-striatum-mankoj kondukas al sensimotoraj deficitoj (Amalric kaj Koob 1987; Robbins kaj Everitt 1992; Blanka 1989). Tamen la lernado de instrumentaj taskoj ĝenerale kaj precipe pri diskriminaciaj stimulaj ecoj ŝajnas esti ofte ŝparita, kaj ĝi ne estas tute solvita, ĉu iuj el la ŝajnaj lernaj deficitoj povas esti konfuzitaj de deficitaj motoroj de agado (Salamone 1992).

Degenero de dopaminaj neŭronoj en Parkinson-malsano ankaŭ kondukas al kelkaj deklaraj kaj procedaj lernaj deficitoj, inkluzive de asocia lernado (Linden et al. 1990; Sprengelmeyer et al. 1995). Difektoj ĉeestas en provado-kaj-erara lernado per tuja plifortigo (Vriezen kaj Moscovitch 1990) kaj kiam asocii eksplicitajn stimulojn kun malsamaj rezultoj (Knowlton et al. 1996), eĉ en fruaj stadioj de Parkinson-malsano sen kortikala atrofio (Canavan et al. 1989). Parkinsonianaj pacientoj ankaŭ montras malpliigitan tempopercepton (Pastro kaj aliaj. 1992). Ĉiuj ĉi tiuj deficitoj okazas en la ĉeesto de L-Dopa-traktado, kiu restarigas tonikajn striatajn dopaminajn nivelojn sen reinstali fazajn dopaminajn signalojn.

Ĉi tiuj studoj sugestas, ke dopamina neurotransmisio ludas gravan rolon en la prilaborado de rekompencoj por alproksimiĝa konduto kaj en formoj de lernado implikantaj asociojn inter stimuloj kaj rekompencoj, dum implikiĝo en pli instrumentaj formoj de lernado povus esti pridubita. Ne klaras, ĉu ĉi tiuj deficitoj reflektas pli ĝeneralan kondutan inaktivigon pro tonikigita reduktita ricevilo-stimulo anstataŭ la foresto de fazo de dopamina rekompenco. Por solvi ĉi tiun demandon, kaj pli specife elparoli la rolon de dopamino en diversaj lernoformoj, estus helpinde studi lernadon en tiuj situacioj, en kiuj efektive okazas la fazoza dopamina respondo al apetitaj stimuloj.

Formoj de lernado eble mediaciitaj per la dopamina signalo

La karakterizaĵoj de dopaminaj respondoj kaj la ebla influo de dopamino sur striaj neŭronoj povas helpi delimigi iujn el la lernoformoj, pri kiuj dopaminaj neŭronoj povus esti implikitaj. La preferindaj respondoj al apetito kontraste al avversaj eventoj favorus implikiĝon en lernado de alproksimiĝa konduto kaj mediacii pozitivajn plifortigajn efikojn, anstataŭ retiriĝon kaj punon. La respondoj al primaraj rekompencoj ekster taskoj kaj lernaj kuntekstoj rajtigus dopaminajn neŭronojn ludi rolon en relative larĝa spektro de lernado implikanta primajn rekompencojn, ambaŭ en klasika kaj instrumenta kondiĉado. La respondoj al rekompenc-antaŭdiritaj stimuloj reflektas asociojn kun stimulo-rekompenco kaj kongruus kun implikiĝo en rekompenca atendo sub ĝenerala stimula lernado (Bindra 1968). Kontraŭe, dopaminaj respondoj ne eksplicite kodigas rekompencojn kiel celobjektoj, ĉar ili nur raportas erarojn en rekompenca antaŭdiro. Ili ankaŭ ŝajnas esti sensencaj al instigaj ŝtatoj, tiel malaprobante specifan rolon en ŝtat-dependa instiga lernado de cel-direktitaj aktoj (Dickinson kaj Balleine 1994). La manko de klaraj rilatoj al brako kaj okulaj movadoj malhelpus rolon en rekte mediacii la kondutajn respondojn, kiuj sekvas stimulajn stimulojn. Tamen komparoj inter malŝarĝoj de unuopaj neŭronoj kaj lernado de tutaj organismoj estas intrime malfacilaj. Je la sinaptika nivelo, fazigita liberigita dopamino atingas multajn dendritojn sur probable ĉiu stria neurono kaj tiel povus praktiki plastikan efikon sur la granda vario de kondutaj komponentoj implikantaj la striatumon, kiu eble inkluzivas lernadon de movadoj.

La specifaj kondiĉoj, en kiuj fazaj dopaminaj signaloj povus ludi rolon en lernado, estas determinitaj de la specoj de stimuloj, kiuj efike indikas dopaminan respondon. En la besto-laboratorio, dopaminaj respondoj postulas la fazan aperon, novajn, aŭ precipe elstarajn stimulojn, inkluzive de primaraj nutraĵoj kaj antaŭdiroj de rekompenco, dum aversivaj stimuloj ne ludas grandan rolon. Dopaminaj respondoj povas okazi en ĉiuj kondutaj situacioj kontrolataj de fazaj kaj eksplicitaj rezultoj, kvankam ankoraŭ pli provitaj stimuloj kaj sekundaraj plifortigiloj ankoraŭ ne estis provitaj. Faŝaj dopaminaj respondoj probable ne ludus rolon en formoj de lernado ne mediaciitaj de fazaj rezultaj rezultoj, kaj la prognoza respondo ne povos kontribui al lernado en situacioj en kiuj fazaj prognozaj stimuloj ne okazas, kiel ekzemple relative malrapidaj ŝanĝoj de kunteksto. . Ĉi tio kondukas al interesa demando pri tio, ĉu la ŝparigo de iuj formoj de lernado per lezoj de dopamino aŭ neŭroleptiko eble simple reflektas la foreston de fazaj dopaminaj respondoj en la unua loko ĉar la efikaj stimuloj provokantaj ilin ne estis uzataj.

La implikiĝo de dopaminaj signaloj en lernado eble ilustras per teoria ekzemplo. Imagu dopaminajn respondojn dum akiro de seria reaga tempa tasko, kiam ĝusta reago subite kondukas al nutra rekompenco. La rekompenco de rekompenco poste estas transdonita al iom post iom pli fruaj rekompenc-antaŭvidantaj stimuloj. Reagotempoj pliboniĝas plu kun plilongigita praktiko, ĉar la spacaj pozicioj de celoj fariĝas ĉiam pli antaŭvideblaj. Kvankam dopaminaj neŭronoj daŭre respondas al la rekompenc-antaŭdiritaj stimuloj, la plia kondutisma plibonigo eble plejparte estas pro akiro de prognoza prilaborado de spacaj pozicioj de aliaj neuronaj sistemoj. Tiel dopaminaj respondoj okazus dum la komenca, instiga parto de lernado, en kiu subjektoj venas alproksimigi objektojn kaj akiri eksplicitajn primarajn, kaj eble kondiĉitajn rekompencojn. Ili estus malpli implikitaj en situacioj en kiuj la progreso de lernado iras preter la indukto de proksimuma konduto. Ĉi tio ne restriktus la dopaminan rolon al komencaj lernaj paŝoj, ĉar multaj situacioj postulas komence lerni el ekzemploj kaj nur poste impliki lernadon per eksplicitaj rezultoj.

Antaŭdira eraro

La antaŭdira erara signalo de dopaminaj neŭronoj estus bonega indikilo de la apetita valoro de mediaj eventoj relative al antaŭdiro sed malsukcesas diskriminacii inter nutraĵoj, likvaĵoj kaj rekompenc-antaŭdiroj stimuloj kaj inter vidaj, aŭdaj, kaj somatosensoraj kategorioj. Ĉi tiu signalo povas konsistigi rekompencan mesaĝon per kiu postsinaptaj neŭronoj estas informitaj pri la mirinda aspekto aŭ preterlaso de rekompenca aŭ eble rekompenca evento sen indiki plu ĝian identecon. Ĝi havas ĉiujn formalajn trajtojn de potenca plifortiga signalo por lernado. Tamen, informo pri la specifa naturo de rekompencoj estas kerna por determini, kiu el la celoj devas esti alirita kaj laŭ kiu maniero. Ekzemple, malsata besto devas ĉefe alproksimiĝi al manĝaĵo sed ne likva. Por diskriminacii nerefereblajn rekompencojn, la dopamina signalo bezonas esti aldonita per pliaj informoj. Lastatempaj dumvivaj dializaj eksperimentoj montris pli altan manĝaĵon induktitan de dopamina malsatulo ol malsataj ol en satigitaj ratoj (Wilson kaj aliaj. 1995). Ĉi tiu veturada dependeco de dopamina liberigo eble ne implikas impulsajn respondojn, ĉar ni malsukcesis trovi klaran stiradan dependecon kun dopaminaj respondoj komparante inter fruaj kaj malfruaj periodoj de individuaj eksperimentaj kunsidoj dum kiuj bestoj saturiĝis (JL Contreras-Vidal kaj W. Schultz, nepublikigitaj datumoj).

Rekompencaj specifaĵoj

Informoj pri likvaj kaj manĝaj rekompencoj ankaŭ estas prilaboritaj en cerbaj strukturoj aliaj dopaminaj neŭronoj, kiel dorsal kaj ventra striato, kerno subtalamika, amigdala, dorsolatera prefrontal-kortekso, orbitofrontala kortekso kaj antaŭa cingula kortekso. Tamen, ĉi tiuj strukturoj ne ŝajnas elsendi eraron de monda rekompenco-antaŭdiro de similaj al dopaminaj neŭronoj. En primatoj, ĉi tiuj strukturoj procesas rekompencojn kiel 1) transiraj respondoj post la liverado de rekompenco (Apicella et al. 1991a,b, 1997; Bowman et al. 1996; Hikosaka et al. 1989; Niki kaj Watanabe 1979; Nishijo et al. 1988; Tremblay kaj Schultz 1995; Watanabe 1989), 2) transiraj respondoj al rekompencaj prognozoj (Aosaki et al. 1994; Apicella et al. 1991b; 1996; Hollerman et al. 1994; Nishijo et al. 1988; Thorpe et al. 1983; Tremblay kaj Schultz 1995; Williams et al. 1993), 3) daŭraj aktivadoj dum la atendo de tuj venontaj rekompencoj (Apicella et al. 1992; Hikosaka et al. 1989; Matsumura et al. 1992; Schultz et al. 1992; Tremblay kaj Schultz 1995), Kaj 4) moduladoj de kondut-rilataj aktivadoj per antaŭdirita rekompenco (Hollerman et al. 1994; Watanabe 1990, 1996). Multaj el ĉi tiuj neŭronoj diferencas bone inter malsamaj manĝaj rekompencoj kaj inter malsamaj likvaj rekompencoj. Tiel ili procesas la specifan naturon de la rekompenca evento kaj povas servi la percepton de rekompencoj. Iuj el la rekompencaj respondoj dependas de la impredecibleco de rekompenco kaj estas malpliigitaj aŭ forestas kiam la rekompenco estas antaŭdirita de kondiĉita stimulo (Apicella et al. 1997; Matsumoto et al. 1995; L. Tremblay kaj W. Schultz, nepublikigitaj datumoj). Ili eble prilaboras prognozojn por specifaj rekompencoj, kvankam ne klaras, ĉu ili signalas prognozajn erarojn ĉar iliaj respondoj al preterlasitaj rekompencoj estas nekonataj.

Subteni establitan agadon

Tri neŭronaj mekanismoj ŝajnas esti gravaj por konservi establitan kondutan agadon, nome la detekto de preterlasitaj rekompencoj, la detekto de rekompencaj antaŭvidaj stimuloj kaj la detekto de antaŭviditaj rekompencoj. Dopamaj neŭronoj deprimiĝas kiam antaŭviditaj rekompencoj estas preterlasitaj. Ĉi tiu signalo povus redukti la sinaptikan efikecon rilatan al eraraj kondutaj respondoj kaj malhelpi ilian ripetadon. La dopamina respondo al rekompencaj antaŭvidaj stimuloj estas konservita dum establita konduto kaj tiel daŭre funkcias kiel anticipa informo. Kvankam plene antaŭdiritaj rekompencoj ne estas detaminitaj per dopaminaj neŭronoj, ili estas prilaboritaj de la nekontaminaj kortikaj kaj subkortikaj sistemoj menciitaj supre. Ĉi tio gravas por eviti estingon de lernitaj kondutoj.

Prenita kune, ŝajnas ke la prilaborado de specifaj rekompencoj por lernado kaj konservado de alproksimiĝa konduto profitos forte de kunlaboro inter dopaminaj neŭronoj signalantaj la neviditan okazon aŭ preterlason de rekompenco kaj neŭronoj en la aliaj strukturoj samtempe, indikante la specifan naturon de la rekompenco.

Noradrenalineaj neŭronoj

Preskaŭ la tuta populacio de noradrenalineaj neŭronoj en locus coeruleus en ratoj, katoj kaj simioj montras sufiĉe homogenajn, bifazajn aktivigant-deprimajn respondojn al vidaj, aŭdaj kaj somatosensoriaj stimuloj kaŭzantaj orientiĝajn reagojn (Aston-Jones kaj Bloom 1981; Foote et al. 1980; Rasmussen et al. 1986). Precipe efikaj estas maloftaj eventoj, al kiuj bestoj atentas, kiel vidaj stimuloj en iu nepara diskriminacioAston-Jones et al. 1994). Noradrenalineaj neŭronoj diskriminacias tre bone inter instigaj aŭ motivaj kaj neŭtralaj eventoj. Ili rapide akiras respondojn al novaj celaj stimuloj dum inversigo kaj perdas respondojn al antaŭaj celoj antaŭ ol kondutisma inversigo finiĝas (Aston-Jones et al. 1997). Respondoj liberigas likvaĵon ekster iu ajn tasko kaj transdonas al rekompenc-antaŭvidantaj celaj stimuloj ene de tasko same kiel al primaraj kaj kondiĉitaj aversaj stimuloj (Aston-Jones et al. 1994; Foote et al. 1980; Rasmussen kaj Jacobs 1986; Sara kaj Segal 1991). Respondoj ofte estas transiraj kaj ŝajnas reflekti ŝanĝojn en stimula okazo aŭ signifo. Aktivigoj povas okazi nur dum kelkaj provoj kun ripetaj prezentoj de manĝobjektoj (Vankov et al. 1995) aŭ kun kondiĉitaj aŭdaj stimuloj asociitaj kun likva rekompenco, aversa aera pufo aŭ elektra pieda ŝoko (Rasmussen kaj Jacobs 1986; Sara kaj Segal 1991). Dum kondiĉado, respondoj okazas al la unuaj malmultaj prezentoj de novaj stimuloj kaj reaperas trairante ĉiufoje kiam plifortigaj kontingentoj ŝanĝiĝas dum akiro, renversado kaj estingo (Sara kaj Segal 1991).

Kunigitaj, la respondoj de noradrenalineaj neŭronoj similas al la respondoj de dopaminaj neŭronoj en pluraj aspektoj, estante aktivigitaj per primaraj rekompencoj, rekompenco-antaŭvidaj stimuloj kaj novaj stimuloj kaj transdonante la respondon de primaraj ĝis kondiĉaj apetitaj eventoj. Tamen, noradrenalineaj neŭronoj diferencas de dopaminaj neŭronoj per respondo al multe pli granda vario de ekscitaj stimuloj, per bone respondado al primaraj kaj kondiĉitaj aversaj stimuloj, per diskriminacio bone kontraŭ neŭtralaj stimuloj, per rapide sekvado de kondutaj revertoj kaj montrante malpliiĝantajn respondojn per ripetita stimulo. prezento, kiu eble postulos 100-provojn por solidaj apetitivaj respondoj (Aston-Jones et al. 1994). Noradrenaline-respondoj estas forte rilataj al la vekantaj aŭ atentemaj ecoj de stimuloj kaŭzantaj orientiĝajn reagojn, kvankam multe malpli koncentritaj sur apetitaj stimulaj ecoj kiel la plej multaj dopaminaj neŭronoj. Verŝajne ili estas pelataj pli de atenta kaptado ol de instigaj eroj de apetitaj eventoj.

Neŭronoj de serotonino

Aktiveco en la malsamaj raphe-kernoj faciligas motoran eliron per agordo de muskola tono kaj stereotipa motora aktiveco (Jacobs kaj Fornal 1993). La dorsaj rapaj neŭronoj en katoj montras fazajn, neloĝantajn respondojn al vidaj kaj aŭdaj stimuloj sen aparta kondutisma signifo (Heym et al. 1982; LeMoal kaj Olds 1979). Ĉi tiuj respondoj similas al respondoj de dopaminaj neŭronoj al novaj kaj aparte elstaraj stimuloj. Pliaj komparoj postulus pli detalan eksperimentadon.

Nucleus basalis Meynert

Primaj bazaj antaŭbrainaj neŭronoj estas aktivigitaj iom post iom per vario de kondutaj eventoj inkluzive de kondiĉitaj, rekompencaj antaŭvidaj stimuloj kaj primaraj rekompencoj. Multaj aktivadoj dependas de memoro kaj asocioj kun plifortigo en diskriminacio kaj malfruaj respondaj taskoj. Aktivaĵoj reflektas la familiarecon de stimuloj (Wilson and Rolls 1990a), fariĝu pli grava kun stimuloj kaj movadoj okazantaj pli proksime al la tempo de rekompenco (Richardson kaj DeLong 1990), diferenci bone inter vidaj stimuloj surbaze de avidaj kaj avaraj asocioj (Wilson kaj Ruloj 1990b), kaj ŝanĝo ene de kelkaj provoj dum inversigo (Wilson kaj Rolls 1990c). Neŭronoj ankaŭ estas aktivigitaj per avversaj stimuloj, antaŭviditaj vidaj kaj aŭdaj stimuloj, kaj movadoj. Ili respondas ofte al plene antaŭdiritaj rekompencoj en bone establitaj kondutaj taskoj (Mitchell et al. 1987; Richardson kaj DeLong 1986, 1990), kvankam respondoj al antaŭviditaj rekompencoj estas pli abundaj en iuj studoj (Richardson kaj DeLong 1990) sed ne en aliaj (Wilson and Rolls 1990a-c). Kompare kun dopaminaj neŭronoj, ili estas aktivigitaj de multe pli granda spektro de stimuloj kaj eventoj, inkluzive de avversaj eventoj, kaj ne montras la sufiĉe homogenan respondon de populacio al nepagitaj rekompencoj kaj ĝia translokigo al rekompencaj antaŭvidaj stimuloj.

Cerebelaj grimpaj fibroj

Probable la unua erara instrua signalo en la cerbo estis postulata impliki la projekcion de grimpaj fibroj de la malsupera olivo al neŭronoj Purkinje en la cerebela kortekso (Marr 1969), kaj multaj cerebelaj lernadaj studoj baziĝas kun ĉi tiu koncepto (Houk et al. 1996; Ito 1989; Kawato kaj Gomi 1992; Llinoj kaj kimraj 1993). Grimpaj fibraj enigaĵoj al Purkinje-neŭronoj transigas sian aktivecon kiam ŝarĝoj por movadoj aŭ gajnoj inter movadoj kaj vida retrosciigo ŝanĝiĝas kaj simioj adaptiĝas al la nova situacio (Gilbert kaj Thach 1977; Ojakangas kaj Ebner 1992). Plej multaj el ĉi tiuj ŝanĝoj konsistas el pliigita aktiveco anstataŭ la aktivigo kontraŭ depresiaj respondoj viditaj kun eraroj en kontraŭaj direktoj en dopaminaj neŭronoj. Se grimpanta fibra aktivado servus kiel instrua signalo, konjunkta grimp-paralela fibra aktivado devas konduki al ŝanĝoj en paralela fibra enigo al neŭronoj de Purkinje. Ĉi tio efektive okazas kiel longtempa deprimo de paralela fibra enigo, ĉefe en in vitro-preparoj (Ito 1989). Tamen kompareblaj paralelaj fibraj ŝanĝoj pli malfacile troveblas en kondutaj lernadaj situacioj (Ojakangas kaj Ebner 1992), lasante la konsekvencojn de eblaj grimpantaj fibraj instruaj signaloj malfermitaj nuntempe.

Dua argumento por rolo grimpi fibrojn en lernado implikas aversan klasikan kondiĉadon. Funkcio de grimpantaj fibroj estas aktivigita per aversaj aerfluoj al la kornea. Ĉi tiuj respondoj perdiĝas post Pavloviana palpebranta uzado de aŭda stimulo (Sears kaj Steinmetz 1991), sugestante rilaton al la impredecibleco de primaraj avversaj eventoj. Post kondiĉado, neŭronoj en la cerebela interpositus-kerno respondas al la kondiĉita stimulo (Berthier kaj Moore 1990; McCormick kaj Thompson 1984). Lezoj de ĉi tiu kerno aŭ injektoj de la biciklina GABA-antagonisto en la malsupera olivo malhelpas la perdon de malsuperaj respondoj de oliva aero post kondiĉado, sugestante, ke monosinaptaj aŭ polisinaptaj inhibicioj de interposito al malsupera olivo subpremas respondojn post kondiĉado (Thompson kaj Gluck 1991). Ĉi tio povus permesi malsuperajn olivajn neŭronojn deprimi sin en la foresto de antaŭviditaj aversaj stimuloj kaj tiel raporti negativan eraron en la prognozo de aversaj eventoj similaj al dopaminaj neŭronoj.

Tiel grimpaj fibroj povas raporti erarojn en motora agado kaj eraroj en la prognozo de avversaj eventoj, kvankam tio eble ne ĉiam implikas bidirekciajn ŝanĝojn kiel kun dopaminaj neŭronoj. Grimpaj fibroj ne ŝajnas akiri respondojn al kondiĉitaj aversaj stimuloj, sed tiaj respondoj troviĝas en kerno interpositus. La kalkulado de aversaj prognozaj eraroj povas impliki descendan inhibician enigon al malsuperaj olonaj neŭronoj, analogie al striktaj projekcioj al dopaminaj neŭronoj. Tiel cerebelaj cirkvitoj procesas signalajn erarojn, kvankam malsame ol dopaminaj neŭronoj kaj TD-modeloj, kaj ili eble plenumos erarojn pri lernado de eraroj kiel la regulo de Rescorla-Wagner (Thompson kaj Gluck 1991) aŭ la formale ekvivalenta Widow-Hoff-regulo (Kawato kaj Gomi 1992).