Rekompenci-gvidita lernado preter dopamino en la kerno accumbens: la integraj funkcioj de cortico-bazaj ganglioj retoj (2008)

Eur J Neurosci. 2008 Oct;28(8):1437-48. doi: 10.1111/j.1460-9568.2008.06422.x.

Yin HH1, Ostlund SB, Balleine BW.

abstrakta

Ĉi tie ni defias la vidon, ke rekompenc-lernado estas regata nur de la mezoakombina vojo elvenanta de dopaminergiaj neŭronoj en la ventra tegmenta areo kaj projekcianta al la kerno acumbens. Ĉi tiu vaste akceptita vidpunkto supozas, ke rekompenco estas monolitika koncepto, sed lastatempa laboro sugestis alie. Nun ŝajnas, ke per rekompenco-lernado, la funkcioj de ventralaj kaj dorsaj strioj kaj la kortico-bazaj ganglioj-cirkvitoj asociitaj kun ili povas esti disigitaj. Dum la kerno accumbens estas necesa por la akiro kaj esprimo de certaj apetitivaj pavloviaj respondoj kaj kontribuas al la instiga kontrolo de instrumentaj agadoj, la dorsal striatum estas necesa por akiro kaj esprimo de instrumentaj agoj. Tiaj trovoj sugestas la ekziston de multnombraj sendependaj tamen interagantaj funkciaj sistemoj, kiuj estas efektivigitaj en iteraciaj kaj hierarkie organizitaj kortico-bazaj ganglioj-retoj okupiĝantaj pri apetitaj kondutoj, kiuj iras de pavloviaj aliroj respondoj al cel-direktitaj instrumentaj agoj kontrolitaj de agoj-rezultaj kontingentoj.

Ŝlosilvortoj: striato, dopamino, bazaj ganglioj, lernado, kerno accumbens, rekompenco

En la lastatempa literaturo fariĝis ofta monolita koncepto de 'rekompenco' aplikita uniforme al apetita konduto, ĉu por indiki ion ajn bonan por la organismo (kutime el la perspektivo de la eksperimentanto), aŭ uzatan interŝanĝe kun pli malnovaj terminoj kiel 'plifortigo' aŭ 'instigo.' Ĉi tiu stato de aferoj estas kuraĝigita per, se ne mem la sekvo de, la fokuso sur ununura neŭra substrato por 'rekompenco' implikanta liberigon de dopamino (DA) en la kerno accumbens (Berke kaj Hyman, 2000; Grace et al., 2007).

La ligo inter la mezoakombina vojo kaj rekompenco, rekonita antaŭ jardekoj, estis revivigita de pli lastatempaj evidentaĵoj, ke la fazo DA-signalo kodas rekompencan prognozan eraron, kiu supozeble servas kiel instrua signalo en asocia lernadog (Schultz et al., 1997). Laŭ la plej populara interpreto, same kiel ekzistas unu sola signalo por rekompenco, do ekzistas ununura signalo por rekompenco-lernado, kio ĉi-kaze signifas asocio inter stimulo kaj rekompenco (Montague et al., 2004). Tamen la demando pri kiel ĉi tiu speco de lernado regas adaptan konduton tamen estis neglektita; oni simple supozas, ke la dopamina signalo sufiĉas tiel por prognoza lernado, kaj la kondiĉaj respondoj estigitaj per ĝi, kaj por celoj-celitaj agoj gviditaj de ilia asocio kun rekompenco. Sekve, la fokuso de plej multaj esploroj en la kampo de rekompenco kaj toksomanio estas signalado de DA kaj rilata plastikeco en la mezaakombina vojo (Berridge kaj Robinson, 1998; Hyman et al., 2006; Grace et al., 2007).

Ĉi tiu vido de la rekompenca procezo, kiel pli kaj pli agnoskas (Kardinalo et al., 2002; Balleino, 2005; Everitt kaj Robbins, 2005; Hyman et al., 2006), estas netaŭga kaj misgvida. Ĝi estas neadekvata ĉar nek akiro nek agado de cel-direktitaj agoj estas klarigeblaj rilate al la asociaj procezoj, kiuj mediacias lern-rekompencan lernadon.. Ĝi misfunkcias, ankaŭ, ĉar la ekskluziva fokuso sur agado en la mezoakombina vojo, kiu estas nek necesa nek sufiĉa por cel-direktitaj agoj, deturnis la atenton de la pli fundamenta demando pri ĝuste kio celoj estas direktitaj kaj kiel ili estas efektivigitaj. per la cerbo. Efektive, laŭ konverĝaj evidentaĵoj el diversaj eksperimentaj aliroj, kio antaŭe ŝajnis esti ununura rekompenca mekanismo povas fakte enhavi multoblajn procezojn kun distingaj kondutaj efikoj kaj neŭraj substratoj (Corbit et al., 2001; Aŭ'Doherty et al., 2004; Yin et al., 2004; Delgado et al., 2005; Yin kaj aliaj, 2005b; Haruno kaj Kawato, 2006a; Tobler et al., 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler et al., 2007).

Ĉi tie ni provas elmontri iujn el la problemoj asociitaj kun la nuna mesoakombina modelo kaj proponi, anstataŭe, malsaman modelon de rekompenco-lernado. Ni argumentos, ke la striato estas tre heterogena strukturo, kiu povas esti dividita en almenaŭ kvar funkciajn domajnojn, ĉiu el kiuj funkcias kiel nabo en aparta funkcia reto kun aliaj kortikaj, talamaj, palalaj kaj mezaj cerbaj komponentoj.. La integraj funkcioj de ĉi tiuj retoj, kiuj iras de produktado de senkondiĉaj respondoj provokitaj per rekompenco ĝis kontrolo de cel-direktitaj agoj, povas esti disigitaj kaj studataj per nuntempaj kondutaj provoj.

Antaŭdiro kaj kontrolo

La mesoakombina vojo ofte supozas necesa por akiro de asocio inter rekompenco kaj mediaj stimuloj, kiuj antaŭdiras rekompencon. Ekzemple, en iuj el la eksperimentoj ekzamenantaj la fazan aktivecon de DA-ĉeloj eliritaj de rekompenco, simioj estis trejnitaj por asocii stimulon kun liverado de suko (Waelti et al., 2001) kaj poste respondas al la stimulo per kondiĉa respondo (CR) —anticipatora lekado. La lekado de simio povus celi, ĉar ĝi kredas, ke necesas akiri sukon. Alternative, lekado povas esti eligita per la antecedenta stimulo kun kiu suko estas asociita. Kiu el ĉi tiuj determinantoj de la lemado de simioj estas kontrolado de la konduto en iu aparta situacio estas nekonata apriora, kaj ne povas esti determinita per malprofunda observado; ĝi nur povas esti determinita uzante provojn desegnitajn specife por ĉi tiu celo. Ĉi tiuj provoj, kiuj post multaj jardekoj disvolviĝis, estas la kerno de la ĉefaj modernaj progresoj en la studado de lernado kaj konduto (tablo 1). El la uzo de ĉi tiuj provoj, kiujn ni diskutas ĉi-sube, ni nun scias, ke la sama kondutisma respondo - ĉu temas pri ambulatoria alproksimiĝo, orientado, aŭ premado de levilo - povas ekesti el multnombraj influoj eksperimente disigeblaj.

tablo 1  

Rekompenco-gvidita lernado

Senprudenteco al la centra ambigueco en la faktaj kondutaj determinantoj estas do la ĉefa problemo kun aktuala neŭscienca analizo de rekompenco-gvidita lernado. TO komprenante la gravecon de ĉi tiu problemo, necesas estimi la diferencojn inter kiel prognoza (aŭ pavloviana) lernado kaj celita (aŭ instrumenta) lernado regas apetitan konduton. Efektive, juĝante per kiom ofte ĉi tiuj du procezoj kunfandiĝis en la literaturo rekompence, mallonga recenzo pri ĉi tiu distingo ŝajnas esti utila elirpunkto por nia diskuto.

En aĉa Pavloviana kondiĉado, la rekompenco (t.e. la senkondiĉa stimulo aŭ Usono) estas kombinita kun stimulo (kondiĉa stimulo aŭ CS), sendepende de la konduto de la besto, dum en instrumenta lernado, la rekompenco dependas de la agoj de la bestoj. Tamen la maltrankviliga demando estas ĉu la asocio stimulo-rekompenco aŭ la asocio agado-rekompenco regas konduton.

Tiel simpla kiel ŝajnas, ĉi tiu demando evitis enketistojn dum multaj jardekoj plejparte ĉar la kondutaj respondoj en ĉi tiuj situacioj povas aperi identaj.

Tiel, la kondiĉaj respondoj (KR) kontrolitaj de la Pavloviana stimulo-rekompenca asocio ofte povas havi kovrilon de cel-direkteco pri ili. Eĉ salivo, la origina CR de Pavlov, povus esti produktita de liaj hundoj kiel intencita provo faciligi ingestadon. Precipe pro ĉi tiu ambigueco la plej evidenta klarigo - nome, ke en Pavloviana kondiĉado oni lernas la asocion pri stimulo-rezulto, dum en instrumenta kondiĉado la agado-rezulta asocio estas lernita - ne sukcesis gajni multan subtenon dum multaj jardekoj (Skinner, NENIU; Ashby, 1960; Bolles, 1972; Mackintosh, 1974). Tamen, kvankam multaj Pavloviaj KR-oj estas aŭtonom-komunumaj, aliaj CR, kiel alproksimiĝa konduto al rekompenco, ne estas tiel oportune karakterizitaj (Rescorla kaj Salomono, 1967); ja ili facile povas erari pri instrumentaj agoj (Brown kaj Jenkins, 1968; Williams kaj Williams, 1969; Schwartz kaj Gamzu, 1977). Ni nun scias, ke malgraŭ malprofunda simileco, Pavloviaj CR-celoj kaj cel-direktitaj instrumentaj agoj diferencas en la reprezenta strukturo kontrolanta rendimenton de la respondo (Schwartz kaj Gamzu, 1977).

La plej rekta rimedo por konstati, ĉu agado de respondo estas mediaciita de stimulo-rekompenco aŭ ago-rekompenca asocio estas ekzameni la specifan kontingentan regadon. La ekzemplo de salivo estas instrua ĉi tie. Sheffield (1965) testis ĉu salivo en Pavloviana kondiĉado estis kontrolita de ĝia rilato rekompenci aŭ de la asocio stimulo-rekompenco. En sia eksperimento, hundoj ricevis parojn inter tono kaj manĝaĵa rekompenco (Sheffield, 1965). Tamen, se la hundoj salivis dum la tono, tiam la manĝaĵo ne estis liverita en tiu proceso. Tiu aranĝo konservis Pavlovian rilaton inter la tono kaj manĝaĵo, sed aboliciis ajnan rektan asocion inter salivado kaj liverado de manĝaĵoj. Se la salivado estis ago kontrolita de sia rilato al manĝaĵo, tiam la hundoj devus ĉesi salivadon - ja ili neniam devos entute salivigi ĝin. Sheffield trovis, ke ĝi klare estis la Pavloviana tono-manĝaĵa rilato kiu kontrolis la salivan CR. Dum pli ol 800 tono-manĝaĵaj paroj, la hundoj akiris kaj konservis salivon ĝis la tono, kvankam tio rezultigis la perdon de la plej granda parto de la manĝaĵo kiun ili povus esti akiritaj ne salivante. Simila konkludo alvenis aliajn en studoj kun homoj (Pithers, 1985) kaj aliaj bestoj (Brown kaj Jenkins, 1968; Williams & Williams, 1969; Holando, 1979); en ĉiuj kazoj, ŝajnas, malgraŭ sia granda vario, Pavloviaj respondoj ne estas kontrolitaj de sia rilato al la rekompenco - t.e. de la ago-rezulta kontingento.

La esprimo kontingento rilatas al la kondiĉa rilato inter okazaĵo 'A' kaj alia, 'B', tia ke la okazo de B dependas de A. Rilato de ĉi tiu speco povas esti facile degradita prezentante B en foresto de A. Ĉi tio eksperimenta manipulado, nomata contingenta degenero, estas kutime farita prezentante rekompencon sendepende de aŭ la antaŭdira stimulo aŭ de la ago. Kvankam ĉi tiu alproksimiĝo estis origine disvolvita por studi pavlovianan kondiĉadon (Rescorla, 1968), instrumenta kontinua degenero ankaŭ fariĝis ofta ilo (Hammond, 1980). Kiam ĉi tiuj contingencias estas rekte manipulitaj, la enhavo de lernado estas rivelita: ekz. En aŭtoshaping, Pavloviana CR 'maskita' kiel instrumenta ago estas malhelpita de manipuladoj de la Pavloviano anstataŭ la instrumenta kontingento (Schwartz kaj Gamzu, 1977).

Cel-direktitaj instrumentaj agoj estas karakterizitaj per du kriterioj: 1) sentiveco al ŝanĝoj en la valoro de la rezulto, kaj 2) sentiveco al ŝanĝoj en la kontanteco inter ago kaj rezulto. (Dickinson, 1985; Dickinson kaj Balleine, 1993). La sentemo al senvalora rezulto sole, ĝi devas esti emfazita, ne sufiĉas por karakterizi respondon kiel celitan, ĉar iuj Pavloviaj respondoj ankaŭ povas esti sentemaj al ĉi tiu manipuladoHolando kaj Rescorla, 1975). Tamen, la agado de celaj instrumentaj agoj ankaŭ estas sentema al manipuladoj de la ago-rezulta kontingento, dum Pavloviaj respondoj estas sentemaj al manipuladoj de la stimulo-rezulta kontingento (Rescorla, 1968; Davis kaj Bitterman, 1971; Dickinson kaj Charnock, 1985). Grava escepto tamen troveblas en kutimoj (vidu sube), kiuj pli similas al Pavloviaj respondoj pro sia relativa nesentemo al ŝanĝoj en la instrumenta kontingento, sed ankaŭ estas senpovaj al rezulta malvalorigo ĉar la rezulto ne estas parto. de la reprezenta strukturo kontrolanta agadon (kp. Dickinson, 1985 kaj sube por plua diskuto).

Resumi do estas gravege, ke aparta respondo estu klare difinita laŭ la kontrola kontanteco anstataŭ per aŭ la responda formo aŭ la kondutisma tasko uzata por establi ĝin. Sen ekzamenado de la kontrola kontanteco en difinita situacio, ambaŭ la konduto kaj la neŭralaj procezoj trovitaj por mediacii la konduton estas probable miskondutitaj. Finfine, kiel ni argumentos, estas la efektivaj kontrolaj kontingentoj, akiritaj per lernado kaj efektivigitaj de malsamaj neŭralaj sistemoj, kiuj kontrolas konduton, kvankam ili povas dividi la saman "finan komunan vojon". Tiel la centra defio estas preterpasi aperojn por malkovri la subjektan subkontrolan konduton (por resumo vidu tablo 1). Por aserti, ke specifaj neŭrastrukturoj mediacias specifajn psikologiajn kapablojn, ekz. Celodirektecon, la statuso de la konduto devas esti taksata per taŭgaj kondutismaj provoj. Fari alie estas inviti konfuzon dum grupoj kverelas pri la taŭgaj neŭralaj determinantoj, dum ili ne agnoskas, ke iliaj kondutaj taskoj povas mezuri malsamajn fenomenojn. Kio gravas, finfine, estas tio, kion la besto efektive lernas, ne tio, kion la eksperimentanto opinias, ke la besto lernas, kaj tio, kion la besto efektive lernas, povas esti rivelita nur per provoj, kiuj rekte sondas la enhavon de lernado.

La Pavloviana-instrumenta distingo estintus bagatela, se la besto sukcesus lerni la samon (diru asocio inter la stimulo kaj rekompenco), negrave kio estas la eksperimentaj aranĝoj. Uzante la plej oftajn mezurojn de lernado disponeblaj hodiaŭ por neŭroscienco, simple ne ekzistas maniero sciigi. Tiel esploristoj ofte asertas studi cel-direktitan konduton sen ekzameni ĉu la konduto en demando estas fakte direktita al la celo. Kvankam oni ofte supozas, ke diversaj specoj de lernado rezultas el la uzo de malsamaj 'taskoj' aŭ 'paradigmoj', pli ofte ne esploristoj donas taŭgan rezonadon por iliaj supozoj.

Klasika ekzemplo de ĉi tiu afero estas la uzo de labirintoj por studi lernadon. Unu problemo pri labirintaj eksperimentoj kaj rilataj provoj, kiel kondiĉita loko preferita, estas la malfacileco de disa eksperimenteco de la influo de la Pavloviano (stimulo-rekompenco) kaj de la instrumentaj (agado-rekompenco) pri konduto (Dickinson, 1994; Yin kaj Knowlton, 2002). Tiel, moviĝi per T-labirinto por ricevi manĝaĵon povus reflekti respondan strategion (turni maldekstren) aŭ simple kondiĉitan aliron al iu ekster-labirinta limŝtono kontrolita de la kuntek-manĝa asocio (Restilo, 1957). Unu maniero provi, ĉu ĉi-lasta rolas en agado estas renversi la labirinton; nun respondaj lernantoj devas daŭrigi la maldekstron, dum tiuj, kiuj uzas ekstrajn labirintojn, dekstren. Sed ĉu tiuj, kiuj daŭre turnas sin maldekstre, vere uzas respondan strategion aŭ nur alproksimiĝas al iuj intra-Maze Cue asociita kun manĝaĵo? Ne estas simpla afero ekscii, ĉar la kutimaj kontroloj por Pavloviana kontrolo de konduto ne povas esti facile aplikataj en labirudaj studoj. Unu el ĉi tiuj, la dudirekta kontrolo, konstatas, ke bestoj povas praktiki kontrolon pri aparta respondo postulante renverson de la direkto de tiu respondo por gajni rekompencon (Hershberger, 1986; Heyes kaj Dawson, 1990). Bedaŭrinde, en labirinto, respondo-inversigo eble ne sufiĉas por establi agon kiel celitan, ĉar inversigo povas esti realigita per estingado de la ekzistanta rilato stimulo-rekompenco kaj anstataŭigo de alia. Ekzemple, rato alproksimiĝanta al aparta intra-labirinto eble lernos, dum renversado, ke ĝi ne plu estas parigita kun rekompenco, sed ke iu alia stimulo rezultas en akiro de aliro CR al la nova stimulo. Tiel ili povas ŝajne inversigi sian respondon sen iam ajn kodi la respondon-rekompencon. Ĉar ĉi tiu ebleco ne povas esti provita praktike, la uzo de labirintoj, lokaj preferaj proceduroj aŭ simplaj lokomotoraj taskoj por studi cel-direktitajn lernadajn procezojn estas precipe danĝera kaj probable rezultos miskarakterigi la procezojn kontrolantajn konduton kune kun la specifa rolo de iu neŭra. procezoj trovitaj implikitaj (Smith-Roe kaj Kelley, 2000; Hernández et al., 2002; Atallah et al., 2007).

Nucleus accumbens ne necesas por instrumenta lernado

La neadekvatecoj de aktuala kondutisma analizo fariĝas aparte evidentaj en la studo de la kerno accumbens. Multaj studoj sugestis, ke ĉi tiu strukturo estas kritika por akiro de cel-direktitaj agoj (Hernández et al., 2002; Goto kaj Graco, 2005; Hernández et al., 2005; Pothuizen et al., 2005; Taha kaj Kampoj, 2006; Atallah et al., 2007; Cheer et al., 2007; Lerchner et al., 2007). Sed ĉi tiu konkludo estis atingita plejparte de mezuroj de ŝanĝo en la agado sole, uzante taskojn en kiuj la kontingenta reganta konduto estas dubasenca. Kvankam la observo, ke manipulado malhelpas la akiron de iu kondutisma respondo povus indiki lernan deficiton, ili ankaŭ povus reflekti efikon sur responda iniciatado aŭ instigo. Ekzemple, difekto en akiro de levilpremo ofte povas reflekti efikon sur agado prefere ol lernado (Smith-Roe kaj Kelley, 2000). Akiraj kurboj sole, kiel nekompletaj reprezentoj de iu lernada procezo, devas esti interpretitaj kun singardeco (Gallistel et al., 2004). Bedaŭrinde, la distingo inter lernado kaj agado, eble la plej malnova leciono en la studado de lernado, ofte estas ignorita hodiaŭ.

Pli detala analizo indikas, ke la akuzantoj estas nek necesa nek sufiĉa por instrumenta lernado. Lesoj de la akciza ŝelo ne ŝanĝas sentivecon de agado al devalora rezulto (de Borchgrave et al, 2002; Corbit et al, 2001) aŭ al instrumenta kontinua degenero (Corbit et al, 2001), dum oni trovis ke lezoj de la kerna akcento malpliigas sentivecon al devalorigo sen difekti la sentivecon de la ratoj al selektema degenero de la instrumenta kontinento (Corbit et al., 2001). Aliaj studoj taksantaj la efikon de akuzaj manipuladoj sur la akiro de nova respondo en studoj pri kondiĉita plifortigo konstante trovis efikon sur rekompenco-rilata agado, aparte la plibonigo de agado per amfetamino, sed ne sur la akiro de respondado per si (Parkinson et al, 1999). Same, sistema studo de Kardinalo kaj Cheung ankaŭ trovis neniun efikon de akcentaj kernaj lezoj sur akiro de levilprema respondo sub kontinua plifortiga horaro; difektita akiro estis observita nur kun malfrua plifortigo (Kardinalo kaj Cheung, 2005).

Kvankam la accumbens ne kodas la instrumentan eventualaĵon (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001), konsiderindaj evidentecoj sugestas, ke ĝi ludas fundamentan rolon en instrumentoj elfaro, rolon, kiun ni nun povas pli bone difini sekve de lastatempa laboro. Kiel konkludita de pluraj studoj, la akuzantoj estas kritika por certaj specoj de apetita pavloviana kondiĉado, kaj mediacias ambaŭ la nespecifajn ekscitajn efikojn, kiujn rekompenc-rilataj indikoj povas havi sur instrumenta agado, same kiel la rezultajn specifajn fleksojn pri responda selektado produktita. per tiaj signaloj. La lezoj de la kerno, aŭ de la antaŭa cingulado, grava fonto de kortika enigo al la kerno, aŭ malkonekto inter ĉi tiuj du strukturoj, malfaciligas la akiron de Pavloviana alproksimiĝa konduto (Parkinson et al., 2000). Loka infuzaĵo de D1-simila al dopamina ricevilo antagonisto aŭ NMDA-glutamata ricevilo-antagonisto tuj post trejnado ankaŭ malhelpis ĉi tiun formon de lernado sen tuŝi agadon (Dalley et al., 2005). Ĉi tiuj datumoj konsentas pri mezuroj de en vivo neŭra aktiveco. Ekzemple, Carelli kaj kolegoj trovis, ke neŭronoj en la kerno de la akciuloj povas ŝanĝi sian aktivecon sisteme dum la lernado de paŭlovaa aŭtokombina tasko (Day et al., 2006; Tago kaj Carelli, 2007).

Neŭronoj en la ŝelregiono ŝajnas agorditaj al rekompenco kaj aversaj stimuloj, eĉ antaŭ ia lernada sperto; ili ankaŭ kapablas disvolvi respondojn al CSs, kiuj antaŭdiras ĉi tiujn rezultojn (Roitman et al., 2005). Laboro de Berridge kaj kolegoj, krome, pliigis la eblecon ke certaj regionoj ene de la nukleo acumbens-ŝelo kaj en la subtera ventrala pallidum povas esti karakterizitaj kiel "hedonaj" punktoj. " Ĉi tiuj areoj rekte modulas senkondiĉajn hedonajn respondojn al rekompencoj, kiel gusto-reaktiveco. Ekzemple, agonistoj de opioidaj riceviloj en ĉi tiuj regionoj povas signife amplifi ingestivan gustan reakcion al sukerozo. Tiaj tre lokalizitaj regionoj tamen estas enigitaj en pli larĝaj retoj, kiuj ne ludas rolon en konsumata apetita konduto (Taha kaj Kampoj, 2005; Pecina et al., 2006; Taha kaj Kampoj, 2006).

La distingo en la relativaj roloj de kerno kaj ŝelo ŝajnas esti unu inter preparaj kaj konsumaj apetitivaj kondutoj respektive, kiuj povas esti facile modifataj de sperto per malsamaj specoj de pavloviana kondiĉado. Preparaj respondoj kiel alproksimiĝo estas ligitaj kun ĝeneralaj emociaj kvalitoj de la rezulto, dum la konsumataj kondutoj estas ligitaj kun pli specifaj sensaj kvalitoj; ili ankaŭ estas malsame susceptibles al diversaj specoj de CS, ekz. preparaj respondoj pli facile kondiĉas stimulon kun longa daŭro (Konorski, 1967; Dickinson kaj Dearing, 1979; Balleino, 2001; Dickinson kaj Balleine, 2002).

Ĉiuokaze, la evidenteco implikanta la akuzantojn en iuj aspektoj de pavloviaj kondiĉoj estas superforta. Ĝi tamen estas ne la sola strukturo engaĝita, kaj aliaj retoj, kiel tiuj implikantaj la diversajn amigdaloidajn kernojn, ŝajnas ankaŭ ludi centran rolon en la preparaj kaj konsumaj komponentoj de pavloviana konditonado (Balleine kaj Killcross, 2006).

Unu funkcio klare atribuebla al la akciuloj estas la integriĝo de Pavloviaj influoj sur instrumentaj kondutoj. Pavloviaj KR, inkluzive de tiuj reflektantaj la aktivadon de centraj motivaj ŝtatoj, kiel avido kaj ekscitiĝo, povas praktiki fortan influon sur la agado de instrumentaj agoj (Trapold kaj Overmier, 1972; Lovibondo, 1983; Nederlando, 2004). Ekzemple, CS kiu sendepende antaŭdiras liveradon de manĝaĵoj povas pliigi instrumentajn respondojn por la samaj manĝaĵoj. Ĉi tiu efiko estas ofte studata uzante la Pavlovian-instrumentan transigan paradigmon (PIT). En PIT, bestoj ricevas apartajn pavloviajn kaj instrumentajn trejnajn fazojn, per kiuj ili lernas sendepende asocii kverelon kun manĝaĵo kaj premi levilon por la sama manĝaĵo. Tiam ĉe sondaj provoj, la aŭto estas prezentita kun la levilo havebla, kaj la alto de respondaj rapidecoj en la ĉeesto de CS estas mezurita. Du formoj de PIT estis identigitaj; unu rilata al la ĝenerale vekanta efiko de rekompenc-rilataj indikoj kaj dua pli selektema efiko al elekta agado produktita de la antaŭdira statuso de signo kun respekto al specifa rekompenco kontraste al aliaj. La akciza ŝelo estas necesa por ĉi tiu lasta rezulta specifa formo de PIT, sed estas nek necesa por la antaŭa, pli ĝenerala formo nek por sentiveco al rezulta malvalorigo; kontraste, lezoj de la akcipa kerno reduktas sentemon al kaj rezulta malvalorigo kaj la ĝenerala formo de PIT, sed lasas nerompitan rezultan specifan PIT (Corbit et al., 2001; (Balleine kaj Corbit, 2005).

Lastatempa studo provizis plian komprenon pri la rolo de la akciza konko en rezult-specifa PIT (Wiltgen et al., 2007). Kontrolita esprimo de aktiva kalcio / trankvilulin-dependa proteino kinase II (CaMKII) en la striatumo ne influis lernadon aŭ Pavlovian lernadon, sed aboliciis specifan PIT. Ĉi tiu deficito en PIT ne estis permanenta kaj ĝi povus esti revertita malŝaltante la transgenan esprimon kun doksiciklino, pruvante, ke la deficito asociis nur kun agado. Artifike plibonigi la nivelon de CaMKII en la striatum do blokas la rezultan specifan translokigon de instiga instigo de la Pavloviano al la instrumenta sistemo. Interese, ankaŭ ŝalti la CaMKII-transgenon reduktis la eksciteblecon de neŭronoj en la akcipa ŝelo, sen tuŝi bazan transmision aŭ sinaptan forton.

La dorsal striato

La dorsal striatum, ankaŭ konata kiel la neostriatum aŭ caudate-putamen, ricevas amasajn projekciojn de la nomata neokortekso. Ĝi povas esti plue dividita en asocian regionon, kiu en ronĝuloj estas pli media kaj kontinua kun la ventra striato, kaj sensimotora regiono kiu estas pli flanka (Groenewegen et al., 1990; Joel kaj Weiner, 1994). En lia aro, la dorsal striatum estas innervita de DA-ĉeloj de la substantia nigra pars kompakta (SNc), kaj nur ricevas malgravajn projekciojn de la VTA DA-neŭronoj. (Joel kaj Weiner, 2000). Antaŭa laboro pri la dorsa striatumo temigis plejparte sian rolon en stimula-respondo (SR) kutimaj lernado (Miller, 1981; Blanka, NUMO). Ĉi tiu vido baziĝas sur la leĝo de efiko, laŭ kiu rekompenco agas por fortigi, aŭ plifortigi, SR-asocion inter la mediaj stimuloj kaj la respondo realigita rezulte de kiu la tendenco plenumi tiun respondon pliiĝas en la ĉeesto de tiuj stimuloj (Thorndike, 1911; Hejlo, 1943; Miller, 1981). Tiel la kortikostria vojo estas opiniita por mediacii SR-lernadon per DA aganta kiel la plifortiga signalo (Miller, 1981; Reynolds kaj Wickens, 2002).

SR-modeloj havas la avantaĝon enhavi parsimonan regulon por traduki lernadon al agado. Modelo bazita sur agoj rilataj al agado, kontraste, estas pli komplika ĉar la kredo "Ago A kondukas al Rezultita O" ne devas nepre tradukiĝi al ago (Guthrie, 1935; Mackintosh, 1974); informoj de ĉi tiu speco povas esti uzataj tiel por plenumi 'A' kiel por eviti plenumi 'A'. Tial, tradiciaj teorioj respegulis la plej evidentan klarigon - nome, ke bestoj povas akiri agon-rezulton, kiu gvidas elektan konduton. La lastaj jardekoj tamen vidis konsiderindan revizion de la leĝo de efiko (Adams, 1982; Colwill kaj Rescorla, 1986; Dickinson, 1994; Dickinson et al., 1996). Tli rezultoj de multaj studoj pruvis, ke instrumentaj agoj povas esti vere celitaj, t.e. sentemaj al ŝanĝoj en rekompenca valoro same kiel kaŭzaj efikecoj de la ago (vidu Dickinson & Balleine, 1994; 2002; Balleino, 2001 por recenzoj). Tamen, dum ampleksa trejnado sub konstantaj kondiĉoj, eĉ ĵus akiritaj agoj povas fariĝi relative aŭtomataj kaj stimuli - procezo konata kiel kutima formado (Adams kaj Dickinson, 1981; Adams, 1982; Yin et al., 2004). Kutimoj tiel difinitaj, aŭtomate kaŭzitaj de precedencaj stimuloj, ne estas kontrolataj de la atendo aŭ reprezentado de la rezulto; tial ili estas senpovaj kontraŭ ŝanĝoj de rezulta valoro. El ĉi tiu perspektivo, la leĝo de efiko estas do speciala kazo, kiu validas nur por kutima konduto.

La nuna klasifiko de instrumenta konduto dividas ĝin en du klasojn. Tli unua klaso inkluzivas cel-direktitajn agojn kontrolitajn de la instrumenta kontingento; la dua, kutima konduto senpova al ŝanĝoj en rezulta valoro (tablo 1). Uzante kondutismajn provojn kiel rezulta malvalorigo kaj instrumenta kontreiga degenero, Yin et al establis funkcian disocion inter la sensorimotoro (dorsolateral striatum, DLS) kaj asociaj regionoj (dorsomedial striatum, DMS) de la dorsal striatum (Yin kaj Knowlton, 2004; Yin et al., 2004, 2005a; Yin kaj aliaj, 2005b; Yin et al., 2006a). Lezoj de la DLS malhelpis la disvolviĝon de kutimoj, kaj rezultigis pli celan reĝimon de kondutregulo. Lezoj de la DMS havas la kontraŭan efikon kaj rezultigas ŝanĝon de cel-direktita al kutima kontrolo. Yin et al, do, konkludis, ke la DLS kaj DMS povas esti funkcie disigitaj rilate al la tipo de asociaj strukturoj, kiujn ili subtenas: la DLS estas kritika por kutima formado, dum la DMS estas kritika por akiro kaj esprimo de celoj direktitaj. Ĉi tiu analizo antaŭdiras, ke sub iuj kondiĉoj (ekz. Plilongigita trejnado) la kontrolo de agoj povas ŝanĝi de la DMS-dependa sistemo al la DLS-dependa sistemo, konkludo, kiu konsentas larĝe kun la konsiderinda literaturo pri primatoj, inkluzive de homa neŭroimagado (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi et al., 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno kaj Kawato, 2006a, b; Lohrenz et al., 2007; Tobler et al., 2007). Oni memoru, kompreneble, tĉapela fizika loko (ekz. dorsala aŭ ventrala) sole ne povas esti fidinda gvidilo en komparo de la ronĝula striatumo kaj la primata striatumo; tiaj komparoj estu farataj kun singardo, post zorga konsidero de la anatomia konektebleco.

La efikoj de dorsaj striaj lezoj povas esti komparataj kun tiuj de accumbens-lezoj (Smith-Roe kaj Kelley, 2000; Atallah et al., 2007). Kiel jam menciite, la normaj provoj por establi konduton kiel 'celitan' estas rezulta malvalorigo kaj malpliiĝo de la ago-rezulta kontingento (Dickinson kaj Balleine, 1993). Lezoj de DMS igas konduton sensenta al ambaŭ manipuladoj (Yin kaj aliaj, 2005b), dum lezoj de la kerna aŭ ŝelo ne kaŭzasCorbit et al., 2001). Plie, la sondaj provoj de ĉi tiuj kondutaj provoj estas kutime faritaj en estingo, sen prezento de iu rekompenco, por taksi tion, kion la besto lernis sen poluado per nova lernado. Ili tiel rekte sondas la reprezentan strukturon kontrolantan konduton. Kiel aldona eksperimenta kontrolo, ofte utilas realigi apartan malvalorigan teston, en kiu efektive liveras rekompencojn - la tiel nomatan 'rekompencan teston.' Lezoj de la DMS ne aboliciis sentivecon al rezulta malvalorigo en la rekompencita testo, kiel oni devus atendi, ĉar liverado de devalorigita rezulto de ago povas subpremi la agon sendepende de agado-rezulta kodado. Accumbens-obusaj lezoj, aliflanke, ne difektis sentivecon al rezulta malvalorigo nek de la estingo-testo nek de la rekompenca testo, dum akcensaj kernaj lezoj aboliciis sentivecon al devalorigo en ambaŭ provoj (Corbit et al., 2001). Tamen, la sentiveco al kontreiga degenero ne estis tuŝita de ambaŭ lezoj, pruvante ke, post akciĝaj lezoj, la ratoj povis kodigi kaj reakiri reprezentantajn agojn.

La rolo de dopamino: Mezolimbic vs nigrostriatal

De kiam la pioniraj studoj pri la fazika agado de DA-neŭronoj en simioj, ofta supozo en la kampo estas, ke ĉiuj DA-ĉeloj kondutas esence sammaniere (Schultz, 1998a; Montague et al., 2004). Tamen la disponeblaj datumoj, same kiel la anatomia konektebleco, sugestas alie. Fakte, ĉi-supra analizo de funkcia heterogeneco en la striato povas esti etendita al la DA-ĉeloj ankaŭ en la mezkerno.

DA-ĉeloj povas esti dividitaj en du gravajn grupojn: VTA kaj substantia nigra pars compacta (SNc). Kvankam la projekcio el VTA al akciuloj estis la centro de atento en la kampo de rilata lernado, la multe pli amasa nigrostriatal vojo estis relative neglektita, kun atento fokusita ĉefe pri ĝia rolo en Parkinsona malsano. Aktuala pensado pri la rolo de DA en lernado estis multe influita de la propono, ke la fazo-aktiveco de DA-ĉeloj reflektu eraran antaŭdiron de rekompencor (Ljungberg et al., 1992; Schultz, 1998b). MiEn la plej ofta Pavloviana kondiĉa tasko uzata de Schultz kaj kolegoj, ĉi tiuj neŭronoj ekbruliĝas kiel respondo (Usono) sed, lernante, la elvokita agado de Usono translokiĝas al la CS. Kiam Usono estas preterlasita post lernado, la DA-ĉeloj montras mallongan deprimon en aktiveco en la atendata tempo de sia liverado (Waelti et al., 2001; Fiorillo et al., 2003; Tobler et al., 2003). Tiaj datumoj estas bazo de diversaj komputaj modeloj (Schultz et al., 1997; Schultz, 1998b; Brown et al., 1999; Montague et al., 2004).

Konsiderante multoblajn nivelojn de kontrolo en la mekanismoj de sintezo kaj liberigo, la spikado de DA-neŭronoj ne povas esti egaligita kun liberigo de DA, kvankam oni atendus, ke ĉi tiuj du mezuroj estos tre korelaciitaj. Efektive, kiel montris lastatempa studo de Carelli kaj kolegoj uzantaj rapidan ciklan voltammetrion, efektiva DA-liberigo en la kerna akcento ŝajnas esti korelaciita kun prognoza eraro en apetita Pavloviana kondiĉado (Day et al., 2007). Ili trovis fazan DA-signalon en la akciza kerno tuj post la ricevo de sakrosa rekompenco en Pavloviana aŭtomobilo. Post plilongigita Pavloviana kondiĉado, tamen, ĉi tiu signalo ne plu estis trovita post la rekompenco mem, sed translokiĝis al la CS anstataŭe. Ĉi tiu trovo subtenas la originalan hipotezon de "antaŭdira eraro". Ĝi ankaŭ kongruas kun pli frua laboro, kiu montras neplibonigan agadon de Pavloviana CR post aŭ DA-receptoro-antagonismo aŭ DA-elĉerpiĝo en la kerno de accumbens (Di Ciano et al., 2001; Parkinson et al., 2002). Tamen, unu observo de la studo estas nova kaj de konsiderinda intereso: post plilongigita kondiĉado kun CS + kiu antaŭdiras rekompencon kaj CS- kiu ne antaŭdiras rekompencon, simila, kvankam pli malgranda, DA-signalo ankaŭ estis observita post la CS-, kvankam ĝi ankaŭ montris malgrandan trempon tuj (500 ~ 800-milisekundoj post kvara komenco) post la komenca pinto (Tago et al, 2007, Figuro 4). En ĉi tiu etapo de lernado, bestoj preskaŭ neniam alproksimiĝas al CS-, sed konsekvence alproksimiĝas al CS +. Tiel la faza DA-signalo tuj post la prognozilo eble ne ludas kaŭzan rolon en la generado de la alproksima respondo, ĉar ĝi ĉeestas eĉ en la foresto de la respondo. Ĉu tia signalo ankoraŭ necesas por lerni la kontantmonon de stimulo-rekompenco restas neklara, sed la observita fazo-respondo al CS-CS certe ne antaŭdiras iujn el la aktualaj modeloj.

Interese, loka DA-malplenigo malpliigas rendimenton pri ĉi tiu tasko (Parkinson et al., 2002). Dum faza DA-signalo estas observata post la CS-, kiu tute ne generas CR-on, forigante ambaŭ fazan kaj tonikan DA per loka elfluado damaĝas la agadon de CR. Tia ŝablono sugestas, ke faza DA-signalo en la akciuloj ne bezonas por agado de Pavloviana CR, sed povas ludi rolon en lernado, dum pli malrapida, pli tonika DA-signalo (supozeble neniigita en studoj pri elĉerpiĝo) pli gravas por agado. de la alproksima respondo (Cagniard et al., 2006; Yin kaj aliaj, 2006b; Niv et al., 2007). Ĉi tiu ebleco restas esti provita.

Kvankam ekzistas neniu rekta evidenteco por kaŭza rolo de la fazo DA signalo en lernado, la hipoteza "antaŭdira eraro" tamen allogis multan atenton, ĉar ĝi estas ĝuste la tipo de instrua signalo uzata en elstaraj modeloj de lernado, kiel la modelo Rescorla-Wagner kaj ĝia realtempa pligrandigo, la algoritmo pri lernado de plifortiga diferenco (Schultz, 1998b). Laŭ ĉi tiu lego, apetita lernado estas determinita de la diferenco inter ricevita kaj atendata rekompenco (aŭ inter du laŭtempaj pluaj rekompencoj). Tia instrua signalo estas reguligita per negativaj reagoj de ĉiuj antaŭdiroj de la rekompenco (Schultz, 1998b). Se neniu rekompenco sekvas la prognozilon, tiam la negativa reago-mekanismo estas maskita kiel trempado en la agado de la DA-neŭronoj. Tiel lernado implikas laŭgradan redukton de la antaŭdira eraro.

La eleganteco de la instrua signalo en ĉi tiuj modeloj eble distris iujn de la anatomia realaĵo. En la studo de Tago et al (2007), la DA-signalo en la akcizaĵoj venas plejparte de ĉeloj en la VTA, sed ŝajnas neprobabla ke aliaj DA-ĉeloj, kun tute malsama anatomia konektebleco, montrus la saman respondan profilon kaj provizus la saman signalon. Kliento en kio la signalo de DA-ĉeloj estas pli verŝajna, ĉar DA-ĉeloj projektas al malsamaj striaj regionoj kun tute malsamaj funkcioj, kaj siavice ricevas distingajn negativajn retrosignalojn de malsamaj striaj regionoj (Joel kaj Weiner, 2000; Wickens et al., 2007). La mekanismoj de kaptiĝo kaj degenero, same kiel la presinaptaj riceviloj, kiuj reguligas liberigon de dopamino, ankaŭ montras konsiderindan variadon trans la striato (Cragg et al., 2002; Rizo kaj Cragg, 2004; Wickens et al., 2007; Rizo kaj Cragg, 2008).

Ni do proponas, ke la mesoakombina vojo ludu pli limigitan rolon en Pavloviana lernado, en akirado de valoro de ŝtatoj kaj stimuloj, dum nigrostriatala vojo estas pli grava por instrumenta lernado, en akirado de valoroj de agoj. Tĉapelo estas, la fazo DA signalo povas kodi malsamajn prognozajn erarojn, anstataŭ ununuran prognozan eraron, kiel oni nuntempe supozas. Tri linioj de evidenteco subtenas ĉi tiun argumenton. Unue, genetika elĉerpiĝo de DA en la nigrostriatal-vojo malhelpas akiron kaj agadon de instrumentaj agoj, dum malpliiĝo de DA en mezolimbia vojo ne (Sotak et al., 2005; Robinson et al., 2007). Due, DA-ĉeloj en la SNc eble kodos la valoron de agoj, similaj al ĉeloj en sia cela stratregiono (Morris et al., 2006). Trie, selektema lezo de la nigrostriatala projekcio al la DLS malhelpas kutiman formadon (Faure et al., 2005).

Lastatempa laboro de Palmiter kaj kolegoj montris, ke genetike prilaborita DA-manko de musoj estas grave difektita en instrumenta lernado kaj agado, sed ilia agado povus esti restarigita ĉu per L-DOPA-injekto aŭ per viral-geno-translokado al la nigrostriatala vojo (Sotak et al., 2005; Robinson et al., 2007). Male, restarigo de DA en la ventrala striatumo ne estis necesa por restarigi instrumentan konduton. Kvankam kiel DA signaloj ebligas instrumentan lernadon restas malferma demando, unu evidenta eblo estas ke ĝi povus kodigi la valoron de mem-iniciatitaj agoj, t.e. kiom da rekompenco estas antaŭvidita donita apartan kurson de ago.

La dorsal-striato entute enhavas la plej altan esprimon de DA-riceviloj en la cerbo kaj ricevas la plej amasan dopaminergian projekcion. La projekcio de DA al la DMS eble ludas malsaman rolon en lernado ol la projekcio al DLS, ĉar ĉi tiuj du regionoj diferencas signife en la tempa profilo de DA-liberigo, asimilado kaj degenero (Wickens et al., 2007). Ni hipotezas, ke la projekciado de DA al DMS de la meza SNc estas kritika por agado-rezulta lernado, dum la projekcio de DA al DLS de flanka SNc estas kritika por formado de kutimoj. Se ĉi tio estas vera, oni devus atendi, ke DA-ĉeloj en la SNc kodu la eraron en rekompenca antaŭdiro bazita sur mem-generitaj agoj - instrumenta antaŭdira eraro - anstataŭ tiu surbaze de la CS. Antaŭlasta evidenteco en subteno de ĉi tiu aserto venas de lastatempa studo de Morris et al, kiu registris de neŭronoj de SNc dum instrumenta lernada tasko (Morris et al., 2006). Simioj estis trejnitaj por movi la brakojn responde al diskriminacia stimulo (S)D) tio indikis la taŭgan movadon kaj la probablecon de rekompenco. La SD kreis fazan agadon en la DA-neŭronoj respondantaj al la agada valoro bazita sur la atendata rekompenca probablo de aparta ago. Plej interese, kvankam la respondo de DA al SD pliigita kun agadvaloro, la inverso estis vera de la respondo de DA al la rekompenco mem, konforme al la ideo, ke ĉi tiuj neŭronoj kodas prognozan eraron asociitan kun tiu valoro. Ne mirinde, ke la primara striala celo de ĉi tiuj ĉeloj, la kaŭda kerno, scias ke enhavas neŭronojn kiuj kodas agajn valorojn (Samejima et al., 2005). Oni devas rimarki, tamen, ke ĉi tiu studo ne uzis kondutajn taskojn, kiuj sendube taksas la valoron de agoj. Klara prognozo de nia modelo estas, ke fazo DA agado akompanos la agadon de agoj, eĉ se mankas eksplicita SD. Ekzemple, ni antaŭdiras eksplodan pafon de nigraj DA-neŭronoj en la momento de mem-iniciata ago gajnanta rekompencon.

Laŭ nia opinio, dum la DA mesoakombina signalo reflektas la valoron de CS, la nigrostriatala signalo, eble de tiuj neŭronoj projekciantaj al DMS, reflektas la valoron de la ago mem, aŭ de iu ajn SD kiu antaŭdiras ĉi tiun valoron. Plie, ambaŭ instrumenta kaj pavloviana lernado ŝajnas impliki iun formon de negativa reago por kontroli la efikan instruan signalon. Fakte, la rektaj projekcioj de la striato ĝis la mezkruna DA-neŭronoj (figuro 2) estis delonge proponita kiel neŭra efektivigo de ĉi tiu tipo de negativaj reagoj (Houk et al., 1995), kaj la forto kaj naturo de la inhibicia enigo povas multe varii de regiono al regiono.

figuro 2  

Retoj de kortiko-bazaj ganglioj

Antaŭdira eraro, laŭ aktualaj modeloj, estas instrua signalo, kiu determinas kiom da lernado okazas. Tiel longe kiel ĝi ĉeestas, lernado daŭras. Tamen evidente ĉi tiu aserto ŝajnas, antaŭdira eraro por agvaloro, kvankam sintakse simila al la Pavlova predikativa eraro, havas unikajn ecojn ne ekzamenitajn amplekse. En tradiciaj modeloj kiel la modelo Rescorla-Wagner, kiu traktas ekskluzive Pavlovianan kondiĉadon (kvankam kun limigita sukceso), la ŝlosila trajto estas la negativa reago, kiu reguligas prognozan eraron. Ĉi tiu eligo reprezentas la akiritan antaŭdiron, pli specife la adicias de ĉiuj nunaj prognozistoj, kiel kaptitaj de la komponaĵoj-stimuloj tipe uzataj en blokaj eksperimentoj (Rescorla, 1988). Estas ĉi tiu sumado de disponeblaj prognozistoj por establi tutmondan eraran terminon, kiu estas la ĉefa novigado en ĉi tiu klasa modelo. Por instrumentaj agoj, tamen, individuaj eraraj terminoj ŝajnas pli probablaj, ĉar estas malfacile vidi kiel la negativa reago prezentas la valoron de multoblaj agoj samtempe, kiam nur unu ago povas esti farita samtempe. Kompreneble ekzistas multaj eblaj solvoj. Ekzemple, donita apartan staton (eksperimente efektivigata de aparta SD), la eblaj kursoj de agoj povus esti reprezentitaj samtempe kiel akiritaj antaŭdiroj. Sed la ĉefa malfacileco kun instrumentaj prognozaj eraroj rilatas al la naturo de la ago mem. Pavlova predikato aŭtomate sekvas la prezenton de la stimulo, kiu estas sendependa de la organismo. Instrumenta prognoza eraro devas trakti la elementon de kontrolo, ĉar la antaŭdiro mem estas ago-kontingento, kaj intencita ago estas elsendita spontane surbaze de la serĉado de la animaloj de la konsekvencoj de agado, pli ol eldevigitaj de precedencaj stimuloj. Al la fino, ĝi estas ĝuste ĝenerala neglekto de la spontanea naturo de celoj direktitaj, tiel en neŭroscienco kaj psikologio, kiu malklarigis la distingon inter pavloviaj kaj instrumentaj lernadaj procezoj, kaj la naturo de la prognozaj eraroj. Restas do konstati, kian tipon de negativa retrosigna signalo, se ekzistas, reguligas la akiro de agaj valoroj (Dayan kaj Balleine, 2002).

Finfine, lastatempa laboro ankaŭ implicis la nigrostriatan projekcion de la flanka SNc al DLS specife en kutimoformado. Faure et al selekte maltrankviligis la DA-ĉelojn projektantajn al DLS uzante 6-OHDA, kaj konstatis, ke ĉi tiu manipulado havas surprize malmultan efikon sur la indico de premo de levilo, kvankam ĝi malhelpis kutiman formadon, kiel mezuritan uzante rezultan malvaloriĝonFaure et al., 2005). Tio estas, ke vunditaj bestoj respondis laŭ objektiva maniero, kvankam, en kontrolgrupo, la trejnado generis kutiman konduton nesensan al rezulta malvalorigo. Loka kadukiĝo de la DA tiam similas al ekscitotoksaj lezoj de la DLS, ĉar ambaŭ manipuladoj malfruas kutiman formadon kaj favoras la akiron de celoj direktitaj.Yin et al., 2004). Faza DA-signalo kritika por kutima formado estas jam bone priskribita per la efika plifortiga signalo en nuntempaj temp-diferencaj plifortigaj lernadaj algoritmoj inspiritaj de la laboro de Hull kaj Spence (Hejlo, 1943; Spence, 1947, 1960; Sutton kaj Barto, 1998).

Retoj de kortico-bazaj ganglioj

Ĝis nun ni pridiskutis la funkcian heterogenecon ene de la striato, tamen estus malĝentile sugesti, ke iu ajn stria areo povus, ekzemple, traduki la agon-rezultan kontingenton en la agadon de ago mem. Prefere la cerebraj hemisferoj estas organizitaj kiel iteraj funkciaj unuoj konsistantaj el retoj de kortico-bazaj ganglioj (Swanson, 2000; Zahm, 2005). Tli striato, estante la enirejo de la tutaj bazaj ganglioj, servas kiel unika nabo en la reto de la kortiko-bazaj ganglioj, kapabla integri kortikajn, talamajn kaj mezajn cerbajn enigaĵojn. Kiel priskribite pli supre, kvankam ĝi estas kontinua strukturo, diversaj striaj regionoj ŝajnas partopreni malsamajn funkciajn retojn, ekz. La akciferoj funkcias kiel nabo en la limia reto kaj la DLS en la sensorimotora reto. Pro la revendanta posedaĵo de tiaj retoj, tamen, neniu ero de ĉi tiu strukturo estas supren aŭ sube en iu ajn absoluta senco; ekz. la talamocortika sistemo estas kaj la fonto de grava enigo al la striatumo kaj la celo de ambaŭ striato-palidaj kaj striato-nigraj vojoj.

Kvankam oni rekonis paralelajn reentajn basalajn ganglojn (Aleksandro et al., 1986), ni emfazas distingajn funkciajn rolojn de ĉi tiuj cirkvitoj bazitaj sur operacie difinitaj reprezentaj strukturoj kaj sur interagoj inter cirkvitoj en generado de integraj kondutoj. Sur ĉi tiu bazo, almenaŭ kvar tiaj retoj diskreteblas: la limfaj retoj implikantaj la ŝelon kaj kernon respektive, la asocian reton implikantan la asocian striatum (DMS), kaj la sensorimotor-reto implikanta la sensorimotoron striatum (DLS). Iliaj funkcioj intervalas de mediacii la kontrolon de apetitivaj Pavloviaj UR kaj KR ĝis instrumentaj agoj (figuro 1).

figuro 1  

Gravaj funkciaj domoj de la striatumo. Ilustraĵo de la striato de korona sekcio montranta la duonon de la cerbo (Paxinos kaj Franklin, 2003). Rimarku, ke ĉi tiuj kvar funkciaj domajnoj estas anatomie kontinuaj, kaj proksimume korespondas al kio ...

Kiel jam menciite, la ventra striato konsistas plejparte el la kerno accumbens, kiu povas esti plu dividita en la ŝelon kaj la kernon, ĉiu partoprenante en aparta funkcia reto. La kortikaj (glutamatergaj) projekcioj al la ŝelo ekestas de infralimbaj, centraj kaj flankaj orbitalaj kortikoj, dum la projekcioj al la kerno ekestas de pli da dorsaj mezliniaj regionoj de prefrontal kortekso kiel la ventra kaj dorsala prelimbia kaj cingulata anterior (Groenewegen et al., 1990; Zahm, 2000, 2005). Ene de ĉi tiuj funkciaj retoj evidentaĵoj supre sugestas, ke la ŝelo okupiĝas pri UR-rekompencoj kaj akiro de konsumataj CR-oj; la kerno en esplora konduto, aparte akiro kaj esprimo de Pavloviaj alproksimiĝaj respondoj. Almenaŭ du ĉefaj retoj povas esti distingeblaj ene de la pli granda reto ventrala aŭ limbika kortik-basala reto, unu por konsumado kaj la alia por preparaj kondutoj kaj ilia modifo per Pavloviana kondiĉado (figuro 1).

La dorsal striato same povas esti dividita en almenaŭ du gravajn regionojn, asocian kaj sensimotoron, kun aparta funkcia reto asociita kun ĉiu. La asocia striatumo (kaŭdato kaj partoj de la antaŭa putameno en primatoj) enhavas neŭronojn, kiuj ekbruliĝas antaŭvide al respond-kontingaj rekompencoj kaj ŝanĝas sian pafon laŭ la grando de la atendita rekompenco (Hikosaka et al., 1989; Hollerman et al., 1998; Kawagoe et al., 1998). En la asocia reto, la antaŭfrontalaj kaj parietaj asociaj kortikoj kaj ilia celo en la DMS estas implikitaj en transira memoro, ambaŭ prospektivaj, en formo de rezultaj atendoj, kaj retrospektivaj, kiel rekordo de lastatempaj kopioj.Konorski, 1967). La sensorimotora nivelo, aliflanke, enhavas la sensorimotor-kortekson kaj iliajn celojn en la bazaj ganglioj. La rezultoj de ĉi tiu cirkvito estas direktitaj al motor-kortikoj kaj cerbaj tondaj motoroj. Neŭra aktiveco en la sensimotora striatum estas ĝenerale ne modulita de rekompenco atendanta, montrante pli da movo-rilata aktiveco ol neŭronoj en la asocia striatumo (Kanazawa et al., 1993; Kimura et al., 1993; Costa et al., 2004). Fine, aldone al la mez-flanka gradiento, estas grava funkcia heterogeneco laŭ la antaŭa-posta akso de la dorsstria strio, kvankam ne sufiĉaj datumoj estas nuntempe disponeblaj por permesi detalan klasifikon (Yin kaj aliaj, 2005b).

Studoj ĝis nun nur koncentriĝis al la kortikaj kaj striaj komponentoj de ĉi tiuj retoj. Ĝenerale, lezoj de kortika areo havas similajn efikojn kiel lezoj de sia striata celo (Balleine kaj Dickinson, 1998; Korbono kaj Balleino, 2003; Yin kaj aliaj, 2005b). Sed aliaj komponentoj en la reto povus konservi similajn funkciojn. Ekzemple, oni trovis lezojn de la mediodorsalaj kernoj de la talamo, komponanto de la asocia reto, kiu forigas sentivecon al rezulta malvalorigo kaj kontinua degradado samkiel lezoj al la DMS kaj al la prelimbika kortekso (Corbit et al., 2003). Tiel kvankam nia ĝenerala modelo antaŭdiras similajn kondutajn deficitojn post damaĝo al ĉiu ero de reto, ĝi ankaŭ sugestas, por iu donita strukturo kiel pallidum aŭ talamo, multoblajn funkciajn domajnojn.

Interago inter retoj

Sub plej multaj kondiĉoj, Pavloviana kaj instrumenta lernado okazas paralele. Fenomenoj kiel PIT, tamen, montras la amplekson, per kiu ĉi tiuj alie malsamaj procesoj povas interagi. Dekomence sendependaj funkciaj sistemoj, la sekva paŝo estas kompreni kiel ĉi tiuj sistemoj estas kunordigitaj por generi konduton. Unu alloga propono, laŭ lastatempa anatomia laboro, estas ke la retoj skizitaj supre estas hierarkie organizitaj, ĉiu funkcianta kiel lerta, funkcia peranto en la hierarkio, permesante informojn disvastiĝi de unu nivelo al alia. Aparte, la ĵus malkovritaj spiralaj ligoj inter la striato kaj la meza cerbo sugestas anatomian organizon, kiu povas potenciale efektivigi interagojn inter retoj.figuro 2). Kiel observite de Haber kaj kolegoj, striataj neŭronoj sendas rektajn malhelpajn projekciojn al DA neŭronoj de kiuj ili ricevas reciprokajn projekciojn, kaj ankaŭ projektas al DA neŭronoj kiuj siavice projektas al malsama striatal areo (Haber et al., 2000). Ĉi tiuj projekcioj permesas antaŭenpuŝadon de informoj nur en unu direkto, de la limbicaj retoj al asociaj kaj sensiotromotoraj retoj. Ekzemple, _Pavlovian_ antaŭdiro (akirita valoro de la _CS_) povus redukti la efikan instruan signalon ĉe _limbic_ nivelo, dum hazarde _potenciante_ la _ DA_ signalo ĉe la sekva nivelo. La nuligo de la efektiva instruada signalo estas kutime efektivigita per negativa retroefika signalo per inhibicia projekcio, ekzemple, de la GABAergic-meznivela spina neŭronoj de la striato ĝis la DA-neŭronoj. Dume, kiel sugestas la anatomia organizo (Haber et al., 2000; Haber, 2003), la potencigo de la DA-signalo por la najbara cortico-baza gangloba reto (la sekva nivelo en la hierarkio) povus esti efektivigita per malinhibitiaj projekcioj (te GABAergic-striataj projektaj neŭronoj al nigraj GABAerĝaj interneŭronoj al DA-neŭronoj). Tiel, la klera valoro de la limbika reto povas esti transdonita al la asocieca reto, permesante rafini kaj plifortigi kondutan adaptiĝon kun ĉiu ripeto (Ashby, 1960). Ĉi tiu modelo antaŭdiras, do, la progresan implikiĝon de malsamaj neŭtralaj retoj dum malsamaj stadioj de lernado, sugesto subtenata de diversaj datumoj (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt kaj Robbins, 2005; Yin kaj Knowlton, 2005; Belin kaj Everitt, 2008).

Fenomenoj, kiuj postulas la interagadon de malsamaj funkciaj procezoj, kiel ekzemple PIT, provizas fekundan testadon por modeloj de ĉi tiu speco. Efektive, la hierarkia modelo kongruas kun lastatempaj eksperimentaj trovoj pri PIT. Laŭ la modelo, Pavlovian-instrumentaj interagoj estas mediaciitaj de reciprokaj ligoj inter la striato kaj DA-neŭronoj. DA ŝajnas esti kritika por ĝenerala translokigo, kiu estas abolita de DA-antagonistoj kaj loka senaktivigo de la VTA.Dickinson et al., 2000; Murschall kaj Hauber, 2006); sed loka infuzaĵo de anfetamino, kiu supozeble pliigas DA-nivelojn, en la akbrunojn povas signife plifortigi ĝin (Wyvell kaj Berridge, 2000). Aliflanke, la rolo de ventra striatala dopamino en specifa translokigo estas malpli klara. Iuj indikaĵoj sugestas, ke ĝi povus esti ŝparita post neaktivigo de la VTA (Corbit et al., 2007) sed, kiel Corbit kaj Janak (2007) raportis lastatempe, specifa translokigo estas aboliciita per neaktivigo de la DLS, sugestante ke ĉi tiu aspekto de stimula kontrolo super agado selektado povus impliki la nigra merkaton projekcion (Corbit kaj Janak, 2007). Konsentante kun la hierarkia perspektivo, Corbit kaj Janak (2007) ankaŭ trovis ke, dum DLS-inaktivigo aboliciis la selekteman ekscitan efikon de Palovian-signallinioj (multe kiel estis observita post lezoj de akumbilaj ŝeloj de Corbit et al, 2001), inactivación De la DMS aboliciis nur la selectividad de la rezulto de la transporto dum ĝi aperas por antaŭgardi la ĝeneralan efekton excitatorio de ĉi tiuj signaloj, tendenco ankaŭ observita post lezoj de talamo mediodorsal, kiu estas parto de la reto de ganglioj asociados al la kortiko.Ostlund kaj Balleine, 2008). Surbaze de ĉi tiuj preparaj rezultoj, la DMS ŝajnas peras nur specifan translokigon, dum la DLS povus esti necesa por la specifaj kaj ĝeneralaj ekscitilaj efikoj de Pavloviaj atestoj pri instrumentaj agoj.

Interese, la limbika striatumprojektoj amplekse projektas al DA-ĉeloj kiuj projekcias la dorsan strionon (Nauta et al., 1978; Nauta, NENIU); la dopaminergiaj projekcioj al la striato kaj la striataj projekcioj reen al la meza cerbo estas tre nesimetriaj (Haber, 2003). La limbia striato ricevas limigitan enigon de DA neŭronoj kaj tamen sendas ampleksan produktaĵon al multe pli granda aro de DA neŭronoj, kaj la kontraŭo veras pri la sensorimotora striato. Tiel la limficaj retoj estas en perfekta pozicio por kontroli la asociajn kaj sensorimotorajn retojn. Ĉi tie la neŭronoanatomio konsentas kun kondutaj datumoj, ke la pavovana faciligado de instrumenta konduto estas multe pli forta ol la reverso; efektive, konsiderindaj pruvoj sugestas, ke instrumentaj agoj emas deteni, pli ol eksciti, Pavlovajn CR-ojn - trovon, kiu ankoraŭ atendas neŭobiologian klarigon (Ellison kaj Konorski, 1964; Williams, 1965).

konkludoj

La hierarkia modelo diskutita ĉi tie, oni notu, estas tre malsama de aliaj kiuj dependas ekskluzive de la kortekso kaj longdistancaj konektoj inter kortikaj areoj (Fuster, 1995). I inkluzivas la konatajn komponantojn kaj konekteblecon de la cerbo, anstataŭ vidi ĝin kiel potpourri de kortikaj moduloj kiuj, en iu nespecifa maniero, efektivigas larĝan gamon de kognaj funkcioj. I ankaŭ evitas supozojn hereditajn de 19th jarcenta neŭrologio, ke la cerba kortekso ĝenerale, kaj la antaŭfronta kortekso precipe, formas iel pli altan homunculan unuon, kiu regas la tutan cerbon. (Miller kaj Cohen, 2001).

Plue, kelkaj specifaj prognozoj povas esti derivitaj de la nuna modelo: (i) Devus esti malsamaj antaŭdiraj eraroj por mem-generitaj agoj kaj por ŝtatoj / stimuloj kun trajtoj reflektantaj siajn malsamajn neŭronajn substratojn kaj funkciajn rolojn. (ii) La palaj kaj talamaj komponentoj de ĉiu diskreta kortika-gangla reto ankaŭ estas atendataj necesaj por la tipo de konduta kontrolado hipotezita por ĉiu reto, ne nur la kortikaj kaj striaj komponantoj. (iii) Devus esti progresema implikiĝo de malsamaj neŭtralaj retoj dum malsamaj stadioj de lernado. (iv) Akumbensaktiveco povas rekte kontroli DA neŭronojn kaj, siavice, dors-striatala agado. Surbaze de raporto de Nederlando (2004) sugestante ke PIT pliiĝas kun instrumenta trejnado, ĉi tiu "limbic" -kontrolo de la asociaj kaj sensiotromotoraj retoj estas atendita plifortigi per ampleksa trejnado.

Sen detalaj datumoj, ankoraŭ tro frue estas por proponi formalan raporton pri la hierarkia modelo. Tamen, la pli supre diskuto devus klarigi, ke nunaj versioj de la mesoaccumbens rekompencas hipotezojn pri problemaj supozoj pri la naturo de la rekompencprocezo kaj la uzo de neadekvaj kondutaj mezuroj. Unuigaj principoj, ĉiam la celo de la scienca entrepreno, povas nur esti bazitaj sur la realeco de eksperimentaj datumoj, kiom ajn pezaj ĉi tiuj eble. Ĉar la funkcio de la cerbo estas, finfine, la generado kaj kontrolo de konduto, detala konduta analizo estos la ŝlosilo por kompreni neŭrunajn procezojn, multe kiel profunda priskribo de denaska kaj akirita imuneco permesas la klarigon de la imuna sistemo. Kvankam ŝajne falsaĵo, oni apenaŭ povas emfazi, ke ni povas kompreni cerbajn mekanismojn tiom, kiom iliaj funkcioj estas priskribitaj kaj mezuritaj kun precizeco. Kiam la studo de neŭrona funkcio estas bazita sur eksperimente establitaj psikologiaj kapacitoj, ekzemple la reprezentado de ago-rezulto kaj stimulo-rezulto, la konata anatomia organizo kaj ankaŭ fiziologiaj mekanismoj vidiĝas en nova lumo, kondukante al la formuladoj de novaj hipotezoj kaj la dezajno de novaj eksperimentoj. Kiel unua paŝo en ĉi tiu direkto, ni esperas, ke la kadro diskutita ĉi tie servos kiel komenca punkto por estonta enketo.

Dankojn

Ni ŝatus danki David Lovinger pro helpemaj sugestoj. HHY estis subtenita de la Divido de Entekstaj Klinikaj kaj Bazaj Esploroj de la NIH, NIAAA. SBO subtenas NIH-subvencio MH 17140 kaj BWB fare de NIH donas MH 56446 kaj HD 59257.

Referencoj

  1. KD de Adams. Variadoj en la sentemo de instrumenta respondo por plifortigi devaluadon. Kvaronjara revuo pri eksperimenta psikologio. 1982; 33b: 109-122.
  2. KD de Adams, Dickinson A. Responda instrumenta sekve plifortigas devaluadon. Kvaronjara Revuo de Eksperimenta Psikologio. 1981: 33: 109-122.
  3. Alexander GE, DeLong MR, Strick PL. Paralela organizado de funkcie apartigitaj cirkvitoj ligantaj bazajn ganglionojn kaj kortekso. Annu Rev Neurosci. 1986: 9: 357-381. [PubMed]
  4. Ashby WR. Dezajno por Cerbo. dua Eldono. Chapman & Hall; 1960.
  5. Atallah HE, Lopez-Paniagua D, Rudy JW, O'Reilly RC. Apartaj neŭraj substratoj por lerni lertecon kaj agadon en la ventra kaj dorsa striato. Nat Neurosci. 2007; 10: 126–131. [PubMed]
  6. Balleine BW. Procezoj de stimulado en instrumenta kondiĉado. En: Mowrer RR, Klein SB, redaktistoj. Manlibro de nuntempaj lernaj teorioj. Mahwah, NJ, Usono: Lawrence Erlbaum Associates, Inc., Eldonistoj; 2001. pp. 307-366.
  7. Balleine BW. Neŭrala bazo de serĉado de manĝaĵo: afekto, vekiĝo kaj rekompenco en kortiktaj trafalbaj cirkvitoj. Physiol Behav. 2005: 86: 717-730. [PubMed]
  8. Balleine BW, Dickinson A. Cel-direktita instrumenta ago: contingencia kaj stimula lernado kaj iliaj kortikaj substratoj. Neŭrofarmakologio. 1998: 37: 407-419. [PubMed]
  9. Balleine BW, Corbit LH. Lezoj de akcumbens-kerno kaj ŝelo produktas disociable-efikojn al la ĝeneralaj kaj rezultaj specifaj formoj de Palovian-instrumenta translokigo; Jara Kunveno de la Societo por Neŭroscienco; 2005.
  10. Balleine BW, Killcross S. Paralela elpensaĵa prilaborado: integra vido de amigdala funkcio. Tendencoj Neurosci. 2006: 29: 272-279. [PubMed]
  11. Belin D, Everitt BJ. Kokainaj Serĉado de Kutimoj dependas de Dopamina-Dependa Seria Konektebleco Liganta la Ventralon kun la Dorsa Striatumo. Neŭrono. 2008: 57: 432-441. [PubMed]
  12. Berke JD, Hyman SE. Dependeco, dopamino kaj molekulaj mekanismoj de memoro. Neŭrono. 2000: 25: 515-532. [PubMed]
  13. Berridge KC, Robinson TE. Kio estas la rolo de dopamino en rekompenco: hedona efiko, rekompenco lernado, aŭ stimula elfluo? Brain Res Brain Res Rev. 1998; 28: 309-369. [PubMed]
  14. Bolles R. Plifortigo, espero kaj lernado. Psikologia Revizio. 1972: 79: 394-409.
  15. Bruna J, Bullock D, Grossberg S. Kiel la bazaj ganglioj uzas paralelajn ekscitilajn kaj inhibiciajn lernejajn vojojn por elekti respondi al neatenditaj rekompencaj signaloj. J Neurosci. 1999: 19: 10502-10511. [PubMed]
  16. Bruna PL, Jenkins HM. Aŭtomate formi la ŝlosilon de la kolombo. Revuo por la Eksperimenta analizo de Konduto. 1968; 11: 1-8. [PMC libera artikolo] [PubMed]
  17. Cagniard B, Beeler JA, Britt JP, McGehee-DS, Marinelli M, Zhuang X. Dopameno skalo rezultigas mankon de nova lernado. Neŭrono. 2006: 51: 541-547. [PubMed]
  18. Kardinalo RN, Cheung TH. Kerno akuzas kernajn lezojn prokrastas instrumentan lernadon kaj agadon kun malfrua plifortikigo ĉe la rato. Neŭrozo BMC. 2005; 6: 9. [PMC libera artikolo] [PubMed]
  19. Kardinalo RN, Parkinson JA, Halo J, Everitt BJ. Emocio kaj instigo: la rolo de la amigdalo, ventra striato kaj prefrontala kortekso. Neŭroska Biobehav-Rev. 2002; 26: 321-352. [PubMed]
  20. Gaja JF, Aragona BJ, Heien ML, Seipel AT, Carelli RM, Wightman RM. Kunordigita akuma dopamina liberigo kaj neŭra aktiveco veturas cel-direktitan konduton. Neŭrono. 2007; 54: 237 – 244. [PubMed]
  21. Colwill RM, Rescorla RA. Asociaj strukturoj en instrumenta lernado. En: Bower G, redaktoro. La psikologio de lernado kaj instigo. New York: Akademia Gazetaro; 1986 pp 55 – 104.
  22. Korbitan LH, Balleine BW. La rolo de prelimbika kortekso en instrumenta kondiĉado. Behav Brain Res. 2003; 146: 145 – 157. [PubMed]
  23. Korbitan LH, Janak PH. Neaktivigo de la flanka sed ne mezaj dorsal striatumo forigas la ekscitan efikon de Pavloviaj stimuloj sur instrumenta respondado. J Neŭroscio. 2007; 27: 13977 – 13981. [PubMed]
  24. Korbitan LH, Muir JL, Balleine BW. La rolo de la kerno acumbens en instrumenta kondiĉado: Pruvo de funkcia dispartigo inter akcentaj kernoj kaj ŝelo. Revuo por Neŭroscienco. 2001; 21: 3251 – 3260. [PubMed]
  25. Korbitan LH, Muir JL, Balleine BW. Lezo de mediodorsal thalamo kaj antaŭaj talamaj kernoj produktas disigeblajn efikojn sur instrumenta kondiĉado en ratoj. Eur J Neurosci. 2003; 18: 1286 – 1294. [PubMed]
  26. Korbitan LH, Janak PH, Balleine BW. Ĝeneralaj kaj rezultaj specifaj formoj de Pavlovian-instrumenta translokigo: la efiko de movoj en instiga stato kaj senaktivigo de la ventra tegmenta areo. Eur J Neurosci. 2007; 26: 3141 – 3149. [PubMed]
  27. Costa RM, Cohen D, Nicolelis MA. Diferencia kortikostria plastikeco dum rapida kaj malrapida motora lernado en musoj. Curr Biol. 2004; 14: 1124 – 1134. [PubMed]
  28. Cragg SJ, Hille CJ, Greenfield SA. Funkciaj domajnoj en dorsa striatumo de la homa primato estas difinitaj per la dinamika konduto de dopamino. J Neŭroscio. 2002; 22: 5705 – 5712. [PubMed]
  29. Dalley JW, Laane K, Theobald DE, Armstrong HC, Corlett PR, Chudasama Y, Robbins TW. Temp-limigita modulado de apetita Pavloviana memoro per D1 kaj NMDA-receptoroj en la kerno accumbens. Proc Natl Acad Sci Usono A. 2005; 102: 6189 – 6194. [PMC libera artikolo] [PubMed]
  30. Davis J, Bitterman ME. Diferenca plifortigo de alia konduto (DRO): jugo-kontrolanta komparo. Ofurnalo de la Eksperimenta analizo de Konduto. 1971; 15: 237 – 241. [PMC libera artikolo] [PubMed]
  31. Tago JJ, Carelli RM. La kerno acumbens kaj Pavlovian rekompencas lernadon. Nekrologo. 2007; 13: 148 – 159. [PMC libera artikolo] [PubMed]
  32. Tago JJ, Wheeler RA, Roitman MF, Carelli RM. La neŭronoj de Nucleus accumbens kodas Pavlovianajn alproksimiĝajn kondutojn: evidenteco de aŭtosangula paradigmo. Eur J Neurosci. 2006; 23: 1341 – 1351. [PubMed]
  33. Tago JJ, Roitman MF, Wightman RM, Carelli RM. Asocia lernado mezuras dinamikajn ŝanĝojn en dopamina signalado en la kerno accumbens. Nat Neurosci. 2007; 10: 1020 – 1028. [PubMed]
  34. Dayan P, Balleine BW. Rekompenco, motivado kaj lernado de plifortigo. Neŭrono. 2002: 36: 285-298. [PubMed]
  35. Delgado MR, Stenger VA, Fiez JA. Motivaj dependaj respondoj en la homa kaŭda kerno. Cereba kortekso. 2004; 14: 1022 – 1030. [PubMed]
  36. Delgado MR, Miller MM, Inati S, Phelps EA. FMRI-studo de rekompenco-rilata probabla lernado. Neuroimage. 2005; 24: 862 – 873. [PubMed]
  37. Di Ciano P, Kardinalo RN, Cowell RA, Malgranda SJ, Everitt BJ. Diferenca implikiĝo de NMDA, AMPA / kainato kaj dopamina riceviloj en la kerno akcenta kerno en akirado kaj agado de pavloviana alproksimiĝa konduto. J Neŭroscio. 2001; 21: 9471 – 9477. [PubMed]
  38. Dickinson A. Agoj kaj kutimoj: disvolviĝo de kondutisma aŭtonomio. Filozofiaj Transakcioj de la Reĝa Societo. 1985; B308: 67 – 78.
  39. Dickinson A. Instrumenta Kondiĉado. En: Mackintosh NJ, redaktoro. Besto-Lernado kaj Sciiĝo. Orlando: Akademiano; 1994 pp 45 – 79.
  40. Dickinson A, Timiga MF. Apetitivaj-aversaj interagoj kaj inhibitivaj procezoj. En: Dickinson A, Boakes RA, redaktistoj. Mekanismo de lernado kaj instigo. Hillsadale, NJ: Lawrence Erlbaum Associates; 1979
  41. Dickinson A, Charnock DJ. Eventualaj efikoj kun konservita instrumenta plifortigo. Kvaronjara Revuo por Eksperimenta Psikologio. Kompara & Fiziologia Psikologio. 1985; 37: 397-416.
  42. Dickinson A, Balleine B. Agoj kaj respondoj: La duobla psikologio de konduto. En: Eilan N, McCarthy RA, et al., Redaktistoj. Spaca reprezentado: Problemoj en filozofio kaj psikologio. Malden, MA, Usono: Blackwell Publishers Inc .; 1993 pp 277 – 293.
  43. Dickinson A, Balleine B. La rolo de lernado en la funkciado de motivaj sistemoj. En: Pashler H, Gallistel R, redaktistoj. La manlibro de Steven pri eksperimenta psikologio (3a eld.), Vol. 3: Lernado, instigo kaj emocio. Novjorko, Novjorko, Usono: John Wiley & Sons, Inc .; 2002. pp 497-533.
  44. Dickinson A, Smith J, Mirenowicz J. Disiĝo de Pavloviano kaj instrumenta lernado de stimuliloj sub dopaminaj antagonistoj. Behav Neurosci. 2000; 114: 468 – 483. [PubMed]
  45. Dickinson A, Campos J, Varga ZI, Balleine B. Dudirekta instrumenta prepariteco. Kvaronjara Revuo por Eksperimenta Psikologio: Kompara & Fiziologia Psikologio. 1996; 49: 289-306. [PubMed]
  46. Ellison GD, Konorski J. Disiĝo de la salivaj kaj motoraj respondoj en instrumenta kondiĉado. Scienco. 1964; 146: 1071 – 1072. [PubMed]
  47. Everitt BJ, Robbins TW. Neŭralaj sistemoj de plifortigo por drogmanio: de agoj al kutimoj al devigo. Nat Neurosci. 2005; 8: 1481 – 1489. [PubMed]
  48. Faure A, Haberland U, Conde F, El Massioui N. Lesio al la nigrostriatala dopamina sistemo perturbas stimul-respondan kutiman formadon. J Neŭroscio. 2005; 25: 2771 – 2780. [PubMed]
  49. Fiorillo KD, Tobler PN, Schultz W. Diskreta kodigo de rekompenco kaj necerteco de dopamina-neŭronoj. Scienco. 2003; 299: 1898-1902. [PubMed]
  50. Fuster JM. Memoro en la cerba kortekso. Kembriĝo: MIT-gazetaro; 1995
  51. Gallistel CR, Fairhurst S, Balsam P. La lernada kurbo: implicoj de kvanta analizo. Proc Natl Acad Sci Usono A. 2004; 101: 13124 – 13131. [PMC libera artikolo] [PubMed]
  52. Iru Y, Graco AA. Dopaminergika modulado de limbika kaj kortika veturado de kerno accumbens en cel-direktita konduto. Nat Neurosci. 2005: 8: 805-812. [PubMed]
  53. Grace AA, Floresco SB, Goto Y, Lodge DJ. Reguligo de pafo de dopaminergiaj neŭronoj kaj kontrolo de cel-direktitaj kondutoj. Tendencoj Neŭrosci. 2007; 30: 220 – 227. [PubMed]
  54. Groenewegen HJ, Berendse HW, Wolters JG, Lohman AH. La anatomia rilato de la prefrontal-kortekso kun la striatopallida sistemo, la talamo kaj la amigdala: evidenteco por paralela organizo. Prog Brain Res. 1990; 85: 95 – 116. diskuto 116 – 118. [PubMed]
  55. Guthrie ER. La psikologio de lernado. Novjorko: Harpers; 1935
  56. Haber SN. Primataj bazaj ganglioj: paralelaj kaj integraj retoj. J Chem Neuroanat. 2003; 26: 317 – 330. [PubMed]
  57. Haber SN, Fudge JL, McFarland NR. Striatonigrostriataj vojoj en primatoj formas ascendan spiralon de la ŝelo ĝis la dorsolatera striato. J Neŭroscio. 2000; 20: 2369 – 2382. [PubMed]
  58. Hammond LJ. La efiko de kontento sur la apetita kondiĉado de libera-operantaj kondutoj. Revuo por la Eksperimenta Analizo de Konduto. 1980; 34: 297 – 304. [PMC libera artikolo] [PubMed]
  59. Haruno M, Kawato M. Heterarchical-plifortiga-lernada modelo por integriĝo de multoblaj kortikostriaj bukloj: fMRI-ekzameno en stimula agado-rekompenca asocio-lernado. Neŭra Reto. 2006a; 19: 1242 – 1254. [PubMed]
  60. Haruno M, Kawato M. Malsamaj neŭralaj korelacioj de rekompenco-atendo kaj rekompenco-eraro en la putamenaj kaj kaudaj kernoj dum asocia lernado de stimulo-agado-rekompenco. J Neŭrofiziol. 2006b; 95: 948 – 959. [PubMed]
  61. Haruno M, Kuroda T, Doya K, Toyama K, Kimura M, Samejima K, Imamizu H, Kawato M. Neŭrala korelacio de rekompenco-kondutisma lernado en kaŭda kerno: funkcia magneta resonanca bildiga studo de stokasta decida tasko. J Neŭroscio. 2004; 24: 1660 – 1665. [PubMed]
  62. Hernandez PJ, Sadeghian K, Kelley AE. Frua firmiĝo de instrumenta lernado postulas proteinan sintezon en la kerno accumbens. Nat Neurosci. 2002; 5: 1327 – 1331. [PubMed]
  63. Hernandez PJ, Andrzejewski ME, Sadeghian K, Panksepp JB, Kelley AE. AMPA / kainato, NMDA, kaj dopamino D1-ricevila funkcio en la kerno accumbens kerno: kunteksto-limigita rolo en la kodoprezento kaj firmigo de instrumenta memoro. Lernu Mem. 2005: 12: 285-295. [PMC libera artikolo] [PubMed]
  64. Hershberger WA. Aliro tra la spegulo. Besta Lernado kaj Konduto. 1986; 14: 443-451.
  65. Heyes CM, Dawson GR. Pruvo de observa lernado en ratoj uzante dudirektan kontrolon. La Kvaronjara Revuo pri Eksperimenta Psikologio. 1990; 42 (1): 59 – 71. [PubMed]
  66. Hikosaka O, Sakamoto M, Usui S. Funkciaj ecoj de simiaj kaŭdaj neŭronoj. III. Aktivecoj rilataj al atendo de celo kaj rekompenco. J Neŭrofiziol. 1989; 61: 814 – 832. [PubMed]
  67. Holland-komputilo. Rilatoj inter Pavloviana-instrumenta translokigo kaj plifortigo de malvaloriĝo. J Exp Psychol Anim Behav Procezo. 2004; 30: 104 – 117. [PubMed]
  68. Holland PC, Rescorla RA. La efiko de du manieroj devalorigi la senkondiĉan stimulon post kondiĉo de unua kaj dua ordo. J Exp Psychol Anim Behav Procezo. 1975; 1: 355 – 363. [PubMed]
  69. Hollerman JR, Tremblay L, Schultz W. Influo de rekompenca atendo sur neurona agado rilata al konduto en primata striatumo. J Neŭrofiziol. 1998; 80: 947 – 963. [PubMed]
  70. Houk JC, Adams JL, Barto AG. Modelo de kiel la bazaj ganglioj generas kaj uzas neŭrajn signalojn, kiuj antaŭdiras plifortigon. En: Houk JC, JD, DB, redaktoroj. Modeloj de informa prilaborado en la bazaj ganglioj. Kembriĝo, MA: MIT Press; 1995 pp 249 – 270.
  71. Hull C. Principoj de konduto. New York: Appleton-Century-Crofts; 1943
  72. Hyman SE, Malenka RC, Nestler EJ. Neŭraj mekanismoj de toksomanio: la rolo de rekompencita lernado kaj memoro. Annu Rev Neurosci. 2006; 29: 565-598. [PubMed]
  73. Jedynak JP, Uslaner JM, Esteban JA, Robinson TE. Struktura plasto de metamfetamino induktita en la dorsal-striatumo. Eur J Neurosci. 2007; 25: 847 – 853. [PubMed]
  74. Joel D, Weiner I. La organizo de la bazaj ganglioj-talamocortikaj cirkvitoj: malferma interligita prefere ol fermita apartigita. Neŭroscienco. 1994; 63: 363 – 379. [PubMed]
  75. Joel D, Weiner I. La ligoj de la dopaminergia sistemo kun la striatumo en ratoj kaj primatoj: analizo rilate al la funkcia kaj kupea organizo de la striato. Neŭroscienco. 2000; 96: 451 – 474. [PubMed]
  76. Jueptner M, Frith KD, Brooks DJ, Frackowiak RS, Passingham RE. Anatomio de motora lernado. II. Subkortikaj strukturoj kaj lernado per provo kaj eraro. J Neŭrofiziol. 1997a; 77: 1325 – 1337. [PubMed]
  77. Jueptner M, Stephan KM, Frith KD, Brooks DJ, Frackowiak RS, Passingham RE. Anatomio de motora lernado. I. Frontal-kortekso kaj atento al ago. J Neŭrofiziol. 1997b; 77: 1313 – 1324. [PubMed]
  78. Kanazawa I, Murata M, Kimura M. Roloj de dopamino kaj ĝiaj riceviloj en generacio de choreaj movadoj. Adv Neurol. 1993; 60: 107 – 112. [PubMed]
  79. Kawagoe R, Takikawa Y, Hikosaka O. Atendo de rekompenco modulas kognajn signalojn en la bazaj ganglioj. Nat Neurosci. 1998; 1: 411 – 416. [PubMed]
  80. Kimura M, Aosaki T, Ishida A. Neŭrofiziologiaj aspektoj de la diferencaj roloj de la putamenaj kaj kaŭdaj kernoj en libervola movado. Adv Neurol. 1993; 60: 62 – 70. [PubMed]
  81. Konorski J. Integra agado de la cerbo. Ĉikago: Universitato de Ĉikaga Gazetaro; 1967
  82. Lerchner A, La Camera G, Richmond B. Sciante sen fari. Nat Neurosci. 2007; 10: 15 – 17. [PubMed]
  83. Ljungberg T, Apicella P, Schultz W. Respondoj de simio-dopamino-neŭronoj dum lernado de kondutaj reagoj. J Neurophysiol. 1992: 67: 145-163. [PubMed]
  84. Lohrenz T, McCabe K, Camerer CF, Montague PR. Neŭra subskribo de fikciaj lernaj signaloj en sinsekva investa tasko. Proc Natl Acad Sci Usono A. 2007; 104: 9493 – 9498. [PMC libera artikolo] [PubMed]
  85. Lovibonda PF. Plifaciligo de instrumenta konduto per pavloviana apetita kondiĉita stimulo. J Exp Psychol Anim Behav Procezo. 1983; 9: 225 – 247. [PubMed]
  86. Mackintosh NJ. La psikologio de lernado de bestoj. Londono: Akademia Gazetaro; 1974
  87. Miller EK, Cohen JD. Integra teorio de prefrontala kortekso-funkcio. Annu Rev Neurosci. 2001: 24: 167-202. [PubMed]
  88. Miller R. Signifo kaj Intenco en la Intakta Cerbo. New York: Oxford University Press; 1981
  89. Miyachi S, Hikosaka O, Lu X. Diferenciala aktivado de simiaj striaj neŭronoj en la fruaj kaj malfruaj etapoj de proceda lernado. Exp Cerbo Res. 2002; 146: 122 – 126. [PubMed]
  90. Miyachi S, Hikosaka O, Miyashita K, Karadi Z, Rand MK. Malsamaj roloj de simia striato en lernado de sinsekva mano-movado. Exp Cerbo Res. 1997; 115: 1 – 5. [PubMed]
  91. Montague PR, Hyman SE, Cohen JD. Komputadaj roloj por dopamino en kondutisma kontrolo. Naturo. 2004; 431: 760 – 767. [PubMed]
  92. Morris G, Nevet A, Arkadir D, Vaadia E, Bergman H. Midbrain-dopaminaj neŭronoj kodas decidojn por estonta agado. Nat Neurosci. 2006; 9: 1057 – 1063. [PubMed]
  93. Murschall A, Hauber W. Senaktivigo de la ventra tegmenta areo aboliciis la ĝeneralan ekscitan influon de Pavloviaj kvereloj sur instrumenta agado. Lernu Mem. 2006; 13: 123 – 126. [PubMed]
  94. Nauta WJ, Smith GP, Faull RL, Domesick VB. Efektaj ligoj kaj nigraj aferentoj de la kerno accumbens septi en la rato. Neŭroscienco. 1978; 3: 385 – 401. [PubMed]
  95. Nauta WJH. Reciprokaj ligoj de la korpus striatum kun la cerba kortekso kaj lombika sistemo: Komuna substrato por movado kaj penso? En: Mueller, redaktoro. Neŭrologio kaj psikiatrio: renkontiĝo de mensoj. Bazelo: Karger; 1989 pp 43 – 63.
  96. Niv Y, Daw ND, Joel D, Dayan P. Tonic dopamine: ŝanco-kostoj kaj kontrolo de respondo-vigleco. Psikofarmakologio (Berl) 2007; 191: 507 – 520. [PubMed]
  97. O'Doherty J, Dayan P, Schultz J, Deichmann R, Friston K, Dolan RJ. Disociataj roloj de ventra kaj dorsa striato en instrumenta kondiĉado. Scienco. 2004: 304: 452-454. [PubMed]
  98. Ostlund SB, Balleine BW. Diferenca implikiĝo de la bazolateral amigdalo kaj mediodorsala talamo en instrumenta agada selektado. J Neŭroscio. 2008; 28: 4398 – 4405. [PMC libera artikolo] [PubMed]
  99. Parkinson JA, Willoughby PJ, Robbins TW, Everitt BJ. Malkombini la antaŭan cingulan kortekson kaj kernon acumbens malhelpas konduton Pavlovian alproksimiĝo: plua evidenteco por limviaj kortik-ventraj striatopalaj sistemoj. Behav Neurosci. 2000; 114: 42 – 63. [PubMed]
  100. Parkinson JA, Dalley JW, Cardinal RN, Bamford A, Fehnert B, Lachenal G, Rudarakanchana N, Halkerston KM, Robbins TW, Everitt BJ. Nucleus accumbens dopamine-malpliiĝo malhelpas ambaŭ akiron kaj plenumadon de apetita Pavloviana alproksimiĝa konduto: implicoj por mesoakumbensaj dopaminfunkcioj. Behav Brain Res. 2002; 137: 149 – 163. [PubMed]
  101. Paxinos G, Franklin K. La musa cerbo en stereotaksaj koordinatoj. New York: Akademia Gazetaro; 2003
  102. Peĉino S, Smith KS, Berridge KC. Hedonaj varmaj punktoj en la cerbo. Nekrologo. 2006; 12: 500 – 511. [PubMed]
  103. Pothuizen HH, Jongen-Relo AL, Feldon J, Yee BK. Duobla dispartigo de la efikoj de selektema kerno akuzas lezojn de kerno kaj ŝelo sur impulsema elekta konduto kaj saĝa lernado en ratoj. Eur J Neurosci. 2005; 22: 2605 – 2616. [PubMed]
  104. Rescorla RA. Probablo de ŝoko en ĉeesto kaj foresto de CS en timkondiĉo. J Comp Physiol Psychol. 1968; 66: 1 – 5. [PubMed]
  105. Rescorla RA. Kondutaj studoj pri Pavloviana kondiĉado. Annu Rev Neurosci. 1988; 11: 329 – 352. [PubMed]
  106. Rescorla RA, Salomono RL. Du-proceza lernadoteorio: rilatoj inter pavloviana kondiĉado kaj instrumenta lernado. Psychol Rev. 1967; 74: 151 – 182. [PubMed]
  107. Restle F. Diskriminacio de indikoj en labirintoj: rezolucio de la demando "loko-kontraŭ-respondo". Psikologia Recenzo. 1957; 64: 217. [PubMed]
  108. Reynolds JN, Wickens JR. Dopamina-dependa plasteco de kortikostriataj sinapsoj. Neŭra Reto. 2002; 15: 507 – 521. [PubMed]
  109. Rizo ME, Cragg SJ. Nikotino amplifas rekompenc-rilatajn dopaminajn signalojn en striato. Nat Neurosci. 2004; 7: 583 – 584. [PubMed]
  110. Rizo ME, Cragg SJ. Dopamina verŝado post kvanta liberigo: Repensado de dopamina transdono en la nigrostriatal vojo. Reviviĝo de Cerbo 2008 [PMC libera artikolo] [PubMed]
  111. Robinson S, Pluva Akvo A, Hnasko TS, Palmiter RD. Viral restarigo de dopamina signalado al dorsal striatum restarigas instrumentan kondiĉadon al dopamina-manka musoj. Psikofarmakologio (Berl) 2007; 191: 567 – 578. [PubMed]
  112. Roitman MF, Wheeler RA, Carelli RM. La neŭronoj de Nucleus accumbens estas perfekte agorditaj por rekompencaj kaj senpovaj gustaj stimuloj, kodigas siajn antaŭdirojn kaj estas ligitaj al motoro-eligo. Neŭrono. 2005; 45: 587 – 597. [PubMed]
  113. Samejima K, Ueda Y, Doya K, Kimura M. Reprezento de valor-specifaj rekompencaj valoroj en la striatumo. Scienco. 2005; 310: 1337 – 1340. [PubMed]
  114. Schultz W. La faza rekompenco-signalo de primataj dopaminaj neŭronoj. Adv-Farmakolo. 1998a; 42: 686 – 690. [PubMed]
  115. Schultz W. Antaŭdira rekompenca signalo de dopaminaj neŭronoj. J Neŭrofiziol. 1998b; 80: 1 – 27. [PubMed]
  116. Schultz W, Dayan P, Montague PR. Substara neŭtrala antaŭdiro kaj rekompenco. Scienco. 1997; 275: 1593-1599. [PubMed]
  117. Schwartz B, Gamzu E. Pavlovian-kontrolo de operantaj kondutoj. En: Honig W, Staddon JER, redaktistoj. Manlibro de agema konduto. Nov-Jerseyerzejo: Prentice Hall; 1977 pp 53 – 97.
  118. Sheffield FD. Rilato inter klasika kaj instrumenta kondiĉado. En: Prokasy WF, redaktoro. Klasika Kondiĉado. New York: Appleton-Century-Crofts; 1965 pp 302 – 322.
  119. Skinner B. La konduto de organismoj. New York: Appleton-Century-Crofts; 1938
  120. Smith-Roe SL, Kelley AE. Koincida aktivado de NMDA kaj dopamina D1-receptoroj en la kerno de la kerno de la kerno necesas por apetenta instrumenta lernado. J Neŭroscio. 2000; 20: 7737 – 7742. [PubMed]
  121. Sotak BN, Hnasko TS, Robinson S, Kremer EJ, Palmiter RD. Malreguligo de dopamina signalado en la dorsa striatumo malhelpas nutradon. Cerbo Res. 2005; 1061: 88 – 96. [PubMed]
  122. Spence K. La rolo de duaranga plifortigo en malfrua rekompenco-lernado. Psikologia Revizio. 1947; 54: 1 – 8.
  123. Spence K. Konduta teorio kaj lernado. Englewood Cliffs, NJ: Prentice-Hall; 1960
  124. Sutton RS, Barto AG. Plifortiga Lernado. Kembriĝo: MIT Press; 1998
  125. Swanson LW. Cerebra hemisfera regulado de instigita konduto. Cerbo Res. 2000; 886: 113 – 164. [PubMed]
  126. Taha SA, Kampoj HL. Kodigo de agrabla kaj apetita konduto de malsamaj neŭronaj populacioj en la kerno accumbens. J Neŭroscio. 2005; 25: 1193 – 1202. [PubMed]
  127. Taha SA, Kampoj HL. Inhibicioj de nukleaj akcentaj neŭronoj kodas katenan signalon por rekompenco-direktita konduto. J Neŭroscio. 2006; 26: 217 – 222. [PubMed]
  128. Thorndike EL. Besto-inteligenteco: eksperimentaj studoj. Nov-Jorko: Macmillan; 1911
  129. Tobler PN, Dickinson A, Schultz W. Kodigo de antaŭvidita rekompenca preterlaso de dopaminaj neŭronoj en kondiĉita inhibicia paradigmo. J Neŭroscio. 2003; 23: 10402 – 10410. [PubMed]
  130. Tobler PN, O'Doherty JP, Dolan RJ, Schultz W. Homa neŭrala lernado dependas de rekompencaj antaŭdiraj eraroj en la blokanta paradigmo. J Neŭrofiziolo. 2006; 95: 301-310. [PMC libera artikolo] [PubMed]
  131. Tobler PN, O'Doherty JP, Dolan RJ, Schultz W. Rekompensa valoro-kodo aparta de riska sinteno-rilata necerteco kodanta en homaj rekompencaj sistemoj. J Neŭrofiziolo. 2007; 97: 1621–1632. [PMC libera artikolo] [PubMed]
  132. Trapold MA, Overmier JB. Klasika Kondiĉado II: Nuna esplorado kaj teorio. Appleton-Century-Crofts; 1972 La dua lernadprocezo en instrumenta lernado; pp 427 – 452.
  133. Tricomi EM, Delgado MR, Fiez JA. Modulado de karesa agado per ago de ago. Neŭrono. 2004; 41: 281 – 292. [PubMed]
  134. Waelti P, Dickinson A, Schultz W. Respondoj pri dopaminoj plenumas bazajn supozojn de formala lernado teorio. Naturo. 2001: 412: 43-48. [PubMed]
  135. Blanka NM. Funkcia hipotezo pri la striaj matricoj kaj diakiloj: mediacio de SR-memoro kaj rekompenco. Vivscienco. 1989; 45: 1943 – 1957. [PubMed]
  136. Wickens JR, Budd CS, Hyland BI, Arbuthnott GW. Striaj kontribuoj al rekompenco kaj decidiĝo: kompreno pri regionaj variadoj en ripetita pretiga matrico. Ann NY Acad Sci. 2007; 1104: 192 – 212. [PubMed]
  137. Williams DR. Klasika kondiĉo kaj instiga instigo. En: Prokasy WF, redaktoro. Klasika Kondiĉado. New York: Appleton-Century-Crofts; 1965 pp 340 – 357.
  138. Williams DR, Williams H. Aŭtomanĝado en la kolombo: daŭra pekinado spite al kontingenta ne plifortikigo. Ofurnalo de la Eksperimenta analizo de Konduto. 1969; 12: 511 – 520. [PMC libera artikolo] [PubMed]
  139. Wiltgen BJ, Juro M, Ostlund S, Mayford M, Balleine BW. La influo de Pavloviaj kvereloj sur instrumenta agado estas mediaciita per agado de CaMKII en la striatumo. Eur J Neurosci. 2007; 25: 2491 – 2497. [PubMed]
  140. Wyvell CL, Berridge KC. Intra-accumbens amfetamino pliigas la kondiĉitan stimulan savon de sukrosa rekompenco: plibonigo de rekompenco "deziri" sen plibonigita "plaĉo" aŭ responda plifortigo. J Neŭroscio. 2000; 20: 8122 – 8130. [PubMed]
  141. Yin HH. Fako de psikologio. Los-Anĝeleso: UCLA; 2004 La rolo de la dorsstria strio en cel-direktitaj agoj.
  142. Yin HH, Knowlton BJ. Plifortiga malvalorigo neniigas kondiĉitan antaŭan preferon: evidenteco por asocioj de stimulo-stimulo. Behav Neurosci. 2002; 116: 174 – 177. [PubMed]
  143. Yin HH, Knowlton BJ. Kontribuoj de striktaj subregionoj por lerni lokon kaj respondon. Lernu Mem. 2004; 11: 459 – 463. [PMC libera artikolo] [PubMed]
  144. Yin HH, Knowlton BJ. Toksomanio kaj lernado. En: Stacy A, redaktoro. Manlibro pri implicita kogno kaj toksomanio. Mil Kverkoj: Saĝulo; 2005
  145. Yin HH, Knowlton BJ, Balleine BW. Lezoj de dorsolateral striatum konservas rezultan atendon sed malhelpas kutiman formadon en instrumenta lernado. Eur J Neurosci. 2004; 19: 181 – 189. [PubMed]
  146. Yin HH, Knowlton BJ, Balleine BW. Blokado de NMDA-riceviloj en la dorsomedia striato malhelpas agadon-rezultan lernadon en instrumenta kondiĉado. Eur J Neurosci. 2005a; 22: 505 – 512. [PubMed]
  147. Yin HH, Knowlton BJ, Balleine BW. Senaktivigo de dorsolatera striato plibonigas sentivecon al ŝanĝoj en la ago-rezulta kontanteco en instrumenta kondiĉado. Behav Brain Res. 2006a; 166: 189 – 196. [PubMed]
  148. Yin HH, Zhuang X, Balleine BW. Instrumenta lernado en hiperdopaminergaj musoj. Neurobiol Lernu Mem. 2006b; 85: 283 – 288. [PubMed]
  149. Yin HH, Ostlund SB, Knowlton BJ, Balleine BW. La rolo de la dorsomedia striato en instrumenta kondiĉado. Eur J Neurosci. 2005b; 22: 513 – 523. [PubMed]
  150. Zahm DS. Integra neuroanatomika perspektivo sur iuj subkortikaj substratoj de adapta respondo kun emfazo de la kerno accumbens. Neurosci Biobehav Rev. 2000; 24: 85 – 105. [PubMed]
  151. Zahm DS. La evoluanta teorio de baza antaŭcerbo funkcia-anatomiaj "makrosistemoj". Neurosci Biobehav Rev. 2005 [PubMed]