Atalgojuma vadīta mācīšanās ārpus dopamīna kodolkrāsās: kortiko-bazālo gangliju tīklu (2008) integrējošās funkcijas

Nesenajā literatūrā ir kļuvis parasta atrast monolītu jēdzienu „atlīdzība”, ko piemēro vienādi uz apetitīvu uzvedību, neatkarīgi no tā, vai apzīmēt kaut ko, kas ir labs organismam (parasti no eksperimenta viedokļa), vai izmantojami ar vecākiem terminiem, piemēram, “pastiprināšana” vai “stimuls”. Šādu situāciju veicina, ja ne pats rezultāts ir koncentrēšanās uz vienu neironu substrātu, lai “atalgotu”, kas ietver dopamīna (DA) izdalīšanos kodolkrāsās (Berke un Hyman, 2000; Grace et al., 2007).

Saikne starp mezoaccumbens ceļu un atalgojumu, kas atzīta pirms vairākiem gadu desmitiem, ir atjaunota ar jaunākiem pierādījumiem, ka fāziskā DA signāls kodē atalgojuma prognozēšanas kļūdu, kas, iespējams, kalpo kā mācību signāls asociācijas mācībās.g (Schultz et al., 1997). Saskaņā ar vispopulārāko interpretāciju, tāpat kā ir viens signāls par atlīdzību, tāpēc ir viens signāls par atalgojumu vadītu mācīšanos, kas šajā gadījumā nozīmē saikni starp stimulu un atalgojumu (Montague et al., 2004). Tomēr jautājums par to, kā šāda veida mācīšanās kontrolē adaptīvo uzvedību, ir atstāts novārtā; vienkārši tiek pieņemts, ka dopamīna signāls ir pietiekams gan paredzamajai mācīšanai, gan ar to saistītām nosacītām atbildēm, kā arī mērķtiecīgām darbībām, ko vada to saistība ar atlīdzību. Līdz ar to lielākajai daļai pētījumu atalgojuma un atkarības jomā galvenā uzmanība ir pievērsta DA signalizācijai un saistītajam plastiskumam mezoaccumbens ceļā (Berridge un Robinson, 1998; Hymans et al., 2006; Grace et al., 2007).

Šis viedoklis par atalgojuma procesu, kā tas arvien vairāk tiek atzīts (Cardinal et al., 2002; Balleine, 2005; Everitt un Robbins, 2005; Hymans et al., 2006), ir gan neatbilstoša, gan maldinoša. Tas ir nepietiekams, jo ne mērķtiecīgu darbību iegūšanu, ne izpildi nevar izskaidrot ar asociācijas procesiem, kas veicina mācīšanos un atalgojumu.. Turklāt tā ir maldinoša, jo ekskluzīva koncentrēšanās uz darbību mezoaccumbens ceļā, kas nav ne nepieciešama, ne pietiekama mērķtiecīgām darbībām, ir novirzījusi uzmanību no fundamentālākā jautājuma par to, kādas ir mērķtiecīgas darbības un kā tās tiek īstenotas smadzenēs. Patiešām, saskaņā ar konverģējošiem pierādījumiem, kas iegūti no dažādām eksperimentālām pieejām, tas, kas agrāk izrādījās vienīgais atlīdzības mehānisms, faktiski var ietvert vairākus procesus ar atšķirīgu uzvedības efektu un neironu substrātiem (Corbit et al., 2001; O'Doherty et al., 2004; Yin et al., 2004; Delgado et al., 2005; Yin et al., 2005b; Haruno un Kawato, 2006a; Tobler et al., 2006; Jedynak et al., 2007; Robinson et al., 2007; Tobler et al., 2007).

Šeit mēs cenšamies atklāt dažas no problēmām, kas saistītas ar pašreizējo mezoaccumbens modeli, un piedāvāt savā vietā atšķirīgu atalgojuma vadīšanas modeli. Mēs apgalvosim, ka striatums ir ļoti neviendabīga struktūra, ko var iedalīt vismaz četrās funkcionālajās jomās, no kurām katra darbojas kā centrs atsevišķā funkcionālā tīklā ar citiem kortikālo, talamisko, pallidālo un vidus smadzeņu komponentiem.. Šo tīklu integratīvās funkcijas, sākot no beznosacījumu reakciju radīšanas līdz mērķtiecīgu darbību kontrolei, var tikt atdalītas un pētītas, izmantojot mūsdienu uzvedības testus.

Prognozēšana un kontrole

Tiek uzskatīts, ka mezoaccumbens ceļš ir nepieciešams, lai iegūtu asociāciju starp atalgojumu un vides stimuliem, kas paredz šo atalgojumu. Piemēram, dažos eksperimentos, kuros pārbaudīja atalgojuma izraisīto DA šūnu fazisko aktivitāti, pērtiķiem tika apmācīti piesaistīt stimulus ar sulas piegādi (Waelti et al., 2001) un pēc tam reaģē uz stimulu ar nosacītu atbildi (CR) - līdzdalības licking. Mērkaķa licking varētu būt mērķtiecīgs, jo uzskata, ka ir nepieciešams iegūt sulu. Alternatīvi licking var izraisīt iepriekšējais stimuls, ar kuru saistās sulas. Kurš no šiem pērtiķu licking noteicošajiem faktoriem kontrolē uzvedību jebkurā konkrētā situācijā nav zināms priori, un to nevar noteikt ar virspusēju novērošanu; to var noteikt tikai ar šim nolūkam īpaši izstrādātiem testiem. Šie testi, kas ir izstrādāti daudzus gadu desmitus, veido galveno mūsdienu sasniegumu apguvi mācību un uzvedības pētījumā (Tabula 1). No šo testu izmantošanas, kas jāapspriež turpmāk, mēs tagad zinām, ka tāda pati uzvedības reakcija - vai tā ir ambulatorā pieeja, orientācija vai sviras nospiešana - var rasties no vairākām eksperimentāli sadalāmām ietekmēm.

  

Tabula 1

Atalgojuma vadīta mācīšanās

Tādējādi nejaušība pret centrālo neskaidrību faktiskajos uzvedības faktoros ir galvenā problēma, kas saistīta ar atalgojuma vadītas mācīšanās pašreizējo neiroloģisko analīzi. To saprast šīs problēmas nozīmīgumu, ir nepieciešams novērtēt atšķirības starp to, kā prognozējošā (vai pavloviešu) mācīšanās un mērķtiecīga (vai instrumentāla) mācīšanās kontrolē apetitīvu uzvedību. Patiešām, spriežot pēc tā, cik bieži šie divi procesi ir sajaukti literatūrā par atalgojumu, īss šīs atšķirības pārskats, šķiet, ir noderīgs sākumpunkts mūsu diskusijai.

Apetitārā Pavlovijas kondicionēšanā atlīdzība (ti, beznosacījumu stimuls vai ASV) ir savienota ar stimulu (nosacītu stimulu vai CS), neatkarīgi no dzīvnieka uzvedības, bet instrumentālajā mācīšanā atlīdzība ir atkarīga no dzīvnieku darbībām. Abās situācijās kritiskais jautājums tomēr ir tas, vai stimulu-atalgojuma asociācija vai rīcības atlīdzības asociācija kontrolē uzvedību.

Tik vienkārši, kā šķiet, šis jautājums jau vairākus gadu desmitus iznīcināja pētniekus lielā mērā tāpēc, ka uzvedības reakcijas šajās situācijās var izrādīties identiskas.

Līdz ar to nosacījuma atbildes (CR), ko kontrolē Pavlovijas stimulu-atalgojuma asociācija, bieži vien var būt par mērķi vērsta uz tām. Pat suņu siekalošanās, Pavlova sākotnējais CR, varētu būt radies viņa suņu kā apzināts mēģinājums atvieglot norīšanu. Tieši šī neskaidrības dēļ acīmredzamākais skaidrojums - proti, tas, ka Pavlovianā tiek apgūta stimulēšanas rezultāta asociācija, ir iemācījusies, savukārt instrumentālā kondicionēšanā tiek iemācīta darbības rezultāta asociācija - nespēja daudzus gadu desmitus iegūt lielu atbalstu (Skinner, 1938; Ešbijs, 1960; Bolles, 1972; Mackintosh, 1974). Neskatoties uz to, lai gan daudzi Pavlovijas CR ir autonomi vai patērējoši, citas CR, piemēram, pieejas uzvedība pret atalgojumu, nav tik ērti raksturotas (Rescorla un Solomon, 1967); tiešām, tos var viegli sajaukt ar instrumentālām darbībām (Brown un Jenkins, 1968; Williams un Williams, 1969; Schwartz un Gamzu, 1977). Tagad mēs zinām, ka, neskatoties uz virspusēju līdzību, Pavlovijas CR un mērķtiecīgi instrumentālie pasākumi atšķiras reprezentatīvajā struktūrā, kas kontrolē atbildes izpildi (Schwartz un Gamzu, 1977).

Tiešākais veids, kā noteikt, vai reakcijas izpildi veicina stimulu atlīdzība vai darbības atlīdzības asociācija, ir pārbaudīt konkrēto neparedzēto situāciju kontroli. Salivācijas piemērs šeit ir pamācošs. Šefīlda (1965) pārbaudīja, vai sāļošanās Pavlovijas kondicionēšanā tika kontrolēta ar tās saistībām ar atalgojumu vai stimulēšanas atlīdzības asociāciju. Savā eksperimentā suņi saņēma pāris starp toni un pārtikas atlīdzību (Šefīlda, 1965). Tomēr, ja suņi tonizē, tad pārtika netika piegādāta šajā izmēģinājumā. Šī vienošanās saglabāja Pavlovijas attiecības starp toni un pārtiku, bet atcēla jebkādu tiešu saikni starp siekalošanos un pārtikas piegādi. Ja siekalošanās bija darbība, ko kontrolē tās saistība ar pārtiku, tad suņiem būtu jābeidz salivācija - patiešām, viņiem nekad nav jāiegūst siekalošanās. Šefīlds konstatēja, ka skaidrs, ka Pavlovijas toni - pārtikas attiecības kontrolē siekalošanos CR. Vairāk nekā 800 toni - pārtikas pāru savienojumi, suņi ieguva un saglabāja siekalu tonusu, lai gan tas noveda pie tā, ka viņi zaudēja lielāko daļu pārtikas, ko viņi varēja iegūt, nesagraujot. Līdzīgi secinājumi tika izdarīti arī citiem pētījumos ar cilvēkiem (Pithers, 1985) un citiem dzīvniekiem (\ tBrown un Jenkins, 1968; Viljamss un Viljamss, 1969. gads; Holande, 1979); visos gadījumos šķiet, ka, neskatoties uz to lielo dažādību, Pavlovijas atbildes nekontrolē to saistība ar atalgojumu, ti, darbības rezultāts.

Termins "iespējamība" attiecas uz nosacītu saistību starp notikumu "A" un otru, "B", tā ka B rašanās ir atkarīga no A. Šāda veida attiecības var viegli pasliktināt, uzrādot B, ja nav A. Šī eksperimentālā manipulācija, ko dēvē par neparedzētu degradāciju, parasti tiek veikta, piedāvājot atlīdzību neatkarīgi no prognozējošā stimula vai darbības. Lai gan šī pieeja sākotnēji tika izstrādāta, lai izpētītu Pavlovijas kondicionēšanu (Rescorla, 1968), instrumentālā ārkārtas stāvokļa pasliktināšanās ir kļuvusi arī par \ tHammond, 1980). Kad šīs neparedzētās situācijas tiek tieši manipulētas, mācīšanās saturs tiek atklāts: piemēram, autošokā, Pavlovijas CR, kas ir slēpts kā instrumentāla darbība, tiek traucēta par Pavlovijas manipulācijām, nevis instrumentālā situācija (Schwartz un Gamzu, 1977).

Mērķtiecīgās instrumentālās darbības raksturo divi kritēriji: 1) jutīgums pret iznākuma vērtības izmaiņām un 2) jutīgums pret izmaiņām starp rīcību un iznākumu (Dickinson, 1985; Dickinson un Balleine, 1993). Jāpievērš uzmanība tikai jutīgumam pret rezultātu devalvāciju, nepietiek, lai raksturotu atbildi kā mērķtiecīgu, jo dažas Pavlovijas atbildes var būt arī jutīgas pret šo manipulāciju (Holande un Rescorla, 1975). Tomēr mērķtiecīgu instrumentālo darbību veikšana ir jūtīga arī attiecībā uz darbības rezultāta neparedzētības manipulācijām, bet Pavlovijas atbildes ir jutīgas pret stimulēšanas rezultāta iespējamību (Rescorla, 1968; Davis un Bitterman, 1971; Dickinson un Charnock, 1985). Tomēr svarīgs izņēmums ir ieradumu gadījumā (skat. Zemāk), kas ir daudz līdzīgāki Pavlovijas reakcijām to relatīvajā nejutīgumā pret instrumentālās situācijas izmaiņām, bet arī ir necaurlaidīgi rezultātu devalvācijai, jo rezultāts nav daļa no reprezentatīvās struktūras, kas kontrolē veiktspēju (sal. Dickinson, 1985 un tālāk tālākai diskusijai).

Rezumējot, ir ārkārtīgi svarīgi, lai konkrēta atbilde būtu skaidri definēta kontroles gadījuma termiņā, nevis atbildes formā vai uzvedības uzdevumā, kas izmantots tā izveidošanai. Neskatoties uz kontrolējošo neparedzēto situāciju konkrētā situācijā, gan uzvedība, gan neirālie procesi, kas atklāti, lai izplatītu uzvedību, varētu būt nepareizi raksturoti. Galu galā, kā mēs apgalvosim, uzvedību kontrolē faktiskās kontrolējošās neparedzētās situācijas, kas iegūtas, apgūstot un īstenojot atšķirīgas nervu sistēmas, lai gan tām var būt vienāds “galīgais kopējais ceļš”. Tādējādi galvenais uzdevums ir pārsniegt šķietamību, lai atklātu pamatā esošo neparedzēto situāciju kontroli (kopsavilkumu skatīt Tabula 1). Lai apgalvotu, ka specifiskas neironu struktūras mediē specifiskas psiholoģiskās spējas, piemēram, mērķtiecību, uzvedības stāvoklis jānovērtē ar atbilstošiem uzvedības testiem. Lai to izdarītu citādi, aicināt apjukumu, jo grupas apgalvo par atbilstošiem neironu noteicošajiem faktoriem, bet nespēj atzīt, ka viņu uzvedības uzdevumi varētu būt dažādu parādību mērīšana. Visbeidzot, vissvarīgākais ir tas, ko dzīvnieks faktiski mācās, nevis to, ko eksperts uzskata, ka dzīvnieks mācās, un to, ko dzīvnieks faktiski mācās, var atklāt tikai ar testiem, kas tieši nosaka mācīšanās saturu.

Pavlovijas instrumentālā atšķirība būtu bijusi triviāla, ja dzīvnieks spētu iemācīties to pašu (teikt saikni starp stimulu un atalgojumu) neatkarīgi no tā, kāds ir eksperimentālais režīms. Izmantojot mūsdienīgākos neirozinātnes pieejamos mācīšanās pasākumus, vienkārši nav iespējams pateikt. Tādējādi pētnieki bieži pieprasa pētīt mērķtiecīgu uzvedību, nepārbaudot, vai konkrētā rīcība ir vērsta uz mērķi. Lai gan tiek uzskatīts, ka dažādi mācīšanās veidi rodas, izmantojot dažādus “uzdevumus” vai “paradigmas”, pētnieki biežāk nesniedz pietiekamu pamatojumu saviem pieņēmumiem.

Klasisks piemērs šim jautājumam ir mazes izmantošana mācību mācīšanai. Viena no problēmām, kas saistītas ar labirints eksperimentiem un ar tiem saistītām pārbaudēm, piemēram, nosacītu vietu izvēli, ir grūtības eksperimentāli sadalīt Pavlovijas (stimula atlīdzības) un instrumentālās (rīcības atlīdzības) neparedzēto ietekmi uz uzvedību (Dickinson, 1994; Yin un Knowlton, 2002). Tādējādi, pārvietojoties T-labirintā, lai iegūtu pārtiku, varētu atspoguļot atbildes stratēģiju (pagriezieties pa kreisi) vai vienkārši nosacītu pieeju attiecībā uz dažiem ārkārtas labirints orientieriem, ko kontrolē pārtikas produktu asociācija (Restartējiet, 1957). Viens veids, kā pārbaudīt, vai pēdējam ir nozīme izpildījumā, ir apgriezt labirints; tagad atbildes dalībniekiem jāturpina vērsties pa kreisi, bet tiem, kas izmanto papildu labirintus, vajadzētu vērsties pa labi. Bet vai tie, kas turpina vērsties pa kreisi, tiešām izmanto atbildes stratēģiju, vai arī tie tikai tuvojas dažiem iekšienē-maze cue saistīts ar pārtiku? Nav vienkārši noskaidrot, ka parastās kontroles attiecībā uz Pavlovijas uzvedību nevar viegli pielietot labirints pētījumos. Viens no tiem, divvirzienu kontrole, nosaka, ka dzīvnieki var kontrolēt konkrētu reakciju, pieprasot mainīt šīs atbildes virzienu, lai nopelnītu atlīdzību (Hershbergers, 1986; Heyes un Dawson, 1990). Diemžēl labirintā atbildes maiņa joprojām var nebūt pietiekama, lai noteiktu mērķi kā mērķtiecīgu, jo maiņu var panākt, dzēšot esošās stimulēšanas un atalgojuma attiecības un aizstājot to ar citu. Piemēram, žurka, kas tuvojas konkrētai iekšējai labirintai, var apgrieztā laikā uzzināt, ka tas vairs nav savienots ar atalgojumu, bet ir kāds cits stimuls, kā rezultātā tiek iegūta pieeja CR pret jauniem stimuliem. Tādējādi viņi var acīmredzot mainīt savu atbildi, nekad nekodējot atbildes un atlīdzības kontingentu. Tā kā šo iespēju praksē nevar pārbaudīt, mazuļu izmantošana, vietu preferenču procedūras vai vienkāršie lokomotoriskie uzdevumi, lai izpētītu mērķa mācīšanās procesus, ir īpaši bīstami un, visticamāk, novedīs pie nepareiza procesa, kas kontrolē uzvedību, un jebkuras neironu specifiskās lomas. procesus, kas atklāti iesaistīti (Smith-Roe un Kelley, 2000; Hernandez et al., 2002; Atallah et al., 2007).

Nucleus accumbens nav nepieciešams instrumentālai mācīšanai

Pašreizējās uzvedības analīzes nepilnības kļūst īpaši skaidras, pētot kodolu. Daudzi pētījumi liecina, ka šī struktūra ir būtiska mērķtiecīgu darbību iegūšanai (Hernandez et al., 2002; Goto un Grace, 2005; Hernandez et al., 2005; Pothuizen et al., 2005; Taha un lauki, 2006; Atallah et al., 2007; Cheer et al., 2007; Lerchner et al., 2007). Taču šis secinājums ir izdarīts, pamatojoties galvenokārt uz rezultātiem, kas saistīti tikai ar snieguma izmaiņām, izmantojot uzdevumus, kuros neparedzētai rīcībai ir neskaidrība. Kaut arī novērojums, ka manipulācija traucē dažu uzvedības reakciju iegūšanai, varētu liecināt par mācīšanās deficītu, tās varētu arī atspoguļot ietekmi uz reakcijas uzsākšanu vai motivāciju. Piemēram, sviras nospiešanas samazināšanās bieži var atspoguļot ietekmi uz veiktspēju, nevis uz mācīšanos (Smith-Roe un Kelley, 2000). Iegādes līknes, kā jebkura mācību procesa nepilnīgi attēlotas, ir jāinterpretē piesardzīgi (Gallistel et al., 2004). Diemžēl atšķirība starp mācīšanos un sniegumu, iespējams, ir vecākā mācīšanās mācība, bieži tiek ignorēta.

Detalizētāka analīze liecina, ka accumbens nav ne nepieciešams, ne pietiekams instrumentālai mācīšanai. Acumbens apvalka bojājumi nemaina darbības jutīgumu pret rezultātu devalvāciju (de Borchgrave et al, 2002; Corbit et al., 2001) vai instrumentālo ārkārtas degradāciju (\ tCorbit et al., 2001), tā kā ir konstatēts, ka accumbens kodola bojājumi mazina jutību pret devalvāciju, neietekmējot žurku jutību pret instrumentālās situācijas selektīvu degradāciju (Corbit et al., 2001). Citi pētījumi, kas novērtē accumbens manipulāciju ietekmi uz jaunas reakcijas iegūšanu pētījumos ar nosacītu pastiprināšanu, konsekventi ir konstatējuši ietekmi uz atalgojumu, jo īpaši uzlabojot amfetamīna veiktspēju, bet ne par reakcijas iegūšanu pati par sevi (Parkinson et al, 1999). Tāpat arī kardināla un Cheunga sistemātiska izpēte neuzskatīja, ka akumbensu kodolu bojājumi ietekmētu sviras preses reakciju, izmantojot nepārtrauktu pastiprināšanas grafiku; zuduma iegūšana tika novērota tikai ar pastiprinātu pastiprināšanu (Kardināls un Cheungs, 2005).

Kaut arī accumbens nav kodējis instrumentālo iespējamo situāciju (Balleine & Killcross, 1994; Corbit, Muir & Balleine, 2001. gads), ievērojams pierādījums liecina, ka tam ir būtiska nozīme instrumentālajā darbībā sniegums, ko mēs tagad varam labāk definēt, ņemot vērā neseno darbu. Kā secināts vairākos pētījumos, accumbens ir izšķirošs noteiktiem apetītisku Pavlovianu kondicionēšanas veidiem, un starpniecību gan nespecifiskus ierosinošus efektus, kas var būt saistīti ar piemaksām, var ietekmēt instrumentālā veiktspēja, kā arī iznākumu specifiskās novirzes no atbildes izvēles. ar šādām norādēm. Kodola vai priekšējā cingulāta bojājumi, kas ir galvenais kodolu ievadīšanas kodols, vai atvienošanās starp šīm divām struktūrām, traucē Pavlovijas pieejas iegūšanu (Parkinsona et al., 2000). D1 līdzīga dopamīna receptoru antagonista vai NMDA glutamāta receptoru antagonista vietēja infūzija tūlīt pēc apmācības arī traucēja šo mācīšanās veidu, neietekmējot veiktspēju (Dalley et al., 2005). Šie dati piekrīt in vivo nervu darbība. Piemēram, Carelli un kolēģi konstatēja, ka neironi, kas atrodas akumbēnu kodolā, var sistemātiski mainīt savu darbību, mācoties par Pavlovijas autoskopēšanas uzdevumu (Day et al., 2006; Diena un Carelli, 2007).

Šķiet, ka neironi čaumalas reģionā ir pielāgoti atalgojumam un jutīgajiem stimuliem, pat pirms jebkādas mācīšanās pieredzes; tie spēj arī izstrādāt atbildes uz CS, kas paredz šos rezultātus (Roitman et al., 2005). Berridge un kolēģu darbs, ir izvirzījusi iespēju, ka dažus reģionus kodolkrāsas kodolā un pakārtotajā ventrālā pallidumā var raksturot kā “hedoniskus karstos punktus”. Šīs teritorijas tieši modulē beznosacījumu hedoniskas reakcijas uz atlīdzību, piemēram, garšas reaktivitāti. Piemēram, šajos reģionos opioīdu receptoru agonisti var ievērojami pastiprināt norīšanas garšas reaktivitāti pret saharozi. Tomēr tādi ļoti lokalizēti reģioni ir iestrādāti plašākos tīklos, kas neietekmē apetītisku uzvedību (Taha un lauki, 2005; Pecina et al., 2006; Taha un lauki, 2006).

Atšķirība starp serdeņu un čaumalu relatīvajām lomām šķiet attiecīgi viena no sagatavošanās un patēriņa apetitīvām uzvedībām, ko var viegli mainīt ar pieredzi, izmantojot atsevišķus Pavlovian kondicionēšanas veidus. Sagatavošanas atbildes, piemēram, pieeja, ir saistītas ar vispārējām emocionālajām iznākuma izpausmēm, savukārt patēriņa uzvedība ir saistīta ar specifiskākām sensoriskām īpašībām; tie ir arī atšķirīgi uzņēmīgi pret dažādiem CS veidiem, piemēram, sagatavošanas reakcijas ir vieglāk kondicionētas ar stimulu ar ilgu laiku (Konorski, 1967; Dickinson un Dearing, 1979; Balleine, 2001; Dickinson un Balleine, 2002).

Jebkurā gadījumā pierādījumi, kas pierāda, ka paviljoni dažos Pavlovijas kondicionēšanas aspektos, ir milzīgi. Tomēr tā nav vienīgā iesaistītā struktūra, un arī citi tīkli, piemēram, tie, kas saistīti ar dažādiem amigdaloīdiem kodoliem, spēlē centrālo lomu gan Pavlovijas sagatavošanās un patēriņa sastāvdaļās. (Balleine un Killcross, 2006).

Viena no funkcijām, kas nepārprotami ir attiecināma uz accumbens, ir Pavlovu iespaidu uz instrumentālo uzvedību integrācija. Pavlovijas CR, tostarp tās, kas atspoguļo centrālo motivācijas stāvokļu aktivizēšanos, piemēram, alkas un uzbudinājums, var spēcīgi ietekmēt instrumentālo darbību izpildi (Trapold un Overmier, 1972; Lovibond, 1983; Holande, 2004). Piemēram, CS, kas patstāvīgi prognozē pārtikas piegādi, var palielināt instrumentālo reakciju uz pašu pašu pārtiku. Šis efekts tiek plaši pētīts, izmantojot Pavlovijas instrumentālo pārneses paradigmu (PIT). PIT dzīvnieki saņem atsevišķas Pavlovijas un instrumentālās apmācības fāzes, kurās viņi patstāvīgi mācās piesaistīt biželei ar pārtiku un piespiest to pašu pārtiku. Tad zondes izmēģinājumos cue tiek attēlota ar pieejamo sviru, un tiek mērīts atbildes ātruma paaugstinājums CS klātbūtnē. Ir noteikti divi PIT veidi; viens ir saistīts ar atalgojumu saistītu norādījumu vispārējo izraisošo efektu un otro selektīvāku ietekmi uz izvēles sniegumu, ko rada prognozes statuss ar cieņu pret vienu konkrētu atlīdzību pretstatā citiem. Šim pēdējam iznākumam raksturīgajam PIT veidam ir nepieciešams akumbēnu apvalks, bet tas nav nepieciešams iepriekšējam, vispārīgākam veidojumam vai jutīguma pret rezultātu devalvācijai; turpretī akumbēnu kodola bojājumi mazina jutīgumu pret rezultātu devalvāciju un vispārējo PIT formu, bet atstāj neskartu rezultātu specifisku PIT (Corbit et al., 2001; (Balleine un Corbit, 2005).

Nesen veikts pētījums sniedza sīkāku ieskatu par akumbensu čaulas lomu iznākuma specifiskajā PIT (Wiltgen et al., 2007). Aktīvā kalcija / kalmodulīna atkarīgā proteīnkināzes II (CaMKII) kontrolēta ekspresija striatumā neietekmēja instrumentālo vai Pavlovu mācīšanos, bet atcēla konkrētu PIT. Šis PIT deficīts nebija pastāvīgs un to varēja atcelt, pārtraucot transgēnu izteiksmi ar doksiciklīnu, parādot, ka deficīts bija saistīts tikai ar sniegumu. Tāpēc mākslīgi uzlabojot CaMKII līmeni striatumā, tiek bloķēta konkrēta stimulu motivācijas pāreja no Pavlovijas līdz instrumentālajai sistēmai. Interesanti, ka CaMKII transgēna ieslēgšana arī samazināja neironu uzbudināmību apvalka korpusā, neietekmējot bazālo pārraidi vai sinaptisko spēku.

Dorsālais strijs

Dorsālo striatumu, kas pazīstams arī kā neostriatum vai caudate-putamen, saņem masveida prognozes no tā saucamā neokortex. To var tālāk iedalīt asociatīvā reģionā, kas grauzējiem ir vairāk mediāls un nepārtraukts ar vēdera striatumu, un sensorimotoru reģions, kas ir vairāk sānu (Groenewegen et al., 1990; Joel un Weiner, 1994). Kopumā dorsālo striatumu inervē DA šūnas no materiāla nigra pars compacta (SNc) un saņem tikai nelielas projekcijas no VTA DA neironiem (Joel un Weiner, 2000). Iepriekšējais darbs pie muguras striatuma galvenokārt koncentrējās uz tās lomu stimulēšanas reakcijas (SR) paradumu mācīšanā (Millers, 1981; Balta, 1989). Šis viedoklis ir balstīts uz spēkā esošajiem tiesību aktiem, saskaņā ar kuriem atlīdzība darbojas, lai nostiprinātu vai nostiprinātu SR saikni starp vides stimuliem un reakciju, kuras rezultātā tiek novērota tendence veikt šo atbildi šo personu klātbūtnē. stimuli (Thorndike, 1911; Korpuss, 1943; Millers, 1981). Līdz ar to tiek uzskatīts, ka kortikostriatāla ceļš veicina SR mācīšanos ar DA, kas darbojas kā pastiprinājuma signāls (Millers, 1981; Reynolds un Wickens, 2002).

SR modeļiem ir priekšrocība, ka tā ietver īslaicīgu noteikumu par mācīšanās tulkošanu izpildījumā. Pretstatā tam, kas balstīts uz gaidāmajām darbībām, kas ir saistītas ar rīcību, ir sarežģītāk, jo ticība „A pasākums noved pie rezultāta O” nav obligāti jāpārvērš darbībā (Guthrie, 1935; Mackintosh, 1974); šāda veida informāciju var izmantot gan, lai veiktu “A”, gan izvairītos no “A”. Šā iemesla dēļ tradicionālās teorijas izskaidroja acīmredzamāko skaidrojumu, proti, ka dzīvnieki var iegūt darbības iznākumu, kas vada izvēli. Tomēr pēdējās desmitgadēs spēkā esošais tiesību akts ir būtiski pārskatīts (Adams, 1982; Colwill un Rescorla, 1986; Dickinson, 1994; Dickinson et al., 1996). Tdaudzu pētījumu rezultāti ir parādījuši, ka instrumentālās darbības var būt patiesi mērķtiecīgas, ti, jutīgas pret atalgojuma vērtības izmaiņām, kā arī darbības cēloņsakarību. (skat. Dikinsons un Balleine, 1994; 2002; Balleine, 2001 pārskatīšanai). Tomēr, veicot plašas mācības pastāvīgos apstākļos, pat jaunizveidotās darbības var kļūt relatīvi automātiskas un stimulējošas - process, kas pazīstams kā ieraduma veidošanās (Adams un Dickinson, 1981; Adams, 1982; Yin et al., 2004). Šādi noteiktie paradumi, kurus automātiski izraisa iepriekšējie stimuli, netiek kontrolēti ar iznākumu vai reprezentāciju; tādējādi tie ir necaurlaidīgi attiecībā uz iznākuma vērtības izmaiņām. No šī viedokļa izriet, ka spēkā esošais likums ir īpašs gadījums, kas attiecas tikai uz ierasto rīcību.

Pašreizējā instrumentālās uzvedības klasifikācija to sadala divās klasēs. Tpirmajā klasē ietilpst mērķtiecīgas darbības, ko kontrolē instrumentālā situācija; otrā, pastāvīgā uzvedība, kas ir necaurlaidīga iznākuma vērtības izmaiņām (Tabula 1). Izmantojot uzvedības testus, piemēram, rezultātu devalvāciju un instrumentālo neparedzēto degradāciju, Yin et al noteica funkcionālo disociāciju starp dorsālā striatuma sensoru devēju (dorsolaterālo striatumu, DLS) un asociācijas reģioniem (dorsomedial striatum, DMS) (Yin un Knowlton, 2004; Yin et al., 2004, 2005a; Yin et al., 2005b; Yin et al., 2006a). DLS bojājumi traucēja ieradumu attīstību, kā rezultātā radās mērķtiecīgāks uzvedības kontroles veids. DMS bojājumiem ir pretējs efekts, kā rezultātā pāriet no mērķa uz parasto kontroli. Yin et al secināja, ka DLS un DMS var funkcionāli atdalīt no to atbalstāmo asociācijas struktūru veida: DLS ir būtisks ieraduma veidošanai, bet DMS ir būtiska mērķtiecīgu darbību iegūšanai un izteikšanai. Šī analīze paredz, ka noteiktos apstākļos (piem., Paplašinātā apmācība) darbību kontrole var pāriet no DMS atkarīgās sistēmas uz DLS atkarīgo sistēmu, un tas ir secinājums, kas plaši piekrīt ievērojamai literatūrai par primātiem, tostarp cilvēku neirofotografēšanai (Hikosaka et al., 1989; Jueptner et al., 1997a; Miyachi et al., 1997; Miyachi et al., 2002; Delgado et al., 2004; Haruno et al., 2004; Tricomi et al., 2004; Delgado et al., 2005; Samejima et al., 2005; Haruno un Kawato, 2006a, b; Lohrenz et al., 2007; Tobler et al., 2007). Protams, tas ir jāatcerascepure fiziskā atrašanās vieta (piemēram, muguras vai vēdera dobuma) vien nevar būt uzticams ceļvedis, lai salīdzinātu grauzēju striatumu un primātu striatumu; šādi salīdzinājumi jāveic piesardzīgi, pēc rūpīgas anatomiskās savienojamības izvērtēšanas.

Dorsālo striatālu bojājumu ietekmi var salīdzināt ar accumbens bojājumu ietekmi (Smith-Roe un Kelley, 2000; Atallah et al., 2007). Kā jau minēts, standarta testi, lai noteiktu uzvedību kā “mērķtiecīgu”, ir iznākuma devalvācija un darbības rezultāta situācijas pasliktināšanās (Dickinson un Balleine, 1993). DMS bojājumi padara uzvedību nejutīgu pret abām manipulācijām (Yin et al., 2005b), turpretim acumbens kodola vai korpusa bojājumi nav \ tCorbit et al., 2001). Turklāt šo uzvedības testu zondes pārbaudes parasti tiek veiktas izmiršana bez prezentācijas par atlīdzību, lai novērtētu, ko dzīvnieks ir iemācījies bez piesārņojuma ar jaunu mācīšanos. Tādējādi tie tieši nosaka reprezentatīvās struktūras kontroli. Kā papildu eksperimentāla kontrole bieži vien ir lietderīgi veikt atsevišķu devalvācijas testu, kurā tiek sniegtas atlīdzības - tā sauktā „apbalvotā pārbaude”. DMS bojājumi neatcēla jutīgumu pret rezultātu devalvāciju par atalgoto testu, kā tas būtu sagaidāms, jo devalvēta rezultāta nodrošināšana, kas atkarīga no darbības, var apturēt darbību neatkarīgi no darbības rezultātu kodēšanas. No otras puses, akumbena čaulas bojājumi neietekmēja jutīgumu pret iznākuma devalvāciju ne ekstinkcijas testā, ne atalgojuma testā, turpretim accumbens galvenie bojājumi abos testos atcēla jutīgumu pret devalvāciju.Corbit et al., 2001). Jebkurš bojājums neietekmēja jutīgumu pret neparedzētu degradāciju, pierādot, ka pēc accumbens bojājumiem žurkas varēja kodēt un iegūt darbības rezultātu reprezentācijas.

Dopamīna loma: mezolimbisks pret nigrostriatālu

Kopš vadošajiem pētījumiem par DA neironu fāzisko aktivitāti pērtiķiem, vispārējs pieņēmums šajā jomā ir tas, ka visas DA šūnas darbojas pēc būtības tādā pašā veidā (Schultz, 1998a; Montague et al., 2004). Tomēr pieejamie dati, kā arī anatomiskā savienojamība liecina citādi. Faktiski iepriekš minēto funkcionālās neviendabīguma analīzi striatumā var attiecināt arī uz DA šūnām vidus smadzenēs.

DA šūnas var iedalīt divās galvenajās grupās: VTA un substia nigra pars compacta (SNc). Lai gan projekcija no VTA uz accumbens ir bijis uzmanības centrā, kas saistīta ar atalgojumu saistītu mācīšanos, daudz masīvāks nigrostriatāla ceļš ir bijis salīdzinoši atstāts novārtā, pievēršot uzmanību galvenokārt tās lomai Parkinsona slimībā. Pašreizējā domāšana par lomu DA mācīšanās procesā lielā mērā ir ietekmējis priekšlikums, ka DA šūnu fāziskā aktivitāte atspoguļo atalgojuma prognozes trūkumur (Ljungberg et al., 1992; Schultz, 1998b). In visbiežāk sastopamais Pavlovijas kondicionēšanas uzdevums, ko izmanto Schultz un kolēģi, šie neironi ugunsgrēka gadījumā atbild par atlīdzību (ASV), bet, mācoties, ASV izraisītā darbība tiek pārcelta uz CS. Kad ASV pēc mācīšanās ir izlaista, DA šūnas uzrāda īsu aktivitātes samazināšanos gaidāmajā tās piegādes laikā (Waelti et al., 2001; Fiorillo et al., 2003; Tobler et al., 2003). Šādi dati veido dažādu skaitļošanas modeļu pamatu (Schultz et al., 1997; Schultz, 1998b; Brown et al., 1999; Montague et al., 2004).

Ņemot vērā sintēzes un atbrīvošanās mehānismu kontroles līmeņus, DA neironu izspiešanu nevar pielīdzināt DA izdalīšanai, lai gan varētu sagaidīt, ka šie divi pasākumi ir ļoti savstarpēji saistīti. Patiešām, kā liecina nesenais Carelli un kolēģu pētījums, izmantojot ātrās skenēšanas ciklisko voltammetriju, faktiskā DA izlaide accumbens kodolā, šķiet, ir saistīta ar prognozēšanas kļūdu apetitārā Pavlovijas kondicionēšanā (Day et al., 2007). Viņi atrada fazisko DA signālu akumensu kodolā uzreiz pēc saharozes atlīdzības saņemšanas Pavlovijas autoskopē. Pēc paplašinātās Pavlovijas kondicionēšanas šis signāls vairs netika atrasts pēc paša atalgojuma, bet tā vietā tika pārvietots uz CS. Šis secinājums atbalsta sākotnējo “prognozēšanas kļūdu” hipotēzi. Tas atbilst arī agrākam darbam, kas liecina par Pavlovian CR darbības traucējumiem pēc DA receptoru antagonisma vai DA izsīkuma accumbens kodolā (Di Ciano et al., 2001; Parkinsona et al., 2002). Tomēr viens pētījuma novērojums ir jauns un ļoti interesants: pēc paplašinātas kondicionēšanas ar CS +, kas prognozē atalgojumu un CS-, kas neparedz atlīdzību, līdzīgs, kaut arī mazāks DA signāls tika novērots arī pēc CS-, lai gan pēc sākotnējā maksimuma (500 ~ 800 milisekundes pēc izejas sākuma) tas arī nedaudz pazemināja (Diena un citi, 2007, 4 attēls). Šajā mācīšanās stadijā dzīvnieki gandrīz nekad nenonāk pie CS−, bet konsekventi vēršas pie CS +. Tādējādi fāziskā DA signāls uzreiz pēc prognozētāja var nebūt cēloņsakarīga, veidojot pieejas reakciju, jo tas ir pat atbildes neesamības gadījumā. Nav skaidrs, vai šāds signāls joprojām ir nepieciešams, lai apgūtu stimulu-atalgojuma kontingentu, bet novērotā fāziskā reakcija uz CS− noteikti nav paredzama nevienā no esošajiem modeļiem.

Interesanti, ka vietējā DA izsīkšana pasliktina šī uzdevuma izpildi (Parkinsona et al., 2002). Kamēr pēc CS−, kas vispār nerada CR, tiek novērots fāzisks DA signāls, gan fāziskā, gan toniskā DA atcelšana pēc vietējā izsīkuma samazina CR darbību. Šāds modelis liek domāt, ka fāziskā DA signāls aklānos nav vajadzīgs Pavlovijas CR izpildei, bet tam var būt nozīme mācīšanās procesā, bet lēnāka, tonizējošāka DA signāla (iespējams, izsīkuma pētījumos atcelta) nozīme ir lielāka. atbildes reakcija (Cagniard et al., 2006; Yin et al., 2006b; Niv et al., 2007). Šī iespēja vēl jāpārbauda.

Lai gan nav tiešu pierādījumu par fāziskās DA signāla cēloņsakarību mācībās, “prognozēšanas kļūdas” hipotēze tomēr ir piesaistījusi lielu uzmanību, jo tieši mācīšanās signāla veids tiek izmantots svarīgos mācību modeļos, piemēram, Rescorla-Wagner modeli un tā reālā laika paplašināšanu, laika atšķirību pastiprināšanas mācīšanās algoritmu (Schultz, 1998b). Saskaņā ar šo interpretāciju ēstgribīgo mācīšanos nosaka atšķirība starp saņemto un gaidāmo atalgojumu (vai starp divām laika secīgām atalgojuma prognozēm). Šādu mācību signālu regulē negatīva atgriezeniskā saite no visiem atlīdzības prognozētājiem (Schultz, 1998b). Ja pēc prognozētāja netiks gūta atlīdzība, tad negatīvās atgriezeniskās saites mehānisms tiek atkaulots kā DA neironu aktivitātes kritums. Tādējādi mācīšanās ietver prognozēšanas kļūdas pakāpenisku samazināšanu.

Mācību signāla elegance šajos modeļos, iespējams, ir novirzījusi dažus no anatomiskās realitātes. Pētījumā Diena un citi (2007)DA signāls accumbens galvenokārt nāk no VTA šūnām, bet šķiet maz ticams, ka citas DA šūnas ar pilnīgi atšķirīgu anatomisko savienojumu parādītu tādu pašu reakcijas profilu un nodrošinātu to pašu signālu. DA šūnu signāla gradients ir ticamāks, jo DA šūnas projicē dažādus striatāla reģionus ar pilnīgi atšķirīgām funkcijām un savukārt saņem atšķirīgus negatīvus atgriezeniskās saites signālus arī no dažādiem striatāla reģioniem (Joel un Weiner, 2000; Wickens et al., 2007). Arī uzņemšanas un noārdīšanās mehānismi, kā arī presinaptīvie receptori, kas regulē dopamīna izdalīšanos, arī ievērojami atšķiras no striatuma (Cragg et al., 2002; Rīsi un Cragg, 2004; Wickens et al., 2007; Rīsi un Cragg, 2008).

Tāpēc mēs ierosinām, ka mezoaccumbens ceļš spēlē mazāku lomu Pavlovijas mācībās, iegūstot valstu un stimulu vērtību, savukārt nigrostriatāla ceļš ir svarīgāks instrumentālai mācībai, darbību vērtību iegūšanai. Tcepure ir, fāziskā DA signāls var šifrēt dažādas prognozēšanas kļūdas, nevis atsevišķu prognozēšanas kļūdu, kā pašlaik tiek pieņemts. Šo argumentu apstiprina trīs pierādījumu rindas. Pirmkārt, DA ģenētiskais izsīkums nigrostriatāla ceļā pasliktina instrumentālo darbību iegūšanu un izpildi, bet DA izzušana mezolimbiskā ceļā nav (Sotak et al., 2005; Robinson et al., 2007). Otrkārt, DA šūnas SNc var kodēt darbību vērtību, kas ir līdzīga šūnām to mērķa striatāla reģionā (Morris et al., 2006). Treškārt, selektīvais nigrostriatālās projekcijas bojājums uz DLS pasliktina ieradumu veidošanos (Faure et al., 2005).

Pēdējais Palmitera un kolēģu darbs parādīja, ka ar ģenētiski modificētu DA deficītu pelēm ir būtiski traucēta instrumentālā mācīšanās un veiktspēja, bet to veiktspēju var atjaunot vai nu ar L-DOPA injekciju, vai ar vīrusa gēnu pārnesi uz nigrostriatāla ceļu (Sotak et al., 2005; Robinson et al., 2007). Turpretim DA atjaunošana vēdera strijā nebija nepieciešama, lai atjaunotu instrumentālo uzvedību. Kaut arī DA signāli ļauj instrumentālai mācībai palikt atklāts jautājums, viena acīmredzama iespēja ir tā, ka tā varētu kodēt pašpasāktās darbības vērtību, ti, cik daudz atalgojuma tiek prognozēts, ņemot vērā konkrētu darbības virzienu.

Dorsālās striatums kopumā satur visaugstāko DA receptoru ekspresiju smadzenēs un saņem visdažādāko dopamīnerģisko projekciju. DA projekcijai uz DMS var būt atšķirīga loma mācībās, nevis prognozēšanā uz DLS, jo šie divi reģioni ievērojami atšķiras DA atbrīvošanas, uzņemšanas un degradācijas laikā.Wickens et al., 2007). Mēs hipotētiski, ka DA projekcija uz DMS no mediālā SNc ir izšķiroša darbības rezultātu apguvei, turpretim DA projekcija uz DLS no sānu SNc ir būtiska ieraduma veidošanai. Ja tā ir taisnība, ir jārēķinās ar to, ka DA šūnas SNc kodē kļūdu atalgojuma prognozēšanā, pamatojoties uz pašu radītajām darbībām - instrumentālo prognozēšanas kļūdu - nevis uz CS. Iepriekšējie pierādījumi, kas pamato šo apgalvojumu, ir iegūti no Morris et al nesen veiktā pētījuma, kas ierakstīts no SNc neironiem instrumentālā mācību uzdevuma laikā (Morris et al., 2006). Pērtiķiem tika apmācīti pārvietot rokas, reaģējot uz diskriminējošu stimulu (S^D), kas norādīja uz atbilstošu kustību un atlīdzības varbūtību. S^D izraisīja fazisko aktivitāti DA neironos, kas atbilst darbības vērtībai, pamatojoties uz paredzamās konkrētās darbības atalgojuma varbūtību. Interesanti, ka DA atbilde uz S^D palielinājās ar darbības vērtību, apgrieztā vērtība bija patiesa DA atbildei uz pašu atalgojumu, kas atbilst idejai, ka šie neironi kodē prognozes kļūdu, kas saistīta ar šo vērtību. Nav pārsteidzoši, ka šo šūnu primārajam striatāla mērķim - caudāta kodolam - ir zināmi neironi, kas kodē darbības vērtības (Samejima et al., 2005). Tomēr jāatzīmē, ka šajā pētījumā neizmantoja uzvedības uzdevumus, kas nepārprotami novērtē darbību vērtību. Skaidra prognoze par mūsu modeli ir tā, ka faziskā DA darbība papildinās darbību izpildi pat tad, ja nav skaidras S^D. Piemēram, mēs prognozējam nigrālo DA neironu sprādziena aizdegšanos laikā, kad tika uzsākta paša iniciatīva, iegūstot atlīdzību.

Pēc mūsu domām, tā kā mesoaccumbens DA signāls atspoguļo CS vērtību, nigrostriatāla signāls, iespējams, no tiem neironiem, kas projicē DMS, atspoguļo pašas darbības vērtību, vai jebkuru S^D kas paredz šo vērtību. Turklāt šķiet, ka gan instrumentālā, gan pavloviešu mācīšanās ietver kaut kādu negatīvu atgriezenisko saiti, lai kontrolētu efektīvu mācību signālu. Faktiski tiešās prognozes no striatuma līdz vidus smadzeņu DA neironiem (Skaitlis 2) jau sen ir ierosināts kā šāda veida negatīvās atsauksmes neironu ieviešana (Houk et al., 1995), un inhibējošā ievades stiprums un raksturs dažādos reģionos var ievērojami atšķirties.

  

Skaitlis 2

Cortico-basal gangliju tīkli

Prognozēšanas kļūda saskaņā ar pašreizējiem modeļiem ir mācību signāls, kas nosaka, cik daudz mācīšanās notiek. Kamēr mācība turpinās, mācības turpinās. Tomēr acīmredzams, ka šis apgalvojums šķiet, ka prognozes kļūda darbības vērtībai, kaut arī sintaktiski līdzīga Pavlovijas prognozēšanas kļūdai, ir unikāla iezīme, kas nav plaši pārbaudīta. Tradicionālajos modeļos, piemēram, Rescorla-Wagner modelī, kas attiecas tikai uz Pavlovijas kondicionēšanu (lai gan ar ierobežotu panākumu), galvenā iezīme ir negatīvā atgriezeniskā saite, kas regulē prognozēšanas kļūdu. Šī izeja atspoguļo iegūto prognozi, konkrētāk - summa no visiem pašreizējiem prognozētājiem, ko uztver savienojumu stimuli, ko parasti izmanto eksperimentu \ tRescorla, 1988). Tas ir šo pieejamo prognozētāju apkopojums, lai izveidotu globālu kļūdas terminu, kas ir galvenais šīs klases klases jauninājums. Instrumentālām darbībām tomēr šķiet, ka individuālie kļūdu termini ir visticamāk, jo ir grūti saprast, kā negatīvā atgriezeniskā saite vienlaikus parādītu vairāku darbību vērtību, kad vienlaicīgi var veikt tikai vienu darbību. Protams, pastāv vairāki iespējamie risinājumi. Piemēram, ņemot vērā konkrētu stāvokli (eksperimentāli īstenots ar atšķirīgu S^D), iespējamos rīcības kursus patiešām varētu pārstāvēt vienlaikus kā iegūtās prognozes. Taču galvenās grūtības, kas saistītas ar instrumentālās prognozēšanas kļūdām, ir saistītas ar pašas darbības raksturu. Pavlovijas prognoze automātiski seko stimulam, kas ir neatkarīgs no organisma. Instrumentālajai prognozēšanas kļūdai ir jārisina kontroles elements, jo prognozēšana pati par sevi ir kontingenta, un apzināta rīcība tiek spontāni emitēta, pamatojoties uz dzīvnieku darbības sekām, nevis izraisot iepriekšējos stimulus. Galu galā tieši neirozinātnes un psiholoģijas mērķtiecīgu darbību spontāna rakstura vispārēja nolaidība, kas ir neskaidra atšķirība starp Pavlovijas un instrumentālo mācību procesiem un iesaistīto prognozēšanas kļūdu raksturu. Tāpēc vēl jānosaka, kāda veida negatīvās atgriezeniskās saites signāls, ja tāds ir, regulē darbības vērtību iegūšanu (Dayan un Balleine, 2002).

Visbeidzot, nesenais darbs ir saistīts arī ar nigrostriatāla projekciju no sānu SNc uz DLS, īpaši ieradumu veidošanā. Faure et al selektīvi bojāja DA šūnas, kas projicēja DLS, izmantojot 6-OHDA, un konstatēja, ka šai manipulācijai ir pārsteidzoši maza ietekme uz sviras nospiešanas ātrumu, lai gan tas traucēja ieradumu veidošanu, mērot ar rezultātu devalvāciju (Faure et al., 2005). Tas nozīmē, ka bojāti dzīvnieki reaģēja mērķtiecīgi, lai gan kontroles grupā apmācība radīja ierasto uzvedību, kas nejutīga pret rezultātu devalvāciju. Tātad vietējā DA izsīkšana ir līdzīga DLS eksitotoksiskiem bojājumiem, jo ​​gan manipulācijas kavē ieradumu veidošanos, gan veicina mērķtiecīgu darbību iegūšanu (Yin et al., 2004). Fasisko DA signālu, kas ir būtisks ieraduma veidošanai, jau labi apraksta efektīvais pastiprinājuma signāls mūsdienu laika atšķirību pastiprināšanas mācīšanās algoritmos, kas iedvesmojušies no Hullas un Spences darba.Korpuss, 1943; Spence, 1947, 1960; Sutton un Barto, 1998).

Cortico-basal gangliju tīkli

Līdz šim mēs esam apsprieduši funkcionālo neviendabīgumu striatumā, tomēr būtu maldinoši apgalvot, ka jebkura striatāla zona varētu, piemēram, iztulkot darbības rezultātu kontingentu darbības izpildē. Gluži otrādi, smadzeņu puslodes tiek organizētas kā iterējošas funkcionālās vienības, kas sastāv no kortiko-bazālo gangliju tīkliem (Swanson, 2000; Zahm, 2005). Tviņš striatums, kas ir visu bazālo gangliju ieejas stacija, kalpo kā unikāls centrālais kora-bazālā gangliju tīkla motīvs, kas spēj integrēt kortikālo, talamisko un vidus smadzeņu ieejas. Kā aprakstīts iepriekš, lai gan tas ir nepārtraukta struktūra, dažādi striatāla reģioni, šķiet, piedalās atsevišķos funkcionālos tīklos, piemēram, accumbens darbojas kā centrs limbiskajā tīklā un DLS sensorimotor tīklā. Šādu tīklu reentrants īpašums tomēr nevienā no šīs struktūras sastāvdaļām nav augšup vai lejup pa absolūtā nozīmē; piem., talamokortikālā sistēma ir gan avota avots striatum, gan gan striato-pallīdu, gan striato-nigrāla ceļš.

Kaut arī paralēlas grīdlīstes bazālās gangliju cilpas jau sen ir atzītas (Alexander et al., 1986), mēs uzsveram šo ķēžu atšķirīgās funkcionālās lomas, kas balstītas uz operacionāli definētām reprezentatīvām struktūrām un uz ķēdes mijiedarbību, veidojot integrējošu uzvedību. Pamatojoties uz to, var saskatīt vismaz četrus šādus tīklus: limbiskos tīklus, kas saistīti ar attiecīgi korpusa korpusu un kodolu, asociācijas tīklu, kas ietver asociācijas striatumu (DMS), un sensorimotoru tīklu, kas ietver sensorimotor striatum (DLS). Viņu funkcijas ir no apetitāru Pavlovu UR un CR kontrolēšanas līdz instrumentālām darbībām (Skaitlis 1).

  

Skaitlis 1

Striatuma galvenās funkcionālās jomas. Striatuma ilustrācija no koronālas daļas, kurā redzama puse smadzeņu (Paxinos un Franklin, 2003). Ņemiet vērā, ka šīs četras funkcionālās jomas ir anatomiski nepārtrauktas un aptuveni atbilst tam, ko ...

Kā jau minēts, vēdera striatums sastāv galvenokārt no kodola accumbens, ko var tālāk iedalīt čaumalā un kodolā, katrs piedaloties atsevišķā funkcionālā tīklā. Kortikālās (glutamatergiskās) projekcijas uz korpusu rodas no infralimbiskām, centrālām un sānu orbitālām spraugām, savukārt projekcijas uz kodolu rodas no dorkajiem viduslīnijas reģioniem, kas ir prefrontāla garozā, piemēram, vēdera un muguras prelimbiskā un priekšējā cingulārā cortices (Groenewegen et al., 1990; Zahm, 2000, 2005). Šajos funkciju tīklos iepriekš apskatītie pierādījumi liecina, ka apvalks ir iesaistīts UR, lai gūtu atlīdzību un iegūtu patērējošās CR; pētnieciskās uzvedības kodols, jo īpaši Pavlovijas pieejas reakciju iegūšana un izpausme. Vismaz divus lielākos tīklus var atklāt plašākā ventrālā vai limbiskā cortico-bazālā gangliona tīklā, vienu par patēriņa un otru sagatavošanas uzvedību un to pārveidošanu ar Pavlovianu kondicionēšanu (Skaitlis 1).

Arī muguras striatumu var iedalīt vismaz divos galvenajos reģionos, asociācijas un sensorimotoros, ar atšķirīgu funkcionālu tīklu, kas saistīts ar katru no tiem. Asociatīvais striatums (caudāts un priekšējo putamen daļas primātos) satur neironus, kas aizdegjas, gaidot atbildes reakcijas atlīdzības un mainot to šaušanu atbilstoši paredzamās atlīdzības lielumam (Hikosaka et al., 1989; Hollerman et al., 1998; Kawagoe et al., 1998). Asociatīvajā tīklā prefrontālās un parietālās asociācijas sporas un to mērķis DMS ir iesaistītas pārejošā atmiņā, gan perspektīvā, gan kā rezultāta gaidas, gan retrospektīvā veidā, kā pēdējo efektu kopijas (Konorski, 1967). Savukārt sensorimotora līmenis ietver sensorimotoru korpusus un to mērķus bazālajā ganglijā. Šīs ķēdes izejas ir vērstas uz motoru korpusiem un smadzeņu cilmes mehāniskajiem tīkliem. Neirālo aktivitāti sensorimotora strijā parasti neietekmē atalgojuma gaidas, parādot lielāku ar kustību saistītu aktivitāti nekā neitoni asociācijas striatumā (Kanazawa et al., 1993; Kimura et al., 1993; Costa et al., 2004). Visbeidzot, papildus vidējam un sāniskam gradientam ir ievērojama funkcionāla neviendabība gar muguras striatuma priekšējo-aizmugurējo asi, lai gan pašlaik nav pieejami pietiekami dati, lai varētu veikt detalizētu klasifikāciju (Yin et al., 2005b).

Līdz šim pētījumi ir vērsti tikai uz šo tīklu kortikālo un striatālo sastāvdaļu. Kopumā kortikālo zonu bojājumiem ir līdzīga ietekme kā tās striatāla mērķa bojājumiem (Balleine un Dickinson, 1998; Corbit un Balleine, 2003; Yin et al., 2005b). Bet citi tīkla komponenti varētu izmantot līdzīgas funkcijas. Piemēram, tika konstatēts, ka thalamus mediodorsālā kodola bojājumi, kas ir asociācijas tīkla sastāvdaļa, atceļ jutību pret rezultātu devalvāciju un ārkārtas degradāciju, tāpat kā bojājumus DMS un prelimbiskajai garozai (Corbit et al., 2003). Tādējādi, lai gan mūsu vispārējais modelis prognozē līdzīgus uzvedības deficītus pēc katra tīkla komponenta bojājuma, tas arī liek domāt, ka jebkurai konkrētai struktūrai, piemēram, pallidumam vai talamam, ir vairākas funkcionālas domēni.

Mijiedarbība starp tīkliem

Vairumā gadījumu šķiet, ka Pavlovijas un instrumentālā mācīšanās notiek paralēli. Tomēr tādi fenomeni kā PIT parāda, cik lielā mērā šie citādi atšķirīgi procesi var mijiedarboties. Izstrādājot neatkarīgas funkcionālās sistēmas, nākamais solis ir saprast, kā šīs sistēmas tiek koordinētas, lai radītu uzvedību. Viens pievilcīgs priekšlikums, kas atbilst nesenajam anatomiskajam darbam, ir tas, ka iepriekš minētie tīkli ir hierarhiski organizēti, katrs kalpo kā labils, funkcionāls starpnieks hierarhijā, ļaujot informācijai izplatīties no viena līmeņa uz otru. Konkrēti, nesen atklātie spirāles savienojumi starp striatumu un vidus smadzenēm liecina par anatomisku organizāciju, kas var potenciāli īstenot mijiedarbību starp tīkliem (Skaitlis 2). Kā novēroja Haber un kolēģi, striatāla neironi sūta tiešas inhibējošās projekcijas uz DA neironiem, no kuriem viņi saņem savstarpējas DA projekcijas, kā arī projektē DA neironus, kas savukārt projektē uz citu striatālu zonu (Haber et al., 2000). Šīs prognozes ļauj informācijas izplatīšanu uz priekšu tikai vienā virzienā, no limbiskajiem tīkliem līdz asociatīvajiem un sensorimotoru tīkliem. Piemēram, Pavlovijas prognoze (iegūtā CS vērtība) varētu samazināt efektīvu mācību signālu limbiskā līmenī, vienlaikus nejauši pastiprinot DA signālu nākamajā līmenī. Efektīva mācību signāla atcelšanu parasti īsteno ar negatīvu atgriezeniskās saites signālu, izmantojot inhibējošu projekciju, piemēram, no GABAerg vidēja mēroga projekcijas neironiem no striatuma līdz DA neironiem. Tikmēr, kā to ierosina anatomiskā organizācija (Haber et al., 2000; Haber, 2003), DA signāla stiprināšana blakus esošajā koriālā bazālā gangliju tīklā (nākamais hierarhijas līmenis) var tikt īstenota ar disinhibitīvām projekcijām (ti, GABAergisko striatālu projekcijas neironiem uz nigrālajiem GABAergiskajiem interneuroniem uz DA neironiem). Tādējādi limbiskā tīkla apgūtā vērtība var tikt pārcelta uz asociācijas tīklu, ļaujot pielāgot uzvedību katrai iterācijai (Ešbijs, 1960). Tāpēc šis modelis paredz dažādu neironu tīklu pakāpenisku iesaistīšanos dažādos mācību posmos, kas balstās uz dažādiem datiem (Jueptner et al., 1997b; Miyachi et al., 1997; Miyachi et al., 2002; Yin, 2004; Everitt un Robbins, 2005; Yin un Knowlton, 2005; Belin un Everitt, 2008).

Tādas parādības, kas prasa atšķirīgu funkcionālo procesu, piemēram, PIT, mijiedarbību, nodrošina auglīgu pārbaudes modeli šāda veida modeļiem. Patiešām, hierarhiskais modelis atbilst nesenajiem eksperimentālajiem konstatējumiem par PIT. Saskaņā ar modeli Pavlovijas instrumentālo mijiedarbību veic savstarpējas saiknes starp striatuma un DA neironiem. DA, šķiet, ir būtiska vispārējai pārnešanai, kuru atceļ DA antagonisti un vietējā VTA inaktivācija (Dickinson et al., 2000; Murschall un Hauber, 2006); tā kā vietējā amfetamīna infūzija, kas, iespējams, palielina DA līmeņus, var ievērojami palielināt to skaitu (Wyvell un Berridge, 2000). No otras puses, ventrālā striatāla dopamīna loma konkrētā pārnešanā ir mazāk skaidra. Daži pierādījumi liecina, ka pēc VTA inaktivācijas tas varētu būt iztērēts.Corbit et al., 2007), bet, kā Corbit un Janak (2007) nesen ziņots, ka DLS inaktivācija atceļ specifisku pārnesi, liekot domāt, ka šis stimulu kontroles aspekts darbības atlasē var ietvert nigrostriatāla projekciju (Corbit un Janak, 2007). Vienojoties ar hierarhisko perspektīvu, Corbit un Janak (2007) turklāt konstatēja, ka, lai gan DLS inaktivācija atcēla selektīvo palovijas norādījumu eksitējošo iedarbību (daudz, kā tas tika novērots pēc akumbēnu apvalka bojājumiem, Corbit et al., 2001), DMS inaktivācija atcēla tikai pārejas rezultātu selektivitāti, vienlaikus saglabājot šo signālu vispārējo ierosinošo efektu, tendenci novēroja arī pēc mediodorsālās talamjas bojājumiem, kas ir daļa no asociācijas cortico-basal gangliju tīkla (Ostlund un Balleine, 2008). Pamatojoties uz šiem provizoriskajiem rezultātiem, DMS, šķiet, ir starpnieks tikai konkrētai pārsūtīšanai, bet DLS varētu būt nepieciešams gan Pavlovijas norādījumu specifiskajam, gan vispārīgajam ierosinošajam efektam par instrumentālajām darbībām.

Interesanti, ka limbiskā striatuma projekti lielā mērā attiecas uz DA šūnām, kas atrodas pie muguras stresa (Nauta et al., 1978; Nauta, 1989); dopamīnerģiskie izvirzījumi uz striatumu un striatāla izvirzījumi atpakaļ uz vidus smadzeņu ir ļoti asimetriski (Haber, 2003). Limbiskais striatums saņem ierobežotu ieeju no DA neironiem, bet nosūta plašu izvadi daudz lielākam DA neironu komplektam, un pretējs ir sensimotora striatum. Tādējādi limbiskie tīkli ir ideāli piemēroti, lai kontrolētu asociācijas un sensoru tīklus. Šeit neuroanatomija piekrīt uzvedības datiem, ka Pavlovijas instrumentālās uzvedības veicināšana ir daudz spēcīgāka par pretējo; patiešām, ievērojami pierādījumi liecina, ka instrumentālas darbības mēdz kavēt, nevis satraukt Pavlovijas CR - konstatējumu, kas joprojām gaida neirobioloģisku skaidrojumu (Ellisons un Konorski, 1964; Williams, 1965).

secinājumi

Šeit aplūkotais hierarhiskais modelis, jāatzīmē, ir ļoti atšķirīgs no citiem, kas balstās tikai uz garozas un garo attālumu starp kortikālo zonu (Fuster, 1995). Tā ietver zināmās smadzeņu sastāvdaļas un savienojamību, nevis to aplūko kā kortikālo moduļu podri, kas zināmā mērā neīsteno plašu kognitīvo funkciju klāstu. Tas arī ļauj izvairīties no pieņēmumiem, kas pārmantoti no 19^th gadsimta neiroloģija, ka smadzeņu garoza kopumā un jo īpaši prefrontālā garoza kaut kādā veidā veido „augstāku” homocitālo vienību, kas kontrolē visu smadzenes (Miller un Cohen, 2001).

Turklāt no pašreizējā modeļa var atvasināt vairākas specifiskas prognozes: (i) Jābūt atšķirīgām prognozēšanas kļūdām paša radītajām darbībām un stāvokļiem / stimuliem ar īpašībām, kas atspoguļo to dažādos nervu substrātus un funkcionālās lomas. (ii) Paredzams, ka katra diskrētā kortiko-bazālā gangliona tīkla palidīdie un talamiskie komponenti būs nepieciešami katram tīklam hipotēzes uzvedības kontroles veidam, ne tikai attiecībā uz kortikālo un striatālu komponentiem. (iii) Dažādās mācīšanās stadijās pakāpeniski jāiesaista dažādi neironu tīkli. (iv) Accumbens aktivitāte var tieši kontrolēt DA neironus un, savukārt, dorsālo striatālu darbību. Pamatojoties uz Holland (2004) liekot domāt, ka PIT palielinās ar instrumentālo apmācību, ir sagaidāms, ka asociācijas un sensorimotoru tīklu “limbiskā” kontrole pastiprināsies ar paplašinātu apmācību.

Bez detalizētiem datiem vēl ir pāragri piedāvāt oficiālu pārskatu par hierarhisko modeli. Tomēr iepriekš minētajā diskusijā būtu skaidri jānorāda, ka pašreizējās mezoaccumbens atlīdzības hipotēzes versijas balstās uz problemātiskiem pieņēmumiem par atalgojuma procesa raksturu un nepietiekamu uzvedības pasākumu izmantošanu. Principu apvienošana, vienmēr zinātniskā uzņēmuma mērķis, var būt balstīta tikai uz eksperimentālo datu realitāti, tomēr tie var būt grūti. Tā kā smadzeņu funkcija galu galā ir uzvedības radīšana un kontrole, detalizēta uzvedības analīze būs atslēga, lai izprastu neironu procesus, tāpat kā pilnīgs iedzimtas un iegūtās imunitātes apraksts ļauj noteikt imūnsistēmu. Lai gan šķietami truisms, diez vai var pārspīlēt, ka mēs varam saprast smadzeņu mehānismus tādā mērā, ka to funkcijas ir aprakstītas un izmērītas precīzi. Ja neironu funkcijas izpēte ir balstīta uz eksperimentāli nostiprinātām psiholoģiskām spējām, piemēram, darbības rezultātu un stimulu iznākuma attēlošana, zināmā anatomiskā organizācija, kā arī fizioloģiskie mehānismi ir redzami jaunā gaismā, kas noved pie jaunu formulējumu formulējuma. hipotēzes un jaunu eksperimentu izstrāde. Kā pirmais solis šajā virzienā mēs ceram, ka šeit aplūkotā sistēma būs noderīgs sākumpunkts turpmākai izmeklēšanai.

Pateicības

Atsauces