Den kliniska relevansen av neuroplasticitet i kortikostriatala nätverk under operantinlärning (2013)

Gå till:

Abstrakt

Operativ inlärning är en av de mest elementära formerna för beteendets anpassning (Rescorla, 1994). Genom utbyte med sin miljö kan ett djur lära sig om konsekvenserna av sina handlingar och därigenom modifiera den nuvarande miljön genom nya beteenden för att skapa gunstigare förhållanden (Skinner, 1953). Den resulterande förändringen i beteende är dramatisk och långvarig. Vissa forskare har hävdat att operant lärande är grunden för "kunskap" (Schnaitter, 1987) kan ligga till grund för "kreativitet" (Pryor et al., 1969), ligger till grund för beslutsfattandet och bidrar till drogmissbrukets otänkbara karaktär. Eftersom organismernas beteende förändras av reaktionsavvikelser, aktiveras fysiologiska mekanismer som säkerställer att dessa förändringar blir nästan permanenta. de är "stämplade i", som Thorndike hypoteser (Thorndike, 1911). Även Skinner ansåg att reaktionsresultatet förändrade oss: "Män agerar på världen och ändrar det och är ändrats i sin tur av följderna av deras handlingar. "(Skinner, 1957, sid. 1).

Mot bakgrund av den operativa beteendeförhållandena i våra psykologiska liv har neurobiologin för operant inlärning (dvs. det initiala förvärvet av ett operantrespons) fått förvånansvärt lite uppmärksamhet jämfört med andra grundläggande inlärningsprocesser såsom rumslig inlärning (t.ex. Morris Water Maze) eller Pavlovian rädsla konditionering. Ändå anses operativa relationer vara på jobbet nästan varje ögonblick i våra liv och i många framstående neuropsykiatriska tillstånd: drogmissbruk, autism och andra allvarliga problembeteenden. I den här granskningen lyfter vi fram de senaste två decennierna av Ann Kelleys forskarkarriär, när hon eftersträvade en större förståelse för neurobiologin för operant inlärning med hopp om att de molekylära, cellulära och genomiska beståndsdelarna i operant inlärning, instanserade i distribuerade nätverk, skulle informera bättre behandlingsalternativ.

Kostsamma beteendehälsoproblem och operativt beteende

Drogmissbruk är ett av de mest skadliga, recalcitrant och kostsamma beteendemässiga hälsoproblemen i USA, och verkligen världen. Misbruk av droger i detta land kostar en beräknad $ 484 miljard årligen i hälsoproblem, olyckor, förlorat arbete och försäkringspremier (Policy, 2001). Det uppskattas också att 540,000-personer dör varje år från narkotikarelaterade sjukdomar. Dessa uppskattningar inkluderar inte de icke-monetära eller indirekta psykosociala kostnaderna som betalas av föräldrarna¹, makar, syskon, vänner och vårt samhälle i allmänhet. Det är troligt att varje medborgare i denna nation har påverkats negativt av missbruk och missbruk på något sätt (t.ex. som offer för kriminellt beteende, en bilolycka eller genom en familjemedlems handlingar). Narkotikamissbruk ses alltmer i termer av grundläggande förändringar i kognitioner och beteenden, med tonvikt på att relatera till missbrukarnas kompulsiva natur till patologiska förändringar i besluts- och känslokodningsnätverk (Everitt et al., 2001). Således kan en bättre förståelse av operant inlärningssystem förbättra vår förståelse för den neurala orsaken till missbruk.

Enligt Centers for Disease Control (CDC) har 1 i 88-barn identifierats som autism (Kontroll, 2012). Autismspektrumstörningar (ASD) påverkar individer från alla etniska bakgrunder och socioekonomiska nivåer. ASD kan visa sig vara mycket försvagande och kräver sannolikt livslång vård till stora kostnader för samhället (> $ 3,000,000 per person) (Ganz, 2007). På senare tid har tillämpat beteendeanalys (ABA) och vissa derivat (t.ex. Denver Start Model), som betonar dynamiskt och flexibelt akademiskt, socialt och kommunikativt beteende, visat att otroliga vinster är möjliga med tidig intensiv behandling (Sallows och Graupner, 2005, Dawson et al., 2010, Warren et al., 2011). Dessa modeller har varit så framgångsrika att många barn som diagnostiserats med ASDs senare kallas "oskiljaktiga" från sina kamrater. Vissa uppskattar att 40-50% av barn som diagnostiserats med autism är fullständigt återställbara (McEachin et al., 1993). Dessutom har den överväldigande framgången med ABA-terapi vid behandling av autism lett till den allmänna idén att det är synonymt med autismsterapi (Dillenburger och Keenan, 2009), mycket till missbruk av utövare, för att nämna några, av organisationsbeteendehantering (OBM), kliniskt beteendeanalys och djurutbildning; yrken som använder beteendeanalys tillämpad på situationer inte involverar autism. Av intresse här är det faktum att de flesta ABA-principerna är baserade på modern operantori och experimentell analys av beteende: utvärdering av möjliga etablering av verksamheter, identifiering av följdfunktionerna för olämpligt beteende, förstärkning av gott beteende, bestraffning av oönskade beteenden och bedömning av dessa relationer i en större socioekonomiskt sammanhang (t.ex. beteendeekonomi). Baer, ​​Wolf och Risley (1968) definierar i sitt huvudämne på ABA ett tydligt förhållande mellan operantteori och ABAs konceptuella system, även om en fullständig översyn av det här dokumentet ligger utanför ramen för denna nuvarande granskning. På grund av att ASD: s etiologi i stor utsträckning betraktas som neurogenetisk, och mot bakgrund av den framträdande rollen som operantbeteendet spelar för lärande och terapi gentemot ASD, kan en större förståelse för neurobiologin av operantbeteende hjälpa våra överväganden om ASD.

Begreppet "allvarligt problembeteende" omfattar ett brett spektrum av problem från skolbullning till extrem självskada. Svåra problembeteenden kan visas av vanligt utvecklande barn, men är vanligare hos barn med utvecklings- och / eller intellektuella funktionshinder. Svåra problembeteenden skapar väsentliga sociala och pedagogiska hinder för individer på grund av deras intensitet och uppenbar oförutsägbarhet. Behandling kan innebära uppsägningar från skolan, placering i speciella miljöer, engagemang i straffrättssystemet, fängelse eller institutionalisering. Snarare än att betrakta dessa mönster som "maladaptiva" eller "olämpliga", ser psykologer och utbildare nu många av dessa problembeteenden som funktionella. Med andra ord, när de betraktas som operantbeteende, kan de förstärkande händelserna som främjar dessa allvarliga beteendeproblem bestämmas, bedömas och ändras. På grund av dessa problemas farliga natur och intrånget av troliga neurofysiologiska problem spirer många individer i svåra eller ohållbara levnadsförhållanden eller omständigheter med brist på behandling. Möjligheten att dessa allvarliga problem uppstår genom en kombination av genetisk-miljömässiga interaktioner beaktas bara allvarligt. En bättre förståelse av neurobiologin av operantbeteende skulle förbättra behandlingsalternativen.

Mekanismer av neural plasticitet vid långvarig beteendeförändring

Det är nu väl accepterat att långvariga beteendemodifikationer via operanta händelser är resultatet av betydande förändringar i hjärnan: förstärkning av synaptiska förbindelser, omkonfigurering av neurala ensembler, syntes av nya proteiner, uppreglering av genuttryck och epigenetiska modifieringar . Långtidsförstärkning (LTP) har fungerat som ett av de oftast förhörda plasticitetsrelaterade systemen och data medför starkt att NMDAR-aktivering är en nyckelinitierande händelse. Det vill säga, högfrekventa mönster av synaptisk stimulering aktivera NMDAR vilket resulterar i en tillströmning av Ca²⁺, som i sin tur aktiverar multipla signalmekanismer, varav flera konvergerar på ERK (extracellulär receptor-signalering Kinase). ERK menas att reglera en mängd olika transkriptionsfaktorer som samordnar bildandet och stabiliseringen av långsiktiga minnen (Levenson et al., 2004). Det finns omfattande data som bekräftar rollen för NMDAR-Ca²⁺-ERK-kaskad i långvarig beteendeförändring och minnesbildning i rädslaskonditionering och Morris Water Maze learning (Atkins et al., 1998, Blum et al., 1999, Schafe et al., 2000); en nyare rapport innebär att denna kaskad i livsmedelsbelönad konditionering också, även om det är i en invertebratmodell (Ribeiro et al., 2005). NMDAR-inducerad neural plasticitet, genom transkriptionsregler via ERK-vägen, ger därför en neural representation av operant konditionering och en elegant modell för studier av långvarig beteendeförändring.

I en direkt förlängning av denna modell, Kelley och kollegor (Kelley et al., 1997) undersökte först rollen av NMDAR-aktivering i operativ inlärning inom kärnan accumbens, en webbplats som antyddes för att spela en viktig roll i komplex integration av sensorisk, belöning och motorisk information. Efter tillförsel till standardoperantkonditioneringskammare och magasinutbildning gjordes injektioner av NMDAR-antagonisten (+/-) - 2-amino-5-fosfonopentansyra (AP-5) direkt i nukleär accumbenskärnan (NAc) av livsmedelsbegränsade råttor omedelbart före de första fyra, 15-minuters långa operantkonditioneringssessionerna. Med en spak nu införd i kammaren förstärktes pressarna med sackarospellets². Under de första 4-träningstiderna gjorde råttor som behandlats med AP-5 väldigt få hävstångspressar, i motsats till vehikelbehandlade råttor. Alla råttor lämnades obehandlade för nästa 5-sessioner och båda grupperna nådde snabbt asymptotiska nivåer av spakpressning. Viktigt är en mikroinjektion av AP-5 i NAc före en 10^th sessionen hade inga märkbara effekter. Separata experiment hittade ingen effekt av AP-5 på spontant, ovillkorligt ätande och motoriskt beteende hos identiskt behandlade (t.ex. kirurgiska, deprivation, etc.) råttor. När det jämfördes med saltlösningsinfusioner, sålde AP-5-infusioner / NMDAR-blockad i NAC-nedsatt initial operantinlärning, men hade ingen effekt på efterföljande prestanda, och NMDAR-blockaden påverkade inte heller motivation för sackaros eller spontant motoriskt beteende. Sålunda förefaller dessa data i överensstämmelse med den allmänna konsensusen att NMDAR-aktivering är avgörande för inlärning via sin roll i neural plasticitet.

Dessa studier, utförda i Ann Kelleys laboratorium, är de första som visar en roll för NMDA-receptorer vid operant inlärning inom en nyckelnod i ett kortikolimbiskt-striatalt nätverk. Hernandez et al (Hernandez et al., 2005) direkt replikerade denna effekt och visade särskilt en tidsbegränsad kontextuell roll för NMDAR-aktivering vid operant inlärning för efterbehandling. AP-5-infusioner hade ingen inverkan på inlärningen. Med andra ord krävdes NMDAR-aktivering under exponering för kammaren och operantillfället för att lärandet skulle inträffa men inte nödvändigt efter sessionen. Denna upptäckt står i kontrast med efterföljande läkemedelseffekter på andra beteendepreparat, såsom rädslaskonditionering (Castellano et al., 1993). Kelley et al. (Kelley et al., 1997) visade också att infusioner av AP-5 i nucleus accumbens skalet (NAS) hade mycket liten effekt på operantinlärning, vilket tyder på att operant konditionering medför plastförändringar i ett diskret nätverk i stället för allestädes neurala verkan av NMDAR. En mer exakt karaktärisering av detta nätverk skulle kunna gynna otaliga neuropsykiatriska tillstånd som involverar inlärning eller plasticitetsrelaterade brister genom att hjälpa neurobiologer identifiera diskreta kärnor som är kritiska för att utföra beteende samtidigt som de identifierar specifik receptormediering av nämnda beteende.

För att expandera på dessa resultat, Baldwin et al. (2000) fann att AP-5-infusioner i basolateral amygdala (BLA) och medial prefrontal cortex (mPFC) också försämrade operativ inlärning, men AP-5 hade ingen effekt på operantinlärning vid infusion i dorsalt (dSUB) eller ventral vSUB) subikulum. Vidare begränsades dessa effekter igen till den initiala konditioneringsfasen, eftersom NMDAR-blockad inte hade någon effekt på efterföljande operantprestanda, spontant motoriskt beteende eller spontan matning. McKee et al. (McKee et al., 2010) utvidgade rollen som NMDAR-aktivering vid operativt lärande till dorsalt medialstriatum (DMS) och främre cingulatcortex (ACC), men fann ingen roll för orbito-frontal cortex (OFC) vid operantinlärning. Kontrollstudier hittade inga bevis för motivations- eller motorunderskott. Andrzejewski et al. (Andrzejewski et al., 2004) undersökte också rollen av NMDAR i den centrala kärnan i amygdala (CeA) och 2 andra striatal subnuclei. Medan lärandeundersökningar observerades efter AP-5-infusioner i CeA och posterior lateral striatum (PLS), men inte dorso lateral striatum (DLS), fanns också djupa effekter på spontanmotor och matningsbeteende med AP-5-infusioner i CeA och PLS. Dessa resultat tyder på att operantinlärning beror på NMDAR-aktivering inom ett distribuerat nätverk, som eventuellt bidrar till distinkt sensorisk, motivational, motorisk och lärande bearbetning. Visserligen krävs framtida studier för att utvärdera gränserna för "operant" -nätet.

Tillsammans indikerar dessa initiala studier att NAC, BLA, mPFC, DMS och ACC är kritiska områden i ett cortico-limbiskt striatalnätverk som styr operativt lärande som inte behövs för senare prestanda. Även om ytterligare arbete kan klargöra detta nätverk och kanske mer specifika roller i varje region förefaller ett sådant nätverk ligga till grund för inlärning av beroendeframkallande eller missbrukande beteenden som kan vara mer striatalt reglerad när de väl etablerats.

Dopamininsatser i belöningsprocesser och plasticitet

Förstärkningsbaserad bearbetning beror också kraftigt på mesokortikolimbiska DA-system, innefattande DA-neuroner i det ventrala tegmentala området (VTA) och deras projicer mot nukleär accumbens (NAc), amygdala, prefrontal cortex (PFC) och andra förebyggande regioner, men den exakta naturen av DA: s roll i behandlingen av belöning är fortfarande en källa till strid. En tidig teori föreslog att DA-medierade nöjen av belöning eftersom många naturliga och drogbelöningar aktiverar mesokortikolimbiska system och deras blockad försämrar beteendets effektivitet hos de flesta förstärkare (Wise och Bozarth, 1985). En andra hypotesen hävdar att mesokortikolimbiska DA-neuroner lär sig och förutsäger belöningsleveranser, eftersom de brinner för aptit-konditionerade stimuli, men inte till de ovillkorliga stimulierna (eller till belöningarna själva) (Schultz, 1998, 2002). En tredje, mycket inflytelserik hypotes, hävdar att mesokortikolimbiska DA-system kodar incitamentegenskaper tillskrivna neurala representationer av stimuli och belöningar. Faktum är att DA inte förmedlar det hedoniska inflytandet av söta belöningar, men krävs för beteende som riktas mot samma belöningar (Berridge och Robinson, 1998). För det fjärde har vissa argumenterat för att mesokortikolimbiska DA-system subserver ansträngningsrelaterade funktioner som påverkar förstärkt beteende på grund av att DA-utarmningar har liten inverkan på operant svarande när de förstärks på ett "enkelt" schema (exempelvis en FR-5) men har dramatiska effekter på mer ansträngda scheman (Salamone et al., 1994, Salamone et al., 2001). Trots att DA: s roll i operantbeteende är entydig, förblir den exakta karaktären och detaljerna i dess roll sannolikt en funktion av det preparat som används och experimentets teoretiska orientering.

Vi testade DA: s roll på operativ inlärning via D1R-aktivitet i många av de samma strukturerna som nämnts ovan. Baldwin et al. (Baldwin et al., 2002b) visade att D1R-blockad i PFC-försämrad operativ inlärning men hade ingen effekt på prestanda. D1R-blockad i BLA och CeA försämrade också operativt lärande (Andrzejewski et al., 2005), på ett dosberoende sätt. D1Rs roll i andra strukturer har dock varit svår att dissociera från andra D1R-medierade läkemedelseffekter. Hernandez et al (Hernandez et al., 2005) visade en djupgående effekt på operantbeteende efter pre-session D1R-blockad i NAc; Näspackning i matbrickan (ofta betraktad som ett Pavlovian appetitivt konditionerat svar) reducerades emellertid väsentligt. Andrzejewski et al (Andrzejewski et al., 2006) fann att D1R-blockad i vSUB, men inte dSUB, försämrad operativ inlärning, men igen upptäcktes motivationsunderskott. Medan det verkar troligt att DA D1R-aktivering är avgörande för att styra plasticiteten i samband med operativ inlärning, fortsätter den exakta rollen något missbrukande. Ny bevisning ledde oss emellertid till att postulera en kritisk interaktiv roll för NMDAR och D1R i operant lärande.

Intracellulär konvergens av NMDAR- och DA D1R-aktivering: sammanträffande detektorer

Från detta bevis började vi teorisera de NMDAR i kombination med DA D1R, och i synnerhet detekteringen av inkommande signaler, spelar en avgörande roll för att forma synaptiska konfigurationer och troligen dominerande neurala ensembler som ligger till grund för operant lärande (Jay et al., 2004). NDMAR och DA D1R samverkar på dynamiska sätt. Exempelvis blockeras NMDA-beroende LTP i striatalskivor av D1 men inte D2-antagonister (Weiss et al., 2000). In vivo bevis för NMDA-D1-interaktion i plasticitetsrelaterade fenomen antyder att LTP äger rum i flera kretsar och strukturer. Till exempel är LTP i hippocampala prefrontala cortexsynapser beroende av samaktivering av NMDA- och D1-receptorer, såväl som intracellulära kaskader som involverar PKA (Jay et al., 2004). I både striatum och prefrontal cortex förstärker D1-aktivering NMDA-receptormedierade svar (Cepeda et al., 1993, Seamans et al., 2001, Wang och O'Donnell, 2001). Förstärkningen av hippocampal-framkallad spikningsaktivitet hos accumbens-neuroner kräver kooperativ verkan av både D1- och NMDA-receptorer, medan en liknande synergism observeras för amygdalo-accumbens-vägen (Floresco et al., 2001b, a). Molekylära studier kompletterar dessa fynd, vilket visar NMDA-receptorberoende av D1-medierad fosforylering av CREB (cAMP-responselementbindande protein) (Das et al., 1997, Carlezon och Konradi, 2004) trodde en transkriptionsfaktor vara en evolutionärt konserverad modulator av minnesprocesser och nyckelprotein i cellulära vägar som drabbats av beroendeframkallande läkemedel (Silva et al., 1998, Nestler, 2001). Starkt stöd för ifrågasättandet av sammanträffande aktivering kommer från demonstrationen av långsiktig förstärkning av synaptisk styrka när kortikostriatal excitering och dopaminergaktivering är temporärt koordinerad (Wickens et al., 1996). Andra data tyder på att glutamat- och dopamin-signaler via NMDA- och D1-aktivering konvergerar för att inducera ERK-aktivering i hippocampus och striatum och därmed omkonfigurera nätverk som är involverade i lärande och drogbruk (Valjent et al., 2005, Kaphzan et al., 2006). Med tanke på de krav som är nödvändiga för inlärning är det därför spännande att spekulera att den samordnade ankomsten av dopaminerga och glutamatergiska signaler och dess neuromolekylära följder tjänar som sammanfallningsdetektor som initierar transkriptionella förändringar som leder till varaktig synaptiska förändringar. Det är viktigt att notera att dessa mycket kaskader är de som föreslås modifieras i den beroendeframkallande processen (Hyman och Malenka, 2001).

I ett direkt test av denna hypotes, Baldwin et al. (Baldwin et al., 2002b) fann doser av AP-5 och R (+) - 7-kloro-8-hydroxi-3-metyl-1-fenyl-2,3,4,5-tetrahydro-1H-3-bensazepinhydroklorid (SCH-23390) (en D1R-antagonist) i PFC som inte hade någon märkbar effekt på operant lärande. Men när det kombinerades och infunderades i PFC hos naiva råttor, var operativt lärande signifikant försämrat, vilket tyder på stark synergi mellan de två receptorerna. Det betyder att plastisitet i samband med operant beteende är möjlig med en liten mängd NMDAR eller D1R blockad, men inte båda. Även om vi har sett några dosberoende effekter undrade vi om operant lärande var ett "allt eller inget" fenomen, som begreppsinlärning (Osler och Trautman, 1961). Enligt vår erfarenhet visade det sig att våra råttor först tillbringade sin tid i kammaren att utforska, näsa, sniffa, grooming, uppfödning, etc., medan det bara är en gång i hävstångspressning. Efter ett par sessioner, fick kontrollrotterna "och" fortsatte att trycka på mycket oftare, och uppfödde, utforskade, sniffade, preparerade osv., Mindre (t.ex. svar där det inte fanns några programmerade konsekvenser), precis som Staddon och Simmelhag demonstrerades i sitt seminal experiment på vidskepligt beteende (Staddon och Simmelhag, 1971). Därför kan initial operativ inlärning involvera en "tipppunkt" eller tröskelliknande process, i motsats till en mer gradvis och jämn förändring. Figur 1 visar de kumulativa svaren på två råttor med kanyler riktade mot NAc. En infusionerades med fordon före de första fem sessionerna medan den andra infunderades med AP-5. Likheten i funktioner är slående och verkar överensstämma med vår uppfattning: det är en mycket gradvis och långsam ökning av att svara, övergången, relativt snabbt, till en hög och jämn responstid. Observera att AP-5-behandlad råtta är fördröjd i denna övergång, vilket tyder på att denna "tipppunkt" försenas av NMDAR-blockad.

 

Figur 1

Kumulativ hävstång pressar över sessioner. Uppförandet av två representativa råttor, en vehikelbehandlad och en AP-5-behandlad, efter infusioner i nukleär accumbens-kärnan (NAc) före de första 5-, 15-minuters långa sessionerna. Infusioner upphörde efter .

Även om dessa beteendeuppgifter och andra iakttagelser kan ge ett övertygande argument angående denna "tippunkt" -hypotesen, skulle det vara av stor betydelse om neurobiologin följde efter, eftersom detta skulle innebära en "kritisk period" för operantinlärning och föreslå mål för intervention i ett tidsberoende sätt. Åtminstone verkar det som att operantinlärning är mycket kontextualiserad gentemot tidsmässiga, miljömässiga och neurofysiologiska relationer.

En intracellulär signalmodell av operantinlärning

De intracellulära molekylära beståndsdelarna för inlärning (i allmänhet, inte nödvändigtvis operativ inlärning), som tidigare noterat, har fått stor intresse. Våra egna fakta om rollen som NMDAR-aktivering grundades väl av dessa fynd angående LTP. Emellertid är de intracellulära signalkaskader som är ansvariga för LTP nu väl belysna. Är de samma kaskader som är ansvariga för omkonfigurering av synaptiska vägar under operantinlärning? Baldwin et al (Baldwin et al., 2002a) inhiberade proteinkinasaktivitet, avgörande beståndsdelar för intracellulär signalering som är nödvändig för LTP, i NAc hos råttor före operativa inlärningssessioner med föreningen 1- (5-isokinolinsulfonyl) -2-metylpiperazin dihydroklorid (H-7). I en separat grupp av råttor inhiberades cAMP-beroende proteinkinas (PKA) aktivitet av läkemedlet Rp-adenosin 3 ', 5'-cyklisk monofosphotioatetrietlyamin (Rp-cAMPS) omedelbart före operativa inlärningssessioner. I båda fallen var inlärning nedsatt vilket tyder på att proteinkinassignaleringen i allmänhet och PKA-aktivitet specifikt var nödvändig för operantinlärning. Sålunda har flera viktiga intracellulära komponenter av den neurala plasticiteten i samband med operativ inlärning identifierats.

PKA, PKC och andra proteinkinasaktiviteter konvergerar intracellulärt enligt flera framstående modeller vid ERK (Valjent et al., 2005, Kaphzan et al., 2006). Fosforylerad ERK (pERK) translokerar till nuklearns kärna, där den modulerar aktiviteten hos CREB, allmänt hållen som en evolutionärt konserverad mediator av långvarig neural plasticitet. Överraskande har vi funnit liten roll för ERK i operant lärande. Först producerade U0126 (en pERK-inhibitor) infunderad i NAc före operativa inlärningssessioner ingen observerbar effekt (Figur 2, panel A). Vi använde samma paradigm och förberedelser som med tidigare rapporter, men med tanke på vår brist på erfarenhet av detta läkemedel är det möjligt att denna negativa effekten berodde på ett okänt tekniskt problem. För det andra undersökte vi ERK-fosforylering efter operantinlärning med användning av standard Western blots och kommersiellt tillgängliga antikroppar. Två grupper av 6-råttor kördes: 1) standard operantutbildning (FR-1 / VR-2) och 2) yoked kontroll (mottog samma antal förstärkare men behövde inte trycka för att producera dem). Hjärnor samlades inom fem minuter av 5^th session och bearbetas av Western blot. Inga skillnader i ERK, PERK eller PERK / ERK-förhållandet noterades i något av 12-områdena som studerades, inklusive NAc (Figur 2, panel B). Det fanns en liten men statistiskt signifikant effekt i pERK i vSUB och PFC, vilket utgör ungefär en 20% ökning i förhållande till yoked kontroller. Trots att effekten var statistiskt signifikant var det väldigt blygsamt och möjligen ett typ 1-fel som gavs det antal jämförelser vi utförde. För det tredje försökte vi visualisera och förhoppningsvis semi-kvantifiera pERK genom hjärnan efter operativ inlärning genom att använda vanliga immunohistokemiska metoder på fritt flytande hjärnavsnitt. Dessa råttor behandlades identiskt med Western blot-experimenten, men efter hjärninsamling skivades hela hjärnor och pERK-antikroppar användes för att lokalisera pERK.

 

Figur 2

ERK: s roll i operativ inlärning. Panel A visar att U0126 infusionerad i NAc före inlärningssessionerna inte har någon effekt jämfört med fordonssinfunderad kontroll. Panel B visar varken ERK-1 eller ERK-2 fosforylering ökar hos råttor som lär en operant .

Återigen, medan det fanns betydande pERK-färgning i PFC och vSUB var det väldigt lite i NAc (Figur 2, panel C). Dessa data överensstämmer nära de västerländska resultaten och föreslår en begränsad roll för ERK vid operativ inlärning, i motsats till de många studier som visar en avgörande roll för detta kinas i andra former av lärande (Levenson et al., 2004, Chwang et al., 2006, Kaphzan et al., 2006). Sammanfogande NMDAR / D1R-aktivering kan emellertid rekrytera ERK-oberoende signaleringsvägar till kärnan.

CREB: s roll i neural plasticitet

pERK: s modulering av pCREB är kritisk under inlärningen eftersom CREB är en transkriptionsfaktor som ökar eller tystar uttrycket av vissa gener. Dessa gener anses vara regleringsorganen för syntesen av specifika proteiner som bildar byggstenarna för receptorer, membran och andra strukturer som är avgörande för neural plasticitet. Vi har faktiskt visat att proteinsyntes i NAc är kritisk under operant inlärning (Hernandez et al., 2002). Med hjälp av proteinsyntesinhibitoren, anisomycin, visade vi att omedelbara infusioner efter infusionen i NAc-blockerat efterföljande operantinlärning, vilket medför transkriptionsfaktorer och de novo proteinsyntes. Intressant nog hade infusioner 2 eller 4 timmar efter sessionen ingen effekt; anisomycin hade ingen effekt under ett prestationstest eller ett utfodringstest. Återigen verkar det som om vi har upptäckt nyckelfunktioner i ett tätt kontrollerat, temporärt och kontextuellt inlärningssystem som involverar flera strukturer, receptorer, signalmekanismer och nu proteinsyntes.

Upptäckten av proteinsyntesberoende av operantinlärning var förmodligen en av de viktigaste i vårt laboratorium, men det ställde en stor öppen fråga angående specificiteten av denna proteinsyntes. Vi utförde därför flera experiment för att identifiera vilka gener som kan syntetiseras / uppregleras under operantinlärning. Använda standard in situ hybridiseringsmetoder med råttor behandlade mycket som de som användes för PERK Western-studierna, fann vi att de omedelbara tidiga generna (IEG) Homer1a och egr1 (ZIF-268) uppreglerade, jämfört med kontrollråttor, omedelbart efter 3^rd operant träningspass inom diskreta cortico-limbic-striatalnoder. Genuttryck var högt förhöjt i hela cortex och striatum och i vissa fall hippocampus men överraskande inte i ventral striatum (dvs. NAc). I motsats till den "tidiga inlärningsgruppen" upplevde en andra grupp råttor 23 operativa inlärningssessioner. Än Homer1a och egr1 uttrycket reducerades nu jämfört med den tidiga inlärningsgruppen, i nästan alla kärnor som studerades, vilket tyder på att dessa gener är involverade i plasticitetsrelaterade funktioner vid tidig exponering men inte senare exponering för operativa händelser. Det enda undantaget var den ventrolaterala striatumen (VLS), som förefaller vara genetiskt sett "on-line" även vid expanderad operativ exponering. Även om många forskare har kallat långvarig träning som "vanabildning", fortsätter dessa svar att vara anpassningsbara och flexibla (betrakta den "temporära" effekten av förstärkning eller minskningen man skulle se när operativa händelser elimineras eller släcks): det är intressant att spekulera det VLS kan subserve denna övervakningsfunktion.

Andra glutamatreceptorer hjälper också till plasticitet i samband med operantinlärning

Homer1a menas att reglera och trafikgrupp 1-metabotrofa glutamatreceptorer (mGluR1 och mGluR5). mGluR5s potentierar aktiviteten hos NMDAR genom förändring av deras permeabilitet mot Ca²⁺ (Pisani et al., 2001), vilket ökar den intressanta möjligheten att en mekanism av NMDAR-inducerad plasticitet kan vara starkt beroende av mGluR5-aktivitet. Nyligen testade vi direkt mGluR5-aktivitetens roll vid operativt lärande genom att blockera sin aktivitet med läkemedlet 3 - ((2-Methyl-4-tiazolyl) etynyl) pyridin (MTEP). Våra preliminära resultat tyder på att blockad av mGluR5-aktivitet i DMS påverkar operativ inlärning, även om uppföljningsförsök på detta resultat pågår.

AMPA-receptoraktivering och operantinlärning har också undersökts i vårt laboratorium. Hernandez et al. (2002) visade en tidsbegränsad roll för AMPAR-aktivering i NAc under operativ inlärning. Effekten utlöste dock för många sessioner och kan ha varit resultatet av viss nedreglering eller långsiktig internalisering av glutamatreceptorer. Även om detta påstående behöver ytterligare empiriskt stöd, fann vi det väldigt överraskande att pre-session blockad av AMPAR skulle ge en sådan långsiktig effekt i förhållande till post-session blockad, vilket inte gav upphov till någon förändring i operantinlärning.

Epigenetiska förändringar under operantinlärning

Förutom att aktivera transkriptionsfaktorer inducerar NMDAR- och D1R-aktivitet också modifieringar, såsom histonacetylering, kromatin, proteinet som organiserar och kondenserar genomiskt DNA. Dessa modifieringar tillhandahåller rekryteringssignaler som är involverade i gentranskription / silning och påverkar åtkomst till DNA av transkriptionsmaskinen. NMDAR-aktivering och associerade intracellulära signalkaskader, inklusive histon 3 (H3) acetylering, reglerar långvarig beteendeförändring, Pavlovian-rädsla konditionering och instrumental Morris Water Maze learning (Atkins et al., 1998, Blum et al., 1999, Schafe et al., 2000). Vi började nyligen undersöka om operant lärande ändrar kromatin. Faktum är att Histone H3-acetyleringsexpressionen ökat i vissa strukturer under utförandet av ett operantbeteende, jämfört med sackarosmatningskontroller. I detta experiment avlivades råttor som pressade på ett RI-30-schema, avlivades 30 minuter efter en session. Hjärnor uppsamlades, bearbetades och inkuberades med anti-acetyl-Histone H3 (Lysine 14) med användning av standardprotokoll.

Intressant, jämfört med yoked kontroller såg vi förhöjd histon H3 acetylering i DMS, en struktur som allmänt anses vara en viktig bidragsyter till operant lärande. Det här är några av de första data som vi vet om att visa histonförändringar under operantinlärning. Ökningar på den globala nivån av histon H3-acetylering kan emellertid vara ett resultat av modifieringar hos promotorer från andra gener än IEG, och dessutom hade råttorna som användes i detta experiment omfattande träning. Således är ytterligare information om locus av den acetyleringen under operativ inlärning nödvändig. Dessa data, i kombination med många andra rapporter, tyder dock starkt på att epigenetiska processer är engagerade under operantinlärning. Långvariga modifieringar, som histonacetylering, kan hjälpa oss att förstå det uthålliga naturoperativa beteendet, dess motståndskraft mot förändring, och återkänsligheten av vissa sjukdomar till behandling.

Epigenetiska processer verkar också modifieras under läkemedelsadministration och lärande. Under kokain-självadministrering induceras en modifierad D1R-instrumental paradigm i vissa regioner av striatumen hos promotorerna hos många plasticitetsrelaterade gener, såsom Cbp, NR2B, Psd95och GluR2. CBP är kritisk för stimuleringsinducerad aktivering av CREB och har inneboende histonacetyltranferas (HAT) -aktivitet (Shaywitz och Greenberg, 1999). Transgena möss som uttrycker en stympad form av CBP har flera lärande underskott (Wood et al., 2005). NR2B, en subenhet av NMDAR-komplexet, innehåller glutamatbindningsstället och är väsentligt för LTP, medan underenheten NR2A är inte (Foster et al., Foster et al., 2010). Den NR2B subenheten fosforyleras av CaMKII, defosforyleras av PP1 och medierar NMDAR-internalisering (Roche et al., 2001). Psd-95 hämmar NR2B-medierad internalisering av NMDAR (Roche et al., 2001) och reglerar synaptisk lokalisering och stabilisering av NMDAR (Li et al., 2003). GluR2 är en underenhet av AMPAR och innehåller en avgörande fosforyleringsplats som också moduleras av intracellulär proteinkinas och proteinfosfatasaktivitet. Fosforylering av GluR2 Delar delvis AMPARs genomtränglighet för kalcium och andra katjoner. Intressant, inducerar mGluR5-stimulering i råtta dorsalstriatum GluR2 fosforylering, en effekt blockerad av NMDAR-antagonism (Ahn och Choe, 2009).

En Intracellular konvergensmodell av operant lärande

Mot denna bakgrund av dynamiskt och intressant arbete skapade vi en modell av NMDAR-DA D1R-konvergens som kan främja en ökad förståelse för den neurala plasticitet som ingår i operativ inlärning. Figur 4 illustrerar den rådande hypotesen att glutamatkodade sensoriska / informationsbehandlingssignaler aktiverar NMDAR och AMPAR, vilket leder till Ca²⁺ tillströmning till cellen. DA-aktivering av D1R aktiverar adenylcyklas (AC, betecknad med en svart pil) och i sin tur cAMP. De båda signaleringsvägarna interagerar på flera ställen, exempelvis som CaM, inducerad genom NMDAR-aktivering, påverkar AC (även om detta är en något förenklad representation). PKA aktiverar MEK, men hämmar även Ras / Raf (betecknad med en linjeledning), vilket tyder på att konvergenserna inte bara konvergerar utan också kan konkurrera om signaldominans.

 

Figur 4

En intracellulär signaleringsmodell av operant leating. De funktionella och strukturella förändringar som är involverade i neural plasticitet medför samordnad NMDAR- och DA D1R-aktivering genom hela kortikala-striatal-limbiska nätverk. Denna figur sammanfattar den rådande .

Flera punkter av möjlig konvergens demonstreras, i synnerhet aktiveringen av CREB, MEK och ERK. Kritiska plasticitetsrelaterade effekter demonstreras också, som den CREB-beroende transkriptionen av IEG Arc, Homer1a, och egr1. Homer1a trafikerar mGluR5-receptorer (representerade av en grå pil), som därefter potentierar Ca²⁺ tillströmning via Gαq-proteinkopplad fosfolipas C (PLC) aktivitet (denna potensiering representeras med en gul pil och blixtbultar); mGluR5-aktivitet förstärker också DA D1R-aktivering. Arc transporteras till nyligen aktiverade synapser, som sannolikt utför en slags "märkning" roll. Nyligen föreslår nya uppgifter en viktig roll för Arc och ERK i AMPAR-subenhetsinsättning och reglering av spänningsgateda kalciumkanaler av L-typ. DARPP-32, aktiverad av PKA-aktivitet ackumuleras i kärnan, som inhiberar proteinfosfatas 1 (PP1) -aktivitet, som är direkt involverad i kromatinmodifieringar via egen defosforyleringsaktivitet (symboliserad av en halvcirkelformad pil "gripande" en fosfatgrupp ). Histon deaktylas (HDAC) -åtgärderna representeras med en inverterad pil på linjen "gripa" acetylgrupper från Histone 3 (H3). Dessa histon-modifikationer slappnar av eller kompaktkromatin och möjliggör eller undertrycker gentranskription (de speciella modifikationerna som anges i figuren representerar inte nödvändigtvis de faktiska modifieringarna som krävs vid promotorerna för IEG: erna för transkription) (Figur 4 är baserad på (Svett, 2001, Kelley och Berridge, 2002, Haberny och Carr, 2005, Ostlund och Balleine, 2005, Valjent et al., 2005). Därför ger den neuromolekylära konvergensen av information från cortico-striatal-limbic NMDAR och DA D1R ett möjligt substrat för plasticitet i belöningsbaserat lärande. De specifika hjärnkärnor och neuroner som representeras i denna modell kommer nu bara att komma i fokus, men involverar sannolikt viktiga striatala, limbiska och kortikala platser. Vår starka misstankar är att medelstarka nervceller, särskilt i striatum, kan vara väl lämpade för plastitetsrelaterade funktioner på grund av deras ovanligt höga densitet av spänningsberoende jonkanaler som producerar exceptionella tillståndsövergångar (Houk och Wise, 1995) i kombination med konvergensen av utbredda, glutamatkodade kortikala, limbiska och thalamiska afferenter, såväl som monoaminerga ingångar från midbrain.

Kelley och kollegor (Kelley et al., 1997) uttalade ursprungligen en avgörande roll för NAc i neural plasticitet och operativt lärande. Faktum är att vårt laboratorium har undersökt rollen som nucleus accumbens i en mängd olika beteendeparadigmer med hjälp av en expertinriktad tvärvetenskaplig strategi (t.ex. experimentell analys av beteende, beteendevetenskap, molekylär och cellulär neurovetenskap, etc.). Dr. Kelley var en av experterna på struktur, fysiologi, anslutning och funktion av nucleus accumbens. Flera av våra egna experiment tycks dock motsäga Dr. Kelleys första uttalande. Den övertygande bristen på MEK / ERK-engagemang i NAc under operant inlärning och bristen på genuttryck fungerar som två djärva undantag från påståendet att plasticitet i NAc är avgörande för operant inlärning. För det första kan det vara så att MEK / ERK inte är inblandad i operativ lärande någonstans i hjärnan. Våra studier av 12 andra platser gav mycket liten skillnad mellan operant inlärning och ok-kontroller. Kanske är MEK / ERK-vägen inblandad under den "kritiska perioden" eller "tipppunkten" när råttor verkar "få det" och våra studier hade inte den tidsmässiga upplösningen för att upptäcka denna effekt, särskilt eftersom ERK-aktivering är en dynamisk och relativt snabb händelse. Kanske var våra doser av U0126 för låga för att hämma ERK-aktivering. En lika sannolik hypotes är dock att CREB-medierad transkription av gener som är involverade i neural plasticitet aktiveras direkt av andra signalvägar, såsom PKAc eller CAM (se Figur 4), kringgå MEK / ERK-vägen. Och kanske har vi inte identifierat de kritiska plasticitetsrelaterade generna eller den myriad av möjliga epigenetiska modifieringar av NAc-neuroner som möjliggör och instantierar operant beteende. Vi hoppas att engagera dessa frågor med samma noggrannhet och entusiasm som Ann gjorde.

Kliniska implikationer

Den rådande hypotesen av denna översyn är att modellen presenteras i Figur 4 kan informera behandling av många kliniska problem. Av uppenbar betydelse är narkotikamissbruk, för drogmissbruk påverkar djupt många av samma molekylära processer involverade av operantinlärning. Under de senaste åren är några av de mest anmärkningsvärda fynden i forskning om missbruk dem som påvisar betydande överlappning av mekanismerna som medierar drogmissbruk och normalt belöningsrelaterat lärande (Hyman och Malenka, 2001, Nestler, 2001, Wang et al., 2009). Vi är säkra på att många av recensionerna i denna specialutgåva elegant har belyst förhållandet mellan narkotikamissbruk och normal belöningsrelaterad inlärning. Visserligen har detta förhållande visat sig vara avgörande för vår förståelse av missbruk, men vi skulle vilja citera några viktiga nya länkar mellan Dr. Kelleys arbete med operativt lärande med nya data och resultat om andra kliniska problem. Dessa konsekvenser delas in i två allmänna teman: 1) kliniska problem med tillhörande inlärningssvårigheter som kan betjänas av en bättre förståelse för hur operativa inlärning fortsätter via neuromolekylära mekanismer av plasticitet och 2) kliniska problem i samband med pågående, redan lärt sig, och möjligen mycket resistent, operant beteende och dess neuromolekylära beståndsdelar. Det senare fallet tar upp problemet med missbruk, tror vi, eftersom det är korrekt betraktat som pågående operant beteende med mycket skadliga och långvariga biverkningar.

Som nämnts i inledningen anses autismspektrumstörningar nu drabba 1 av 88 barn. Kommunikationsunderskott, sociala interaktionsproblem och stereotypa beteendemönster kännetecknar autism, även om kommunikationsförmåga kan vara typiskt hos barn med Aspergers. Tidig intensiv beteendeterapi (EIBT), baserad på operativa principer, utgör ryggraden i omfattande behandlingsregimer som ger otroliga resultat. Denna tidiga terapi, som är mycket individualiserad och kontextualiserad, involverar vanligtvis minst 40 timmar en-mot-en-terapi per vecka, ofta under många år. Data tyder på att ju tidigare interventionen börjar, desto bättre är framgångsgraden. I många av dessa fall (vissa uppskattningar är mellan 40-50%) är fullständig integrering i vanliga klassrum möjlig med minimala eller inga ytterligare stöd (Lovaas, 1987, Sallows och Graupner, 2005, LeBlanc och Fagiolini, 2011). Dessa fynd intima neural plasticitet som en drivande komponent i framgången för EIBT. Forskare inom autismbehandlingssamhället spekulerar i stor utsträckning kring "kritiska perioder" av utveckling som sammanfaller med ökad neural plasticitet (LeBlanc och Fagiolini, 2011). Således kan vår forskning om operant lärande ha två möjliga konsekvenser: 1) Det är möjligt att den autistiska "hjärnan" kan ha minskad plastpotential, och endast genom intensiv träning och terapi är dessa minskningar övervinnas och 2) kan det vara möjligt med en mer fullständig förståelse av operant lärande, för att inducera perioder av plasticitet så äldre barn kan dra nytta av terapi.

Även om det är ett mycket spekulativt påstående att operantinlärning, EIBT och neural plasticitet delar underliggande ASD, finns det flera källor till konvergerande stödjande bevis. Till att börja med är den ledande ärftliga orsaken till ASD: er Fragile X syndrom (FXS), ett enda gentrinukleotidrepetitionsproblem med FMR1-genen. FXS är förknippad med inlärningssvårigheter, sociala beteendemässiga underskott samt vissa fysiska (huvudsakligen ansikts) abnormiteter. FMR1-genen kodar för Fragile X mental retarderingsproteinet (FMRP), som krävs för normal neural utveckling (Crawford et al., 2001, Antar et al., 2004). Dessutom modulerar FMRP kraftigt grupp 1 mGluR-aktivitet och brist på FMRP-aktivitet dysregulerar NMDAR LTP (Antar et al., 2004). Vårt senaste arbete med mGluR5-hämmaren MTEP föreslår en roll i operantinlärning för denna receptor under normala förhållanden. Farmakoterapier baserade på modulerande mGluR5-aktivitet undersöks nu för användning hos människor med FXS (Hagerman et al., 2012).

En annan form av autism, kallad "regressiv autism", eftersom barn med denna form utvecklas typiskt för en period och sedan förlorar "normala" kommunikations- och sociala färdigheter, har nyligen kopplats till minskad aktivitet av PKA och den katalytiska subenheten av PKA, nämligen c-isoformen. Vid jämförelse efter mortem till icke-regressiva autistiska kontroller visade regressiv autism frontala kortikaler minskad aktivitet och expression av PKA (Ji et al., 2011). Inga skillnader noterades i andra kortikala regioner, och det fanns inte någon skillnad mellan icke-regressiv autism och icke-autistiska kontroller. Således kan regressiv autism vara kopplad till PKA-medierad fosforylering av proteiner och anomalös intracellulär signalering. Än en gång har vårt arbete visat en avgörande roll för PKA i operant lärande, vilket sammanfaller snyggt med detta senaste arbete med regressiv autism.

Rubenstein-Taybi syndrom (RTS) är en autosomal dominant sjukdom orsakad av mutationer av CREB-bindande protein (CREBBP) -genen. Kortstorhet, breda tummar, särskiljande ansiktsegenskaper och måttliga till svåra inlärningssvårigheter karakteriserar RTS (Bartsch et al., 2010). Av kritisk import här är den uppenbara kopplingen mellan operantinlärning, CREB-funktion och RTS. Kanske kan barn med RTS dra nytta av EIBT eller någon farmakologisk terapi som möjliggör, kompletterar eller kompletterar CREB-modulering av gentranskription. CREB-fosforylering verkar kontrollera IEG-funktionen och syntesen av nya proteiner, och sannolikt reglerar neural plasticitet i samband med operantinlärning.

Slutligen innebär vår data- och intracellulära modell att epigenetiska processer är ansvariga för att det operativa beteendet är uthålligt. Vårt gemensamma övervägande av operantbeteende som "vanaformation", upprepade demonstrationer av spontan återhämtning och den till synes obegränsade återkallningsperioden i samband med operantrepertoar bidrar starkt till denna idé. Faktum är att många allvarliga problembeteenden har visat sig överväldigande mot behandling, vilket leder till begränsade sociala möjligheter, kemisk återhållsamhet, sjukhusvistelse och institutionalisering. En bred klass av diagnostiska verktyg, som ofta kallas "funktionell analys av problembeteende" eller "Funktionsbeteendebedömning (FBA)", har dock utvecklats för att identifiera de kontrollerande relationerna för dessa allvarliga beteenden. I allmänhet betraktas dessa beteendesklasser som operant, förstärkt av uppmärksamhet, tillgång till föredragna objekt / aktiviteter eller flykt / undvikande av oönskade omständigheter (Lerman och Iwata, 1993). Med denna information i handen kan terapi styras på ett sådant sätt att det finns alternativa förstärkningskällor eller alternativa lämpliga operanter som producerar de önskade omständigheterna, eventuellt ens efter det ursprungliga operativa lärandet av det olämpliga beteendet. Är det möjligt att en större förståelse av operantinlärning kan ge farmakoterapeutiska mål, såsom histonacetylering, som ökar operant utrotning och / eller främjar nytt operativt lärande?

Medan många av dessa begrepp är starkt spekulativa, kommer Dr Ann Kelleys och kollegors arbete inom operativ inlärning sannolikt att informera, åtminstone arten och kursen av narkotikamissbruk. Vi skulle också vilja utvidga vår teori och resultat för att hjälpa till att förstå lärandemässiga underskott som hör samman med ASD, FXS och RTS, liksom det svårt förknippade med styrkan hos vissa allvarliga problematiska operativa repertoarer.

fotnoter

Referensprojekt